高级开发工程师

• May 2018 - Present

DevOps,Senior System Engineer

• Mar 2014 - May 2018

负责基于 prometheus 的内部k8s/应用/基础服务主动监控方案的规划及落地，并对服务发现，策略生成，数据转发，报警组件进行针对性的改造和开发，针对现有基础服务开发相应 exporter。 对已有 wonder 监控系统的采集，传输，报警组件进行改造，平滑接入主动监控方案，作为 wonder 复杂监控查询和报警的主要手段，目前支撑线上10万台服务器基础监控项汇总。 开发 nginx-lua 相关监控组件，便于传统 web 类业务的服务质量监控接入。 和公司内部容器化服务深度对接，实现 k8s 集群及微服务应用的定制化监控报警，支撑容器集群-k8s 北京/上海 4个集群监控采集及报警。 对 grafana 进行二次开发，实现平台业务关系对接，prometheus 上层资源隔离等功能，作为 wonder 监控绘图的补充。 负责私有云平台设计及落地（openstack）。负责调度，虚拟机创建，存储相关组件的二次开发。10个主力集群，1500台物理机，8000台虚拟机。 负责 ceph 的规划及与私有云平台的对接。4个主力集群。总容量2pb。 负责 分布式 kv 存储及类S3服务的规划及落地。同时开发外围工具。 容器化服务早期服务端，调度系统，镜像服务的开发。 内部多个大规模集群服务的 ansible playbook 模板开发。 Show less

system administrator

• May 2012 - Mar 2014

小米盒子、乐视TV点播源站（CNTV与未来电视合作项目），主要负责源站部署，日常监控，故障处理，目前全国共三个源站节点。 技术中心大运维项目-自动化运维环境（Cobbler/Salt/Fabric），负责方案规划与实施，模块编写及日常维护。主要涉及业务为虚拟化平台及公司相关源站。 日志收集系统（归档，实时收集分析），负责日志收集系统的方案规划，实施与维护，编写日志收集归档脚本，按需求提供分析页面或结果。 虚拟化平台项目（VMware/Cloudstack）负责方案规划、部署及日常维护，涉及全国十多个节点，数百台计算单元。配合业务及研发部门提供虚拟机，可按需求大规模快速部署所需虚机及业务。 小米盒子、乐视TV点播源站（CNTV与未来电视合作项目），主要负责源站部署，日常监控，故障处理，目前全国共三个源站节点。 技术中心大运维项目-自动化运维环境（Cobbler/Salt/Fabric），负责方案规划与实施，模块编写及日常维护。主要涉及业务为虚拟化平台及公司相关源站。 日志收集系统（归档，实时收集分析），负责日志收集系统的方案规划，实施与维护，编写日志收集归档脚本，按需求提供分析页面或结果。 虚拟化平台项目（VMware/Cloudstack）负责方案规划、部署及日常维护，涉及全国十多个节点，数百台计算单元。配合业务及研发部门提供虚拟机，可按需求大规模快速部署所需虚机及业务。

system administrator

• Nov 2011 - Apr 2012

负责多个设备组维护。处理各类突发事件。 北美项目组成员，负责处理北美客户各类需求并及时反馈（邮件沟通）。 CDN相关应用和服务的部署、调优、升级、维护。监控设备组流量，磁盘使用情况及服务器负载，对 服务器出现的故障进行及时处理，根据客户需求调整服务器性能及设备组配置。 每天对各大区节点进行带宽统计，记录各种发生的问题，处理的结果和恢复系统的补救措施。 编写日常运维工作所需脚本。 配合研发部门进行应用测试，提供测试环境，完成测试并反馈测试结果。 负责多个设备组维护。处理各类突发事件。 北美项目组成员，负责处理北美客户各类需求并及时反馈（邮件沟通）。 CDN相关应用和服务的部署、调优、升级、维护。监控设备组流量，磁盘使用情况及服务器负载，对 服务器出现的故障进行及时处理，根据客户需求调整服务器性能及设备组配置。 每天对各大区节点进行带宽统计，记录各种发生的问题，处理的结果和恢复系统的补救措施。 编写日常运维工作所需脚本。 配合研发部门进行应用测试，提供测试环境，完成测试并反馈测试结果。