大数据运维

上海 本科 3-5年 1人
返回职位列表

岗位职责

1.负责公司大数据业务集群的运维工作(Hadoop/Hbase/Hive/Presto/Yarn/Spark等)确保高可用;

2.负责集群容量规划、扩容及性能优化;

3.设计实现大规模分布式集群的运维、监控、数据监控、报警、故障处理和管理平台;

4.深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的大数据运维技及发展方向。

5.深度优化大数据平台离线和实时作业计算引擎及存储技术,提升集群效率并降低成本;

6.研究运维相关技术,根据系统需求制定运维技术方案,开发自动化运维工具和运维辅助系统;

7.深入研究大数据业务相关技术, 持续优化集群服务架构, 探索新的大数据运维技及发展方向。





任职要求

1.3年以上大数据或数据仓库运维经验;

2.熟悉Hadoop/Hbase/Hive/Zookeeper/Spark等开源项目,有patch源代码经验者优先;

3.熟悉kafka消息服务,以及基于kafka的日志流系统,熟悉flume,fluentd等高可用日志系统;

4.良好的客户服务意识,强烈的责任心和使命感,执行力强,富有团队合作精神

5.熟悉Linux操作系统的配置、管理及优化,能够独立排查及解决操作系统层面的问题;

6.熟悉脚本语言Shell/Python/go等编程语言的一种并有相关开发经验。





投递邮箱

简历请投递:guanwang@ichangtou.com