| 社招官网

计算平台事业部-智能大数据专家-MaxCompute

发布时间: 2019-07-29 工作地点: 杭州,北京 工作年限: 三年以上
所属部门: 阿里集团 学   历: 本科 招聘人数: 若干

岗位描述:

本岗位专注于人工智能和cloud scale运行的大数据计算平台的深度融合,目标是使用人工智能方法优化MaxCompute的计算,运维和数据管理。需要机器学习和数据挖掘技术来预测任务情况;智能调度;通过准确预估cost优化执行计划的生成;改进优化器寻找最优计划过程;对数据存储位置/媒介及索引生成进行全局优化,让算法和系统帮助用户自动、透明、高效地进行数仓管理和重构优化工作,做到大数据处理领域的“自动驾驶”。
The work is to research and develop AI technologies working within big data computation platform that is running at cloud scale. To apply AI to optimize the computation, devOps practices, and data management. By applying machine learning and data mining to workload prediction, intelligent scheduling, cost and cardinality prediction to smartly search optimized execution plan; and the optimization of data and index management.
此岗位主要职责:
Communicate with dev/ops teams to design/develop/debug model/algorithms for certain application cases.
To mine large number of SQL, MR jobs to identify the opportunities for optimization and computation reusing that could help to lower cost and improve the utilization of resources at the scale of a whole platform.
Research and develop intelligent automation for data management and data warehouse optimization, on data storage layout and runtime scheduling.
1. 与运维/开发团队沟通,理解并抽象优化目标;设计,开发及调试算法/模型
2. 基于对海量的用户作业(SQL、MR等)进行特征挖掘的索引调整、计算重用等工作的研究和工程实现,在全局层面降低业务成本,提升平台效率;
3. 自动化的海量数据管理和数仓建模优化方法研究和工程实现,例如全球多region的数据排布规划和调度优化工作,以及数据表之间关系的自动识别和物理结构的智能优化等工作。

岗位要求:

1. 精通数据挖掘、人工智能及机器学习领域理论及常见算法、模型和工具,有实际工程应用经验;
2. 有技术好奇心,愿意在大规模分布式计算和机器学习领域深耕细作;
3. 在数据库、大数据或者分布式系统领域有3年以上的工作或者研究经验者优先;
4. 能熟练用C/C++、Java、Python等编程语言解决工程问题。

 

 

申请此职位表明您已阅读并同意阿里巴巴及关联公司的《申请工作机会须知》。

推荐岗位

职位名称 职位类别 工作地点 招聘人数 更新时间
零售通-数据智能部-数据科学高级专家 算法 杭州 若干 2019-09-19
智能服务事业部-算法专家-数据智能 算法 杭州 若干 2019-09-11
阿里集团-Gis算法专家/高级专家-数据智能部 算法 北京 若干 2019-09-02
机器智能技术-大数据技术专家-工程技术 算法 杭州 若干 2019-08-30
阿里云智能事业群-高级算法专家(数据智能产品)-自然语言处理-北京/杭州 算法 北京 若干 2019-08-21