大數據開發工程師崗位的主要職責概述
在充滿活力，日益開放的今天，越來越多地方需要用到崗位職責，崗位職責具有提高內部競爭活力，更好地發現和使用人才的作用。想必許多人都在為如何制定崗位職責而煩惱吧，以下是小編精心整理的大數據開發工程師崗位的主要職責概述，僅供參考，希望能夠幫助到大家。
大數據開發工程師崗位的主要職責概述1
職責：
1、規劃及建設大數據平臺;
2、負責大數據存儲系統、分布式計算系統、挖掘算法等設計、研發以及維護、優化工作;
3、負責分析、挖掘、對抗各種產品安全層面的惡意行為;
4、參與項目的系統設計和核心代碼開發，指導和培訓其他工程師;
5、 整理和提交技術文檔，負責核心功能模塊的代碼編寫和測試工作。
崗位要求：
1、計算機、統計學等相關專業本科及以上學歷，具有深厚的數學、統計學和計算機相關知識，精通數據倉庫和數據挖掘的相關技術，3年以上大數據開發相關經驗;
2、具有非常扎實的Java基礎，熟悉Shell、Python、R、Scala等一種以上語言;
3、算法基礎扎實，熟悉常見的數據結構，了解分布式算法和分布式系統的技術原理;
4、精通MapReduce設計方法或Spark計算框架、對NoSQL，Hadoop、Hbase、Spark、Hive等主流云計算，大數據相關軟件有充分的了解，并且有實踐經驗，能解決應用中的復雜問題;
5、熟悉大數據處理相關技術，包括但不限于Hadoop、Hive、Hbase、Impala、Spark，Kafaka、Flume、Sqoop、Storm、Redis等;
6、研讀過Hadoop、Hbase、Hive源代碼者，能夠在特定業務中進行定制改造者優先;
7、具有海量數據處理、數據挖掘、數據分析相關項目的工作經驗者優先。
大數據開發工程師崗位的主要職責概述2
職責：
1、參與大數據架構的.規劃設計，參與業務建模及數據化運營平臺的搭建、運維，對業務流程與大數據的結合提出建議和解決方案;
2、完成基于大數據平臺的業務項目的開發、實施和維護工作;
3、負責解決大數據平臺建設過程中的技術難點和性能調優工作;
4、參與數據倉庫設計，根據業務需求實現高效率高靈活性的查詢，數據分析，數據挖掘;
5、負責高吞吐高可用數據實時和離線采集，高并發的大數據業務架構設計
6、負責研發技術發展方向，新技術領域的探索，引入并驗證數據平臺領域新技術，提供系統效能
7、對大數據技術及開源框架充滿熱情，具有鉆研精神，能自我學習。
任職資格：
1、具有5年Java開發經驗，熟悉Spring生態，掌握Hibernate、Mybatis任意一種ORM框架，掌握Oracle、Mysql數據庫。
2、具有2年以上的大數據開發經驗，熟悉大數據、數據倉庫，分布式架構技術理論，具有大數據整體系統架構設計和實戰經驗，熟悉CDH、HDP、TDH至少一款大數據產品，有從無到有建設大數據平臺經驗者優先;
3、熟悉大數據組件的開發、搭建、維護以及性能優化;
4、較強的開發能力，必須熟練使用相關開發語言(Java/Python/Scala/Shell等)，熟悉大數據生態、關系數據庫和NOSQL數據庫、Linux等相關知識，能夠獨立完成并指導初級開發人員完成大數據相關的技術實現和調優;
5、熟悉Hadoop、Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、Impala、Spark、Flink、Kafka、Flume、Kylin、Phoenix等組件或技術，能閱讀源碼跟蹤問題。
6、熟練掌握Spark、flink任意一種計算框架，掌握MapReduce計算框架原理，并有實際項目開發經驗。
7、熟練掌握HDFS、HBase、Kafka、Redis、Hive、Sqoop、Shell等技術和組件，熟練應用開發，必須熟悉復雜數據查詢性能調優，包括實時查詢和離線批處理查詢，服務器和生態組件的參數優化。
8、精通高級算法并有與業務結合落地優先;
9、扎實的獨立分析問題、解決問題的能力，具備良好的需求理解能力、溝通協調能力和團隊合作精神;有很強的數據設計抽象能力，善于從復雜的數據問題中找到關鍵路徑，并且擅于跟業務團隊就業務問題進行良好的溝通，能推動業務的指標化、量化;
10、有較好的學習能力、團隊協作精神，認真細心，有強烈的責任心，愛崗敬業，有較高抗壓能力，有較好的工作穩定性。
大數據開發工程師崗位的主要職責概述3
職責：
1、參與大規模數據快速查詢系統的架構設計和開發;
2、大規模數據挖掘和機器學習算法的實現;
3、在線和離線海量數據分析平臺的開發;
4、研究大數據前沿技術，提升系統的運維效率;
5、實現大數據基礎架構平臺的自動化運維。
任職要求：
1、計算機相關專業,具有3年以上大數據開發經驗，熟悉Java,Linux;
2、熟悉Hadoop大數據處理系統的開發,搭建及部署者優先
3、熟練地處理數據模型、數據ETL以及存儲管理;
4、熟悉HDFS/Hive/MapReduce/Kylin/HBase，能獨自進行Mapreduce程序開發者優先;
5、熟悉分布式系統概念、架構，有大規模分布式系統設計、實現、部署等經驗;
6、有較強的書面與口頭溝通表達能力，獨立分析、解決問題的能力。
【大數據開發工程師崗位的主要職責概述】相關文章：
融資總監崗位的主要職責概述09-15
大數據開發工程師的崗位職責12-16
數據庫開發工程師的崗位職責06-08
PHP開發工程師的主要職責12-17
大數據開發工程師的基本職責-崗位職責01-22
產品開發工程師工作的主要職責01-24
Java初級開發工程師的主要職責09-06
融資經理的主要職責概述10-28