數據架構師的職責是什么10篇
數據架構師的職責是什么?職責只是一種職務的應盡責任,屬于一種類型的義務。既然這樣,那么下面小編給大家?guī)砹藬祿軜嫀煹穆氊熓鞘裁?0篇,供大家參考,希望可以幫助到你。

數據架構師的職責是什么(篇1)
職責:
1. 負責設計企業(yè)級大數據平臺的整體架構,從技術層面制定清晰的大數據產品與系統技術架構,并負責實現關鍵技術和產品。
2. 負責設計具有創(chuàng)新價值的大數據底層平臺、大數據上層應用系統等,帶領團隊完成有質變的技術解決方案。
3. 負責組織同事研究行內最前沿的技術發(fā)展方向,突破現有的技術難題。
4. 負責研究院對外項目合作協調與支持,編寫項目建設方案及后期項目建設支持。
任職要求:
1. 碩士及以上學歷,計算機相關專業(yè)。
2. JAVA基礎扎實,不少于8年的一線開發(fā)經驗,精通Spring boot/MyBatis/Restful API的開發(fā)與管理. 熟悉ReactJS/Angular/Vue之一前端開發(fā)技術,熟悉Maven或Ant.,熟悉Python語言開發(fā)加分。
3. 不少于4年大數據的直接研發(fā)經驗,精通Hadoop/Spark系統,有hands-on的架構設計、性能調優(yōu)、開發(fā)經驗。有MongoDB、Kafka、Hbase/Cassandra/Storm/Hive 等系統的開發(fā)經驗。
4. 掌握分布式系統原理,對分布式存儲、流式計算、消息隊列中的一項或多項有深入的理解和認識。
5. 熟悉分布式系統的監(jiān)控、運維、故障恢復,高可用原理和設計理念。
6. 算法基礎扎實,熟悉常見的數據結構,掌握大規(guī)模高并發(fā)訪問、大數據開發(fā)等處理經驗;熟練的Linu_系統, 網絡, 內存和存儲等方面知識。
7. 必須要有千萬級別的項目管理經驗,包括但不限于前期需求溝通,建設方案編寫,中期項目實施,進度匯報,后期項目維護。
數據架構師的職責是什么(篇2)
職責:
1. 負責大數據基礎平臺、海量數據存儲/處理分布式平臺、數據分析系統架構設計和研發(fā);
2. 負責實時計算平臺基礎架構設計、部署、監(jiān)控、優(yōu)化升級;
3. 制定項目/數據倉庫設計及實現規(guī)范,指導設計研發(fā)和部署;
4. 協助策略和算法團隊工作,保障數據挖掘建模和工程化;
5. 深入研究大數據相關技術和產品,跟進業(yè)界先進技術。
任職要求:
1. 全日制本科及以上學歷,5年以上軟件和分布式系統研發(fā)經驗,3年以上大數據系統架構經驗;
2. 精通Hadoop/HBase/Spark/Storm/Redis技術及其生態(tài)圈;
3. 具備Java/C++/Scala等開發(fā)經驗,熟悉數據挖掘和分析的策略與算法;
4. 具備良好的系統分析能力、故障診斷能力;
5. 有大數據策略、算法、可視化經驗優(yōu)先;
6、211/985 重點學校畢業(yè)優(yōu)先。
數據架構師的職責是什么(篇3)
職責:
1、對業(yè)務需求深入分析,從而進行大數據平臺核心應用的架構設計、開發(fā)和技術支持;
2、規(guī)劃業(yè)務應用系統和基礎平臺的技術架構,參與需求分析、建模、架構設計、技術決策以及詳細設計;
3、把握復雜系統的設計,確保系統的架構質量,編寫核心部分代碼;
4、帶領團隊攻克例如大數據量、高并發(fā)、高穩(wěn)定性等帶來的各種挑戰(zhàn)及技術難關;
5、在大數據平臺建設路線圖指導下,進行架構實施和交付物投遞,同時確保研發(fā)質量和方向的準確性;
6、進行團隊技術的培訓和梯隊建設崗位要求;
任職條件:
1、本科或以上學歷,計算機相關專業(yè),8年以上研發(fā)經驗,3年以上大數據平臺相關工作經驗;
2、精通Java開發(fā)技術,熟悉Shell、Scala語言和PYTHON優(yōu)先;
3、編程基礎扎實,熟悉I/O、多線程、集群等基礎框架和原理,熟悉分布式、緩存、消息等機制;
4、熟悉常用設計模式,代碼評審規(guī)則,單元測試,持續(xù)集成;
5、熟悉AWS云服務或阿里云服務;
6、熟悉容器技術原理、生態(tài)系統,熟悉Docker、Mesos、Kubernetes等容器系統、大規(guī)模容器資源調度系統、分布式應用生命周期。
數據架構師的職責是什么(篇4)
職責:
1.負責公司新業(yè)務方向平臺大數據基礎架構的搭建及后期數據處理體系的升級和優(yōu)化,不斷提升系統的穩(wěn)定性和效率。為公司未來方向性產品提供大數據底層平臺的支持和保證。
2.負責制定大數據平臺調用約束和規(guī)范;
3.負責大數據方向技術難題的解決,以及代碼質量的把控;
4.作為大數據開發(fā)團隊的leader,負責大數據系統平臺開發(fā)團隊建設與人才梯隊培養(yǎng),分享技術經驗,撰寫相關技術文檔指導和培訓工程師。
任職要求:
1.熱衷于大數據技術,并能平衡大數據性能、穩(wěn)定性、擴展性多重要素進行設計和優(yōu)化;
2.熟悉服務器基本知識,能夠評估系統硬件性能瓶頸;
3.掌握Linu_操作系統的配置,管理及優(yōu)化,能夠獨立排查及解決操作系統層的各類問題,并能提供解決問題的理論依據;
4.精通Java服務器編程,熟悉JVM原理,對數據結構和算法設計有較為深刻的理解;
5.精通elasticsearch、Redis、hadoop、Kafka、Zookeeper、Yarn、Hbase、Spark底層架構,熟悉原理、源碼、集群部署,包括參數優(yōu)化、Bug修復,貢獻過代碼或提交過bug者優(yōu)先
6.具備數據中心資源管理、監(jiān)控、調度等系統研發(fā)經驗者優(yōu)先,具備分布式系統研發(fā)經驗者優(yōu)先;
7.具有應用大數據技術處理的項目開發(fā)、維護超過兩年的經驗者優(yōu)先;
8.具有良好的文檔編寫能力,可進行方案設計、架構設計。
數據架構師的職責是什么(篇5)
職責:
1、大數據平臺架構規(guī)劃與設計;
2、負責大數據平臺技術框架的選型與技術難點攻關;
3、能夠獨立進行行業(yè)大數據應用的整體技術框架、業(yè)務框架和系統架構設計和調優(yōu)等工作,根據系統的業(yè)務需求,能夠指導開發(fā)團隊完成實施工作;
4、負責數據基礎架構和數據處理體系的升級和優(yōu)化,不斷提升系統的穩(wěn)定性和效率,為相關的業(yè)務提供大數據底層平臺的支持和保證;
5、培養(yǎng)和建立大數據團隊,對團隊進行技術指導。
任職要求:
1、計算機相關專業(yè)的背景專業(yè)一類院校畢業(yè)本科、碩士學位,8年(碩士5年)以上工作經驗(至少擁有3年以上大數據項目或產品架構經驗);
2、精通Java,J2EE 相關技術,精通常見開源框架的架構,精通關系數據庫系統(Oracle MySQL等)和noSQL數據存儲系統的原理和架構;
3、精通SQL和Mapreduce、Spark處理方法;
4、精通大數據系統架構,熟悉業(yè)界數據倉庫建模方法及新的建模方法的發(fā)展,有DW,BI架構體系的專項建設經驗;
5、對大數據體系有深入認識,熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大數據技術,并能設計相關數據模型;
6、很強的學習、分析和解決問題能力,可以迅速掌握業(yè)務邏輯并轉化為技術方案,能獨立撰寫項目解決方案、項目技術文檔;
7、具有較強的內外溝通能力,良好的團隊意識和協作精神;
8、機器學習技術、數據挖掘、人工智能經驗豐富者優(yōu)先考慮;
9、 具有能源電力行業(yè)工作經驗者優(yōu)先。
數據架構師的職責是什么(篇6)
職責:
1、 基于公司大數據基礎和數據資產積累,負責大數據應用整體技術架構的設計、優(yōu)化,建設大數據能力開放平臺;負責大數據應用產品的架構設計、技術把控工作。
2、 負責制定大數據應用系統的數據安全管控體系和數據使用規(guī)范。
3、 作為大數據技術方案到產品實現的技術負責人,負責關鍵技術點攻堅工作,負責內部技術推廣、培訓及知識轉移工作。
4、 負責大數據系統研發(fā)項目任務規(guī)劃、整體進度、風險把控,有效協同團隊成員并組織跨團隊技術協作,保證項目質量與進度。
5、 負責提升產品技術團隊的技術影響力,針對新人、普通開發(fā)人員進行有效輔導,幫助其快速成長。
任職資格:
1、 計算機、數學或相關專業(yè)本科以上學歷,5-20__年工作經驗,具有大型系統的技術架構\應用架構\數據架構相關的實踐工作經驗。
2、 有分布式系統分析及架構設計經驗,熟悉基于計算集群的軟件系統架構和實施經驗。
3、 掌握Hadoop/Spark/Storm生態(tài)圈的主流技術及產品,深入了解Hadoop/Spark/Storm生態(tài)圈產品的工作原理及應用場景。
4、 掌握Mysql/Oracle等常用關系型數據庫,能夠對SQL進行優(yōu)化。
5、 熟悉分布式系統基礎設施中常用的技術,如緩存(Varnish、Memcache、Redis)、消息中間件(Rabbit MQ、Active MQ、Kafka、NSQ)等;有實踐經驗者優(yōu)先。
6、 熟悉Linu_,Java基礎扎實,至少3-5年以上Java應用開發(fā)經驗,熟悉常用的設計模式和開源框架。
數據架構師的職責是什么(篇7)
職責:
1、負責面向政府信領域的企業(yè)(不限于)大數據平臺、大數據應用等系統的架構設計、技術規(guī)劃、技術選型
2、跟進業(yè)界大數據技術發(fā)展動態(tài),匹配行業(yè)應用訴求,制定大數據策略,提前識別關鍵技術并完成技術驗證;
3、支撐售前完成項目解決方案技術架構的設計及重要客戶的交流;
4、負責指導研發(fā)完成大數據產品的開發(fā)
5、帶領團隊進行產品核心技術的創(chuàng)新和積累
崗位要求:
1、熟悉BI和大數據領域的解決方案,具備該領域全面的技術積累,包括報表平臺,OLAP引擎和DB,ETL,數據倉庫建模和設計,海量分布式數據處理分析架構;
2、在大數據處理和分析領域具有3年或者以上的技術規(guī)劃、架構設計經驗,并有成功的項目實踐;
3、4年以上Hadoop實戰(zhàn)經驗,熟悉Hadoop底層文件系統及分布式計算框架,具備傳統數據倉庫、MPP、Hadoop等混搭平臺架構的設計能力和數據建模能力,對大規(guī)模數據并行計算、傳輸、處理等有豐富的經驗;
4、有實際應用storm、spark、flume、kafka等項目經驗優(yōu)先;
5、卓越的技術領導力,善于溝通、發(fā)現和解決產品需求階段、開發(fā)階段和測試階段的問題,并能提供合理解決方案,有大中型互聯網企業(yè)工作背景優(yōu)先。
數據架構師的職責是什么(篇8)
職責:
1、負責相關開源系統/組件的性能、穩(wěn)定性、可靠性等方面的深度優(yōu)化;
2、負責解決項目上線后生產環(huán)境的各種實際問題,保障大數據平臺在生產上的安全、平穩(wěn)運行;
3、推動優(yōu)化跨部門的業(yè)務流程, 參與業(yè)務部門的技術方案設計、評審、指導;
4、負責技術團隊人員培訓、人員成長指導。
5、應項目要求本月辦公地址在錦江區(qū)金石路316號新希望中鼎國際辦公,月底項目結束后在總部公司辦公
任職要求:
1、熟悉linu_、JVM底層原理,能作為技術擔當,解決核心技術問題;
2、3年以上大數據平臺項目架構或開發(fā)經驗,對大數據生態(tài)技術體系有全面了解,如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoeni_等;
3、掌握git、maven、gradle、junit等工具和實踐, 注重文檔管理、注重工程規(guī)范優(yōu)先;
4、熟悉Java后臺開發(fā)體系,具備微服務架構的項目實施經驗,有Dubbo/Spring cloud微服務架構設計經驗優(yōu)先;
5、性格開朗、善于溝通,有極強的技術敏感性和自我驅動學習能力,注重團隊意識。
數據架構師的職責是什么(篇9)
職責:
1、正確理解業(yè)務需求,對需求進行工作量評估;
2、參與項目相關的需求、設計、投產手冊等文檔的編寫;
3、根據進度計劃,完成所承擔功能模塊的設計、開發(fā)、單元測試、聯調測試;
4、配合測試組修復代碼缺陷,確保功能實現與代碼質量;
5、負責所承擔功能模塊投產、部署,及上線后的日常維護;
6、完成項目經理或者架構師安排的其他工作;
任職資格:
1、本科以上學歷,計算機相關專業(yè),兩年以上大數據開發(fā)經驗;
2、熟悉Linu_ 環(huán)境,掌握shell或python;
3、熟練使用hadoop,hive,HBase,YARN,kafka,spark等大數據開發(fā)組件;
4、精通 ETL,數據倉庫的設計和開發(fā);
5、有大數據處理實戰(zhàn)經驗,熟悉整個大數據的完整處理流程,包括數據的采集、清洗、存儲;
6、較強的動手能力和學習能力,良好的溝通能力、團隊協調能力;
7、具有銀行、金融行業(yè)從業(yè)背景者優(yōu)先。
數據架構師的職責是什么(篇10)
職責:
1、負責大數據項目平臺架構的評估、規(guī)劃和設計
2、開發(fā)大數據平臺的核心模塊代碼,負責大數據平臺的搭建,完成系統調試、集成與實施,保證大數據產品的上線運行
3、根據業(yè)務需求整合優(yōu)化數據架構,保證產品的可靠性、穩(wěn)定性
4、指導開發(fā)人員完成數據模型規(guī)劃建設,分析模型構建及分析呈現
5、深入研究大數據相關技術和產品,跟進業(yè)界先進技術;
6、根據項目要求編寫相關技術文檔;
7、負責大數據平臺的架構評審,代碼評審,上線評審;參與數據應用需求、設計、審核和評審;
8、負責核心模塊研發(fā),負責大數據平臺的搭建,完成系統調試、集成與實施;
9. 負責關鍵功能的開發(fā),技術難題的解決,以及輸出代碼的關鍵把控;
10. 負責對使用關鍵技術的預研和選型,完成 PoC ;
11. 指導工程師完成開發(fā)工作,并能分享技術經驗。
任職資格:
1、精通Linu_操作系統,熟練使用Java;
2、3年以上大數據項目實戰(zhàn)經驗,兩個項目的架構設計經驗,熟悉Hadoop、Hbase、Storm、Spark、Pig等開源框架,并熟悉其工作原理;
3、有Hadoop、Spark、Hbase平臺性能調優(yōu)經驗;
4、熟悉其它分布式存儲相關技術,包括HDFS,Hive、Redis、Mongodb、 Flume、Kafaka、Sqoop、Zookeeper、ElasticSearch等;
5、熟悉Java開發(fā)常用框架.如Spring、MyBatis等;
6、熟悉關系型數據庫如oracle及數據庫編程。
7、能夠根據項目情況安排人力、分配任務,具有較強的團隊管理能力。
8、碩士以上學歷,20__年以上的工作經驗。
