掌握能力
掌握企業(yè)級基建環(huán)境部署、Hive和Spark數(shù)據(jù)開發(fā)、數(shù)據(jù)倉庫搭建、數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載、數(shù)據(jù)應(yīng)用和京東離線ETL。
勝任職位
離線數(shù)據(jù)工程師、數(shù)據(jù)倉庫工程師、ETL工程師、數(shù)據(jù)采集工程師、數(shù)據(jù)支持工程師、BI商業(yè)分析師、數(shù)據(jù)可視化工程師、Hadoop工程師、Spark工程師
技術(shù)點
Java、MySQL、Maven、Git、OpenResty、Linux、Shell、HDFS、YARN、Zookeeper、MapReduce、Scala、Python、SparkCore、Hive、SparkSQL、Presto、Sqoop、DataX、Flume、CDH、數(shù)倉架構(gòu)、維度建模、SuperSet、Azkaban、Airflow等。掌握企業(yè)級基建環(huán)境部署、Hive和Spark數(shù)據(jù)開發(fā)、數(shù)據(jù)倉庫搭建、數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載、數(shù)據(jù)應(yīng)用和京東離線ETL。
項目
數(shù)據(jù)服務(wù)、大數(shù)據(jù)可視化、企業(yè)級Hadoop基建項目部署、分布式網(wǎng)絡(luò)爬蟲、基于Spark的大數(shù)據(jù)分析項目、ETL項目之Hive和SparkSQL、BI商業(yè)分析等。

掌握能力
掌握流數(shù)據(jù)接入、基于Flink實時數(shù)據(jù)開發(fā)、流批一體數(shù)據(jù)倉庫開發(fā)、數(shù)據(jù)湖開發(fā)、實時ETL、實時監(jiān)控系統(tǒng)和京東實時數(shù)據(jù)開發(fā)
勝任職位
實時工程師、Flink工程師、實時數(shù)據(jù)倉庫工程師、實時ETL工程師、Spark工程師
技術(shù)點
Kafka、Structured Streaming、Hudi、Canal、Flink、ClickHouse、HBase、Phoenix、Elasticsearch、Redis
項目
實時監(jiān)控系統(tǒng)、基于Flink的實時數(shù)據(jù)開發(fā)、實時數(shù)據(jù)湖、大數(shù)據(jù)搜索系統(tǒng)

掌握能力
掌握企業(yè)項目開發(fā)流程、用戶畫像開發(fā)、企業(yè)級推薦系統(tǒng)開發(fā)、數(shù)據(jù)治理、基于生產(chǎn)環(huán)境項目部署和京東項目性能調(diào)優(yōu)
勝任職位
數(shù)據(jù)服務(wù)工程師、離線數(shù)據(jù)倉庫開發(fā)工程師、BI商業(yè)分析師、實時數(shù)據(jù)倉庫工程師、實時監(jiān)控系統(tǒng)工程師、ETL工程師、數(shù)據(jù)可視化工程師、數(shù)據(jù)治理工程師、高級數(shù)據(jù)開發(fā)工程師、推薦工程、數(shù)據(jù)平臺工程師、數(shù)據(jù)架構(gòu)師
技術(shù)點
數(shù)據(jù)采集與監(jiān)控平臺、準實時數(shù)據(jù)倉庫、用戶畫像、推薦系統(tǒng)、基于Flink的實時數(shù)據(jù)倉庫、元數(shù)據(jù)管理與數(shù)據(jù)治理。

項目介紹
隨著互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)源頭越來越多且是分散的，除了業(yè)務(wù)庫，APP 埋點，web 網(wǎng)站 log，LOT 設(shè)備等會產(chǎn)生各種各樣的海量數(shù)據(jù)，這些數(shù)據(jù)在進入數(shù)據(jù)倉庫之前（或之后），需要進行統(tǒng)一（字段定義、主題歸屬、項目劃分等），數(shù)據(jù)集成在一起。離線數(shù)倉的ETL，涵蓋數(shù)據(jù)的抽取轉(zhuǎn)換與加載。
項目目標
在數(shù)據(jù)倉庫中構(gòu)建模型，從數(shù)據(jù)源中抽取數(shù)據(jù)，然后對這些數(shù)據(jù)進行轉(zhuǎn)化，最終加載到目標數(shù)據(jù)庫或者數(shù)據(jù)倉庫中去，實現(xiàn)離線數(shù)倉ETL的過程。

項目介紹
企業(yè)信息化發(fā)展，數(shù)據(jù)源豐富，數(shù)據(jù)量比以往結(jié)構(gòu)化的數(shù)據(jù)大了幾個量級，對 ETL 過程、存儲都提出了更高的要求?；ヂ?lián)網(wǎng)的在線特性也對實時性提出了要求，如用戶反欺詐、用戶審核等隨著用戶的暴漲。實時數(shù)據(jù)開發(fā)，主要是對由用戶行為、業(yè)務(wù)行為等產(chǎn)生的巨大量數(shù)據(jù)進行實時處理，并應(yīng)用到生產(chǎn)中。
項目目標
基于分層的模型 ods/dwd/dws/，業(yè)務(wù)數(shù)據(jù)和日志數(shù)據(jù),事實數(shù)據(jù)存儲在 kafka 中，維度數(shù)據(jù)存儲在 Hbase/Tair 中，dm 層的數(shù)據(jù)最終導(dǎo)出到 mq/olap/rds/kv 中。ad-hoc 查詢基于 Flink 來做。實時數(shù)倉的存儲需考慮支持數(shù)據(jù)重放，方便支持任務(wù)重跑。選擇一個具有重放功能的、能夠保存歷史數(shù)據(jù)并支持多消費者的消息隊列，根據(jù)需求設(shè)置歷史數(shù)據(jù)保存的時長，通過實時數(shù)據(jù)開發(fā)，建成實時數(shù)倉、實時指標等，支撐企業(yè)鏈路的實時化。

項目介紹
大數(shù)據(jù)采集與指標監(jiān)控項目是基于第一階段和第二階段課程，貫穿離線數(shù)據(jù)上報、數(shù)據(jù)儲存、數(shù)據(jù)服務(wù)監(jiān)控、數(shù)據(jù)分析等全套流程。整個項目包括Flume自定義攔截器代碼、自定義Azkaban監(jiān)控代碼和SQL相關(guān)指標代碼開發(fā)。
項目目標
解決離線數(shù)據(jù)上報流程，數(shù)據(jù)采集操作，flume和azkaban的二次開發(fā)，數(shù)據(jù)服務(wù)監(jiān)控，離線數(shù)據(jù)開發(fā)流程。

項目介紹
HDFS+Flume+Sqoop+數(shù)倉思想+Spark
SQL/Hive+Azkaban+Python+Shell+Superset大數(shù)據(jù)離線數(shù)倉解決方案。
項目目標
1 采集和同步架構(gòu)組件采用: Sqoop+Flume
2數(shù)倉架構(gòu)組件采用:HDFS+SparkSQL/Hive
3 任務(wù)調(diào)度架構(gòu)采用：Azkaban+Python/Shell
4 涉及到數(shù)倉思想: 分層+建模+維度+粒度+拉鏈+增量/全量+數(shù)據(jù)質(zhì)量等
5 本項目中的BI工具： Superset

項目介紹
準實時數(shù)倉是一個集流式數(shù)據(jù)集成，數(shù)據(jù)分析、DAU預(yù)測和數(shù)據(jù)應(yīng)用的數(shù)倉型項目。整個項目架構(gòu)為Nginx+OpenResty+Kafka+Spark+Presto等技術(shù)構(gòu)成。
項目目標
解決事件行為分析。
解決企業(yè)留存分析。
解決漏斗分析。
解決DAU預(yù)測及數(shù)據(jù)服務(wù)提供。

項目介紹
用戶畫像是基于數(shù)倉之上的項目，主要解決畫像標簽服務(wù)，比如人群圈定服務(wù)和相似用戶搜索服務(wù)等。同時標簽的處理使用Word2Vec、TF-IDF、HanLP分詞等技術(shù)。
項目目標
解決企業(yè)人群圈定。
解決相似用戶搜索。

大數(shù)據(jù)時代的需求：
隨著各行各業(yè)數(shù)據(jù)量的爆發(fā)性增長，對數(shù)據(jù)分析的需求也在不斷增加。企業(yè)迫切需要數(shù)據(jù)分析專家來挖掘數(shù)據(jù)中的價值，并以數(shù)據(jù)驅(qū)動的方式做出決策。根據(jù)熱點新聞報道，大數(shù)據(jù)數(shù)據(jù)分析人才供不應(yīng)求，求職市場上的需求超過人才的供給。
行業(yè)廣泛應(yīng)用：
大數(shù)據(jù)數(shù)據(jù)分析幾乎滲透于所有行業(yè)。從互聯(lián)網(wǎng)、金融、零售到醫(yī)療、制造等各領(lǐng)域，數(shù)據(jù)分析的應(yīng)用場景無處不在。根據(jù)報道，金融和電商是當前對數(shù)據(jù)分析人才需求最為迫切的行業(yè)，而隨著5G、物聯(lián)網(wǎng)、人工智能等技術(shù)的發(fā)展，更多行業(yè)將加速數(shù)字化轉(zhuǎn)型，對數(shù)據(jù)分析人才的需求將進一步增長。
數(shù)據(jù)驅(qū)動的決策：
隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)對企業(yè)決策的重要性越發(fā)凸顯。數(shù)據(jù)分析師通過對海量數(shù)據(jù)的挖掘和分析，為企業(yè)提供準確的信息和決策支持，幫助企業(yè)實現(xiàn)商業(yè)智能和戰(zhàn)略優(yōu)勢。在熱點新聞中，很多大型跨國企業(yè)都在加大對數(shù)據(jù)分析團隊的投入，顯示出數(shù)據(jù)驅(qū)動決策的重要性與價值。
工資水平不斷攀升：
由于大數(shù)據(jù)數(shù)據(jù)分析人才供需矛盾，市場對這類人才非常看重。報道顯示，大數(shù)據(jù)數(shù)據(jù)分析崗位的工資水平普遍較高，并且隨著經(jīng)驗的積累有望進一步提高。這也使得大數(shù)據(jù)數(shù)據(jù)分析成為了各大高校和職業(yè)培訓(xùn)機構(gòu)的熱門專業(yè)和培訓(xùn)方向。