Python+大數據開發課程大綱

• SQL基礎

• Hadoop技術棧

• 千億級離線數倉項目

• 千億級離線數倉項目實戰

• Python基礎編程

• ETL實戰

• BI報表開發項目實戰(新增)

• Spark技術棧

• 用戶畫像解決方案

• PB級內存計算項目實戰

• 基于AI大模型數據開發項目(新增)

• 面試加強

• 阿里云實時計算Flink全棧開發(更新)

• 阿里云實時計算項目(更新)

查看詳細課程大綱>SQL基礎課時：8天

主要內容

· Linux操作系統· MySQL與SQL· Kettle與BI工具· 電商運營指標分析

可解決的現實問題

熟練掌握MySQL\SQL、Kettle以及BI工具使用，能夠解決傳統數倉業務開發任務。

可掌握的核心能力

1. 掌握MySQL數據庫的使用；
2. 掌握SQL語法；
3. 掌握Kettle數據遷移工具的使用；
4. 熟練使用BI可視化工具；
5. 對數據開發有一定認知，掌握BI工程師所具備的基本技能。

查看詳細課程大綱>Hadoop技術棧課時：11天

主要內容

· 大數據開發Hadoop基礎· Hive基礎· Hive進階

可解決的現實問題

熟悉Linux操作系統，以及各種Linux命令，能夠解決企業級大數據集群搭建問題，為進階大數據開發奠定基礎。

可掌握的核心能力

1.掌握Linux常用命令，為數據開發后續學習打下的良好基礎；
2.掌握大數據的核心框架Hadoop以及其生態體系，完成HDFS、MapReduce及Yarn機制基本理解與使用；能夠搭建Hadoop高可用HA集群；
3.掌握Hive的使用和調優；
4.具備Hadoop開發能力、離線數據倉庫開發能力；
5.能夠完成基本構建企業級數倉。

查看詳細課程大綱>千億級離線數倉項目課時：11天

主要內容

· 大數據部署運維：Cloudera Manager · 分析決策需求：數據倉庫 · 數據采集：DataX
· 數據分析：Hive· 數據調度：Dolphinscheduler · OLAP系統存儲：PostgreSql
· Fine Report數據報表與大屏· 數倉建模: 范式與維度建模
· 五大核心主題域開發: 銷售域、供應鏈域、會員域等

可解決的現實問題

能夠解決企業級常見數據倉庫搭建，從項目的需求、技術架構、業務架構、部署平臺、ETL設計、作業調度等整套pipeline，完成大數據體系下的企業級數據倉庫構建。

可掌握的核心能力

1.掌握泛電商行業離線數倉的分層與建模，從需求、設計、研發、測試到落地上線的完整項目流程；
2.行業內首個深度講解數倉建模模型方案的主體項目；
3.包括海量數據場景下如何優化配置；
4.掌握項目遷移能力，能夠將項目遷移至泛電商的各個領域；
5.掌握在泛電商行業中關于全量與增量數據處理模式；
6.提供泛電商行業下的數據存儲分析以及服務監控方案。

查看詳細課程大綱>千億級離線數倉項目實戰課時：5天

主要內容

· 大數據部署運維：Cloudera Manager· 分析決策需求：數據倉庫 · 數據采集：sqoop · 數據分析：Hive · 分組完成項目

可解決的現實問題

按照企業級大數據開發流程，獨立完成項目開發，掌握企業級多場景大數據離線數倉開發能力，從數倉分層，數倉建模，指標統計，指標展示完成完整的大數據項目。

可掌握的核心能力

1.掌握教育行業離線數倉的分層與建模，從需求、設計、研發、測試到落地上線的完整項目流程；
2.真實業務邏輯，共涉及20多個主題，100多個指標，提升學員在教育行業中的核心競爭力；
3.包括海量數據場景下如何優化配置；
4.拉鏈表的具體應用；
5.新增數據和更新數據的抽取和分析；
6.Hive函數的具體應用；
7.ClouderaManager可視化、自動部署和配置、Git、CodeReview功能。

查看詳細課程大綱>Python基礎編程課時：8天

主要內容

· Python基礎語法· Python面向對象· Python高級語法· Python多任務編程· Python網絡編程

可解決的現實問題

熟練掌握Python語言，建立編程思維，使學員能夠熟練使用Python技術完成程序編寫。
熟練使用Python面向對象程序設計思想，掌握數據開發必備Python高級語法，解決常見Python開發問題。

可掌握的核心能力

1.掌握Python開發環境基本配置；
2.掌握運算符、表達式、流程控制語句、數組等的使用；
3.掌握字符串的基本操作；
4.初步建立面向對象的編程思維；
5.熟悉異常捕獲的基本流程及使用方式；
6.掌握類和對象的基本使用方式；
7.知道多進程多線程的原理。

查看詳細課程大綱>ETL實戰課時：5天

主要內容

· ETL概念與工具· ETL項目需求分析· ETL項目架構設計· Python ETL實戰

可解決的現實問題

掌握Python完成數據ETL實戰，能夠解決中小型數據量數據處理相關任務。

可掌握的核心能力

1. 掌握ETL的相關概念；
2. 掌握基于Python語言完成ETL任務開發實戰；
3. 基于ETL實戰鍛煉Python編程能力，包括（元數據管理、數據模型、項目配置、單元測試、工具方法抽取等）；
4. 掌握BI數據分析實戰。

查看詳細課程大綱>BI報表開發項目實戰課時：3天

主要內容

· BI報表開發需求分析· BI報表工具· FineReport報表入門· 泛電商行業五大主題的實現

可解決的現實問題

掌握使用量最廣BI報表開發工具FineReport，能夠基于FineReport完成不同行業BI報表開發及業務決策。

可掌握的核心能力

1.掌握BI報表開發需求分析
2.掌握BI報表工具
3.掌握FineReport報表

查看詳細課程大綱>Spark技術棧課時：10天

主要內容

· 大數據Spark技術棧· SparkSQL數據處理與統計分析· Spark案例實戰

可解決的現實問題

掌握全球熱門的Spark技術棧，通過SparkCore和SparkSQL解決數據處理與統計分析工作，進階高級大數據開發工程師。

可掌握的核心能力

1. 掌握Spark的RDD、DAG、CheckPoint等設計思想；
2. 掌握SparkSQL結構化數據處理，Spark On Hive；
3. 掌握Structured Streaming整合多數據源完成實時數據處理；
4. 具備Spark全棧開發能力，滿足大數據行業多場景統一技術棧的數據開發，提供就業核心競爭力。

查看詳細課程大綱>用戶畫像解決方案課時：10天

主要內容

· SparkSQL整合ES自定義數據源· DS任務界面化調度· 用戶畫像標簽構建規則· 用戶畫像規則類標簽構建· 用戶畫像統計類標簽構建

可解決的現實問題

項目提供了全行業用戶畫像解決方案, 使用SparkSQL+ES+DS構建企業級用戶畫像，通過SparkSQL+MySQL構建通用行業用戶畫像標簽體系。

可掌握的核心能力

1.掌握SparkSQL整合ES自定義數據源；
2.掌握用戶畫像構建流程；
3.掌握用戶畫像標簽構建規則；
4.掌握用戶畫像規則類標簽構建；
5.掌握用戶畫像統計類標簽構建。

查看詳細課程大綱>PB級內存計算項目實戰課時：3天

主要內容

· 多場景畫像標簽項目實戰· 基于Spark全棧技術構建企業級大數據開發平臺

可解決的現實問題

基于Spark全棧技術構建企業級大數據開發平臺，學生分組獨立完成項目實戰，能夠勝任常見大數據平臺開發工作，助力企業實現數字化轉型。

可掌握的核心能力

1.掌握保險行業數據分析流程；
2.掌握保費計算流程；
3.掌握DS調度流程。

查看詳細課程大綱>基于AI大模型數據開發項目實戰課時：2天

主要內容

· ChatGPT生成代碼· ChatGPT改Bug· 基于AI大模型的出行大數據平臺數倉搭建· 基于AI大模型指標開發

可解決的現實問題

掌握如何使用AI大模型幫助數據開發和數據分析編程效率提升，具備使用AI大模型解決問題的能力。

可掌握的核心能力

1.完成ChatGPT基礎使用；
2.基于ChatGPT可以完成改Bug，寫注釋，生成代碼等常見編程任務；
3.能夠基于合理的Prompts提示詞進行提問，助力提升編程效率。

查看詳細課程大綱>面試加強課時：4天

主要內容

· 核心技能知識點以及常見面試題強化學習

可解決的現實問題

對學習的內容進行整體回顧，并分析經典面試題，指導簡歷，面試和溝通技巧。

可掌握的核心能力

1.強化面試就業核心面試題；
2.梳理大數據架構及解決方案；
3.剖析多行業大數據架構。

查看詳細課程大綱>阿里云實時計算Flink全棧開發課時：5天

主要內容

· 阿里云Flink入門· Flink SQL· Flink作業開發· 阿里云Flink運維

可解決的現實問題

掌握當下熱門的流批一體化分布式計算框架阿里云Flink及其生態，解決實時計算經典場景問題，適應市場對阿里云Flink越發增長的需求。

可掌握的核心能力

1.掌握基于阿里云Flink進行實時和離線數據處理、分析；
2.掌握基于阿里云Flink的多流并行處理技術；
3.掌握FlinkCDC多數據源采集技術。

查看詳細課程大綱>阿里云實時計算項目課時：5天

主要內容

基于阿里云Flink + Kafka + Paimon 湖倉一體技術架構，實現在線視頻行業大規模流數據處理和實時分析。本項目依托 阿里云 Flink 流處理計算引擎， 通過 FlinkCDC 實時采集 RDS MySQL 數據庫數據，實現數據采集的斷點續傳，使用Kafka 作為實時數倉，使用 Paimon 實現數據的持久化和Flink 批處理，實現計算的流批一體，數據存儲的湖倉一體，采用StarRocks對接DataV完成實時業務大屏展示。

可解決的現實問題

采集超過千萬條在線視頻的數據，實時高性能海量數據分析與存儲業務數據實時大屏場景實現。

可掌握的核心能力

1.湖倉一體化解決方案基于Flink+Paimon湖倉一體技術架構；
2.基于FlinkCDC完成MySQL等數據源的數據采集；
3.FlinkSQL流批一體架構實現實時數據計算；
4.使用StarRocks進行海量多維分析；
5.掌握數據報表分析；
6.掌握業務數據實時大屏場景實現。