尚硅谷金融審批數倉項目
金融審批數倉項目共分三大部分:數倉采集環境搭建、數倉分層計算、SuperSet可視化大屏展示。項目的核心內容為金融審批業務的連續階段性分析,采用了特殊的事實表建模完成里程碑生命周期業務的便捷統計。
教程帶你從0到1完成數倉框架環境搭建、數倉建模分析,以及最終數據的可視化展示。幫助學習者深入了解數倉建模理論體系及實際應用,對金融系統中特殊的階段性業務分析,提供了有效的解決方法。

教程目錄
001.金融審批數倉教程簡介
002.數據倉庫概述
003.數據倉庫項目需求介紹
004.數據倉庫技術選型
005.數據倉庫整體流程設計
006.框架版本選擇介紹
007.服務器選型介紹
008.集群資源規劃設計
009.金融租賃業務簡單介紹
010.金融租賃業務流程簡單介紹
011.金融租賃業務流程細節內容介紹
012.金融審批表結構介紹
013.環境準備_使用模板機創建3臺虛擬機
014.環境準備_使用阿里云簡介
015.環境準備_集群分發腳本配置及使用
016.SSH免密登錄的配置
017.SSH免密登錄的使用
018.JDK的安裝部署
019.環境變量配置的介紹
020.集群查看腳本編寫
021.Hadoop部署_基礎配置文件編寫
022.Hadoop的安裝部署及啟動
023.Hadoop的群起群停腳本介紹
024.Hadoop的參數調優
025.MySQL的安裝部署
026.數據生成腳本介紹
027.使用EZDML梳理業務表格關系
028.ZooKeeper的安裝部署介紹
029.ZooKeeper的客戶端使用
030.Kafka的安裝部署
031.Kafka的啟動停止以及群起群停腳本編寫
032.Kafka的基礎命令行操作演示
033.Flume的安裝部署
034.Flume的內存調優經驗介紹
035.Maxwell的簡單介紹
036.Maxwell的原理介紹
037.Maxwell的安裝部署
038.Maxwell的啟動和使用展示
039.Maxwell的停止和腳本介紹
040.Maxwell的Bootstrap功能
041.數據同步策略介紹
042.數據同步工具選擇
043.DataX的基礎介紹
044.DataX架構原理
045.DataX運行流程
046.DataX的安裝部署及使用方法介紹
047.DataX同步MySQL數據到HDFS
048.DataX解決同步Null不同步的問題
049.DataX的QuerySQL模式和配置文件傳參
050.使用DataX完成HDFS數據導出到MySQL
051.DataX的優化及內存調節
052.同步全量表數據演示
053.DataX自動生成配置文件演示
054.DataX全量導入數據腳本單表導入方法編寫
055.DataX全量導入數據多表導入及功能完善
056.增量數據采集的Flume配置文件編寫
057.增量數據采集Flume攔截器功能介紹
058.增量數據采集Flume攔截器代碼編寫
059.業務數據Flume攔截器的使用
060.增量業務數據采集的Flume啟停腳本
061.增量業務數據首日全量同步腳本運行
062.Hive的安裝部署
063.離線數倉的概述及核心架構
064.數倉建模ER模型介紹
065.數倉建模ER模型三范式介紹
066.數倉建模維度模型介紹
067.維度建模事實表簡單概述
068.維度建模事務型事實表介紹
069.維度建模周期快照事實表和累積性快照事實表
070.維度建模維度表設計流程
071.維度表設計規范化和反規范化
072.維度表設計維度變化的選擇
073.維度表設計多值維度和多值屬性
074.數倉設計分層規劃
075.數倉設計之數據調研
076.數倉設計之明確數據域
077.數倉設計之構建業務總線矩陣
078.數倉設計之指標體系分析
079.Hive的執行引擎介紹
080.Hive替換Spark引擎的完整展示
081.AM資源比例參數介紹
082.數倉開發工具DataGrip介紹
083.模擬數據的采集同步
084.Hive常見問題的解決
085.ODS設計總體原則
086.ODS_全量客戶表數據裝載
087.ODS_使用get_json_object方法來解析Json
088.ODS_使用JsonSerde解析增量表數據
089.ODS_創建所有的表格修復已有的分區
090.ODS_腳本數據裝載的編寫和使用
091.DIM_部門維度表裝載
092.DIM_員工和行業維度表裝載
093.DIM_腳本數據裝載
094.DWD_整體需求介紹
095.DWD_累積快照事實表分區設計
096.DWD_數據裝載情況介紹
097.DWD_累積快照事實表基礎表格數據聚合
098.DWD_累積快照事實表的首日裝載
099.DWD_累積快照事實表初始數據的聚合
100.DWD_累積快照事實表每日裝載
101.DWD_腳本數據裝載
102.ADS_待審主題綜合統計
103.ADS_待審數據各業務方向統計和各部門統計
104.ADS_業務經辦和信審經辦的審核數據統計
105.ADS_各行業審核數據統計
106.ADS_審批結束數據綜合統計
107.ADS_審批結束數據各業務方向和各部門聚合統計
108.ADS_審批結束數據各業務經辦和信審經辦聚合統計
109.ADS_審批結束各行業統計
110.ADS_轉換數據統計數據計算
111.ADS_轉換數據統計導入及ADS需求總結
112.腳本數據裝載
113.導出數據樣例演示
114.使用腳本完成DataX的數據導出
115.DolphinSchedule基礎概述
116.DolphinScheduler架構介紹
117.DolphinSchedule的安裝部署
118.DolphinSchedule簡單任務的執行演示
119.DolphinSchedule的定時和傳參功能
120.DolphinSchedule的依賴資源和告警功能介紹
121.新數據生成及單機DolphinSchedule啟動
122.DolphinSchedule完成全流程調度
123.可視化_虛擬環境安裝部署
124.SuperSet的安裝部署
125.SuperSet的可視化展示演示
126.金融審批項目采集總結
127.金融審批項目數倉總結