主仆调教SM束缚绳索捆绑,成品人和精品人的区别三叶草,双性受被各种性器调教学生小说,精品一区二区三区水蜜桃

車險離線數倉項目

車險離線數倉項目共分三大部分:數倉采集環境搭建、數倉分層計算、SuperSet可視化大屏展示。項目的核心內容為對汽車保險核心業務的交易域、理賠域進行統計分析。

教程帶你從0到1完成數倉框架環境搭建、數倉建模分析,以及最終數據的可視化展示。幫助學習者深入了解數倉建模理論體系及實際應用。還是尚硅谷一貫的風格,保姆式講解,敗家式贈送,一站式學習,學習者參照視頻及教輔資料即可實現全部項目流程!

微信圖片_20230905150619.png

項目中使用的框架包括:Hadoop、Kafka、Flume、Zookeeper、DataX、DolphinScheduler、Hive、Maxwell、SuperSet等。教程通過精煉的業務體系邏輯,帶你快速掌握離線數倉所使用的技術手段!

教程目錄

001.數據采集課程內容介紹
002.數據倉庫概念
003.項目需求分析
004.技術選型
005.系統流程設計
006.框架版本選擇
007.服務器選型
008.集群規模設計
009.資源規劃
010.業務流程說明
011.表結構說明
012.安裝虛擬機
013.分發腳本
014.安裝JDK
015.環境變量配置說明
016.進程查看腳本
017.安裝Zookeeper
018.Zookeeper啟動腳本
019.Zookeeper客戶端常用指令
020.安裝Hadoop
021.Hadoop群起腳本
022.項目經驗之存儲多目錄
023.項目經驗之集群數據均衡
024.項目經驗之參數調優
025.安裝Kafka
026.Kafka群起腳本
027.Kafka常用指令之Topic相關
028.Kafka常用指令之生產者和消費者
029.Flume安裝與項目經驗
030.安裝MySQL
031.模擬生成數據
032.同步策略介紹
033.數據同步工具介紹
034.DataX簡介和框架設計
035.DataX的運行與調度
036.DataX的安裝
037.MySQL數據導入HDFS之TableModel模式
038.MySQL數據導入HDFS之Querysql模式
039.DataX傳參
040.HDFS數據導入到MySQL
041.DataX優化
042.Maxwell概述和輸出數據格式
043.MySQL原理
044.安裝Maxwell
045.Maxwell啟動腳本
046.Maxwell使用
047.生成DataX配置文件
048.全量數據導入腳本
049.增量數據同步-Maxwell配置
050.增量數據同步-Flume配置
051.增量數據同步-攔截器與采集
052.Maxwell時間戳問題
053.Flume啟動腳本
054.增量首日全量同步
055.安裝Hive
056.Hive中文亂碼問題
057.車險離線數倉課程內容簡介
058.數倉的概念
059.數倉架構
060.數倉建模的意義
061.ER模型
062.維度模型
063.事實表概述
064.事務型事實表概述
065.事務型事實表的設計
066.事務型事實表的不足-存量型指標
067.事務型事實表的不足-多事務關聯指標
068.周期型快照事實表的概念
069.周期型快照事實表設計與事實類型
070.累積型快照事實表
071.維度表設計
072.規范化與反規范化
073.全量快照維度表
074.拉鏈表
075.多值維度
076.多值屬性
077.數據倉庫的分層
078.數倉的構建流程
079.據調研
080.明確數據域
081.業務總線矩陣
082.明確統計指標
083.維度模型與匯總模型設計
084.Hive引擎簡介
085.Hive on Spark兼容性說明
086.Hive on Spark搭建
087.AM資源比例調整
088.DataGrip使用
089.模擬生成數據
090.Hive常見問題和解決方案
091.ODS層設計要點
092.數據格式說明
093.全量數據建表
094.復雜數據類型回顧
095.增量數據建表
096.ODS數據加載
097.DOS層部分表字段顯示問題
098.ODS層數據加載腳本
099.DIM層設計要點
100.地區維度表
101.保險產品維度表
102.保險經理人維度表
103.投保人維度表首日數據加載
104.投保人維度表每日數據加載
105.車輛維度表首日數據加載
106.車輛維度表每日數據加載
107.DIM層首日數據加載腳本
108.DIM層每日數據加載腳本
109.DWD層設計要點
110.交易域投保事務事實表首日數據加載
111.交易域投保事務事實表每日數據加載
112.繳費成功事實表首日數據加載
113.繳費成功事實表每日數據加載
114.理賠域報案事務事實表數據加載
115.理賠流程累積快照事實表建表
116.理賠流程累積快照事實表首日數據加載
117.理賠流程累積快照事實表每日數據加載
118.DWD層首日數據加載腳本
119.DWD層每日數據加載腳本
120.DWD表設計要點
121.交易域城市車型粒度投保1日匯總表建表
122.交易域城市車型粒度投保1日匯總表數據加載
123.理賠域城市車型粒度出險1日匯總表建表
124.理賠域城市車型粒度出險1日匯總表數據加載
125.DWS 1d表首日數據加載腳本
126.DWS 1d表每日數據加載腳本
127.交易域城市車型粒度投保n日匯總表
128.理賠域城市車型粒度出險n日匯總表
129.DWS nd表數據加載腳本
130.ADS層設計要點
131.交易綜合統計
132.續保統計
133.產品交易統計
134.城市交易統計
135.理賠綜合統計
136.城市理賠統計
137.省份理賠統計
138.車型理賠統計
139.ADS數據加載腳本
140.MySQL建庫建表
141.HDFS數據同步到MySQL案例演示
142.ADS同步數據到MySQL腳本
143.DolphinScheduler簡介
144.DolphinScheduler部署說明
145.安裝DolphinScheduler
146.DolphinScheduler啟動停止命令
147.安全中心配置
148.創建工作流與運行工作流
149.定時
150.局部參數
151.全局參數
152.傳遞參數
153.參數優先級
154.內置參數
155.依賴資源
156.告警
157.失敗重試
158.模擬生成新數據
159.工作流調度
160.SuperSet簡介
161.安裝SuperSet
162.SuperSet啟動腳本
163.SuperSet可視化

  1. 主站蜘蛛池模板: 宁远县| 灵丘县| 汕头市| 西乌珠穆沁旗| 巴东县| 龙南县| 都昌县| 青浦区| 大姚县| 新源县| 津南区| 乌鲁木齐县| 北海市| 舒城县| 河津市| 皋兰县| 武宁县| 泸溪县| 蛟河市| 博白县| 定日县| 库伦旗| 涟源市| 阳新县| 青神县| 司法| 大同县| 新和县| 镇宁| 瑞丽市| 汉川市| 安泽县| 贵溪市| 花莲市| 维西| 盘山县| 诸暨市| 余江县| 台中市| 邵武市| 宜君县|