大數據線上問診實時數倉項目
尚硅谷線上問診實時數倉項目延續了離線數倉的業務邏輯,以線上問診開處方為基礎業務邏輯,真實表現了線上問診數據的實時分析統計。
線上問診實時數倉項目共分三大部分:實時數倉架構介紹、數倉模型搭建、Suger可視化大屏展示。項目以線上問診采集項目為前置基礎,使用采集項目中搭建的虛擬機環境,讀取采集項目實時監控的業務數據,對數據進行實時的分析計算,最終得到指標需求結果。

項目中使用的框架包括:Hadoop、Kafka、Flume、Maxwell、Flink、Phoenix、HBase、Redis、Doris、Suger等。教程通過精煉的業務體系邏輯,帶你快速掌握實時數倉所使用的技術手段!
教程目錄
01.線上問診實時數倉教程介紹
02.采集項目數據采集回顧
03.線上問診實時數倉概念介紹
04.線上問診實時數倉核心架構介紹
05.實時數倉架構的具體操作流程
06.數倉建模ER模型介紹
07.數倉建模ER模型三范式介紹
08.數倉建模維度模型介紹
09.維度建模事實表簡單概述
10.維度建模事務型事實表介紹
11.維度建模周期快照事實表
12.維度建模累積快照事實表
13.維度建模維度表設計流程
14.維度表設計規范化和反規范化
15.維度表設計維度變化的選擇
16.維度表設計多值維度和多值屬性
17.數倉分層規劃
18.數倉構建流程簡單介紹
19.數倉數據調研介紹
20.數倉分配數據域
21.數倉構建業務總線矩陣及維度模型設計
22.數倉指標體系分析
23.IDEA開發環境準備
24.Flink的環境準備
25.HBase的環境部署
26.Redis的環境部署
27.Doris的FE部署
28.Doris的BE集群安裝部署
29.Doris的BE集群bug解決
30.ODS_使用Kafka存儲原始數據
31.DIM_實時監控實現動態配置維度表元數據信息原理介紹
32.FlinkCDC測試代碼編寫
33.DIM_整體代碼結構介紹
34.DIM_流式環境創建的方法封裝
35.DIM_讀取Kafka主流ODS層數據
36.DIM_讀取配置表數據
37.DIM_封裝HBase獲取同步連接
38.DIM_創建HBase中的維度表
39.DIM_處理合并流完成主流過濾維度表的操作
40.DIM_寫出維度表數據到HBase
41.DIM_維度表代碼測試及整體邏輯回顧
42.DWD_FlinkSQL的使用方法
43.DWD_使用FlinkSQL讀取ODS層數據
44.DWD_問診事實表篩選數據
45.DWD_問診事務事實表數據寫出
46.DWD_問診支付成功事實表代碼編寫及演示
47.DWD_處方事實表代碼編寫
48.DWD_處方事實表數據測試
49.DWD_interval_Join的原理介紹
50.DWD_處方開單支付事務事實表編寫及測試
51.DWD_用戶注冊事務事實表
52.DWD_新增患者事務事實表
53.DWD_醫生注冊事務事實表
54.DWS_醫院性別年齡粒度問診聚合需求介紹
55.DWS_讀取DWD層數據并轉換結構
56.DWS_使用異步連接優化維度關聯
57.DWS_旁路緩存優化介紹
58.DWS_實現維度關聯的抽象類設計
59.DWS_實現醫院id和患者信息的維度關聯
60.DWS_開窗聚合問診次數及問診金額代碼及演示
61.DWS_修復補全維度信息
62.DWS_將JavaBean保留需要的字段轉換為JsonString
63.DWS_Doris寫出工具類編寫
64.DWS_寫出數據到Doris演示
65.DWS_問診支付成功窗口聚合
66.DWS_處方開單窗口聚合
67.DWS_處方開單支付窗口聚合
68.DWS_用戶注冊的窗口聚合
69.DWS_患者添加窗口聚合
70.DWS_醫生注冊窗口匯總
71.DWS_醫院粒度評價表使用狀態找出新增評價
72.DWS_醫院粒度評價導出數據
73.大屏可視化流程介紹
74.大屏可視化內網穿透展示
75.SugerBI實現可視化展示