數據清理平臺
待割接數據現狀:
1、涉及多個系統割接期間需保持系統正常運行;
2、數據量大,與集團DF模板存在差異;
3、數據質量參差不齊,存在大量后臺修改過的數據;
4、部分數據在系統中有缺失。
數據清理平臺目標:
1、固化數據清理流程,實現數據迭代清理,對數據進行映射、同步、轉換、抽取、校驗、導入等處理流程以符合集團DF模板要求;
2、支持多種數據清理方式,實現自動/人工清理結合,清理錯誤數據,補錄缺失數據;
3、準確定位數據問題,保障高效高質進行數據清理;
4、豐富的統計分析功能,實現數據清理進度管控;
5、清理平臺獨立部署,不影響生產系統;
6、打通與集團DF平臺接口,實現清理結果快速上報。
主要功能:
源數據同步、數據映射、數據抽取、數據校驗、數據清理、數據上報、腳本管理
主要流程: