數據集成-架構與技術


業務架構

數據集成平臺處理數據的業務邏輯上,整個數據邏輯架構可分為OLTP層(在線事務處理)、ODS(運營數據存儲)、EDW(企業級數據倉庫)、MRT(部門級數據集市)、BI(商業智能)。數據間的邏輯關系可以用下圖說明:

業務架構

OLTP(在線事務處理)是分散在各部門的實時業務系統,這些系統是DIBI數據的主要來源系統。OLTP系統分散部署在各業務部門。

ODS(運營數據存儲)存放集成的、可更新的、近實時的業務數據。ODS主要用于異構業務數據源的明細數據整合后、進入數據倉庫前的存儲,并提供面向業務的、近實時的統一數據視圖,支持全局業務數據的查詢與分析。ODS的系統的數據模型是統一建模的,其數據通過ETL工具從OLTP系統通過抽取、清洗、轉換而來。

EDW(企業級數據倉庫)中存放面向主題的、集成的、相對穩定的、反映歷史變化的數據。此處存儲的內容包含可作為唯一對外交換共享依據的主數據庫和在ODS和主數據基礎上生成的主題數據庫。

MRT(部門級數據集市)是在EDW基礎之上,為不同業務部門的需求和不同分析應用的分析數據的存儲,其數據來源于數據倉庫,并對其數據進行高度匯總。數據集市模型也按主題組織,但其主題域劃分與數據模型不同,數據集市的主題是基于不同部門、不同人員的分析需求而組織的。

BI(商務智能系統)是數據的展示及發布系統,其中可有些供展示及發布用的數據存儲。


技術架構

本系統采用J2EE平臺作為應用基礎平臺。應用邏輯可分層為資源層、構件層、服務層、流程層、協同層和客戶端層,如下圖所示:

技術架構

功能架構

該系統被用來實現整個企業各分散系統間的數據交換和數據展現,其中對主數據的管理可用于保證企業全局數據的一致性和完整性,對通過維度建模形成的主題及維度數據可通過數據展現功能來體現其數據價值。從業務邏輯模型中可看出企業需要集成的數據牽扯到當前運營數據、歷史運營數據、企業級主數據、企業級主題數據、部門級主題數據等,其對于數據元數據的管理、數據的抽取、維護、使用有共通之處,因此,我們可以將這些功能歸納在一起,統一開發后供不同的數據形態反復使用。數據集成系統總體功能框圖如下:

功能架構
?
北京pk10免费全天计划