統計分析系統設計論文

前言:尋找寫作靈感?中文期刊網用心挑選的統計分析系統設計論文,希望能為您的閱讀和創作帶來靈感,歡迎大家閱讀并分享。

統計分析系統設計論文

1系統架構及相關技術介紹

1.1系統設計

根據某省電力公司的具體情況,本文所設計的電力行業統計分析系統的總體架構分為數據源、數據倉庫架構、數據訪問架構以及元數據管理等。

1.2ETL設計

用OWB(OracleWarehouseBuilder)工具對ETL進行實現,其任務為偵測ETL事件,以便啟動處理過程,同時跟蹤ETL處理日志。ETL的處理過程如下:通過Excel導入管理工具或者OWB將數據源的數據抽取、轉換、加載到ODS層的數據緩沖區的增量數據庫中;將ODS層的數據緩沖區的增量庫的數據抽取、轉換、加載到ODS層的數據緩沖區的歷史庫;將ODS層的數據緩沖區的歷史庫的數據抽取、轉換、加載到ODS層的統一視圖信息區的增量庫;將ODS層的統一視圖信息區的增量庫的數據抽取、轉換、加載到ODS層的統一視圖信息區的全量庫;將ODS層的統一視圖信息區的全量庫的數據抽取、轉換、加載到ODS層的對外數據服務接口區;將ODS層的統一視圖信息區的全量庫的數據抽取、轉換、加載到DW(數據倉庫)層。

1.3系統數據結構設計

1.3.1ODS設計

存放經過清洗、轉換、標準化以后的數據,并對外提供數據服務。為企業提供統一的數據視圖,滿足業務部門實時獲取數據和業務部門間對企業級的數據共享的需求。因此將ODS設計劃分為兩大部分:數據區、服務區。并按主題進行組織、近實時的集成數據存儲,以便最終用戶能夠快速查詢近期細節生產數據。

1.3.2DW(數據倉庫)設計

數據倉庫模型分為兩個區域:核心數據區(企業核心數據歷史細節區域)和輕度匯總數據區。核心數據區的數據模型設計依據企業數據模型進行設計,但是每個實體都要加上相應的時間戳。核心數據區的模型相對穩定。輕度匯總數據區的模型設計依賴于分析需求。數據倉庫模型是符合3NF的帶有時間戳的關系模型。具體操作時應對數據倉庫需求進行分解,按業務主題進行組織,將業務主題相關的數據組織成主題域,并對各指標進行分析。

1.3.3DM(數據集市)設計

數據集市的數據分為兩類:一類是基于數據倉庫的細節數據或輕度匯總數據進行的統計分析,另外一類數據是基于統計分析進一步分析挖掘的數據。數據集市的建模方法是通過調研企業經營的戰略目標、綜合查詢分析系統、同業對標系統、業務管理目標、業務報表等,對這些資料進行分析。根據一體化平臺關于分析主題進行細化,構建統一的核心數據集市模型。數據集市模型采用星形模型建模。

1.4元數據管理設計

元數據存儲在專用的數據庫中。有一類獨立于其它工具,被稱為元數據知識庫(MetadataRepository)的工具,它們為元數據提供一個集中的存儲空間。本設計中采用基于OracleOWB(OracleWarehouseBuilder)的元數據管理方案,各個工具集中通過OWB進行管理其中,元數據管理流程主要包括:元數據獲取流程(手動和自動)、元數據訪問權限管理流程以及元數據流程。元數據知識庫通過元數據獲取流程,來整合多個源(工具、數據庫和流程)中的不同元數據。通過元數據獲取流程,將元數據存入知識庫中后,為了有效的維護和管理元數據,保持其對于整個數據倉庫系統的有效性、準確性和及時性,還需要完成許多管控工作。元數據的方式有很多種:包括從屬關系圖(dependencydiagrams),數據沿襲表(datalineage),影響分析(impactanalysis),高級搜索,柔性報表,元數據術語表等。在實際工作中,應該有一套具體的流程來使用這些元數據方式,使得用戶的查詢請求能得到及時有效的反饋。

2系統的實現

業務數據來源主要是業務系統的物理表或者是相關視圖,源數據將直接抽取到ODS數據緩沖區,在此過程中為了盡可能的減輕對業務系統數據庫服務器的性能壓力,因此不對業務數據進行清洗、轉換等操作。從ODS數據緩沖區到ODS統一視圖區的過程中,需要對ODS數據緩沖區的原始業務數據進行相關的抽取、清洗、轉換,最后加載到ODS統一視圖區。按照企業建立數據“唯一事實”的要求,數據倉庫應為各級業務人員提供一致的信息視圖。因而,整個企業應共享統一的數據存儲模型。通過定義統一系統界面和數據查詢規范,為最終用戶指標分析提供支持,并根據業務指標體系和主題分析的要求,建立輔助決策分析模型,實現系統的前端實現方式。具體展現方式包括列表、數據透視表、文字說明、計量表、雷達圖、柱形圖、條形圖、線形圖、餅圖、組合圖、告警分析等。其中OLAP分析主要包括全網的負荷分析、發電量分析、用電量分析、購電量分析以及各個火電廠、水電廠和水庫的分析。按時間維度來對企業的調度運行情況進行具體的分析。

作者:安弟 單位:國網銀川供電公司

亚洲精品一二三区-久久