數據云平臺技術研究

前言:尋找寫作靈感?中文期刊網用心挑選的數據云平臺技術研究,希望能為您的閱讀和創作帶來靈感,歡迎大家閱讀并分享。

數據云平臺技術研究

隨著經濟增長和航空產業的快速發展,航班數量快速增加,航線網絡越來越復雜。但同時,乘客對航班正點率的要求也在不斷提升,這些因素疊加在一起,使得空中交通管理的難度指數級增加。此外,空管業務對信息化、智能化、大數據分析技術的需求也在與日俱增??展苄袠I的信息化基礎設施在資源供給、運維管理、可靠性保障、快速應用開發支撐、安全防護等方面面臨著巨大的挑戰。空管行業是大量生產、使用、處理數據的行業,不會“使用數據”“治理數據”,就無法突破組織發展的瓶頸。以信息技術為引領,以“智慧”為重要特征的新一輪科技革命和產業變革方興未艾,數字化、大數據、云計算、人工智能等新科技在各行各業得到快速應用,正在全方位重塑各行業的形態、模式和格局。

一、數據云平臺建設背景及意義

1.信息化系統現狀分析

目前,大部分空管信息化系統建設只是具有云平臺的雛形,采用虛擬化技術,獨立建設軟硬件設備的系統,并不利于數據交互與挖掘分析,很容易形成數據孤島;同時,這類信息化系統沒有設置外網隔離區(DemilitarizedZone,DMZ),不能滿足空管業務系統門戶網站、移動辦公等對外部互聯網訪問的網絡安全需求。上述不足之處不符合信息技術進步發展趨勢和當前實際業務應用需求,因此,有必要加快空管信息化系統建設的數字化轉型與升級,并積極探索數據云平臺等相關技術的研究與應用。

2.數據云平臺建設的意義

(1)滿足數字化轉型的要求

空管行業是大量生產、使用、處理數據的行業,不會“使用數據”“治理數據”,就無法突破組織發展的瓶頸。整個行業亟待以管理體系為依托,用數據驅動來激活組織的動能,實現組織的高質量發展。數據是數字化轉型的核心,數據治理作為數字化轉型的基礎性工程,是數字化轉型的核心任務之一。目前,空管單位尚未建立完整的數據管控體系和數據資產目錄,數據架構、數據標準、數據質量機制及數據安全管理等都需要規范和完善??展軉挝恍枰⒁徽赚F代化的數據治理體系,構建規范化的數據治理管理制度和流程,梳理企業級數據資產目錄,建立數據全生命周期管理體系,從而支撐生產運行與綜合管理。為實現上述功能,筆者認為需要構建一個集約化、高可靠的數據云平臺,以現代化數據治理體系為核心,作為空管信息化系統數據存儲、計算、管理和交互的平臺。該平臺亦是數據治理體系的基礎,能夠提升數據共享水平及應用集成效益,讓數據資產發揮更大的應用價值,從而滿足數字化轉型工作的必然要求。

(2)滿足提高運行效率的要求

建設數據云平臺可以打破空管各業務系統間的信息壁壘,著力提升數據分析和運用能力,發揮數據潛在價值,為生產運行提供決策依據。同時,基礎設施運維工作可以集中在數據云平臺的運維團隊,大幅降低運維工作復雜度,提高設備運維保障工作的效率和質量。相比于傳統的依靠經驗進行生產運行、運維管理的組織與實施,應用統一集成的云平臺,依靠數據驅動決策,可以滿足實現生產運行、運維管理更加高效,監管更加精準、安全更加可靠、服務更加優質目標的需要。

(3)滿足提升智慧化水平的要求

數據云平臺可以固化數據治理體系和已有成果,并支撐后續數字化建設工作,進一步綜合應用云計算、大數據、物聯網、人工智能等成熟技術與空管現有技術的深度融合,實現空管從數字化、智能化到全面智慧化的戰略轉型。

二、數據云平臺總體概念

為滿足未來業務發展需要,筆者單位擬開展云平臺建設,構建一個用以支撐未來數據管理和應用服務的數據云平臺,一期建設內容主要包括基礎云平臺、數據平臺、相關功能組件等方面。其中,基礎云平臺提供云技術組件能力,同時滿足安全性合規性要求,為數據平臺(包括數據治理組件及數據交互組件)和其他新建應用系統提供足夠的物理資源。數據平臺實現了數據集中接入、存儲、計算、分析、共享交互以及數據開發的綜合平臺功能。在數據平臺的基礎上,擴展開發數據治理功能組件,作為規范化數據管理的核心,確保業務數據如實得到記錄的工具;擴展開發數據交互功能組件,各類信息系統在交互功能組件上,實現集中的數據交互和業務集成、服務接口統一管理、重用和運行監控。

三、數據云平臺組成及具體功能

1.基礎云平臺

筆者單位擬建立一套基礎云平臺,能夠提供云技術組件能力,同時滿足安全性合規性要求,為數據平臺(包括數據治理組件及數據交互組件)和其他新建應用系統提供足夠的物理資源,并且后期平臺可進行擴容?;A云平臺需具備六大基礎功能模塊,基礎設施即服務(InfrastructureasaService,IaaS)層彈性資源平臺、平臺即服務(PlatformasaService,PaaS)層技術組件、集成平臺/大數據/人工智能、系統可靠性、分層安全框架和統一管理與運維,其架構如圖1所示。

(1)IaaS層彈性資源平臺

硬件和網絡資源集中管理平臺通過虛擬化技術、軟件定義存儲技術和軟件定義網絡技術將各類資源納入統一的資源池,可根據需要為應用程序動態增加或縮減所占用的資源,從而實現資源的集約化利用。IaaS層彈性資源包括計算、存儲、網絡三大資源池。計算資源池中又包含虛擬機、裸金屬服務器、GPU、彈性伸縮、容器等計算產品與服務;存儲資源池中包含塊存儲、對象存儲及文件存儲等存儲產品與服務;網絡資源池中包含VPC、域名服務、負載均衡等網絡產品與服務。

(2)PaaS層技術組件

各類通用技術組件的集成平臺,為應用程序技術組件的標準化創造了條件,包括關系型數據庫服務(RelationalDatabaseService,RDS)、非關系型數據庫(Non-relational Sql,NoSql)、分布式數據庫、消息中間件、容器編排、微服務、開發運維(DevelopmentOperations,DevOps)工具鏈等。其中,DevOps工具鏈組件為應用程序的開發、測試和運維的敏捷化提供基礎性支持,服務監控組件為服務水平管理、服務監控管理等方面的集中化管理提供了依據。

(3)SaaS層應用

新建多套業務管理與輔助系統作為應用系統運行在軟件即服務(SoftwareasaService,SaaS)層,并利用云平臺計算、存儲、網絡安全資源,實現新建業務系統軟硬件資源的集約化建設與高效運行。

(4)統一管理與運維

云平臺提供的資源管理、服務部署、服務水平管理、數據審計服務、管理監控、訪問控制等,為云平臺的高效運行和運維管理的規范化、集中化、智能化創造了條件。

2.數據平臺

建立一個數據平臺,實現數據集中接入、存儲、計算、分析、共享交互以及數據開發的綜合平臺功能,同時擴展開發數據治理組件和數據交互組件,實現數據綜合治理和交互功能。

(1)數據平臺的基礎功能

數據平臺需具備數據接入、數據存儲、數據計算、數據分析與挖掘、數據可視化、數據服務、數據共享和數據開發等功能。①數據接入。多源異構數據源通過作業和調度任務,抽取、匯聚、處理、轉換數據后,裝載入目標端數據庫,支持實時的和批量的數據同步和數據集成。②數據存儲。支持結構化數據存儲和非結構化數據存儲,提供分布式數據庫、緩存數據庫、文檔數據庫、全文檢索數據庫、對象存儲等多種數據存儲服務。③數據計算。提供批處理、流處理、內存計算和圖計算能力。④數據分析與挖掘。支持數據分析、數據挖掘和知識圖譜分析等能力。⑤數據可視化。通過視覺組件和簡單易操作的配置方式,能讓數據分析人員從海量數據中迅速配置可視化報表,支持多種客戶端展示。⑥數據服務。將數據表生成數據API,或將已有API快速注冊至平臺進行統一管理與發布。⑦數據共享。通過目錄管理、版本管理、用戶權限、安全認證、限流策略等方式,全方位管理數據共享的渠道。⑧數據開發。面向多種計算引擎的統一開發,提供可視化集成開發環境、任務測試與發布、任務編排與調度、以及任務運維與監控能力服務。

(2)數據治理組件功能

數據治理組件的核心功能包括數據資產目錄管理、數據模型管理、元數據管理、數據標準管理、數據質量管理、數據安全管理、指標數據管理、主數據管理、數據全生命周期管理和數據治理流程制度管理共10個核心功能模塊及24個子模塊。

(3)數據交互組件功能

數據交互組件的核心功能系統集成包括數據集成、消息集成、服務集成。系統間的集成需要支持同步或異步的集成方式,兼容不同系統的集成協議,支撐分局的現有系統間數據交互方式,如應用程序接口(ApplicationProgrammingInterface,API)、FTP文件解析、數據庫同步、消息隊列及串口/并口等,以及未來新建微服系統主要使用的協議。從系統的穩定性和安全性出發,生產類系統間的交互基本保持原狀,不使用數據交互組件。管理類系統間的集成以及和外部單位(如機場、航司等)系統間的集成使用交互組件。

3.算力與存儲能力

數據云平臺建設的主要需求來源,包括現有生產運行、行政管理系統的原始數據引接和數字化轉型規劃新建信息系統,其算力需求和存儲容量是由規劃擬新建信息系統及未來的空管應用數據量所決定??紤]到分局業務規模的增長、數據分析的深入,以及數據應用場景的拓展等,預計數據增量每年都會保持一定比例的增幅,且數據云平臺根據業務特點需要長期保存歷史數據,故而算力和存儲容量也相應地進行增長。基礎云平臺需能夠提供可隨時自助獲取、可彈性伸縮的云服務器,為用戶打造高效、安全、可靠、靈活、穩定的應用環境。預計第一年數據存儲量35TB,未來五年內數據云平臺從外部系統中引接數據的存儲需求總容量約為175TB,以此作為硬件選型的基本依據。

4.網絡安全設置

云平臺硬件的選型將滿足云平臺本身系統運行及上述應用的算力和存儲需求,軟件需滿足云平臺功能需求,防護措施滿足《信息安全技術網絡安全等級保護安全設計技術要求》(GB/T25070—2019)中對第三級系統的安全保護設計要求和《信息安全技術網絡安全等級保護基本要求》(GB/T22239—2019)中第三級云計算安全保護能力要求。結語本文結合空管信息化系統的發展現狀,剖析了建設數據云平臺的意義,有助于提高運行效率、滿足數字化和智慧化的運行要求。并且,結合空管分局(站)的業務規模,探討了云平臺的總體概念,具體介紹了基礎云平臺、數據平臺、數據治理組件及數據交互組件的組成與功能。在保證網絡信息安全的前提下,筆者單位將深入地開展空管數據資源的挖掘分析、數據治理和創新應用等,努力促進空管信息化系統建設的技術進步與高質量發展。

【注】本論文是民航浙江空管分局數字化轉型項目——數據云平臺項目研究成果之一。

作者:段昌淼

亚洲精品一二三区-久久