前言:中文期刊網精心挑選了大數據審計論文范文供你參考和學習,希望我們的參考范文能激發你的文章創作靈感,歡迎閱讀。
大數據審計論文范文1
并購創造價值,然而在并購后期企業如何將并購效益達到最佳,即如何更為有效地進行并購整合一直是并購研究的一個主要方向。同時,互聯網飛速發展,大數據已悄然而至,隨之而來的必然會是以大數據為依托的又一波并購浪潮。因此,研究大數據對企業并購審計活動及其風險的影響極具現實意義。
一、企業并購審計與大數據
1.企業并購。企業并購,一般指企業兼并和收購(M&A),是以目標企業控制權為標的進行交易,實現迅速規模擴張、增強競爭力的擴張型商業活動。隨著我國改革開放步伐不斷加快,“引進來”和“走出去”協同發展,現如今,互聯網的迅速發展為中國企業創新帶來了極大的動力與無限的可能,以阿里巴巴、騰訊、百度為代表的互聯網企業以迅雷不及掩耳之勢在我國掀起又一波并購浪潮。2.并購審計。并購審計屬專項審計,即注冊會計師在并購雙方擬定并購計劃并簽訂并購協議之后,為達到提高并購效率,降低并購風險,而提供的包括財務報告審計等專業服務的審計活動。由于并購審計不僅包含一般財務審計的目標,有的甚至關系到企業未來的發展,因此并購審計的目標更為復雜,內容更為豐富。3.大數據。隨著云計算技術的快速普及,電子信息、互聯網及移動互聯網的廣泛運用,數據已成為新時期的基礎生活資料與市場要素。大數據具有海量化、多樣化、價值高、密度低和快速化等特點,更精確地分析企業所處的行業地位、市場占有率等,使企業管理者進行管理決策更有洞察發現力及遠見。
二、大數據對企業并購審計風險的影響
根據并購審計的特點以及大數據對于并購審計的影響,大數據下并購審計的風險包括四大內容:首先是大數據對企業并購審計環境的影響,其次是大數據對企業并購審計目標的影響,再次是大數據對企業并購審計內容的影響,最后是大數據對企業并購審計技術的影響。1.大數據對企業并購審計環境的影響。大數據背景下,企業的方方面都會受其影響,就企業并購活動來說,在并購準備階段,大數據對于并購審計的影響則主要體現在企業并購環境上,例如通常來說復雜的市場環境和不斷隨市場變化的產品生命周期。大數據的發展對于外部環境的把握提供了極大的幫助。例如市場環境的變化可以通過對大數據的發掘分析,不僅大大提高了市場變化信息的及時性,審計過程中可通過市場大數據下行業中權威預測與評論等信息獲取更具準確性的參考,同時降低審計風險。而并購企業的內部環境,如公司的管理水平、企業文化的影響程度,企業監督制度及內部控制的執行情況等內容的審計也會加大并購審計的風險。大數據時代,企業往往會建立內部的數據平臺以提高生產與管理效率,在進行企業并購審計時,這些內部的大數據平臺對于審計人員準確把握主并企業與目標企業的生產會計信息,充分運用職業判斷降低并購審計風險起到重要的作用。2.大數據對企業并購審計目標的影響。企業并購的一大目標便是產生協同效應,然而是否能產生確是未知數,這也是并購審計風險的重要影響因素之一。企業并購并不僅是并購雙方有形資產的整合重組,更重要的應是優勢互補,將無形的文化與資產進行有效整合,以期企業的更大發展。因此在挑選目標企業時,大數據便能顯示出其魅力。數據是一面很好的鏡子,審計人員通過對主并企業和目標企業運營情況、發展特點、行業處境等影響企業并購協同效應因素的科學對比分析,尋求業務可持續發展的動力,使企業并購協同效應最大化,挖掘出并購后可達到的最大價值。3.大數據對企業并購審計內容的影響。企業并購審計的內容中,對于對方企業的評估審計關系到目標企業價值,對審計風險影響較大,因此并購審計中評估審計的內容至關重要。對目標企業的評估內容比較廣,比如,需要認真分析企業財務運營狀況、目標企業競爭力的強弱等;企業并購后聯合風險也是并購活動中不可忽視的重要內容,其中發展戰略是主并方選擇并購對象和類型的基礎,關系到未來企業運營狀況。而大數據對于趨勢與發展分析,特別是用有形數字所表現的信息分析具有不可替代的優勢。4.大數據對企業并購審計技術的影響。審計技術的影響因素多指審計人員的專業素養和最新技術應用。大數據對于二者的影響頗為明顯,即在信息與數據的選擇中,審計人員普遍運用抽樣技術,然而數據如何選取,選取之后如何解讀卻因人而異。但是大數據時代的來臨,數據與信息獲取更方便、更全面,甚至可以基于全樣數據運用大數據技術進行審計分析,減少了審計抽樣的風險,從而對于這一問題提供更好解決的可能。同時信息不對稱問題造成很多并購活動的失敗。大數據時代以其及時性與數據充分性著稱,因此,在大數據日益發展的情況下,信息不對稱對于并購審計風險的潛在影響不斷降低。
三、大數據背景下企業并購審計風險的控制
上述風險的防范重點主要集中在提升數據處理技術、提高審計人員素質、完善政策法律環境等方面。1.注重數據安全,提升數據處理技術是核心。首先,可以根據數據性質和審計需求設置權限等級,嚴格控制數據訪問權限,減少數據外泄的可能性。其次,大數據時代面對海量數據處理,對數據的獲取與處理不僅需要Excel或審計軟件,還要借助數據挖掘技術縮小數據量,然后再對數據進行分析,從而提高并購審計工作的效率,降低并購審計的風險。2.提高審計人員綜合素質是關鍵。并購審計中審計人員的職業判斷舉足輕重,審計人員必須提高自身的綜合素質,靈活地運用審計方法、審計工具,組合式地解決問題、應對變化。一方面要加強現有審計人員知識結構調整,另一方面要與信息技術等領域的專業人士通力合作凸顯團隊力量。3.完善并購法律制度環境是保障。大數據在并購審計中發揮更好的作用離不開完善的法律與制度環境。因此,進一步完善與企業并購相關法律法規,形成合理專業的業務規范是大勢所趨。同時,在制定相關的會計準則時,既要借鑒國際會計領域的先進成果,也要兼顧我國國情,適合我國境內各類型的企業并購,特別是新興的互聯網企業并購。
參考文獻:
[1]我國企業并購現狀與成功條件的分析和思考[D].何麗.碩士論文,2010.
[2]企業并購專項審計和財務評價.[J].盧樹華.現代商業,2009.5.
[3]企業并購審計風險及其防范.[J].熊夢云、彭卉.財會月刊,2013.8.
[4]企業并購審計風險及其防范措施.[J].何婭萍.時代金融,2013.7.
大數據審計論文范文2
一、會計信息化的改革與發展分析
(一)可拓展商業語言
目前,在對會計信息化可拓展商業語言研發中,研發人員探討的主要內容是相關技術的開發、商業語言內容與類別的采納以及可拓展商業語言對會計信息化業務造成的影響。在經過一段時間的實踐后,我們已經可以初步認識到可拓展商業語言在技術層面的突出表現,但是距離建立完善的技術體系還有一段路需要走。例如,目前的可拓展商業語言分類標準還無法完成準確表達語意的要求。因此,在可拓展商業語言的研發中,需要重視精確語言機制的構建工作,通過完成?τ諢峒葡喙?a href="lunwendata.com/thesis/List_127.html" title="應用論文" target="_blank">應用中語意的統一解釋來完成可拓展商業語言的形式?。此外,在目前的可拓展商業語言研究中,主要的發展方向是通過本體與部分論的方法來實踐語言的形式化。
(二)云平臺構建
云平臺的構建中,云會計是一種重要的表現形式,這是會計信息化的一種重要應用形式,也是企業管理中會計信息化的一個重要發展方向。云會計是指基于互聯網的使用,將企業經營管理活動中的會計核算、管理以及決策功能整合于會計信息系統的一項綜合互聯網信息管理技術以及會計處理方法、理念的現代化管理手段,云平臺的計算是云會計的基本內核。此外,云平臺的構建還體現在企業財務信息資源的共享中。隨著互聯網技術以及互聯網理念的運用,企業與企業之間、企業與公眾之間的聯系越來越緊密,因此,企業信息化管理中云平臺構建會計信息化的研究越來越重要,企業財務信息共享的重要性越來越突出。但目前,關于企業財務信息化的資源共享的研究還只是停留在云平臺應用的優勢方面,對于信息共享的規則以及具體實踐還沒有一個明確的標準。
(三)IT 審計實施框架
云計算可以說是互聯網時代的創舉,可以為企業、會計審計以及政府經濟政策的制定等與大數據相關的決策提供強大而有效的技術支持,但是受到云計算平臺的影響,相關數據的有效性及安全性也無法得到保障,會計審計在使用這些數據時可能會存在一定的風險性。充分發揮云計算在IT審計中的優勢,確保云會計的效果也是目前業內研究的重點。云平臺與傳統的會計服務軟件存在顯著的差異,以云計算為基礎的IT審計不能照搬傳統會計服務軟件的框架,需要根據云計算的特點和IT審計的特殊性,構建全新的IT審計實施框架。必須要認識到基于云平臺的會計審計的發展,應對傳統的會計審計測試方法進行改進,從而降低IT審計的風險性,對AIS內部合理性進行嚴格的控制。會計云服務對于計算機信息技術的要求比較特殊,在會計IT審計實施框架的構建中,可以借鑒COBIT標準,密切關注流程中每一個環節,提高風險控制能力,通過IT審計框架的實施,推動會計云平臺的建設和云會計的進一步發展。
二、會計準則變革和財務報告功能拓展
(一)會計準則變革的經濟影響
我國于2006年頒布了一系列具體會計準則(CAS),之后具體準則又經過了兩次大規模的修訂,對經濟社會造成的影響也比較顯著。會計準則變革對變革的經濟后果分析預測包括非預期效益和預期效益兩個方面。首先可以從資本經營層面對會計變革的影響進行分析,明確企業投資行為在會計準則變革下作出的應對,對投資行為的影響一般屬于非預期的。從經濟風險管理控制角度分析非預期效應傳導路徑后發現,會計準則變革將會對輻射范圍內的企業的投資行為產生深刻的影響,而這種針對會計準則變革的應對則是一種非預期效應。除了對投資行為的影響外,會計準則變化還會對企業的資源配置效率產生影響。相關研究表明,企業資源配置效率會受到會計準則變化的影響,資源配置效率的變化屬于預期效應,且這種變革對企業的融資效率的影響要顯著低于投資效率。
(二)財務報告可比性和功能拓展
“互聯網+”的經濟環境對于財務報告的功能范圍產生了一定的影響,為了應對全新的社會經濟形式,財務報告的功能也進行了拓展。會計準則對于財務報告可比性的影響是傳統會計行業財務報告可比性的分析重點,而除會計準則外,其他的因素對財務報告可能造成的影響一般不會進行過多的考慮,這在一定程度上會造成財務報告可比性的偏差。需要注意的是,審計人員工作方式和審計風格的不同也會造成財務報告可比性的差別,不同的會計師事務所就同一會計工作作出的財務報告也會存在較大的區別。大數據時代下,必須要形成統一的財務報告形式和審計風格,因而相關財務監管部門需要對不同的會計師事務所的審計風格進行分析和比較,在此基礎之上,結合地區財務狀況和經濟發展形勢制定地方會計規范,對事務所的財務報告審計風格進行約束,提高不同企業、不同審計單位財務報告的可比性,進一步提高會計行業的規范性。FASB對會計財務報告的目標定位為決策有用,在“互聯網+”的背景下,財務報告的功能也應當進行合理的拓展。可以將疊加模式作為財務報告期望功能的擴展模式,即在一套傳統的基礎財務報表之上疊加一張輔助財務報表,對基本財務報表的功能進行補充。
(三)所得稅會計準則和計量屬性
現階段,我國所使用的會計準則比較復雜,會計準則資產負債表債務法對企業財務報表內容和匯報間隔進行了規定。企業需要對每個暫時性的年度財務變化狀況進行追蹤和記錄,企業財務人員要嚴格按照稅法和會計準則的要求對賬目進行記錄,這在無形中提高了企業的運營成本,企業的經濟效益會受到影響。一些企業為了提高盈利,避免ST行為,采取了遞延所得稅的方式,這也說明我國所得稅準則還是存在較大的可操縱性的,與此同時,現行的會計準則和各種計量屬性實際運用中,相關問題也存在一些自相矛盾的地方。“互聯網+”經濟背景下,必須要對這種不完善的所得稅會計準則進行改革,使其更符合經濟發展的要求。為了確保會計準則改革的實效性,在修訂會計準則前需要明確各計量屬性的定義,對不同的計量屬性的所得稅會計準則之下的運用方式進行限定,確保計量屬性運行的合理性和合規性?;矩攧請蟊淼挠嬃繉傩砸话闶墙灰變r格,或者是歷史成本,現有的價值以及公允價值等都不作為財務報表中獨立的計量屬性,但是在實際的財務報表應用情況下,計量屬性也可以作為交易價格的估價方式而存在。除了基本財務報表之外的其他財務報表的計量屬性內容比較多,可以是現行成本、現值以及可變現凈值,等等。
三、管理會計的改革與發展
(一)管理會計的系統信息化建設
互聯網技術以及互聯網理念在我國社會生產經營中的應用范圍不斷擴大,為了更好地適應時代需要與時代特征,管理會計必須要立足于互聯網思維,積極進行信息化的系統建設。在互聯網時代,由于信息的頻繁交流,在網絡環境中往往充?M了各種各樣的信息,這些信息有的能夠對企業或組織的會計處理提供十分積極的幫助,有的則是一些錯誤虛假的信息。因此,在“互聯網+”時代的管理會計中,需要重視起對有效數據的收集與處理。通過云平臺與云計算對有效信息與有效數據進行收集與處理有著十分重要的積極意義。大數據時代,一方面給予了管理會計的發展環境,不斷對管理會計的信息化發展提出新要求;另一方面也需要管理會計的相關理念以及會計處理方法能夠與信息化的相關理念以及技術實現結合。在企業或組織中,信息化程度越高,那么在管理活動中對于管理會計的要求也就越高,需要企業或組織的管理會計工作能夠充分結合信息化。因此,管理會計系統信息化建設是企業現代化管理改革過程中的一項重要內容,企業需要立足信息技術與管理會計的有效結合,來探討會計信息化系統的建設工作。
(二)管理會計的專業人才
目前,在企業的現代化管理中,存在著重視財務管理人員的隊伍建設而忽視了管理會計的隊伍建設的情況。這就導致我國企業目前管理會計的人才數量相對較少,而隨著管理會計工作要求的不斷提高,這一現象已經在一定程度上影響到了企業的健康持續發展。因此,應當從以下方面來實現管理會計的專業人才的建設工作。首先,應當從教育領域重視起相關專業人才的培養工作,通過在高等教育院校中提高管理會計專業培養應用型人才的要求,不斷為社會提供符合實際需要的應用型管理會計專業人才。其次,在注冊會計師考試中,應當提高管理會計相關知識的考核比重,以此來提高會計從業人員對于管理會計的重視,這是促進會計從業人員正確認識管理會計重要性的有效手段。最后,在企業或組織當中,應當建立起完善的培訓制度,通過對會計從業人員的不斷培訓來提高其對管理會計的認識與掌握,從而適應企業的發展需要。
(三)管理會計理論體系構建
會計準則的恰當運用可以為企業財務工作成效的提高提供必要的保障。在“互聯網+”時代背景下,管理會計想取得突破與發展,必須要對原有的理論體系進行擴充和完善,為會計管理實踐工作提供理論指導,推動會計行業的進一步發展?,F階段,我國管理會計理論研究的對象大都是借鑒西方發達國家的理論研究成果,缺乏與我國國情的聯系。而目前我國正處于經濟轉型升級新常態時期,與西方國家的經濟結構和企業結構的差異都比較明顯,管理會計的工作的重點也不同。因而,在“互聯網+”經濟背景下必須要加強中國特色管理會計理論研究,建立內容中國化、方法國家化、可操作性的管理會計理論體系。
大數據審計論文范文3
關鍵詞:大數據 高校 信息化平臺 構建
中圖分類號:G648.1 文獻標識碼:A 文章編號:1674-098X(2016)11(c)-0072-02
改革開放以來,在科學技術快速發展的推動下,互聯網、云計算及社交網絡等層出不窮,使當前社會發展所接觸到的數據朝著多元化的方向發展,且數據的增長速度越來越快,這意味著人們漸漸邁入了大數據時代。隨著大數據時代的來臨,受到社會及教育部門的廣泛關注和研究,且在此種背景下,可促進高校信息化平臺的構建工作能夠較好地開展,同時還可推動教育改革。而高校作為培養人才的重要場所,做好學校內部信息化平臺構建工作顯得很有必要。
1 大數據
當代社會經濟飛速發展的背景下,社會各界對大數據缺乏一個明確、統一的定義,維基百科籠統的定義成,主要由巨型的數據整合構成,這些巨型的數據已超出人們可在接受的時間內,來收集、儲存及處理數據的能力,且數據的增長速度非常快,因此,將其稱為大數據。
1.1 大數據時代背景下數據量快速上升
相關研究結果表明,2007年,全球網絡系統的儲存數據超過350 EB,如果將其換算為GB,則高達3 200億。在所存儲的數據當中,只有少量數據保存在以往的網絡媒介上,如報紙、雜志以及書籍等,其他的都是數字數據[1]。
1.2 大數據時代背景下人們思維方式改變
以往的計算機水平非常低,人們只能通過隨機選擇的方式來研究大量數據,以利用較少的數據,得到更多有用的信息。但該種采集信息的方式所獲取的信息,具有很大的局限性,只能從采集的數據中,得到事先所設計好的答案,得到的答案并不是適合在任何情況下使用,很難了解到更多深層次問題。若把計算機網絡當作隨機抽樣對象,則很難找出一個最佳數據抽樣標準;若抽樣網絡比較小,則利用抽樣數據研究得出的結果,就很難體現網絡系統的結構特性。
2 大數據時代下建設高校信息化平臺中出現的問題
現階段,高校網絡服務體系建設過程中,校園辦公系統和校園網屬于其中非常關鍵的構成部分,且在網絡技術、大數據技術快速發展的環境中,與大數據時展越來越近,這就使得高校內部擁有大數據的可能性逐漸提高,加強對高校信息化平臺的構建非常關鍵,但隨著建設工作越來越復雜,在建設中常常會出現很多問題,具體表現在下述方面。
2.1 信息化系統安全系數偏低
各個高校在構建信息化平臺的過程中,所收集到的數據信息非常多,主要有機密數據、敏感數據以及隱私數據等,數據屬于高校的一項核心資產。在大數據時代,如果數據被隨意破壞或是篡改,則會對數據真實性造成非常嚴重的影響,從而影響數據挖掘結果在信息化平臺構建中有無價值,數據一旦泄露,則會直接影響其建設效率[3]。因此,保證高校信息化平臺構建過程中,各種數據信息的安全性、可靠性非常關鍵,這也是信息化平臺構建過程中應解決的一大難題,所涉及的內容較多,如網絡安全、數據權限管理、用戶應用習慣及加密技術等。
2.2 信息化平臺建設保障機制較差
大數據背景下,高校在進行信息化建設的過程中,常常會忽視信息化平臺的穩定性以及實用性,根據單一的部門業務需求來規劃及建設相應的信息化平臺,這就常常會使得平臺內的信息系統、軟件、硬件以及數據庫等互相分離,獨立地支撐各種信息系統。而且,高校信息化構建因規劃不夠完全,造成很多頂層的設計、專業人員以及保障措施方面的投入較小,進而影響整個信息化平臺建設工作的有序開展。
2.3 信息化平臺系統不夠集中
在大數據飛速發展的環境下,數據即資產,各高校內部的數據量非常大,由大量數據當中提取數據價值水平的高低可充分反映出各高校內部的信息化平臺構建水平的高低。因以往高校對于信息化平臺的構建規劃并不完善,盡管構建了相關的圖書館管理系統、校園網站、一卡通系統以及教務系統等,但是每一個系統之間的數據比較分散,各個軟件、硬件均獨立運行,這就導致大量有用的數據難以較快匯集,從而形成單一的數據信息平臺。而高校的信息化平臺建設要求校園內部和信息化的系統之間實現各種數據信息共享,以便獲取較多數據源,從而為高校提供可靠、真實的數據源[2]。
2.4 信息化平臺建設數據準確度不夠
高校經不同類型的傳感器、應用系統以及感應器等數據工具來收集相關的數據,且把所收集的信息變得更加數字化,但是在采集期間,相關人員應保證所收集數據的可靠性、真實性,避免人為篡改數據。而且所收集的大量數據中,可以直接使用且價值高的數據信息相對少,且數據的結構類型較多,應把原先非結構化的數據直接轉化成結構化的數據,由于數據的格式轉化中會將部分的源數據當中所蘊含的各種信息丟失,從而影響整個數據收集及挖掘結果的準確性,從而削弱整個數據在高校信息化平臺構建中起到的重要作用。
3 大數據時代背景下高校信息化平臺建設規劃
3.1 建設統一數據平臺,優化配置資源
由于之前高校內部的管理人員在構建信息化平臺的過程中,缺乏一定的信息化意識,對于頂層的設計未進行較好地部署及計劃,這就使數據不夠規范,各個業務系統在運行期間相互獨立,缺乏關聯。而在大數據背景下,經構建相應的云技術數據中心,于校園網絡的基礎之上和物聯網互相融合,于全校范圍內部署各種類型的數據采集器,如感應器,以快速收集設備、人員、設備、餐飲、交通及學習等方面的信息,實現信息化的系統和原有系統之間互相連通,共享各N數據信息,并將所獲取的數據直接導入整個數據中心,從而實現數據化轉變,以便為高校構建一個面向老師、學生提供科學管理、在線教學的信息化教學平臺。
3.2 合理編排課程,促進平臺建設
對于高校而言,改革教育的課程體系屬于一個十分重要的環節。但在大數據時代影響下,學生的學習資源非常豐富,教育環境越來越開放,因此,構建高校信息化課程體系,可突破傳統的模式,即邀請一些教學經驗比較豐富的老師,隨意、自由搭配課程,這種方式缺乏明確的教學目標,課程體系的系統性不強,很難提升高校的教學質量與水平。
因此,高校領導應結合學生的學習能力及自身的發展情況,并結合所處環境,收集大量的數據,對其進行科學、合理整理并分析,并對之后的發展情況做一些適宜的預測,以便了解高校學生應學習的內容,進而編訂相關的學習課程,促進信息化平臺建設工作的有序開展[4]。而且,在大數據環境下,高校在進行課程編訂的過程中,可適當融入相應的信息化技術,且將數據分析作為重點,構建相關的數據庫,以期能及時了解學生的學習進度及學習情況,從而適當調整主要課程。
3.3 更新數據系統,確保數據精準
近年來,隨著大數據發展越來越迅速,在此種發展環境下,大量數據(機密、敏感及隱私數據等)的安全變更非常關鍵。信息安全與加密技術、網絡安全、權限管理、數據識別技術以及用戶認證等方面有直接聯系,這就使得高校在構建信息化平臺期間,應構建基于大數據的安全信息體系,主要表現為:
第一,構建數據收集設備或是數據軟件監管體系,針對所收集的各種軟件、設備做相應的標識和身份認證,保證所收集設備或是軟件使用的安全性,同時對所收集的設備或是軟件內的各項指標做相應的安全測量評估,以保證設備或是軟件處于正常的運行狀態,從而保證數據源的精準性。
第二,構建校園網使用設備及用戶監測體系,做好用戶登錄認證體系,針對校園網用戶或是終端所出現的數據異常情況做實時檢測,以免校園網中出現不安全的用戶,同時嚴格監管校園網內部使用情況,進一步健全網絡安全管理、應急以及數據的備份等相關制度,以免高校信息化平臺構建過程中出現管理制度不夠健全的問題[5]。
3.4 合理規劃流程,實現數據共享
目前,高校在進行信息化平臺構建的過程中,需成立相應的領導小組和信息化部門,以便為信息化構建戰略提供相應的保障。首先,主要由領導小組做相應的統計部署、統計規劃、頂層設計等,以制定相對應的構建流程,從而為建設提供相應的保障;其次,由信息化部門積極落實各項信息化平臺構建方案以及較為詳細的步驟;最后,各個部門根據信息化構建方案的要求,規范化地分析及整理各個數據、師生信息以及檔案等,以便為獲取校園信息化數據及導入提供保障,快速解決各個信息化平臺和系統之間的數據共享,從而實現數據信息統一。
4 結語
綜上所述,該文從大數據定義及發展特點展開分析,進一步了解基于大數據背景下高校信息化建設工作中存在的缺陷,如信息化平臺建設數據準確度不夠、信息化平臺系統不夠集中、信息化系統安全系數偏低、信息化平臺系統不夠集中等,深入探究大數據視野下構建高校信息化平臺的重要舉措,主要包括:合理編排課程,促進平臺建設、更新數據系統,確保數據精準、建設統一數據平臺,優化配置資源等。經對該文進行闡述,重點凸顯信息化平臺構建在我國高校管理中所表現出的優勢,這對于之后進一步推動大數據背景下高校信息化平臺構建工作的持續開展具有重要的參考意義。
參考文獻
[1] 李欣,陸虹,曹建清,等.基于信息化平臺的高??蒲许椖繀f同管理模式探析[C]//2013年高??萍脊芾硌芯繒W術年會論文集.2013.
[2] 楊劍鈞.基于免疫系統論的高校內部審計信息化平臺的構建[J].行政事業資產與財務,2015,24(31):46,83-84.
[3] 魏培文.云計算在高校就業信息化平臺建設中的應用研究[J].數字技術與應用,2015,10(3):74.
大數據審計論文范文4
[論文關鍵詞]審計 信息化 計算機審計
一、我國審計信息化建設的必要性
1信息化是審計適應環境變化的需要
隨著我國企業信息化建設的迅猛發展審計環境發生了很大變化。如:企業管理正由”實物流”價值流向信息流轉變,很多企業實現了管理自動化和網絡化.企業的財務管理和會計核算電算化正在普及。另外.電子商務的興起,使得大量的經濟業務通過網絡進行實現了貿易無紙化。這些變化對審計的對象范圍.線索以及審計程序造成很大影響.迫使審計利用現代信息技術手段,實現信息化。
2信息化是加入WTO后審計參與國際競爭的需要
加入WTO后,我國的審計行業,尤其是社會審計機構面臨著激烈的競爭。審計市場競爭的關鍵主要在于兩個方面:一是業務范圍二是執業成本。目前,發達國家的會計師事務所在信息化方面已經發展到較高的水平.如AICPA和CtCA在1997年就將業務范圍拓展到電子交易網站的審計.香港會計師公會也推出了“網譽認證”服務。與之相比.我國還有一定差距.如對信息系統的審計還鮮有觸及。因此.要想在激烈的競爭中立于不敗之地.就必須盡快實現審計信息化。
3信息化是審計自身發展變革的需要
從審計自身的發展來看,也涌動著變革的動力,主要表現在審計效率和審計風險的矛盾;中突上。傳統手工審計條件下.審計人員為了提高工作效率常采用抽樣審計方法.而抽樣審計本身就具有一定的風險。審計信息化正是解決這一矛盾的有效途徑.因為利用計算機不僅使抽樣技術更科學.還能對某些重要項目進行詳細審計,這就在大大提高審計效率的同時.也降低了審計風險。
二、我國審計信息化建設的現狀
1審計信息化建設已經起步但仍處于較低層次
審計不實現信息化就無法適應經濟發展的需要.這一觀點已經引起我國政府和審計界的高度重視。2002年審計署啟動了審計信息化項目金審工程的建設。兩年多來.工程建設進展順利.審計工作急需的被審計單位資料庫、審計專家經驗庫、審計文獻資料庫三大數據庫業已建成。可以預計,”金審工程”的建設必將使我國的審計工作發生歷史性變革.必將極大地推進我國審計信息化的建設。但從目前來看.我國審計信息化的總體水平還比較低。在審計實踐中.許多審計人員還是繞過計算機系統.采用手工方法進行審計.因而難以獲取充分、適當的審計證據,審計質量難以保證。
2審計軟件開發取得顯著成果但還不夠完善
我國的審計軟件開發近年來取得了顯著進步.特別是在審計法規檢索系統.審計信息管理系統等方面取得了較大成功?;üこ填A決算審計、財政預算執行審計.銀行審計、海關審計等多個行業審計軟件得到成功開發和推廣應用。但是由于我國審計軟件市場不夠完善,審計軟件的開發模型不像財務軟件那樣清晰,使得審計軟件的開發難度遠遠大于財務軟件眾多的軟件開發商熱衷于通用性高、維護成本低的財務軟件.而不輕易涉足審計軟件。
3培養了一批審計人才,但整體上利用計算機審計的能力不足
隨著審計信息化的多年準備和逐步發展,我國審計行業已經培養了一大批計算機審計人員.但總體上還達不到審計信息化的要求。雖然掌握了一定的計算機基礎知識和審計軟件的操作技能.但在根據實際工作需要編寫相應的審計程序模塊等較高層次的應用方面還很欠缺還離不開計算機專業人員的協助。
三、我國審計信息化建設的構想
我國的審計信息化建設應該遵循“先易后難、分步實施、逐步完善的原則.分三個層次來逐步推進。首先是要實現計算機輔助審計.其次是構建審計信息系統.第三層次是達到信息系統審計。
1計算機輔助審計
計算機輔助審計是指審計人員利用計算機設備和軟件來輔助審計工作。計算機輔助審計可以使審計人員從冗長乏味的計算工作中解放出來更多地將注意力集中于那些需要專業判斷的部分.從而提高審計工作效率。具體來說.計算機技術可以輔助審計人員完成以下工作:(1)數據采集與轉換。利用計算機技術可以識別不同會計軟件的數據格式并將其轉化為通用的數據格式。(2)審計抽樣。在手工條件下需要人工計算的總體容量.抽樣容量及標準估計值等工作均由審計軟件自動完成.因而方法更科學.結果更客觀。(3)數據分析與計算。將計算機技術用于分析性審計程序.可以非??旖?、方便地得到分析結果。(4)項目管理。計算機軟件可以輔助審計人員完成編制審計計劃.記錄審計日志、生成審計底稿、撰寫審計報告、管理審計檔案等工作。
2審計信息系統
審計信息系統(AIS)是在計算機輔助審計得到廣泛應用的基礎上.將多種審計模塊集成到企業管理信息系統(MIS)中構成的一個子系統.它具有多種功能.既可以對企業的投資決策、生產經營和財務管理等進行全過程動態審計.也可用于進行經濟責任審計,還可以充當企業經營管理.輔助決策的工具。
審計信息系統的構建是審計適應企業信息化的重要體現.其主要作用是:(1)將審計模塊集成到企業MIS中.對經濟活動進行實時監控.變事后審計為事中或事前審計。(2)對審計對象全過程監控.及時發現問題并及時糾正.變靜態審計為動態審計。(3)變監督為服務.審計不再局限于監督.而是可以為企業管理提供更多的信息服務。(4)AIS與MIS的緊密結合,使審計突破了對單個對象審計的局限,實現由戰術審計向戰略審計轉變。
3.信息系統審計
隨著網絡經濟的出現,人們對處理和傳遞信息的計算機系統的安全、可靠和有效性更加關注。這就要求審計內容不能僅僅局限于系統處理的結果,而要延伸到系統本身,即對信息系統進行審計。我國目前在這方面還處于探索階段,但是建立信息系統審計制度,開展信息系統審計已是大勢所趨。
信息系統審計是運用一定的技術手段對計算機信息系統的安全性、可靠性和有效性進行審查與評價的活動,一般包括系統開發審計.系統運行審計和系統控制審計。主要作用是(1)評價系統處理流程的可靠性,提高系統的安全性。(2)驗證系統信息的正確性、適當性和數據的完整性。(3)促進企業充分利用系統的各項資源提高系統運行效率。(4)提高系統的合法性,確保系統符合國家法律法規的規定。
四、我國審計信息化建設的幾項措施
1提高對審計信息化的認識
要加強對審計信息化的宣傳力度,提高對審計信息化重要性和必要性的認識,同時也應認識到我國開展計算機審計的時間還不長,無論是審計人員還是被審單位都有一個逐步適應的過程,不能盲從或過分依賴計算機,要有針對性、有重點地將計算機技術融入到審計中來。
2完善計算機審計規范
我國審計信息化的制度規范還不完善,尤其是多數財務軟件在設計時不考慮審計的需求,導致審計軟件與財務軟件難以對接這對審計的效率和質量造成很大影響。因此,加強計算機審計的立法,進一步制定并完善計算機審計的制度規范顯得尤為迫切。
3注重應用,在實踐中提高
將計算機技術運用于審計實踐,增加審計的技術含量,提高審計的質量和效率是審計信息化的根本任務,但是審計信息化不是一蹴而就的,需要不斷實踐,逐步提高。因此審計信息化建設要注重應用,講求實效。在組織力量對審計軟件進行攻關的同時,也要根據審計的實際需要開發一些具有行業和地方特色的小軟件、小模塊,從一個個小閃光點做起.積少成多。
大數據審計論文范文5
關鍵詞:智慧管理;云計算;大數據;物聯網;能耗增值服務;智慧校園
一、引言
隨著信息技術的飛速推進,已然進入一個互聯網的時代。社會中,各方的發展也已是幾何級速度的發展,在這個物聯網、云計算和大數據推動社會前行的大潮中,對高校后勤集團能源管理也提出了更高的要求。節能管理由“綠色環保,打造節能型社會”作為一項國策寫入“十二五”規劃起進入了一個全新的時代。目前,科技創新管理的概念普遍被大眾所認知。管理中有一個被一再提及的詞語――量化,其歸根結底是對數據的需求體現。即量化要求的結果是數據的產出,這里的數據既包括管理中表面的數據,如被管理對象的數量、狀態等屬性基礎數據,也包括對基礎數據通過管理模型分析后所得到的具有決策依據功能數據,數據是實現管理智慧化關鍵。
高校后勤集團能源管理智慧化即利用大數據、云計算、物聯網等新一代信息通信技術,并通過這些技術變革原有的管理模式。[1]具體表現為,建立基于互聯網的開放系統,通過云計算技術實現能耗大數據潛在價值的挖掘,隨后,通過數字化和智能化技術應用決策數據進行實際的管理工作。這對高校后勤集團能源管理工作提出了更高的要求,以往的能源管理信息系統的設計已經遠遠不能適應發展的需要,其能力尚停留在能耗數據的采集、存儲、統計以及初級的簡單報警上,對于管理智慧化顯得力不從心。為了適應高校后勤集團能源管理的需要,應以物聯網、云計算技術、大數據分析技術為核心,以移動互聯網為有益補充,建立具備對能源,特別是能對水電能源具有監控、預警、測算、系統聯動和消費支付等管理決策及服務延伸能力的高校后勤集團能源管理智慧系統。這將是高校后勤集團能源管理由傳統的信息化管理轉型為能源管理智慧化的初期階段,兩種管理方法對于數據的處理及運用理念是截然不同的。
二、能源管理現狀分析
隨著教育的普及,學校需要不斷地提高教學質量和管理水平,而學校后勤管理就是對在校后勤情況的全方位管理。[2]其中,能耗管理是工作的難點與重點,學校是否以資源的高效利用和循環利用為核心,以“減量化、再利用、資源化”為原則,以低消耗、低排放、高效率為基本特征,符合可持續發展理念的經濟增長模式運行,[3]均與后勤集團能耗管理有著密不可分的關系。節約型校園概念的提出使得學校在辦學及校園設施建設、運營管理中遵循科學發展觀,充分體現節能、節水、節地、節材、環境保護建設及運營的管理思路和節約教育理念、形成良好節約型校園文化的校園。[3]目前,高校后勤集團能源管理主要依托于多年完善的管理制度,以及在這套制度上經過業務流程提煉后所開發的管理信息系統。
(1)管理制度化。各地高校后勤集團能源管理工作經過多年經驗累計,在校園能耗統計、校園能源審計、校園能效公示、需求管理、分項計量等方面均建立了較為完善的管理制度,并做到了不同部門、單位間的有效協調。在管理模式上采用了根據學科門類、各單位性質、事業發展情況、使用水電需求,科學合理定量,將水、電能源消耗指標分配到各有關學院和部門,對運行情況進行跟蹤分析,統籌協調,兼顧利益,量化管理,促進節約水電長效管理機制的形成。能耗管理制度的完善進一步推進了管理信息系統的建立與運行。
(2)管理信息化。隨著計算機及通信技術的不斷發展,結合自身管理的需要,高校后勤集團對于能源管理工作也做了業務的流程化定制,并依托物聯網工程、通信工程、計算機工程、工業設計、環境工程等學科,自主創新、自主研發了數字化能源監管系統。數字化能源監管系統分為計量采集部分、數據傳輸網絡、數據存儲系統,以及用戶交互系統等幾個主要部分。完成了能耗數據的采集、傳輸、存儲與展示,有效地數據處理方法提高管理中對于數據統計的需求。數字化能源監管系統的建立有效地提高了高校后勤集團能源管理水平,通過系統實現了能耗數據的實時性、完整性和準確性。即通過科技手段,實現高效管理,提高社會效益。
(3)存在的問題。如上,簡述了高校后勤集團能源管理的兩個主要方面,即制度與監管系統。制度與監管系統有效的提高了管理的水平與準確性,但在實際的工作中依然存在很多問題,如下列舉最為表層的三種。第一,設備的改造優化。高校中諸如學生宿舍、教學樓、實驗室等用能熱點比比皆是,僅就采用何種照明器具一項,就存在不同的說法,但很大一部分取自于照明器具廠家的宣傳與器具參數,沒有一個科學有效的方法能夠給出設備改造優化的決策方案。第二,消缺的即時高效。在能耗估計的過程中,由于設備和人為的因素會造成故障的出現,即時做出故障報警,迅速消除缺陷是節能的重中之重。舉例而言,校園供水會存在水管爆裂故障、籠頭節點故障、人為使用浪費等問題,這些問題單靠人員巡檢和制度約束是無能為力的,只有采用更新的技術手段,才能做到有效的管控。第三,用能指標的制定。在上文中提及高校后勤集團能源管理模式是根據學科門類、各單位性質、事業發展情況、使用水電需求,科學合理定量,將水、電能源消耗指標分配到各有關學院和部門,超標自負。實際上這里所謂的科學合理定量并沒有可靠的數據作為支撐,最常見的方法就是根據上一階段的用能歷史數據“大致”確定現階段的用量,看似合理,但并不科學,缺少合理的指標定制模型。
二、管理系統的智慧化變革與應用
對于高校后勤集團能源管理而言,僅就目前的數字化能源監管系統已經不能滿足發展的需要。高校后勤集團能源管理智慧化的設計目的是在與管理制度不斷的交互完善中,利用大數據、云計算、物聯網等新一代信息通信技術,并通過這些技術變革原有的管理模式,[1]這也包括原有數字化能源監管系統的功能,但絕不是簡單的系統升級。所有的管理變革均以建立新的管理智慧化平臺為基礎,提供“能源管理+能源便利+校區通信”的高校能源管理云服務。
(1)信息系統的變革。第一,系統架構的改變。高校后勤集團能源管理所采用的傳統C/S或B/S架構已經不能適應智慧化的需要。智慧化是建立在大數據分析的基礎之上,通過海量的數據分析,提煉決策數據。傳統的系統架構,能耗數據的采集密度對于分析工作遠遠不能滿足。加之,高校的擴招、擴建,分校機構的設立都對高校后勤集團能源管理的信息化系統提出了改變需求。就目前發展而言,其系統架構應該包含:數據采集服務、數據存儲服務、關系型數據庫服務和模型計算服務等部分,以及任務調度、安全管理和資源管理等方面的底層支持。第二,存儲方式的更新。系統架構的變革,為了適應更多的數據需求服務,這勢必產出海量的能耗數據,隨之而來的將是數據存儲問題。以往的數據庫服務器及熱備方式很難適應海量數據的壓力,建立或委托數據云存儲業務將是最終的出路,有效的數據存儲將是后期大數據分析的堅實基礎。第三,大數據的分析,如上一、二小節所講,系統架構的變革與存儲方式的更新皆是為了海量的能耗管理數據而進行。對數據做了如此之多的支持最終為了什么?這些數據有何意義呢?答案就是大數據分析。例如,Google通過全美各地區搜索H1N1及流感相關關鍵字頻率和分布,得出疫情暴發警報;對沖基金通過全球Twitter用戶每天關于情緒的關鍵字進行以億為單位的數據分析,用以為買入和拋售股票做參考依據;波士頓馬拉松爆炸案,警方通過數據分析,第二天抓獲嫌疑犯,制止再次作案;這些都是根據大數據分析的結果做出的決策。預測,是大數據的核心,準確的預測是最大的競爭力。高校后勤集團能源管理智慧化的核心就是對用能做出分析,根據結果做出科學的預測及決策。這也是智慧化與信息自動化的區別。
(2)應用功能的變革。目前,高校后勤集團能源管理的數字化能源監管系統具備實時監測用能情況的功能。智慧化依托于大數據分析及高效的分析模型為平臺帶來更多功能。能耗報警方面將不完全依附于計量終端的硬件功能,而是通過特定時段的用能數據分析,確定問題,并通過監控頁面、短信等方式推送報警信息。例如,用水管線的查漏報警和超指標報警等。節能測算,為用能改造提供依據。通過對實驗對象更換用能設備前后的數據對比分析,可以得出該改造方案及所采用的設備是否真正做到了節能。指標規劃,高校能耗管理的終極目標之一是能耗定額管理。通過能耗歷史數據的環比、同比,分析能耗大戶用電趨勢,結合人員設備總量,為能耗指標的合理分配提供支撐。系統聯動,管理智慧化要求系統與其他系統的聯動響應,如能耗監管系統與課表系統、宿管系統的聯動數據共享,達到根據課程及生活作息數據,利用能耗模型控制重點部位大型儀器開啟與關閉時間,通過能耗合理性分析,加強重點部位能耗監控。
(3)管理的最終蛻變。大數據分析帶來決策與預測依據,可以對特定用戶提供用能合理性分析服務;通過對線路負載數據的分析,判斷線路負荷是否正常,做出警報預測,即時整改。多系統協作,將延伸能耗系統的增值服務,如用能消費的支付手段,可以結合第三方支付系統完成用能的繳費。這樣,無論是實體充值點,或是移動支付,都能方便快捷完成支付動作。高校后勤集團能源管理智慧化帶來高校能源工作由管控到服務的最終蛻變。
三、新技術驅動下的發展方向
高校后勤集團能源管理是智慧校園的數據核心區域,其發展中涉及的互聯網(數據通訊)、移動互聯網(支付)、物聯網(采集傳感器)、安全監控、電信(通話、短信)都在產生海量數據。半個世紀以來,隨著計算機技術全面融入社會生活,信息爆炸已經積累到了一個開始引發變革的程度。它不僅使世界充斥著比以往更多的信息,而且其增長速度也在加快。信息爆炸的學科如天文學和基因學,創造出了“大數據”這個概念。再則,云計算已經成為當今信息技術領域中最重要的新概念,正在成為未來互聯網和移動互聯網結合的一種新型的計算模式。[4]
高校后勤集團能源管理將依托物聯網、云計算、大數據等技術,變革原有的管理模式。最終形成能耗云平臺,提供大數據分析服務,能源監管將以大數據分析的結果作為決策的依據,逐步演進為智慧化能源服務。
參考文獻:
[1] 黃念根.霧霾鎖城倒逼傳統能源智慧變革[J].智慧城市,2014
(3):60.
[2] 謝珊.學校后勤管理信息系統的設計與應用[D].成都電子科
技大學工學碩士學位論文,2010.
[3] 中華人民共和國住房和城鄉建設部、中華人民共和國教育部.高
等學校節約型校園建設管理與技術導則(試行)[Z].2008.
大數據審計論文范文6
關鍵詞:智能電網;交通運輸;大數據處理技術
中圖分類號:C35 文獻標識碼: A
一、大數據的概念與特點
顧名思義,大數據即一個體量特別大的數據集,大到無法使用傳統的數據處理工具、技術對其進行分析、加工、操作。而大數據技術,就是對大數據的處理技術的集合??梢哉f,大數據興起并非科技的突變,而是隨著人類社會結構化、半結構化、非結構化數據的急速增長應對而生的技術進步。大數據的特色之一是體量成級數增長。由于互聯網技術逐漸滲透人類生活的方方面面、以“物聯網”為方向的信息采集技術的逐漸普及以及包括“4G”在內的網絡傳輸技術的迅猛發展,在全社會,包括交通運輸行業,人類所擁有的數據量及其增速已經遠遠超過傳統信息技術預設的處理極限。限于科技發展的規律與速度,或者是人類智能體量的局限,信息技術專家們提出以“云計算”概念為核心的的一系列數據分布式處理技術作為階段性替代方案,以適應現階段的信息爆炸。
大數據技術與傳統信息處理技術有如下不同:使用分布式技術實現海量數據的處理?,F代社會,“人類存儲信息量的增長速度比世界經濟的增長速度快4倍”,“大約每三年就能增長一倍”。為了解決這一問題,分布式技術成為信息處理的必然選擇。早期的信息處理技術通過固定的數據存儲設備、運算服務器實現信息化;隨著數據量以及運算需求的增加,發展出部署集中的集群的信息存儲與處理方式,一定程度上擴展了使用范圍;當數據量進一步增長,受益于網絡通信技術的升級換代和互聯網的飛速發展,“云計算”技術相應而生,通過將分散于各地的存儲、處理設備,實現可與巨型計算機媲美的海量數據處理能力。
大數據技術善于由結果推斷模型。不同于傳統的智能化技術,需要完善地建立數據模型,通過條件,推導結果。大數據技術著眼結果于海量數據,通過大量的事實總結規律,形成知識。傳統的建模實現智能化技術,一旦結果出現異常,就需要反溯,修訂模型,重新進行實踐。而大數據技術,則只通過對相關性的結果進行比較,便能總結歸納相關原理。大數據技術著眼于動態,而不是靜態。傳統信息處理技術著眼于當前數據的使用,業務辦理、行業監控,數據一旦使用,則降低或失去其實用價值,歷史數據需要人工的比對、判斷。大數據技術著眼于一段時間或全部時間上的動態發展數據,著眼于動態數據之間的聯系與發展規律,大數據技術長于整體的運算效率,而非個體的精確追蹤。由于數據處理能力的有限性,傳統的信息化技術對于有限的樣本進行分析與統計,更關注于奇異數值并加以分析,著力于對個體樣本的精確追蹤。而當大數據處理成為可能,數據的總體成為一個獨立樣本,一些奇異值由于發生概率太小,完全可以忽略,數據整體的運算效率成為重要指標。
如同哲學上的量變引起質變,大數據技術正是隨著信息化數據的不斷增長而產生并從根本上改變人對于數據存儲、應用的理解與認識。同時隨著數年的演進,大數據技術也正在逐步走向成熟。
2012年7月,美國知名IT咨詢顧問公司Gartner《2012年大數據技術成熟度曲線》,對大數據涉及的46種技術進行逐一分析。根據當時報告內容,對比當前發展現狀,我們可以看到大數據技術的成熟度已經達到一定的高度。2012年報告中提到的,將在2年內實現主流應用的列式存儲數據庫、預測分析、社交媒體監測等技術,已經成為近些年IT行業普遍實用的技術;報告中預測的2~5年內成為主流的云計算、內存數據庫、社交分析、文本分析等技術,當前在google、百度、facebook、阿里巴巴、新浪微博等處于IT技術前沿的互聯網公司,已經分別得到廣泛應用;而報高中認為5~10年才會得到普及的內容分析、混合云計算、社交網絡分析、地理信息系統等技術,以及認為10年以上才會普遍應用的物聯網技術也已經在不同程度上得到應用和推廣。
二、交通行業大數據發展現狀
交通行業是天然的大數據應用行業。傳統的靜態數據并非大數據,如路網的基礎信息,戶、車、人基本信息,這些數據隨著產業增長而逐步增長,一直在傳統信息處理技術預設的限度之內。但隨著互聯網與產業結合的不斷升級、物聯網―――車聯網的快速興起,3G、4G無線網絡的普及,行業數據量已經開始成級數增長。目前交通運輸行業大數據來源主要在3個方面:
基于互聯網的公眾出行服務數據,如大運輸聯網、網上售票、城市公交刷卡、公眾在線交通路線查詢、網購物流數據等。
如某公交一卡通截至2013年已經發卡超過3200萬張,日刷卡量超過1000萬人次;百度地圖手機應用日訪問量1億次,PC上的搜索量50億次中20%訪問和出行相關,每天約有1000萬人使用百度,其中70%和公交相關。
基于行業運營企業生產監管數據,如貨運源頭稱重數據,貨運、危險品運輸電子運單數據,客運進出站報班及例檢數據,營運車輛維修檢測數據,郵政包裹數據等。
如國家郵政局的數據顯示,2013年中國快遞業務量完成92億件,居世界第二,僅次于美國。業務量同比增長60%,最高日處理量已突破6500萬件。
基于物聯網、車聯網的終端設備傳感器采集數據,包括車輛相關動態數據:GPS位置信息、車輛能耗、車輛技術狀況信息,路網監控信息:卡口視頻監測、基于傳感器的路況監測、路上動態稱重設備、橋梁監測GPS等。
車輛位置信息采集僅舉一市為例,2013年10月,杭州市符合交通運輸部“兩客一?!倍x且經營范圍、營運狀態、營運證有效期等狀態正常的車輛上線數為6329輛。車輛位置信息假設每5s傳輸一次,則每日位置信息接近1.1億條。北京市6.67萬輛的出租車GPS數據實時接入,日均數據量可以達到6G。
車流量監控數據,筆者曾參與河南省新鄉市動態稱重系統建設項目,僅一個信息采集點,2013年11月平均每天采集14000輛車左右,包括結構化數據與照片信息,每天產生的數據量是1791MB。
三、大數據實時處理技術
隨著大數據時代的來臨,各種應對大數據處理的解決方案應時代而生,7 年前,雅虎創建了一個用于管理、存儲和分析大量數據的分布式計算平臺 Hadoop,它作為一個批處理系統具有吞吐量大、自動容錯等優點,目前在海量數據處理方面已得到了廣泛應用。但是,Hadoop 本身存在的缺點是不能有效適應實時數據處理需求,為了克服該局限,一些實時處理平臺如 S4, Storm 等隨之產生了,他們在處理不間斷的流式數據方面有較大的優勢,下面將介紹和分析目前比較流行的大數據處理平臺。
1、Hadoop
Hadoop 是一個由 Apache 基金會開發的分布式系統基礎架構 [10] ,允許用戶在不了解分布式底層細節的情況下,開發分布式應用程序。Hadoop 主要由分布式文件系統(Hadoop Distributed File System,HDFS)和 MapReduce 計算框架兩部分組成。
HDFS 結構如圖 1 所示,三類節點 Namenode,Datanode,Client 之間的通信都是建立在 TCP/IP 的基礎之上的。Client 執行讀或寫操作時首先在本機臨時文件夾中緩存數據,當緩沖數據塊達到設定的Block 值(默認 64M) ,Client 通知 Namenode,Namenode 響應 Client 的 RPC 請求,將新文件名插入到分布式文件系統結構層次中,并在 Datanode 中找到存放該數據的 Block,同時將該 Datanode 及對應的數據塊信息告訴 Client,Client 便將數據塊寫入指定的數據節點。HDFS 有著高容錯性的特點,可以部署在低廉的(low-cost)硬件上,并且能提供高傳輸率(high throughput)來訪問應用程序的數據。
圖 1 HDFS 結構圖
MapReduce 是一種并行處理模型,主要有兩個處理步驟:map 和 reduce 。
Map 端處理流程如下:計算框架先將要處理的數據進行分片,方便 map 任務處理。分片完畢后,多臺機器就可以同時進行 map 工作。map 對每條記錄的處理結果以的形式輸出中間結果,map 輸出的結果會暫且放在一個環形內存緩沖區中,當該緩沖區快要溢出時,會在本地文件系統中創建一個溢出文件,將該緩沖區中的數據寫入這個文件。寫入磁盤之前,線程根據 reduce 任務個數生成相同數量的分區。當 map 任務輸出記錄時,會產生溢出文件,這時需將這些文件合并。文件不斷排序歸并后,最后生成一個已分區且有序的數據文件。最后將相應分區中的數據拷貝給相應的 reduce 任務。
Reduce 端處理流程如下:Reduce 會接收到不同 map 任務傳來的數據,如果 reduce 端接受的數據量相當小,則直接存儲在內存中,如果數據量超過了該緩沖區大小的一定比例,則對數據合并后溢寫到磁盤中。隨著溢寫文件的增多,后臺線程會將它們合并成一個更大的有序的文件,然后交給 reduce 函數處理,reduce 函數安裝用戶定義的業務邏輯對數據進行處理并輸出結果。
Hadoop 在本質上是一個批處理系統。數據被引入 Hadoop 文件系統 (HDFS) 并分發到各個節點進行處理。最后將處理結果匯總,生成的結果文件存放在 HDFS 上。
2、Storm
Storm 是 Twitter 開源的分布式實時計算系統 [8] ,Storm 具有高容錯性,水平擴展性好,快速,可靠處理消息的優點。Storm 的核心概念是“流(stream)”,流是一個無限的元組序列。Strom 為流轉換提供兩個基本組件:“Spouts”和“Bolts”。Spout 是一個輸入流組件,Spout 將數據傳遞給另一個組件(Bolt) 。Bolt 執行任務并創建新的流作為下一個 Bolt 的輸入流。 整個過程就是一個 “topology”。
Strom 集群有主要有兩類節點:主節點和工作節點。主節點上運行一個叫做“Nimbus”的守護進程,它負責在集群分發代碼、 分配任務和故障監測。 而每個工作節點運行一個叫做“Supervisor”的守護進程。Supervisor 監聽分配給它任務的機器,根據 Nimbus 的委派在必要時啟動和關閉工作進程,每個工作進程執行 topology 的一個子集,一個 topology 由很多運行在機器上的工作進程組成。
Nimbus 和 Supervisors 之間所有的協調工作是通過一個 Zookeeper 集群,Nimbus 的守護進程和Supervisors 守護進程的狀態維持在 Zookeeper 中或保存在本地磁盤上。這意味著 Nimbus 或 Supervisors進程殺掉,而不需要做備份,這種設計結構使得 Storm 集群具有很高的穩定性。
3、S4
S4(Simple Scalable Streaming System)是 Yahoo 的一個開源流計算平臺,它是一個通用的、分布式的、可擴展性良好、具有分區容錯能力、支持插件的分布式流計算平臺。S4 將流的處理分為多個流事件 Process Element(PE) ,每個 PE 唯一處理一種流事件。S4 將用戶定制的 PE 放在名為 Processing Element Container(PEC)的容器中。PEC 加上通信處理模塊就形成了邏輯主機 Processing Node(PN) 。PN 負責監聽事件,PEC 接收源 event,event 經一系列 PE 處理后,在通信層 Communication Layer的協助下分發事件或輸出事件處理結果。在分發事件的過程中,S4 會通過 hash 函數,將事件路由到目標 PN 上,這個 hash 函數作用于事件的所有已知屬性值上。通信層有“集群管理”,“故障恢復到備用節點”,“邏輯節點到物理節點映射”的作用。同時通信層還使用一個插件式的架構來選擇網絡協議,使用 zookeeper 在 S4 集群節點之間做一致性協作。
四、大數據在交通行業拓展的困境
1、行業信息化整體水平較低、數據的采集與整合困難
目前交通運輸行業信息化、智能化發展非常不均衡,廣大西部地區缺少信息化基礎,信息系統應用效果差,數據采集困難。信息化建設較早的省份,由于信息化建設缺乏統一規劃與頂層設計,系統建設、使用單位均不相同,交通運輸主管機構與各二級單位、信息化主管部門與業務部門分頭建設業務系統,系統技術架構差距大,基層單位上級機構多頭管理,造成數據來源不統一,信息孤島現象嚴重。各省信息化建設與應用水平的差距同樣造成部級數據整合困難,無法發揮實際的應用價值。
2、缺乏工作規范與要求,數據應用機制困難
交通運輸管理機構人員信息化水平差距較大,系統用戶缺乏應有的信息化思想,傳統的辦公方式與習慣難以改變。政府管理機構沒有針對信息化應用與數據的采集應用形成上下聯動,獎懲結合的管理機制。信息化應用游離于業務辦理之外,信息管理部門與業務部門各管一攤,無法真正將實際業務實現在線辦理,真正提高辦公效率創造信息價值。行業主管部門缺乏對行業企業生產監管數據進行采集的法律法規,也沒有面向企業提供數據服務,既沒有通過信息化手段對行業生產狀況進行全面掌握,也無法通過信息服務促進產業升級和變革。
3、行業從業人員信息化意識不強,大數據應用思路缺乏
交通運輸行業主管部門領導對數據指標價值與數據應用方式缺乏認識,一些信息化規劃、項目規劃不接地氣,系統重建設輕實用,實際應用價值不高,數據采集需求無法得到貫徹。如交通運輸部部省聯網項目,采集了全國絕大多數省份的戶車人基礎數據,但是既沒有制定政策法規,保證數據的更新與同步,也沒有進行數據指標的價值分析,實現真正有價值的應用,造成后期維護困難,數據逐漸陳舊,實用價值迅速流失。此外,全國各省、各地交通運輸行業信息化發展不均衡,部分地區信息化基礎設施較為落后,整體信息化水平有待加強。
五、大數據在交通行業發展的淺見
1、積極立法,確立數據采集與應用的重要性
通過研究并制定政策法規,面向部、省、市、縣各級交通主管部門及相關企業,將數據采集、整合的責任與義務進行明確規定,明確哪些信息化工作該哪級機構做,該哪些部門做,同時明確科技信息化主管部門在信息化建設中的地位并給予相應的監察、評定的權利,對行業企業明確信息化建設與數據采集方面的社會責任。另外,對交通運輸行業數據進行全面的梳理,數據保密性與應用價值進行分級,對數據的采集與應用進行立法,明確不同級別的管理機構可以對哪些數據自行進行分析和利用,那些數據可以開放給社會或企業使用,真正實現大數據的應用價值。
2、加快體制改革,設立數據采集與信息化和單位考評相結合的制度
結合國家行政體制改革,進一步改變交通運輸行業信息化項目建設傳統的上級規劃、立項、投資、監管、評審一體化管理模式,實現規劃與立項、資金使用與審計、項目監管與后評審的權責分離,讓信息化項目建設實際落地,上級單位更注重資金使用的控制與系統應用效果的后評審。盡快制定政策,將指定數據指標的采集和上報納入行業管理規定;通過體制改革,設立數據上報與信息化應用水平考核制度并實現常態化,同時實現數據上報制度與行業統計工作的全面結合,改變傳統的統計人工上報模式,用信息化數據支撐行業統計。考核制度包括3個層面:管理機構對企業考核;單位領導、信息化主管部門對業務部門的考核;上級主管部門對下級單位的考核。
3、加快信息化發展步伐,通過示范指導,引導大數據技術的引入與發展
在交通運輸行業信息化規劃與設計中,廣泛引入云計算等大數據處理技術,選擇試點單位,建設應用示范項目,總結大數據在交通運輸行業的應用方式方法與使用價值,對具有適用性的項目進行全國推廣,引導大數據技術的不斷發展。
結束語
大數據時代隨著全國交通運輸行業各機構、各部門、各企業數據量的迅速增長,以及IT企業交通運輸相關數據的迅速增長,逐漸在我們面前顯現,發展大數據技術,積極應對、抓住下一次信息化變革、產業浪潮的機遇,是實現交通運輸行業產業變革、結構優化、服務社會與公眾能力進一步提升的關鍵。
參考文獻
[1]周為鋼,楊良懷,潘建,鄭申俊,沈貝倫,沈俊青.智能交通大數據處理平臺之構建[J].中國公共安全,2014,17:136-141.
[2]李楊.智能電網大數據處理技術應用現狀及困境探討[J].硅谷,2014,14:91+95.
[3]馬英杰.交通大數據的發展現狀與思路[J].道路交通與安全,2014,04:55-59.