云計算的研究方向范例6篇

前言:中文期刊網精心挑選了云計算的研究方向范文供你參考和學習,希望我們的參考范文能激發你的文章創作靈感,歡迎閱讀。

云計算的研究方向

云計算的研究方向范文1

見到陽振坤是在一個陽光明媚的上午,瘦高個,簡單的條紋T恤,腳蹬運動鞋,裝著電腦的黑色背包已顯陳舊。他是坐地鐵來的,從北京北五環的家到東三環的公司,來回兩個多小時,每天如此。

典型的技術人員的范兒。

“我的手機就是在淘寶上買的。”說起淘寶,45歲的陽振坤晃起了手里的手機。

5月中旬,陽振坤成為淘寶1400多名技術人員中的一員。他在淘寶網的主要工作,是設計和開發面向淘寶網的海量信息存儲與實時檢索系統,優化和提升淘寶網的軟件基礎設施。

“淘寶最吸引我的地方在于,它擁有一個全國最大、在全球排名也非??壳暗暮A繑祿?它的海量數據的挖掘、共享和開放,對技術人員而言是一個巨大的挑戰?!标栒窭ふf。

2010年3月31日,淘寶網正式宣布,面向商家、企業及消費者開放來自淘寶全網的海量原始數據。截至8月20日,淘寶上的近兩萬賣家開始通過淘寶的“數據魔方”進行參考決策,140天的時間總計數據調用260萬次。對如此海量的數據的解讀,無疑需要一個極大的云計算平臺去支撐――于是,對相關人才的需求更是迫在眉睫。

陽振坤正是那種人。

一個不斷破格的人

淘寶是陽振坤經歷的第5家公司。在此前,他歷任方正技術研究院副院長、北大計算機研究所副所長、聯想研究院首席研究員、微軟亞洲研究院主任研究員、百度高級科學家。

他的經歷是令人羨慕的。1984年考入北京大學數學系,碩士師從本系的張恭慶院士,后又轉向計算機領域,博士師從計算機系的王選院士。1993年博士畢業后不久,即破格提拔為計算機系副教授。

需要強調的是,陽振坤修完大學課程只用了3年,碩士只用了一年多,24歲就成為王選老師的博士生。在讀博期間,陽振坤就擔任柵格圖象研究室的主任,領導一批青年科研骨干,于1993年完成了國內第一個支持電子出版系統標準PostScript Level 2的柵格圖象處理器,并很快商業化,在海內外大量銷售,取得了巨大的社會和經濟效益。1995年方正電子出版系統獲國家科技進步一等獎,陽振坤位列第四。

已故中科院院士、北大方正科技研究院院長王選老師這樣評價他:陽振坤研制了我國第一個頁面語言解釋器,在新一代RIP(路由信息協議)的總體設計、軟件結構、關鍵算法等方面作出了關鍵性貢獻。

盡管在電子出版領域獲得了許多榮譽,但有著強烈憂患意識的陽振坤卻并不滿足于此?!拔乙裁悦_^?!标栒窭ふf,大學時他原本以為,選定一個合適的研究方向,就一輩子鉆研下去。但上博士后,逐步接觸到一些國外學者,發現他們其實并非大多如此,更傾向于選擇有益于社會發展的研究方向。

從此,陽振坤更加注重研究方向的價值?!?999年,王選老師就建議我,能不能去做信息安全方向的研究。當時,信息安全的重要性也已經凸顯出來了,我就同意了。然后就鉆到信息安全領域做了3年研究,現在信息安全是北京大學計算機科學技術研究所最重要的方向之一。”

而到了2002年,陽振坤再次決定轉變方向,加想研究院擔任首席研究員,負責無線通信領域的研究,他花了3年的時間,使得聯想的無線關聯投影儀從原型到小批量最后量產上市。

“2005年,無線投影儀產品成熟了,我又開始尋找新的研究方向。這時我第一次接觸到Google的GFS和MapReduce等云計算的基本思想,一下就被吸引住了?!标栒窭ふf,“在當時,處理幾百個GB的數據就很嚇人了,但通過云計算,你可以輕易處理幾百TB的數據,也不需要讓每個人都去學并行計算或分布式計算?!?/p>

2006年,陽振坤去了微軟亞洲研究院,擔任主任研究員?!爱敃r,微軟研究院對云計算方向有一定的支持,我對云計算有了比較深刻的理解;2007年秋天,我加入百度,在百度的兩年多時間里,我有機會把云計算提升到生產使用階段,也體會了云計算在海量數據處理領域的巨大價值?!?/p>

理想要結合現實

2010年5月,陽振坤正式到淘寶上班。

在對外的新聞稿中,淘寶這樣描述:“陽博士是我們期待已久的人才,在系統設計和實現、海量信息處理、算法設計等諸多方面都有著非常豐富的經驗。深信陽博士和團隊通力合作,一定能為淘寶網打造一個高性能、高可靠、低成本、面向大流量大規模電子商務的專用計算平臺,為支撐十億消費者、十萬億交易額提供所需要的基礎技術?!?/p>

加入淘寶之后,相比以前長居北京的工作,陽振坤要北京、杭州兩地跑,“這星期在北京,下星期就在杭州?!泵慨斎ズ贾莸哪莻€星期,陽振坤總是趕周一早上8點的飛機去杭州,再坐周五晚上的飛機回北京,利用周末陪陪家人。

但他樂此不疲,他知道身上的責任――淘寶的數據已經遠遠超過了單個關系數據庫所能支撐的最大規模且仍然在快速增長之中。“對淘寶來說,研發海量數據庫已經不僅僅是出于成本的考慮,因為,如果不采取這些技術,可能很快無法支撐下去。”陽振坤說。

但是,“海量數據庫在業界并沒有成熟的解決方案”,他坦言,在淘寶做海量數據庫,與許多其他企業一樣,最大的壓力來自于,如何盡快讓團隊的同事、兄弟部門的同事理解和信任海量數據庫的技術方案,并在最短時間內完成研發,以支撐業務的快速發展。

“企業畢竟不像高校或科研院所,可以花好幾年,甚至十年八年的時間研究一個了不起的系統,而是要在最短的時間內,做出一個最適合目前業務的系統?!彪m然有十幾年的高校研究員經歷,但陽振坤卻很注重結合眼前利益和長遠利益。“馬總不也說過,做企業要把理想主義和現實主義高度結合,沒有理想主義不能走向未來,沒有現實主義就活不過今天”。

盡管壓力很大,陽振坤仍對未來充滿信心,這個信心來自于淘寶開放的文化、淘寶的強凝聚力,以及有長遠眼光的管理層和優秀的工程師。論年齡,在淘寶,陽振坤算“老人”,和他共事的技術人員,多半是“80后”,和45歲的陽振坤隔了兩個10年?!疤詫毶踔烈呀涢_始有“90后”的技術人員了,和他們在一起工作感覺非常棒,大家都很有拼勁,知識面也能相互補充?!?/p>

云計算的研究方向范文2

【關鍵詞】大學計算機基礎 基礎教學 改革

【基金項目】2013年云南大學旅游文化學院“獨立學院非計算機專業大學計算機基礎‘1+X’分層教學改革研究”(項目編號為:2013XY03)。

【中圖分類號】G64 【文獻標識碼】A 【文章編號】2095-3089(2016)04-0210-01

隨著科學技術不斷的提升,促使計算機技術也在不斷的發展,因此,在大學教學的過程中,計算機基礎教學就成為其教學的重點內容。在我國大學計算機基礎教學發展的過程中存在一定的問題,這些問題的存在影響了我國大學教育中計算機基礎教學的質量。

一、我國大學計算機基礎教學存在的問題

(一)缺乏教學方法的創新

目前,高等高職院校計算機基礎教學方法比較單一,部分院校還停留在黑板教學、填鴨式的教學方式上,這種單調的教學方法只會造成學生們理論性和機械性記憶。這樣的教學會導致學生被動的接受知識,降低了學生學習的自主創新能力,很容易遺忘,也很難運用到實際操作中,從而影響學生學習成績。由于計算機軟件版本的不斷更新,新的操作方法和軟件不斷涌現,所以在計算機基礎教學的過程中會遇到各種各樣的難題。缺乏改進創新的教學模式不但不利于培養學生的創新探索能力,可能還會讓學生們失去學習計算機的興趣,無法應對不斷更新的計算機技術。

(二)教學內容落后

在高等高職院校計算機基礎教學當中,軟件的更新替換速度越來越快,而部分高職院校計算機基礎教學內容明顯落后于計算機的發展速度,教師和學生所使用的教材和大綱多年未更新,不能滿足學生的學習需求和技術創新水平的提升。目前大多數高等高職院校計算機基礎教學大多以Windows/office的教學為主,部分學校在此基礎上開設了Visualbasic,C++等程序和語言,不過這些程序都比較陳舊,也多年未更新,脫離了社會對計算機水平的要求范圍,嚴重影響了學生對計算機課程的掌握程度和應對能力。

二、大學計算機基礎教學改革的措施

本文主要針對云南大學旅游文化學院中《計算機基礎(二)》的教學改革進行相應的研究。研究主要側重于教學內容、教學方法、學時安排及考核方式等內容。

(一)教學內容改革

《計算機基礎(二)》課程主要針對于我院4個系開設,分別為經管系、會計系、旅管系、文新系。該門課程原統一以Visual?鄄foxpro程序設計為主,但根據各系各專業發展需求、社會需求及計算機考級需求,計算機公共課教研室將《計算機基礎二》的教學針對不同系開設不同課程。針對會計系開設以access為主的課程,主要體現學生應用數據庫的能力,為今后學生參加工作使用各類信息系統奠定基礎,同時也能參加全國計算機二級――Access的考試。針對經管系、旅管系、文新系開設以MS Office高級應用為主的課程,主要體現學生能夠獨立正確使用辦公軟件的高級技巧完成復雜辦公業務問題的處理,同時也能參加全國計算機二級――MS Office高級應用的考試。

(二)教學方法改革

為了培養學生實踐操作能力,對于2門課程的教學方法進行如下改革:

1.MS Office高級應用課程

該門課程教學內容為word、excel、powerpoint的高級應用,主要使學生能夠掌握3個軟件的高級應用技巧,從分析問題開始,能夠利用3個軟件完成辦公業務的處理,側重于學生的應用及設計思想。因此本門課程主要于案例驅動教學為主要教學方法,選取日常工作生活中的相關案例,教師帶領學生先對案例背景、特點、使用范圍及需要使用的辦公軟件技巧進行分析,然后由學生根據分析結果自由設計,完整最終效果。學生在設計處理過程中遇到的問題可由教師進行輔助解決。

2.Access數據庫技術

該門課程教學內容為access數據庫的應用,主要使學生掌握access數據庫對象的操作,并能熟練應用,為今后工作學生接觸到的各類信息系統做準備,因此本門課程的教學方式為邊講邊練,教師把新知識點講授完成后,給學生大量的練習實例。學生在練習過程中遇到的問題由教師進行輔導解決。

3.學時安排

《計算機基礎(二)》是一門3學分的公共基礎課,原學時安排為2學時理論(2學分)+2學時上機(1學分)。為了提高學生動手能力,培養應用型人才,現將學時安排為1學時理論(1學分)+3學時上機(2學分)。因該門課為大班教學,理論課安排1名老師進行教授,上機課安排2名教師進行學生輔導。這樣將原來以教師教學為主,學生為輔的教學方式更改為以學生實踐為主,教師講授為輔的教學方式。

4.考核方式改革

針對MSoffice高級應用課程而言,該門課程的考核分為2部分:日常教學項目考核(50%)+期末上機考核(50%)。日常教學項目:計算機公共基礎教研室針對本門課程3個軟件設計了4個綜合案例,分別為Word部分2個,excel部分1個,PowerPoint部分1個。這4個綜合案例需要學生將每堂課上實例熟練練習掌握后才能完成,因此學生必須每堂課認真完成布置案例并熟練掌握。日常教學項目的考核由任課教師根據本班授課進度及情況隨堂安排考核。

期末上機考核:以全國計算機二級MSoffice高級應用題目為要求,采用機試閉卷,定于18周進行考試。

針對Access數據庫課程而言,該門課程考核也分為2部分:日常教學項目考核(50%)+期末上機考核(50%)。日常教學項目根據教學進度,按章節知識點進行3次小測,將平時成績提高,取消期中考試。

綜上所述,在我國大學計算機基礎教學的實施過程里,相關的教研組要不斷的對其教學方法以及教學的內容進行相應的研究,進而對其教學的質量進行相應的提升,這也是大學計算機基礎教學改革的發展方向。相關院校只有對這些工作進行相應的完善,才能進一步提升學生們對計算機學科的興趣,進而促進其在教學過程中又好又快的進行操作,從而對我國社會型的人才進行高質量的培養。

參考文獻:

[1]孫淑霞.地方高校大學計算機基礎課程改革的探索與實踐[J].中國大學教學,2014,04:59-62.

[2]金智. 關于大學計算機基礎教學改革和實踐的探討[J]. 長沙醫學院學報,2008,02:65-67.

[3]黃霞. 大學計算機基礎教學改革探討[J]. 湖南科技學院學報,2011,04:59-61.

作者簡介:

丁愛芬(1985-),女,漢族,云南曲靖人,本科,講師,研究方向:計算機應用。

周華君(1984-),男,漢族,湖北襄陽人,本科,講師,研究方向:算法設計,信息安全。

云計算的研究方向范文3

>> 基于B2C電子商務的供應商評價與優化 云計算平臺下物聯網助力B2C電子商務的策略分析 物聯網技術對B2C電子商務模式的影響分析 物聯網技術在B2C電子商務配送運輸中的應用 B2C電子商務倉庫揀貨路徑優化策略應用研究 基于云計算的B2C電子商務企業價值鏈優化 基于用戶體驗的B2C電子商務物流配送策略探析 基于B2C電子商務的供應鏈融資模式探析 淺析B2C電子商務企業的運營與營銷策略 B2C電子商務存在的問題與對策 B2C電子商務存在的問題與對策分析 B2C電子商務審計探析 B2C電子商務營銷策略探討 B2C電子商務發展策略研究 虛擬試衣間在B2C電子商務中的推廣應用 互聯網對B2C電子商務下物流模式的影響 基于J2EE的B2C電子商務系統的設計與實現 對中國B2C電子商務市場的細分 應用第三方B2C電子商務平臺的審計探析 B2C電子商務發展策略與服務模式研究 常見問題解答 當前所在位置:[EB/OL];2014年5月25日。

基金項目:本文是武漢市教育局2010年市屬高校科研立項課題“基于物聯網的B2C電子商務應用研究”(課題編號:2010116)的階段性研究成果。

作者簡介:

1.張健(1981―),男,管理學碩士,武漢商學院商貿物流學院專職教師,主要研究方向:電子商務應用、電子商務教學。

云計算的研究方向范文4

關鍵詞:云計算技術;電信經營分析系統;海量數據;分布式存儲、 SMB-DP算法;AGB-ETL算法

中圖分類號:TP311.13

隨著信息技術的高速發展和普及,各個領域都積累了海量的數據并且還在迅速增長,數據量動輒以Tbyte計。海量數據持續消耗著計算機軟硬件資源,資源的無限制擴張,使得單個計算機無法承擔起相應的重任。目前電信行業在數據分析的支撐方面注意面臨三個突出的問題,一是電信業發展到今天,歷史數據的存儲需求和電信業務量的不斷增大,電信運營商的數據已經變成海量,中等規模的省級移動公司,每天的數據增長已經達到2-3TB,如此海量的數據需要計算機具有極強的處理能力和足夠大的存儲空間;二是各級運營商都是各自為陣,配備硬件設備和存儲數據資源,造成了計算資源和存儲資源的嚴重浪費;三是現有的數據庫查詢功能已經滿足不了電信行業競爭日益激烈的決策支撐和服務。電信經營分析系統(BASS)作為電信業務支撐系統的一個主要支系統,數據的分析處理和挖掘對電信業務的發展起著重要作用,利用云計算平臺,整合優化資源,形成具有超級計算能力的資源池,提高資源利用效率,處理數據并為用戶提供服務。

1 經營分析系統概述

1.1 經營分析系統簡介

電信經營分析系統是電信運營商的核心系統之一,通過對底層數據的抽取、處理、裝載,實現數據的界面化展示,主要展示公司KPI指標,滿足企業決策需求和業務支撐發展的需要。

電信BASS采用兩級系統架構,由位于集團公司一側的一級BASS和位于省公司一側的省級BASS共同組成,兩級系統之間通過一定數據通信網進行數據通信。如圖1所示。

1.2 電信BASS面臨的不足和挑戰

目前電信BASS系統還是以指定數據庫服務器為載體進行數據的運算和裝載,但由于業務發展的需要和對數據分析要求的不斷提高,目前BASS系統主要面臨以下幾個突出的問題:

(1)依靠單服務器存儲數據的模式已經不能適應海量數據的急劇擴張,無法承載如此高的數據量。

(2)海量的數據源無法做到資源共享,經典的數據分析案例很難被借鑒和參考。

(3)服務器一旦出現故障,經分系統將會立即癱瘓。

(4)底層數據的存儲和導入目前還需人工處理,因人工導入數據需要一定的周期性,所以無法滿足經分系統實時訪問最新數據的需求。

1.3 電信BASS海量數據產生的原因

為了適應通信業日益發展的需要,電信BASS系統面臨著海量數據如何高效存儲和處理的挑戰,電信BASS海量數據產生的原因如下:

(1)現有數據隨著時間的推移和業務的發展,數據信息每天都在不斷增加,如客戶資料信息,語音通話信息,短彩信發送信息,數據流量信息等。運營商需要將這一系列數據進行數據挖掘,提取有價值的營銷資源信息,為業務發展提供更好的決策支撐。

(2)運營商期望充分運用已有歷史數據挖掘新的商業契機與營銷機會,也就意味著歷史數據將會為運營商提供大量的潛在價值信息,歷史數據中往往蘊含著有利用價值的潛在市場發展規律、包括市場發展的潛在危機和市場發展的重大機遇,因此需要將大量歷史數據進行長期保存。

2 云計算的特點

(1)超大規模集群:集群可以將本地及異地的計算機資源有效的整合起來,形成具有一定規模計算能力的資源池,提高設備計算能力。

(2)分布式存儲:大量的數據信息存儲在云端物理位置相互隔離的主機當中,提高了數據的存儲性能、安全性能和容災備份性能。

(3)高擴展性:云端計算集群的規??梢詣討B伸縮,按需提供服務,實時滿足計算的需求。

(4)低成本:云處理實際上是大幅提高云端設備的處理性能,客戶端的處理性能則要求不是很高,對企業來說,無疑大幅減少了成本支出。

3 基于云計算技術的經營分析系統

基于云計算的經營分析系統不但改變了以往依靠單一服務器存儲、計算的服務模式,而且提高了資源的利用效率和節約了企業成本,涉及的關鍵技術主要包括數據存儲、數據管理、編程模式等,解決的主要問題是海量數據如何存儲、海量數據如何索引和定位,海量數據如何抽取、海量數據如何更有效的運算。

3.1 海量數據存儲技術

通過分布式的異地存儲是解決海量存儲的有效方法。云計算技術發展到今天,目前數據存儲技術主要有Google的GFS(Google File System)和Hadoop開發團隊開發的GFS的開源實現HDFS(Hadoop Distributed File System)。

(1)Google 的GFS。GFS是由Google設計并實現的一個分布式文件系統,其中包括數據的存儲、管理、定位等多層面,其主要框架架構是把大量安裝有Linux操作系統的普通PC形成一個具有龐大的存儲處理能力計算機集群,分別有控制節點和存儲節點構成。

(2)Hadoop的HDFS。HDFS采用管理節點/存儲節點架構,如圖2所示。一個HDFS集群由一個管理節點和一定數目的存儲節點組成。

GFS與HDFS技術有效地將異地計算機資源整合在一起,形成具有超大存儲容量的計算集群,同時,為了優化系統的性能,提高資源的數據利用率,需要對數據進行并行處理,目前省屬各地州運營商的存儲系統都是各自為陣,獨立存儲,信息的存儲效能不但低下,而且在信息共享方面和信息處理速度方面存在瓶頸,云計算的分布式存儲技術將能夠有效解決面臨的這一突出問題。

3.2 海量數據管理技術

要高效管理和處理大規模數據集,首先必須解決如何在龐大的數據中心定位所需數據的問題。如何能夠快速在異地分布的存儲節點上找到所需的數據,提高數據管理效率是面臨的又一突出問題,目前電信BASS經分系統主要采用互動管理來實現對經分數據的調動和管理,主要還是通過ETL調度管理和服務管理兩個方面來實現,ETL負責數據的抽取、轉換、裝載,服務管理負責數據訪問的安全和效率?,F在這種技術已經不能適應當前業務發展的需要。云計算數據管理技術主要有Google的Big Table和Apache的Hbase等,Hbase是一個分布式的,面向列的開源數據庫,它不同于一般的關系數據庫,是一個適合于非結構化數據存儲的數據庫。

3.3 編程模式(分布式運算模式)

Map/Reduce的編程模式是目前云計算的核心和關鍵。任務如何分解,分解后的任務運用什么技術如何分配給終端去處理是其主要任務,Map/Reduce實際上就是任務分解和任務匯總的集合,在電信行業當中,其實主要是數據的分解和匯總Map/Reduce的工作模式如圖3所示。

Map/Reduce的實現機制使得任務如何分解和合并更加流程化,為后續的分布式計算提供了有利的條件。

3.4 海量數據處理模式

(1)現有經分系統中海量數據的一般處理方法。越來越多海量數據的出現,使得現有BASS系統在處理數據的容量存儲、處理速度及兼容性方面存在諸多不足,目前數據處理的一般方法有如下幾種:

1)通過高效的數據庫進行集中處理,如SQL、ORACLE數據,但一旦服務器出現故障,經分系統將會直接崩潰,無法運行,容災性能較差。

2)高效的SQL語句,由于對數據提取精確性的要求,要從海量的數據表中提取有效數據需要編寫更簡潔和高效的SQL語句。

3)分類存儲。對海量數據按類別進行細分,再對其進行分區存儲

4)建立合適的索引。對海量數據進行處理時,需要對數據進行分類、排序、這樣在數據提取和處理時能夠快速在服務器中定位。

(2)基于云計算技術的海量數據ETL處理算法的改進設計。由于目前ETL算法在對數據的處理和任務調度方面存在諸多不足,本文從以下兩個方面進行了改進和處理,一是通過借鑒Map/Reduce原理,將其充分運用到ETL的數據抽取環節,從而做到數據處理更高效,(簡稱SMB-DP)算法;二是對ETL任務調度進行優化,主要是將任務的優先級和任務處理時間考慮在內(簡稱AGB-ETL)。

整個算法的核心思想是:將原來的多次抽取數據改為一次性抽取數據,通過借鑒Map/Reduce原理對源數據進行拆分,形成多個目標文件,此次過程稱之為SMB-DP算法;然后再將這些目標文件的任務優先級及運行時間考慮在內對這些任務進行分配調度和數據處理,此過程稱之為AGB-ETL算法。具體如圖所示。

SMB-DP算法的基本思想是:將現有ETL處理流程中的多次抽取化成單次抽取,拆分后再進行并行的轉換裝載等處理。

該算法的實現關鍵包括單次抽取、對源數據進行拆分和并行轉換裝載三部分。具體描述如下:

(1)單次抽取。通過關鍵字段把所要提取的數據源表進行有效的合并。假設A表需要讀取“1、2、3、4、a、b、c、d ”8個字段,假設B表需要讀取“4、5、6、7、c、d、e、f”8個字段,那么可以一次性將源表所需的11個字段從源表中抽取,然后從中抽取A、B各需的字段,分別保存成兩個文件進行存儲。

(2)對源數據進行拆分。抽取數據的目的最終是為了拆分數據,通過借鑒Map/Reduce原理,把數據文件按照一定的字段劃分后存儲的云終端當中。

(3)并行轉換裝載。對于拆分后形成的多個目標文件,可以采用各種有效的并行處理技術進行并行的轉換及裝載處理,如將多個目標文件分配到不同的計算終端去運行,有效提高BASS的處理效能。

AGB-ETL算法的基本思想是:以任務優先級和任務運行時間為首要遵循的分配原則,將最需要處理的任務分配到處理時間最少的終端中去,這樣既提高了資源的利用率,又滿足了任務處理的實時需求,從而達到了資源的優化配置和調度。

目前常用的ETL任務調度算法主要有順序調度、隨機調度和基于貪婪算法的任務調度等三種。

(1)順序調度:按照順序將需要處理的任務逐個分配到終端中去處理。這沒有考慮任務的執行時間,執行效率比較低。

(2)隨機調度:從需要處理的任務當中隨機選取任務并隨機分配到任務組中,這種調度算法隨機性很差,也是沒有考慮任務的運行時間和任務優先級,因此處理效率也很低下。

(3)基于貪婪算法的任務調度:相對于前兩種算法,這種算法的處理性能和效率有了較大的提高,先通過系統內日志記錄算出任務最近幾次的運行時間,一般取10次左右,算出任務的平均運行時間進行排序,一般將任務運行時間最長的分配到當前估算執行時間最小的任務分組中,由于沒有考慮任務的優先級,因此任務的處理效能依舊不是很完善。

AGB-ETL算法涉及的過程主要是三個方面,描述如下所述:

(1)執行優先級的確定。優先級是根據相關業務規范以及移動BASS實時性處理的需求設定的。首先我們需要設定任務優先級的規范標準,以阿拉伯數字1為最高優先級,以此類推。

(2)估算時間的確定。一般我們會從系統日志中獲取每個任務的執行時間。通過查詢系統操作日志,獲取任務最近N次的執行時間,我們就可以算出該任務的平均執行時間。

(3)處理流程的描述。

1)首先將任務進行調度的判斷,如有則加入隊列,沒有則等待。

2)將任務隊列進行排序,排序的原則是優先級從高到低,優先級相同的,再按照任務執行時間從高到低排列。

3)將最需要處理的任務放入執行時間最少的單元當中。

4)更新該任務分組的總估算執行時間。

5)判定任務隊列L是否分配完畢。

4 結論

針對電信行業所面臨的海量數據處理的突出問題,本文通過對云計算關鍵技術研究應用,提出了基于云計算技術的經營分析系統對海量數據的處理和優化方法;通過對海量數據存儲、海量數據索引和定位、海量數據抽取與處理、海量數據分布式運算等幾個方面的研究,特別是對海量數據的抽取和處理,提出了基于拆分機制的海量數據處理算法和改進的基于貪婪算法的ETL任務調度算法,從而對海量異構源數據進行快速抽取、有效拆分和并行處理,可以更加合理地進行任務調度,實現資源的優化處理和按需分配。

參考文獻:

[1]楊勝琦.基于復雜網絡的大規模電信數據分析研究[D].北京郵電大學碩士學位論文,2010,5.

[2]孫少陵.云計算變革下電信運營商的機遇及中國移動云計算探索[J].移動通信,2010,11.

[3]孔令山.運營商虛擬化實踐與思考.

[4]張海濤.基于云計算平臺的電信經營分析系統研究.

[5]王金倫,樊秀菊.基于云計算的新一代電信業務支撐系統測評平臺的設計與實現[J].計算機應用與軟件,2011,3.

[6]秦潤鋒,樊勇兵,唐宏,金華敏.開源云計算管理平臺技術在電信運營商私有云建設中的應用研究.

[7]段云鋒.中國移動經營分析系統建設及應用電信經營分析.

[8]毛曉晨.電信經營分析系統中的應用和對策江西通信科技.

云計算的研究方向范文5

關鍵詞:云計算;國土信息;監管平臺;GIS

中圖分類號:TP315

1 當前國土信息監管平臺中存在的主要問題

近年來,我國的國土信息監管平臺建設工作取得了重大成就,但同時也存在一些問題,主要表現在以下幾個方面:

1.1 單機服務器模式性能不足

面對日益增長的土地數據和更多的用戶,傳統的單機服務模式因不具備分布式處理能力,而無法滿足目前多用戶同時訪問海量數據時的性能要求。

1.2 影像數據存儲成本高

每年的影像數據分別存儲到不同的數據庫,其中大部分地區的影像基本沒有變化,造成數據庫中存儲了大量的重復數據,造成資源浪費。

1.3 單機存儲模式可靠性低

所有數據存儲在一臺計算機的磁盤陣列上,一旦該計算機上的磁盤陣列中超過2塊磁盤發生故障時沒有及時更換磁盤,數據將無法修復。

1.4 國土信息監管功能較少

目前的國土信息監管平臺受制于單機性能所限,只能實現簡單的數據查詢,匯總,報表分析等功能,無法實現多元數據疊加顯示,網頁及移動客戶端瀏覽[1]等功能,因而難以滿足未來用戶全方位的應用需要。

2 采用云計算提升國土信息監管平臺性能的思路

云計算包括虛擬化、存儲資源池、分布式計算等技術,目前在世界范圍內得到廣泛的應用[2],受到廣大用戶的好評。本文利用云計算的技術特點來解決我國國土信息監管平臺當前存在的問題。

2.1 分布式計算提升平臺性能

當多用戶同時請求獲取數據時,利用云計算的分布式計算能力,將用戶請求分散到幾十臺服務器上去處理,這樣就避免了單機模式下所有請求擁擠在一個時刻而無法得到及時處理的不利局面,既減輕了網絡傳輸壓力,也減輕了單臺服務器的計算壓力,從而提升了整個平臺的性能。

2.2 虛擬化技術降低平臺成本

平臺采用多臺服務器構成集群,對服務器集群進行底層虛擬化,虛擬化技術能夠將現有硬件設備模擬成更多的計算機設備,這樣做充分利用了所有的硬件資源,減少了設備的浪費,降低了平臺成本。

2.3 資源池化存儲提升平臺可靠性

所有數據分別存儲在不同的資源池中,當某臺服務器的磁盤A損壞時,其他服務器資源池的磁盤中仍然會有磁盤A上的數據備份,除非所有服務器同時發生磁盤故障,否則數據不會丟失,平臺可靠性得到提高。

2.4 強大的云端WEB化,移動化應用

所有數據按照影像數據、矢量數據等分成不同的圖層到云端上。其中影像數據分成每年一個圖層,土地規劃類數據分成建設用地管制區、土地用途區、基本農田保護區等圖層,土地利用類數據分為地類圖斑、線狀地物等圖層,行政區劃分為省、市、縣、鄉、村五級。圖層間可單獨或疊加顯示,將云端WEB化后就能讓用戶在網頁及移動設備端上看到靈活豐富的國土信息[3]。

3 國土信息監管云平臺建設過程

3.1 云平臺總體架構設計

國土信息監管云平臺分為數據存儲端,GIS服務端和GIS客戶端。存儲端與服務端之間采用萬兆光纖模塊連接,使得服務端存取數據的速率達到了萬兆。服務端和客戶端之間用千兆光纖交換機連接,保證每個客戶端都能達到千兆帶寬。系統間充足的帶寬大大提升了海量數據并發傳輸時的傳輸速率。

國土信息監管云平臺總體架構如圖1所示。

3.2 國土信息監管云平臺建設步驟

(1)數據整理階段:首先對數據進行清洗、轉換,使用鑲嵌數據集管理柵格化的影像數據,對所有數據制作GIS Catalog(GIS索引)。

(2)數據存儲階段:數據存儲到數據庫集群中,對所有存儲服務器都進行虛擬化并配置負載均衡后建立幾個存儲資源池,數據最終可由資源池管理。

(3)數據階段:建立一個GIS服務器云,所有服務器都進行虛擬化并進行網頁適配,服務器統一安裝GIS SERVER軟件,影像數據都經過切片處理后到GIS SERVER云上。

(4)數據應用階段:云平臺所有數據包括影像數據,矢量數據及屬性數據后,用戶可通過GIS客戶端包括PC,移動設備及網頁等訪問云服務器上的所有資源及應用服務[4]。

3.3 國土信息監管云平臺技術特點

國土信息監管云平臺相比傳統的單機平臺,具有以下四個特點:

(1)所有數據“一張圖”

傳統平臺上用戶一次只能瀏覽一個城市的地圖,而在云平臺上,全省各地市數據通過拼接整合成為一張圖,用戶可以一次性瀏覽全省范圍內的土地數據,提高了瀏覽的效率。

(2)歷年數據易分析

傳統平臺上各年數據分別存儲在各自的數據庫中,對幾年內數據分析時需要遍歷各年所有數據才能統計出差異。云平臺將各年的數據增量式存儲到一個數據庫中,每年的土地數據變化非常明顯,方便用戶進行數據分析。

(3)影像數據切片化處理

全省一年的影像數據容量有3T左右,用戶在訪問平臺時的瞬時數據量是非常大的。為此本文對所有影像數據進行了切片處理,即將11個常用比例尺的影像數據提前切片存儲在數據庫集群上,大大減少了數據傳輸量和系統處理時間,用戶就能最快的獲取所需影像數據。

(4)數據安全性高

所有影像數據都經過光柵化處理,數據不易泄露。普通用戶只有打印、查詢及授權后編輯的權限,沒有隨意導出數據的權限,系統日志會記錄所有人員的使用情況。這些措施都提高了數據的安全性。

4 國土信息監管云平臺功能

國土信息監管云平臺目前實現了土地規劃輔助設計、地籍管理輔助分析、執法監察輔助分析等功能,其他如數據匯總表格輸出,專題圖制作等功能還在開發中。

4.1 土地規劃輔助設計

用戶通過客戶端能在線進行土地規劃利用時所需信息的查詢分析。查詢界面如圖2所示。

4.2 地籍管理輔助分析

以往地籍工作人員需要長途跋涉去某地區實地查看以獲取地籍信息,現在通過云平臺[5],他們在辦公室就能查看某年某月某地區的地籍信息,減少了實地查看所耗費的時間,提高了工作效率。

地籍管理界面如圖3,圖4所示。

4.3 執法監察輔助分析

在國土信息監管云平臺上,用戶通過卷簾式對比技術,可以直觀的看到不同年份某地區的地理變化,再對比其中差異可以分析該地的實際土地使用情況[6]。土地執法監察人員無需前往某地就能獲取監察所需的土地信息,提高了他們的工作效率。執法檢查界面如圖5,圖6所示。

5 結束語

我國的國土資源信息化建設正經歷著質的飛躍,與此同時,國土信息監管工作必然也面臨著一個從量變到質變的新跨越。而隨著大數據時代的到來,云計算技術對國土信息監管平臺建設的推動將愈加強烈。因此,新世紀的國土信息監管工作要善于抓住這一歷史性的變革,提升其工作效果,以保證國土資源監管工作與社會公平、效率和生態環境保護之間的最佳平衡。本文設計實施的國土信息監管云平臺通過引入云計算技術并結合GIS平臺[7],實現了更多監管功能,同時提升了國土信息監管平臺的整體性能,具有很好的推廣應用價值。

參考文獻:

[1]林喜慶,朱巖,唐韻.國土資源信息化中應用WebGIS技術[J].科技傳播,2012(15).

[2]陳斌,艾浩軍,李京生.物聯網在國土資源管理中的研究與應用[J].電信科學,2013(07).

[3]彭建斌,何貞銘,王勇.基于ArcGIS的省級國土資源電子政務系統設計[J].地理空間信息,2011(02).

[4]廖一蘭,王亞華,孫在宏.基于GIS系統的土地利用數據建庫模型研究[J].農機化研究,2006(02).

[5]Permanent committee on cadastrein the European Union. Cadastral information system[EB/OL].Http://moi.gov.cy/dls,2009-05-12/2009-05-18.

[6]陳志剛,蔡輝.RS和GIS技術在土地例行督察實踐中的應用[J].中國國土資源經濟,2011(12).

[7]Bhat,Muzafar Ahmad,Shah, Razeef Mohd,Ahmad, Bashir.Cloud Computing:A solution to Geographical Information Systems(GIS).International Journal on Computer Science & Engineering . 2011,Vol.3 Issue 2,p594-600.7p.1 Diagram.

云計算的研究方向范文6

【關鍵詞】云計算 VDC 通信展

“創新引領發展,融合成就未來”是2010年通信展的主題,各設備廠家和運營商都盡顯其在網絡、業務和服務上的最新創新成果。通觀整個展會,本屆展會不再僅僅是新技術、新產品的推廣,新業務逐漸占據展會的重要位置,層出不窮的業務和服務成為未來運營商和設備商向ICT綜合服務轉型的重點。作為創新性業務應用,云計算、物聯網、三網融合這三個近年來炙手可熱的話題,設備廠家和運營商在本屆通信展上進行了全方面、多角度地展示,給出各自的解決方案,為人們描繪即將到來的美好數字化生活。其中,云計算作為物聯網和三網融合發展的基石,在整個ICT未來發展上具有重要的地位,云計算構架在互聯網之上,而物聯網和三網融合主要依賴互聯網來實現有效延伸,因此,云計算模式可以支撐具有業務一致性的物聯網、三網融合實現集約化運營。特別是運營商,通過云計算的發展,才能從通道服務中獲得更多的投資回報,在高附加值的信息服務領域創造更大的企業價值。

1 眾企業開啟云計算之門

中國聯通展示了VDC(虛擬數據中心)業務和“云超市”的概念,也就是說,可以讓用戶像去超市買東西一樣,只需要挑選自己需要的CPU數量、內存、帶寬和租期等,就可以直觀的看到價格,提交即可獲得服務,簡潔快速地得到自己想要的云計算產品,并且可根據智能云開發環境,開發行業和企業應用。同時,智能云終端+VDC成為應用的新潮流,終端無需安裝龐大的軟件,即可輕松使用各種新業務。在展覽會上,VDC演示環節清晰、功能新穎、特點突出、性能可靠,講解清晰,演示展臺吸引了眾多高層領導及技術人員長時駐足觀看、問詢和熱烈討論。

華為在本屆通信展中云計算的主題是“云-管-端:信息服務的新架構”,以“云”的方式進行現場演示,展臺上的“瘦終端”借助公共網絡這個“管道”連接到深圳總部的“云”服務器實現信息和資源的調用。提出“云-管-端”也代表著華為開始努力與運營商一起探索運維變革之路。

中國移動展示了“大云計劃”,自2007年3月確定“大云”研究方向后,中國移動在2010年5月正式了“大云計劃”1.0版本,利用開源Hadoop系統搭建起云計算的研究環境,目前,該云計算平臺已經擴容至1024個節點?!按笤朴媱潯笔侵袊苿友芯吭横槍υ朴嬎慊A設施所進行的關鍵技術研究和原型系統開發,其目的一方面是為了滿足企業內部IT支撐高性能、低成本、可擴展、高可靠性的計算和存儲需求;另一方面遵從國際化標準、開放所有API能力,以此構建一個面向公共網絡的開放式平臺,更好地提供針對互聯網的業務和服務。

2 云計算發展方向

縱觀各廠家和運營商提出的云計算解決方案,都是為了適應電信未來商業模式轉型而提出的,從主流電信運營策略來看,主要有以下幾種方式:

(1)向“通信+商業渠道”的轉型,優化通道掌控、應用匯聚、終端體驗,尤其是客戶需求分析,實現產品、服務與需求價值匹配,形成規模經營、快速交付、精確營銷的新型渠道能力。

(2)向“通信+媒體廣告”的轉型,利用豐富的客戶需求信息資源,創建數據挖掘分析能力,利用通道與終端交付能力,形成“泛終端”、“富媒體”分眾立體式廣告模式。

(3)向“通信+信息服務”的轉型,利用公眾通信網的基礎性和安全可信的運營能力,基于寬帶通信與云計算技術的發展,形成信息設施、信息生產、信息應用的服務,即“云計算”服務。

(4)向“前+后”收費模式的轉型,基于渠道、媒體特征開發后向收費模式,通過降低用戶通信與信息費的方式,加快用戶發展(快速聚合)、增加使用時間(提高瀏覽量),增強渠道和媒體效用,提高費、廣告費等創收能力。

(5)建立以“客戶價值為核心”的運營構架,在原運營構架基礎上,增加“業務數據中心系統BDCS”為重要的核心運營系統,以構成電信運營商新的運營構架。

電信企業云計算業務服務應發揮網絡和客戶優勢,轉向對業務、平臺、客戶、界面等商業資源的運營。為了適應向“通信+商業渠道+媒體廣告+信息服務”的商業模式轉型,在原來通信網絡傳送、平臺接入能力的聚合能力和業務交付、服務支持的運營能力的基礎上,需要增加一個重要的核心運營系統,即業務數據中心。從以網絡為中心的運營轉型為以客戶為中心的運營,而通信網絡只是實現客戶接入業務的通道和用戶聚合的手段,各種新商業模式的運營都將基于數據中心對用戶信息挖掘,通過特征數據庫和商業智能的分析后,通過公眾計算通信網絡以個性化分眾服務的方式傳送給客戶,使客戶得到良好的終端體驗。

因此,在網絡服務日益趨向于信息服務、信息管理服務的背景下,業務的提供需要大量的計算能力的支持,隨著網絡帶寬的變大,計算能力遍布到整個網絡之中,通信技術與業務正在趨向計算技術與應用技術,計算技術與應用正在趨向網絡與服務的提供,未來的云計算的發展架構應該具有分布式、智能、開放、統一化的系統特性,能夠實現網絡智能管理、業務智能開發以及服務智能提供。

3VDC:云計算的核心

隨著IT架構正在經歷從“以網絡為核心”向“以數據為核心”的轉變,業務數據中心成為重要的核心運營系統,在互聯網廣泛應用的大背景下,各行業業務數據類型正在發生著巨大的變化,IDC(互聯網數據中心)也正向VDC(虛擬數據中心)轉變。同時,大量數據的綠色存儲被提升到前所未有的位置,存儲系統作為IT架構核心組成的地位得到空前強化,成為海量數據存儲的基礎載體。如何高效管理數據中心的數據、輕松實現對數據的訪問、同時又能保證數據的安全是所有數據中心管理者關心的問題。

VDC是指采用了虛擬化技術的數據中心。當前,虛擬化在數據中心發展中占據越來越重要的地位,虛擬化概念已經延伸到I/O、桌面、統一通信等領域,不僅僅包括傳統的服務器和存儲的虛擬化,還囊括I/O虛擬化、桌面虛擬化、統一通信虛擬化。

數據中心的虛擬化有很多的技術優點:可以通過整合或者共享物理資產來提高資源利用率。調查公司的結果顯示,全球多數的數據中心的資源利用率在 15%~20%之間,通過整合、虛擬化技術可以實現50%~60%的利用率;通過虛擬化技術可以實現節能高效的綠色數據中心,如可以減少物理設備、電纜,空間、電力、制冷等的需求;可以實現對資源的快速部署及重部署以滿足業務發展需求。

數據中心的資源,包括服務器資源、I/O資源、存儲資源組成一個資源池,通過上層的管理、調度系統在智能的虛擬化的網絡結構上實現將資源池中的資源根據應用的需求分配到不同的應用處理系統。虛擬化數據中心可以根據應用的需求讓數據中心的物理IT資源流動起來,更好地為應用提供資源調配與部署。

相對于傳統IDC業務,VDC的應用將帶來以下變化:

(1)建設模式上的變化:傳統IDC以物理節點為單位建設,VDC可以分步在不同的物理節點;

(2)業務模式上的變化:傳統IDC以出租資源為主流業務,VDC以服務和能力出租為主;

(3)網絡架構:VDC密度高,并發流量大,對現有網絡承載能力提出了更高的要求,是ICT基礎資源一體化服務的典型應用場景。

因此,以VDC為核心的云計算解決方案,能夠實現基礎設施“集約化”,業務管理“專業化”,業務提供“社會化”,服務提供“個性化”,實現“T”形服務能力輸出,即水平方向代表由資源集中、能力開放帶來的廣泛的服務覆蓋能力,垂直方向代表專業的業務管理和針對性的精準服務提供能力。

4 結束語

作為未來信息服務發展方向的云計算架構,不僅是ICT的基礎架構,更是電信企業發展戰略的體現。在原有運營構架基礎上,增加VDC作為重要的核心運營系統,通過分布式和虛擬化資源提供方式,構成電信運營商新的運營構架,從基于網元的運維向基于業務的端到端運維轉變,整合研究開發、產品制造、網絡建設、應用開發和服務提供等各方面,構建更加開放的生態體系和商業模式。

參考文獻

[1] 童曉渝,張云勇,戴元順. 公眾計算通信網架構及關鍵技術[J]. 通信學報,2010,31(8).

[2] 童曉渝,吳鋼,張云勇,等. 后電信時代[M]. 北京:人民郵電出版社,2010.

[3] 房秉毅,張云勇,程瑩,徐雷. 云計算國內外發展現狀分析[J]. 電信科學,2010(S1).

【作者簡介】

亚洲精品一二三区-久久