前言:中文期刊網精心挑選了云計算技術研究范文供你參考和學習,希望我們的參考范文能激發你的文章創作靈感,歡迎閱讀。
云計算技術研究范文1
“云計算”一詞源于Google等互聯網公司的大數據處理過程,于2006年在國際搜索引擎大會上首次提出。以美國國家標準與技術研究院給出的定義較為權威:云計算是一種按使用量付費的模式,這種模式提供可用的、便捷的、按需的網絡訪問,進入可配置的計算資源共享池,這些資源能夠被快速提供,只需投入很少的管理工作,或與服務供應商進行很少的交互?!霸茖徲嫛笔腔谠朴嬎愣a生的,可以認為“云審計”就是在審計工作中運用云計算的概念和技術。“云審計”有兩個基本特點,一是以審計工作為服務目的,“云審計”的應用是為了使審計師減少簡單的計算勞動,提高審計效率;二是以云計算為技術手段,利用云計算技術升級和優化現有的審計方法。隨著近年來供電企業信息化程度的提高,服務器的后臺數據也越來越多,而審計師配備的個人電腦是無法滿足檢查這些數據的需求的。數據庫中一個簡單的操作指令可能都要在個人電腦上花費十幾分鐘甚至數個小時。而“云審計”技術卻可以很輕松地解決這些問題。
二、云審計對供電企業審計工作帶來的機遇和挑戰
1.云審計對供電企業審計工作帶來的機遇
(1)審計數據處理能力將全面增強。在云審計環境下,審計師不需要面對堆積如山的會計憑證和業務檔案,云計算的高速計算技術可以根據不同的審計目的,在企業數據庫中有針對性地篩選出可疑信息,進行由點及面的掃描分析,從而得到更加客觀的審計評價。
(2)審計將為高層決策提供更有力的支持。云審計可以通過對特定領域的原始數據分析,提取工作流程數據的變化特點,了解業務發展的基本趨勢,提前預警可能出現的風險和隱患,為高層決策提供關鍵支持。例如,在營銷業務數據中如果發現某一類用戶的滿意度有所下降,就可以結合相關數據開展原因分析,研究一段時間內的變化趨勢,為下一步制定用戶服務策略提供依據和參考。
(3)審計項目的工作質量將得到充分提升。通過云審計,審計組負責人能實時了解每個組員的工作進度,并有針對性地提供指導、監督和復核。并能按照項目實際情況的變化,對審計要求和人員分工進行優化和變更,以更快的速度來處理審計項目的難點問題和反饋必要的審計信息,從而實現對審計全過程的有效控制,確保審計質量達到預定目標。
2.云審計對供電企業審計工作帶來的挑戰
云審計為供電企業審計工作的全面信息化奠定了堅實的基礎,同時,也為審計工作帶來了巨大的挑戰。在云審計的實際應用中,還存在一些有待克服的難點和問題。一是對“離線操作”問題難以介入,當舞弊人員惡意錄入與實物不符的業務數據時,數據分析工作就難以達到預定的審計目標。二是云信息安全風險,一旦用戶端密碼泄露或被破解,集中儲存在服務器中的大量審計數據就存在泄密問題。三是電子證據取證較難,電子證據具有不可見、可遷移、可修改等特征,在取證時需要更多地關注審計證據的可靠性和準確性。四是審計師的綜合分析能力還需提高,云審計需要更多的集財會、審計、計算機等技術于一身的復合型人才,審計部門必須加強對審計師的全面技術培養。
三、云審計系統的框架構建
1.云審計系統的概念和特點
云審計系統是一個全新的事物,國際上暫時還沒有給出一個比較準確和完整的定義。為方便研究,本文基于信息技術現狀和審計實際應用,對云審計系統的概念進行初步闡述:云審計系統是基于所獲得的數據,根據審計對象的基本特性,通過設定計算、判斷和限制條件建立數學或邏輯表達式,用于對審計目的進行驗證的過程。云審計系統主要有五個特點:
(1)審計網絡自助服務。審計自助服務免去了審計師與被審計單位在數據獲取上的溝通,使審計師能自行獲取所需數據,并設定疑點檢查條件。
(2)高帶寬網絡。多個審計師可以在不同的地點獲取同樣的數據,在網絡速度上不會受到影響。
(3)審計數據資源池。審計師可以將得到的所有數據上傳至“云端”,形成審計數據資源池,共享給有相關權限的其他審計師。
(4)審計彈性架構。使審計師可以隨時隨地通過權限認證后登陸系統獲取資源。
(5)可度量服務。為審計系統提供自動化的監控,并記錄審計師的工作過程,包括審計方法、程序和證據獲取手段等。
2.云審計系統建設的可行性分析云審計系統的建設并非遙不可及的事情,國內一些審計機關和大型審計機構使用的審計信息系統已經基本符合云計算的主要特點。供電企業建設云審計系統的可行性主要有三個方面:在理論基礎方面,國際上關于云計算系統的理論體系已經基本完備,國內云計算技術的研究和發展也十分迅速,為云審計系統提供了充分的先決條件。在技術方面,實施云計算的各種技術方案體系已經在生活的各個方面投入應用,供電企業的審計信息化也有相當堅實的基礎,完全可以借鑒其他行業在云計算方面的先進技術和經驗。在成本方面,云審計系統的部署費用并不高昂。服務器和網絡設備可以基于現有條件加以升級和改造,不需要全部更換。用戶端也不需要更換新的設備,凡是能打開瀏覽器的電腦、平板電腦甚至智能手機都可以登陸云審計系統。
3.云審計系統的基本架構
目前的云計算模式有三類,包括公有云、私有云和混合云。公有云是為公眾提供服務的平臺,任何人都可以通過授權登入該平臺;私有云是企業在內部建設的專用系統;混合云則是同時提供公有和私有服務的系統,是介于公有云和私有云之間的折衷方案?;趯徲嫈祿C苄院桶踩缘目紤],以組建私有云較為穩妥。基于私有云的基本服務架構,云審計系統主要包括審計資源層(IaaS)、審計平臺層(PaaS)、審計應用層(SaaS)等3個層級。
(1)IaaS層是系統架構的基礎,采用物理資源虛擬化技術,使系統中各個應用的不同用戶實現資源共享,主要包括信息資源和硬件資源兩個部分。硬件資源包括網絡設備、計算設備和存儲設備,為云審計系統提供網絡、計算和存儲等服務;信息資源通過對數據的采集、存儲、分類、組織等為上層提供信息服務,包括企業審計基礎信息資源庫、共享數據資源以及各專業數據庫組成的業務信息資源。
(2)PaaS層是系統架構的核心,采用分布式的存儲和計算實現對數據的分析處理。并為上層應用服務提供運行和維護,為下層基礎資源提供資源管理服務。業務開發組件提供系統程序拓展所需的環境和工具集;綜合服務組件提供基礎的綜合管理、工作應用、用戶管理、權限管理、訪問控制和身份認證等服務。資源管理組件為審計資源層提供目錄管理、數據采集、資源整理等服務。
(3)SaaS層是針對審計業務框架的軟件服務集合,實現供電企業審計業務的核心功能,為客戶端提供業務支撐。根據供電企業的業務需要,形成各項審計應用服務,并實現應用軟件的云部署。其內容主要包括審計項目管理、審計業務流程、審計質量控制、審計數據分析、審計案例瀏覽以及其它審計應用等服務。此外,在客戶端方面,審計師只要使用帶有瀏覽器程序的電子設備便可登入系統。云審計系統還擁有高可靠性的云安全環境,對系統和數據進行全方位的防病毒檢測和處理,確保審計數據的安全性。
4.云審計系統的數據處理流程
基于大數據背景,云審計系統可以將各供電企業的審計數據整合為海量的審計資源池,構成審計數據的采集、導入、分析、展示平臺,使審計業務流程轉化為數據處理過程。
(1)云審計系統的數據采集
云審計系統的數據采集方法必須非常全面,充分考慮審計數據的復雜性、多樣性和異構性。常見的數據采集方法有兩類,一類是復制采集,從被審計單位導出數據庫信息或整個數據庫的備份,用移動硬盤或優盤拷貝的方式,上傳到云審計系統進行處理;另一類是在線采集,與被審計單位的業務系統制定標準的數據接口,不間斷地連續采集業務數據,實現對業務流的動態監控。在線采集方式具有時效性強、響應速度快的優點,今后將成為主流的數據采集方式。
(2)云審計系統的數據導入
在供電企業各類業務系統的海量數據中,數據之間的結構和類型千差萬別。在進行分析之前,應先將這些數據有效地導入系統,把重要數據如重要指標、近期變化數量等置入高性能存儲器中,把不常用的次要數據置入一般存儲器,并去除不需要的冗余數據。
(3)云審計系統的數據分析
云審計系統中集成了大量審計分析程序,利用分布式計算集群對海量數據進行各種分析和分類統計,以滿足審計師的分析需求。云審計系統的數據分析具有以下幾方面的特點:一是審計分析程序的可構造性。各種審計分析程序以模塊化的方式提供給審計師,可以進行任意調整。審計師不再需要進行原始編程,只要在云審計系統中將程序模塊像搭積木一樣進行組合和排列,就可以完成分析程序的編輯,從而達到各種分析目的。二是注重對數據的全面分析。在傳統審計中,由于審計師無法將所有信息和資料都看完,于是經常采用審計抽樣的技術方法。但是在大數據處理時代,抽取樣本檢查和全部數據檢查這兩種方式,在云審計系統面前的區別,只不過在時間上相差數秒鐘或數分鐘而已。當審計師能夠在很短的時間內處理完全部的數據時,就會減少對審計抽樣方式的依賴。三是注重數據之間的關聯度分析。在以往的審計中,對被審計單位工作數據的檢查,只是對特定的業務數據進行簡單的統計和復核。在云審計系統中,還可以從該項數據關聯的其它數據,對審計目標加以驗證。例如在審查工程費用時,可以同時檢查物流部門的工程物資數據、監理機構的監理信息、工地用電記錄等等,對工程的合理性和真實性進行多方位分析。四是實現對非結構化數據的分析。非結構化數據指的是圖片、視頻、音頻等無法結構化的信息。非結構化數據在以往的信息化技術中也是一個難點,因為它們不像那些表格式的數據一樣容易抽取和篩選。而在云審計系統中,圖片、視頻、文檔也能做到自動摘要、分類處理和聚類分析,這就充分拓展了審計師的分析視野。五是實現對數據的深度挖掘。供電企業的審計數據挖掘可以從各個專業領域入手,在現有數據上進行基于各種算法的運算,實現高級別數據分析的需求,例如對業務情況進行一段時間內的趨勢分析、計算業務風險發生的概率等等。
(4)云審計系統的數據展示
數據展示將實現可視化,能夠直觀地將數據的特點、變化和疑點呈現出來,將難以閱讀的原始數據轉變為界面清晰、易于理解的圖表。進而使審計師能夠與這些能講故事的數據進行交流,對數據處理結果進行多維度分析,從中找到審計問題出現的基本規律和深度原因。
四、結語
云計算技術研究范文2
關鍵詞:云計算技術 研究現狀 具體應用
中圖分類號:TP3 文獻標識碼:A 文章編號:1007-9416(2016)05-0000-00
谷歌就曾在2006年時提出云計算的概念,相比于傳統信息處理方式,云計算技術實現技術層面的創新,改變了傳統信息處理的獲取、傳輸以及交流的途徑。目前人們生活工作中處處存在云計算技術,比如常見的網購、文件云存儲等互聯網服務功能。簡單來說,云計算技術為用戶提供一個安全方便、高效存儲以及網絡運行的環境。
1 云計算技術的發展現狀
目前對于云計算國際上還沒有統一的定義,就其本身而言,云指的是網絡象征性的比喻,而終端則是指手機、平板以及筆記本等設備。云計算的主要服務形式是虛擬化的技術,該技術擁有大規模、低廉以及安全等其他網絡沒有的特點。
1.1云計算在國內發展
我國云計算技術目前還不是很完善,依然處于研究及探索的初級階段。該技術的研究力度與技術設備不足,也沒有成熟的核心結構體系,因此雖然云計算技術服務不斷推出,也依然不能滿足市場及用戶的使用需求,而且對于云計算技術本身擁有的價值沒有正確的認知。云計算技術發展到目前存在一個嚴重問題,就是我國云計算服務商之間缺少必要的交流及相互操作性。未來技術發展中應該找出提高云計算技術的措施。
1.2云計算在國外發展
相比于國內云計算技術,西方發達國家的技術已經相對成熟。其中美國在20世紀初期就做出了云計算技術長期發展規劃,目前云計算技術在美國國內市場中占有極重要的市場地位;而歐盟則做過詳細的報告針對云計算技術,明確指出云計算技術的重要性,建立起完善的云計算技術應用管理框架;而在日本,其國內的云計算技術的基礎設施也得到初步架構,為技術發展提供良好的基礎準備。
2 云計算技術的研究與應用
2.1云安全技術
2.1.1云計算下網絡安全
云計算環境中如何做好網絡安全防范工作,這就需要從系統身份認證開始,要知道保證網絡安全的基礎與門戶就是系統身份認證,它也是防備黑客入侵及不明第三方用戶的第一道防線。將網絡安全的防范意識提高到極致,并將防范措施落實下去,高度保護網絡信息及相關數據的完整機密性,堅決杜絕非授權訪問及傳播使用情況的出現,避免造成一些不必要的損失及影響;如何做好云計算環境下的身份認證問題呢?實際中可以將多重身份認證機制引進來。除了常見的視網膜或指紋等生物識別技術外,在保護用戶身份信息安全中還可以引入動態的電子口令認證模式,保證身份認證信息不會受到非法竊?。蝗魏问虑槎家呐浜?,云計算網絡安全也不列外。云計算服務提供商以及用戶可以配合政府,加大打擊非法入侵系統的力度,讓健全的報警機制作為保護網絡環境安全的衛士。
2.1.2做好網絡服務器的安全防范
用戶在使用網絡信息時,可以根據實際情況對服務器數據進行分析,采取一定的處理措施,在云計算網絡安全中讓服務器起到緩沖作用。這樣做的主要目的是將內網隱藏起來,最大程度節省公用網絡IP,監控及操作訪問網站的信息,這也是目前提高云計算環境下網絡安全的常用方法;對于云計算服務商來說,需要面對網絡用戶管理難、工作量大等問題,這種情況下可以采取分權分級管理模式,如此不但可以解決上述問題,還能避免劫持及隨意更改客戶程序及數據的情況。運營商采用流程化管理及分級控制的方法,可以有效監督檢測每一級的管理,可以有效提高云計算環境下的網絡安全問題。
2.2云存儲技術
技術人員在云計算概念的基礎上不斷延伸擴展,就出現了現在的云存儲技術。云存儲技術目前應用的范圍比較廣,在人們生活、工作中扮演著重要角色,但其使用中存在很多問題。云存儲技術中涉及到大量的數據,因此對其存儲安全有著較高的要求,這樣才能保證存數數據的完整安全。云存儲技術在方便用戶的同時,為推進云計算技術發展完善貢獻著力量。
2.3云計算環境下分布存儲技術
目前情況下在實際中應用較廣的數據容錯技術有兩種:糾刪碼及復制容錯技術。復制容錯技術主要是模塊復制對統一數據,將其存儲在不同的節點中,在應用中當某一節點出現問題時,其他運轉正常的節點可以保證數據正常運轉。相比于很多容錯技術,該技術操作極為簡便,所以在實際中應用的范圍比較廣。但復制數據會對存儲空間有極高的要求;糾刪碼容錯技術是基于信道傳輸的編碼技術,當數據失效或出現錯誤時,糾正錯誤可以通過下載整個數據塊來實現。與復制容錯技術相比,糾刪碼容錯技術需要占用更多的網絡寬帶,運用中會帶來相當的資源壓力給數據中心。
前文講過云計算環境下分部存儲技術中的關鍵技術就是數據容錯技術,目前發展的還不是很完善,需要相關研究人員進一步完善與優化?;谠朴嬎悱h境下的各種條件,可以從兩方面入手進行完善,一是優化節點結構,二是提升物理拓撲結構的容錯性能,最終實現提高數據容錯性能的目的;社會信息化的實現需要龐大的信息資源,技術發展完善中的一個重要內容就是不斷提高信息資源的效益型。云計算分部存儲技術由兩方面構成:硬件以及軟件。所以在進行成本控制的過程中,也需要從這兩點入手,在提高系統性能的同時,要將損耗不斷降下來,優化系統結構,最終實現提高系統運行效率及經濟性能的目的。
3結語
雖說目前云計算技術廣泛應用于人們生活工作中,也給人們帶來極大的方便,但總的來說該技術還處于初級發展階段,很多方面都不是很完善。相信在不久的將來,我國云計算技術會更加成熟完善,應用云計算技術的產品種類也會愈加豐富。不過在應用云計算技術時需要考慮其使用安全問題,在技術完善過程中需要重點研究如何保證使用安全。在這樣背景下,才能促進云計算技術不斷發展進步。
參考文獻
[1]張芊,趙宇.云計算的現狀及關鍵技術[J].企業導報,2011(17).
云計算技術研究范文3
關鍵詞:云計算 網絡安全 防御技術
中圖分類號:TG519.1 文獻標識碼:A 文章編號:1007-9416(2014)05-0201-01
1 引言
隨著網絡技術的飛速發展,Internet已經滲透到生活的各個方面,繼移動通信3G、4G之后,云計算也成為網絡技術領域的熱門話題和市場的熱捧目標。云計算(cloud computing),分布式計算技術的一種,其最基本的概念,是透過網絡將龐大的計算處理程序自動分拆成無數個較小的子程序,再交由多部服務器所組成的龐大系統經搜尋、計算分析之后將處理結果回傳給用戶。云計算是以公開的標準和服務為基礎,以互聯網為中心,提供安全、快速、便捷的數據存儲和網絡計算服務,讓互聯網這片"云"成為每一個網民的數據中心和計算中心。
2 云計算面臨的安全問題
談到云計算,安全性問題無法回避,實際上這也是目前云計算應用普及過程中所遇到的最大難題。雖然目前云計算服務提供商都在竭力淡化或避免這一話題,但作為云計算的終端用戶,這恰恰是他們關注的一大重點。目前,云計算的商業價值被得到證實;而與此同時,這些“云”也開始成為黑客或各種惡意組織攻擊的目標。綜合起來看,隨著云計算的發展和成功,由此帶來的云計算安全問題也越來越令人擔憂,具體表現在以下幾個方面。
2.1 數據存儲安全問題
云計算的模式決定了用戶的大量數據要存儲在云端,這樣就能給他們減少IT設備和資源的投資,同時也會帶來各種便利。但是越多的數據存于“云”中,對云的依賴性越大,一旦云端數據發生損壞或者丟失,這給用戶的造成的損失將是非常巨大的。
2.2 數據傳輸安全問題
一般情況下,企業IDC保存有大量的企業私密數據,這些數據往往代表了企業的核心競爭力,如企業的客戶信息、財務信息、關鍵業務流程等等。在云計算模式下,企業將數據通過網絡傳遞到云計算服務商進行處理時,面臨著幾個方面的問題:一是如何確保企業的數據在網絡傳輸過程中嚴格加密不被竊??;二是如何保證云計算服務商在得到數據時不將企業絕密數據泄露出去;三是在云計算服務商處存儲時,如何保證訪問用戶經過嚴格的權限認證并且是合法的數據訪問,并保證企業在任何時候都可以安全訪問到自身的數據
2.3 數據審計安全問題
在云計算環境下,云計算提供商如何在確保不對其他企業的數據計算帶來風險和干擾的同時,又提供必要的數據支持,以便協助第三方機構對數據的產生進行安全性和準確性的審計,實現企業的合規性要求;另外,企業對云計算服務商的可持續性發展進行認證的過程中,如何確保云計算服務商既能提供有效的數據,又不損害其他已有客戶的利益,使得企業能夠選擇一家可以長期存在的、有技術實力的云計算服務商進行業務交付,也是安全方面的潛在風險。
3 云計算的網絡安全防御技術
3.1 數據加密
加密技術是網絡安全中一個非常重要的安全技術,數據加密是利用技術手段把要傳輸的重要的數據變為密文(加密)進行傳送,到達接收端后再用相同或不同的手段對密文進行還原(解密)。加密既針對存儲在云服務提供商的服務器上的數據,還針對傳送給最終用戶的數據。加密技術在云計算中的應用,對數據傳輸甚至數據存儲等安全問題的解決都能起到非常重要的作用。
3.2 安全存儲
在實際應用中,網絡中數據的存儲是非常重要的環節,其中包括數據的存儲位置、數據的相互隔離、數據的災難恢復等。在云計算模式下,數據存儲資源處于共享的環境下,即使有數據加密的技術的加入,云計算服務提供商是否能夠保證數據之間的有效隔離也是一個非常重要的問題;另外,還需要做好備份措施,以防止出現各種網絡和系統故障和宕機時,用戶的數據被破壞,造成重大損失。
3.3 安全認證
安全認證可通過單點登錄認證、強制用戶認證、、協同認證、資源認證、不同安全域之間的認證或者不同認證方式相結合的方式,其中很多用戶是通過結合強制用戶認證和單點用戶認證的方式來允許用戶進入云應用的認證,用戶只需登陸一次進入整個web應用,從而可以有效的避免用戶在使用自己的服務時將密碼泄漏給第三方。
3.4 以集中的安全服務中心應對無邊界的安全防護
和傳統的安全建設模型強調邊界防護不同,存儲計算等資源的高度整合,使得用戶在申請云計算服務時,只能實現基于邏輯的劃分隔離.不存在物理上的安全邊界。在這種情況下,已經不可能基于用戶或用戶類型進行流量的匯聚并部署獨立的安全系統。因此,安全服務部署應該從原來的基于各子系統的安全防護,轉移到基于整個云計算網絡的安全防護。建設集中的安全服務中心,以適應這種邏輯隔離的物理模型。
4 結語
本文主要在分析云計算的特征和面臨的安全威脅的基礎上,對云計算應用安全進行分析與研究,并從云計算服務用戶的角度提出云計算應用網絡安全防御策略與手段。隨著對網絡安全隔離與信息交換技術的深入研究,以及與防火墻、入侵檢測系統和病毒檢測等網絡安全技術的有機結合,提高數據的處理速率并根據實際應用修改完善安全功能,必定能為云計算模式下的網絡系統提供更可靠的安全屏障。
參考文獻
[1]IBM.虛擬化與云計算小組虛擬化與云計算[M].北京:電子工業出版社,2009.
[2]葉偉等.互聯網時代的軟件革命-SaaS架構設計[M].北京:電子工業出版社,2009.
[3]谷歌在線文檔共享信息凸顯云計算安全問題[J].信息系統工程,2009.10.
[3]陳濤.云計算理論與技術研究[J].重慶交通大學學報,2009.8.
云計算技術研究范文4
云計算 備份技術 VMWare
1 引言
隨著信息化的發展,各種業務系統已經成為大型企業日常生產不可或缺的一部分,這些系統所產生的數據也成為運營商的核心資產。在軟硬件處理能力越來越強的現在,電信運營商的IT系統呈現出集約化[1]、去IOE(IBM、Oracle、EMC)化[2]、云計算化的趨勢。
對于電信運營商,大部分業務系統是由各省級單位獨立建設,互不兼容。在市場競爭激烈、成本要求苛刻、精細化管理成為企業必需的情況下,三大運營商不約而同地選擇了集約化發展的道路。業務的變化推動IT系統的集約化,運營商紛紛嘗試將分省建設、管理的系統集中到全國幾個大型中心。集約化后的IT中心帶來了數據的高度集中,對系統備份和恢復的速度要求更加苛刻。
與集約化同時進行的是IT系統“去IOE”的進程。去IOE即在服務器設備上,使用標準化程度高的X86服務器逐漸取代高可靠性、生態系統相對IBM Power小型機乃至所有的小型機在核心系統的使用。去O即從小型業務系統開始,使用Scale out架構的開源數據庫逐步消除Oracle數據庫在運營商的壟斷地位;去E即在數據存儲領域使用更為廉價的存儲方式代替昂貴的高端EMC存儲。去IOE在節省成本、降低對原廠依賴的同時,也帶來了對業務系統、數據庫及業務數據可靠性的憂慮。
云計算化是使用虛擬化基礎架構代替過去孤立的、煙囪式發展的傳統IT架構。云計算是在由服務器、存儲、網絡交換機等硬件的基礎上增加了虛擬化層和云層。其中,虛擬化層屏蔽了硬件的差異性和復雜度,為云層提供標準化、可靈活擴展和收縮、彈性的虛擬資源池;云層可以調配硬件資源池,為應用系統提供虛擬硬件。云計算化在增加靈活性的同時,也更來了更多的可能的故障點。
集約化、去IOE化、云計算化的IT系統帶來成本節約、靈活度更高的同時,也為應用系統和數據的可靠性帶來了更大的挑戰。為了保障IT系統安全,需要建立穩定、高效的備份系統,將應用系統和數據備份多份后,在異機甚至異地存儲。備份系統可以保證在應用系統出現問題的情況下能夠回退到正常狀態,是企業IT安全的最后一道防線,需要引起高度重視。
2 傳統IT基礎下的備份技術
2.1 傳統備份對象
在傳統IT基礎架構下,備份的對象主要針對操作系統、數據庫和文件系統。
操作系統是應用系統的基礎,其備份技術也是備份的難點。操作系統備份包括系統備份和系統恢復。系統備份由文件備份、系統數據一致性及系統環境等技術組成。操作系統備份時,系統文件、環境變量等參數會不斷發生變化,有可能發生相關文件備份時間不同而導致系統故障的問題[3]。為了保證一致性,需要對備份過程中的I/O(Input/Output,輸入/輸出)進行備份,在系統恢復時將備份過程的I/O操作重新寫入操作系統,從而使系統狀態與備份結束時間點的狀態一致,降低了系統崩潰的風險。系統恢復在異機恢復方面有可能面臨著設備驅動不一致,從而導致恢復后的系統無法正常使用的問題。
數據庫備份不僅需要備份數據庫中的用戶數據,還需要對重要的數據庫組件如數據文件和控制文件進行備份[4]。數據庫的備份可以分為靜態備份和動態備份。靜態備份是在系統沒有事務需要處理時進行的備份作業,在備份期間不允許對數據庫進行查詢、插入等活動。靜態備份可以很好地保持數據的一致性,但同時降低了數據庫的可用性。動態備份可以在用戶事務發生的同時進行,允許在備份期間對數據庫進行存取、修改等操作,但這種方式無法保證副本數據的有效性,需要記錄下備份期間對數據庫的存取等活動日志。數據庫恢復時,需要恢復副本和備份期間的日志才能恢復到正確的狀態。
文件系統備份可以通過文件系統定位文件所在的頁,然后備份所找到的文件。由于存儲在磁盤中的文件的頁并不一定是連續的,因此在恢復的過程中磁盤需要不斷定位,從而導致磁盤負擔較大[5]。在文件系統備份中,運營商的話單文件體積小但數量非常多,其備份是一大技術難題。
2.2 常見備份方式
在實現生產中,通常采用以下方式進行備份:
(1)使用數據庫自帶備份工具備份。對于Linux下的Oracle數據庫,可以編寫Rman腳本備份數據,再通過Crontab配置定時復制命令,將數據庫備份文件復制到磁盤陣列[6]。對于MySQL,可以使用自帶的mysqldump工具,實現基于InnoDB的熱備份[7]。
(2)使用操作系統自帶工具。Linux操作系統中常使用dump和restore命令來實現文件系統的全備、增量備份和差異備份等備份方式[8],Windows Server下也自帶了Windows Server Backup的備份和恢復工具。
(3)基于存儲的硬件備份。存儲設備是使用硬件來實現數據的存儲、備份與恢復,速度較快。通過存儲,還可以使用更高級的存儲技術,如快照、鏡像、重復數據刪除等功能。同一廠商的存儲產品往往具有遠程鏡像的功能,可以將本地備份數據通過同步或異步的方式自動實現異地備份。然而不同存儲廠商間的硬件備份技術使用不同的技術標準,互不兼容,從而導致不同品牌的存儲不能實現硬件的遠程鏡像。運營商的核心數據經常需要保留三份以上的異地備份,就需要在三個地點都使用同一個廠商的存儲設備,這也成為基于存儲的硬件備份的一大阻礙。
(4)基于備份軟件。備份軟件集成了各種數據庫、文件系統的備份等功能,又具備了鏡像復制、快照、重復數據刪除、數據校驗、SAN(Storage Area Network,存儲區域網絡)備份等高級存儲功能。備份軟件從軟件上屏蔽了硬件設備的差異,可以統一管理服務器硬盤、磁盤陣列、虛擬帶庫以及物理帶庫等存儲設備。同時,備份軟件也可以實現對不同操作系統(Windows、Linux、Unix)、不同數據庫(Oracle、SQL Server、MySQL)的備份。通過備份軟件,系統管理員不需要對不同的操作系統、不同的數據庫、不同的存儲設備和服務器各自編寫自動備份腳本,可以在統一的界面上通過命令行或圖形化界面集中管理備份設備、存儲設備、備份策略。因此,備份軟件也是核心IT系統中常用的備份方式。
(5)備份一體機。隨著一體化設備的發展,備份軟件廠商紛紛推出集成了備份服務器、存儲、備份軟件的備份一體機設備。這種備份一體機可以在用戶快速部署,大大方便了異地數據備份。
2.3 備份軟件
備份軟件架構如圖1所示,主要由備份服務器、備份、存儲服務器、Web服務器組成。
備份服務器可以自動進行備份作業的調度,通過指揮備份和存儲服務器共同完成備份、恢復任務[9]。備份服務器維護著Catalog數據庫,在數據庫里存儲備份恢復作業的信息及物理設備相關的信息。備份一般是安裝在需要備份的主機中,調用相關系統的接口。在備份作業發起時,數據由備份讀取并傳輸到網絡。對于不同的備份對象,往往需要安裝對應的模塊。例如,為了分別備份Oracle數據庫、SQL Server數據庫,就需要在對應的主機中分別安裝支持Oracle數據庫模塊和SQL Server數據庫模塊的備份。對于不同的操作系統,也需要安裝相應的備份。存儲服務器可以將關鍵數據存儲在存儲設備,如磁盤陣列、虛擬帶庫、物理帶庫,負責存儲中備份數據的讀取和寫入。Web服務器為管理員提供Web管理界面。目前主流的備份軟件不僅有商用的IBM TSM、CommVault、Symantec NetBackup、HP DP等產品,而且還有開源的備份軟件Amanda[10]、Bacula等產品。
3 云計算對傳統備份技術帶來的挑戰
云計算技術在IT基礎建設的引入,可減少硬件資源浪費,提高系統部署的速度,但也為備份帶來了新的需求。
(1)虛擬機備份。在存儲中為虛擬機分配的空間,以虛擬機文件格式方式如.vmdk存儲,虛擬機操作系統文件、用戶數據放置在這個vmdk文件中。如果按照傳統備份方式,要備份虛擬機中的系統和用戶數據,就需要在每臺虛擬機中安裝備份。這種方式在占用大量的存儲資源的同時,發起備份時也會占用大量的計算資源,從而影響虛擬機性能。
(2)空白數據的空間占用。在分配虛擬機時,精簡模式下的虛擬硬盤根據所需數據量的大小占用存儲空間。虛擬硬盤空間隨虛擬機數據量增加而變大后,在虛擬機中刪除的數據并不會減少虛擬硬盤的空間大小,這樣就造成大量空白數據占用了存儲空間。如果對虛擬機的備份只是簡單復制虛擬硬盤文件,就會出現備份中的有效數據少的問題。
(3)數據冗余程度高。在虛擬機中,往往安裝大量相同的操作系統、應用程序,這部分數據高度相同,如果直接通過安裝在每臺虛擬機中的備份來備份數據,則會造成大量的冗余,浪費存儲空間。
(4)備份顆粒度過大。通過虛擬化平臺自帶的虛擬化接口可以備份和恢復整臺虛擬機,但往往需要備份的數據只是虛擬機中的部分用戶數據,而不是完整的虛擬機。虛擬機級的顆粒度會拖慢備份恢復速度,消耗大量的存儲空間。此外,這種方式也無法感知應用,難以保證數據的一致性。
基于上述情況,傳統的備份方式已經不適應云計算時代的數據備份,亟需針對云計算的數據備份技術。
4 云計算環境的備份技術
4.1 基于云計算的備份技術
在云計算環境下,調用VMWare在數據存儲方面的接口,可以有效地解決虛擬機的備份難題。
(1)無備份。VMWare開放了VADP(vStorage
APIs for Data Protection,用于數據保護的虛擬存儲應用程序編程接口)的數據保護存儲接口。備份軟件調用VADP,即可與集成在vCenter中的vStorage for Data Protection模塊通信,對每臺虛擬機都實現不需要第三方備份的備份,從而減少備份對虛擬機計算資源的消耗。
(2)數據塊修改跟蹤。VMWare提供的VMKernel
級技術CBT(Change Block Tracking,數據塊修改跟蹤)可以判斷在最后一次快照后是否有虛擬機數據塊被修改,并標記被修改的數據。備份軟件調用VADP接口,即可備份被修改的增量數據,而不需要對虛擬機文件做完全備份。
(3)文件級備份恢復。VMWare FLR(File Level Recovery,文件級恢復)提供了瀏覽和裝載虛擬機備份數據的功能。通過備份軟件,調用VADP的FLR功能,可以實現對虛擬機的文件級顆粒度管理,而不需要做虛擬機級別的備份。
(4)重復數據刪除。傳統的重復數據刪除常使用固定數據塊或者固定長度數據段等技術進行重刪,但這種方式存在著即使數據集發生了非常小的改動,都會導致整個固定長度數據段的更改,從而不被識別為冗余數據。對于虛擬機的重復數據刪除技術,常采用可變長度數據段。VMWare VDP(vSphere Data Protection,vSphere數據保護)技術能夠分析數據集的二進制數據結構,確定數據段的邊界,且適用于不同類型和體積的文件,從而實現智能化的重復數據刪除。
(5)vCenter集成。備份軟件以vCenter插件的形式集成到vCenter的管理界面中,方便vCenter管理員管理虛擬機的備份,而不需要到專門的備份軟件中處理。
(6)應用感知。對于虛擬機中安裝的SQL Server、
Exchange、SharePoint、Active Direct等應用系統,可以通過在這些應用所在的虛擬機中安裝VDP客戶端,即可實現來賓級細粒度的管理,從而實現對虛擬機中的應用感知。
4.2 重復數據刪除
對VMWare vSphere虛擬化環境,使用重復數據刪除技術,對其中的30臺虛擬機總共1053GB容量的虛擬硬盤進行全備份。在自動識別并剔除空白空間后,需要備份的數據只剩下虛擬硬盤數據的76.5%。而在使用重復數據刪除進行消重后,實際寫入存儲空間的數據只有源數據的29.4%,因此實際重刪比為70.6%。重復數據刪除技術可大大減少虛擬機備份所需要消耗的存儲空間,具體如圖2所示。
初次全備份需要數小時的時間。在虛擬機進行數據讀寫操作,增加少量用戶數據,此時再做全備份,備份時間可縮短到數分鐘。這是由于調用了VMWare的CBT技術,使備份數據僅為修改的部分數據,從而加快了備份速度,減少了網絡流量和備份數據量。
5 結束語
本文研究了傳統IT基礎架構下的備份技術,包括操作系統、數據庫和文件系統等3種主要備份對象,總結了利用自帶工具、存儲硬件、備份軟件和備份一體機等常見備份方式,描述了備份軟件的架構,并分析了傳統備份方式在云計算時代遇到的問題。在此基礎上,研究了云計算環境下的備份技術,并指出了無備份、數據塊修改跟蹤、文件級備份恢復、重復數據刪除、vCenter集成、應用感知等關鍵技術。在實際虛擬化環境中,證明了重復數據刪除和數據塊修改跟蹤等技術的有效性,為電信運營商在云計算環境下的數據備份提供了參考。
參考文獻:
[1] 鮑明曦,朱源,鄧麗華. MSS全網集中建設助推集約化運營[J]. 通信企業管理, 2013(12): 75.
[2] 田熙清,陳泳,胡穎茂. IT支撐系統技術架構的去電信化思考[J]. 移動通信, 2014(5): 68-74.
[3] 張效斌. 備份系統在云中心的部署與應用[J]. 電腦知識與技術, 2013(29): 6530-6532.
[4] 宮婷. 計算機數據庫的備份與恢復技術研究[J]. 計算機光盤軟件與應用, 2013(21): 155.
[5] 肖克輝. 文件系統備份中目錄樹處理算法設計與實現[D]. 廣州: 中山大學, 2005.
[6] 張云帆. Oracle數據庫備份與恢復策略[J]. 計算機工程, 2009(15): 85-87.
[7] 鄔文軒,胡曉勤. 一種基于MySQL Innodb數據引擎的增備方法[J]. 計算機安全, 2013(5): 30-33.
[8] 楊寧. 基于B/S模式的Linux備份系統的設計與實現[D]. 廣州: 中山大學, 2008.
云計算技術研究范文5
[摘要]云計算是一項迅速發展的信息技術,引起圖書館界的關注。云計算已不是概念的炒作,而是大型企業的實際運作。圖書館學應該關注云計算,云計算也將給圖書館管理帶來挑戰。云計算在圖書館的可能應用包括:軟件即服務、圖書館集成系統、云存貯、平臺即服務或基礎設施即服務。
[關鍵詞]云計算 軟件即服務 圖書館學
[分類號]G250.7
1 引
言
2009年,信息技術(Inform~ion Technology,IT)的發展再一次強烈沖擊著圖書館學。產生這次沖擊的技術有許多,其中名稱最浪漫的是:云計算。
云計算是一個產生于IT領域的概念。根據谷歌大中華區總裁李開復博士的定義,可以將互聯網當作一片云,云計算就是“以公開的標準和服務為基礎,以互聯網為中心,提供安全、快速、便捷的數據存儲和網絡計算服務,讓互聯網這片‘云’成為每一個網民的數據中心和計算中心”。
當前絕大部分圖書館的信息服務架構于IT之上,IT不僅決定了圖書館信息服務的能力,而且也在很大程度上影響了圖書館的組織結構與運行成本。因此,當圖書館人獲悉IT領域可能出現一種穩定性、易用性和經濟性更佳的基礎設施、平臺或服務模式時,他們對此表現出極大的熱情。圖書館界最先關于云計算的報道仍然來自博客。2009年年初,邁克爾?斯蒂芬在博客文章“圖書館如何使用云”對云計算在圖書館的應用做了初步的展望,不久又將云計算列入2009年的圖書館界的10大技術趨勢。Keven在總結2008年圖情十大技術進展時,也將云計算列入其中。接下來是圖書館應用層面跟進。2009年4月23日,OCLC高調宣布即將推出基于WorldCat書目數據的“Web級協作型圖書館管理服務”,這被公認為是一項云計算服務。由于OCLC在圖書館界的深遠影響,此舉預示著云計算在圖書館領域廣泛應用的開始。緊接著,學術期刊也不甘落后,《中國圖書館學報》2009年第3期發表的一組年度綜述中,劉煒將“亞馬遜的云計算”作為從2008年國內外圖書館界眾多的技術進展中選取的典型內容之一。綜述中所涉及的與圖書館學相關的云計算研究除了邁克爾?斯蒂芬的研究外,還有Tech Source在美國圖書館協會的網站上編發的多篇涉及“云”的技術介紹。隨后《數字圖書館論壇》發表了孫衛的文章《圖書館在云時代的思考》。文章的主要篇幅是介紹云計算技術本身,但在結束部分仍對云計算與圖書館的關系進行了思考,討論了“全國性的聯合編目云計算環境”、“地域性的總分館圖書館自動化云計算環境”、“利用虛擬機技術,把各自圖書館的多種應用和服務整合成內部云計算環境”等問題。2009年7月,一貫關注技術進展的《大學圖書館學報》高調刊出一組有關圖書館和云計算的文章,包括劉煒的《圖書館需要一朵怎樣的云》、胡小菁、范并思的《云計算給圖書館管理帶來挑戰》和王文清、陳凌的《CALIS數字圖書館云服務平臺模型》。這組文章從不同的側面,展示了云計算與圖書館學研究的密切關系,描述了云計算在圖書館應用的巨大潛力,云計算應用可能導致的問題與挑戰,以及在具體項目中的應用。
盡管國際圖書館界對云計算反響熱烈,但不同的聲音也隨處可見。正如當年數字圖書館技術出現后,圖書館界出現很多質疑聲音一樣,圖書館人研究云計算的嘗試也不可避免地遇到質疑。一些典型的質疑包括:對云計算技術和研究本身的質疑,對圖書館學家或圖書館管理者關注云計算的質疑,對云計算在圖書館的應用前景的質疑,等等。為了推動圖書館利用新的云計算技術與提升服務能力、降低運行成本,有必要對并圍繞這些質疑進行一些討論。
2 幾點辯護
2.1
云計算是不是一場新的炒作
客觀地說,當前人們有充分的理由懷疑云計算是一場炒作:一個有些響亮的名稱,被人描繪出動人的前景,眾多大小企業紛紛跟進,涉及IT的行業探討應用,等等。類似的炒作,在IT發展史上屢見不鮮:大企業提出新的概念,引得他人跟進,使自己獲得名聲、資金,或使自己領跑某一領域。云計算的概念出現后,我們的確看到有企業“搭車”,將自己早已使用的基于Web的服務冠名云計算。正因為如此,云計算出現后人們看到的是一派亂象。以云計算的概念論,云計算出現時間并不長,Matrix已總結了云計算的20個定義,而在這20個定義之外的定義更是俯拾皆是。以至有了惠普公司副總裁Andy Isherwood的打趣:“很多人在投身云的潮流,但我沒有聽到兩個人說同樣的事情”。這樣的亂象,很難使人不去懷疑這一概念的“炒作”特征。
但是,我們既要看到IT發展史上有過許多炒作,更要看到IT發展史上有些“炒作”對技術進步和信息服務的重大影響。Web 2.0就是一個有炒作之嫌的概念,但這一概念對人們重新思考網絡信息服務,理解互動、共享和網絡精神功不可沒。退一步說,適度炒作概念其實也能動員社會對于技術的關注,吸引企業界投入研發資金,最終推動技術的進步。1993年美國政府提出“國家信息基礎設施”(NII)后,社會反響了了。但經戈爾副總統演繹為“信息高速公路”,也就是被大肆炒作后,NII理念得到迅速的普及,對因特網的發展和普及起到了極為重要的作用。
今天,云計算已經不是學者書齋中的概念,也不是個別企業的單兵突進。云計算已經吸引了眾多大型IT企業的關注。例如,在云計算標準制定領域,2009年1月,云計算標準制定組織“開放云聯盟”(OCC)成立,思科、雅虎成為其首批成員。2009年4月,包括AMD、思科、惠普、IBM、英特爾、微軟等眾多知名企業支持成立于1992年的標準化組織“分布式管理任務組”(DMTF)組建“開放云計算標準孵化器”。IT企業之外,公共媒體也對云計算表現出極大熱情。云計算文獻已經出現在BBC、《經濟學家》等重要媒體上。如2008年10月《經濟學家》發文評述云計算問題,其中一段被人們廣為引用的文字是:“云的崛起不僅僅是使技客們(Geeks)得到又一個興奮的平臺。它無疑將改變信息技術產業,也將深刻地改變人們的工作方式和公司的經營方式。它將使數字技術滲透經濟和社會的每一個角落,并在前進的道路上創造出一些棘手的政治問題”。
云計算概念的“浪漫”是很多人質疑它是炒作的理由,但作為一名學者,應該透過名稱表面,去考察它的實質。云計算的實質就是它代表了建立IT基礎設
施的基本方向。在缺乏IT基礎設施的年代,一個組織需要IT能力,首先是購買服務器等硬件,購買信息系統軟件,雇傭IT管理員,然后才能開展信息服務。而這些硬件和軟件以及IT管理人員,實際并不屬于組織的核心業務。有了云計算基礎設施后,組織若需要獲得IT能力,需要的只是聯網、選擇供應商和付費,然后就可開展信息服務。就是說,TT硬件和軟件能夠成為如供水、供電一樣的基礎設施,用戶無需一次購置大量IT設備并配備維護人員,而是通過互聯網,按需付費地從提供云計算的專業公司獲取軟件運行、數據存儲等服務。Nicholas Cart最早將云計算導致的IT模式變化與供電基礎設施相比較,他形象地說道:“今天,我們正處在另一個新紀元巨變中,一個世紀前發生在發電上的一切正發生在信息處理上。由個別公司建造與運行的私有計算機系統,正經由公共網格即互聯網、被中心化的數據處理廠所提供的服務排擠掉。計算變成了公用事業……如同電力公用事業,新的計算公用事業正達到遠超過大多數公司以自己系統所能達到的規模經濟”。如果看不到這種變化的前景,我們可能失去重要的機會。
2.2
圖書館學是否應該關注云計算
有人不認可圖書館學家應該關注云計算,大致有這么一些理由:云計算是亞馬遜、谷歌、SUN這些大公司的項目,離圖書館太遙遠,圖書館學家沒有必要關注;圖書館學應該關注圖書館的理論研究、圖書館的服務與管理,而不是云計算一類技術;圖書館學研究必須堅持自己的核心內容,跟著IT走將迷失自己,等等。對此,我想表達的觀點是:
2.2.1
云計算離圖書館并不遙遠
云計算是一種規?;腎T服務,因此更適合于大企業運作。但云計算有多種類型,至少包括軟件即服務(saaS)、平臺即服務(PaaS)、基礎設施即服務(IaaS)。如果說PaaS和IaaS更適合大企業運作的話,那么SaaS則幾乎適合任何規模的組織。不但圖書館服務企業可能提供SaaS,圖書館本身也適合提供SaaS,如總館通過SaaS向分館提供服務。如果認可云計算的寬松概念,即將XaaS(x代表所有IT設施)都看成云計算,那么云計算早已在圖書館運用。如,書目數據庫或全文數據庫商很多年前就以網絡數據庫取代了光盤版,早期的鏡像版也越來越多地被網絡版所取代,這可以看成將圖書館接入了數據庫云。很多軟件提供商不斷嘗試改變軟件提供模式,通過提供IT服務取代簡單地銷售軟件產品;比如圖書館自動化管理系統(1LS)托管平臺,在廠商的服務器上安裝管理軟件、由廠商負責維護,圖書館通過網絡瀏覽器實現業務的自動化管理。以前這種軟件即服務的產品主要面向中小型圖書館,或者只限于圖書館的某些輔助應用,如WebFeat Express就提供托管型的跨庫檢索系統。由于云計算服務可望從基礎設施層面解決許多長期困擾圖書館網絡信息管理和服務中存在的問題,如硬件和軟件的更新總是趕不上技術的進步,高薪聘用的IT管理人員始終無法融入圖書館服務團隊,等等??梢灶A料,會有越來越多的圖書館試水云計算,通過云計算來提升圖書館網絡信息管理與服務的水平,降低管理與服務的成本。
2.2.2
關注信息技術是圖書館學的傳統 現代圖書館學是伴隨著分類編目等圖書館技術的發展而發展越來的。計算機出現后,圖書館人對于以計算機為核心的IT給予了極大的關注,并且取得了有目共睹的成就。遲早啟動對于圖書館相關IT的研究,可以推進圖書館事業的發展,并推動圖書館學站上學科高地。美國國會圖書館于1960年代后期及時啟動機讀目錄研究,產生了MARC這樣的對圖書館自動化和圖書館學產生重大影響的優秀成果。云計算作為一項技術,首先是IT專家和企業所關注的問題。但它的可能應用領域包含圖書館管理與服務,因此有前瞻性的研究者應該考慮研究它。事實上,云計算出現后很快見到圖書館學家對云計算的關注。2008年10月,Jason Griffey在《圖書館雜志》旗下的netConneet雜志發表文章,提出“云圖書館員”(Cloud Librarians)的新概念。他認為,“圖書館建筑物不會消失,我們仍將有許多資料需要照料。建筑物將越來越具有當前的雙重性質,即倉庫與聚會場所,而我們的服務與內容將存在于云中,遠離任何物理場所”,也就是說,云計算的到來將使圖書館員依托云而非實體圖書館提供服務,成為“云圖書館員”。2009年5月,英國的圖書館自動化系統供應商Talis公司的Richard Wallis等人討論云計算,提出了“云計算圖書館”(Cloud Computing Libraries)的新概念,這表明Talis試圖找到一個能夠聚合云計算在圖書館應用的新的術語。為什么這些圖書館學人如此敏銳地關注云計算?因為他們知道,IT已經深刻地改變了圖書館的社會生存基礎,技術的每一次進步幾乎都給圖書館事業帶來新的挑戰,都值得圖書館人關注,云計算技術也不例外。
2.2.3 云計算給圖書館管理帶來挑戰
因為云計算將改變圖書館的IT基礎設施,因而它將超越IT本身,而成為一個與圖書館管理與服務相關的問題。圖書館也許不能成為基礎設施層面甚至平臺層面的云計算提供者,而只是云計算的應用者。但是,面對迅猛而來的云計算,不可能設想云計算提供商能解決圖書館應用層面的所有問題。圖書館界一方面需要研究云計算與圖書館的關系、云計算在圖書館的應用前景等基礎性問題,豐富圖書館學的理論;另一方面,也是更為緊迫的理論問題,是對于云計算應用的行業管理問題。如果圖書館管理者(包括行業管理者和單個圖書館的管理者)有能力駕馭云計算,這種先進的IT基礎設施將為圖書館帶來巨大的利益。但這只是一種可能。從云計算的基本理念及圖書館應用云計算的可能框架分析,云計算給圖書館管理所帶來的挑戰是前所未有的。例如,加特納公司所指出的云計算七大風險,加州大學伯克利分校Armbrust等人的技術報告《云之上:云計算的伯克利評論》所討論的云計算的十大障礙。馬里蘭大學的Jaeger等人討論的云計算的八個“規則”。所有這些問題,可能在圖書館云計算這個領域給圖書館管理帶來挑戰。也就是說,圖書館應用云計算并沒有現成的道路可走,前方的道路可能比以往圖書館自動化、數字圖書館的進程存在更大風險。這就需要圖書館界迅速應對云計算給圖書館管理提出的挑戰,對應用云計算所導致的管理問題進行系統、深入的研究。面對云計算應用可能導致的圖書館管理的挑戰,圖書館學家需要盡快啟動對于云計算管理問題的研究,積聚理論資源,為國家、行業或圖書館的管理者提供必要的政策思想、管理規則和解決方案。
2.3
云計算在圖書館應用的展望
云計算在圖書館的應用是一個新的課題,在大量研究與實踐完成之前,我們無法預料所有可能的應用領域。但這不妨礙我們展望一下云計算在圖書館應用
前景:
?軟件即服務(SaaS)。SaaS是最早出現也是目前最為普遍的云計算類型。SaaS的基本理念是將軟件置于運營商的服務器上,由運營商對其進行維護與升級管理,購買軟件的用戶只是購買通過網絡使用該軟件的權限,并不在本地安裝該軟件。過去已有的云計算在圖書館的應用,包括大量屬于Web 2.0的圖書館應用,例如在圖書館服務中采用Conduit在線服務生成的瀏覽器工具條、利用即時通訊工具QQ、MSN及Mee,bo、“曬網”等在線服務提供實時參考咨詢等,基本都屬于這種類型。只是由于市場不夠成熟,這些“服務”僅為免費服務,不是典型的SaaS。
?計算機集成系統(ILs)?;谠频腎LS其實也是一種SaaS,現有ILS有很多是系統提供商利用Web對用戶提供服務,用戶支付一定維護費用。但是ILS不同于一般軟件,它對于書目數據具有較強的依賴性,因此更多地系統提供商仍將系統與數據保存于本地服務器,只是通過Web對系統進行遠程維護或升級,如Innovative Interfaces公司的Millennium。但是,由于OCLC擁有幾乎是全球最完整的英文書目數據,因而它有能力推出完全基于云計算的ILS。2009年4月23日,OCLC宣布即將推出基于WorldCat書目數據的“Web級協作型圖書館管理服務”。這一項目將給用戶提供完全基于云計算的ILS,即從軟件到數據到用戶和書目數字的存貯均完全建立在云之上,用戶只要接入網絡就可使用ILS的所有功能,不再需要服務器和存貯器。OCLC這一項目的目標是以Web級協作型圖書館管理服務完全取代各類型ILS,它對圖書館自動化產生的影響將是驚人的。
?云存貯。對于圖書館而言,云計算最大的問題應該來自存貯。網絡時代,圖書館的信息服務依賴于數字資源。由于圖書館服務的特點,圖書館所收藏的數字資源數量大、有永久保存的必要,這對圖書館的基礎設施提出了很高的要求。面對這一挑戰,當年圖書館自動化的先行者美國國會圖書館再一次表現出對于信息技術的遠見卓識。2009年7月,國會圖書館宣布進行為期一年的試驗,在他們的國家數字信息基礎設施和保存計劃中測試云技術對永久保存數字內容的應用,可以預料,這一試驗將對云計算在圖書館的應用產生巨大的影響。
?平臺即服務或基礎設施即服務。即使在軟件業高度發達、高度市場化的社會中,仍然有一些圖書館因為需求的個性化,必須使用自己開發的軟件。但即使這樣,圖書館也有可能利用云計算,即租用因特網上的軟件運行平臺或磁盤空間,將自己的軟件置于云端上的平臺或磁盤中。利用PaaS或IaaS,圖書館可以一勞永逸地擺脫對于機房、服務器和專職IT人員的依賴,使自己的業務和員工隊伍更加集中于核心業務。
云計算技術研究范文6
【關鍵詞】云計算;云數據;管理技術
作者簡介:初魯京(1987-),男,山東煙臺人,中國人民大學在職研究生,研究方向:企業管理
近年來隨著科技水平的不斷提高,信息數據量不斷增大,并且具有快速的增長速度,用戶對于計算機的存儲能力提出了更高的要求。而“三網融合”、“物聯網”、“智能電網”等應用的快速發展對于計算和數據管理也帶來了新的挑戰。云計算作為一種正在興起中的新型技術,可以改變普通用戶操作計算機的模式,可以根據用戶的需要來提高計算能力和存儲能力,使用戶像使用水電一樣的方便快捷的使用計算機,降低用戶的軟件和硬件采購成本。云計算是基于分布式系統和網絡計算上提出的新型概念,核心功能的提供海量的數據和存儲,并且提供高效率的計算能力,由于開發更多的應用形式。而云計算并不僅僅是做計算,還需要融合更多的技術成果,提出云數據的管理概念。本文通過分析云計算和云數據的管理技術,促進云計算和云數據管理技術的發展和提高,方便今后工作的開展。
一、云計算的概念
(一)云計算的定義
云計算是一種近年來興起的新型計算模型,是在互聯網技術快速發展的基礎上發展起來的。由于目前對于云計算還沒有統一的標準定義,所以出現了很多云計算的定義版本。而通過對于云計算的分析研究,總體的定義方向都是一致的。具體來說,云計算實際上是一種對于虛擬化技術、網絡技術和WebService等幾種不同的新型信息技術的綜合應用。云計算所運用的技術幾乎包括了所有的互聯網和信息技術??梢哉f云計算是網絡計算的必然發展,虛擬化技術又是云計算得以發展的基礎和前提,WebService信心技術為云計算提供了互聯網環境的技術支持。隨著互聯網的發展,計算機用戶也越來越專業化,它們對于數據信息的了解和使用越來越熟練,對于數據信息的要求也發生了變化,提出了各種不同的信息數據需求,云計算正是滿足了這類用戶的需要,也得到了進一步的使用和發展。
(二)云計算的工作原理
云計算在工作環境下不需要使用本地的計算機,通過互聯網聯接來進行數據的分布和處理,并且優化數據,然后經過互聯網的連接來實現分享數據的目的。這種工作模式可以使企業方便的進行資源利用,并且有效的切換有效資源,根據實際工作的具體要求來訪問計算機和存儲系統,獲得相關的信息和數據。云計算作為一項新型的實用性技術,一定程度上提高了計算能力的商業性,通過網絡傳播和售賣實現了降低售賣成本的目的,同時還充分發揮了實用性,使企業的相關工作得以全面落實。
(三)云計算的體系結構
云計算的體系結構非常龐大,并且具有很強的復雜性,一般以“云”網絡為核心,聯接到其他網絡和服務器,發送出相關的數據信息。同時通過虛擬技術的支持擴展相關服務器的功能,在云計算的平臺上實現各種信息資源的整合,達到為用戶提供更多更有效數據的目的,提升了計算能力和儲存能力。完善的云計算體系結構應包括云端用戶、部署工具、服務目錄、管理系統這主要的四個部分。
二、云數據管理技術的主要特點
(一)規模大,海量性
隨著近年來互聯網技術應用的發展和普及,一些互聯網技術是通過傳感器來進行數據信息的采集來完成相關的工作。而隨著應用技術的發展和推廣,數據量變得越來越大,并且還在快速的增長。云計算中的“云”具有規模大的特性,以云計算為基礎而構建的信息服務或設備也具有大規模的特點,并且應用于處理海量性的信息數據。另外云計算還可以無限擴展,同時處理成百上千的信息節點。這種可以無限擴大和伸縮的特點滿足了不同用戶的不同需求,在云計算的數據管理技術中也要注重技術和方法的改進,提高信息數據的管理水平和處理水平,重視信息數據的整合、提取和推理,有助于工作決策的完成。
(二)安全可靠性
云計算的技術包括了虛擬化技術、互聯網技術及分布式計算等比較成熟的技術手段,為云計算的可靠性提供了有效的保證。并且云計算在安全性方面也具有優勢,云計算采用了不同服務器上的信息數據多副容錯的方式,計算的信息節點采用了同構互換技術,這些都極大地提高了云數據管理的安全性。
(三)異構性
由于應用云計算技術的領域和行業的不同,云計算的數據采集設備和方式也各不相同,存在著一定的差異性。每個行業中云計算所獲取的結構和數據形態也存在著不同的差別,需要根據具體的實際情況,來判斷采取不同的傳感器,例如二氧化碳濃度傳感器、溫度傳感器和濕度傳感器等。不同的傳感器在應用的時候,傳遞信息和獲取信息的形式也是不盡相同的,這些差別會帶來數據分析、處理和訪問等各個環節的差別,另外數據的多源性也會造成數據的類型各不相同,不同類型的數據信息也有不同的格式,從而會出現半結構化數據、非結構化數據和結構化數據同時存在的情況,使信息數據存在異構性的特點。
(四)不確定性
云計算的運行環境中數據信息具有一定的非確定性,主要表現為信息數據本身、數據語義匹配及數據信息的分析查詢等方面具有不確定性。而為了達到保證信息數據準確客觀的目的,用戶在應用云計算時一定要明辨真偽,去其槽粕取其精華,反映真實的需求完成預期的工作目標。
(五)通用性、便捷性
云計算的使用平臺在提供各項服務時,用戶在使用中不會受到空間上的限制,也不會受到時間的約束。用戶只要具有訪問驗證信息就可以自由的使用云計算平臺,享受云計算的服務,不會受到系統和平臺的限制,具有極大的通用性和便捷性。
三、云數據管理技術
用戶通過云計算來分析處理大量的數據信息,云計算的數據管理技術必須要能夠滿足用戶的需求,高效及時的管理分析海量的數據和信息。云計算分析處理的數據具有海量性、不確定性,這對云計算數據管理技術的開發和發展不斷提出新的要求,需要積極的構造高效可用的信息數據管理系統。
(一)數據信息的組織管理
數據的組織管理可以采用分布式的系統來訪問分析海量的分布式數據,例如GFS技術。這種技術可以在差別不大的各種普通硬件上運行,為用戶提供了容錯功能,并且為用戶提供高效可靠的信息數據并行的存儲和訪問權限。
(二)數據信息的集合管理
數據信息具有海量性、動態性、不確定性等特點,需要采取分布式的數據信息處理技術來進行采集分析,例如BigTable技術可以用于對海量數據信息的處理,提供高效的服務。
(三)數據信息的分析管理
應用云計算的數據管理技術是為了分析和挖掘相關的數據來滿足用戶的需求。因此需要運用不同技術和布局來從海量的數據中提取挖掘有用的潛在數據,并且理解所挖掘的信息數據同時進行分析,為各種應用提供支持。
(四)數據信息的存儲管理
以Dynamo技術為例,這是一個具有高可用度的存儲系統,具有DHT和數據庫的特征,為AWS提供了基礎的技術支持,并不直接展示于外網。Dynamo技術設計的存儲架構可以使信息數據在框架內均勻的存儲,并且各個存儲節點之間可以互通,根據數據的具體操作需求在框架內進行轉發,具有較強的自主性,而由于有主控點來進行控制,單個節點之間一般不會出現故障。Dynamo技術在存儲時還具有一些優點,可以通過提供N、R、W這三個參數結合實際情況去調整實例。N即表示副本的個數,R為可完成的數據信息的成功一致個數,W為完成寫入的個數。Dynamo技術可以記錄、處理不同版本的對象,將對象的不同版本來提供給技術應用,使應用可以對這些數據信息進行合理的整合和利用。在這一過程中并不要求將副本個數N全部的成功完成,只需要成功讀取的個數R和成功寫入的個數W兩者相加,大于副本個數N,這樣就可以保證數據的最終一致性。這種讀取方式比寫入一次進行多次讀取的系統要麻煩一些,但是寫入方式變得更簡單,也充分滿足了用戶的需要。同時Dynamo技術也具有負載均衡的優勢,由于所采用的DHT方式將需要的信息數據都均勻的存儲到每個節點,導致每個節點的數據信息訪問量和存儲量都大致相同,比較均衡。
四、結語
當今社會處于高速發展的信息時代,各種數據信息在全球范圍內傳遞交換,也就需要開發和利用高效可用的信息傳播媒介來適應信息時代的發展,云計算和云數據管理技術正是為此而生。作為新型的信息技術,云計算具有廣闊的發展空間也面臨著不同的挑戰。網絡互聯網技術的快速發展使云計算和云數據管理技術有了更好的機會和支持,也導致了新型應用系統的開發和應用,因此云計算和云數據管理技術要充分把握機會面對挑戰,利用本身的優勢和時代的發展來實現進一步的提高,解決應用過程中的技術難題,得到長遠發展。
參考文獻
[1]劉正偉,文中領,張海濤,等.云計算和云數據管理技術[J].計算機研究與發展,2012,49(z1):26-31.