前言:中文期刊網精心挑選了大數據時代的定義與特點范文供你參考和學習,希望我們的參考范文能激發你的文章創作靈感,歡迎閱讀。
大數據時代的定義與特點范文1
【關鍵詞】大數據; 管理決策; 影響; 企業
引言
隨著市場經濟全球化,各國經濟不斷融合,各國之間的市場經濟間都存在著激烈的競爭,隨之帶來的是各企業之間的強力競爭。這不僅是企業間的經濟競爭,更是企業管理者間的能力競爭。這就要求決策者根據當前市場形勢分析復雜的行業環境,做出正確的決策。大數據作為網絡時代背景下的一次企業技術革命改革,正確地理解大數據的意義及內涵,有利于企業管理者針對企業特征,利用企業優勢做出正確有效的管理決策,促進企業發展。
一、對大數據定義及其特征理解
1.大數據的定義。
對于大數據的理解,不同的機構給出的定義略有不同,麥肯錫全球研究所指出:所謂大數據,是數據規模龐大,遠遠超出傳統數據軟件對數據獲取、儲存、管理、分析等方面的要求的一種數據集合。據有四大特征分別為:數據規模海量、數據流轉快速、數據類型多樣、價值密度低。而專業研究機構Gartner給出的定義則是:大數據是一種適應海量、高增長率、多樣化信息資產的具有更強決策力、洞察發現力和流程優化能力的處理模式。對于大數據的應用,其意義不在于掌握龐大的數據信息,而是對海量數據進行專業化處理后理解分析,大數據更注重對信息的處理能及,及處理后帶來的實際化效益。如果對不同的大數據定義進行整理分析,可發現,這些定義都是在大數據本身具有的特征上形成的,并且多在強調現有技術手段對海量數據進行處理的困難性。且這些定義所關注重點更多的為其價值性。所以,大部分學者認為大數據的意義并不在于數據本身,更多的是作為基礎性資源。企業采集、儲存、使用大數據的能力,才是大數據是否具有商業價值的關鍵。
2.大數據的特征。
目前各學術領域對大數據的理解很多樣化,對于定義還并沒有一個嚴格的說法。但不難看出,大數據首要特征就是其數據信息龐大,海量化。就一般情況來說,普通大數據集合最少以TB為儲存單位,更有甚者,大數據以PB為儲存單位。在經濟飛速發展的今天,幾PB甚至十幾PB的大數據信息并不罕見。例如目前世界最大的連鎖零售超市,沃爾瑪公司。其數據信息早在2010年就達到了2500TB。其次大數據的特征就是其數據流轉快速。隨著社會經濟發展,科學進步,數據信息的產生趨于海量化。隨著通訊技術和網絡的不斷發展,對巨型數據的處理上邁向高速化。互聯網、云計算等網絡的發展還有智能移動通訊設備的進步及普及,很大程度上促進加速了數據的產生與流轉。除此之外,大數據還具有多樣化的特征。在當今社會形勢下形成的數據信息領域,其數據樣式往往有多種形態存在。大數據的多樣化致使大數據主要成為兩大分類,即數據化結構和非數據化結構。所謂結構化數據,是在正常產業運行企業交易過程中產生的,結構化數據的處理,根據特定的數據處理方式將數據處理后進行儲存記錄,以便于日后應用及分析。而非結構化數據是根據互聯網海量點擊量,和大量的圖片文字的傳輸和射頻識別技術的發展產生的。這類數據主要產生于人與人之間,人與機器之間,或機器與機器之間。
二、大數據影響企業管理決策
決策是一個企業是否正確發展的關鍵,一個決策的產生,要經過資料收集,計劃制定等多個階段。一個企業的管理決策,涵蓋了企業發展的戰略性決策,又包括著戰略性決策如何具體實施的小的決策。這種和決策不僅在企業未來和環境方面進行預測,也對企業的內部資源進行調配。決策作為一種極具動態性和復雜性的一種管理行為,面對著收集信息,對信息進行篩選,解決各類信息沖突的作用。日益成熟的大數據下,各種信息的劇烈碰撞對當前企業決策影響巨大。其影響不僅覆蓋企業決策的主體,也影響企業思維模式組織結構等方面。
1.決策主體受大數據影響。
決策的產生受企業文化、組織、前景等多方面影響,但最終結果就其核心還歸根于決策的制定者。一個企業的決策主體主要分為兩類,一類是企業的高層管理者,其所處位置與擁有的權限能讓高層管理者在決策中發揮至關重要的作用。另一類是普通員工或者是交基層的管理者,對于這類決策主體來說,他們雖然沒有擁有絕對性的決策作用,但他們所創造的產品、服務、管理等更加基礎,更貼近市場,符合社會需求。在普通員工創造服務產品的過程中,可以主動與客戶交流,引導其參與產品的設計,使產品更加符合客戶需求。并且在產品生產上市的過程中不斷與客戶交流,根據反饋信息對產品加以改進等,由此幫助企業快速正確發展。
在經濟全球化,全球網絡化的時代,各產業之間的交叉越來越多,之間的界限也越來越模糊。大數據的出現,使企業傳統模式的決策主體由高層管理者向基層管理者甚至普通工轉變,優秀的表現突出的員工有機會參與企業決策,企業決策主體多樣化。另一方面,從企業決策的信息來源分析,網絡的快速發展,信息大爆炸時代致使普通民眾也可以為企業出謀劃策,成為企業決策的主體,這也表示企業決策主體普遍化,由企業高層精英像普通民眾發展。
2.企業決策權力受大數據的影響。
大數據下的企業決策,不僅在決策主體上發生了變化,在企業決策權的分配上,及決策權力的大小方面都有所改變。企業決策權力的配置方面主要發生以下幾點變化。企業各組織之間的決策權分配,組織與外部因地的決策權分配,還有就是組織內部團隊之間的決策權分配。除此之外決策權力大小的分配上決定了企業決策權利集中制或是分散制。集中制的決策權說明企業高層掌握著企業大多數的決策權力,分散式的決策主要是只決策權部分下放到基層管理者手中,每個部門都具有一定程度的決策權利。
傳統的企業決策權力,更多的是集中制的決策形式,這種形式具有企業決策片面不全方位的弊端。網絡飛速發展,大數據化的情況下,企業不僅從專業渠道獲取數據,數據的多樣化使得集中式的權力分配方式不能全面打開企業市場。而信息多元化的獲取,可以使基層管理者有一個全局性的視野,更好的對企業做出決策。故而類似金字塔形的至高權利分配方式趨于平均化。企業的權力配置順應時展,普通員工具有決策權將是大數據背景下權力分配發展的主要方向。
3.管理決策思維方式受大數據的影響。
決策者的思維方式作為企業決策的一個重要組成因素,從根本上影響著一個決策的方向。決策時依據的數據方向不同,且不同的思維方式,會產生不同的決策結果。并且在決策的部分細節制定中,這種不同也會顯現出來。大數據時代背景下,決策就應該全方位的應用大數據所帶來的優勢,系統的、全方位的、準確的收集信息,系統的利用數學建模等專業方式對大量數據進行分析,深度挖掘有關決策的各方面信息。傳統的決策方式更多的是利用決策主體的經驗,直覺對當前市場發展形勢做出下一步規劃。然而大數據背景下,產生的新的決策模式將會改變中“感覺”上的決策。根據大數據提供的資料與分析,全方位科學的對企業下一步進行決策。
4.決策文化受大數據的影響。
人在成長過程中所受地域不同,文化環境不同,從而形成不同的情感傾向。決策主體在制定決策過程中,如確定目標、設計試試方案的同時都會潛意識的摻雜個人情感傾向。傳統的決策方法數據分析不如大數據時代下信息基礎龐大。主要取決于決策主體對企業內外的測評與市場評估,主觀性較強,因決策本身存在一定的風險,故而管理者任何影響決策的文化背景都有可能給決策帶來不同的困難。大數據時代下,為了避免某些主觀因素產生的錯誤,利用日益成熟的大數據分析技術,和龐大的數據體系帶來的信息,理性、準確、科學的為企業決策做出更為精準的判斷。更有學者指出,企業的決策者應對相關關系加大關注度,而不是過分的在意因果關系。也僅是說決策者應該將企業發展決策側重于充分利用現代科技技術與現有數據充分發揮自身價值,而不是過分關注企業決策者思維方向。
三、大數據在企業決策中產生的問題
大數據時代的臨近,給企業帶來了很多好處,但與此同時也有許多問題隨之產生。并且很多方面的因素都影響著管理數據和大數據之間的關系。首先在數據隱私性和知識產權方面,雖然大數據對各企業決策等方面都非常重要。隨著大數據的有點背人們日益挖掘,各類數據的價值被人們日益關注,更多的數據趨于便捷化、數字化,且在各種企業中被重復利用。信息時代的數據可復制,反復利用,更大程度上存在數據外泄的情況,更有企業在收集數據時面臨知識產權,隱私保密方面的問題,這將是企業大數據形式下需要克服的困難。其次,大數據的優點不在于其數據龐大,更在于龐大的數據下經過分析給企業帶來的價值。很多企業對數據分析不徹底,沒有深度挖掘大數據帶來的價值,使數據顯得雞肋,大有使之無味棄之可惜的意思。大數據還由于數據信息龐大,現有技術處理起來較困難的問題,所以運用大容量大速率的數據處理工具也成為企業決策成敗的關鍵因素。企業應該著重致力于技術技能的發展創新,高效利用大數據給企業帶來的優勢。
四、總結
在大數據的背景下,企業所面對的環境每時每秒都發生著變化。此種環境下企業若想在社會中站穩腳跟,得到發展。就必須正視大數據對企業決策管理的產生的影響。合理運用大數據,能使企業在決策管理等多方面做出正確選擇,為企業決策發展等提供了新思路和方向,提升企業的社會競爭力促使企業發展壯大。
參考文獻
[1]王兵,池云. 大數據對企業數據管理和管理決策的影響分析[J]. 通訊世界,2016,05:227.
[2]崔雙吉. 大數據視域下的企業管理決策影響探究[J]. 中國管理信息化,2016,06:61-62.
[3]丁先宏. 互聯網“大數據”視域下的企業人力資源管理的思考[J]. 現代經濟信息,2016,07:55.
[4]閆巍. 網絡時代背景下大數據對企業管理決策的影響探究[J]. 時代金融,2016,17:110+116.
大數據時代的定義與特點范文2
面對大數據時代愈加復雜的應用環境和特點,同有科技針對不同的用戶需求和市場,率先提出“應用定義存儲”和“定制”兩大革命性戰略。通過專業、高效的產品及解決方案,幫助各行業用戶積極應對大數據時代新興應用的挑戰,在業界掀起了一場新型數據中心變革的熱潮。
EDC引領中高端市場新變革
大數據時代,各種具備大數據特征的新興應用需求逐漸增多,中高端用戶對數據中心的性能、效率、安全等各方面的需求都有了革命性的變化。針對新型需求,同有科技提出劃時代的“數據改變未來,應用定義存儲”戰略,對數據中心存儲架構進行了重新定義。通過一系列“E”型產品和“E”型解決方案,幫助用戶構建EDC(Efficient Data Center)高效能數據中心,滿足大數據時代各種新應用對數據中心存儲的不同需求。
與傳統的數據中心不同,同有科技EDC高效能數據中心,對數據中心存儲架構進行重新規劃、設計與定位。它涵蓋產品、解決方案、咨詢與服務三個層面,為用戶規劃了先進的產品和貼近應用的解決方案,幫助用戶構建高效能大數據存儲架構。
通過全系列 “E”型產品和方案,同有科技EDC為用戶部署的高效能數據中心,能讓數據中心擁有極高的IT資源、存儲資源利用率;NCS虛擬交換技術和固態存儲系統,保證數據中心整體性能無瓶頸;物理機與虛擬機之間的自動漂移技術,實現數據中心業務無縫閃電接管;深度條帶技術,讓數據中心具備超強自愈功能。
EDC理念為用戶構建新型數據中心提供了全新的思路,在市場應用以來,受到了眾多用戶的青睞,引發了新一輪中高端存儲用戶在大數據時代數據中心建設的革新熱潮。
定制化引爆中小存儲新理念
大數據時代,作為中國存儲行業最具成長性的領域,中小存儲市場迎來了爆發增長期,傳統的單一產品和方案已遠遠不能滿足用戶需求。作為同有科技專為中小存儲市場和安防市場打造的獨立子品牌,存儲小金剛了劃時代的“存儲,從定制開始”戰略。通過“定制”的產品及解決方案、渠道政策、供應鏈管理和服務政策,滿足各行業用戶的個性化需求,全面開啟定制時代。
全面區別于業界單一產品行天下的模式,存儲小金剛針對中小存儲市場和安防監控市場的不同行業與應用,為用戶打造量身定制的產品及解決方案;根據業務模式、市場拓展、培訓支持、價格體系等方面的不同需求,為合作伙伴提供定制的渠道政策;同時,更為不同類型的用戶及合作伙伴,定制不同的供應鏈管理和服務政策,滿足不同行業、不同應用的個性化需求。
目前,存儲小金剛已經成功為政府、教育、醫療、企業以及安防行業等用戶提供定制的存儲服務,成為了中小存儲市場和安防市場當仁不讓的領導品牌。
堅持自主創新 推動國產化
大數據時代的定義與特點范文3
關鍵詞:大數據;關鍵技術;氣象數據
中圖分類號:TP393.05
隨著信息技術、計算機技術和互聯網技術的高速發展,促進了人類社會各類數據的爆炸性增長以及云計算、物聯網等技術的興起,迎來了大數據的時代,同時也引起了多家公司和機構對大數據問題進行研究。就學術界而言,《Nature》早在2008年就推出了Big Data專刊。2008年末,“大數據”得到部分美國知名計算機科學研究人員的認可,業界組織“計算社區聯盟”(Computing Community Consortium)發表了一份有影響力的白皮書《大數據計算:在商務、科學和社會領域創建革命性突破》[1]。他們的認可對“大數據”術語提供了支持。
1 大數據概述
就目前來說,大數據并沒有統一的標準來定義。不過就使用者來說,它是指所涉及的資料達到無法通過目前主流軟件工具,在合理時間內達到采集、存儲、分析和展示的數據集。但在2012年,學術界就大數據在體積、類型、速度和價值這四個方面的特征達成了共識,即所謂大數據的4V特征:Volume(大體積)、Variety(多樣性)、Velocity(高速度)、Value(價值稀?。?。
2 大數據關鍵技術
隨著大數據時代的來臨,要處理的數據類型越來越復雜,量越來越大,用現有的軟件和技術很難對其進行處理,為了解決這種現狀就需要突破傳統技術,根據大數據的特點進行技術變革,因此就需要解決一系列針對大數據的收集與存儲、挖掘與分析等技術,這些關鍵技術包括以下幾類:
2.1 數據的收集與存儲
大數據數據源分布廣泛,半結構化、非結構化數據大量存在,數據類型多樣,因此必須對采集的數據進行抽取和集成,提取出關系和實體,經過關聯和聚合之后采用統一定義的結構來存儲這些數據。由于大數據的多樣性、數據量大、價值密度低等特征,傳統的關系型數據庫已不能滿足大數據時代的數據存儲。為了解決這個問題,相應的提出了許多新型數據庫系統,如Google的Bigtable、Amazon的Dynamo等等,Bigtable是采用字符串的形式實現對數據庫數據的高效管理;而Dynamo技術是綜合使用了key/value存儲、分布式哈希表(DHT)等技術對基于大數據的信息系統的可靠管理。對于這些新型數據庫統一稱為NoSQL(not only SQL)數據庫。雖然NoSQL沒有一個準確的定義,但一般認為它們具有模式自由、簡易備份、簡單的應用程序接口、最終一致性、支持海量數據等特征[2]。目前主流查詢索引技術是以Google公司的BigTable為代表的列簇式NoSQL數據庫。典型的NoSQL數據庫[2]分類如表1所示:
表1 典型的NoSQL數據庫
2.2 大數據挖掘與分析技術
大數據挖掘與分析是整個大數據處理流程的核心。對大數據進行挖掘分析,發現蘊含的信息,研究社會運行的規律與發展趨勢是大數據的根本價值所在。在大數據時代,傳統的就算和分析方法在性能上遇到了嚴重的瓶頸。因此需要對傳統的分析方法進行變革。2004年,Google公司提出MapReduce技術,作為面向大數據分析和處理的并行計算模型,致力于通過大規模廉價服務器集群實現大數據的并行處理。MapReduce并行編程模型把計算過程分解為兩個主要階段,即Map階段和Reduce階段,如圖1所示。Map函數處理Key/Value對,產生一系列的中間Key/Value對,Reduce函數用來合并所有具有相同Key值的中間鍵值對,計算最終結果[3]。目前,Google公司針對MapReduce的離線處理模式的不足,提出了一個適用于Web數據級別的交互式數據分析系統Dremel,通過將列存儲和多層次的查詢樹結合,能實現極短時間內的海量數據分析。在離線與實時處理模式上,已經出現了二者融合的趨勢。
3 氣象大數據
3.1 氣象大數據的內涵
氣象部門每天的數據增長量有非常大的數據級,包括每天有2000多個地面站、120多個高空探測站、440多個雷達站、6顆在軌衛星、5萬多個自動監測站、600多個農業監測站、300多個雷達站、90多個酸雨監測站[4]……這些數據逐天逐小時甚至到逐分鐘掃描著中國各種各樣的天氣數據,這些數據量大,且包括不同類型的數據類型。報告會專家表示,氣象數據既具備“大數據”的共性,即:數據體量巨大、數據增長速度快、數據類型多樣等特點。
3.2 氣象大數據的主要應用
(1)氣象大數據在預災、防災、減災、救災中的應用;在大數據觀點中,預測是核心,而“防災”是應對災害的重中之重,所以預測災害信息顯得尤為重要。然而,防災減災的發展方向,不僅僅是完善預警系統和提高預警準確率,氣象大數據必將發揮很大的作用。
(2)大數據時代,天氣預報不僅影響人們的出行,還將給人們生活帶來巨變。氣象大數據與社會科學諸多領域或商業行為結合,會展示出全新的價值,并大大改變人們的生活方式;比如說能源,可以觀測到電力負荷歷史,加上氣象條件進行用電量估算,農業也是一樣,建筑行業也是,通過工期歷史加上歷史天氣就可以知道工期預測;還有交通,航班準點率歷史加上機場歷史天氣,就可以航班延誤預測,準確性非常高;還有公共衛生,通過門診量和藥品銷量加上氣象歷史就可以知道發病率預測;在飲品方面,通過銷量和溫度就可以知道銷量預測[5]等等。
4 結束語
挖掘大數據在氣象上的應用,可以有效的提高氣象預報、預警能力,從而能更加有效地為防災、減災、救災提供科學依據。同時,將氣象大數據應用于農業、交通業、建筑業、旅游業、銷售業、保險業等各行各業,也有助于產生巨大的經濟效益。
參考文獻:
[1]王珊,王會舉,覃雄派.架構大數據:挑戰?現狀與展望[J].計算機學報,2011(10).
[2]孟小峰,慈祥.大數據管理:概念?技術與挑戰[J].計算機研究與發展,2013(01):146-169.
[3]覃雄派,王會舉,杜小勇.大數據分析――RDBMS與MapReduce的競爭與共生[J].軟件學報,2012(01).
[4]紀曉峰.中國氣象局:氣象大數據的商業服務與研究[J].IT專家網,2014.
[5]陸林.我國公共氣象服務能力建設研究[D].云南大學,2013.
大數據時代的定義與特點范文4
關鍵詞:大數據時代;計算機;信息處理;技術分析
目前,計算機網絡用戶數目變大,每天產生數萬億字節的數據,并且在大數據背景下,為計算機技術帶來了新的挑戰。人們需要利用新的思想和觀念來處理不斷增長的計算機數據。促進計算機技術的發展。隨著大數據時代的不斷深入,網絡應用人數不斷增加,數據對社會的發展來說是至關重要的。大數據不僅能夠為政府工作提供幫助,還能夠幫助人們解決在實際生活中遇到的信息問題。由此可見,計算機信息處理技術的應用具有十分重要的意義,能夠提高人們的生活質量,并促進社會經濟的發展。
1大數據和計算機信息處理技術的定義
1.1大數據定義
《華爾街日報》在有關先進技術、生產等報告中,大數據是促進經濟發展的重要技術。大數據通常代表著海量數據,因此提取重要信息也變成了關鍵。大數據具有四個主要特征:數據處理速度快且效率高。由于大數據的獨創性,還需要相關工作人員不斷提高自身工作技能。
1.2計算機信息處理技術的定義
該技術主要指的是數據傳輸、收集、分析和處理。主要內容是計算機、通信、網絡技術等。信息處理技術能夠將計算機技術、數據庫以及通信網絡技術進行融合,數據庫技術能夠將重要信息進行集成,存儲訂單信息并有效地使用。在大數據時代背景下的計算機信息處理技術,具有更多的發展機遇,但是也面臨這很多挑戰,應該意識到大數據技術的重要性,提高對大數據技術的重視程度,為我國社會經濟未來的發展奠定良好的發展基礎。
2大數據時代的計算機信息處理技術
2.1DEEPWEB數據識別和收集技術
DEEPWEB技術是一種深入的網絡技術,其數據量具有大規模信息、動態信息變化,DEEPWEB技術是通過最大化數據來集成高質量數據,將其提取并合并。
2.2分布式數據存儲
分布式數據處理技術的特定實現是Google提出的GFS技術。這項技術應用廣泛,受到人們的關注。行列混合存儲結構(一種當今流行的技術)可以在最短的時間內加載很多數據,減少查詢時間并提高磁盤使用效率。
2.3基于內容信息的數據挖掘
基于內容的數據挖掘的是指網絡搜索技術和實體關聯分析。現階段,互聯網信息檢索的熱點是排名學習算法,社交媒體中興趣數據的特征是短文本功能,而排名學習算法就是基于此功能的。目前,我國社會經濟飛速發展,計算機技術已經成為時展的必然趨勢,因此,完善計算機處理技術不但可以有效提高人們的生活質量,還可以為各個領域的工作提供極大幫助,具有較高的應用價值,也是促進社會經濟發展的主要方式。
3當前計算機信息處理技術存在的缺陷
3.1數據的危害
大數據技術能夠促進計算機技術的發展,同時出現病毒問題時,這將會降低計算機使用效率,也降低了人們對計算機的信任程度,并降低用戶對計算機的滿意度。現如今,大數據通常會出現丟失數據、數據泄露和銷售數據,威脅到人們的生命財產安全。人們應該意識到大數據造成的破壞與流感病毒造成的破壞相同,因為人們的個人信息無法得到有效保護。
3.2數據被盜
大部分人在使用互聯網的過程中都會遇見捆綁銷售的情況,威脅著人們的信息安全。個人信息將會出現在網絡中,降低網絡信息安全性,也使人們的個人信息通過網絡泄露。
4大數據時代的機遇與挑戰
4.1大數據時代的機遇
由于網絡的高度普及,“大數據”已經出現在各個領域。以往的數據處理方式難以處理大量數據,因此必須使用新的概念和方法來處理和分析數據,提高數據處理效率。例如,在企業管理中,“大數據”信息處理可以提高企業管理的安全性,并提高職能部門的工作效率,從而降低企業支出成本,提高企業競爭力,也可以將大數據技術應用于教育事業,大數據技術能夠分析出大學生的特征和喜好,促進大學生綜合素質的發展。通過應用“大數據”信息處理技術,可以幫助商家找出消費者所需的產品,并針對消費者的對產品的偏好、需求和銷售點來增加銷售利益。
4.2“大數據”時代信息處理技術的挑戰
4.2.1數據存儲需要低成本和高可靠性應該將信息進行分類,為信息處理工作提供幫助。同時,提高信息處理的效率以及準確性也是至關重要的,真正達到結果可視化。4.2.2在大數據時代,對信息安全的要求更高大數據并沒有定義數據的權限,因此大數據還涉及許多隱私問題。同時,由于大量的數據集中,不同類型的數據被存儲在一起,因此必須提高數據存儲的安全性。此外,由于大數據的應用效率極高,也是黑客用來攻擊數據的主要手段,使人們的信息使用安全性降低。
4.2.3在大數據時代,需要專業人才大數據技術屬于創新型技術,需要大量的專業人才。
5“大數據”時代的信息處理技術及其發展方向
5.1信息獲取、加工和傳輸技術
通常,處理計算機信息的首要任務是提取數據,所有處理信息的方法都基于數據提取。所謂的數據收集可以通過對目標信息源執行實時信息監視并將必要的數據收集,存儲在預制數據庫中,從而向每個軟件系統平臺提供信息。第二步是信息處理,它對存儲在數據庫中的數據進行分類和處理。最后,通過數據傳輸技術將處理后的數據發送給需要數據的用戶,以實現數據傳輸。
5.2信息存儲技術
計算機信息存儲技術是將通過特定方式檢索到的信息存儲到結構化數據庫中的功能,如果用戶需要特定信息,則可以通過特定操作直接從數據庫中檢索特定信息。在“大數據”時代,數據具有信息量大、信息變化快的特點,因此有必要合理應用計算機信息存儲技術來存儲大量數據,提高信息的安全性。以往U盤被用來存儲數據,但是使用U盤存在很多弊端,U盤的存儲空間小,云存儲逐漸走入了人們的視野,云存儲是利用云技術對數據進行存儲,提高了數據存儲的安全性以及使用便捷性。有了云磁盤,就不會丟失任何數據,只要在網絡條件下就能夠存儲數據,而云磁盤的另一個優點是可以在多個平臺上使用,并且可以實時同步數據??梢酝ㄟ^APP和網頁訪問計算機版本和移動版本,這對用戶有很大幫助。很多人喜歡使用百度網盤。登錄后無需進一步學習和研究。在百度網絡磁盤上創建新文件夾還是復制和粘貼文件與在計算機上相同。
5.3信息安全技術
要想提高大數據時代信息的安全性,就必須不斷完善信息安全技術。(1)創建信息安全系統。不斷提高計算機信息安全專業人才,建立完善的信息安全系統。(2)不斷開發大數據信息安全技術產品。隨著大數據時代的來臨,傳統的信息處理產品已經不能滿足信息處理工作的發展需求,因此必須加強安全技術產品產品開發工作。
5.4信息處理技術的發展方向
由于計算機的硬件功能有限,導致計算機網絡受到限制。未來計算機網絡發展的主要內容是將計算機硬件和網絡數據進行分離,真正實現云計算。同時,計算機網絡將逐漸演變成大數據系統,計算機信息處理技術不僅僅依靠某個公司研發,而是基于大數據技術利用多個公司進行合作研發。計算機處理技術是計算機信息處理的關鍵技術,也是大數據技術的基礎內容。在以往的計算機信息處理工作中,都是使用硬件系統,但是由于硬件系統無法高效普及,存在很多系統無法操作計算機的現象。隨著大數據時代的到來,硬件系統已經逐漸被云技術取代,并且,云技術在信息處理方面沒有局限性,提高了信息處理工作的有效性。大數據技術已經與人們的生活變得息息相關,也是未來社會發展的重要趨勢。
大數據時代的定義與特點范文5
【關鍵詞】大數據;電子政務;信息服務
1.大數據概述
目前對大數據還沒有標準的定義,一般認為它是一種數據量很大、數據形式多樣化的非結構化數據。維基百科定義為:大數據是指無法在一定時間內用常規軟件工具對其內容進行抓取、管理和處理的數據集合。百度百科定義為:大數據通常用來形容一個公司創造的大量非結構化和半結構化數據,這些數據在下載到關系型數據庫用于分析時會花費過多時間和金錢。從各種各樣類型的數據中快速獲得有價值信息的能力,就是大數據技術。IBM 從三個基本特性角度來定義大數據,即:“3V”:體量(Volume)、速度(Velocity)和多樣性(Variety)。也有人認為大數據包括三個要素,即:大分析(Big Analytic)、大帶寬(Big Bandwidth)和大內容(Big Con-tent)。
2.電子政務具有了“大數據”特征
近年來國內外電子政務獲得了長足的發展,很多政府部門正在嘗試將云計算、物聯網、移動互聯等新技術應用到電子政務中來,隨著電子政務信息公開、公眾參與、在線服務等功能的深入發展,用戶對政府電子化公共服務滿意度不斷提升,從而推進了政府信息資源建設的步伐,電子政務在大數據時代已經具備一定的大數據特征。首先,電子政務信息資源規??偭坎粩嘣黾?,隨著政府電子化公共服務水平的提高,用戶參與電子政務的積極性日益提高,這也導致電子政務信息資源總量的激增。其次,電子政務的數據種類繁多,有電子政務內部公務處理的結構化數據,也有大量的來自于外部用戶反饋的大量非結構化數據和半結構化數據。最后,隨著電子政務個性化服務的深入開展,用戶的個性化需求日益增多,政府部門必須根據用戶的服務需求做出相應的處理,對大數據量的分析與信息潛在價值的挖掘將不可避免。電子政務的大數據特征主要體現在數據處理和信息服務兩個方面,數據處理是電子政務信息服務的前提和基礎,用戶信息服務是數據處理效率的具體體現,以下將重點分析大數據時代電子政務的數據處理和信息服務的具體特征。
3.大數據時代電子政務的數據處理
大數據時代的來臨對電子政務帶來了影響和挑戰,數據處理是電子政務服務用戶的基礎和前提,為用戶提供個性化的電子化公共服務必須以快速髙效的數據處理為前提,在大數據時代用戶的信息需求日益個性化、復雜化、實時化,這必然要求電子政務的信息處理也必須適應大數據的時代特征,創新電子政務數據處理方式。大數據時代的電子政務數據處理呈現出以下特征:
3.1復雜多樣的數據處理
傳統的電子政務數據處理在政府內網主要處理一些標準化的公文數據,在電子政務外網中主要處理數據格式和XML 格式的數據,很多政府部門通過一系列國家標準等規范使這些數據格式和 XML 格式的數據實現了規范化和統一化,這使得傳統環境下電子政務數據處理基本以結構化數據為主。隨著大數據時代的到來,大數據的特性與優勢在政府內部日常工作和電子化公共服務中將顯現出其巨大的優越性。用戶對的電子政務的需求也將呈現出個性化、多樣化等特點,這必然使電子政務的信息資源呈現復雜化、多樣化的特點,適應社會的發展,滿足用戶的個性化需求,提供復雜多樣的數據處理將成為大數據時代電子政務數據處理的顯著特征。
3.2海量的數據存儲
信息環境下,信息產生的成本快速下降,產生的方式也多種多樣,存在于社會空間中的信息數據量迅猛增長,但大數據時代更會促使數據產生的范圍、方式、途徑發生翻天覆地的變化,人們的一舉一動、一言一行、行為規律等都將產生出大量的半結構化、非結構化信息數據,信息數據的組成結構、類型格式、存在形態等都愈加復雜。電子政務信息處理對這些復雜的數據進行的應用、存儲將有著極強的挑戰性,其不僅有技術問題,也還包括社會問題。
3.3智能化的數據分析
傳統的電子政務數據處理主要是通過結果化的公文處理、數據庫處理和網絡數據處理實現用戶對信息服務滿意的最大化。在大數據時代電子政務的數據處理范圍、方式、對象、目的將日趨個性化和智能化,比如根據用戶瀏覽政府門戶網站的痕跡和參與在線服務的偏好,通過智能化的數據分析,構建出新的電子政務服務方案和策略。
4.大數據時代電子政務的信息服務
服務用戶是電子政務的最終目的,為用戶提供個性化的髙效的電子化公共服務是電子政務信息服務的根本目的。在大數據時代用戶的信息需求日益個性化、復雜化、實時化,這必然要求電子政務的信息服務也必須適應大數據的時代特征,創新電子政務信息服務方式。電子政務的用戶服務一般包括信息公開、公眾參與和在線服務三個方面,大數據時代的電子政務的信息公開、公眾參與和在線服務呈現出以下特征:
4.1大數據時代的電子政務信息公開
目前,政府門戶網站已經逐漸成為各政府部門政務信息的主要平臺,政務信息公開是以網絡為工具進行政務信息資源收集、傳播、貯存并將信息與公眾共享。政府部門應按照《政府信息公開條例》要求,建立政務公開欄目,主動各類政務信息。在大數據時代,信息公開的內容依然應按照《政府信息公開條例》要求,而信息公開內容的頁面布局應順應大數據時代的特征發生改變,通過分析大量的用戶訪問和瀏覽的行為數據,分析用戶對政務信息公開的內容的偏好,重新組合頁面布局,實現個性化的政府信息公開服務。
4.2大數據時代的電子政務公眾參與
目前,電子政務公眾參與的渠道日趨多樣化,主要的渠道有領導信箱、民意征集、留言板、網上、網上直播、在線調查、網上咨詢投訴、在線訪談、公眾論壇、政務微博等,隨著信息技術的快速發展,一些新技術、新網絡形態還將應用到電子政務公眾參與中來,換句話說通過電子政務公眾參與獲得的用戶反饋信息會越來越多樣化、復雜化和個性化,這表明電子政務的公眾參與具備了“大數據”的特征,因此,大數據時代的公眾參與應按照大數據時代的數據處理要求,通過處理海量的結構化、非結構化和半結構化的數據,深入挖掘潛在價值,進一步優化電子政務的公眾參與服務,從而提升用戶的滿意度和政府的公信力。
4.3大數據時代的電子政務在線服務
電子政務的在線服務功能是指通過政府網站整合政府各部門以及社會各種服務資源,完成或促進社會公眾日常生活及企業經營決策活動實際事項的能力。目前,電子政務的門戶網站要求能為用戶提供“一站式”的服務平臺,即能夠為面向不同類型的用戶群提供全生命周期應用主題的信息和服務,最大范圍的整合服務資源。由于電子政務的在線服務的用戶類型多樣,需求各異,這必然要求電子政務在線服務能夠具備處理用戶個性化信息需求的能力,通過對海量個性化數據的處理,發掘出潛在的有價值的知識和規律,從而提升大數據時代的電子政務在線服務能力和服務質量,獲得最大化的用戶滿意。 [科]
大數據時代的定義與特點范文6
關鍵詞:位置大數據; 移動社交網絡服務; 軌跡隱私; 行為模式
中圖分類號: TP393
文獻標志碼: A
文章編號: 2095-2163(2016)06-0098-03
0引言
隨著移動互聯網和智能移動設備的應用拓展與普及,基于位置大數據的移動社交網絡服務(Mobile Social Network Service based on Location Big Data,MSNSLBD)得到了快速發展,但與此同時,MSNSLBD也隨即伴生了眾多新的問題,其中顯著突出的一類內容展現就是用戶軌跡隱私將更加容易泄露。尤其是在大數據時代,移動社交網絡服務軌跡隱私保護問題已日趨精深復雜,而且又牽涉到諸多領域的時新高效技術,因而如何讓用戶在充分享受大數據時代移動社交帶來重大優勢便利的同時,能夠更好地保護用戶的軌跡隱私,為用戶的信息安全保駕護航,進而提供綠色網絡環境即已成為社會與學界吸引關注、加大投入的熱點與焦點。本文則針對這一課題范疇展開研究論述。
[BT4]1研究進展與研究現狀分析
[BT5]1.1研究工作綜論
文獻[1]提出了一種空間泛化和延遲相結合的方法,保護用戶的軌跡隱私和缺席隱私。文獻[2-3]針對軌跡數據挖掘中可能頻繁訪問模式的應用,提出了一種保護頻繁訪問模式的軌跡隱私保護方法BF-P2kA。具體地,該方法就是以前綴樹為基礎實現構建軌跡k-匿名集。文獻[4]則設計了一種在移動社交網絡中推導用戶位置的方法,該方法通過用戶n個朋友提供的推理攻擊方法已可達到80%的精確度。文獻[5-6]還針對在近鄰服務中,當用戶在某個朋友的附近時,系統就會自動將用戶的位置告知其朋友,從而可能導致用戶軌跡隱私泄露給不可信的朋友或者服務提供商的情況,而相應研發了一種近鄰服務中的軌跡隱私保護方法。在此基礎上,更有文獻[7-8]針對當前社交網絡隱私屬性匿名算法中存在的合理模型匱乏、屬性分布特征擾動大、忽視社交結構和非敏感屬性對敏感屬性分布的影響等現實缺點,發展性地推出了一種基于節點分割的隱私屬性匿名算法。另外,文獻[9]繼而又提出了一種基于GSNPP算法的隱私保護方法。方法通過對社交網絡中節點進行聚類,再對生成的簇通過簇內泛化及簇間泛化,來對社交網絡引入匿名化處理,擬達到隱私保護的目的。此外,文獻[10]也研究了基于隱私信息檢索的位置大數據隱私保護技術。
[BT5]1.2研究成果解析
[JP2]綜上探討可知,這些文獻雖然針對MSNSLBD中軌跡隱私保護獲得了可觀技術進展,但仍存在一定不足,具體剖析如下。[JP]
1.2.1[ZK(]缺乏合理有效的MSNSLBD軌跡隱私保護算法[ZK)]
大數據時代,黑客可以從多種渠道獲得用戶公開信息和位置數據,然后結合位置數據推測出用戶的隱私信息[5]。近年來,對這方面的研究都H僅從單一網絡的角度來分析影響MSNSLBD的屬性,而未能綜合網絡技術、心理學、社會學、信息學等來全面研究針對MSNSLBD屬性的關聯作用,也未能靈活引入如下新情況所帶來的發展新因素:在位置大數據時代,隨著位置感知技術(傳感設備、移動通信等)的進步,將導致事物和人的地理位置呈現出數據化[9]等情形。如此片面的研究后果,即會使得現有軌跡隱私保護算法必然缺乏必要的合理性及有效性。
1.2.2[ZK(]對用戶位置與行為模式之間映射關系方面的研究,尚處于起步階段[ZK)]
針對位置大數據的移動社交網絡服務軌跡隱私保護,即應圍繞用戶位置與行為模式之間的映射關系而著重展開研究,力爭減弱攻擊者收集到的從匿名用戶位置推測可得的個性向量與不同用戶之間的個性向量上的性能匹配,從而弱化兩者之間的相關度。
同時研究可知,保護用戶位置大數據隱私的關鍵問題是:在確保服務可用的前提下,通過對映射后的個性向量設計執行非數據化,盡量使得個性向量實現模糊化。因而針對不同的應用特點,既要獲得位置數據個性向量的模糊化結果,又要保持位置服務的準確性,亟需相關人員進一步的研究投入。
[JP3]1.2.3[ZK(]對MSNSLBD軌跡隱私問題的理解尚處于比較淺的層面[ZK)][JP]
分享位置為用戶提供方便的同時,也成為泄露用戶隱私的根源,用戶將不得不面對由此帶來的潛在風險。如何在保護軌跡隱私、提高服務質量、增強MSNSLBD應用的吸引力之間維系最佳平衡則是時下MSNSLBD面臨的嚴峻挑戰[1]。
MSNSLBD服務的核心表述即是位置分享,因而既要考慮位置分享形成的實用優勢,又要關注對軌跡隱私的周到保護。但是如果偏重于保護軌跡隱私、從而削弱了位置分享這項核心功能,MSNSLBD的吸引力就必將出現急劇下降。
特別是在大數據時代,強力提倡綠色網絡的大環境下,MSNSLBD陸續涌現的一些新問題,則需要結合社會學、地理學、經濟學、信息學等多個學科,并同時展開全方位、多角度的梳理分析,而現有對這些問題的研究卻仍未臻至客觀、全面。
[HS(3][HT5H][ST5HZ]2[ZK(]位置大數據的移動社交網絡服務軌跡隱私保護的研究方向[ZK)][HS)]
[BT5]2.1重新定義MSNSLBD的軌跡隱私δ
[HT5”SS][ST5”BZ]
通過對基于啟發式隱私度量、概率推測、隱私信息檢索的大數據時代MSNSLBD隱私保護技術的探討分析;并立足于網絡技術、心理學、社會學、信息學等多維角度,而非僅是從網絡技術單一角度,針對影響MSNSLBD的屬性展開全方位量化分析,同時改進調用如上技術,由此可得位置大數據的移動社交網絡服務軌跡隱私δ的數學定義為:
δ=[SX(](P(t, i, Lt)-p(t, i))*P(t, i+1)*dan(xi, xj)min[]p(i)[SX)][JY](1)
其中,p(i)表示用戶處于敏感位置的后驗概率;danmin表示最相近的2個向量的差異程度,代表不同用戶的位置數據映射到用戶個性向量xi和xj的不同元素個數的最小值; p(t,i)表示用戶在t時刻處于位置s(i)的概率,P(t,i+1) 表示用戶在t時刻處于位置s(i)下一步移動的概率;Lt則表示攻擊者收集到的用戶在時刻t之前的位置數據。
2.2[ZK(]為了降低軌跡隱私泄露的風險,對用戶位置與行為模式之間映射后的個性向量模糊化考慮移動社交網絡中用戶相關的位置數據與非位置數據之間的關系,防止攻擊者利用該關系推測用戶的敏感信息。因而需要減少用戶的位置數據數量,降低用戶位置數據中的元素映射為個性向量中有效元素的能力。研究用戶位置與行為模式之間的映射關系,以設法降低攻粽吒據從匿名用戶位置推測出的個性向量與攻擊者收集到的不同用戶之間的個性向量的匹配程度。在確保服務可用的前提下,盡量使映射后的個性向量顯得模糊,如此才能最大限度地降低軌跡隱私泄露的風險。
2.3[建立MSNSLBD軌跡隱私保護模型,構建MSNSLBD軌跡隱私保護框架在大數據時代,MSNSLBD的研究中,既要考慮位置大數據的特點,又要保護移動社交網絡服務,這就使得大范圍、多角度分析、研究造成軌跡隱私泄露風險的原因已然成為研究必須。綜合時下各類學術成果可知,最佳技術方案可描述為:要盡快建立合理有效的MSNSLBD軌跡隱私保護模型,同時科學構建MSNSLBD軌跡隱私保護框架。
[BT4]3擬解決的關鍵科學問題
[BT5]3.1多角度、全方位量化分析影響MSNSLBD的屬性
從網絡技術、心理學、社會學、信息學等多個角度,而不是從網絡技術單一角度,全方位量化分析影響MSNSLBD的屬性。但由于用戶心理的不確定性,不同用戶之間關系的復雜性,信息的海量性,等等這些,都給科學有效定義MSNSLBD軌跡隱私增加難度。
建立合理有效的MSNSLBD軌跡隱私保護模型,給出軌跡隱私保護算法,并驗證其先進性研究需要重點構建位置大數據的移動社交網絡服務軌跡隱私保護的模型,并在優化改進MSNSLBD軌跡隱私定義的前提下,給出更加合理的MSNSLBD軌跡隱私保護算法,在此基礎上還需進一步加入仿真驗證,由此證明軌跡隱私保護算法的先進性。
[BT4]4結束語
大數據是指一種包含大量信息、具有高新價值的數據集合。在大數據時代,由于傳感設備、移動通信等位置感知技術的發展,從而形成了位置大數據。人們在充分享用位置大數據挖掘出各種各樣的信息、使用位置大數據帶來便利的同時,用戶自身的隱私也不可避免地受到位置大數據的嚴重威脅[7-13]。因此,如何在充分利用位置大數據的同時,更好地保護用戶的行為模式、行為習慣、地理位置等敏感信息,如何構建一個MSNSLBD軌跡隱私保護框架?如何在確保MSNSLBD可用的前提下,盡量讓用戶位置與行為模式之間映射后的個性向量變得模糊?如何建立一個更加合理的MSNSLBD軌跡隱私保護算法?使得用戶在充分享受大數據時代移動社交的效益優勢的同時能夠更趨安全地使用MSNSLBD,即已成為一個現實重要的研究問題。本文在MSNSLBD軌跡隱私保護方面提出了一些新的思路,同時還對擬解決的關鍵科學問題進行了前景展望。
參考文獻:
SADILEK A, KAUTZ H, BIGHAM J P, Finding your friends and following them to where you are[C]//Proceedings of the 5th International Conference on Web Search and Data Mining (WSDM’12). Seattle, USA:ACM, 2012:723-732.
[2] MASCETTI S, FRENI D, BETTINI C,et al. Privacy in geosocial networks: Proximity notification with untrusted service providers and curious buddies[J]. The VLDB Journal,2011,20(4):541-566.
[3] MASCETTI S, BETTINI C,FRENI D, et al. Privacyaware proximity based services[C]//Proceedings of the 10th International Conference on Mobile Data Management (MDM '09). Taipei, China:IEEE, 2009:31-40.
[4] FRENI D, VICENTE C R, MASCETTI S,et al. Preserving location and absence privacy in geosocial networks[C]//Proceedings of the 19th ACM International Conference on Information and Knowledge Management (CIKM’10). Toronto, Canada:ACM,2010:309-318.
[5] PENSA U R, MONREALE A, PINELLI F,et al. Patternpreserving k-anonymization of sequences and its application to mobility data mining[C]//Proceedings of the 1st International Workshop on Privacy in LocationBased Applications (PiLBA’11). Malaga, Spain:CEURWS, 2008:1-17.
[6] GUNTER C A, MAY M J, STUBBLEBINE S G. A formal privacy system and its application to location based services[M]//MARTIN D, SERJANTOV A. Privacy Enhancing Technologies. Berlin Heidelberg: Springer, 2004,3424: 256-282.
[7] 付G艷,張敏,馮登國,等. 基于節點分割的社交網絡屬私保護[J]. 軟件學報,2014,25(4):768-780.
[8] 楊秋偉,劉玲,李肯立,等. 一種支持隱私保護的角色訪問控制模型[J]. 計算機科學,2010,37(6):46-50,121.
[9] 韋偉,李楊,張為群. 一種基于GSNPP算法的社交網絡隱私保護方法研究[J]. 計算機科學,2012,39(3):104-106.
[10]王璐, 孟小峰. 位置大數據隱私保護研究綜述[J]. 軟件學報,2014,25(4):693-712.
[11]談嶸. 軌跡隱私保護及其在基于位置的社交網絡服務中的應用研究[D]. 上海:華東師范大學,2013.