前言:中文期刊網精心挑選了智慧城市可視化管理范文供你參考和學習,希望我們的參考范文能激發你的文章創作靈感,歡迎閱讀。
智慧城市可視化管理范文1
如果從目前的智慧城市的發展狀況來看,至少就國內而言,成績算不上可圈可點。現實的狀況是,各種重建輕管、信息閉塞、各行其是的現象比比皆是,眾多智慧城市試點淪為形象工程,重復建設的情況亦觸目驚心。
據悉,IBM內部也承認這場由自己在全球主導并推動的“Smart Cities”,其實際效果沒有達到預期。
“本質的原因在于,智慧城市不是由一個廠家就能推動的,哪怕IBM這樣一家在全球擁有超過40萬員工的IT巨無霸也不行?!睆V東威創視訊科技股份有限公司信息可視化產品部總經理周志文指出,“IBM固然解決不了,其他方面的參與也未必奏效。一個交通擁堵問題,就已經讓所有城市都頭疼不已,再多的行政部門參與也無濟于事,更不用說遇到一些災害,遇到一些重大的交通事故,重大的群眾上訪事件、應急事件,就顯得更加復雜?!?/p>
正因為此類種種問題,智慧城市的推行儼然進入冷卻期,“智慧城市”也早已不再是時髦的談資。甚至IBM自身都在冷卻。
當然,對此我們并無意于潑冷水。實際上,IBM提出和推行的智慧城市概念,得到了全球及各界的認可。但僅從現階段來看,周志文先生認為智慧城市可能還只是一個“夢想”,要實現這一夢想,尚需要漫長的道路和時間。
包括威創在內的一些行業內企業,開始與電信企業、IT企業一起,更多地在行業應用上發力,這種“迂回作戰”的方式,應是推行智慧城市由概念到落地的一個可行進程。眾多深化的行業智慧化應用,為未來的智慧城市資源整合打下了堅實的基礎,項目實施方也因此積攢了寶貴的經驗。
信息的跨行業流通是阻止智慧城市落地的根本原因之一
作為可視化領導廠商,威創近幾年在公安、交通、金融等領域的“標桿工程”戰略取得了不俗的成績。但周志文先生坦言威創在智慧城市項目中尚有不能徹底解決的一些問題。
對此他從幾大行業的特點入手進行了具體分析。
首先是交通行業,涉及航務、水運、客運、出租車、公交、高速、鐵路、軌道等眾多形態,十分龐大。交通行業的其中一個典型特征是,其社會化運作程度非常高,比如公交公司和出租車公司,任何一座城市都有幾十家,均為公司化運營。
公安行業則是典型的政府運作模式,其管理形式是半軍事化的封閉式管理,公安系統信息實行的是從上到下的一體化管理,與外網有邊界網閘,信息很難通過外網獲取。
而金融行業則是典型的企業化運作的模式。金融行業對于信息和數據安全、管理、運用的要求甚至比公安的要求還有過之而無不及,僅次于軍隊標準。他用“登峰造極”、“嚴格到極致”這樣的字眼來描述金融行業的IT信息化標準。
這是三個很有代表性的行業,也是可視化解決方案應用最為典型的三大行業。周志文先生表示,做智慧城市項目一定會面臨一個問題,那就是:怎么讓信息在不同的行業之間流動起來。這一點,他認為在金融和公安這樣的高封閉、內部垂直的、集團化管理的系統下實現起來相對可控,盡管很難,但只要領導層將之放到一個比較高的決策層面來逐步推動就有希望。
而對于社會化運作非常高的交通行業來說,情況就不能相提并論了。他說,“例如,一家公交總公司,它跟城市交通局是什么樣的關系?與省級的交通廳是什么樣的關系?作為政府機構,怎么要求社會化運營的公司完全、透明地開放他們的信息?用什么方式?行政手段嗎?”其他諸如智慧旅游、智慧物流面臨的情況也一樣,到最后都會面臨的問題就是:我們怎么去獲取這部分信息?業界很多公司都曾為此努力,比如推出的BOT模式、EOT模式、BT模式,推了很多的概念及其運作方式,但到目前為止,還沒有哪家公司能夠解決不同的經營法人、不同的社會化公司之間信息的流通問題。
“這些都是威創在實際項目中遇到的問題,相信其他公司同樣也會遇到。如果獲取不到這些信息,又何談調度、運營、指揮呢?”周志文先生說道,“現在我們應冷靜思考,政府在智慧城市建設這一問題上,到底應該扮演什么樣的角色?以往我們喊出的‘政府牽頭、社會集資’這樣的口號,現在看來是不是值得反思?反過來說,如果政府別牽頭、別摻和,走純粹市場化、企業化運作模式呢?畢竟,政府不是一個獨立的機構,本身沒有相關的專業人才和專業領域知識,很多看似美好的東西最后可能沒法落地。”
“迂回作戰”,從行業應用突破
歸根結底,就是落地的問題。曾先后供職于愛立信、華為、IBM的周志文先生,對相關公司在推進智慧城市方面的實施策略有自己的看法。他指出,“華為也在布局智慧城市。相對于IBM, 華為的步驟顯然更加實干一些?!睂Υ怂€做了進一步分析:
第一,華為加快了在全球的IDC布局建設,目前已經部署了近百個全球化的IDC數據中心,解決了數據倉庫、數據傳輸、數據安全管理的問題;
第二,在布局IDC的同時,華為還將IDC與華為企業網行業綜合解決方案進行了很好地結合,企業網的很多產品和應用的拓展,都能和其IDC捆綁;
第三,華為并沒有大力去推相關概念,而是一方面著眼高處一方面又著手在解決我們在智慧城市環境下、不同行業、不同企業面臨的各種民生的問題。從這一方面來說,華為的智慧城市策略更務實一些、落地一些。
周志文先生認為現在做智慧城市比較靠譜的方式,是從行業應用方向入手。這樣容易落地,而且會有支撐。
但行業應用、走解決方案路線亦不是一件簡單的事情,需要跨越一大步。
“跟電信行業相比,AV行業不是一個解決方案驅動的行業,而是主要由技術驅動。然而現在所有的AV企業都面臨著怎么去構建一個以解決方案為龍頭的新的運營模式的問題。”周志文先生表示,以前,我們躲在家里的小黑屋里,在里面埋頭苦干搞研發,然后拿產品出去賣?,F在還這樣的話,就走不通了。一定要以解決用戶問題、創造用戶價值為導向,整合資源,滿足用戶需求。
他直言:“從這個角度來講,AV企業的轉型是非常難的一件事情,有一些公司現在還沒有醒過味兒來,還沉浸在行業高利潤回報的余韻中怡然自得,而有一些公司(包括國際化的大公司和國內公司)這幾年都在努力往這一方面來突破,既有口號,也有行動。陣痛肯定有,畢竟,解決方案就意味著定制化和個性化的東西多,很難復制,很難做到標準化,而標準化卻意味著好管理,成本可控、利潤可預期。可以說,解決方案類的盈利模式,非勇敢者不能成也。”
威創在此方面做了很多的布局,包括將業務部門進一步細分,同時有四五個部門都在往可視化解決方案轉型,圍繞威創何正宇董事長提出的“可持續的盈利模式”方向尋求突破。
大概是“往前一步天地寬”,在“被逼無奈”轉型的過程中,“我們和很多IT、電信企業可以‘競合’,可以發揮各自的優勢,一起為用戶創造增值的可視化應用?!敝苤疚南壬f道,“在大屏高分、可視化,在指揮調度運營的典型場景下,威創有自身獨到的優勢。包括惠普、華為、愛立信等公司都曾到訪威創,他們對于超高分運行環境下的行業應用反而不如威創顯得專業,客觀上這些IT 巨頭的產品、研發和應用的環境都不曾考慮過大屏顯示應用,一個龐大場景下數百萬數千萬乃至于上億數量級的分辨率更是沒有想象過。這種‘比較競爭優勢’對于威創來說,是一個很好的時間窗。”
解決問題,呼喚真正的可視化解決方案
可以說,可視化是AV行業參與智慧城市項目的最典型應用(沒有之一)。而對于可視化解決方案的深入理解以及隨之獲取的競爭優勢,也促成了威創在行業化應用領域的成績。
那么,什么是真正的可視化解決方案?
智慧城市可視化管理范文2
推動大數據產業創新
由中國大數據企業聯盟主辦,中國信息化周報社、曙光信息產業股份有限公司承辦的“創新驅動發展”大數據技術交流會于7月4日在中關村軟件園曙光大廈召開。據悉,此次會議是為進一步落實“‘推動大數據產業協同發展’工作座談會”中工業和信息化部信息化和軟件服務業司工作部署,全面推進大數據發展和應用,進一步加強交流與合作,推動大數據產業科技創新、應用創新、模式創新,全力加快建設數據強國。
曙光信息產業股份有限公司大數據總工程師宋懷明,中科曙光大數據產品事業部副總經理郭慶,航天科工智慧產業公司技術總監趙龍軍,神州數碼總監楊繼翔,天云大數據副總裁李從武,世紀互聯HIT產品部副總經理民及部分大數據創新技術企業代表出席了此次會議。
中國信息化周報副總編輯、中國大數據企業聯盟秘書處霍娜為會議致辭。她代表中國大數據企業聯盟歡迎大家的到來,并表示聯盟將做更多的工作,集聚大數據產業鏈中企業,共同營造良好的產業生態。她提到,希望各位企業發揮各自的數據資源、科技資源和人才資源優勢,加強技術創新應用,為大數據產業蓬勃發展注入活力。
中科曙光大數據事業部副總經理郭慶,航天科工智慧產業公司技術總監趙龍軍,神州數碼總監楊繼翔,天云大數據副總裁李從武在交流會上發表演講。
郭慶做了“數據驅動 智慧創新”的演講。他在演講中就大數據產業發展和技術趨勢做了分析,對曙光大數據智能引擎XData的創新技術做了深入的闡述,同時分享了曙光在政府、科研、教育、公安、環保等領域的大數據落地實踐,并展望了大數據在驅動創新發展的未來愿景。他指出,曙光在大數據領域的核心優勢有四個。第一個優勢是融合,曙光有服務器,云計算,大數據,安全等產品線,別的企業可能是圍繞大數據組件,構建大數據生態。曙光不僅做大數據產品,整合公司各條產品線,整合的目的是為了后期給用戶提供整體的解決方案。曙光的架構是非常融合的,對存儲、計算進行了融合和完善的整合。第二個優勢是智能。在做大數據的時候,曙光充分考慮到怎么利用大數據分析,提供一些決策支撐。除了運用人工智能的技術,在做大數據框架過程中,曙光也是不斷把行業應用里面的好模型、好的算法,甚至好的經驗融合在產品體系當中,這就是場景適配模塊的概念,以電力和公安的數據特征,訪問特征都是不一樣的,所以曙光會在大數據平臺的基礎上,加上行業應用的適配,取得了非常好的效果。第三個核心就是計算,即“快”。曙光在研發過程中,充分利用在計算方面的技術積累,將技術和大數據進行整合,速度基本上能達到一到三個數量級的提升。第四個核心是“易”,即易開發、易管理、易使用。
構建大數據產業生態
趙龍軍的發言題目是“智能城市中大數據技術的研究”。他從智慧城市新的手段、智慧城市的標準技術體系框架、城市大數據建設分析思路及應用案例等方面進行分享。他提到,智慧城市大數據應用首先包括各種各樣工具,還有其他的業務應用系統,但從規?;A支撐角度來說,建設城市大數據平臺應該是智慧城市建設的主要內容。從數據獲取,存儲、計算、服務、應用以及統計管理各個層面,圍繞城市大數據的對象相關工作包括以下幾個方面:一個是智慧城市大數據的集成,采集包括了人,管理在內,如果只針對數據來講是集成,集成是共享交換最主要的內容。第二個是大數據存儲管理,這里面包括結構化、非結構化數據混合異構統一的存儲。第三層面就是智慧城市數據分析挖掘,需要和可視化結合,可視化是數據本身管理、分析挖掘結果的可視化,這是輔的技術。第四個就是智慧城市標準和質量管理,標準和質量管理的核心最終是實現城市大數據或者大數據本身全生命周期的管理,核心是達到數據好用、易用。
楊繼翔就政務大數據目錄梳理技術及實踐發表了演講。他提到政務大數據目錄梳理,是政務大數據建設的基礎和前提。對政務大數據目錄的梳理,是支撐整個政務數據資源中心的前提,如果沒有梳理,用戶就不知道政務數據到底存放在什么位置,到底包含哪些數據類和數據項。所以說,整個目錄體系是政務大數據乃至政務大數據技術的前提和基礎。他具體闡釋道:“我們理解的政務大數據中心,首先要做好政務信息資源中心建設,包括政務數據采集、數據治理、數據資產管理及服務等。然后在政務信息資源中心數據資源的基礎上,搭建政務大數據處理平臺,這里面會涉及到一些具體的大數據技術,包括計算引擎,建模,智能化,可視化展現等等。在這之上構建一個統一的資源門戶,應用體系。政務資源中心能夠直接提供的應用,包括簡單的查詢,傳統分析,部門之間共享,對社會的開放。基于政務大數據處理平臺會有一些大數據分析服務,大數據的應用等?!?/p>
促進大數據可持續發展
天云大數據副總裁李從武演講的題目是“Hadoop生態里的組件級產品的一些實踐”。他在演講中分享了三個方向:一是高性能實時交互引擎,二是分布式復雜計算網絡,三是人工智能方向。他認為:“ Hadoop生態系統實際上能夠形成一個圈,從工程的、預測、目標、數據、切入、導入、建模、驗證、審核,然后再反饋回來。這是一個閉環,實際上我們可以把這個閉環做成很完整的一個鏈條,做成一個產品。”
智慧城市可視化管理范文3
作為全球領先的安防產品及行業解決方案提供商,海康威視也一直致力于平安城市建設,努力為國內各地的平安城市建設提供全線安防產品及定制化的解決方案。據了解,海康威視平安城市解決方案已深入應用到國內近500座城市的平安創建中,積累了豐富的經驗并取得了卓越的成效。不少典型案例都給行業人士留下深刻印象,2013年的莆田市平安城市便是其中之一。
那么??低曉谄桨渤鞘薪ㄔO中有何經驗可傳授?伴隨著國家十二五規劃對智慧城市的關注,又將給平安城市建設帶來哪些契機?基于此,本刊記者專訪杭州??低晹底旨夹g股份有限公司解決方案總監徐志軍先生,直擊??低曉谄桨渤鞘薪ㄔO的獨門秘訣。
記者:??低暯衲晏岢隽恕拔锫摗崙?、智能”的概念,可否給我們陳述一下它的寓意?海康威視如何在實際產品中體現這些概念?
徐志軍:物聯不是單純連起來,宏觀的講,物聯網不只是感知層,而是在整個系統架構上體現物聯。包括前端感知技術,因特網、3G/4G、公安專網、視頻專網等網絡技術,以及信息處理技術和應用技術。感、傳、知、用是物聯網的典型架構模式,海康威視提出“物聯、實戰、智能”的概念體現了物聯網的實質,與物聯網的典型架構相對應,物聯的同時,突出智能感知與業務應用。
現在前端的感知手段越來越多。比如交通車輛的感知,除了視頻圖像,還有GPS、RFID等感知技術;家庭方面,對孩子、老人的GPS定位,煤氣探測、煙霧探測、防盜報警探測等;以及更加具有行業化差異化特點的感知手段,比如變電站中對設備的狀態、運行數據進行感知;比如環保行業,對環境狀態信息的感知等。
??低暰哂行袠I化、多樣化的感知產品,重視物聯網相關的產品、技術的研發和創新,比如新推出的smart IPC攝像機,它并不像一般攝像機只采集音視頻信息,而是在音視頻采集的基礎上,具備視頻智能分析能力,可以根據需要輸出一些結構化信息,比如人臉信息、車牌號碼、運動行為與狀態信息等,這些豐富的信息能夠更好地滿足行業用戶的實戰應用,如案件破案、交通管理、城市管理等。
記者:在您看來,加入“物聯、實戰、智能”的概念后,平安城市和智慧城市的區別在哪里?國家十二五對智慧城市的關注,將會給平安城市帶來哪些影響?
徐志軍:傳統的平安城市由公安部門制定標準,由公安部門主導,主要關注城市安全。而智慧城市的內涵較平安城市更加豐富,涉及交通、水利、環保、教育、醫療衛生等各個領域,關系到政府管理和服務、產業帶動和發展、人們生產和生活等各個方面,超出了傳統平安城市的范疇。同時,平安城市服務于城市安全,是智慧城市系統的重要組成部分,隨著平安城市視頻資源共享和業務應用的不斷豐富,不僅能在城市安全方面發揮核心作用,在城市可視化管理和應用方面也將起到積極作用。
國家十二五規劃對智慧城市的關注也使??低曊J識到平安城市與智慧城市相融合的趨勢,故提出了智慧型平安城市的概念。從宏觀角度來看,智慧型平安城市有以下幾個特點:
一是感知層面。感知層面較傳統平安城市更加豐富,原來更多是從治安管理角度出發,以電子警察、卡口、治安監控為主?,F在需要滿足城市安全和城市可視化管理的需要,感知手段更加多樣化,如RFID、化學物品監測、環境狀態監測等等,感知層的多樣化可以更好地滿足政府和社會行業單位對安全與可視化管理的需求。
二是處理層面。豐富的、多樣化的信息被采集以后,系統將形成海量的信息,系統具備非常強的處理能力,才能挖掘有用信息來支持各種各樣的業務應用,這就需要采用先進的IT技術,比如云存儲、大數據平臺等技術。海康威視融合安防技術與IT技術,研發了視頻云存儲、視頻監控大數據平臺等業界領先的產品和解決方案,能夠滿足海量視頻圖像信息存儲、處理和應用的需要。例如通過海康威視視頻監控大數據平臺能夠在海量視頻圖像信息中快速檢索車牌、人臉等目標對象,并進行預測預判和態勢分析,可以大幅度地提高系統執行效率和應用效果。
三是應用層面。傳統平安城市側重于基礎設施的建設,業務應用較少,基本上以事后檢索為主,缺少事前和事中的應用。智慧型平安城市強調以業務應用為導向,強調實戰業務應用。以視頻在刑偵破案中的應用為例,視頻圖像和刑偵破案業務流程相結合,在現場勘查、固定嫌疑目標、軌跡追查等方面提供視頻圖像支撐:智慧型平安城市還包括智能交通、稽查布控、交通流量、交通出行等交通方面的應用和服務:以及城市管理上市容市貌監控、可視化執法等方面的應用。智慧型平安城市搭建的是一個服務和應用框架平臺,如同一個操作系統,可以通過標準化的平臺協議加載豐富的業務應用,這是智慧型平安城市的重要特點。
記者:海康威視參與了500余座平安城市建設項目,2013年莆田的項目倍受行業的關注,可否以莆田為例,分享一下??低曉谄桨渤鞘薪ㄔO的經驗?
徐志軍:??低曉谌珖鞯氐捻椖浚驗閰^域化、應用特性、客戶需求的多樣性,以及新技術的不斷產生和推動,項目往往各有特色,很多典型項目的側重點各不相同。莆田項目有三個特點:第一它是一個多網絡的結構,包括移動、電信、公安內網等,網絡運營商的模式較多元化,這在平安城市、物聯網中是比較典型的;第二它是一個大聯網平臺,同時也是一個應用平臺,包括1500個攝像頭、卡口電警,以及社會資源的綜合應用,所以很重要的一點是整合性很強;第三應用多樣性,比如案事件管理、車輛監控、人員卡口、違法停車等,成功應用了人臉卡口和視頻質量診斷兩個先進的技術,形成了一套比較完整的、先進的平安城市解決方案,比較契合智慧型平安城市的特點。
記者:剛才您提到,莆田的項目前端接人了近1500路視頻,融合了報警聯網、卡口、治安監控等多個子系統,如此巨大的規模,后端的綜合管理平臺是如何做到的?
徐志軍:首先很重要一點,??低晥猿肿邩藴驶:?低暷軌蜃龅浇裉爝@樣的規模也源于開放性、標準化,在此基礎上追求穩定、可靠。很多系統性能不佳,是因為其封閉、不開放,因而難以做到穩定和可靠。??低暡捎媚K化的平臺開發方式,其中的標準化、模塊化,以及面向服務的架構模式,??低暥加猩詈竦募夹g積累。同時平臺本身可以兼容國內外主流的產品,還有可以兼容其他一些主流廠家。
平臺架構上??低曇环矫嬗行袠I平臺,如公安行業、交通行業、金融行業;另外也有共享平臺和共享組件,其穩定性、可靠性是整個平臺的基礎。
但平安城市要做到完全的標準化是很難的,平安城市通常有很多企業以及政府部門共同參與,還有廣泛的社會資源,這些系統、設備和信息資源很難做到規范統一。??低曂瞥隽嘶谟布穆摼W網關,符合國標GB/T 28181的標準要求,可通過碼流轉換、協議轉換、流媒體轉換等方式把非標準的平臺和設備接入到系統之中。
記者:當然,公安實戰平臺是企業進入平安城市的突破口,可以看到很多企業都在推實戰平臺,海康威視對實戰如何理解?推出的實戰平臺有何特色?
徐志軍:首先個人覺得實戰平臺分為幾個層次。一個是區縣級,區縣級為基層;二是地市級,地市級需要對基層進行管理,并側重地市級的指揮;三是省一級,提供整個省的基礎資源的支撐及指揮調度。??低曉诟鲗蛹壍墓矊崙饝蒙隙荚诜e極參與,在長沙、富陽等建設了具備樣板意義的公安實戰應用平臺。??档膶崙鹌脚_有幾個特點:首先海康威視的研發和咨詢服務團隊會深入到公安業務之中,收集和分析公安的實際需求,為公安用戶提供現場技術服務;第二??低暡粌H關注應用功能,更強調整個實戰信息的聚合和對業務應用的高效支撐,通過將信息流和工作流的緊密結合,使資源、人、任務實現有效整合,為案事件視頻處理、研判、統一管理等提供信息支撐;第三實戰應用平臺以優質的產品為基礎。如smartIPC、應用平臺、運維技術等,并與良好的平臺架構互相驅動。記者:您如何看待明年平安城市的發展?海康威視明年的研發重點會是?
智慧城市可視化管理范文4
5 大數據生態系統
5.1 大數據生態系統
2011年6月,IBM架構師Stephen Watt在《Deriving new business insights with Big Data》文中對大數據生態系統進行了簡單描述,提出大數據生態系統實際上就是數據的生命周期,即數據采集、存儲、查找、分析和可視化的過程[1],見圖1。
在這樣的生態系統中,每個環節都存在著不同的商業需求,而需求的出現必然會導致創新的產生。所以,在每一個環節都有不少企業在深耕自己所在的領域,試圖通過新技術和新方法來實現新的商業模式。
5.2 大數據生態圖譜
隨著大數據生態系統的逐步形成,很多人在嘗試繪制和更新大數據生態系統圖譜,希望通過對大數據領域的公司、技術、產品進行細分,及時了解到大數據生態系統全貌。在眾多圖譜當中,比較有代表性的是美國On Grid Ventures公司Matt Turck等人于2012年10月繪制更新的大數據生態圖譜V2.0[2],如圖2所示。
盡管各個圖譜的分類方法、全面性、時效性、權威性各不相同,但我們仍可以觀察到:
(1)大數據領域的企業主要集中在數據集市、數據存儲(基礎設施)、數據分析、數據應用4個層面,其中數據應用層面又包含數據服務、數據檢索、商務智能,可視分析等。這正符合數據科學中對數據全生命周期管理的描述。此外,很多企業業務覆蓋大數據多個層面,有的企業甚至已經建立了完整的大數據棧,成為“大數據應用服務提供商”。
(2)在大數據領域,活躍著的除了IBM、ORACLE等眾多知名公司外,像Splunk、Tableau等專業大數據公司也及時跟上了大數據的浪潮,成功地獲得了投資者和業界的關注。
(3)開源軟件與大數據的結合迸發出驚人的顛覆性力量,更多廠商開始使用開源大數據工具,以支持其大數據業務。
大數據生態系統中覆蓋大量的技術和產品,其中一些在大數據技術發展道路中起到了巨大的推動作用。
(1)Hadoop
在大數據時代,Hadoop可以說是最耀眼的明星。憑借其開源和易用的特性,Hadoop不僅是大數據時代數據處理的首選,也是擁有海量數據處理需求的公司的標準配置。此外,許多商業創新也都圍繞Hadoop展開的,并在大數據時代占據一席之地,如Cloudera推出的軟件包可以幫助企業更方便地搭建以Hadoop為中心的數據管理平臺;MapR則將Hadoop的速度改造為原來的3倍;海量數據管理軟件商Platfora旨在提供一個更為友好且更具操作性的用戶界面,它可以兼容包括Cloudera和MapR等多種Hadoop版本,能夠大大降低使用Hadoop的門檻;而AsterData(已被TeraData收購)的核心技術SQL-to-MapReduce可將海量非結構化數據的處理技術和結構化數據的數據倉庫技術結合,以彌補傳統數據倉庫的公司所欠缺的高速處理海量非結構化數據的能力。
(2)NoSQL
與Hadoop密切相關的NoSQL也一直是大數據領域的熱點。NoSQL憑借其高性能和可擴展性等優勢,成為關系數據庫的強勁對手,在大數據時代占據一席之地。根據存儲模型和特征,NoSQL大致可分為列存儲、文檔存儲、key-value存儲、圖存儲、對象存儲、XML數據庫等類型,雖然也存在個別數據庫可被歸為多種類別的現象,其中,HBase、MongoDB、Cassandra、CouchDB、Neo4j、HyperTable等NoSQL已被相當多的企業和開發人員所熟知。
(3)NewSQL
無論NoSQL是被解釋為NoSQL,還是后來的Not Only SQL,其不支持結構化查詢語言 (SQL)語言的特性為開發人員帶來諸多不便。因此,為了同時滿足高性能和支持SQL兩個方面,NewSQL被設計出來。NewSQL作為全新的關系數據庫產品,或將關系模型的優勢發揮到分布式體系結構中,或將關系數據庫的性能提升到不必進行橫向擴展的程度,這使得NoSQL面臨前所未有的挑戰。典型的NewSQL有VoltDB、Marklogic、Xeround、NuoDB等。
(4)Data Marketplace
除了解決大數據處理、存儲問題之外,開放數據資源也在相當大程度上加速了大數據技術的發展。目前大部分的企業所面對的數據都是由內部系統或者交易記錄日志之類的東西所產生的,然而如果能夠獲得企業自己無法獲得,或者已經被處理過的外部數據,那么內外數據融合分析后產生的價值將不可估量。因此,能夠下載或者訪問數據集,自然而然也就成為了商業需求,甚至美國政府都推出了官方的數據集網站。
2009年5月,美國聯邦政府正式啟用了官方公共數據資源分享網站Data.gov,其數據內容涵蓋了所有美國聯邦政府行政部門在運營管理過程中采集、生產或轉換而來的、有潛在價值的、可供再次開發利用的數據集。Data.gov鼓勵個人開發者使用政府的數據集,開發出新穎的應用。值得一提的,該網站于近期正式對外了全新的“開源政府平臺”(OGPL),該平臺的代碼將會對全球的開發者開放。
在中國,數據堂()是目前最為專業的科研數據共享服務平臺,該平臺致力于為全球科研機構、企業及個人提供科研數據支持,其數據內容主要是科研數據集,同時也提供浮動車歷史數據、路況歷史數據和車牌數據等,用戶也可以上傳自己的數據。通過該平臺不僅使得中國的科研機構、企業、高校和個人之間可以充分共享數據,也促進各類科研數據價值的最大化。
在全球范圍的大數據熱潮中,對于大多數企業來說,大數據與自己有什么關系?如何快速直觀地理解和發現大數據中的價值?沒有足夠“大”數據的情況下如何才能在大數據時代獲益?雖然這些問題還沒有完美的答案,但許多企業已經進行了積極的嘗試,通過數據可視化嘗到了大數據的甜頭。
6 可視化和可視分析
在眾多描述大數據的詞語中,“金礦”、“油田”等的描述最為常見,這意味著人們開始意識到大數據中蘊含著豐富的價值。然而,巨大的數量、數據的固有復雜性及未知的分析目標都放大了任務的難度。如果能夠有一種簡單的方式對數據規律進行直觀展現,必將使大數據中的價值得到快速理解和發現,可視化就是這樣的方式。
6.1 數據可視化、信息可視化和可視
分析概述
可視化由來已久,1861年法國工程師Charles Joseph Minard繪制了《拿破侖征俄戰役圖》可以看作可視化領域的經典案例。到了18世紀后期數據圖形學誕生,抽象信息的視覺表達手段一直被人們用來揭示數據及其他隱匿模式的奧秘。隨著20世紀50年代計算機圖形學的出現,信息技術加速了可視化的演變。時至今日,可視化已經發展為數據可視化、科學可視化、信息可視化、可視分析這幾大方向。
數據可視化起源于20世紀50年代,其基本思想是將數據庫中每個數據項作為可視化圖形中單個元素,同時將數據的各個屬性值以多維數據的形式表示,通過從不同維度觀察數據而達到對數據深入洞察和分析的目的。
科學可視化是一個典型的交叉學科,源于1987年布魯斯·麥考梅克等人編寫的網絡文件系統(NFS)報告《Visualization in Scientific Computing》(意為“科學計算之中的可視化”)。科學可視化主要是將具有幾何結構的三維數據轉換為圖像,應用領域涵蓋科學和工程的多個方面。
信息可視化也是一個跨學科領域,出現于20世紀90年代,旨在為許多應用領域之中大規模非數值型信息資源的視覺呈現提供支持,這些信息資源可能是軟件系統之中眾多的文件、大規模并行程序的日志蹤跡信息、網站內容等。與科學可視化相比,信息可視化側重于異質數據集,如非結構化文本當中的點。
可視分析則起源于2005年,它是一門通過交互可視界面來分析、推理和決策的科學,通過將可視化和數據處理分析方法結合,提高可視化質量的同時也為用戶提供更完整的大規模數據解決方案[3]。如今,針對可視分析的研究和應用逐步發展,已經覆蓋科學數據、社交網絡數據、電力等多個行業。
雖然在這幾大方向之間的邊界還未完全清晰,不過,其相互關系和區別可以總結如下:數據可視化外延不斷擴大,可以認為數據可視化包含科學可視化、信息可視化和可視分析;科學可視化處理的是那些具有天然幾何結構的數據;信息可視化處理的是異質的抽象的數據結構;可視分析則主要通過意會、推理、互動融合的方式來挖掘數據中的問題和原因。
可視化融合了問題的求解和藝術表現方式兩個方面,允許我們同時通過理性和感官方式來感受數據,那么怎樣才是成功的可視化?Noah lliinsky在《數據可視化之美》一書中提到[4],一個稱得上“美”的可視化,必須具備新穎、充實、高效和美觀4個關鍵要素。新穎性體現在必須從嶄新的視角觀察數據,傳統可視化展現方式(如柱形圖)雖易理解,但不夠新奇有趣,是不足以激發讀者新的理解的;充實性體現在可視化一定要為讀者提供獲取信息的途徑,從而向讀者傳遞信息甚至知識;高效性指成功的可視化須盡可能直截了當,而不允許展示太多與目標和主題無關的信息;美觀是指合理的圖形構建(坐標軸、布局、色彩、線條等)是實現可視化之美的必要因素。這四要素必須同時具備,否則不能對數據進行有意義地呈現。
6.2 可視化之美
美麗的可視化作品不同于傳統的可視化,它們能夠通過創造不同于慣例的圖形構建方式,揭示數據顯性和隱性的特征,使讀者在對可視化效果感到驚喜的同時收獲啟示。通過以下的一些案例我們可以充分體會到這一點。
(1)電信數據可視化——《都市移動族》
當今城市被通訊數據所充斥,每個打電話發短信的人都生成特定時間地點的數據包,然而這些數據中有何規律?2008年,法國faberNovel公司對巴黎國際音樂節和新年夜產生的手機數據進行監測和可視化,幫助法國電信運營商Orange建立《都市移動族Urban Mobs》(圖3)[5]。它不僅讓我們發現城市活動中豐富的一面,同時也使電信運營商在流量分析、業務推薦等方面獲得啟示。
(2)電信數據可視化——《活力日內瓦》
手機可以看作是實時記錄并上傳用戶地理位置信息的移動傳感器,2011年,瑞士日內瓦市政府與Interactive Things公司合作,將市民每天在日內瓦市的行動軌跡的手機GPS數據進行記錄,并制作城市生活(Ville Vivante) [6] 動態顯示瑞士電信每時每刻的數據流向。圖4展示的是晚上六點到午夜之間人們移動的軌跡。這種融合基于位置的服務(LBS)和電信數據的可視化方式不僅使政府和公眾對城市生活有了重新認識,同時也產生不可估量的經濟政治效益。
(3)智慧城市——《實時新加坡》
現代城市中每天都在產生海量的數據,如何才能讓政府和市民更快了解城市每時每刻的變化,幫助政府提高管理效能,為市民提供生活便利?2011年,美國麻省理工大學可感知實驗室為新加坡建立了“LIVESingapore”實時新加坡平臺[7](圖5),該平臺能夠為公眾提供實時的城市活動及環境信息。其中,“實時通訊”顯示新加坡語音通訊、短信及網絡使用情況,“等時地圖”實時呈現新加坡居民交通耗時情況;“雨天打車”結合降雨監測和出租車數據進行可視化,從而在雨天智能調配出租車;“城市熱島”將新加坡區域溫度與能源消耗的關系進行可視化。通過對城市生活、環境數據的可視化,可助力提高城市公共服務質量,改善市民生活,真正意義上實現智慧城市。
(4)北京大學PKUVIS微博可視分析工具
結合社會網絡分析中的概念和可視化的呈現方法,佐以統計和智能數據挖掘的方法,可以為海量復雜社會網絡提供快速、直觀和智能的分析和呈現方法[8]。2012年北京大學可視化與可視分析小組開發了支持可視化瀏覽和分析微博熱點事件的“PKUVIS微博可視分析工具”(圖6)[9]。該工具將一條條獨立的微博連接起來,通過直觀的視圖清晰地呈現出一個事件中微博轉發的過程,從而讓用戶能夠迅速地發現事件中的關鍵人物、關鍵微博、重要觀點,同時通過可視化的方式可以更好地分析新浪微博傳播脈絡以及事件的發生與發展的過程。
(5)電力大數據可視化
美國Space-Time是一家提供新一代地理空間和可視化解決方案的創業公司,2011年,Space-Time為美國加州獨立系統運營商設計了一套可以實時監控電力傳輸系統能源基礎設施的可視化軟件Space-Time Insight(圖7)[10],該可視化系統通過控制室中的一個80英寸的顯示屏,在地圖上實時展示長達25 000 km的輸電線路狀況,工作人員一旦發現一個地區出現了問題,就可以根據該地區問題的嚴重性和臨近地區的反應來做出決策。不僅簡化了日常運營復雜度,還在盡可能降低影響的情況下解決問題。這種大數據可視化實踐對中國的電力大數據分析展示乃至整個能源相關行業都具有巨大的參考價值。
6.3 開源可視化工具
如果讀者已經被以上可視化案例所吸引,并且愿意嘗試將企業數據進行可視化,那么開源的數據可視化編程語言和環境將會是不錯的選擇。可視化領域中重要而常用的可視化編程語言和環境有Processing、Processing.js、R、D3、Impure、ParaView、Circos等,它們具備的一個共同特點就是為用戶提供了常見的專業可視化模版或圖形庫,用戶可以通過簡單調用即可很快實現可視化效果,此外,由于軟件的開源優勢,專業用戶可以根據其需求,對圖形源代碼進行定制修改。
在可見的未來,大數據可視化機遇挑戰并存[11],大數據可視化將越來越廣泛地為各領域所使用,也將引發新一輪的投資熱潮,而構建面向電子政務、電信、電力等特定行業大數據的可視分析工具是一個可以深入探索的重要發展方向。 (待續)
參考文獻
[1] Deriving new business insights with big data[EB/OL].
http:///developerworks/library/os-bigdata
[2] Big data landscape v2.0[EB/OL].
http:///2012/10/23/the-big-data-landscape/
[3] 俞宏峰. 大規??茖W可視化[J].中國計算機學會通訊,2012, 8(9): 29-37.
[4] STEELE J, ILIINSKY N. Beautiful visualization[M]. Sebastopol, CA,USA : O'Reilly Media, 2010.
[5] Urban Mobs[EB/OL]. http://urbanmobs.fr/en/
[6] Ville Vivante[EB/OL].http://villevivante.ch/
[7] LIVE Singapore[EB/OL].http://.sg/
[8] 袁曉如,張昕,肖何等.可視化研究前沿及展望[J].科研信息化技術與應用,2011, 2(4):3-13.
[9] PKUVIS微博可視分析工具[EB/OL].http:///weibova/weiboevents/
智慧城市可視化管理范文5
道路擁不擁堵?發條短信就能實時跟蹤路況。不久以后,這樣的場景將在杭州市民的生活中變為現實。
這是杭州中奧科技有限公司(下稱中奧科技)正在研發的智慧出行系統。作為一家有著多年公安行業信息化經驗的公司,中奧科技在進行杭州市智能警務和智慧交通系統平臺建設的同時,也利用這些數據,搭建可為老百姓服務的系統平臺。
與其他城市不同,杭州市從前是以西湖為中心進行城市建設,隨著發展的需要,城市發展中心逐漸轉向錢塘江地區。這就使得整個杭州市的道路布局復雜了很多,搭建了很多橋梁和高架橋,在某些特別時段會出現經常性的大堵車。為此,政府在2011年專門出臺了限行措施。與此同時,中奧科技承建了杭州市公安局和交警部門的智能卡口系統建設。這一系統通過云計算平臺,實現了道路車輛的限行禁行、實時監控、綜合查詢、軌跡跟蹤等應用,為杭州市的交通管理、車輛查控、非現場執法、可視化指揮等提供了有力的數據和應用支撐,提升了當地交通管理、治安管理和應急指揮管理水平。
據中奧科技總經理沈貝倫介紹,在杭州市智慧交通建設領域,中奧科技的卡口系統規模較大,影響也很廣泛。“截至2012年底,我們已經累計完成了前端近2000臺卡口和200多臺高清監控設備建設,日均照片抓拍量月1000萬張。”沈貝倫說。
在為交通管理提供支撐服務的同時,很多與老百姓生活息息相關的數據也在這個過程中產生了。“通過卡口系統監控,我們能夠掌握城中車輛流量和流向數據,從而也就掌握了路面的擁堵狀況,我們想利用這些數據,開發一套路況監測系統,為老百姓的日常出行提供便利,也可以為杭州市的外來旅客提供幫助。”沈貝倫說。
中奧科技之所以能建設這樣一個數據平臺,與杭州市政府的智慧城市建設思路是息息相關的。在智慧城市建設問題上,杭州市政府的思路很開放。據杭州市經濟和信息化委員會副主任楊福頌介紹,智慧杭州建設要盡可能地引進民間資本,由政府集中提供基礎數據支持,各個項目則分別交由不同的企業進行市場化運作。
對此,沈貝倫表示,政府在城市建設上能有這樣開放的心態對于政府和企業來講都是件好事。一方面智慧城市建設項目單靠政府承擔,畢竟資金有限,而由企業開發,則會按照市場化競爭原則,全力以赴充分利用資源,政府在這一過程中無需承擔財政風險。另一方面,由政府提供數據,也可以大大提高系統平臺的客戶服務滿意度。
當前,各個城市紛紛布局智慧城市建設,一些專家對智慧城市建設思路也有不同的看法。有觀點認為城市建設需要出臺頂層設計,進行整體規劃;另有觀點表示,智慧城市應先行先試,在實踐中總結經驗。
智慧城市可視化管理范文6
有“六朝古都”、“十朝都會”之稱的南京,歷來為兵家必爭之地。經歷了6000年的漫長發展,這座歷史名城現今也步入了現代化的建設,搭上了智慧城市的時髦快車。 平安城市是智慧城市建設的主要模塊之一,云計算作為智慧城市的大腦,是平安城市建設的核心關鍵詞。南京市公安局利用中興云計算技術,成功地建設了一套適應海量數據處理的高性能道路圖像監控數據存儲和計算平臺。該平臺從現有的6個數據分中心獲取和匯聚道路監控數據,以便提供集中式的道路監控數據管理功能,為開展各種車輛監控數據應用提供海量數據存儲管理和計算服務能力。
智慧環?!A盛頓、無錫
華盛頓稅務局面臨著大量的水資源和下水道基礎設施老化的問題,其中包括數百項資產,從配水管和閥門到公共消防栓和水表。通過部署IBM智慧的水管理解決方案,華盛頓水務局機構現在能夠在地圖上查看每個資產的詳細位置和狀況,從而生成員工工作日程表,提高員工生產力和縮短路途時間。預測性分析功能幫助減少高成本的服務中斷,使華盛頓水務局能夠集中資源,基于服務需求構建新費率模型。通過預測性維護和自動化儀表讀數,華盛頓水務局成功地將客戶電話維修請求減少了36%,同時加快人員處理緊急情況的速度。此外,員工優化功能幫助減少華盛頓水務局對合同工的需求,每年為華盛頓水務局節省大約180萬美元,同時減少20%的燃油成本。
2007年,太湖藍藻危機爆發,不僅讓煙波浩渺的太湖蒙上了陰影,更讓無錫乃至上海、蘇州、杭州等地區的飲用水源面臨嚴重危機。
一場“智能干預,環保太湖”的行動就此展開,國家設立重大專項太湖藍藻監測項目,要求對太湖富營養化水體各種指標進行監管和控制,對藍藻分布動態實時智能化監測,防止水危機發生。
太湖藍藻環境監測系統以物聯網為平臺,基于GIS實現對水污染源24小時不間斷進行數據和視頻監測。監測數據在地圖上實時顯示,并實時傳送和導入監控平臺。通過智能化自動監測,相關人員及時掌握各污染源分布和污染物排放 ,發現問題第一時間干預處理。同時,監控數據自動導入,防篡改,確保環保部門數據的真實性。
智慧交通——新加坡交管局、芬蘭交通局、昆士蘭州高速公路公司
利用來自新加坡陸路交通管理局(LTA)的i-Transport系統的歷史交通數據及實時交通信息,IBM的“交通預測工具”在預先設定的時段內(10分鐘、15分鐘、30分鐘、45分鐘和60分鐘)對交通流量進行了預測,總體預測結果遠遠高于85%的目標準確率。采用這些預測結果,陸路交通管理局的交通控制人員能夠更好地通過預判管理交通流,有效防止交通堵塞。
芬蘭交通局希望通過統一視圖,獲取道路狀況、事故及交通的全面信息,通過分析和優化城市道路通行能力,主動管理和控制交通擁堵,提供幫助司機和通勤人員選擇繞行路線的能力。通過建設交通預測系統,前瞻性的管理和優化城市總體交通流量,同時通過向公眾城市交通狀況預報,使公眾能更好地安排日常出行,通過對仿真場景分析,了解基于對交通流量和狀況的預測,實際通行能力可能的變化情況。芬蘭交通局將7.8萬公里的道路交通數據轉換成關鍵信息,幫助提高道路管理效率、增強道路安全和運營效率
布里斯班是澳大利亞第三大城市,也是昆士蘭的州府。該城市發展迅速,這導致了交通擁堵迅速升級。為了解決這一難題,經營布里斯班主要的收費公路及橋梁的澳大利亞和昆士蘭政府需要有效地管理日益增長的高速公路車流量,減少駕車者在高速路上花費的時間,減少車輛的污染物排放,實時查看城市和高速公路的交通狀況,提高對交通事故的響應能力,對城市交通網絡和交通服務能力進行可視化展現。
昆士蘭州高速公路公司通過集成來自不同數據源的數據,實現對城市交通狀況如交通流量、擁堵情況、道路施工及封閉以及交通事故的綜合可視化展現,借助先進的IBM智能運營中心的集成,實現跨部門的協作和事故管理處理,同時為駕駛員推薦最快的線路以避免擁堵,增加道路通行量,減少擁堵和污染物排放。駕駛員不需要再停車繳費,從而大大減輕了擁堵的幾率,增加了高速公路安全性和通行效率。
智慧應急系統——深圳、拉美
作為中國最早成立的經濟特區之一,深圳見證了改革開放的歷史,也成為人口密度逼近香港的大城市。
以“智慧”的城市運營方式,保障城市的安全穩定運行,是深圳政府高度關注的問題。在仔細考察了國內、國際的各個應急指揮系統后,深圳政府最終選擇了中興通訊的城市應急指揮系統,借此提升城市級報警運營的智能化水平。
在項目實施之前,深圳已先后建立了110(公安)、 119(消防)、122(交警)等專業指揮中心。為最大限度地兼容原有系統,保護用戶投資,應急指揮系統采用應急指揮中心集中統一接警,根據不同的警情類別分類、分級處警的業務模式。由專業指揮中心處理日常報警事件,一旦出現重大公共安全事件時,則由聯動中心進行統一調度指揮。通過這一應急指揮系統,深圳實現接處警系統的實時、準確、高效,保證報警受理在任何情況下的不間斷服務。