前言:中文期刊網精心挑選了大數據整體解決方案范文供你參考和學習,希望我們的參考范文能激發你的文章創作靈感,歡迎閱讀。
大數據整體解決方案范文1
EMC Isilon:橫向擴展 性能突出
大數據存儲不是一類單獨的產品,它有很多實現方式。EMC Isilon存儲事業部總經理楊蘭江概括說,大數據存儲應該具有以下一些特性:海量數據存儲能力,可輕松管理PB級乃至數十PB的存儲容量;具有全局命名空間,所有應用可以看到統一的文件系統視圖;支持標準接口,應用無需修改可直接運行,并提供API接口進行面向對象的管理;讀寫性能優異,聚合帶寬高達數GB乃至數十GB;易于管理維護,無需中斷業務即可輕松實現動態擴展;基于開放架構,可以運行于任何開放架構的硬件之上;具有多級數據冗余,支持硬件與軟件冗余保護,數據具有高可靠性;采用多級存儲備份,可靈活支持SSD、SAS、SATA和磁帶庫的統一管理。
通過與中國用戶的接觸,楊蘭江認為,當前中國用戶最迫切需要了解的是大數據存儲有哪些分類,而在大數據應用方面面臨的最大障礙就是如何在眾多平臺中找到適合自己的解決方案。
EMC針對不同的應用需求可以提供不同的解決方案:對于能源、媒體、生命科學、醫療影像、GIS、視頻監控、HPC應用、某些歸檔應用等,EMC會首推以Isilon存儲為核心的大數據存儲解決方案;對于虛擬化以及具有很多小文件的應用,EMC將首推以VNX、XtremIO為核心的大數據存儲解決方案;對于大數據分析一類的應用需求,EMC會綜合考慮客戶的具體需求,推薦Pivotal、Isilon等一體化的解決方案。在此,具體介紹一下EMC用于大數據的橫向擴展NAS解決方案——EMC Isilon,其設計目標是簡化對大數據存儲基礎架構的管理,為大數據提供靈活的可擴展平臺,進一步提高大數據存儲的效率,降低成本。
EMC Isilon存儲解決方案主要包括三部分:EMC Isilon平臺節點和加速器,可從單個文件系統進行大數據存儲,從而服務于 I/O 密集型應用程序、存儲和近線歸檔;EMC Isilon基礎架構軟件是一個強大的工具,可幫助用戶在大數據環境中保護數據、控制成本并優化存儲資源和系統性能;EMC Isilon OneFS操作系統可在集群中跨節點智能地整合文件系統、卷管理器和數據保護功能。
楊蘭江表示,企業用戶選擇EMC Isilon的理由可以歸納為以下幾點。第一,簡化管理,增強易用性。與傳統NAS相比,無論未來存儲容量、性能增加到何種程度,EMC Isilon的安裝、管理和擴展都會保持其簡單性。第二,強大的可擴展性。EMC Isilon可以滿足非結構化數據的存儲和分析需求,單個文件系統和卷中每個集群的容量為18TB~15PB。第三,更高的處理效率,更低的成本。EMC Isilon在單個共享存儲池中的利用率超過80%,而EMC Isilon SmartPools軟件可進一步優化資源,提供自動存儲分層,保證存儲的高性能、經濟性。第四,靈活的互操作性。EMC Isilon支持眾多行業標準,簡化工作流。它還提供了API可以向客戶和ISV提供OneFS控制接口,提供Isilon集群的自動化、協調和資源調配能力。
EMC Isilon大數據存儲解決方案已經在醫療、制造、高校和科研機構中有了許多成功應用。
方案點評
EMC Isilon是一個強大但簡單的橫向擴展NAS方案,適用于希望投資數據管理而不是單純存儲的企業。當初,EMC將收購來的分布式數據倉庫軟件廠商Greenplum的軟件與Isilon存儲組合成了EMC最早的大數據解決方案。用戶既可以分開選擇Greenplum軟件或Isilon存儲,也可以選擇由Greenplum軟件和Isilon存儲組成的一體機解決方案?,F在,Greenplum軟件雖然已歸Pivotal公司,但EMC是Pivotal的經銷商與合作伙伴,Greenplum與Isilon存儲的組合方案并不會因此受到影響。
HDS UCP:統一平臺 應用優化
HDS中國區解決方案與專業服務事業部總監陳戈認為,大數據存儲應該是一個解決方案:“大數據解決方案是由基礎架構的各部件組成的,包含數據存儲、計算和分析,而存儲是此架構中的一部分?!?/p>
大數據的存儲類型與傳統的存儲類型有一定區別:在大數據存儲中,更多的應用是一次寫、多次讀,讀得更多是大數據存儲的一個特點,而在傳統的數據存儲中,讀寫是隨機的,由于每個應用不同,其讀寫的比例也是隨機的;大數據存儲需要具有橫向的可擴展性,并可支持多種接口、多種數據訪問協議,便于不同數據進入這個大數據平臺。
談到中國用戶在大數據存儲應用中最迫切的需求是什么,陳戈認為,中國用戶最迫切的需求是如何逐步實現大數據應用,即用戶從現有的模式如何過渡到大數據,如何更好地利用大數據進行經營分析。
大數據的經典定義可以歸納為四個“V”,但企業不可能一步到位實現四個“V”,這需要一個循序漸進的過程。海量的、多種類型的數據是一次性全部載入到大數據中,還是通過現有的平臺進行數據初選,再導入到大數據平臺中,是兩種不同的實現途徑。“先通過現有平臺進行數據初選,再導入到大數據平臺,這種方式更適合于客戶逐漸實現大數據,可以縮短用戶實現大數據應用的時間?!标惛瓯硎?,“大數據主要是非結構化數據。用戶可以使用基于對象數據存儲的HCP,利用其獨特的元數據采集和智能工具,對非結構化文件數據進行管理,實現智能的自動化,這有助于對數據進行深度分析,幫助客戶從單一系統中存儲、共享、同步、保護、保存、分析和檢索文件數據,減少垃圾數據,進而為大數據分析建立一個良好的基礎?!?/p>
談到用戶在大數據應用中遇到的主要障礙,陳戈表示,一方面,應用軟件本身的智能程度是否能滿足行業應用需求,應用軟件是否已經成型,大數據人才是否具備等,是讓大數據應用落地的關鍵;另一方面,如何抽取數據,放在大數據平臺中進行相應的計算是另一個關鍵問題。
HDS可為所有數據提供單一、可擴展的虛擬化集成平臺。HDS推出了“三步”云戰略,從基礎架構、內容和信息三個層面幫助客戶解決目前所遇到的問題。具體來看,通過“基礎架構云”,HDS可以幫助客戶進行虛擬化和集成管理,實現數據中心的整合;在第二層的“內容云”當中,HDS可以按需提供內容,更可以不受應用限制地進行數據搜索和集成;在第三層的“信息云”中,針對所有數據類型,HDS在其存儲平臺中融入了分析功能,使客戶可以從數據信息中獲取洞察力。
HDS提供的UCP for SAP HANA集成了基于大量數據集的創新和內存分析技術,并提供實時的洞察力,從而使當前的信息驅動型企業可以加快其商業決策的速度。陳戈介紹說,UCP for SAP HANA解決方案結合了HDS刀片服務器技術、企業級存儲系統和業內領先的網絡組件,在這樣一個集成的、高性能的硬件平臺上可以快速交付SAP下一代內存計算技術。全球已有超過200家客戶在使用HDS和SAP的大數據解決方案。
方案點評
其實,HDS的“三步”云戰略也可以看成是其大數據戰略。HDS借助以UCP為核心的大數據平臺,可以幫助企業用戶構建從基礎架構到內容歸檔和搜索,直至信息提取和分析的全面、高效的大數據解決方案。HDS的“信息云”直接與大數據相關。UCP是一個集成了計算、存儲與網絡的一體化平臺,它既可以提供像一體機一樣的整合性、簡單性,又可以提供靈活的選擇,連接第三方的設備組件。HDS還通過與包括SAP在內的眾多大數據分析類的合作伙伴合作,針對行業定制優質的大數據解決方案。
HP StoreAll :快速部署 極速搜索
中國惠普有限公司企業集團存儲產品部存儲架構師張楠向記者表示,大數據存儲是一套解決方案,應該能夠對大數據的Volume、Velocity、Variety和Value四個方面提供全面的支持。
第一,大數據存儲要支持海量級的數據存儲,比如具有PB級的存儲能力。第二,大數據存儲要支持更高的存儲速度,支持10Gb甚至更高的網絡連接。第三,大數據存儲要支持數據的多樣性,如圖片、文本、視頻、音頻等。第四,大數據最重要的是價值的體現,而為了實現這一點,存儲本身應該具備快速、智能的數據檢索能力?!霸诖鎯Φ淖畹讓犹峁┳钪苯?、快捷的數據檢索。這一過程簡單說就是,將上層的數據挖掘工作下移,充分利用存儲強大的處理能力和數據識別能力。”張楠舉例說,“比如,在秒級的單位內對數據進行極速的搜索, 從幾千萬甚至上億個文件中找到目標數據。”
另外,模糊查詢能力也是大數據存儲不可缺少的功能。智能的模糊查詢將為大數據平臺提供更加便捷的存儲服務能力,使得存儲更像一臺智能的高速計算設備。
目前,很多中國用戶在存儲廠商的引導下,片面追求存儲的大容量和高性能,而忽略了大數據存儲本身應該提供的其他額外屬性。中國用戶在實施大數據的過程中經常遇到的障礙有以下兩方面:第一,無法將存儲與大數據平臺進行對接;第二,無法充分利用大數據存儲的價值,也很難將其運用到實際的業務中。張楠表示,究其原因,主要在于有些大數據存儲產品沒有開放的接口協議,或沒有針對用戶的大數據場景進行特別優化,也沒有用戶容易接受的易用的管理方式等。
惠普在大數據方面可以提供軟硬結合的解決方案。惠普在收購Autonomy公司之后,將其軟件與惠普的硬件平臺進行了整合, 形成了一套完整的大數據解決方案。張楠介紹說,在存儲方面,惠普擁有像StoreAll這樣的大數據存儲平臺。借助HP StoreAll硬件平臺,用戶除了可以實現海量數據的存儲和高速數據訪問以外,還能實現高級的數據檢索功能,對特殊文件進行快速定位。同時,結合HP Autonomy軟件的特性,惠普還引入了模糊查詢、智能語義庫等概念,可以幫助企業用戶通過存儲底層為上層業務帶來所需的大數據業務價值。
如今,閃存不僅在大數據領域,而且在Tier 1存儲市場同樣占據著十分重要的地位。對于大數據平臺來說,閃存可用來提升存儲的存取速度,降低I/O的響應時間等。針對那些I/O壓力十分明確的大數據平臺, SSD可以發揮其效果, 提升存儲的整體性能。但是,SSD并不是萬能的。因為大部分的數據都是非結構化的,而非結構化數據對I/O的響應要求遠遠沒有對帶寬的需求大,所以,讓用戶花數倍的價格購買SSD存儲在目前來看還是比較困難的。從目前情況看,引入閃存的大數據解決方案還不是很普遍。
方案點評
惠普在大數據方面收購了兩個軟件公司Vertica與Autonomy,然后將它們的軟件與原有的硬件平臺進行整合,針對結構化和非結構化的數據都可以提供針對性的解決方案。惠普在將大數據軟件與存儲硬件結合上也進行了嘗試,其中一個成功的例子就是HP StoreAll大數據存儲平臺。HP StoreAll具有以下特點:橫向擴展,最大可以擴展到16TB;集成HP Autonomy搜索引擎,可以快速搜索,實現實時大數據的價值;內置對OpenStack的支持,可快速部署;支持文件和對象類型的數據存儲。
NetApp:統一架構 無限擴展
如今,企業若想獲得成功,就必須想方設法應對具有前所未有的復雜性、高性能的海量數據,并盡可能地管理這些數據,從中發掘更大的商業價值。
對于國內用戶來說,無論企業的規模和數據量大小如何,運用大數據的關鍵在于,企業是否把大數據作為一個真正的工具,去體現企業的差異化,從而提升競爭力。隨著越來越智慧的企業信息化的發展,IT不再是束縛企業發展的瓶頸,而是真正地融入了企業自身的業務中。越來越多的公司將大數據成功地運用于企業的商業模式。例如,在歐美,很多企業已經著手將大量資源投放在大數據領域。反觀國內,在金融領域,有為數不少的企業通過大數據的分析工具來分析金融的走勢,實現風險管理,進行信用卡的追蹤等。此外,像零售、制造、電信等行業也已在嘗試利用大數據分析工具為企業營銷和決策提供支撐。
無論企業現在是否正在使用大數據工具,企業都應全面地考慮自身未來發展的需求,選擇一個廠家的平臺與之共同發展,這可以有效避免因數據和應用遷移帶來的麻煩。
在大數據方面,NetApp能夠幫助企業實現數據管理,應對業務挑戰的極限,將以數據為導向的洞察轉化為有效行動。若想將數據轉化為商機,僅僅提升管理能力是不夠的,需要徹底轉變數據和業務之間的聯系模式。NetApp可以幫助企業用戶持續管理數據,迅速把握意料之外的新商機,永久保存所有數據,并在靈活、開放的存儲平臺之上打造屬于企業自己的大數據解決方案。
NetApp提供了可高效處理、分析、管理和訪問大規模數據的大數據解決方案。NetApp的解決方案組合可劃分為分析、帶寬和內容三個主要用例,這被稱之為大數據的“ABC”基本要素。
具體來看,分析(Analysis)是指針對極大數據集的高效分析。NetApp分析解決方案就是幫助用戶深入了解和利用數字世界,將數據轉化為高質量的信息,以及提供關于業務的更深入見解,從而幫助企業做出更好的決策。
帶寬(Bandwidth)是指適用于數據密集型工作負載的性能。此類解決方案著重于為速度非常快的工作負載提供更高的性能。高帶寬應用包括高性能計算(能以極快的速度執行復雜的分析)、用于監控和任務規劃的高性能視頻流、媒體和娛樂領域中的視頻剪輯和播放。
內容(Content)是指無限的安全數據存儲。此類解決方案著重于滿足可擴展的安全數據存儲需求。內容解決方案必須支持存儲的無限擴展能力,以便企業可以根據需要存儲任意多的數據,并能在需要時找到所需的數據。
NetApp致力于通過一系列解決方案來提供高性能的運算和大數據的應用。2013年11月,NetApp再次更新了E系列家族產品,推出E2700和E5500。該系列產品采用可輕松擴展的設計,適用于要求99.999%的可靠性且穩定、高性能的工作負載。
用戶在采購大數據存儲產品時,需要注意以下五個方面的問題:大數據存儲必須具有向上擴展與向外擴展的能力;架構必須是針對工作負載進行優化的,具有實時處理能力;具有整合的數據保護功能;保證7×24小時運行不中斷,可在線進行容量擴展,實施數據遷移等;可以實現服務的自動化。
方案點評
NetApp的技術優勢集中體現在其統一存儲平臺上,從入門級產品到企業級產品,全部基于同一個體系架構和操作系統,不僅部署和使用方便,而且升級和擴展非常簡單。當初,NetApp收購LSI Engenio,其中一個重要的原因就是為了大數據。2013年,NetApp不斷更新E系列產品線,推出E2700和E5500等。E5500可以支持高IOPS混合工作負載和數據庫、高性能文件系統和帶寬密集型流等應用,可確保數據的高可用性、完整性和安全性。
曙光XData:高度集成 貼近行業
關于大數據存儲,目前業界沒有一個通用的定義。曙光信息產業股份有限公司總裁助理兼存儲產品線產品總監惠潤海從曙光大數據平臺和解決方案角度,概括出大數據存儲的主要特征。
首先,大數據存儲必須支持全類型數據, 包括結構化、半結構化和非結構數據,實現統一數據支持。
其次,存儲性能上,一方面,大數據存儲要支持海量數據,并且要在保證數據可靠性的基礎之上,實現容量與性能的線性擴展;另一方面,為了實現大數據的價值,批處理和實時處理兩種措施都需要高性能的數據訪問獲取能力。
最后,在系統達到一定規模之后,系統的易用性和可管理性也是不可或缺的。
從應用角度來說,目前中國用戶在大數據存儲應用中最迫切的需求,是如何真正實現用戶數據的價值,如何驅動業務發展,實現決策和運營?!皬南到y構建層面說,要實現數據高性價比的存儲和管理,同時滿足數據服務的相關需求。”惠潤海表示。
針對用戶對大數據存儲的需求, 曙光推出了像大數據一體機這樣的全類型數據分析型產品,同時還基于該產品構建了基于行業的解決方案,以幫助用戶實現大數據落地。
“除此之外, 我們還提供了大數據統一數據中心解決方案, 涵蓋了像主攻事物處理的DS900、DS800,以及針對文件存儲的Parastor等存儲產品。我們基于這些存儲產品構建了大數據運營管理平臺?!被轁櫤=榻B說,“曙光的優勢不僅在于可以提供全面的產品支撐,更重要的是能夠提供數據生命周期過程服務支持。目前,我們提供的免費維保期限為5年?!?/p>
曙光開發了針對不同行業和應用場景的大數據存儲解決方案。以金融行業為例,目前國內四大行的應用系統每年產生的非結構化數據量已達到PB級,結構化數據也以百TB計。面對如此大量的數據,如何存儲、管理、利用和盤活它們呢?惠潤海認為,只有通過商業智能和高級分析應用解決方案才能將數據的價值最大程度地發揮出來。
針對金融行業用戶的需求,曙光開發的XData大數據解決方案利用優化的大數據處理技術,對文件管理、歷史數據查詢和數據分析類應用等進行深入研究,為數據爆炸式增長帶來的海量數據存儲及分析應用提供高可靠的解決方案。
曙光金融行業XData大數據解決方案采用曙光自主研發的SN-MPP并行數據庫,同時結合大數據處理事實標準Hadoop,并充分考慮了多方面的數據收集,加入ETL工具和連接驅動器,提供了類SQL的接口,還和現有金融業務系統進行對接。
針對金融行業歷史數據,XData大數據解決方案在方案設計上主要考慮了數據的安全性、歷史數據高效導入、快速訪問與分析報表。曙光金融行業大數據解決方案立足于基礎平臺建設,同時切實貼合金融行業用戶需求,提供了優質的軟硬一體化解決方案,為用戶一攬子解決了部署、業務移植開發等技術難題,幫助用戶跨過應用門檻。
大數據整體解決方案范文2
“我特別擔心有客戶對我說,請富士通來幫我做一個大數據解決方案,幫我解決包括研發、生產和銷售在內的所有問題。說實在的,富士通真的做不到。大數據解決方案的形成是一個過程,是IT廠商與用戶一道在分析企業自身運營狀態與所在行業發展趨勢過程中不斷改進的過程?!备皇客ǎㄖ袊┬畔⑾到y有限公司副總裁兼市場戰略總部解決方案服務戰略事業部總經理黃邦瑜7月11日在貴陽大數據國際年會上接受采訪時表示。
數據決策的5個階段
黃邦瑜在接受采訪時強調,大數據應該是一個幫助企業決策的工具,企業管理者千萬不要認為IT能代替他們做出決策。他介紹說,富士通把企業的決策分為五個階段:
第一個階段,以傳統的根據企業管理層的經驗來做決策為特征。這其中涉及一些數據,這些數據可能是管理者的紙面記錄和報告,或者新聞媒體的一些信息。管理者認為該怎么做,于是拍腦袋就做出決策了。
第二階段,以辦公軟件中的Excel等表格中的數據為依據進行決策。這種表格可能很大,橫向縱向都有好幾頁。
第三階段,為了把企業管理層從各種各樣的電子表格和電子表格中龐雜的數據中解放出來,IT部門會用IT手段把重要的信息及時提煉出來,并且每天早上發給管理層供其決策使用。這一階段的數據來源是多樣化的,如ERP、財務、人力資源、生產等系統產生的結構化數據。經過提煉后,這些數據會以圖形化的方式呈現。還有一些來自網絡、媒體等的外部數據。所以,管理者會看到結構化與非結構化兩種數據。
第四階段,借助IT手段從大量的數據中找出規律并提醒管理層,而不是要管理者針對各種數據做出快速反應。
第五階段,根據內外部各種數據對未來的一些業務場景進行模擬,以評估決策的效果。
“因為管理層的時間和精力有限,這就要求IT能夠采集企業運營過程中產生并積累的大量準確的數據,并且從外部海量數據中攝取相應的輔助數據,然后通過數據挖掘和分析等方式,將其規律找出來,并且比較精煉地展現在決策者面前,使其能夠在短時間內做出精準的判斷和決策?!秉S邦瑜說,“當然,前提是企業的信息化基礎要足夠好。如果企業沒有存儲運營過程中產生的大量的有價值數據,一切也都無從談起。”
大數據對決策的輔助支持不僅適用于管理層。企業會遇到戰略、市場或技術等各種不同層面、不同范圍的決策問題。黃邦瑜舉例說,富士通眾多業務中包括醫藥領域的基因與新藥研究。以往的新藥開發主要憑借科研人員的智力和經驗。如今,研究人員如果有了一個靈感或者設想,可以在高性能計算機上進行模擬和驗證。大數據已經顛覆了傳統的新藥開發模式。
企業必須參與其中
科學與技術之間一個基本的區別在于,科學是去發現自然界中原本就存在的規律,而技術則是為了發明自然界中原本不存在的東西。就目的而言,大數據更像科學,它要做的是去發現原本存在于海量數據中的關聯性規律,只不過先前IT的存儲與計算能力難以勝任。
“企業在上馬大數據之前首先要練好內功。以制造業為例,企業要從研發、生產、營銷等流程上進行審視,看這些流程中的數據是封閉在各自的流程中,還是可以被其他流程共享,因為在從產品研發到銷售的整個業務流程中,某個流程上產生的數據可能會對其他流程產生影響。上大數據應用的前提是打破企業的信息孤島?!秉S邦瑜說。
在之前的企業信息化建設中,IT供應商與用戶的職責很清晰。系統集成商要根據用戶的應用需求,結合企業所在行業的屬性,制定并實施相應的解決方案;系統建成后,交由用戶使用。而大數據應用則要求打破甲方、乙方涇渭分明的界限,要求用戶與系統集成商一道完成大數據解決方案。
“現在大數據非常火,以至有的企業認為大數據就是一副靈藥,馬上能夠解決企業存在的所有問題。實際上這是一種認識誤區?!?/p>
黃邦瑜說,制造企業擁有大量的各種類型的數據,不可能找到一種解決方案把企業經營者想找的規律一下子都找出來。富士通會根據用戶的需要找一個主題,用戶從業務分析著眼,讓數據與業務關聯;而富士通則從IT入手,分析如何從海量數據中找出與該主題相關的規律,然后制定并實施相應的解決方案。
“當前,大數據尚處于起步階段,中外企業最大的差別在于,國外企業信息化應用更成熟一些,他們會針對大數據提出自己的問題和需求?!秉S邦瑜說。
云計算,特別是SaaS應用的普及,使得企業的數據越來越多地向云遷移,企業的數據安全問題因此凸顯出來。黃邦瑜因此特別強調云計算下大數據應用的安全問題:“現在,企業的云應用還處于初步階段,如辦公系統、人力資源等,一旦企業的ERP等核心應用遷移到云上,而相關的法律、法規和行業監管沒有及時跟上的話,企業的核心數據就有可能被他人惡意盜用,或者被服務供應商為了商業目的而濫用。”
“歐美日在這方面的監管非常嚴格,市場準入門檻非常高,需要企業具備多種資質。如果不能在機制上有效地保護用戶數據不被濫用,那么企業會因為出于對數據安全的擔心而對云計算乃至大數據應用裹足不前。”
貴在理解用戶的業務
傳統上,日本IT廠商比較低調,不像美國IT企業那樣通過強勢的市場營銷開辟新的市場,并借助合作伙伴的力量迅速進行市場擴張。日本的IT廠商通常會與客戶保持長期而密切的合作關系。比如說,富士通現在提倡的精益IT理念就源自幾十年來與豐田汽車在生產管理方面的合作。
“傳統日資IT企業與德國企業比較接近,都比較務實,注重產品品質和細節。而且日資企業的員工流動率沒有美國企業那么高,技術隊伍的穩定使得日資IT企業對其客戶所在行業的知識和經驗積累得更多。這些因素使得日資IT企業與他們的客戶保持密切的長期合作關系?!秉S邦瑜說,“今天看來,在與客戶長期合作中形成的對用戶業務深刻的理解,以及由此形成的良好的用戶體驗非常重要,因為大數據的實施既要盡可能理解用戶的業務,又要與用戶一道持續不斷地對解決方案進行改進?!?/p>
黃邦瑜說:“富士通既是IT企業,也是制造行業企業,因此我們會基于自己的最佳實踐,為不同的客戶提供更細致的產品和服務。從產品上看,富士通的特點是比較全,包括后臺的服務器、存儲、網絡、中間件,以及客戶端的智能手機、平板電腦、筆記本電腦等。因此,富士通的整體解決方案會更加優化。
“從系統整體上規劃、設計和實施大數據解決方案是富士通的優勢所在。比如說,在醫療影像領域,有的美國影像設備供應商會在賣設備時附送該設備的處理軟件,但它并不能滿足醫院除了醫療影像設備之外的其他需求。”黃邦瑜說,“而作為IT廠商,富士通更關心如何用IT系統來支撐醫院的整個影像業務,即在包括掛號、門診和影像科檢查等在內的整個流程中,不同科室如何分享影像數據,如何分門別類地存儲這些數據,如何與醫院的信息系統對接等?!?/p>
大數據整體解決方案范文3
歸檔到磁盤
傳統上,人們習慣用磁盤做備份,用磁帶做歸檔。隨著數據量的不斷增加,人們需要更快速地處理、歸檔數據,而且要保證歸檔數據隨時可查。雖然從成本的角度考慮,磁帶仍然是最經濟的歸檔介質,而且磁帶可以實現離線的數據保護,這有利于數據的異地保存和安全性,但是性能始終是磁帶最大的掣肘。Janae Lee舉例說:“在美國,我們的一個客戶為了提高系統的整體處理性能,在一級存儲中使用了固態硬盤(SSD),之后不經過任何中間環節,就將數據直接歸檔到磁盤系統中。”一些互聯網企業和游戲客戶可能會對這種高性能磁盤歸檔方案感興趣。
從技術的角度看,將磁盤用于歸檔是否可行呢?當磁盤上的數據越聚越多時,即使有RAID等技術作為保護,磁盤還是會容易出現故障。退一步說,就算RAID技術能夠起到保護作用,RAID進行數據重構時,也要花費一定時間,當數據達到PB量級時,這種重構所花費的時間可能是用戶難以忍受的。由此可見,將磁盤用于備份,一個前提是必須提升磁盤的效率、安全性,同時降低其整體擁有成本。為此,昆騰將一種原先用于通信領域的技術引入到磁盤歸檔方案中,推出了基于Wide Area Storage(WAS)技術的磁盤備份方案。與RAID磁盤相比,WAS的安全性大大提高,效率提高50%~70%,整體擁有成本降低50%~70%。Janae Lee介紹說:“我們的磁盤歸檔方案基于NAS界面,可與StorNext軟件配合使用,非常適合云歸檔應用。磁盤歸檔方案將于2013年初面世?!?/p>
磁帶是數據保護的最后一道防線。Janae Lee表示:“磁盤歸檔方案與磁帶歸檔方案之間不是替代的關系,而是互補的關系。磁帶歸檔市場仍在不斷擴大。對于那些辦公場所位置分散,又希望快速存取數據的用戶來說,WAS是比較理想的選擇?!?/p>
磁帶不受影響
在大數據時代,磁帶的重要性會進一步被削弱嗎?昆騰公司大中華區總經理張金華介紹說:“從2011年昆騰在中國的銷售業績看,以DXi系列產品為代表的磁盤業務始終保持高速增長的態勢,每個季度的增長率都能達到兩位數,而磁帶業務則與2010年持平?!彪m然昆騰的業務重點已經轉向數據保護整體解決方案和大數據,磁帶不再是業務核心,但是昆騰并沒有放棄磁帶業務,對于磁帶的研發投入也沒有減少。
“我們為磁帶庫產品增加了一些新的功能,比如EDLM自動磁帶內容檢查功能、雙機械臂、Active Vault等。這些新功能的加入,可以讓磁帶庫與StorNext軟件更好地配合使用?!盝anae Lee舉例說,“在廣電領域,10%的數據存儲在磁盤上,90%的數據存儲在磁帶上。用戶還要經常調取磁帶上的數據。StorNext 4.3版本增加了一項新功能,在將數據寫入磁盤的同時,也會寫入磁帶。這種技術非常適合電視臺節目上傳的應用。”
軟硬件都重要
在昆騰的大數據解決方案中,StorNext扮演了極其重要的角色。以前,StorNext都是以軟件的方式提供給客戶的。但是有客戶反映,StorNext的部署和調優比較復雜。為此,從2011年開始,昆騰開始提供基于StorNext的軟硬件一體化解決方案。
大數據整體解決方案范文4
人機結合,數據化運營的必然選擇
目前世界上沒有任何一臺計算機的性能能夠比擬人腦。運營小二在實踐中提煉出來的經驗和規則是最寶貴的知識。大數據解決方案如果忽視了人的經驗,則一定會像無頭蒼蠅,盲目而不接地氣。而機器,算法,程序則能夠夜以繼日的挖掘出數據中的細節,這些細節是人難以識別和發現的,有些也難于解釋。但是卻能夠產生出人意料的價值和效果。人機結合,是讓數據價值最大化的必然選擇。
在爆款模型解決方案的整體構建中,運營,產品和數據科學團隊進行了多次溝通,將業務痛點不斷提煉總結,最終將整體解決方案的目標定位在兩個點上。第一,最大可能的減少運營小二的審核工作量;第二,模型算法推薦出來的高分商品,將在實際售賣中比人選商品實現更高的成交。
針對第一點,運營提煉總結出了6條商品審核不通過的硬指標,即:
1、賣家商品質量DSR< 4.6
2、報名備貨總額< 10萬元
3、因選款無優勢被拒絕次數> 3
4、報名價格>全網歷史最低價
5、在淘寶的評價數量< 3
6、在淘寶的月銷量< 3
觸發這6條指標中的任意一條,商品將不會通過審核,在模型中,我們將這樣的商品打為0分。在爆款模型整體解決方案構建的第一期,我們將這六條規則固化,發現每天待審的商品中有40%都因觸犯了這六條高壓線而打分為0。然而,BI針對此規則監控了2周時間,發現0分商品依然有很多通過了審核。0分商品的準確率在70%-80%左右,其中女裝類目的準確率只有50%左右。也就是說,根據運營經驗總結固化出來的規則也是有問題的。針對這一點,BI團隊再次與運營和產品進行確認。而運營也修正了他們的經驗。那些通過審核的0分商品中,大部分是新品,在全網的銷量和評價數很少,但是卻需要聚劃算給與支持。針對這一點,BI又一次調整了0分規則,調整過后,0分商品數量占整個審核商品的20%左右,而準確率則高于了90%。經過多次調整和確認,固化了運營經驗的0分規則滿足了預期。
針對第二個目標,即模型推出爆款,數據科學團隊離線試驗了多種機器學習的算法,進行大數據挖掘。在數據挖掘建模的過程中,從特征的選擇,數據的清理,算法庫的構建,集成,到最終的離線數據試驗,算法效果比較,數據科學團隊進行了大量的嘗試。從近百個描述商品,賣家,品牌,平臺表現的指標中,進行變量選擇;解決了定性變量在建模中所帶來的困難;通過并行計算,提升了算法試驗的效率;最終構建了包含變量選擇,數據清理,以及邏輯回歸,CART,加權k近鄰,elastic net,隨機森林,gbm,支持向量機,神經網絡以及flexible local tree(FLT,法決發明)等多種算法的算法庫。形成了機器學習算法方面的整體解決方案。在此基礎之上,又對數據進行了反復的研究和算法試驗,最終從中選出了最適合聚劃算爆款模型應用場景的FLT算法。
之后,BI團隊部署了該算法,并針對女裝類目進行了在線的對比試驗。我們對比了6月1號到6月10號報名商品中通過審核后實際上聚的成交金額,與模型打分。數據表明,模型打分在50分以上的商品比50分以下的,成交金額高出了50%。而且商品的成交金額與模型打分有著高度一致的保序性。即模型打分越高的商品,實際成交金額越高。這說明了算法是有效的,確實從大數據中找出了爆款的模式和規律,而這些規律則是人難以發現的。
大數據整體解決方案范文5
紫光集團近幾年在IT領域,特別是半導體領域積極布局,通過不斷并購,在增強自身整體實力的同時,實踐著自主可控的創新夢。在云計算、大數據時代,打造從“芯”到“云”的完整產業鏈是紫光集團的大戰略。
9月8日,紫光西部數據有限公司(以下簡稱紫光西部數據)成立典禮在南京舉行,這是中國大數據產業創新發展的又一重要里程碑。秉承“自主創新+國際合作”的發展理念,紫光西部數據致力于為各行業客戶提供基于全產業鏈的大數據服務,成為中國大數據產業戰略合伙人,這是為逐步實現紫光集團大戰略而設定的一個“小目標”。紫光西部數據從現在開始起步。
構建從“芯”到“云”的大生態
眾所周知,紫光集團是中國IT界的一艘新航母。在國家集成電路產業推進戰略的引導下,紫光集團以“自主創新+國際合作”雙輪驅動,確立了以集成電路產業為主導,向泛IT、移動互聯、云計算與云服務等信息產業核心領域集中發展的戰略。
從2013年以來,紫光集團通過一系列的戰略并購,不斷完善自己的戰略布局,豐富產品線。紫光集團先后投資超過1500億元,收購了全球移動通信芯片公司展訊通信和銳迪科,控股H3C和惠普中國企業業務,分別成立紫光展銳和新華三集團。清華系旗下最重要的IT產業平臺已具雛形,全面構筑從“芯”到“云”的信息產業生態系統并非妄言。
IDC預測,到2020年,全球的數據總量將達到44ZB。數據規模的持續增加,用戶對數據處理的速度,以及系統的可用性、可擴展、靈活性等的要求不斷提升,這些都是大數據存儲迫切需要解決的問題,也是大數據存儲產業面臨的新機遇。
毫無疑問,大數據存儲業務是紫光集團這艘航母前進的主要動力之一,而紫光集團的戰略布局也早為大數據存儲業務的快速發展埋下伏筆。2016年7月,紫光集團收購武漢新芯多數股權后,長江存儲科技有限責任公司正式成立。紫光集團持有長江存儲科技有限公司超過50%的股份。紫光集團董事長趙偉國出任長江存儲公司董事長。這是紫光集團的大戰略從“芯”開始的一個具體體現。
在今年舉行的第二屆中國大數據產業峰會暨中國電子商務創新發展峰會上,趙偉國曾表示,從2016年開始,紫光集團計劃投資300億美元用于存儲器芯片制造,這大概是中國有史以來最大的存儲項目。大數據的發展需要海量存儲,而中國以前在這方面是空白,這便是紫光集團選擇的發力點。芯片是產生和存儲數據的基本單位,也是發展大數據存儲的基礎。只有在芯片上掌握主動,才能在發展大數據存儲時做到有的放矢。
在紫光集團著力打造的從“芯”到“云”的產業鏈中,“芯”是指芯片,那么“云”當然是指大數據、大互聯、大安全和云計算。紫光集團控股的新華三集團在云和大數據方面提供了完整的解決方案,包括服務器、存儲、網絡設備,以及云操作系統、大數據安全系統等,在除運營商以外的企業網絡領域,紫光排名第一,在全球僅次于思科。
在大數據存儲的產業鏈條上,有了武漢新芯的存儲芯片,又有了新華三的存儲解決方案,這中間是不是還少了一個能夠將它們串聯和徹底打通的環節?紫光西部數據應運而生。
自主創新也少不了國際合作
紫光西部數據于2016年3月28日注冊成立,總部位于南京市秦淮高新技術園區內,市場和銷售總部則位于北京。紫光集團旗下紫光股份持股比例為51%,而西部數據持股比例為49%。
紫光西部數據首席執行官繆剛表示,新公司的愿景可以概括為一句話:以數據成就未來,做中國大數據產業戰略合伙人。
具體來看,這一愿景又可以細分為以下四個層面:第一,扎根中國,放眼全球,新公司將以中國為起點,憑借全球領先的技術研發、設計生產、市場推廣等方面的優勢,提供符合中國市場需求的全方位大數據解決方案,并在此基礎上,進軍全球市場;第二,自主創新,安全可控,通過自主研發,實現自主、安全和可控,在保護數據可靠的基礎上,保障多種核心應用的安全、穩定運行;第三,行業優化,扁平融合,針對具體的行業需求,開發符合行業特性的全方位數據服務,通過實現應用層扁平化,實現大數據整體發展;第四,開放合作,攜手共贏,全面打造開放創新的平臺,攜手各界合作伙伴,建立合作共贏的生態體系,合力推動大數據產業的創新發展。
為了實現上述宏偉目標,紫光西部數據需要在堅持自主創新的基礎上,以開放的胸懷,采取積極的合作策略,而西部數據無疑是一個理想的合作伙伴。
西部數據是全球領先的數據存儲解決方案提供商,在全球硬盤市場的占有率排名第一。與紫光集團類似,西部數據近幾年也通過一系列的收購不斷完善產品的布局。2012年,西部數據收購昱科環球存儲科技咨詢有限公司(HGST),目的在于為企業級市場的客戶提供高價值的存儲解決方案。2016年5月,西部數據又以190億美元的大手筆完成了對閃迪(SanDisk)公司的收購,快速轉型,成了閃存市場的佼佼者。
美國西部數據公司全球高級副總裁、數據中心系統事業部總經理唐戴夫表示:“我們之所以選擇紫光集團作為合作對象,一方面是因為紫光集團具有本地研發、設計、生產、營銷的能力,可以提供針對本土用戶需求的定制化的解決方案;另一方面,紫光集團擁有寬泛的產品線和業務,紫光旗下的新華三、紫光互聯等,都可以成為西部數據的合作伙伴,形成解決方案和業務上的互補。西部數據與紫光集團的全方位合作,讓我們感覺未來在技術和業務的創新大有可為?!?/p>
繆剛進一步介紹說:“合資公司將在核心存儲技術、企業級存儲解決方案,以及大數據全產業鏈服務等領域形成關鍵戰略合作,推動紫光集團從‘芯’到‘云’的信息產業生態系統的構建,同時幫助西部數據實現業務拓展,為智慧城市、金融服務、媒體娛樂、天文氣象、電信、基因科學、醫療衛生、新興互聯網等各行業客戶提供符合其需求的數據存儲和數據服務解決方案。”
打造系統級的存儲產品
紫光西部數據為何落戶南京?首先,紫光西部數據在南京現有一支70多人的研發團隊,未來還要進一步擴張,這也是讓紫光西部數據引以為豪的實現自主可控的基本保證。其次,紫光西部數據接下來要與南京當地的政府、企事業單位加強合作,紫光西部數據與南京市有關部門聯合成立的大數據研發中心正在醞釀之中。
正如繆剛所說,紫光西部數據要首先扎根中國,為中國用戶提供滿足其需求的定制化的大數據存儲解決方案。紫光西部數據9月8日舉行成立慶典之后將全面展開營銷活動,而最先推出的產品就是西部數據特有的動態歸檔(Active Archive)系統。這一動態歸檔系統是一個獨立自主的對象存儲系統,可以方便地擴展存儲容量,最高可達數PB,且具有更高的可靠性和更好的成本效益,能夠同時滿足傳統應用需求和新型應用需求。
時至今日,西部數據已經不再是那個擁有單一硬盤產品的廠商,其產品線涵蓋存儲介質、存儲平臺、系統軟件和系統構件,其中存儲系統成了最主要的抓手,動態歸檔系統就是代表,而這正是紫光集團與西部數據合作最重要的一類產品。
“我們計劃利用3~5年的時間,打造一個完整的系統級存儲的產品框架。以動態歸檔系統為例,這是新興的對象存儲,與新華三的存儲產品線并不沖突,反而是互補關系?!笨妱偨榻B說,“在動態歸檔系統的基礎上,我們會與中國的ISV攜手,針對不同的應用場景提供定制化的服務,打造產品與需求深度融合的本地化解決方案,同時也不排除與開源技術相結合,研發基于開放平臺的動態歸檔系統的可能性。這正是紫光西部數據的優勢和價值所在?!?/p>
大數據整體解決方案范文6
“IBM對大數據有自己獨到的觀點?!盜BM軟件集團大中華區業務分析洞察及智慧地球解決方案總經理卜曉軍在主題為“大數據·大洞察·大未來”的年度大數據戰略會上的發言舉重若輕。的確,IBM嚴謹的智慧分析洞察方法論、完善的大數據平臺解決方案以及廣泛深刻的行業落地實踐,讓IBM有底氣宣布即將馴服大數據,IBM的大數據平臺或許就是企業正在苦苦尋找的“長鞭”和“韁繩”。
對付大數據4個V
大數據的3V特點(Volume、Velocity、Variety)已無需贅言——“過去兩年里所產生的數據量占到人類有史以來所積累的數據總量的90%”,“每秒鐘有500萬筆交易發生,每天有5億個通話記錄產生”,“80%的數據增長來源于圖片、視頻和文檔”。這就意味著在應對大數據時,要集成和管理高容量、即時、多類型和分散來源的數據。
“這一切只是開始?!辈窌攒娧a充道,“3V只是對大數據最基本特征的歸納,實際上,大數據向外延伸的涵義很豐富?!盜BM就歸納總結了第4個V——Veracity(真實和準確),為什么第4個V足以與前3個V相提并論?“這是因為,只有真實而準確的數據才能讓對數據的管控和治理真正有意義?!彪S著社交數據、企業內容、交易與應用數據等新數據源的興起,傳統數據源的局限性被打破,企業愈發需要有效的信息治理以確保其真實性及安全性。
如何充分應對大數據的4V特性,成為了想獲取大數據深層價值者面前的一道難題?;凇?A5步”動態路線圖的大數據戰略再次體現了IBM完整的軟件體系架構和綜合能力。
“單獨談大數據沒有意義,正如認為Hadoop足以解決大數據所有問題一樣過于片面。”IBM軟件集團大中華區信息管理軟件總經理盧偉權強調,“大數據應該滲透到企業的IT架構中,這就要求大數據平臺具備在信息原有的形式上進行進一步的分析、使所有的數據具有可視性并被有效用來分析、為新的分析應用開發更加有效的環境、優化與合理分配工作量、安全與治理等能力,兼容企業級的可用性、管理性、安全性和集成性?!?/p>
Hadoop缺乏數據管理的能力,IBM將Hadoop整合到大數據平臺中并結合已有的產品,由此以四大核心能力Hadoop系統、流計算、數據倉庫和信息整合與治理為支點提供端到端的大數據解決方案。
盧偉權總結道:“IBM將數據庫領域里多年積累的經驗,和對用戶需求的高度考量融合到大數據平臺中,通過‘增強’的理念把大數據解決方案有機整合到客戶現有的數據平臺上,保護客戶現有的投資,在不擯棄傳統數據倉庫的前提下,通過信息整合和治理等工具,為客戶創造效率和成本的最佳平衡?!?/p>
落腳點是行業應用
不落實到行業,不出示行業應用,人們對大數據的感知仍然會停留在“它僅僅是一個技術趨勢”的膚淺層面。只有讓大數據成為新的解決業務問題的手段,才能打破大數據懷疑論者的疑慮,才能說明大數據可用——正如《哈佛商業評論》英文版總編輯阿迪·伊格內休斯所言,“大數據就在那里,關鍵看它如何為你的公司所用”。
“端到端的總體技術,包括信息治理和集成、大數據管理、實時分析,最后的落腳點是行業應用?!盜BM中國開發中心信息管理首席架構師及大數據架構師陳奇說明技術服務于商業是終極追求。
行業應用場景是IBM大數據策略最有力的說客,在數個主要行業中應對大數據的相關場景和實踐經驗的分享讓其優勢不言自明。
伴隨著制造業演變為“供應鏈核心模式”,IBM軟件集團制造事業群總經理蕭丁瑞希望制造業企業在IBM的幫助下實現供應鏈的可見性,以快速有效的方式處理供應鏈環節中的數據,弱化需求與供給之間的波動傳導,達到產銷協同。
IBM軟件集團大中華區架構師總經理林旭認為,隨著競爭不斷激化,實時數據處理和客戶行為預測成為運營商搶占的高地。IBM有能力幫助電信公司整理分散數據,管理動態數據,實時獲取用戶行為分析,增強客服效率和業務推送精準度。
“在金融行業中,客戶數據是最珍貴的,這就決定了大數據平臺必須是對傳統數據倉庫的補充和增強?!盜BM軟件集團大中華區銀行業解決方案高級顧問陳劍指出,“此外,金融行業除了對于用戶行為預測和實時處理等需求之外,還面臨著風險和欺詐的巨大挑戰。”IBM大處理解決方案可建立風險模型,通過實時匹配交易行為模型,對風險和欺詐進行監控,并補充和增強原有傳統數據倉庫中客戶檔案和信息。
事實 說話
【黃河水利委員會】
IBM與黃河水利委員會合作,幫助其構建黃河數據交換與共享服務平臺,高效適應水利系統工程復雜性的需求。通過利用IBM InfoSphere軟件,黃河水利委員會得以連接各個孤立的數據中心到統一的數據交換與共享服務平臺,有效消除了各業務系統和各組織結構之間的信息孤島,簡單獲取黃河數據資源的單一視圖,并確保了數據的完整性、及時性、準確性和一致性,同時首次實現元數據的可視化統一管理——在防汛減災、水量調度、工程管理、辦公自動化、水土保持、遙感監測、檔案管理等方面顯著提升業務管理水平,推進更智慧的“數字黃河”。
【越南東方商業銀行】
IBM與越南東方商業銀行展開合作,利用IBM Netezza數據倉庫一體機、IBM Cognos業務分析軟件、IBM InfoSphere Data Stage Solution以及IBM銀行業數據倉庫模型和相應的軟件服務等。IBM Netezza數據倉庫一體機為東方商業銀行所有部門的業務人員直接部署分析能力,包括銷售、市場營銷、產品開發和人力資源,支持其處理客戶、業務和財務數據,并最終實現其從綜合型銀行向零售型銀行的轉型,助力東方商業銀行建立以客戶為中心的商業體制,依此開展零售銀行業務,并力爭達成在2015年前成為越南十佳品牌股份制銀行的目標。