前言:中文期刊網精心挑選了城市設計數據分析范文供你參考和學習,希望我們的參考范文能激發你的文章創作靈感,歡迎閱讀。
城市設計數據分析范文1
關鍵詞:成績數據倉庫;OLAP;多維數據集;數據透視表;數據透視圖
中圖分類號:TP391文獻標識碼:A文章編號:1009-3044(2012)13-2944-05
The Design and Implementation of OLAP Data Warehouse of Student Score Analysis
HUANG Yu-da1,2,LI Xiang-qian2
(1.College of Computer Science and Technology,Southwest University of Science and Technology,Mianyang 621010,China;2. Information and Engineering Department,Zhoukou Vocational and Technical College, Zhoukou 466000, China)
Abstract: In response to the situation that a lot of student achievement data Stored in a transactional database are scattered, inconsistent, and independent,using Sql Server 2008 BI Business Intelligence platform and three-tier modeling approach to build an analysis-oriented student achievement data warehouse.The creating of multidimensional datasets,OLAP analysis ,and OLAP analysis results’showing by means of the pivottable and pivotchart of EXCEL 2007 front tool Provide strong support for Educational administrators in Decision analysis, the forecasting of teaching trend and the formulation of management measures.
Key words: score data warehouse; OLAP; multidimensional datasets; pivottable; pivotchart
目前,無論是與學生成績直接相關的教務管理系統還是與學生成績間接相關的學籍管理系統(存儲學生基本信息)和人事管理系統(存儲教師基本信息)等都已經積累了大量數據。但對這些數據的使用平時基本上都限于一些單方面分析且難以被再次利用,不僅缺乏一些相應技術對它們加以綜合分析[1],而且這些系統由于相應業務不同導致相應的平臺、開發工具、數據庫系統等都不盡相同,可以說互相之間各自為政且缺乏科學、統一的協調和規劃。然而各院校為提高教學質量,對大量教學決策信息的需求顯得更為迫切。另外,數據倉庫是從歷史和發展的角度來組織和存儲數據[2],是面向主題且為決策分析提供服務,而且學生成績數據也比較符合數據倉庫一些特征,如面向主題(成績分析)、相對穩定(每學期一次考試)、隨時間變化(學年學期)等。因此將與學生成績相關的一些數據庫系統中大量歷史數據加以預
處理后載入數據倉庫,可充分利用其中的多維數據分析技術(如OLAP)及數據挖掘工具等對倉庫中數據加以智能化分析處理,從而更好地為教學管理者提供決策服務。
本文采用微軟公司的Microsoft Visual Studio 2008中的Sql Server Management Studio平臺來構建學生成績倉庫,采用Microsoft Sql Server 2008中的Sql Server Business Intelligence Development Studio平臺工具來建立BI項目并實現多維數據集的創建、OLAP分析功能。
1成績數據倉庫的三層建模
本文采用通用的自頂向下、逐步細化的倉庫建模方式即三層建模,依次為:概念模型設計、邏輯模型設計、物理模型設計[3]。
1.1概念模型設計
概念模型設計是一種面向全局的、較高抽象層次上的設計,該階段主要任務是確定系統中主要主題域及其內容[4]??紤]到學生成績特點及影響因素,該文把學生成績分析作為主題來建立成績數據倉庫,倉庫中包含學生學籍信息、課程信息、教師信息、班級信息、專業信息、系別信息、學年學期信息和學生成績信息共八個方面的數據,將學生成績作為關鍵性能指標并將除學生成績信息以外的另外七個方面的信息作為維度數據,所有數據都分別來自學生學籍管理系統、教務管理系統和人事管理系統。
1.2邏輯模型設計
由于本文需建立的成績倉庫的維度數并不是太多而且數據量并非很大即不會占用較多存儲空間,所以針對關系模式的定義以及較高查詢效率的需求,這里決定采用星型邏輯模型,如圖1所示。
圖1成績數據倉庫星型邏輯模型
1.3物理模型設計
目前由于大部分數據倉庫都是基于關系型數據庫而且數據的最終管理及存放都是由相應數據庫系統來處理的,所以這里的物理模型設計就主要考慮關于物理數據庫的一些模型設計,如數據的索引、存儲及其結構等[5]。
本文設計的數據倉庫的核心數據庫是微軟的SQL SERVER 2008企業版關系型數據庫管理系統。對實體表的主外鍵均建立索引以提高響應速度。
2數據ETL過程實現
本文采用筆者所在工作單位—周口職業技術學院幾年來的學生成績相關數據作為數據源。考慮到2007年以前尚未全面啟用教務管理系統、時間略顯倉促及數據收集和預處理需花費大量時間、精力,所以數據源范圍暫先定于信息工程系、機電系和財經系三個系的07級、08級、09級學生成績數據。
2.1數據的抽取及清洗
在確定了成績倉庫中事實表及各個維度表的具體結果模型之后,就需要以這些結構模型為重要參考依據分別從各自對應的業務型數據庫系統中進一步抽取相關數據并經過預處理后再載入成績倉庫。
數據的清洗主要是對數據中的雜質、噪聲、不一致、不規范、遺漏等情況加以處理。一般應視各自具體情況區別對待,不要一律刪除。比如對于某名學生,若有少量課程成績遺漏或出現0-100范圍外的個別噪聲數據則應考慮取平均成績替代;若遺漏課程成績門數較多(4門以上)或因學籍異動造成其數據無法有效參與比較,為保證分析的可靠性則應考慮刪除。另外對于一些關于教師、課程、班級、專業維度信息數據的缺失或出現不一致的情況則進一步核實后加以填充。如有重修或補考成績則均采用正考即首次成績。
2.2數據的轉換
對于考查課中的“優”、“良”、“中”、“差”四個層次,為了便于統一分析,應向百分制轉換。這里對應關系為:“優”-90、“良”-80、“中”-70、“差”-50。此外,對于源數據表中各屬性名、類型及長度都要統一設置并與成績倉庫中對應的維度表及事實表保持一致。
2.3數據的加載
上述各環節工作處理完畢后,接下來就是最后一步即數據的加載。首先在Sql Server 2008 Management Studio環境下建立一個名為“StudentMA”的數據庫,然后利用Sql Server中的數據導入功能將已整理好的8個數據表導入到新建的數據庫中,如圖2所示。在載入目標成績數據倉庫數據庫后,還需根據星型邏輯結構和物理結構的具體設計來設置好各表主/外鍵并為其建立相應索引。
3多維數據集的創建及OLAP技術的應用
3.1多維數據集的創建
進入Sql Server 2008 Business Intelligence Development Studio集成環境后,新建一個名為“學生成績多維分析”的Analysis Service即SSAS項目,然后使用“解決方案資源管理器”來分別創建項目的“數據源”、“數據源視圖”、“多維數據集”。其中“數據源”所對應的連接字符串代碼為:
Provider=SQLNCLI10.1;Data Source=SWUST-573110AE0;
圖2預處理后數據源導入SQL SERVER 2008
Integrated Security=SSPI;Initial Catalog=studentMA
另外,為了滿足決策分析的需要,還需要再通過添加“平均成績”計算成員來新增度量值,新建的“平均成績”計算變量(avg? Score)所對應的MDX語句為:
CREATE MEMBER CURRENTCUBE.[Measures].avgScore AS round([Measures].[Score]/[Measures].[Score計數],0), VISIBLE = 1;
創建后的多維數據集視圖如圖3所示。
圖3成功創建后的多維數據集
最后,對SSAS項目“學生成績多維分析”加以部署和處理操作,部署并處理成功的結果如圖4所示。
3.2多維分析及OLAP技術的應用實現
首先可利用SSAS自帶的“瀏覽器”功能進行多維分析和OLAP操作[6]。在“瀏覽器”界面中,可根據用戶的OLAP處理要求來對創建的CUBE加以自由組合其中的維度,只需將左側窗口界面中的目標對象如維度、維度成員、度量值成員等直接拖動到窗口右側的顯示區域相應位置后即可查看OLAP處理結果。如果要進行數據篩選則需要將篩選條件所涉及到的相應維度名或其成員值拖放到右側窗口上方的篩選字段指定區域。如圖5所示。
另外,由于Microsoft Excel 2007全面支持Sql Server2008的SSAS服務,目前其作為微軟前端展現工具中的一個重要組件已在商業智能方面得到了較為廣泛的應用[7]。Excel 2007中的數據透視表和數據透視圖可直接訪問SSAS項目中對應多維數據集,這樣就不必開發應用程序即可快速而靈活地生成各種圖表及報表。因此可利用該組件來進行多維分析并展現分析結果。
下面通過Excel 2007中的數據透視表來進行多維分析??稍谕敢暠泶翱谌我饨M合一些度量值和維度,直接拖動到EXCEL表格模型的相應行列中即可自動生成所需表格數據。如果想以數據透視圖方式來展示數據則只需點擊工具欄中的柱狀小圖標即可立即生成對應的透視圖。在某些情況下,透視圖的顯示效果要比透視表會更加直觀,如圖6、7、8所示。
其中圖6為教師、課程、班級所有學年學期信息的匯總顯示,細節區域內容為班級人數和平均分;圖7為信息工程系建筑設計技術專業在2009年第二學期教師、課程、班級及平均分信息匯總顯示;圖8為信息工程系道路橋梁工程技術專業在所有學年學期的教師、課程、班級及平均分信息匯總顯示。
圖4項目成功處理示意圖
圖5多維分析結果展示
圖6利用PivotTables功能在EXCEL前臺展示多維分析結果
圖7利用EXCEL前臺透視圖功能展示多維分析結果一
圖8利用EXCEL前臺透視圖功能展示多維分析結果二
4結束語
本文利用Sql Server 2008 Management Studio及Sql Server 2008 BI平臺成功構建了學生成績數據倉庫并建立了數據集市,然后進行了OLAP即聯機分析處理,最后利用Microsoft Excel 2007前臺工具中的數據透視表及數據透視圖組件對OLAP分析結果進行了直觀展示,為管理者進行科學決策分析提供了重要決策依據。另外,增加數據倉庫中的成績數據量以及對成績倉庫中的數據進行深入挖掘分析將是筆者下一步主要研究內容。
參考文獻:
[1]魏麗,王雁苓.高校學生成績分析數據倉庫的建立[J].吉林省教育學院學報,2010(6):42-43.
[2] Jiawei Han,Micheline Kamber.范明,等,譯.數據挖掘概念與技術[M].北京:機械工業出版社,2007.
[3]羅躍國.高校教務系統數據倉庫的建模及應用[J].長江大學學報:自然科學版,2009(3):235-237.
[4]王麗珍,周麗華.數據倉庫與數據挖掘原理及應用[M].北京:科學出版社,2005.
[5]陳文偉.數據倉庫與數據挖掘教程[M].北京:清華大學出版社,2006.
城市設計數據分析范文2
關鍵詞:海綿城市;氣象概念;問題思考;池州市
中圖分類號:TU984
文獻標識碼:A文章編號:16749944(2017)12016004
1引言
隨著我國城鎮化的發展,氣候變化對城市的影響日益顯現出來。我國相當多的城市不僅面臨著缺水問題,還面臨著城市內澇,每到夏季,受強降水侵襲,“城市看海”在多地出現。城市建設帶來的水資源緊缺、水安全威協、水生態惡化等問題已成為當下城市急需解決的難題。如何科學規劃城市的空間布局,使城市在遭遇氣象災害時經得住考驗,值得我們思考。因此,海綿城市建設已成為新型城鎮化建設的迫切需求。
海綿城市是一種形象的表述,是指城市能夠像海綿一樣,在適應環境變化和應對自然災害等方面具有良好的“彈性”,下雨時吸水、蓄水、滲水、凈水,需要時將蓄存的水“釋放”并加以利用[1]。自2015年4月國家啟動海綿城市試點項目以來,目前全國海綿城市建設如火如荼。池州市作為全國首批海綿城市建設試點城市,各項建設順利推進,一些建成的示范區,水患大為降低,減少了城市居民生命與財產損失。因此,有必要總結海綿城市建設中如何將城市氣象災害減少到最低限度的成功經驗。鑒于海綿城市建設技術在國內尚屬起步階段,示范項目建設和推廣實踐較少,筆者結合工作實踐,就海綿城市建設中的氣象問題進行了探討。
2“海綿城市”中涉及的氣象概念
2.1雨水與降水
目前,我國城市排水基本上采取的是快排模式,雨水落到地面匯集后,通過地下管道排出。這種以“快速排除”和“末端集中”控制為目標的建設模式[2],往往容易造成逢雨必澇,澇旱急轉,雨水的循環利用考慮較少。建設海綿城市,就是利用工程措施解決雨水資源流失、城市內澇災害頻發等一系列問題,減少市政管網壓力和投資。優先考慮把有限的雨水留下來,涵養城市水資源,補充城市地下水,促進城市水循環。由此可見,海綿城市具有兩大功效:一是防治城市內澇,二是雨水的收集利用。
顯然,這里的“雨水”實際上就是氣象上所說的降水。降水是水自然循環的重要環節,是地下、地表徑流的唯一源泉,也是人類水資源的唯一來源。建設海綿城市,首要問題就是要摸清楚城市降水的底,在防治城市內澇和雨水收集利用上做文章。海綿城市依據的重要數據是城市水循環中自然降雨量的多少,這是涉及氣象的核心問題。
2.2年徑流總量控制率與設計降雨量
在《海綿城市設計技術指南》中,有兩個術語c氣象關系十分密切,即年徑流總量控制率和設計降雨量。
作為海綿城市的設計和考核指標,年徑流總量控制率是根據多年日降雨量統計數據分析計算,通過自然和人工強化的滲透、儲存、蒸發(騰)等方式,場地內累計全年得到控制(不外排)的雨量占全年總降雨量的百分比。而設計降雨量是為實現一定的年徑流總量控制目標(年徑流總量控制率),用于確定低影響開發設施設計規模的降雨量控制值[3],一般通過當地多年日降雨資料統計數據獲取,通常用日降雨量來表示。
2.3城市內澇
海綿城市建設是針對城市內澇現狀提出來的。城市內澇是指在城市區域遭遇暴雨或短時強降水天氣后發生的氣象衍生災害。當城市地區降水量過多,超過其排水能力時,往往形成低洼地段積水,當積水過深、范圍過大,影響到城市交通、居民生活和生產活動時即形成內澇氣象災害。
根治內澇的關鍵是要保護和恢復城市內原有的河湖、濕地、坑塘等具有集水涵養功能的自然“海綿體”,通過科學規劃,完善城市排水防澇系統,打造人工濕地、雨水花園、下沉式綠地、“綠色”屋頂等人工“海綿體”,就地蓄留和消化雨洪,提高城市防御內澇的能力。
2.4暴雨強度公式
城市內澇在很大程度上是由暴雨造成的。城市排水系統的工程預算和相關設施建設與其設計的流量,特別是暴雨形成的流量息息相關。一般說來,設計流量的合理計算依賴于所采用的暴雨強度公式的精準程度,其計算結果直接影響城市排水工程的安全性與經濟性。
暴雨強度公式是描述降雨量、降雨歷時和重現期三者之間數學關系的經驗公式,它依據水文氣象頻率分析的理論,基于已有的降雨記錄數據,采用數理統計的方法得到的城市暴雨量、暴雨強度、降雨歷時、時間空間的分布等,是科學表達城市降雨規律的一種方法[4]。
目前我國城市建設所采用的暴雨強度公式多為20世紀80年代初期編制,受當時氣象資料、觀測站點及計算條件所限,準確性大大降低。近30年來,在氣候變暖的背景下,極端的暴雨頻率、暴雨強度和局地強降雨特征發生了變化,現行的暴雨強度公式已不能客觀反映當地暴雨的實際情況,因此,有必要重新修訂和編制適用性更強、精度更高的暴雨強度公式,以適應“海綿城市”建設的需要。
2.5降水監測和內澇風險預警
降水監測是城市內澇風險預警的前提。由于城市各區域內地形地貌不同,遭遇強降水時,各處的內澇程度也不盡相同。因此,有必要開展易澇點的實地調查和研究,圈定易發洪澇及積澇點,劃分高風險區域。要利用區域自動氣象站的實時雨量觀測數據分析雨情,為內澇風險預警提供參考依據。同時要根據強降水的監測,及時強降雨臨近預報和城市內澇風險預警信息。
隨著海綿城市建設的深入,越來越多城市的氣象部門在開發研究以城市內澇仿真模擬為基礎的城市內澇風險預警系統。在城市遇到強降水時,可根據自動雨量站的逐時雨量、應用數值預報產品、雷達估測、預測降水產品等,結合城市河道、路面、地下管道等多種不同地理信息,模擬出城市積水深度,并實現城區分區預警,全面提升城市內澇災害的預報預警服務能力。
2.6城市干旱與缺水
城市缺水的主要原因是少雨干旱,此外,城市地面硬化面積的增加,使城市內能夠涵養水源的綠地、濕地、河流、湖泊面積減少,破壞了自然水循環,加上地下水過度開發,城市水資源便會出現緊缺。
解決城市缺水問題,應順應自然,在確保城市排水防澇安全的前提下,最大限度地實現雨水在城市區域的積存、滲透和凈化,補充地下水、調節水循環。同時,應加強生態綠地等“海綿體”建設,涵養水資源。在干旱缺水時,可發揮“海綿體”的功效,讓這些涵養和蓄存的水資源能夠“釋放”出來,并加以利用。
當然,在城市干旱缺水嚴重時,氣象部門開展人工影響天氣,選擇合適時機,適時啟動增雨作業,在一定程度上也可緩解城市旱情和缺水問題。
2.7城市熱島效應
城市熱島效應,是指城市市區的氣溫高于郊外的一種氣候現象。由于城市的工業、公共設施與居民等耗費大量燃料,使城市成為一個重要熱源。無論從早上到日落以后,市區的氣溫都比周邊地區高,相對于溫度較低的農村,城市好像是一個“熱島”[5]。
減輕熱島效應的關鍵是改造城市的生態環境,最有效的措施是增加城市的綠化面積,增加市區的水體容積,營造新的小氣候。開展城市綠化既可美化環境,又可調節空氣溫度、濕度是改善城市氣候的途徑之一。城市水體的熱容量大,在吸收相同熱量的情況下,升溫值最小,表現出比其他下墊面的溫度低;水面蒸發吸熱,也可降低水體的溫度[6],在一定程度上能夠緩解熱島效應。
3池州市海綿城市建設分析
3.1自然氣候
池州市位于安徽省西南部,長江中下游南岸,市域地形為東南高、西北低,自南向北呈階梯分布;境內有三大水系十條河流,江河湖水面348.4 km2,占總面積的4%,水資源極為豐富。池州市屬暖濕性亞熱帶季風氣候,季風特征明顯,雨量充沛,但是自然降雨的季節分布卻極不均勻,根據池州地面氣象站的觀測資料發現,池州市每年2~11月均有暴雨發生,其中5~8月為暴雨多發時段,暴雨日數占全年的78.9%。近50年的氣象統計數據顯示,池州市的年平均降水量為1556.1 mm,其中總暴雨1107 場次。由于其地理位置和環境十分復雜,天氣復雜多變,池州市降水年際變化大,春、夏季易澇、秋、冬季易旱,總的說來,旱、澇年份多于風調雨順的年份。
3.2背景與現狀
作為中國第一個國家生B經濟示范區,池州市擁有園林城市、森林城市的稱號,具有得天獨厚的“海綿城市”架構,市區內綠化面積大,水體容積大,水域面積占中心城區面積的11.7%,濕地面積達11 km2,天然“海綿體”碩大豐滿。然而,伴隨城市在短期內的急劇擴張,快速的城鎮化擠占河湖,城市建設侵占雨水通道和雨洪調蓄空間,河流行洪能力減弱;同時,由于城市排水系統不完善,原有城市排水管網規劃設計標準偏低,排水基礎設施滯后,嚴重降低了城市調蓄水量的能力,在遇有強降水條件下,無法及時排除地面積水。加上城區受到長江洪水和上游山洪的雙重威脅,一方面,下游城區段直接受長江水位頂托;另一方面,上游山洪未得到有效控制,澇情顯得尤為嚴重,城區內不少易澇點往往不堪重負,積水成澇。
據池州防汛部門統計,近幾十年來,池州主城區多次發生水災,內澇嚴重時,中心城區易澇點高達200多個,主要積水區域有30多處,多表現為市政道路、居民小區積水,阻斷城市交通,帶來嚴重損失。由此可見,池州市海綿城市建設的重點是要解決好城市的內澇問題。
3.3規劃目標
為積極保護和改善城市環境現狀,引導海綿城市建設示范區及其他新建的建設項目實踐低影響開發建設模式,池州市在成功申報全國首批海綿城市建設試點城市過程中,制定了《池州市海綿城市建設水系及濕地規劃》,根據規劃,選取中心城區核心區域18.5 km2的范圍,輔之點、線示范,先行先試。示范區覆蓋池州市主要建成區(老城區)和典型新城區(天堂湖新區)。其中,老城區10.68 km2,占比57%;天堂湖新區為7.82 km2,占比42%。試點區域人口17.6萬人。同時,專門編制了3年實施計劃,計劃建設水生態水安全系統等5 大類117 個項目。到2017年底,示范區年徑流總量控制率72%,對應設計降雨量24.2 mm/d,城市內澇防治標準達30年一遇,城市防洪標準達100年一遇,基本建成現代雨水控制利用系統和海綿城市建設長效管理機制。
此外,池州市天然擁有豐富的水系,城市內河管道復雜,平天湖、天堂湖、月亮湖和秋浦河、白洋河、清溪河所構成的“三湖三河”六塊“大海綿”,為池州市打造“海綿城市”提供了充足的自然優勢,方便在降雨的時候充分將雨水留住。在這樣的前提條件下,通過科學規劃,優質施工,可以為雨洪創造足夠的蓄洪空間并進行資源化利用,充分發揮自然海綿體系功能,既能在多雨時避免洪澇,又能在干旱時緩解缺水,真正構建名副其實的“海綿城市”。
2017年6月綠色科技第12期
4海綿城市建設中的氣象思考
海綿城市建設是一個全新的課題,如何在海綿城市建設中更好地發揮氣象的作用,有如下思考。