前言：中文期刊網精心挑選了優化技術范文供你參考和學習，希望我們的參考范文能激發你的文章創作靈感，歡迎閱讀。
優化技術范文1
【關鍵詞】通訊網絡 LTE網絡 技術優化
能夠在各種場合提供良好的服務功能是LTE系統的目標，根據不同場合的特點，并參考運營商的有關需求，LTE網絡通過3GPP的針對性制定規則，擁有了能夠不同場合應用的優化技術。本文主要是對目前在LTE網絡中應用的優化技術的介紹和分析。需要注意的是，LTE標準在不斷變化，不久的將來可能會出現R12、R13，隨著這新新標準的應用和推廣，還會有新的需求，LTE也會在不斷的應用中得以發展。
一、LTE網絡優化技術的內容
（一）PCI優化
無線電話以及下載速率慢等問題是因為PCI干擾造成的，確保同一小區的所有林區列表中不能有相同的PCI是PCI優化的內容，還要盡量錯開鄰區導頻位置，相鄰小區PCI模后的余數盡量保持不同。
（二）覆蓋優化
覆蓋弱、越區覆蓋或覆蓋不均勻這些因素，會造成比較常見的無限網絡問題，進而使接人成功率降低，經常掉線，無法成功切換。產生這種問題有多種原因，其中包括天線的類型、無線參數的設置問題以及設備出現故障。當覆蓋出現問題時，首先要檢查該地區是否存在鄰區漏電現象。
（三）干擾優化
干擾主要來源有內部和外部，設備故障導致的內部產生干擾，是內部干擾;阻塞干擾、互調干擾和雜散干擾是外部干擾。解決設備故障就能解決內部干擾，運用掃描儀，確定感染源和干擾興華特性能夠有效去除外部干擾。
（四）鄰區優化
無線資源管理功能中的重要功能是切換，這種功能能夠保證移動用戶通信的連續性下，將用戶從當前區域轉移到其他區域的過程。這種技術在蜂窩系統中具有十分重要的作用，從無線網絡頻譜效率來看，當用戶處于服務小區邊緣時，不僅會對其他用戶產生干擾，還會使襲擊的通信質量受到影響。使覆蓋率得到提高，減小掉線率和切換成功率是鄰區的優化過程。
二、LTE網絡優化技術的流程
關注網絡的覆蓋、容量和質量等情況是LTE網絡優化需要的條件，通過調整覆蓋、調整容量、調整參數和處理故障等方法，使網絡得以動態平衡，網絡質量提高，確保用戶感知。
在開通站點前，應先啟動計劃，包括站點需求分析和整體項目計劃。然后實施參數劃分，包括PCI、TAC、PRACH規劃和站區規劃。開通站點后，要測試單站網絡覆蓋、驗證業務;測試簇的網絡覆蓋和業務性指標;測試全網覆蓋和業務性能指標。
根據系統收集到信息，對影響無線網絡指標較大的因素進行排查，以便評估無線網絡、定位問題類別、分析問題和解決問題，具體內容有，對影響設備運行的告警信息進行排查對設備出現可用率異常的小區進行排查;對覆蓋異常區域和干擾區域進行排查;對無線性能指標異常的小區進行排查。
三、LTE網絡優化實例
蜂窩系統獨有的功能和關鍵特征是切換，臨區漏配將使用戶處于不適合的服務小區，不僅會影響自身的通信質量，導致終端掉線，同時也將增加整個網絡的負荷，甚至增大對其他終端的干擾。另外，在DT測試中，可以進行問題定位的是接收到的SINR指標，然后標識出SINR惡化區域，同時，對惡化區域的下行RSRP指標情況進行排查。如果下行RSRP覆蓋性能差，則說明覆蓋有問題，是弱覆蓋率現象。若出現RSRP良好而RINR性能較差的現象，可以斷定是小區間的干擾問題，需要具體分析然后加以解決。
四、結束語
優化技術范文2
【關鍵詞】數據庫 優化 技術
隨著現代技術的不斷發展與進步，各個企業為了提高知名度和企業的創新能力，都積極的采用了信息自動化管理體質。但是，要想很好的運用這種管理體制，企業必須充分運用現代化信息技術，其中，最為重要的手段就是數據庫技術。而且，要想使企業的信息系統高效、安全地運行，至關重要的是數據庫應用系統正常、高效地運行。因此，分析數據庫優化技術是非常有意義的。
一、良好數據庫性能的標準
對于同一個系統的實施可以設計出多個數據庫模型，但是，這些模型由于性能目標的差異而顯示出不同的效果。而且，對于同一需求、不同數據庫的設計人員來說，也會設計出不同的模型。其中，數據庫性能的高低一般用兩個方面的指標來衡量：響應時間和吞吐量。而且，響應越快，吞吐量越大，數據庫性能越好。下面是一般大型系統數據庫的性能標準：（1）單條記錄的更新應當在1秒之內。而多條記錄的更新不超過10秒。（2）對于少于4個表的數據有一定限度的查詢應在5秒內完成。（3）對于有一定限度的查詢多表查詢應在10秒內完成。但是，整個表的查詢時間應在30秒內完成。
二、數據庫優化應遵循的方法
數據庫優化是指進行有目的地調整組件及改善性能，使得數據庫的吞吐量增加，減少相應處理時間。下面是數據庫性能優化所遵循的一些方法：1、設立合理的性能目標。在優化之前，需要確定專門合理的目標。而且，設立目標最重要的一點是可量化和可達到。其中，可量化是指在量化中需要的性能值。而可達到是指必須定義當前性能指標。2、確定影響數據庫性能的瓶頸。當數據庫運行了一段時間后，會發生性能低下，此時不能猜測并隨便做一些更改，這可能造成更大的瓶頸或資源浪費。3、弄清影響數據庫性能的因素。由于改善數據庫性能所采用的方法都可能帶來嚴重的負面影響，因此在達到預定目標時，應停止所有的工作。
三、數據庫優化技術的方法
數據庫優化技術的方法有很多，而且，不同的數據庫又有不同的方法。下面具體列出幾種主要的技術方法。
1、數據庫服務器內存空間的分配。足夠的內存可以加快數據庫的運行速度和提高CPU的利用率。而且，內存不夠的話將會嚴重降低CPU的利用率。
2、合理的物理存儲路徑。數據庫在處理海量數據時，首先要考慮物理存儲路徑。其中，物理存儲路徑主要包括：數據在磁盤組上的分布狀態、索引文件的組織、日志文件的分布等。而且，數據在磁盤組上的分布有幾種方法：靜態數據與業務數據相分離。其中，數據庫中的靜態數據主要是一些數據字典，這些數據修改的頻率比較低，但是，查詢率較高。其中，使用索引有助于快速訪問表中的數據，它可以大大減少找到特定數據行所需的I/0操作。設計索引時應遵循如下原則：①在建立索引時，如果對一個經常被更新的列建立索引，則會嚴重影響數據庫性能。一張表的索引過多會影響該表的更新性能，因為一旦發生更新行為，該表所有的索引都必須作相應的調整，這就會延誤運行時間。②對小型表不必建立索引，因為對于小表來說直接掃描往往更快而且維護費用低。③對重復值非常大的列，應建立位圖索引，不要建立普通索引。因為為這樣的列建立普通索引，其查詢效率不高，反而增加索引的維護量。
3、使用SQL語句的優化技術來提高數據庫運行效率。SQL語句的運用可以大大優化數據庫的性能。一個良好的應用程序允許數據庫支持上萬個并發用戶，由于網絡上的傳輸是會話式的傳輸，在數據庫與客戶端之間傳送每個批處理和結果集，為了減輕客戶端與數據庫系統間過量的網絡傳輸，必須采用大型數據庫所提供的存儲過程和觸發器來最小化信息的往來傳輸，以減輕網絡I/0的負載。
4、其他策略。隨著Internet的飛速發展，人類對信息管理和信息交換的需求更是空前強烈和迫切，使得已在傳統的商業處理領域內趨于成熟的數據庫技術面臨著許多新的問題和挑戰。
優化技術范文3
關鍵詞：轉楔機構；工藝再設計；冷卻裝置；注油裝置
中圖分類號：TG385 文獻標識碼：A 文章編號：1671-2064（2017）05-0065-01
1 沖壓工藝復雜的制件，需要采用特殊結構的模具才能實現
這類制件以前翼子板外板為例，這種制件是汽車前圍部分的外表面覆蓋件，工藝設計復雜，要求條件苛刻，它即要求要達到很高的外表面質量水平，又要求很高的尺寸精度。它的制造精度要求很高，轉楔本身往往就是型面的一部分，轉楔與下模的接合面有可能是曲面，但要求接合面一定要吻合，如果接合面的縫隙過大，會在上模壓料面的作用下產生壓痕；對某公司模具上的一個長達500多毫米的一個接合面進行檢查，0.05mm的塞尺無法塞進接合面中，從外表面看不出有接合面，可見其工藝精湛。
2 部分重要部件的模具進行了表面TIC處理的制件
對于一些厚板制件的成型，表面劃傷往往難以避免，這些劃傷在一些較深的成型制件最為常見，如梁類零件，在以往的生產中，往往生產幾百個制件，模具就需要修改。劃傷會影響制件的質量，成為一些質量問題源頭。劃傷同樣會對模具成型表面產生損傷，嚴重的會大大降低模具的使用壽命。
我們以右左前縱梁為例來說明這一點。我們公司生產的兩款輕型客車的右左前縱梁基本上相同，其中一種車型的模具是國內生產的，在生產過程中存在著比較嚴重的表面劃傷問題，每生產三百――五百件就需要下線保全，對成型表面進行研磨，經過維護的模具再上線生產，生產幾百件后再下線，對正常的生產秩序影響很大對此我們深感頭痛。
另一種車型采用了豐田車體的TIC處理來解決這個問題，在豐田車體的自動化生產線上，連續生產兩千件不需要維護，這種熱處理技術是豐田車體所專用的，它c其他表面處理方式不同，其效果十分明顯。因此我們決定采用這項技術，取得了較好的效果。TIC表面處理技術是對模具成型的凹模部分，在模具調試完成后，對調整好的成型鑲塊的表面進行的一種熱處理，使表面的強度達到HRC62以上，表面粗糙度達到 0.4μm以下的鏡面；使成型表面徹底杜絕產生劃傷的源。
3 將整車匹配工藝要求在模具上進行預留
現在整車的匹配質量要求也很高。它要求車門門縫要均勻，縫隙較小，外觀要美觀。沖壓件之間搭接要平整，縫隙要達到整車匹配標準；整車焊接后，車身的外型，車身的寬度也要達到整車匹配標準；還要確保許多功能孔位的精度要求，以保證與其他配件的連接；這些要求看起來比較平常，但是要達到這樣的要求是要有很高的技術水平的。
整車匹配反映到沖壓件上的是尺寸精度的變化，我們制造模具的依據是數學模型，而完全按照產品數學模型制造出的制件，并不能完全滿足匹配要求，這是由于一 部分制件在焊接中會產生變形，從而影響到其他制件匹配。同時為了克服這種焊接變形，在制件制造時，就不完全按照產品數學模型進行設計、制造，而應在產品數學模型的基礎上加入預留量，使制件在焊接變形后達到產品數模的狀態。
如果沒有事先的工藝再設計所做的預留，那么大量的工作將要在整車匹配階段進行，在匹配階段就會有大量的模具需要調整，甚至有主要模具報廢現象。
4 在模具結構上的強化處理
在拉延模上，由于長時間使用，會造成在圓角處產生較嚴重的磨損。這些磨損主要是局部發生的，如果全面提高整個鑄件的材質，會大大增加成本，同時由于提高鑄件的硬度，而容易造成一些其它損傷。一般通用的作法是采用表面淬火，但是由于部分模具很大，表面淬火往往很難均勻，而且還會造成一定的內應力，會造成型面局部脫落，所以大型模具采用的是局部堆焊的作法，在易產生磨損的部分，用機械方法加工去掉，再采用高強度焊條進行堆焊。這樣即保證了模具的整體質量又提高了模具的局部耐磨性；提高了模具的使用壽命。
5 其他技術的采用
在深拉伸模具設計上，可以將冷卻設備應用在模具設計上，對拉深凸模進行循環水冷卻，以保證模具在連續生產時，表面溫度不升高，保證凸凹模間隙，從而保證了沖壓件的質量。
優化技術范文4
在男性不育臨床中，有相當比例的少、活力低下、畸形、液化不良、精漿中存在抗抗體等因素的患者，在經過系統的內外科治療也不能使質量改善并達到受精目的時，實驗室體外處理技術便成為一項重要的補充治療手段。利用一定的方法，將不育患者的在體外進行處理后，使質量提高，然后用于人工授精，以治療不育癥。它是近年來治療男性生育力缺陷的重大進展之一。隨著人類輔助生育技術（assisted reproductive techniquesART）快速發展,以及臨床應用的推廣,的體外優化處理已成為實施該技術的首要環節。在因少弱而引發不育的患者中,的體外處理是使質量改善的最佳手段。的體外處理方法很多,并且都有它的優缺點,在使用時,針對每一具體病例選擇最適宜的技術。
常用的方法有：
上游法：利用的泳動能力，讓活動力良好的通過向上泳動進入培養液層中，而死、細胞殘片等則滯留在下層，收集上層培養液則可獲得高活率的，從而達到優選的目的。該方法操作簡單，獲得的活率高，應用廣泛。但處理過程中丟失量較多，較比適用于質量正常者。
Percoll梯度離心法：利用正常與畸形、不活動及其他細胞成分在浮力、密度方面存在的差異，通過梯度離心技術分離到正常的.此方法丟失少，適用于少精、弱精的分離，但死稍多、異物多。
濃縮法：（低速離心洗滌法）
用培養液與按10：1混勻后，離心沉淀反復兩次。該方法適用于少精和弱精癥，亦可用于第二代試管嬰兒技術的制備。但該方法的缺點是不能去除死精、殘片及其他細胞成分。
冷藏技術
對于數低但活力好的病人，可采用冷藏技術，在配偶排卵期采用洗滌，收集質量好的做人工授精。
X、Y分離技術
優化技術范文5
【關鍵詞】房屋結構；設計優化；設計方案；分析
1引言
根據我國的房屋建設成本構成分析，土建成本占有很大的比重。土建成本很大程度上取決于結構設計人員對設計理念和科學設計的合理把握。房屋結構設計人員應嚴格遵守建筑結構設計規范中“安全適用、技術先進、經濟合理、方便施工”的原則，精心設計出令建設單位滿意的作品?，F代建筑科技成果的應用可以降低項目成本，實現經濟效益。采用優化設計技術比較選擇出合理的設計方案更進一步降低了項目總開支，而且正發揮著越來越重要的作用。結構優化設計技術可以使設計者從被動分析轉變為主動設計。與傳統設計相比，采用優化設計技術可以降低土建造價的10%～30%。優化設計技術可以使建筑材料的性能得到最合理利用，使房屋內部結構得到最佳協調，使設計理念得到最大限度展現。同時，還可以對總體設計方案中存在的薄弱環節做出合理的預估。優化設計技術是實現設計目標的有效途徑。
2結構設計優化技術的方法及應用
2.1結構設計優化技術的方法。結構優化設計是結構工程與運籌學、經濟學與管理科學的綜合應用。一名優秀的房屋結構設計師在達到設計目標過程中，努力協調各方面條件的制約，以期找到最佳的解決方案，即優化設計。從20世紀初開始直到20世紀60年代，不斷有人嘗試做一些優化設計方面的系統研究，但效果不是很明顯，主要原因是受限于數學力學計算手段的效率低下。從20世紀60年代開始，電子計算機在土木工程領域逐步得到了廣泛的應用，尤其是計算理論的不斷完善和設計軟件的快速發展，為結構優化設計的快速發展提供了豐富的物質基礎。例如，仿生學方法的發展為結構優化設計提供了借鑒意義，有限元分析軟件的發展為結構優化設計提供了可靠的計算手段。一般而言，結構設計優化技術主要包括直觀優化、準則法優化、數學規劃優化、仿生學優化、系統優化、模糊優化、灰色優化、自動優化、智能優化等方法。
2.2結構設計優化技術的應用。在各種房屋類型中，結構設計優化技術的應用在住宅結構優化設計中體現最為明顯。住宅結構優化設計包括結構體系方案的優化設計、豎向承重構件布置的優化設計、圍護方案的優化設計、樓蓋結構方案的優化設計等內容。結構體系選擇框架結構還是剪力墻結構、豎向承重構件的布置合理與否、圍護方案采用空心磚砌體還是輕質隔墻材料、樓蓋方案采用現澆式還是裝配整體式等不同方案的選擇直接導致設計目標的各項指標有很大的差別。房屋結構優化設計通過比較選擇各種設計方案，力求項目綜合經濟效益最大化。
3房屋結構設計優化技術體系構成理論分析
狹義上的結構設計優化通常是指直觀優化，它是工程經濟學中的一個論點。直觀優化又分為選擇性優化和直覺判斷性優化。前者是根據有限的幾個選項，設計師經過初步分析，結合設計指標選擇最優的解決方法；后者是根據設計師的經驗和直覺知識判斷和選擇的優化分析方法。直觀優化方法是一種重要而簡單的方法，但它依賴于設計者直觀知識的普遍性、邏輯判斷能力和豐富的設計經驗。結構分析計算軟件在房屋結構設計中的廣泛應用，將設計師從枯燥乏味的力學公式中解放出來。隨著現代建筑的體量越來越大，樓層越來越多，優化設計可以大幅度減少項目總開支，避免不必要的浪費。結構設計人員在設計過程中，應在理論知識和實踐經驗的基礎上，注重概念設計，充分了解各種方案的優缺點，從中優選最經濟合理的設計方案。所謂的概念設計，是指在特定的建筑空間和環境條件下，用概念性近似計算方法從宏觀上把握結構設計中的基本問題，迅速有效地選擇與建筑功能需求相協調的結構體系方案。結構設計優化的核心指導思想是提高結構布置方案的合理性，避免不必要的浪費。但這并不意味著剪力墻結構一定比框架結構好，也不意味著房屋豎向承重構件越少越好。結構設計優化首先要滿足一個前提條件，那就是安全要求。脫離了安全要求的結構設計優化都是偽命題。在眾多影響房屋結構安全的因素中，地震是一種突發式的自然災害，能瞬間給人們的生命財產造成嚴重的危害，因而規范規定房屋必須進行抗震設計。滿足了安全要求后，結構設計優化的目標就很明確了：把項目土建成本壓縮到最低。由于結構設計人員水平的參次不齊，即使對于同一個確定的設計方案，各個結構設計人員完成的設計方案的土建造價也有差別，更別說不同的設計方案了。這時，就需要房屋結構設計人員利用結構設計優化理論對項目各種設計方案仔細斟酌，不斷進行橫向和縱向上的比較選擇，優選出一個令各方都滿意的好作品。
4結語
本文對結構設計優化技術的方法和應用進行了介紹，同時對結構設計優化技術體系構成進行了一定程度的理論分析。房屋結構設計人員應結合項目的實際情況，運用結構設計優化技術對項目設計方案進行優化，避免不必要的浪費，降低項目土建成本。
參考文獻
[1]黃襄云，周福霖，金建敏，羅學海.多層隔震與非隔震框剪結構振動臺對比試驗研究[J].建筑結構.2007（08）.
優化技術范文6
關鍵詞: ETL；數據倉庫；元數據；集群優化
中圖分類號：TP311文獻標識碼：A文章編號：1009-3044(2012)13-2949-04
Research and Implementation of ETL Cluster Optimization Technology
LI Lan-you,HU Cheng-hao,ZHANG Chun-hua
(Office of Information Construction and Management, Nanjing Institute of Technology, Nanjing 211167, China)
Abstract：The ETL function and process technology is introduced. The extraction type of database table file ,the strategy of data conversion and data loading technology are shown .The implementation methods of metadata analysis and obtaining with SQL script automaticly are designed. The deep research of clusters optimization technique application in ETL data processing is in implementation.
Key words：ETL（Extract, Transform and Load）;data warehouse; metadata; cluster optimization
1概述
隨著高校網絡的不斷發展，學生公寓網絡的web訪問數據越來越多，基于設備管理系統建設的架構為模板，運用ETL技術將這些數據信息建立目標數據倉庫，以挖掘學生人群的網絡交互行為及相互關系，興趣傳播及作用關系，給學校領導管理決策提供宏觀數據支持，是一件非常有意義的事情。
2 ETL簡介
ETL[1]是數據抽?。‥xtract）、轉換（Transform）、清洗（Cleansing）、加載（Load）的簡稱，作為數據倉庫的核心和靈魂，能夠按照統一的規則集成并提高數據的價值，是負責完成數據從數據源向目標數據倉庫轉化的過程，即從數據源系統中獲取業務數據，通過數據轉換、數據清洗過程，將符合EDM（企業數據模型）的數據加載到數據倉庫中。數據倉庫的最普遍應用是給企業提供決策,由于ETL在數據倉庫搭建過程中花費了大約60% ~ 80%的工作量[2],由此可見, ETL在建立數據倉庫系統時中是很關鍵的問題,可以說ETL過程的執行效率直接決定了企業決策的質量。
數據抽取主要是針對分布在不同業務系統中的分散數據，規劃需要的數據源和數據定義，在接口規范中明確的定義了數據源系統提供的數據文件的內容、提供周期、提供方式等，ETL的抽取將按照接口規范中定義的方式從數據源系統中通過FTP傳輸數據文件的方式到數據倉庫系統中[3]。
數據轉換主要是針對數據倉庫建立的模型，通過內建的函數庫、自定義的腳本以及其它一些擴展方式將數據從業務模型轉化到分析模型中。數據轉換是將原數據變為目標數據的關鍵環節，它包括數據格式轉換、數據類型轉換、數據匯總計算、數據拼接等。
數據清洗主要是針對業務系統中的各個環節可能出現的數據二義性、重復、不完整、違反業務規則等問題，通過清洗將有問題的數據先剔除出來，然后根據實際情況作相應的處理[4]。
數據加載主要是將符合數據倉庫要求的數據加載到數據倉庫中。
3 ETL集群優化
3.1 ETL功能結構
ETL主要功能模塊包含數據源模塊、數據獲取模塊、數據處理模塊、數據分發及ETL數據調度管理模塊，如圖1所示。
數據源模塊負責對數據來源的各個源系統及數據平臺訪問方式和類型等信息進行維護；數據獲取模塊負責將數據源提供的接口數據文件或者表接口數據傳輸到數據倉庫系統中，并完成文件級或者表接口數據量的審核，數據獲取有FTP獲取和數據庫鏈兩種方式實現；數據處理模塊包含數據轉換和數據加載，數據處理模塊負責將接口文件或者表接口數據加載到數據倉庫中，同時按照一定的接口規則進行轉換處理，其具體實現可以采用DATASTAGE工具、存儲過程和shell腳本三種處理方式[5]；數據分發模塊主要完成數據倉庫數據與外網系統的接互；ETL數據調度管理模塊貫穿整個ETL功能模塊的各個環節，其數據調度功能主要通過任務調度平臺來實現，通過調度任務的參數時間周期、任務參數等配置，自動調用接口DATASTGE工具的作業或者存儲過程等完成數處理。ETL子系統的元數據由元數據管理系統統一管理，ETL的每一個模塊將通過共享內存和系統總控交互信息。
3.2 ETL集群優化模型
傳統的ETL處理方式在一些文件量較大，數據處理實時性和及時性要求較高的情況下，數據處理速度已成為ETL模塊的一個效率瓶頸。要想解決這些問題，就必須進行優化[6]。
考慮到集群分布式計算的優點，將其引入到ETL數據處理中，改進原有庫內ODS層關聯獲取方式，將分析字段的判別提前到庫外處理，用多臺PC服務器的集群計算模式來分攤數據庫服務器的計算壓力。不僅可以避免事務加載過程中過多的消耗數據庫資源，同時也加快了處理效率，一舉兩得。處理流程如圖2所示。
圖1 ETL功能模塊框架圖
圖2 ETL集群優化模型圖
規則緩沖區是將轉化需要用到的規則配置信息讀入內存緩沖區，如學號信息，上網時長信息及一卡通轉賬判斷規則等；預處理加工引擎是用來匹配規則緩沖區的配置信息，處理內存中的文件接口數據，生成應用需要的共性分析字段。通過PC內存緩沖區的處理，將源文件經過內存處理獲取所需的關鍵判斷字段信息生成目標文件，直接通過DATASTAGE工具加載入庫即可，這樣即可大大提高了文件處理效率，同時也減少了數據庫資源的消耗，尤其是系統繁忙階段效果更為明顯。
3.3 ETL元數據管理優化
通過在ETL元數據管理中引入SQL腳本自動解析獲取技術，將能緩解元數據管理中手工維護難度大的問題。
SQL腳本自動解析獲取元數據的過程可以分為數據處理日志生成、運行日志獲取、SQL詞法語法分析、SQL語義分析生成元數據和SQL腳本元數據入庫五個環節[7]。通過這五個環節的自動處理，將腳本程序的變化及時傳遞到應用端，使應用分析的結果能夠反映ETL和數據處理過程的最新情況，如圖3所示。
輸出運行日志環節要求ETL和數據處理過程在每次運行時，按指定方式輸出運行日志，將提交執行的SQL腳本以及必要的上下文信息寫入運行日志中。
運行日志獲取環節定期掃描ETL和數據處理過程所輸出的日志，提取未經處理的運行日志并觸發解析處理過程。通過按照規則配置輸入參數調用SQL解析公用模塊即可生成對應的日志文件，主要為統一規則的XML格式文件，以供后續語法解析和語義解析生成規范的元數據信息。
SQL詞法語法分析環節利用編譯技術對運行日志中的腳本進行詞法語法分析，生成抽象語法樹（AST）。
圖3 ETL元數據SQL腳本自動解析優化圖
在SQL語義分析生成元數據環節，該環節對各SQL腳本的抽象語法樹進行語義分析，并結合SQL腳本之間上下文相關信息的處理，實現SQL腳本語義的元數據結構化描述。
在SQL腳本元數據入庫環節，將自動解析所獲取的SQL腳本元數據寫入元數據存儲庫中。元數據解析獲取并入庫完成后，可形成源數據表與目標表之間的關聯關系，即“血緣關系”[8]。
SQL腳本自動獲取元數據優化技術能使得ETL元數據及時更新，降低管理成本，提高管理效率，為各種輔助分析應用提供高質量的元數據。
3.4 ETL庫表數據抽取策略
ETL庫表抽取是將Oracle、Sybase和DB2等各種類型數據庫中的指定列的值存入目標文件中，以完成不同數據間表數據的轉換。具體實現過程中，在獲取表列信息和次要數據項信息時考慮是否分組處理，對于分組處理的不僅要生成select語句的fields部分，而且還要生成其group by部分。生成的SQL語句通過BulkCopy來進行抽取[9]，并將出庫記錄寫入目標文件，如圖4所示。
圖4 ETL庫表數據抽取策略
3.5 ETL數據轉換策略比較分析
數據轉換一般按照以下四個策略進行操作：在抽取過程中進行數據處理；使用異步數據加載，以文件的方式處理；在數據加載過程中進行數據處理；進入數據倉庫以后再進行數據處理。
采用在數據抽取過程中進行數據轉換時，必須考慮抽取的性能以及對業務系統性能的影響；采用異步數據加載以文件方式處理時，必須充分考慮中間磁盤的存儲量以及ETL整個流程的協調性工作，以及大量的非SQL語句的編程；采用在數據加載過程中進行數據轉換時，必須考慮加載性能；采用先將數據加載到數據倉庫然后再處理時，必須考慮數據倉庫引擎的海量數據處理能力[10]。表1是轉換方法在各個比較點的展示。
表1數據轉換策略比較分析
經過比較分析后可知，在ETL數據轉換優化方面，要分情況而定。對不同類型的數據采用不同的轉換方法，例如數據量特別大并且采用文件抽取的數據清單要采用文件轉換的方式；而對于采用庫表抽取的信息資料采用抽取過程中進行數據轉換的方式。
4結論
ETL的主要作用在于其屏蔽了復雜的業務邏輯，從而為各種基于數據倉庫的分析和應用提供了統一的數據接口，是整個數據倉庫上層應用數據分析處理的根源。實踐證明，ETL集群優化技術和SQL自動解析元數據優化技術能有效降低維護成本，提高管理效率。
參考文獻:
[1]宋旭東,閆曉嵐,劉曉冰,等.數據倉庫ETL元模型設計[J].計算機仿真,2010,27(9):106-108.
[2]周茂偉,鄧蘇,黃宏斌.基于元數據的ETL工具設計與實現[J].科學技術與工程,2006,6(21):3503-3505.
[3]張瑞.ETL數據抽取研究綜述[J].軟件導刊,2010,9(10):164-165.
[4]畢錕,劉軍.ETL系統的設計及其研究[J].軟件導刊,2010,9(5):173-175.
[5]夏秀峰,張亮,石祥濱,等.一種改進的分布式ETL體系結構[J].計算機應用與軟件,2010,27(4):174-176.
[6]萇程,李善平.基于ETL的金融數據集成過程模型[J].計算機工程與設計,2010,31(4):2070-2072.
[7]管麗娟.數據ETL軟件中元數據模型設計與管理[J].電腦知識與技術,2007,2(8):469-475.
[8]鄭丹青.基于元數據的數據倉庫ETL系統設計與研究[J].吉林師范大學學報:自然科學版,2010,(2):43-45.
