前言：尋找寫作靈感？中文期刊網用心挑選的模糊綜合評估法應用原理與構建步驟，希望能為您的閱讀和創作帶來靈感，歡迎大家閱讀并分享。
作者：王凱偉 周波 單位：湘潭大學公共管理學院
目前行政監督的研究多采用定性的分析方法,往往憑學識、經驗、印象或跟著感覺走,缺乏數據支持和科學的分析測評,注重行政監督實效的宏觀把握和審視,忽視微觀和具體的數據分析,導致評估結果相對主觀,難以體現出行政監督實效的真實狀況。對此,筆者倡導應學習和借鑒地方政府績效評估,將定量分析方法與定性分析方法有效結合,運用于行政監督研究領域。鑒于模糊綜合評價法能將復雜問題簡單化,適合于政治學領域問題的研究,本文采用模糊綜合評價法對地方政府依法行政監督實施效果評估體系進行實證分析。
一、模糊綜合評價法原理
模糊綜合評價法(FuzzyComprehensiveEvaluation)是在綜合考慮多種因素的作用下,運用模糊數學工具對某事物的性質或狀態做出的綜合判斷和評價。[1]從這種意義上來說,模糊綜合評價方法是一種定性與定量相結合的方法,它的原理就是將比較模糊的問題轉化為具體的數據。對于地方政府行政監督實施效果評估指標體系來說,既包括定量指標,又包含定性指標,定量指標可以通過資料和數據的采集來獲得,評估結果比較客觀;而定性指標則需要通過一定的實證調查來獲取所要評估的信息,評估結果比較模糊。這樣就需要采用模糊綜合評價方法來將這類指標評估的結果具體化。模糊綜合評價法包含確定評價對象指標集、確定評價集、建立多因素評價、確定模糊評價矩陣等幾個步驟。具體來說,模糊綜合評價法的第一步是對每個評估指標做出“優秀”、“良好”、“一般”、“差”、“很差”或“高、中、低”等不同程度的定性判斷;第二步是邀請專家對每項指標的權重進行打分;第三步將專家的評定分數代入構建的模糊綜合評價模型中進行一定的數學運算,從而得出定量的結果;第四步則是將評估結果去對應評價集上的評語,確定評估等級。這種評估方法不管是多層評價還是單層評價模型,其中都有關鍵的兩步驟:確定單因素評價矩陣R和計算模型評價子集B=A×R。模糊綜合評價數學模型的構建步驟為:
第一,確定評價對象指標集。設評估指標體系共有m個指標,則評價對象的指標集合表示為U={U1,U2,…,Um},其中Ui(i=1,2,…,m)是評估對象的第i項指標。
第二,確定評價集。評價集是指對評估對象各種可能做出的評語的總的集合,如“優秀”、“良好”、“一般”、“差”、“很差”或“高、中、低”。設集合U每一個評語標志為Vj(j=1,2,…,m),則n個評語可以表示為V={V1,V2,…,Vn}。
第三,建立多因素評價。由于每個指標的重要性不同,就有必要對各指標的重要性進行賦值,確定各指標的重要性等級。多因素評價最重要的環節之一是確定各因素的權重,即指標體系權重集A?？梢酝ㄟ^層次分析法計算權重,也可以通過專家賦值法確定權重。設由m個指標,每個指標的權重為ai(i=1,2,…,m),ai∈[0,1],則權重集表示為A={a1,a2,…,an},其中,a1+a2+…+an=1。當涉及需要從不同方面來綜合評價某一事物時,得到的將是一個綜合的評價結果,該結果仍是評語集合V這一論域上的一個模糊子集合B1,這就是綜合評價問題。[2]因此,對于多因素評價來說,若評語集合為V,每一項指標的評估結果用Ri(i=1,2,…,n)來表示,則R1=r1(V1)+r2(V2)+…+rn(Vn),R1可以記做向量形式:B1=[r1,r2,…,rn],則對于包含m個指標的評估結果來說,B=(R1,R2,…,Rm),其中Rj∈[0,1](j=1,2,…,n),表示為第j指標的評估結果。
第四,確定模糊評價矩陣R。建立模糊評價模型之前,應先建立模糊評價矩陣R[3]:其中,rij(i=1,2,…,m;j=1,2,…,n)表示對于第i個指標做出第j種評語的可能程度,其值可以通過專家評分或層次分析法計算得出。最后,建立模糊綜合評價的數學模型,進行綜合評價。模糊綜合評價法的關鍵就在于將評價集U上的一個模糊集合A經過模糊關系R變換為評語集合V這一論域上的一個模糊集合B[4],2,…,m;j=1,2,…,n),這就是模糊綜合評價的數學模型。B也可以記為B=(b1,b2,…,bn)。模糊綜合評價方法在政府績效評估運用中能夠使定性的評價得出量化的結果,而且在對各項指標評價之后可清楚明確地對其進行比較,得出各項指標的強弱。這有助于公共組織找出問題的根源,以提出有針對性的改進策略。[5]
二、地方政府依法行政監督實施效果評估體系的構建
模糊綜合評價法是對既定的指標體系的評估結果進行一定的定量分析,根據數據分析的結果得出評估結論的一種分析方法。因此,評估結論是否科學、可靠,很大程度上取決于指標體系是否科學、合理和可行。地方政府依法行政監督實施效果評估指標體系構建是一個系統的工程,其步驟主要包括:
1.指標選樣
在抽樣調查的基礎上,遵循依法行政監督實施效果評估指標體系構建的整體性、科學性、系統性、可測性等原則,分析影響依法行政監督實施效果的各種權變因子,如行政監督實施效果評估目的因子、行政監督機關工作職能因子、主客觀條件因子、事物發展變化趨勢因子、實施效果評估所需信息的數量和質量因子等,根據行政監督機關的職能和目標、層層分解影響依法行政監督實施效果的關鍵要素,以平衡計分卡為分析框架,從監督業績、監督成本、內部管理、創新與發展這四個維度,本文構建了包括53項具體指標的依法行政監督實施效果評估指標體系。為保證指標體系的科學性與合理性,本文進行了實證調查,采用SPSS等統計軟件對依法行政監督實施效果評估指標體系的有效性進行統計檢驗,采用剖面分析檢驗指標的平均值是否存在顯著差異、采用單變量判定分析測量各項指標的有效程度、采用逐步回歸分析尋求最佳測度指標組合等分析方法,刪除了一些信度或效度較低的指標,進一步整合現有的依法行政監督實施效果評估指標,最終確定了37項信度和效度良好的依法行政監督實施效果評估指標,包括12項定性指標與25項定量指標,如圖1所示。該評估指標體系包括目標層(一級指標)、領域層(二級指標)和具體指標(三級指標)。其中,Mn代指各項指標,指M層n項指標,其中M={A、B、C},表示有3層指標;n為各層指標的項目,表示第M層的1-n個項數。遵循依法行政監督實施效果評估的原則和目標,結合地方政府效能建設的基本要求,注重行政監督評估過程和結果應用,本文對各項指標進行了細化,以便調查研究資料的獲取和收集,保證評估結果的準確性和可靠性。將監督業績具體化為7個可測指標,監督成本分解為4個可評指標,內部管理內化為14個可量指標,創新與發展細化為12個可考指標。三級指標體系的結構及內涵,見表1。#p#分頁標題#e#
2.指標體系有效性統計檢驗
地方政府依法行政監督實施效果評估指標體系僅通過比較主觀的實證調查,仍然不能保證其科學性和合理性,還必須通過一定客觀檢驗才能加以運用。對指標體系進行有效性統計檢驗的途徑主要有信度和效度檢驗。指標效度指指標在多大程度上描述了評價對象的特征范疇并反映了評價目的。指標效度的評定主要通過經驗判斷進行,通過請熟悉測量內容的人員來評判,并確定指標與所需測量的內容范疇之間關系的密切程度。再測量法、折半信度法和克朗巴哈信度系數法是進行信度分析經常采用的方法,比較各種方法的優劣,本文采用克朗巴哈一致性系數(Cronbach)檢驗自編量表的信度。當Cronbach值大于0.7,表明數據可靠性較高;計量尺度中的項目數小于6個時,Cronbach值大于0.60,表明數據是可靠的;在探索性研究中,Cronbach值可以小于0.7,但應大于0.5。本次調研總量表的系數達到0.927。為進一步檢驗量表的重復度量效果和項目內在的相關性,再對量表進行了方差分析———F檢驗以及HotellingT2檢驗,得出:F=15.922,P<0.0001,說明該量表的重復度量效果良好;經HotellingT2檢驗可知,該量表的項目間平均得分的相等性很好,即項目具有內在的相關性,均表明該量表的可信度比較高。指標體系的信度是指指標數值在觀測中測量結果的可靠性程度,是指標在多大程度上描述了評價對象的特征范疇并反映了評價目的。高信度的指標體系應該是指標之間獨立、內部結構良好、指標關系一致的體系。在檢測過程中,通過斯坦福大學柯隆巴克教授的內部一致性系數來觀察評價指標信度。內部一致性系數能夠準確地反映出評估指標的一致性程度和內部結構的良好性,是目前評估指標中使用最廣泛的信度評價方法之一。本研究主要考察內容效度,即所選的題項能否代表所要測量的內容或主題。通常采用單項與總和相關系數法,計算每個題項分數與總和的相關系數,如果相關系數不顯著,表示該項目鑒別力低;如果把這個題項納入量表,實際測評被試者的態度將影響測量的準確性,則加以剔除。一般來說,相關系數的顯著程度越高,量表的效度越高,宜采用皮爾遜相關系數來測量滿意度調查問卷的內容效度。統計結果顯示,本文在實證研究調查問卷的皮爾遜相關系數均在0.800以上,且均在0.01水平上顯著相關,表明其內容效度是十分理想的。
3.確定指標體系權重
層次分析法是美國運籌學家T.L.Saaty在20世紀70年代提出來的,它是一種定性與定量分析相結合、系統化、層次化的多目標決策分析方法。其基本思路就是將組成復雜問題的多個元素權重的整體判斷轉變為對這些元素進行“兩兩比較”,然后再轉化為對這些元素的整體權重進行排序判斷,最后確立各元素的權重。與其它確定指標權重的定量分析方法相比,層次分析法思路清晰、計算簡潔、可操作性強,最大的優點是可以處理定性和定量相結合的問題,可以將決策者的主觀判斷與政策經驗導入模型,并加以量化處理。通過對判斷矩陣進行一致性檢驗,減少了權重設置的主觀隨意性,提高了指標的信度和效度,降低了評估的難度。通過建立遞階層次結構(將所要研究的問題包含的因素從最高層、中間層到最底層構建一個遞階結構的模型)、構造兩兩比較判斷矩陣(判斷矩陣元素的值表示人們對各因素關于目標的相對重要性的認識)、層次單排序(根據某一層次各指標相對于上一層次指標的相對重要性的權重)及其一致性檢驗、層次總排序利用同一層次中所有層次單排序的結果,計算某一層次各因素相對上一層次所有因素的相對重要性的排序權值)和一致性檢驗等步驟計算出地方政府依法行政監督實施效果評估指標體系的權重,如表2。
三、模糊綜合評價法在湖南省依法行政監督實施效果評估中的應用
本文在地方政府行政監督實施效果評估指標體系構建的基礎上,將評估體系應用于湖南省14個地級市(州)的行政監督機關,以評估湖南省依法行政監督實施效果的現狀。
1.湖南省依法行政監督實施效果評估具體過程為依法保證依法行政監督實施效果能夠得到客觀、科學的評估結論,本文主要通過問卷調查來實現評估:針對不同的評估主體設計了不同的兩份問卷,各自考察各評估主體對行政監督機關的公眾滿意度。一份問卷是針對政府內部子系統,主要考量非承擔行政監督職能的行政組織對行政監督機關的意見和態度,側重統計性、技術性等客觀性指標;另一份問卷則是針對社會評估子系統,主要考量社會大眾對行政監督機關工作態度、依法、執法現狀的滿意度等,側重主觀性指標。本次評估共發放問卷500份,實際回收問卷463份,問卷回收率為92.6%,有效問卷為453份,有效率為90.6%。根據EXCEL對問卷的統計分析,發現樣本的選取對象具有廣泛性和針對性,調查對象的選取具有合理性和代表性。本次實證評估的主要做法有:(1)以湖南省紀委監察廳職責職能為基礎,以湖南省紀委監察廳、市紀委監察局、縣市區紀委監察局及其派出機構的工作實效為主要評估對象,按照公開透明、系統分析和典型剖析相結合、定量相結合的原則得出評估信息。(2)引入第三方評估,為評估主體注入新的元素。如以社會評估子系統(企事業單位、社會公眾)的外部評估主體為主,結合政府內部子系統的評估得出評估結論,使評估主體的范圍拓寬,評估過程更為公開、透明。(3)評估結果用綜合績效指數來衡量。根據評估指標體系,依次逐級算出評估指標體系的得分,最終得出地方政府依法行政監督實施效果評估的總得分。
2.基于模糊綜合評價的湖南省依法行政監督實施效果評估結果由于湖南省有14個地級市(州),很難將所有地級市的評估過程都展現出來,故以某市為代表,介紹模糊綜合評價法在地方政府行政監督實施效果評估中的應用。如前所述,湖南省依法行政監督實施效果評估指標體系共有37項指標體系,包括15項定性指標和22項定量指標。根據模糊綜合評價的原理和步驟,可將該指標體系的定性指標進行模糊化處理。湖南省依法行政監督實施效果評估集U有15項,具體為U={U1(提升政府整體形象的作用程度),U2(開展工作熱情程度),U3(年齡結構層次),U4(領導班子團隊建設),U5(法律、制度的效度),U6(法律、制度的連續性與穩定性程度),U7(領導間溝通協調程),U8(信息處理水平),U9(信息的真實性與豐富性),U10(公眾支持程度),U11(獨立性程度),U12(報道廣度和深度),U13(工作作風滿意度),U14(執法狀況滿意度),U15(政民互動滿意度)},而指標評語集V={V1(優秀),V2(良好),V3(一般),V4(差),V5(很差)}。表3為通過實證調查計算出的每項評估指標的評語。#p#分頁標題#e#
四、結論
根據地方政府依法行政監督實施效果評估指標體系的構建過程和模糊綜合評價法在湖南省行政監督機關實施效果評估中的具體應用,可得出以下結論:
1.模糊綜合評價法等定量分析方法可以運用于政治學研究領域一般認為,定量分析方法多用于工科、理科領域,很難在文科領域產生實質性影響。但本文不僅將企業績效評估中運用的方法移植到地方政府依法行政監督實施效果評估中,而且運用這些方法得出了確切的研究結論,豐富和深化了定量分析方法。如以企業的平衡計分卡為分析框架,從監督業績、監督成本、內部管理、創新與發展維度這四個維度構建了一套包括37項指標的多層指標體系;運用SPSS統計軟件進行依法行政監督實施效果評估的信度與效度檢驗;采用層次分析法計算依法行政監督實施效果評估指標體系各指標之間的權重;采用模糊綜合評價法對依法行政監督實施效果評估進行分析,取得了確切的評估結論。這就充分說明諸如層次分析法、模糊綜合評價等定量分析的方法,不但可以運用于政治學領域,拓寬政治學理論研究的視野,而且可以將政治學抽象、復雜的問題轉化為具體、簡單的問題。因此,在以后政治學研究過程中,應注意拓寬研究思路,轉變研究視角,將多種學科知識融會貫通,使研究成果更加豐富和科學。
2.目前地方政府依法行政監督實施效果不夠理想由模糊綜合評價法計算出的湖南省依法行政監督實施效果評估結論可知,所有地級市(州)的評估結果都在“一般”水平,每個地級市(州)的評估結果相差不大。評估結果最好的地級市0.5933,比評估結果最差的地級市0.4301,只高0.1632,這離依法行政監督實施效果評估“良好”的水平相差勝遠。這一方面說明了地方政府依法行政監督實施效果確實很差,另一方面說明了評估指標體系存在一定的問題。若是前者的原因,地方政府各級行政監督機關就要重視實施效果不理想這一現狀,認真分析影響依法行政監督實施效果的各種影響因子,確定行政監督組織的總目標和行政監督者地子目標等,有層次有步驟的采取一定的措施,改善依法行政監督實施效果較差這一現狀,逐漸提高公眾滿意度。而如果是后者的原因,則要從依法行政監督實施效果評估的指標體系構建、評估具體實施、結果運算等過程全面的檢查,找出癥結所在,不斷測算指標體系的信度和效度,從而提高依法行政監督實施效果評估指標體系科學性、合理性和可行性。
3.地方政府依法行政監督實施效果評估要選擇應用評估不是目的,而只是促使績效改善的手段之一。地方政府依法行政監督實施效果評估起到了一定的作用:它考察了行政監督機關的目標體系,分析了影響行政監督機關實施效果的各種影響因子,對行政監督機關的“依法”、“實施效果”進行了重點的闡述和考評,對地方政府依法行政監督實施效果現狀作出了確切的評估。這對于各個地級市(州)來說,可根據評估結論準確定位自身位置、找出薄弱環節、看到現實差距、采取相應措施,確實具有積極的現實意義。但評估不是萬能的,不能解決所有的問題,而且在評估過程中也產生了一定的問題。地方政府依法行政監督實施效果評估指標體系,雖經過了大量的實證分析,進行了信度和效度檢驗,但將其應用于湖南省依法行政監督實施效果評估中仍遇到了一些障礙,如信息采集難度大、成本高、監督對象不配合等問題。地方政府依法行政監督實施效果評估是行政監督領域的一種嘗試,還不夠成熟和科學,也沒有構建起真正意義上的評估模型,因此,在應用過程中,必須針對實際情況,有選擇的應用評估體系,保證評估數據的采集量、爭取評估對象的支持度、確保評估流程的通暢化。
