前言:尋找寫作靈感?中文期刊網用心挑選的期刊多屬性評價方法選擇,希望能為您的閱讀和創作帶來靈感,歡迎大家閱讀并分享。
1引言
學術期刊評價的復雜性決定了采用單一性量化指標是不夠全面的,采用多屬性評價方法具有明顯的優勢。認為評價期刊影響力和重要性有兩個關鍵的一級指標:知名度和信譽度,前者由期刊影響力指標來反映,后者由特征因子類指標來體現。D.Shotton提出期刊評價的5個標準:內容豐富化程度、數據集、開放獲取、計算機可讀元數據、同行評議。N.Sombatsompop等提出了通過文章影響因子、位置影響因子、期刊影響影子等多個指標進行評價,特別指出文章引用位置不同權重也應該不同。蘇新寧根據科學性、合理性和可獲得性等原則選取了20個指標,對人文社科3000多種學術期刊進行多屬性評價。此外,國內還有大量學者采用多屬性評價方法進行學術期刊評價,涌現出不少成果。從實踐應用的角度,北京大學圖書館、中國科學技術信息研究所、南京大學中國社會科學評價研究中心、武漢大學中國科學評價研究中心、中國社會科學院中國社會科學評價中心等機構均采用多屬性評價方法對學術期刊進行評價。多屬性評價方法眾多,評價方法有幾十種,如果算上對某種方法的優化和改良,評價方法就有數百種甚至更多,許多多屬性評價方法已經在學術期刊評價中得到了廣泛的應用。陳國福、王亮采用主成分和集對分析選取16個指標對學術期刊進行評價。劉蓮花采用主成分聚類分析法對17種數學中文核心期刊進行綜合評價。吳美琴、李常洪[7]采用DEA分析方法評價圖書館、情報與檔案學期刊的引證效率。王金萍、楊連生等采用層次分析法與熵權法對科技期刊編輯能力進行評價。吳濤、楊筠等采用因子分析對Scopus數據庫中的1881種醫學類期刊進行評價。王映采用加權TOPSIS和秩和比法評價體育學術期刊。郭雪梅、李沂基于DEA博弈交叉效率評價圖書情報類期刊。劉軍、王筠采用灰色關聯分析對高校圖書館訂購期刊質量進行評價。由于多屬性評價方法發展較快,新的評價方法和技術將繼續在學術期刊評價中得到廣泛應用。不同多屬性評價方法評價結果不一致是學術期刊評價的重要問題。各種評價方法均有自己的優點和理論邏輯,一些評價方法也提供了自身的檢驗方法(比如層次分析法的排序一致性檢驗),但是方法的好壞甄別并沒有絕對標準,單純從評價方法的評價機理選擇評價方法是非常困難的。一些學者在多屬性評價方法的選取中取得了一些進展,蘇為華認為可以從評價方法的區分度、靈敏度等角度進行選取。陳述云、張崇甫提出根據不同多屬性評價方法結果得分的相關系數大小來進行選擇。韓軼、唐小我給出了采用斯皮爾曼等級相關系數進行多屬性評價方法的選擇思路。俞立平、宋夏云提出采用偏最小二乘法對評價結果與評價指標進行回歸,如果正向指標回歸系數出現負數,就應該淘汰該評價方法。還有一種解決思路是將數種多屬性評價方法的評價結果進行組合評價。A.J.Gregory、J.W.Lee等在該領域做了大量有益的嘗試。熊國經、熊玲玲等運用熵值法、因子分析法和TOPSIS法對學術期刊進行學術影響力評價,然后采用模糊Borda法進行組合評價。王一華應用拉開檔次的組合評價法,在計算排序結果兩兩之間的Spearman相關系數的基礎上,對學術期刊進行組合評價。俞立平、潘云濤等提出首先選用各種可行的多屬性評價方法進行評價,然后將評價結果標準化,將同一期刊不同評價結果的極大值作為該期刊的最終評價結果。王居平提出了一種基于離差最大化的學術期刊組合評價方法。徐建中、王純旭采用粒子群算法對集對分析、因子分析和主成分投影法進行組合,實現對產業技術創新生態系統運行穩定性評價。李美娟、陳國宏等]在利用組合評價研究區域技術創新能力時,發現經過若干次組合,幾種組合評價結論能趨于一致(收斂)。多屬性評價方法眾多導致評價結果多樣性的解決方法有兩種思路:第一種思路是從單一方法優選角度進行甄別,存在的問題是目前優選的方法不多,但是一旦取得突破,可以篩掉一些不太合適的評價方法,從而取得較好的評價效果。第二種解決思路是將重點放在組合評價上,存在的問題是組合評價方法也有10多種,常用的是算術平均組合、Borda組合和Copeland組合,這樣組合評價結果同樣不唯一。需要反復進行多次組合,結果可能會收斂,但這僅僅是經驗總結,難以進行嚴格的數學證明。何況這種做法比較繁瑣,大大增加了評價的工作量。單一評價方法是組合評價的基礎,如果能夠有效地篩掉一些不合適的評價方法,可以大大降低組合評價的工作量,甚至在某些情況下,根本就不需要進行組合評價,因為只剩下一種評價方法了。在多屬性評價方法眾多、組合評價方法眾多,而多屬性評價方法篩選方法較少的情況下,從單一評價方法篩選的角度入手,加強相關領域的研究,不僅可以豐富學術期刊多屬性評價理論,而且有利于評價方法的優選,從而降低評價成本,提高評價方法的公信力,具有十分重要的理論和實踐意義。本文利用聚類分析的原理,提出一種基于聚類分析的多屬性評價方法篩選方法,并以JCR2015數學期刊評價為例,選取加權線性匯總、TOPSIS評價、VIKOR評價、主成分分析、調和平均5種方法進行評價,說明該方法的原理及評價方法篩選過程,從而為學術期刊多屬性評價方法眾多難以選擇尋找一條解決路徑。
2基于聚類分析的多屬性評價方法篩選原理
2.1聚類分析簡介
分類是人類認識客觀世界的基礎。傳統意義上往往根據人類的經驗來進行分類,隨著客觀世界越來越復雜,有時依靠人工分類也難以做到。比如在學術期刊評價中,即年指標既代表了期刊的影響力,也代表了期刊的時效性,究竟是側重哪個方面人工很難判斷。至于對學術期刊進行分類,由于評價指標較多、數據量較大、期刊種類多,依靠人工分類更加困難。聚類分析是根據分類對象之間的相關程度分類,在聚類之前,類別是隱蔽的,事先并不知道分類數量。聚類分析的思想是同一類中的個體相似性較大,不同類中的個體差異較大。比如對于某個學科的學術期刊,采用若干評價指標進行評價,影響力較大、質量較高的期刊顯然屬于一類,影響力中等、質量中等的期刊可以歸為第二類,影響力較低、質量一般的期刊歸為第三類。具體聚類過程是,開始時每種期刊均自成一類,通過一定的算法計算期刊之間的相似性,把其中最相似的兩種期刊合并為一類,這樣分類總數減少一個;再繼續進行聚類,計算類與類的相似性,再選擇其中最相似的兩類進行合并,……,一直到所有的期刊被歸為一大類。聚類方法包括組間連接法、組內連接法、最短距離法、最長距離法、重心法、中位數法等,常用的有組間連接法。
2.2聚類結果一致度篩選法原理
采用聚類方法篩選多屬性評價方法是基于這么一個原則:在多屬性評價前后進行兩次聚類分析,兩次聚類結果一致性最高的多屬性評價方法為優,該方法也稱為聚類結果一致度篩選法。在期刊評價之前進行的聚類是針對原始評價指標而言的,沒有采取任何多屬性評價方法進行處理,此時進行的聚類是最本源的,也是最可靠的聚類。在進行多屬性評價時,不管采用什么多屬性評價方法,一個首要前提是盡量不能破壞原始數據的分類,或者說,對原始數據分類破壞最少的多屬性評價方法才是較好的評價方法。如果一個期刊在原始數據中被歸為優秀期刊,但是評價以后卻變成了中等期刊,少數情況下出現這種現象是可以理解的,比如對于優秀期刊中排名相對靠后的期刊。但是如果有太多這種情況出現,評價后有較多的優秀期刊變成一般期刊,或者有較多的一般期刊變成優秀期刊,說明一定是評價方法出了某種問題,充分說明評價方法選取不當。聚類種類多少取決于期刊數量多少。當評價期刊較多時,比如300種左右,可以分為3-4類;當評價期刊較少時,比如小學科只有20幾種期刊,可以分為兩類。聚類結果一致度篩選法的步驟如下:第一步,確定評價對象,根據評價對象的數量確定聚類的種類;第二步,對原始指標采用K?MEANS聚類進行分類,輸入聚類種類數量,正常情況是2-4種,得到每種期刊的分類屬性集X;第三步,采用可行的n種多屬性評價方法進行評價,得到n種評價結果集Y;第四步,對每種多屬性評價方法的評價結果進行聚類,得到n種不同的聚類結果集Z;第五步,計算每種聚類結果Z與原始聚類結果X的一致度,選取一致度最高的多屬性評價方法。第六步:以聚類結果一致度最高的多屬性評價方法的評價結果作為學術期刊評價的最終結果。
3評價方法與數據
3.1評價方法
為了說明多屬性評價方法選取的應用,本文同時采用加權線性匯總、TOPSIS、VIKOR、主成分分析、調和平均5種評價方法進行評價,然后采用聚類分析對評價方法進行選擇。(1)加權線性匯總。加權線性匯總是最傳統的評價方法,其原理是將原始評價指標標準化以后,采用主觀或客觀評價方法賦予權重,然后再進行加權匯總。(2)TOPSIS評價。TOPSIS是C.L.Huang等[25]提出的一種評價和決策方法,也稱為理想解法,根據評價對象到理想解與負理想解的相對距離來進行評價,理想解是最好的評價值,負理想解是最差的評價值,距離理想解越近、負理想解越遠的方案為最優。(3)VIKOR評價。VIKOR評價方法是S.Opricov?ic提出的,其最大優點是充分考慮最大化的“群體效益”和最小化的“反對意見的個體遺憾”。(4)主成分分析。主成分分析是相對成熟的評價方法,X1,X2,…,Xp為標準化后的評價指標,n為評價對象數,p為評價指標數。
3.2評價數據
本文以JCR2015數學期刊為例,數學學科是期刊數量最多的學科之一,以該學科為例加以說明具有較好的代表性。共有11個評價指標,分別是:總被引頻次、影響因子、他引影響因子、5年影響因子、平均影響因子百分位、特征因子、標準化特征因子、論文影響分值;被引半衰期、引用半衰期、即年指標。相對于國內相關引文數據庫而言,JCR引文數據庫影響更為廣泛,而且公布的評價指標特點鮮明。JCR2015數學期刊共312種,由于部分期刊辦刊歷史較短,有些評價指標數據缺失,比如特征因子、5年影響因子計算需要5年以上數據,此外還有部分期刊數據缺失,因此刪除了數據不全的期刊,剩余275種期刊。所有評價指標數據進行了標準化處理,被引半衰期和引用半衰期是兩個反向指標,也進行了正向化。
4實證結果
4.1聚類分析
首先采用K?MEANS聚類分析對原始11個評價指標進行聚類,距離計算方法采用組內連接法,即保證每一類中各期刊之間的距離最近、相似度最高。由于評價期刊較多,有275種,因此分為3類,經過聚類后,原始指標分類總體情況為,第一類33種,第二類173種,第三類69種。
4.2期刊評價及結果聚類
采用加權線性匯總、TOPSIS、VIKOR、主成分分析、調和平均對期刊進行評價,得到評價結果,需要說明的是,作為一個算例,本文設定所有指標的權重相等,也就是說在加權線性匯總、TOPSIS、調和平均時不設置權重。然后分別對每種評價方法的評價結果進行聚類分析。參照原始數據分類,優秀期刊33種,良好期刊173種,一般期刊69種,基本符合中間大、兩頭小的規律。VIKOR評價中優秀期刊只有2種,良好期刊40種,一般期刊最多,為233種,可以初步淘汰。主成分分析評價結果中,優秀期刊只有9種,良好期刊76種,一般期刊數量最多,為190種,也可以初步淘汰。需要說明的是,將所有評價方法分別按分數高低排序,每種評價方法的分類排序是1、2、3,和原始數據分類排序完全相同。比如TOPSIS評價結果從高到低排序后,其對應的分類排序也是1、2、3,并且與原始指標的分類排序也完全一致,并沒有出現排序錯位的情況,說明各種評價方法評價結果與原始數據分類評價結果是嚴格對應的,也就是說,對原始數據的聚類本身就體現了期刊評價,分類越低的期刊越優秀。
4.3計算聚類一致度
將每種評價方法聚類分類結果與原始數據聚類分析結果進行比較,看兩者是否屬于同一類,在此基礎上計算一致度,結果如表3所示。調和平均聚類分析結果與原始數據聚類分析結果一致的期刊共有141種,其次是TOPSIS評價,有96種結果一致,第三是加權線性匯總,有65種,而VIKOR評價一致的只有60種,主成分分析結果一致的只有58種,因此這5種評價方法中,應該選調和平均進行評價。
4.4穩健性檢驗
為了研究聚類種類設置對評價方法選取有沒有影響,將聚類種類設置為4類,重新進行聚類一致度檢驗。首先進行聚類分析,按照4種分類進行聚類。原始數據共分為4類,第一類17種,第二類70種,第三類174種,第四類14種,這也符合期刊評價預期。在這些分類種,VIKOR評價第一類期刊106種,第二類只有4種,明顯不符合實際,屬于優先淘汰的評價方法。繼續計算聚類結果一致度,從各種評價方法聚類結果與原始數據聚類結果一致的期刊數量看,調和平均最高,為142種,其次是TOPSIS,為97種,再次是線性加權匯總,為66種,第四是VIKOR評價,為60種,最后為主成分分析,為59種。需要注意的是,在4種分類的情況下,聚類結果一致的評價方法排序與3種分類完全一致,說明聚類數量總體上不會影響評價方法選擇。
4.5調和平均評價結果
最終采用聚類結果一致度最高的調和平均來進行評價,結果如表6所示,由于篇幅所限,本文僅公布排在前30的數學期刊。在分類數量為3種的情況下,調和平均排序前30種期刊種,只有1種期刊聚類結果與原始評價指標聚類結果不一致。
5結論與討論
本文根據聚類分析的原理,提出了一種基于原始數據聚類與評價結果聚類進行比較,從而根據分類結果一致度的大小來進行多屬性評價方法選取的方法,從而為學術期刊評價中多屬性評價方法眾多,難以進行評價方法的選取提供了一種解決思路。實證研究表明,聚類數量設置對該方法的結果影響較小,說明根據聚類結果一致度進行評價方法選取具有較好的穩健性,該方法具有一定的通用性,可以進一步開展相關研究。聚類分析雖然立足于分類,但本質上也屬于一種粗粒度的評價。因為在分類時好的期刊之間相似度高,自然歸為一類;一般化的期刊之間相似度也高,也會歸為一類。類別本身也說明了期刊的優劣,各種多屬性評價方法在評價時由于原理不同,必然對期刊原始數據包含的分類性質做了一定的改變,但是這種改變不宜太大,該原則可以上升為評價公理,從而用于多屬性評價方法篩選。