部門期刊列表評價結果的認可度

前言:尋找寫作靈感?中文期刊網用心挑選的部門期刊列表評價結果的認可度,希望能為您的閱讀和創作帶來靈感,歡迎大家閱讀并分享。

部門期刊列表評價結果的認可度

對期刊的學術影響力進行評價,提供公正、科學的評價結果,有助于科研人員、科研機構客觀地了解期刊學術影響力情況,在論文投稿、學術評價過程中做出合理的決策,是科技評價中的一項重要內容[1]?,F有的期刊學術影響力的評價方法主要包括定性評價與定量評價。定性評價方法主要是依據領域專家的意見進行評判,但會出現專家意見不統一、評價過程費時費力等問題[2]。定量評價方法主要依據期刊的被引用情況來進行評估,因其具有客觀、高效等特點,在科技評價實踐中經常被使用,但也存在評價維度單一、特征把握不準的問題[3][4]。對于科研機構來說,人員招聘和崗位晉升都會參考相應的期刊評價結果。通常,一個科研機構參考的期刊評價結果主要來源于三個部分:一是參考主要學術期刊數據出版商提供的期刊評價結果,如科睿唯安公司基于論文影響因子等量化指標得到的期刊分區結果[5]、愛思唯爾公司在期刊引用分(CiteScore)基礎上給出的評價結果[6];二是參考行業學會的期刊評價列表,如管理學領域常用的ABS期刊列表[7][8]、ABDC期刊列表[9]給出的期刊等級;三是科研機構自身在專家判斷和定量分析基礎上,自行研制的部門期刊列表(DepartmentalJournalLists)[10]。現有的期刊評價體系中,學者和政策制定者一直在批評我國期刊評價實踐過于依賴影響因子等國外引文指標,缺少具有中國特色的期刊評價指標[11]。對于國際行業學會的期刊評價列表,雖然具有較好的代表性,但也存在沒有收錄中文期刊和高估部分本國期刊質量等問題。而科研機構自身設置的部門期刊列表評價方式,因為能綜合考慮外部定量定性評價結果,又能根據科研機構學科范疇、發展定位以及其學術水平進行調整,近年來在科研機構學術評價中的使用越來越廣泛。由于期刊評價結果對于科研機構學術評價有著很強的導向作用,采用部門期刊列表可能會面臨評價結果認可度不高和學科公平性問題。通常來說,部門期刊列表是科研機構依據自身學科發展特色,結合外部定量定性評價結果進行設置的,列表中會出現一些非本學科領域的期刊,如經濟管理學院制定的部門期刊列表會有環境科學或數學領域的期刊。這種非本學科領域期刊范疇選擇和等級設置問題如果不能適當處理,會使得部門期刊列表認可度不高。此外,部門期刊列表通常會涉及多個子學科,不同子學科的期刊權衡是個難點,可能會帶來學科偏差,涉及部門期刊列表的學科公平性問題。如制定部門期刊列表的決策人員來自于本機構強勢學科,使得期刊列表的評價結果偏向于強勢學科。本文以部門期刊列表評價結果的認可度及公平性問題為研究對象,研究不同科研機構制定的部門期刊列表的認可度,即單個部門期刊列表的評價結果和真實期刊評價結果之間有多大差異。分析不同學科偏向的科研機構在制定本機構部門期刊列表時是否產生相應的學科偏差,即研究部門期刊列表的公平性問題。

一、基于WAP方法的部門期刊列表結果綜合集成

本文研究的第一個問題是部門期刊列表評價結果的認可度如何,即單個部門期刊列表的評價結果和真實期刊評價結果之間的一致性關系。由于真實期刊評價結果很難確定,不管是定量指標得到的結果,還是專家判斷得到的結果,很難將其界定為真實期刊評價結果??紤]到部門期刊列表制定過程中,已經綜合考慮了定量指標和定性專家意見,所以本文將多個代表性科研機構的部門期刊列表綜合集成結果定義為真實期刊評價結果[16]。一方面是當收集的科研機構具有一定數量且具有代表性后,其部門期刊評價結果的集成基本上已經反映了領域內主要科研人員對期刊評價結果的共識;另一方面是假設單個科研機構在評價期刊時候賦予的偏差,在綜合集成過程中相互抵消,進而不會影響最終的集成評價結果。通常來說,單個科研機構在制定部門期刊列表時,是將期刊賦予不同的等級進而對期刊進行評價的,最為常見的是將期刊分成一等、二等、三等或者A、B、C等若干等級,每個等級中包含一定數量的期刊。不同于期刊影響因子等量化指標,不同科研機構制定的期刊等級之間難以橫向比較,更不能進行運算,這種按等級劃分的期刊評價模式給期刊列表的綜合集成帶來了困難。針對該問題,TempletonGaryF.和LewisBruceR.發表在MISQuarterly上的論文,提出了一種加權平均百分比(WeightedAveragePercentile,簡稱WAP)的方法,來集成這種不同等級劃分的期刊評價結果[12]。WAP方法的基本思路是將部門期刊列表中的不同期刊等級,轉化為相對應的占位百分比,這種反映期刊相對評價結果的占位百分比就可以進行綜合集成[17]。單個部門期刊列表中的某一個期刊的占位百分比通過公式1計算得到。

二、基于經濟管理領域的實證分析

本文選擇國內經濟學與管理學兩個學科進行實證分析,一方面是因為國內的學科設置關系,有較多高校將這兩個學科設置在同一個學院中,如經濟管理學院或者商學院[18][19]。學院在制定部門期刊列表時需要協調和統籌兩個學科,有助于分析部門期刊列表中兩個學科的學科偏好問題。另一方面是因為這兩個學科在國內高校中體量較大,設置的高校多,具有一定的代表性。選擇全國第四輪學科評估結果中,經濟學和管理學下屬的8個一級學科(理論經濟學、應用經濟學、管理科學與工程、工商管理、農林經濟管理、公共管理、圖書情報檔案)中,任一學科評估結果達到B+以上(排序為前20%)的高校,共計72所。進一步調查這些樣本高校,選擇經濟學和管理學為同一個學院的高校(一般為經濟管理學院或者商學院)共計35所。通過網絡搜索和問卷調研,共收集到其中31所學院的中文部門期刊列表。收集的部門期刊樣本中,數量最多的有102種,最少的11種。列表期刊數量在20-40種,共有10所院校,占樣本總數的32.26%;其次是在40-60種,共有8所院校,占樣本總數的25.81%。

1.經濟管理領域部門期刊列表的認可度分析

部門期刊列表在制定過程中,因為考慮到本機構的學科特色等內部特征,列表的適用性和認可度需要進行分析。本文主要從期刊范圍認可度和期刊等級一致性兩個維度來進行研究。將31所院校的部門期刊列表中期刊匯聚,得出經濟管理學領域重要中文期刊的范疇,共有期刊219種。通過統計219種期刊在部門期刊列表中出現的次數,可以得到樣本機構對經濟管理類期刊范疇的認識,如圖1所示。圖1顯示,大部分期刊只是在部門期刊列表中出現1-2次,反映樣本機構中對經濟管理類中文期刊范疇的認識有較大的差異。從具體數據看,只在樣本部門期刊列表中出現1次的期刊共有91種,占到期刊總數的41.55%;按照出現次數20%的閾值,在31個樣本機構部門期刊列表中出現次數超過6次的期刊共有60種,只占到期刊總數的27.40%。該數據反映,目前樣本機構制定的中文經濟管理類重要期刊列表的期刊范疇認可度不高。期刊學術影響力涉及到期刊刊登論文數量、創新性等多個要素,雖然很難用一個指標將其刻畫出來,但是可以認為期刊學術影響力是一個客觀的存在。將期刊按照一定原則和方法進行等級劃分,是對期刊學術影響力評價的一個重要方式。機構在制定部門期刊列表時,都會設置相應的期刊等級,如果不同機構的部門期刊列表中對于同一個期刊的等級劃分趨于一致的話,說明對該期刊學術影響力的評價一致性較高[20]。本文通過分析不同期刊在31家機構的部門期刊列表中的等級差異,來反映期刊列表的等級認可度情況。PercentileScoreij由于需要體現出期刊在不同部門期刊列表中等級的差異,出現頻次較少的期刊難以進行橫向比較,在219種期刊中,我們選擇出現頻率不少于6次的期刊(共計60種)作為進一步分析的樣本。首先計算出每一種期刊在相應部門期刊列表中的占位百分比值(),然后運用箱形圖來直觀反映每一個期刊的占位百分比值波動情況,最后計算期刊占位百分比值的方差,量化給出期刊等級的一致性結果。圖2給出了前60種期刊占位百分比值的箱形圖情況。圖2中已經按照WAP值對期刊進行了排序,序號1的期刊等級最高。圖2中的箱形圖中給出了每一種期刊占位百分比值的上邊緣、上四分位數、中位數、下四分位數、下邊緣和異常值共6個指標,并將其中的上四分位數和下四分位數連接為矩形盒。如果不同機構的部門期刊列表對某一個期刊賦予的等級較為一致的話,反映在其占位百分比分值較為接近,在箱型圖上表現為矩形盒較短。從圖2中可以看出,前60種期刊中大部分期刊的等級評價結果一致性較差。進一步計算每一種期刊占位百分比值的方差,如表1所示。60種期刊中,占位百分比值方差最大值為0.29,最小值為0.06,其中大部分期刊占位百分比值方差是在(0.15,0.20]這個區間。從中可以產出,在樣本部門期刊列表中,期刊的占位百分比值波動較大,反映出樣本機構對期刊質量的認識并不一致。

2.經濟管理領域部門期刊列表的公平性分析

列表的公平性是部門期刊列表需要引起關注的另一個重要話題。因為機構在制定本部門期刊列表時,會根據部門學科特色、發展水平以及決策者偏好對相應期刊等級做出調整,所以期刊列表的公平性一直受到關注。本文選取31家經濟與管理學院作為研究樣本,學科范疇主要涵蓋經濟學和管理學兩個大類,依據全國第四輪學科評估結果,將一級學科評估結果值按照WAP思想轉化成分位值,然后加權匯總得到經濟學和管理學兩個大類學科的評價結果值,通過對比將31家經濟與管理學院劃分為側重管理學、側重經濟學和學科均衡三大類??紤]到國內學科研究的特色,計算過程中將原本屬于管理學門類下的農林經濟管理一級學科歸入到經濟學門類下。如果一個經濟與管理學院,兩個學科的分位值相差在[−5,5]之間,則認為該學院屬于學科均衡樣本,否則將其歸入相應的學科側重樣本。研究樣本的31家經濟與管理學院中,側重管理學的有19家,占總樣本的61.29%;側重經濟學的有8家,占總樣本的25.81%;學科均衡的有4家,占總樣本的12.9%。雖然經濟學與管理學之間有較多的交叉和融合,但是研究范式和主要內容還是有一定的差異,不同學科領域期刊的刊文風格差異較為明顯。通過統計本文收集219種期刊,將其劃分為經濟類、管理類和其它類三個類型。圖3中給出了219種期刊的學科分布情況,以及對應的平均WAP值。從圖3中可以看出,219種期刊中,歸入管理學和經濟學的期刊分別是86種和94種,兩個學科的期刊數量相差不大。不同學科期刊的平均WAP值對比可以看出,管理類期刊的評價值要略高于經濟類期刊,這可能和樣本院校的學科側重有一定關系。前文分析結果表明31家樣本中側重管理學的有19家,占總樣本的61.29%。此外,其他類期刊的平均WAP值要高于經濟類和管理類期刊,可能是因為部分機構在依據本單位學科特色,引入了其它領域期刊,在引入的過程中考慮的都是其它領域水平較高的期刊,給予了較高的等級,所以其平均WAP值較高。部門期刊列表中不同學科期刊數量之間如果存在較大差異,直接影響到該機構科研人員可選擇的目標期刊數量,帶來期刊范疇的公平性問題。對于一個機構來說,選擇的期刊范疇有三種可能,一是為了培育和發展弱勢學科,遴選出較多弱勢學科的期刊;二是強勢學科科研人員在制定部門期刊列表過程中有較多的話語權,所以遴選出的期刊列表中強勢學科期刊數量較多;第三是為了平衡兩個學科,不同學科期刊數量大體相當。刪除219種期刊中其它類期刊,選擇屬于管理學和經濟學類的期刊180種,和31家樣本機構的期刊列表進行對比分析。如果一個機構的部門期刊列表中,經濟學類期刊和管理學類期刊數量相差在[−5,5]之間,將該機構的期刊列表定義為均衡類;如果期刊數量相差超過這個范圍,則依據期刊數量的多少將其定義為相應的期刊范疇偏向類。31家機構中,期刊范圍均衡的機構共有17家,占總樣本的54.84%;期刊范疇偏向于管理類機構共有9家,占總樣本的29.03%;期刊范疇偏向于經濟類機構共有5家,占總樣本的16.13%。表2為不同學科側重機構的期刊范疇偏向情況。從表2的結果來看,樣本機構在制定部門期刊列表時,遴選出的期刊范疇總體上是考慮了管理學和經濟學兩個學科的平衡性,并沒有產生嚴重的學科范疇公平性問題。從機構的學科側重情況來看,學科均衡的機構只有4家,占機構總數的12.90%;而部門期刊列表中期刊范圍均衡的機構共有17家,占機構總數的54.84%。而在19家側重管理學的機構中,有三家機構的部門期刊列表期刊范圍是偏向經濟學,反映了前文所闡述的機構為了培育和發展期弱勢學科,遴選出較多弱勢學科的期刊。部門期刊列表的公平性除了遴選期刊范圍公平性之外,還有一個重要維度即期刊等級的公平性問題。在樣本機構中,如果一個部門期刊列表中經濟學期刊和管理學期刊的平均WAP有較大差異,則表明該機構的部門期刊列表中存在著期刊等級公平性問題。具體分析期刊等級的公平性問題的步驟如下:首先對于單個機構的部門期刊列表,只選擇歸屬管理學和經濟學兩個學科的期刊;然后運用WAP方法將期刊對應的評價等級轉換為百分位;最后利用加權集成的方法計算得到管理學和經濟學兩個學科期刊的平均WAP。通過比較兩個學科期刊的平均WAP值來分析該機構的部門期刊列表中是否存在期刊等級公平性問題。理論上來說,如果部門期刊列表中對于經濟學和管理學的期刊等級劃分是公平的,則該機構部門期刊列表中兩個學科期刊的平均WAP值之間已經沒有顯著差異。表3給出了31個樣本機構中部門期刊列表的公平性分析結果。從表3可以看出,31個機構的部門期刊列表中,有25家列表中將經濟學和管理學期刊的等級是均衡處理,占到總樣本的80.65%,比期刊范疇計算結果高25個百分點。說明樣本機構在設置期刊等級時,綜合考慮了管理學和經濟學兩個學科的平衡性,期刊等級公平性得到了很好的體現。

三、結論與建議

1.結論

在我國現有的期刊評價體系中,部門期刊列表是一種非常重要的方式,一方面是量化指標方面過于依賴以影響因子為代表的國際評價指標,另一方面是國際學術組織制定的期刊列表難以直接應用到我國期刊評價實踐中。本文針對部門期刊列表的認可度和公平性問題,采用加權平均百分位(WAP)方法將不同部門期刊列表集成起來,形成一個可比較的結果,分別從期刊范疇和期刊等級兩個維度分析其認可度和公平性問題。選取31家經濟與管理學院的部門期刊列表作為樣本進行實證分析,研究結果包括如下兩個方面:第一,樣本機構中的中文經濟管理類期刊的認可度不高,體現在54.34%的期刊只是在部門期刊列表中出現1-2次,此外樣本期刊在不同期刊列表中的等級評價結果一致性較差,反映樣本機構對經濟管理類中文期刊范疇的認識以及同一期刊等級的劃分還有較大的差異。第二,樣本機構中的中文經濟管理類期刊的學科公平性較好,54.84%和80.65%的樣本機構中經濟學和管理學兩個學科的期刊范疇和期刊等級是均衡的,說明遴選期刊的范疇和等級總體上是考慮了管理學和經濟學兩個學科的平衡性,并沒有產生嚴重的學科公平性問題。

2.構建我國中文期刊評價體系的建議

分析結果對我國中文期刊評價問題有重要啟示,也為我國中文期刊評價體系的構建提供了相關建議,具體包括:第一,由獨立學術機構(如領域學會或科學基金資助機構)研究制定相應的重要期刊列表,進一步提高領域期刊范疇和等級認知的一致性。經濟管理領域國際期刊評價實踐中,多個國家的學會或科學基金資助機構研究制定了相應的重要期刊列表,為引導本國經濟管理科學研究發揮了重要作用,如英國商學院聯盟制定的高質量學術期刊指南(ABSAcademicJournalQualityGuide)、法國國家科研中心制定的經濟管理類期刊評價列表(CNRSJournalRankinginEconomicsandManagement)。此外,其它學科也有較多的重要期刊列表供學者參考,如中國計算機學會推薦的中文科技期刊目錄。第二,創新中文科技期刊評價指標和方法,提高期刊評價結果的科學性和指導性?,F有的期刊評價方法過于側重論文引用角度,可以在此基礎上進一步創新期刊評價方法,如可以基于科學基金申請過程中的代表作制度來評價學者對期刊的認可度,定期基于領域活躍學者進行問卷調查得到評價結果,基于重要科研機構部門期刊列表的綜合集成進行期刊評價。第三,分領域進行中文期刊評價。期刊評價最終是依賴于領域專家的知識,建議依據教育部一級學科目錄體系或者科學基金的申請代碼體系,組織專家分領域研究制定領域的期刊列表。科研機構在制定自己部門期刊列表時,可以將不同領域期刊列表進行綜合集成,依據本機構特色進行適當調整。

亚洲精品一二三区-久久