前言:尋找寫作靈感?中文期刊網用心挑選的重點研發計劃績效評價體系思考,希望能為您的閱讀和創作帶來靈感,歡迎大家閱讀并分享。
摘要:根據寧夏重點研發計劃的特點及管理部門的要求,本文通過確定績效評價原則,分析研究績效評價方法,分別設計出滿足寧夏重點研發計劃的項目層面及計劃層面的績效評價框架,構建了寧夏重點研發計劃的績效評價體系。寧夏重點研發計劃作為寧夏科技計劃中的主要科技計劃類型之一,其目標為面向自治區經濟社會高質量發展需求,重點支持公益性研究、產業關鍵技術攻關、先進新技術集成創新、科技研發合作等科技活動,鼓勵產學研融合,為建設現代化經濟體系提供科技支撐。重點研發計劃包括重大項目、一般項目及按重點領域、重點任務分設的沿黃試驗區科技創新專項、東西部科技合作專項、科技惠民專項、農業科技園區專項等若干專項,專項設置根據實際情況進行動態調整。重點研發計劃實行多元化投入方式,資金來源包括財政資金、單位自籌資金、金融資本、社會資金等。績效評價是績效管理的重要內容,近年來,政府相關部門為了做好績效評價工作加強了績效評價的相關工作。本文根據寧夏重點研發計劃的特點從評價原則、評價方法、指標框架等方面設計了一套符合計劃特點的績效評價體系。
1.評價原則
1.1需求導向原則
評價指標要體現公共財政支出績效評價的核心內容,滿足《中央財政科技計劃(專項、基金等)績效評估規范(試行)》和《財政支出績效評價管理辦法》等國家績效評價管理規定的具體要求,能體現我區科技發展的戰略方針和政策導向,反映科技計劃管理改革的需求。評價結果能夠促進、引導科技資金投向、兼顧短期效果和長期效果及影響,對科技計劃管理者和執行者都有引導作用。
1.2微觀與宏觀相結合原則(分層評價原則)
由于重點研發計劃的基本構成單元是項目,各個科技項目實施成功與否是計劃成功與否的關鍵和基礎。科技計劃績效評價必須充分重視單個項目實施取得的技術成果、產生的經濟效益及對承擔單位(企業)技術創新能力與競爭力的提升所發揮的作用和影響等微觀層面績效評價,為科技計劃實施是否成功提供基本支撐依據。單個項目取得的技術創新成果通過技術外溢的形式帶動整個行業經濟效益的提高,與其密切相關的行業也會受到不同程度的影響。因此,科技計劃績效評價必須與項目微觀評價相結合,分別開發設計科技項目績效評價指標和計劃績效評價指標進行分層評價,在項目績效評價結果基礎上綜合分析評價計劃總體的宏觀效果和影響。
1.3定量與定性相結合原則
重點研發計劃及項目績效評價指標應采取定量與定性相結合的原則設計,既要充分重視以客觀數據為基礎定量評價,又要重視以描述性證據資料為基礎的定性評價,二者有機結合進行全面評價。
1.4遵循“SMART”
評價指標要具體(Specific),定義清晰,不產生歧義;可度量(Measurable),指標有確定的評價基準對其進行衡量或分析;可實現(Attainable),指標的驗證數據或者信息通過努力是可以獲得的;相關性(Relevant),指標與評價對象的產出、效果相關,能夠為科技計劃管理提供相關信息;在限時條件下可實現(Time-bound),指標能夠以合理的成本和人力在限定時間內收集相關評價證據。
2.評價方法
結合寧夏重點研發計劃特點和績效評價實踐經驗,選擇以下方法作為寧夏重點研發計劃績效評價的基本方法:
2.1案卷研究法
案卷研究法是指收集、分析各種與被評對象相關的案卷、信息、文獻資料,從中提取、總結有價值的評價證據,以滿足評價需求的方法。案卷研究法是最基礎、用途最廣泛的評價方法之一。
2.2調查法(問卷調查)
調查法(問卷調查法)是指通過設計調查表或調查問卷發放給調查對象,從被調查對象的填報材料中獲得評價信息的方法。調查法可分為材料收集式調查和觀點統計式調查,兩種方法在科技項目績效評價和科技計劃績效評價中既可以單獨使用也可以同時使用。通過填寫調查表的方式系統收集科技項目投入、執行狀況、產出、成果成效等數據信息和利益相關者的觀點。
2.3座談會法/訪談法
根據評價需要,評價人員選取一定數量的利益相關人員,召開座談會或與其座談或訪談的方式,獲得受訪者提供的專業知識、有效實例、數據和相關問題的觀點、看法,為深入了解被評對象、對相關問題分析判斷提供重要支撐證據。該方法主要用于科技項目績效評價中對技術成果的創新性、先進性、技術成果用于效果等評價和科技計劃績效評價中計劃對產業技術發展的作用和貢獻、社會經濟效益、持續性影響等方面分析、評價。
2.4實地調研法
實地調研法是指調研人員前往科技項目實施地直接獲取項目具體情況的一種方法。實地調研目的是調研人員親自收集項目一手資料,通過與相關人員溝通交流、參觀、查看項目現場,對項目實際實施情景的觀察,獲得二手資料難以獲取或無法充分反映的項目實際情況資料。
2.5案例研究法
案例研究法是一種定性、描述性的研究方法,它通過提供典型案例的詳細信息,幫助評價人員對某一特定領域進行深入研究分析。在科技計劃績效評價中有關科技計劃對產業共性關鍵技術問題解決的作用、對產業發展的促進作用、對資源利用水平的提升、生態環境改善貢獻等方面是一種重要的分析評價方法。
2.6比較法/標桿分析法
比較法/標桿分析法又稱基線比較法,是將評價的各項活動與從事該項活動的目標或最佳實踐進行比較做出判斷,并從中發現優勢與不足的方法。在科技計劃績效評價中常用的比較基線有目標值、行業標準、同行業先進指標等。比較法在科技計劃績效評價中廣泛應用,特別是科技計劃項目人員、經費投入、產出、科技成果產業化經濟效益、技術推廣的范圍、人才培養目標等量化考核指標的實現程度基本采用比較法。
2.7同行評議法
同行評議法是指組織相關領域多名專家,按照設定的原則和指標,專家根據評價信息資料和自己的專業知識對評價內容做出評價的方法。同行評議在科技計劃績效評價中得到廣泛使用,特別在科技計劃(項目)取得的成果科學價值和意義、創新性、先進性、應用前景、對產業發展的作用影響、對社會發展的作用和影響等方面評價常常應用。
2.8評價方法對應的評價內容
總結上述評價方法,同時對應到寧夏重點研發計劃績效評價指標中,根據各指標以期獲得數據,采取不同的方法獲得真實、有效的各類數據及佐證材料,滿足績效評價需求。
3.評價框架
寧夏重點研發計劃為“打捆”項目,由若干項目組成,是項目群,雖然構成計劃的各個項目都有具體的實施內容、較清晰的目標,但計劃的目標較為宏觀,缺少具體、直接的可考核性的目標指標。構建科技計劃績效評價指標較困難,而項目績效評價指標和標準相對易于構建,但項目的績效評價指標與結果未必能直接轉化為計劃的績效評價指標和結果,需解決科技計劃績效評價指標體系與項目績效評價指標體系相適應問題,使項目績效評價結果既能成為計劃績效評價的基礎和主要支撐,又能在時間和經費成本的限制下滿足計劃較宏觀的評價需要,為科技計劃優化布局、預算調整等提供決策參考依據。寧夏重點科技計劃績效評價框架需同時滿足不同管理部門的需求。目前科技計劃績效評價由財政主管部門和科技主管部門基于自身職責分別組織評價,財政主管部門側重績效管理和資金使用效率的評價,科技主管部門側重科技計劃的進展和成果產出的績效評價,二者側重點不同。為減輕科技項目實施機構與科研人員負擔,提高績效評價工作效率,分表設計了寧夏重點研發計劃項目績效評價指標體系框架(見表2)及重點研發計劃績效評價指標體系框架(見表3)。
4.寧夏重點研發計劃績效評價體系面臨的問題及對策建議
4.1科技成果創新性及先進性評價問題
由于科技計劃績效評價是基于項目評價的評價、科技項目的評價是科技計劃績效評價的基礎,而科技項目評價的難點和關鍵點之一是項目取得的科技成果的創新性,因此科技項目成果的創新性評價也是科技計劃績效評價的難點和關鍵之一。如何客觀、科學地評價科技成果創新性是科技計劃績效評價的主要問題。目前,解決的方法主要有兩種:一是同行評議方法;二是標準化評價方法。同行評議方法方便、易行,但易受同行專家主觀影響、評價結論易出現偏差,且創新性評價結論的表述缺乏標準、較為模糊。建議在實際評價過程中遴選同行評議專家必須按照回避性原則選擇與項目無利益關系的專家,專家應涵蓋項目細分的技術領域、專業水平高經驗豐富的專家,且各專家影響力較為接近,避免權威專家主導評價意見和結論,降低專家主觀影響程度;評價組在組織同行評議時,針對評價需要對科技成果創新性及先進性的描述和判斷標志進行規定,不同的評議專家組在相同的語境下表述科技成果的創新性,降低評價結論的模糊性。標準化評價方法是近年來在推廣應用的方法,2020年團體標準《科技成果評估規范》(T/CASTEM1003-2020)發布,為科技成果標準化評價建立了標準和依據。
4.2效果(效益)滯后性和外溢性評價問題
重點研發計劃績效評價涉及評價范圍包含項目科技成果應用轉化效果(效益)和影響的評價。主要評價關鍵成果的轉化應用情況以及對科技、經濟和社會發展產生的直接的作用和貢獻;影響主要評價項目研發活動及成果對經濟和社會發展所產生的間接的、長期的作用和貢獻,以及對提高科研能力等方面的作用。從成果應用轉化效果和影響主要評價內容看,既要評價評價之時的情況又要評價長期情況,既要評價直接的效果又要評價間接影響。由于科技項目的成果應用轉化效果和影響需要一定時間才能顯現,因此科技計劃績效評價時必須充分考慮應用轉化效果和影響的滯后性和外溢性評價問題。在實際科技計劃績效評價,情況更復雜,以評價時間點看,評價所涉及的項目往往既有結題驗收后的項目,又有剛結題驗收項目和還在實施中的項目,更應重視應用轉化效果和影響的滯后性和外溢性評價問題。在實際評價中可根據轉化效果和影響的具體次級指標進行預測評價,并說明預測的理由。實際操作時,評價人員根據評價需要,與項目承擔單位或管理部門充分溝通,收集多方面應用轉化情況和影響的信息資料和觀點,進行分析判斷,作初步評價,在此基礎上遴選合適的行業技術專家和管理專家幫助分析判斷,績效評價人員與咨詢專家共同進行預測評價。
作者:任麗萍 羅萬有 馬曉英 萬娜 單位:寧夏科技發展戰略和信息研究所