人文社科成果評價的要素及其管控機制
對人文社科成果進行評價,是判斷成果價值和能否廣泛推廣實施的重要尺度,以下是小編搜集整理的一篇探究人文社科成果評價要素的論文范文,供大家閱讀參考。
一、引言與研究框架
(一)研究問題及現狀
人文社科成果是人們在從事人文社會科學研究和實踐活動中,通過創造性勞動所取得的具有規律性認識或改造世界作用的成就或結果。對人文社科成果進行評價,是判斷成果價值和能否廣泛推廣實施的重要尺度,也是使成果獲得同行和社會承認,鼓勵學者開展學術研究的必要途徑。目前,中國人文社科學術成果評價以文獻計量為主,同行評議為輔,評價的標準、方法、指標和組織實施等都存在一些不足,以致出現了過度數量化、簡單化、形式化,甚至偏離評價目標等問題,影響了學術界和社會對人文社科成果的正確認知和學術創新的積極性,阻礙了人文社會科學的繁榮發展。學術界廣泛認為,評價機制不完善是造成上述問題的重要誘因,尤其在諸多機制中,以創新和質量為導向的管理控制機制的嚴重缺位和失效,更是當前亟需解決的問題。2011年《教育部關于深入推進高等學校哲學社會科學繁榮發展的意見》也指出:完善以創新和質量為導向的科研評價機制是建設國家哲學社會科學創新體系的重點任務之一。
國內外學者已對學術評價機制做出了一系列研究和思考。中國學者的相關研究可分為三類:(1)總結和批判學術成果評價機制存在的問題,如劉明[1]系統梳理并批判了古今中外的學術評價制度的不足;不少學者也指出學術成果評價機制存在行政化、重量輕質、缺乏彈性、不符合人文社科研究規律等問題。(2)探討學術成果評價機制的問題癥結,劉大椿[2]從哲學層面討論了人文社科學術成果評價中的學術標準與非學術標準、基礎研究與應用研究等矛盾關系;眾多其他學者則借鑒信息學、政治學、公共管理學等理論,分析了評價中多數暴政、權威衰微和評價制度異化等現象的實質。(3)分析學術成果評價的具體機制并提出完善策略,楚廣興等[3]初步研究了科技評價過程的質量控制機制;胡顯章等[4]從國家創新系統角度分析了同行評議的約束機制;有些學者還提出了開展多元評價、加強規范同行評議、構建元評價機制等建議。
與中國不同,西方人文社科學術成果評價以同行評議為主,文獻計量為輔。關于評價機制的典型研究有四類,也值得我們思考和借鑒:(1)數量評價與質量評價的平衡機制,如Talib[5]認為科研評估必須權衡數量與質量;Moed[6]發現英國的科研評估經歷了“注重數量,注重質量,再次注重數量”三個階段。(2)與科研資助掛鉤的激勵機制,英國科研評估計劃(RAE)直接決定科研經費分配,芬蘭教育部也建議建立這種基于績效的撥款機制。(3)政策導向的多元化評價機制,Mazlish[7]認為成果質量包括內部學術質量和外部社會質量;Astbury[8]從政策角度探討了評價的機制和理論問題。(4)探討科研評價的消極影響,呼吁對評價機制進行改革,如Sikes[9]認為評價增加了學者的壓力、改變了工作方式、影響了專業性,應通過改革降低這些負面作用;Bernard[10]發現功利化的科研評估使歷史學家無法認真開展研究,改革勢在必行。
可以看到,多數對人文社科學術評價機制的研究著重指出問題或分析成因,只有少部分學者提出了一些建設性觀點;對評價機制的理論構建和實證研究,尤其是對創新和質量導向的學術成果評價管理控制機制的研究尚較為匱乏。事實上,學術評價機制的創新與學術創新同等重要[11]。為此,筆者以創新和質量導向為原點,對中國人文社科學術成果評價中應予以管理和控制的關鍵因素及其作用關系和內在機理等進行系統的理論思考,以期建立有效的評價管理控制機制,為完善評價體系、規范評價實踐和支撐國家哲學社會科學創新體系建設提供參考。
(二)研究框架及方法
“創新和質量導向的人文社科學術成果評價管理控制機制”(以下簡稱“評價管控機制”)是指:以創新和質量為導向,對人文社科評價體系的構成要素及其相互作用關系進行管控的內容、方式及過程。圖1展示了本文的基本分析框架。其中,創新和質量導向是建立評價管控機制的目標和方向,要求評價體系的各要素均能引導和促進學術成果的創新和質量提升;評價體系的各要素是管控機制的管控對象,通過對要素及其存在問題的管理和控制,可使人文社科成果評價的創新和質量導向落到實處;關鍵管控維度是管控機制的具體內容,根據評價體系各要素與創新和質量導向之間的作用機理,調整評價體系各要素,使評價過程和結果能夠篩選出創新性較強、質量較高的成果并給予恰當認可,減少甚至規避評價體系存在的問題!1】
其中,關鍵管控維度是本文探討的重點,在此處對其內涵進行界定。由于人文社科成果評價是將評委頭腦中的判斷顯性化的過程,與心理學量表的原理極為相似,因此本文借鑒心理學量表的信度和效度概念,將評價信度定義為:判斷人文社科成果創新和質量過程中“隨機誤差”的多少,即當評價體系中某一因素發生變化時,評價結果的一致性程度;將評價效度定義為:評價過程和結果所反映出的人文社科成果創新和質量特征的有效程度。評價調和度的提出則著眼于人文社科學術成果評價中天然存在的諸多矛盾沖突[2、18];由于人文社科學術評價具有較強的主觀性,這些矛盾沖突不可能徹底消除,而只能通過協調甚至取舍達到平衡與和諧;評價調和度是指:以學術成果創新和質量提升最大化為目標,通過制定協調規則使評價中各類矛盾沖突達到平衡與和諧的程度。
本文將按照上述分析框架,通過理論和實踐的上下對接,對評價管控機制應具備的功能、應控并可控的主要因素,決定評價創新和質量導向的關鍵變量及其相互作用機理等進行分析。在理論層面,通過分析學術評價創新和質量導向的內涵和影響因素等,明確該導向對評價信度、評價效度和評價調和度進行管控的內在要求;在實踐層面,通過總結分析當前中國人文社科成果評價中各要素存在的問題,有針對性地確定對評價信度、評價效度、評價調和度進行管控的內容、方式和手段。
二、評價管控機制的創新和質量導向分析
評價具有重要的導向意義,明確導向是構建評價管控機制的首要問題。為貫徹落實黨的十七屆六中全會和《教育部關于深入推進高等學校哲學社會科學繁榮發展的意見》的精神,2011年下發的《教育部關于進一步改進高等學校哲學社會科學研究評價的意見》進一步細化闡述了人文社科成果評價的創新和質量導向,明確指出科學有效的學術評價必須以激發活力為根本,以提升質量為導向,以推進創新為重點。事實上,倡導學術創新與強調學術成果質量相輔相成,因為創新在本質上是一種質量價值;當數量價值被提升到決定性地位時,質量價值就注定會被忽視[11];只有在以質量為導向的評價中,才能有效倡導學術創新。
(一)人文社科成果評價的創新導向
xxx在1995年全國科技大會上的講話指出:“創新是一個民族進步的靈魂,是國家興旺發達的不竭動力。”根據資料,早在《南史·后妃傳·上·宋世祖殷淑化》中就曾提到過,創新是創造新東西的意思,這一解釋廣泛適用于各類創新。熊彼特是國際上較早提出創新概念的學者,他于1912年在《經濟發展理論》中從經濟學角度提出,創新就是建立一種新的生產函數,在經濟活動中引入新的思想、方法以實現生產要素新的組合。
學術創新是創新的重要內容之一。學術研究通過對命題真假的論證,追求認識世界、改變世界的普遍規律,對某一領域中專門的、系統的學問進行持續更新。創新是學術研究的內在要求和發展動力。墨子在公元前490年提出的“述而且作”的精神代表了中國關于學術創新的早期觀點。針對人文社會科學領域,中國的“十二五”規劃綱要將哲學社會科學①創新提升到了國家發展戰略的高度。1993年美國學者愛彌頓[11]在《知識創新:共同的語言》中,把知識創新界定為新思想產生、深化、交流并應用到產品(服務)中,促使企業獲得成功,國家經濟活力增強,社會取得進步;這一觀點指出了學術創新對經濟社會發展的作用,在國際上得到廣泛認可。
當代許多學者也對學術創新的內涵、外延、影響因素等問題進行了探討。比如許紅珍[12]認為,學術創新是在前人研究的基礎上,通過對新資料的發掘、對新問題的探索、對已有理論的揚棄,產生新的學術觀點、構建新的理論范式、推進學科理論發展和社會進步。詹先明[13]論述了建設學術共同體以及學術規范和學術批評對學術創新的重要作用。唐松林等[14]從波普爾批判理性主義出發,提出猜測和反駁是學術的基本方法,懷疑與批判是研究過程的本質,批判問題與容忍錯誤是推動學術創新的基本范式。朱旭東[15]、葉志雄[16]等分別從不同角度指出學術創新能力由洞察想象能力、綜合交叉能力、知識譜系能力、反思批判能力、學術自主能力、合作分享能力等構成。葉險明[17]討論了當前創新庸俗化加劇了學術泡沫和學術貪腐,阻礙中國人文社會科學創新和繁榮發展的問題。學界還普遍認為,學術創新在外延上包括新理論、新方法、新材料、新發現等方面。高自龍[18]認為,人文社科成果的創新不僅包括提出以上方面的新內容,還包括對已有研究的改進,并特別指出,綜述性研究的新概括也屬于創新。
在倡導人文社科成果評價創新導向時,上述研究帶給我們如下啟示:第一,學術創新是學術研究的本質屬性和內在要求,任何人文社會科學研究都必須創新,否則學術就無法進步,因此學術創新程度應該作為評價人文社科成果的首要標準和核心指標。第二,學術成果是否具有創新性以及創新程度如何與研究過程密切相關,因此在評價人文社科成果時,不僅應關注成果本身,還應關注學術研究的全過程,過程的規范性和科學性也應作為評價的重要內容。第三,人文社科成果創新不僅是學術活動,也具有經濟性和社會性,因此人文社科成果的經濟效益和社會效益也應作為評價的重要尺度,成果的用戶有權對成果進行評價。第四,學術創新不是靜態的、孤立的活動,一項成果往往既建立在已有研究基礎之上,又為以后的研究奠定基礎,不同成果通常在時間和空間上具有持續性和關聯性,因此對于知識表述方式過于自由的人文社科成果來說,評價的重點和難點在于判斷出成果有別于其他成果之處。第五,懷疑和批判是學術創新的出發點,對于大量使用思辨方法的人文社會科學而言更是如此,這就要求評價體系能充分包容有爭議的成果,營造出自由寬松的、鼓勵學者創新的學術環境。第六,學者既是學術創新的主體也是評價主體,通過成果和評價的“共生相長”提升學者的創新能力、充分發揮學術共同體的評價作用,是評價體系的重要功能。
(二)人文社科成果評價的質量導向
根據當前評價中過分重視數量評價的狀況,《教育部關于進一步改進高等學校哲學社會科學研究評價的意見》指出,要確立“質量第一的評價導向”,強化質量意識,嚴格遵循質量評價標準,推行代表作制度,正確使用文獻計量數據。
探討質量的基本內涵,是推進評價質量導向的.邏輯起點。《質量管理體系基本原理和術語》指出,質量是“一組固有特性滿足要求的程度”。這一定義通常能用于解釋各個領域的質量概念!掇o海》[19]對質量的解釋是:“(1)產品或工作的優劣程度。(2)量度物體慣性大小的物理量。”這一概念區分了產品和工作的質量與物理學質量的差異,顯然本文所討論的是前者。質量管理專家對質量的定義[20]可以概括為兩個層面:
第一層面是指生產的產品或服務可測量的特點符合一組固定的規格,這些規格通常以數字予以界定,獨立于任何可測量的特點;第二層面是指有關產品和服務滿足客戶的使用預期或消費預期。
圍繞質量形成的質量管理理論,廣泛應用于許多領域的質量管理和控制活動中,尤其是生產和服務領域。現代質量管理理論經歷了以三個主流理論為代表的發展階段,即質量檢驗理論、統計質量控制理論和至今仍處于主流地位的全面質量管理理論,體現出質量概念從“符合要求”向“追求卓越”的發展過程[21]。由上可見,盡管人們對質量的具體解釋存在差異,但對質量內涵的理解大體一致。當把質量導向用于人文社科成果評價時,以上的闡述帶給我們如下啟示:第一,質量是實體的固有屬性,任何人文社科成果都具有質量;同時質量屬性又具有滿足不同主體需求的相對性,因此在評價人文社科成果質量時,必須考慮成果的“用戶”,如同行學者、社會群體等。第二,只要遵循科學的方法,質量是可以進行有效測量的;在測量人文社科成果質量時,不僅可測量成果是否滿足或符合某種要求,也可以測量出成果的相對質量,即滿足需要的優劣程度;相對質量的測量對于推動評價的質量導向,引導學者追求卓越、攀登學術高峰更為重要。第三,質量是一組特性,而不是單一的特性[22],因此在評價人文社科成果質量時,所遵循的評價標準和指標應是一個彼此關聯的綜合體系,按照單一標準或指標進行評價往往不能全面反映成果質量,標準和指標之間關系混亂也不利于恰當有效地反映出成果質量。第四,人文社科成果通常經歷生產和應用過程,在對成果進行評價時,有必要對成果的生產、評估、推廣實施全過程進行管理和控制,追求學術成果的效益最大化,這一點與創新導向不謀而合。
三、人文社科學術成果的評價要素及存在問題分析
對評價要素及其相互關系的正確界定是構建評價管控機制的重要前提。葉繼元教授[23]對評價要素進行了較為系統的研究,指出合理的評價體系應由評價主體、客體、目的、標準及指標、方法和制度六大要素組成;評價主體中的學術共同體是評價主力,評價客體中的成果和人員評價是重點,評價目的是龍頭和動因,評價標準與指標是核心,評價方法是手段,評價制度是保障。在此基礎上,楊建林等[24]進一步認為合理的學術評價體系至少包含學術評價組織者、評價主體、評價客體、評價目的、評價標準、評價方式和評價制度等七大要素。
本文根據構建評價管控機制的需要,借鑒現有研究對人文社科成果的評價要素做出了微調和新的歸納解釋,形成了圖2所示的結構:在特定的學術環境中,人文社科成果的評價主體按照評價的標準和指標,利用一定的方法工具,遵循相應的評價程序,對評價對象進行評價,其中標準指標居于核心地位,評價程序和方法工具居于輔助地位;評價理念目標對評價活動起到指導作用,管理政策是評價活動順利開展的保障!2】
(一)理念目標評價
理念是指評價活動所遵循的基本思想、原則和要求,評價目標是指某項評價活動要實現的具體目標,通常是評價理念的具體化。在評價體系中,理念目標發揮提綱挈領的作用,理念目標若不明確、不正確甚至缺失,將直接影響評價活動的開展。在評價的理念和目標中體現創新和質量導向,是構建評價管控機制的出發點和前提條件。事實上,各類評價目標異化問題廣泛存在于中國人文社科成果評價實踐中[25]。比如,把最初用于解決圖書館利用有限資源選購重點優秀期刊問題的“核心期刊”作為評價論文質量的核心尺度時,評價的理念和目標就發生了異化,致使評價結果違背初衷。學術性與非學術性的矛盾,本土化與國際化等矛盾[2、18]也需要通過進一步明晰人文社科成果的評價理念與目標進行調和。
(二)標準指標
評價標準是用來評價被評對象的價值尺度,評價指標是評價標準的細化和具體化。評價的標準指標是評價體系的核心,受理念目標的指導,對評價結果的正確性起到關鍵作用。一般認為,人文社科成果的評價標準包括真理標準、價值標準、政治標準、可讀性標準等。當前中國人文社科成果的同行評議中,通常將學術創新、學術價值、社會價值、難易程度、論證完備等作為評估指標[18],但在許多評價體系中都存在指標相互關系不清、權重分配不合理、指標體系僵化以致無法體現人文社會多樣性等問題;在基層科研評審中,也常將是否發表在核心期刊、是否被知名雜志轉載、是否受到各級別項目資助、是否獲獎、發文數量及規模等作為評價指標,顯然這些指標存在過分重視數量和外部特征、以致評價結果不正確之嫌。以上問題均不利于學術成果的創新和對成果質量的有效評價,亟需評價管控機制予以糾正。
(三)評價程序
評價程序是指評價的流程、環節和相關規則,是確保評價理念目標得以正確實現,以及評價標準指標得到正確實施的重要保障。當前中國人文社科成果評價中,存在過程簡單化、形式化,受到非學術性因素影響,評價公開不到位等問題,致使評價結果的不確定性增加,評價的科學性和評價結果公信力受到質疑。評價程序的不規范、不細化,也是造成評價理念目標無法實現、標準指標無法有效實施的主要原因。尤其是在不同時間或條件下實施相同的評價體系時,由于評價程序及其執行細則不明確,極易產生評價信度較低的評價結果。這種狀況使對評價程序的管控機制進行深入研究成為迫切需要。
(四)評價主體
評價主體是指評價的實施者,包括評價活動的組織者和對成果進行直接評價的評委兩類。評價主體是評價標準指標的制定者和操作者,對評價結果具有重要影響。目前學界普遍認為,學術共同體應作為學術成果評價的核心主體,但事實并非如此,評價活動仍受到行政部門的干預和許多其他因素的不良影響。由于缺乏對評價主體資質和適用性的判斷,“外行評內行”的情況時有發生。由于人情關系、利益關系和責任感不足等問題,評價角色的失范問題也較為嚴重。雖然許多人認為評價人文社科成果的社會價值時,最終用戶也應作為評價主體,但實際上用戶參與評價的案例非常少。如何確保合適的主體開展正確的評價是構建評價管控機制、確保評價效度的難點之一。
(五)評價對象
評價對象即評價客體,包括人文社科研究形成的論文、專著、研究咨詢報告、教材、工具書、資料、翻譯、科普、創作作品或工藝品評價等成果。成果評價是開展人文社科學者、機構、期刊等評價的重要基礎?砂闯晒问、成果內容、所屬學科、研究性質等不同標準對人文社科成果進行分類評價。如何進行分類評價,將影響評價主體的選擇、評價標準指標和評價程序的確定等問題?茖W的分類評價是確!巴惐容^”的重要前提,《教育部關于進一步改進高等學校哲學社會科學研究評價的意見》也指出了對人文社科成果進行科學分類評價的重要性。由于人文社會科學學科范式復雜,分類評價顯得更為重要。但當前中國對人文社科成果的分類評價對人文社會科學特征的體現還不充分,以致一些評價標準、指標和程序對所評成果不適用。
可以說,在構建評價管控機制時需要格外關注分類評價。
(六)方法工具
即評價中所使用的方法工具。目前文獻計量和同行評議仍是評價人文社會科學成果的兩種基本方法。
前者著重對成果的形式評價,后者著重對成果的內容評價,但兩者都在一定程度上體現出對成果的效用評價。針對每種方法還有更為細化的輔助方法,如德爾菲法可用于更好地搜集同行評議專家的意見,層次分析法有助于更科學地確定評價指標的權重分配,H指數則有利于更便捷地利用文獻計量法評價學者和科研機構。評價工具包括同行評議評分表、網絡評估軟件等,常用于提高評價的效率和準確性;谖墨I計量方法的“以刊評文”方法具有較強的間接性,同行評議方法則具有較強的主觀性,但由于難以找到有效的替代方法,致使許多人文社科學者為了發表成果削足適履,阻礙了正常的學術創新和成果質量提升。同時,雖然信息網絡技術已為學術評價提供了諸多便利,但智能型人文社科成果評價軟件工具仍屬缺位[18]。因此,構建評價管控機制時,有必要通過管控盡力規避現有方法工具的不足,促進評價的方法工具實現突破性創新。
(七)管理政策
即有關管理部門制定的確保評價活動得以順利進行、要求有關人員共同遵守的規程,是評價體系制度化的表現,內容涉及評價的理念、標準、方法,評審相關方的責權利,評審專家遴選,評價監督,評價結果應用,評審的公開、反饋和申訴等內容。有些管理政策具有強制性,有些則僅具有指導或建議性;有些管理政策在人文社科領域廣泛適用,有些則僅適用于部門內部;有些管理政策覆蓋評價要素的方方面面,有些則僅適用于部分評價要素;有些管理政策是針對人文社科評價活動專門制定的,有些則僅起到間接作用。良好的管理政策有利于確保評價活動的正確導向、高效率和有效性,營造出良好的學術環境。當前中國人文社科成果評價的管理政策比較零散,制度化和體系化還很不夠,科學性和可操作性也有待提升,管理政策的缺失、混亂、不合理、過于利益化等是導致評價活動不盡如人意的重要原因之一。在構建評價管控機制時應重點利用管理政策理順評價體系各要素之間的關系。
(八)學術環境
學術環境是指人文社會科學領域普遍認同的學術精神、學術規范和學術行為等。不同國家、學科、時代的學術環境存在一定差異。當前中國人文社科領域的學術環境存在明顯的急功近利、研究范式僵化、學術規范缺失等問題,甚至也出現了一定數量的學術不端和貪腐現象。在評價學術成果時,學者之間互相利用、不當競爭、走形式、拉人情關系等情況也偶有出現。這樣的狀況影響了正常的學術研究和評價活動,也影響了學者之間的分工協作、相互交流和信任,對人文社會科學的創新和發展十分不利。這就要求評價管控機制必須發揮作用,營造更能促進學術創新和質量提升的學術環境。
綜上所述,中國人文社科成果評價體系中的八個要素,均存在一系列阻礙學術創新和提升學術質量的問題。且這八個因素并不是孤立的,所涉及的問題也具有一定的共通性,例如:不同的評價主體在評價同一項人文社科成果時,常常會形成差異較大的結論;同一個評價主體在評價水平相近的人文社科成果時,有時也會得出大相徑庭的結果。因此有必要綜合考慮各評價要素,進一步抽象概括評價中的問題背后的規律,有的放矢地構建評價管控機制。
四、評價管控機制的關鍵管控維度和管控內容分析
評價管控機制的基本功能,是通過對評價要素中易發生問題的環節進行管理和控制,減少甚至規避問題,從而使評價活動達到促進人文社會科學創新和成果質量提高的目標。發現迫切需要進行管理和控制的維度和內容,是構建評價管控機制的核心問題。通過前文的分析可以發現,對評價的信度、效度和調和度三個維度進行管控集中體現出中國人文社科成果評價在理論和實踐兩方面的迫切需要。本部分將按照創新和質量導向的評價要求,著重分析三個管控維度的影響因素和作用機理,并概要闡述各維度的管控內容及其實現方式和手段。
(一)對評價信度的管理控制
根據前文分析,評價體系的諸多問題,如評價程序不規范、操作細則不明確、評價主體角色失范等,都可理解為評價信度問題。在某一確定的評價體系中按照要求隨機選擇不同的評委對同一成果進行評價,但評價結果卻不一致甚至差異較大,或者對于業界公認的優秀成果,在不同時間評出的結果波動過大等,都屬于典型的評價信度問題。這種不一致的情況越多,說明評價的信度越低,評價結果越不可靠,長此以往,評價體系的公信力就會受到質疑。創新導向的評價要求對人文社科成果的創新較為包容,以便更好地促進創新;質量導向的評價要求對人文社科成果質量的測量盡可能準確,以便實現評價的公平公正。這兩個導向都對評價信度提出了較高的要求。
因此通過對信度的管理控制,減少評價過程中的不一致,有利于激勵創新性較強但還不夠成熟的研究,提高對成果質量測量的精確程度。換句話說,對評價信度的管理控制旨在通過減少甚至規避評價中的“隨機誤差”,確保評價結果的一致性。即在其他條件不變,但評價的時間、環境、方法、工具、組織者、評委等某一因素發生變化時,通過管控確保評價結果的一致性和可信度。
評價信度問題主要涉及評價標準指標、評價程序、評價主體等要素,相應的管控內容及其方式和手段包括但不限于:(1)針對標準指標要素:調整評價指標設置,使各項指標更全面地體現成果的學術創新性和質量,且邏輯上不交叉重復;優化指標的權重分配,提升指標的實測精確程度,加大創新指標的權重,使評價更充分地體現創新和質量導向。(2)針對評價程序要素:運用統計方法控制評價結果的分布,幫助評委更準確地量化評價結果;對評價結果進行復查和采用流水作業等方式,確保不因評委的主觀性錯誤或過于復雜的操作方式導致評價結果不準確。(3)針對評價主體要素:遴選并培訓同行評委,使評委能更好地理解和操作評價體系。
(二)對評價效度的管理控制
如前所述,人文社科成果評價中的一系列常見問題,也需要通過對評價效度的管理控制予以規避和解決。如有時評價結果偏離評價目標,盡管所設置的評價體系旨在評價成果的創新程度和質量,但所設置的指標過于間接,致使數量評價代替了質量評價,甚至傷害學者創新的積極性。由于分類評價未能較好地貫徹實施,評價標準或指標并不適用于評價對象,社會價值指標在評價人文學科基礎性研究成果時,其可操作性就往往令人失望。再者,評價結果的區分度過小,以致難以區分出被評對象優劣程度的情況也常常發生,不利于保證評價的公信力和引導學者進行持續創新。
以創新和質量導向對評價效度進行管理控制,旨在確保評價真正確實地測量評價對象在創新和質量方面的特性,且測量結果較為準確。效度包括:內部效度,如評價指標體系與評價目標的吻合程度;外部效度,如評價標準對評價對象的適用程度;測量效度,如評價工具能否恰當表達和量化評價結果,較好地區分出被評價對象的差異。
評價效度問題主要涉及評價的理念目標、標準指標、評價對象、評價程序、方法工具、評價主體、學術環境等要素,相應的管控內容及其方式和手段包括但不限于:(1)針對理念目標要素:樹立評價的創新和質量導向意識,統一人文社會科學界對評價導向的認識,推廣創新和質量導向的科研管理政策。(2)針對標準指標和評價對象要素:分類設置評價指標,針對不同學科和類型人文社科成果的特征,分類設置相應的評價指標,有利于提高評價體系對評價對象的適用程度。(3)針對評價程序要素:設置標準化的評價原則,通俗地描述這些原則,有利于協調評價體系中各要素,促進預期評價目標的順利實現;提高評價實測過程的難度,比如要求評委較為詳細地描述出被評對象的質量,顯然比僅要求評委對被評對象的質量進行程度選擇,更能讓評委認真對待評測過程。(4)針對方法工具要素:調整文獻計量數據統計方法,如對引文數量顯著高于或低于同類研究的成果進行單獨統計;調整同行評議打分表,使評價主體能夠更為精確地量化表達出評委對評價成果質量的印象,比如21分量表就顯著優于10分量表和5分量表[18]。(5)針對評價主體要素:監督評價組織者、評委和成果作者之間的師生、親屬、利益等關系,通過評委和評價對象匿名和實名方法的有效結合,回避這些關系并得到更準確的評價結果.(6)針對學術環境要素:營造創新和質量導向的學術環境。
(三)對評價調和度的管理控制
人文社科成果評價結果引起詬病往往還因為評價活動本身存在與生俱來的矛盾沖突,比如理想完美性與現實可行性的矛盾[18],客觀定量評價與主觀定性評價的矛盾[2],本土標準與國際標準的矛盾等[2],不同評委對同一評價對象也可能產生不同甚至完全相反的意見,評價對象不認同被評結果的情況也較為普遍。這些矛盾沖突在評價創新性較強的成果時更容易發生。目前人們往往采取“亡羊補牢”的方式解決這些矛盾,即出現問題時臨時討論解決方式,但事實上,對這些問題進行及時有效的前端控制,即建立合理的評價調和度管控機制才是長久之計。
評價調和度問題旨在以創新和質量為基準,協調學術成果評價中的各類矛盾沖突。對評價調和度進行管理控制的重點是確定矛盾沖突的處理原則和措施。原則和措施的基本思路是“平衡”矛盾的主次方面。
顯然,為了確保創新和質量導向,評價調和度管控機制在“平衡”矛盾沖突時需堅持以下準則,即向有利于成果創新和質量提升的矛盾主要方面傾斜,為此勢必需要降低甚至犧牲矛盾的次要方面,比如為了激勵創新降低對論證完備程度的要求。
評價調和度問題主要涉及評價的理念目標、標準指標、評價程序、方法工具、評價主體等要素,相應的管控內容及其方式和手段包括但不限于:(1)針對理念目標和標準指標這兩個要素,重點需要明確國際化標準與本土化標準之間的矛盾,客觀定量評價與主觀定性評價之間的矛盾,行政要求與學術規范之間的矛盾等,當基于不同方法的評價標準或指標之間存在互斥或制約時,有必要對評價標準和指標體系進行反復論證后再投入使用。(2)針對評價程序和方法工具這兩個要素,重點需要平衡理想完美性與實際操作可行性之間的矛盾,應根據實際情況對不同方法、工具進行選擇、取舍和搭配,針對矛盾沖突時常發生的環節細化評價程序的處理細則。(3)針對評價主體要素,重點需要協調評價主體間的非共識性意見,并細化發生沖突時的解決方法。
五、結語
中國現行人文社科學術成果評價體系存在許多問題,嚴重制約著人文社會科學的健康發展,本文基于當前相關管理部門和學界普遍倡導的創新和質量導向,通過分析和歸納將評價管控機制的關鍵管控維度概括為評價的信度、效度和調和度三項,并從理論上初步構建了評價管控機制的內容框架。然而,無論在理論上還是實踐上,中國人文社科成果評價管控機制的構建仍然任重而道遠。本文所提出的框架涉及到大量人文社科成果評價的細節問題,尚有待評價領域甚至全體人文社會科學工作者進行長期、深入的探討。
參考文獻:
[1]劉明.學術成果評價制度批判[M].北京:長江文藝出版社,2006.
[2]劉大椿.中國人文社會科學評估問題之審視[J].重慶大學學報:社會科學版,2009(1):54-59.
[3]楚廣興,李幫義.科技評價過程的質量體系管理控制機制及控制策略研究[J].科學學與科學技術管理,2006(3):40-43.
[4]胡顯章.國家創新系統與學術成果評價[M].濟南:山東教育出版社,2000.
【人文社科成果評價的要素及其管控機制】相關文章: