英國學術研究評估(Research Assessment Exercise)簡介

師資培育中心  符碧真教授

根據Thomson ISIInstitute for Scientific InformationResearch Service Group統計1997-20012623個領域的學術表現(如表一),發現我國論文篇數第18名,但是20個領域論文相對影響力低於世界平均值,只有「農業科學」領域高過世界平均值,顯示我國論文「量」雖多,但「質」卻遠不如他國。另根據20032004年上海交通大學世界頂尖大學學術評比,兩岸三地表現最佳的臺大,除了在論文「數量」(SCI & SSCI論文篇數)指標表現尚可外,其他強調原創性的「品質」指標,如:諾貝爾獎得主、高引用率論文作者數量「自然」與「科學」雜誌上刊登之論文篇數、每位教師學術生產力則有很大的改進空間。英國為世界上唯一對學術研究進行全國性的評估(Research Assessment Exercise,簡稱RAE)的國家,著重研究品質的作法帶來相當大效益,或可供國內扭轉只重研究數量,忽略研究品質的參考。

  1997-200126國科學及社會科學學術表現及影響力

(以超過世界平均值領域數多寡排列次序)

 

論文篇數(

論文相對影響力高於世界平均值之領域數

論文相對影響力等於世界平均值之領域數

論文相對影響力低於世界平均值之領域數

美國

1226946 (34.60)

23

0

0

加拿大

 160576 ( 4.53)

20

0

2

瑞士

  66051 ( 1.86)

19

1

1

荷蘭

  91199 ( 2.57)

19

0

3

英格蘭

 281991 ( 7.95)

19

0

3

英國

 331481 ( 9.35)

18

1

3

瑞典

  72436 ( 2.04)

16

1

4

蘇格蘭

  44735 ( 1.26)

16

0

6

德國

 312381 ( 8.81)

15

0

6

丹麥

  36869 ( 1.04)

15

0

6

法國

 225633 ( 6.36)

13

1

7

澳洲

 100920 ( 2.85)

13

0

9

芬蘭

  34379 ( 0.97)

13

0

8

比利時

  47131 ( 1.33)

13

0

8

義大利

 145932 ( 4.12)

11

1

9

挪威

  23592 ( 0.67)

11

0

10

愛爾蘭

  12373 ( 0.35)

10

0

11

奧地利

  33060 ( 0.93)

9

1

11

西班牙

 101316 ( 2.86)

4

0

17

中華民國

  45204 ( 1.27)

1

0

20

大陸

 114894 ( 3.24)

0

0

22

日本

 336162 ( 9.48)

0

0

21

印度

  76970 ( 2.17)

0

0

21

巴西

  43692 ( 1.23)

0

0

21

南韓

  55329 ( 1.56)

0

0

20

墨西哥

21645 ( 0.61)

0

0

19

1

英國對學術研究品質已經發展出一套相當成熟同儕評估的作法,稱為RAE,每四到五年對全國所有大學的所有學門(subjects)進行評估,其目的有二:(1)公開各大學各領域的研究品質完整的資訊,供家長及學生選校系之參考;(2)評估結果作為撥款單位研究資源分配的依據。RAE1986年的第一次評估並未與經費分配連結,嗣後漸進方式將評估結果與撥款連結,2007-2008年即將進行第六次評估。這種高度競爭性、選擇性(highly competitive and selective )的經費分配方式,藉由學術研究品質評比,使得有些大學獲得大筆經費,有些大學則只獲得微薄的經費。2001年評估結果呈現兩種現象:(1)全國130多所大學,24所大學獲得近75%的經費;(2)有些學生數相近的大學獲得的經費卻有很大的差異。

RAE評估過程略述如下:(1)每所大學先選擇在67個學門要函報的教授名單,每位研究活躍者(research-active staff均需自行維護更新線上個人資料(on-line RAE-CV)以及每一篇發表的論文全文都能線上查詢(on-line Eprint);(2)繳交量化資料包括(研究經費、博士班學生數等)、質化資料(每位教授至多四篇最佳論文)、背景資料(系所資訊、研究策略);(3)評估委員對校方呈報的每一筆資料進行評比(rating),依其研究品質達到國內卓越或及國際卓越的程度,分成七個等級。近年來由於研究品質大幅提昇,RAE對各等級的標準也漸次提升,2008年評比等級的內涵如下:

等級

內涵

5*

過半數研究品質達國際卓越,其餘達國內卓越

5

二分之一研究品質達國際卓越,其餘達國內卓越

4

幾乎所有研究品質都達國內卓越,有部分證據研究達國際卓越

3a

三分之二研究品質達國內卓越,可能有些研究達國際卓越

3b

過半數研究品質達國內卓越

2

半數研究品質達國內卓越

1

沒有或幾乎沒有任何研究品質達到國內卓越

至於研究品質與經費之間的關係,茲以化學學門為例說明如下,如有10M英鎊經費要分給AB兩校。

A

B

評估結果 3a (3a的撥款基數是1.5)

評估結果 3b (3b的撥款基數是1)

呈報100位教授

呈報100位教授

獲得100*1.5150基數

獲得100*1100基數

獲得經費

10M英鎊*{150/(150+100)} =6 M英鎊

獲得經費

10M英鎊*{100/(150+100)}=4 M英鎊

RAE施行過幾次後,獲得55*的數量從1992年的348件到2001年的999件,獲得55*的教授比例從1992年的23%2001年的55%。另英國在國際學術的評比的客觀學術品質指標上,亦有長足進步:(1)每英磅產出的論文數及論文被引用數,英國被評為世界第一;(2)自1996年到2001年最常被引用的論文數英國63%;(3290位海外評估學者中除9位以外大都認同該作法。

RAE帶來的正向結果包括:(1)英國研究品質大幅改進,(2)研究成為一項嚴謹且管理良好(well managed)的活動,(3)以客觀指標對有限資源作高度選擇性分配的依據,(4)根據學者已經有的研究產出表現做分配的依據,符合經濟效益,(5)評估結果有公信力,大眾認為合理且廣被接受。RAE也帶來負向結果包括:(1)教師的壓力極大,(2)各學門各自評估,以致跨領域、新興及長期的研究受到犧牲或扭曲,(3)為爭取最佳表現,有些學校向外挖角且傾向聘用年輕學者,(4)注重研究,傷害與研究無關的活動,(5)不同學門間可比較性應再酌。

英國RAE要求教師提供自認最佳的作品至多四篇,這督促教師不要只追求研究的數量,而是要追求研究的品質,而使英國的學術表現大幅提昇。近些年來教育部、國科會、各大學評估教師多著重研究的數量,以致教師多從事「短、小、輕、薄」的研究,追求速成效果,也就難怪在國際評比時,國內學術影響力幾乎全軍皆墨、也難躋身世界前百所頂尖大學。為扭轉頹勢,教育部、國科會、各大學(教師升等及評估)評估學術表現時,或可參考英國學術評鑑方式,由教師選擇四篇品質最優的代表作受評,或可鼓勵教師從事影響深遠的基礎性研究。

 

P.S.英國對教學品質亦進行教學品質評估(Teaching Quality Assessment Exercise),未來另行說明。

 

 

1:資料來源:ISI Research Services Group, http://www.in-cites.com/research/2002/nov_4_2002-1.html

 

參考資料

Bekhradnia, B. & Tomas, S. (2002). The Methodology of the 2001 RAE—Research assessment and the performance based funding of research in the United Kingdom.

RAE 2008 Consultation on assessment Panel’s draft criteria and working methods. http://www.rae.ac.uk/pubs/2005/04/