英國學術研究評估(Research Assessment Exercise)簡介
師資培育中心
根據Thomson ISI(Institute for Scientific Information)Research Service Group統計1997-2001年26國23個領域的學術表現(如表一),發現我國論文篇數第18名,但是20個領域論文相對影響力低於世界平均值,只有「農業科學」領域高過世界平均值,顯示我國論文「量」雖多,但「質」卻遠不如他國。另根據2003、2004年上海交通大學世界頂尖大學學術評比,兩岸三地表現最佳的臺大,除了在論文「數量」(SCI & SSCI論文篇數)指標表現尚可外,其他強調原創性的「品質」指標,如:諾貝爾獎得主、高引用率論文作者數量、「自然」與「科學」雜誌上刊登之論文篇數、每位教師學術生產力則有很大的改進空間。英國為世界上唯一對學術研究進行全國性的評估(Research Assessment Exercise,簡稱RAE)的國家,著重研究品質的作法帶來相當大效益,或可供國內扭轉只重研究數量,忽略研究品質的參考。
表一 1997-2001年26國科學及社會科學學術表現及影響力
(以超過世界平均值領域數多寡排列次序)
|
|
論文篇數(﹪) |
論文相對影響力高於世界平均值之領域數 |
論文相對影響力等於世界平均值之領域數 |
論文相對影響力低於世界平均值之領域數 |
|
美國 |
1226946 (34.60) |
23 |
0 |
0 |
|
加拿大 |
160576
( 4.53) |
20 |
0 |
2 |
|
瑞士 |
66051
( 1.86) |
19 |
1 |
1 |
|
荷蘭 |
91199
( 2.57) |
19 |
0 |
3 |
|
英格蘭 |
281991
( 7.95) |
19 |
0 |
3 |
|
英國 |
331481
( 9.35) |
18 |
1 |
3 |
|
瑞典 |
72436
( 2.04) |
16 |
1 |
4 |
|
蘇格蘭 |
44735
( 1.26) |
16 |
0 |
6 |
|
德國 |
312381
( 8.81) |
15 |
0 |
6 |
|
丹麥 |
36869
( 1.04) |
15 |
0 |
6 |
|
法國 |
225633
( 6.36) |
13 |
1 |
7 |
|
澳洲 |
100920
( 2.85) |
13 |
0 |
9 |
|
芬蘭 |
34379
( 0.97) |
13 |
0 |
8 |
|
比利時 |
47131
( 1.33) |
13 |
0 |
8 |
|
義大利 |
145932
( 4.12) |
11 |
1 |
9 |
|
挪威 |
23592
( 0.67) |
11 |
0 |
10 |
|
愛爾蘭 |
12373
( 0.35) |
10 |
0 |
11 |
|
奧地利 |
33060
( 0.93) |
9 |
1 |
11 |
|
西班牙 |
101316
( 2.86) |
4 |
0 |
17 |
|
中華民國 |
45204
( 1.27) |
1 |
0 |
20 |
|
大陸 |
114894
( 3.24) |
0 |
0 |
22 |
|
日本 |
336162
( 9.48) |
0 |
0 |
21 |
|
印度 |
76970
( 2.17) |
0 |
0 |
21 |
|
巴西 |
43692
( 1.23) |
0 |
0 |
21 |
|
南韓 |
55329
( 1.56) |
0 |
0 |
20 |
|
墨西哥 |
21645 ( 0.61) |
0 |
0 |
19 |
(註1)
英國對學術研究品質已經發展出一套相當成熟同儕評估的作法,稱為RAE,每四到五年對全國所有大學的所有學門(subjects)進行評估,其目的有二:(1)公開各大學各領域的研究品質完整的資訊,供家長及學生選校系之參考;(2)評估結果作為撥款單位研究資源分配的依據。RAE於1986年的第一次評估並未與經費分配連結,嗣後採漸進方式將評估結果與撥款連結,2007-2008年即將進行第六次評估。這種高度競爭性、選擇性(highly competitive and selective )的經費分配方式,藉由學術研究品質評比,使得有些大學獲得大筆經費,有些大學則只獲得微薄的經費。2001年評估結果呈現兩種現象:(1)全國130多所大學,24所大學獲得近75%的經費;(2)有些學生數相近的大學獲得的經費卻有很大的差異。
RAE評估過程略述如下:(1)每所大學先選擇在67個學門要函報的教授名單,每位研究活躍者(research-active staff)均需自行維護更新線上個人資料(on-line RAE-CV)以及每一篇發表的論文全文都能線上查詢(on-line Eprint);(2)繳交量化資料包括(研究經費、博士班學生數等)、質化資料(每位教授至多四篇最佳論文)、背景資料(系所資訊、研究策略);(3)評估委員對校方呈報的每一筆資料進行評比(rating),依其研究品質達到國內卓越或及國際卓越的程度,分成七個等級。近年來由於研究品質大幅提昇,RAE對各等級的標準也漸次提升,2008年評比等級的內涵如下:
|
等級 |
內涵 |
|
5* |
過半數研究品質達國際卓越,其餘達國內卓越 |
|
5 |
二分之一研究品質達國際卓越,其餘達國內卓越 |
|
4 |
幾乎所有研究品質都達國內卓越,有部分證據研究達國際卓越 |
|
|
三分之二研究品質達國內卓越,可能有些研究達國際卓越 |
|
3b |
過半數研究品質達國內卓越 |
|
2 |
半數研究品質達國內卓越 |
|
1 |
沒有或幾乎沒有任何研究品質達到國內卓越 |
至於研究品質與經費之間的關係,茲以化學學門為例說明如下,如有
|
A校 |
B校 |
|
評估結果 |
評估結果 3b (3b的撥款基數是1) |
|
呈報100位教授 |
呈報100位教授 |
|
獲得100*1.5=150基數 |
獲得100*1=100基數 |
|
獲得經費 |
獲得經費 |
RAE施行過幾次後,獲得5及5*的數量從1992年的348件到2001年的999件,獲得5及5*的教授比例從1992年的23%到2001年的55%。另英國在國際學術的評比的客觀學術品質指標上,亦有長足進步:(1)每英磅產出的論文數及論文被引用數,英國被評為世界第一;(2)自1996年到2001年最常被引用的論文數英國佔63%;(3)290位海外評估學者中除9位以外大都認同該作法。
RAE帶來的正向結果包括:(1)英國研究品質大幅改進,(2)研究成為一項嚴謹且管理良好(well managed)的活動,(3)以客觀指標對有限資源作高度選擇性分配的依據,(4)根據學者已經有的研究產出表現做分配的依據,符合經濟效益,(5)評估結果有公信力,大眾認為合理且廣被接受。RAE也帶來負向結果包括:(1)教師的壓力極大,(2)各學門各自評估,以致跨領域、新興及長期的研究受到犧牲或扭曲,(3)為爭取最佳表現,有些學校向外挖角且傾向不聘用年輕學者,(4)注重研究,傷害與研究無關的活動,(5)不同學門間可比較性應再酌。
英國RAE要求教師提供自認最佳的作品至多四篇,這督促教師不要只追求研究的數量,而是要追求研究的品質,而使英國的學術表現大幅提昇。近些年來教育部、國科會、各大學評估教師多著重研究的數量,以致教師多從事「短、小、輕、薄」的研究,追求速成效果,也就難怪在國際評比時,國內學術影響力幾乎全軍皆墨、也難躋身世界前百所頂尖大學。為扭轉頹勢,教育部、國科會、各大學(教師升等及評估)評估學術表現時,或可參考英國學術評鑑方式,由教師選擇四篇品質最優的代表作受評,或可鼓勵教師從事影響深遠的基礎性研究。
P.S.英國對教學品質亦進行教學品質評估(Teaching Quality Assessment Exercise),未來另行說明。
註1:資料來源:ISI Research Services Group, http://www.in-cites.com/research/2002/nov_4_2002-1.html
參考資料
Bekhradnia, B.
& Tomas, S. (2002). The Methodology of the 2001 RAE—Research assessment and
the performance based funding of research in the
RAE 2008 Consultation on assessment Panel’s draft criteria and working methods. http://www.rae.ac.uk/pubs/2005/04/