信報財經月刊 3/2014 大學排名榜:缺失、影響與反思 何順文 大學排名遊戲有天生的缺憾:大學不是一般市場商品或企業,其多重的社會目的及軟特性不容易或不宜作評比,也不適宜用單一的數字來表達一所大學的整體素質與表現。 在高等教育界,目前至少有十多個環球(或地區)綜合性大學排名榜(university ranking),但較廣泛報道和為人熟知的,就是QS世界大學排名、THE(《泰晤士報》高等教育特刊)及SJTU(上海交大)世界大學學術排名等。也有單衡量研究論文的Webometics、SCIMAGO與台灣HEEACT等排名,此外,還有各項地區性、專業性排名榜。本文集中討論綜合性大學排名榜。 這些不同排名榜目的從來不清晰,但估計是與評比「最佳」、素質、表現或聲譽有關。另外,它們所採用的指標及方法也各有不同。同一所大學排名亦有異(例如中大2011年在THE排名151位,但在QS卻是37位,相差超過100位),叫人眼花撩亂,爭議不休。 理論上,有些人相信,如果排名能以專業、客觀、獨立及公正的方法進行,排名結果應可對院校的素質表現帶來持續改進。有效可信的評分或排名結果可協助一些學生更有效選擇學校或課程。政府教育部門也可以作效績評估與資源分配。 但可惜大學排名遊戲有天生的缺憾:大學不是一般市場商品或企業,其多重的社會目的及軟特性不容易或不宜作評比,也不適宜用簡單的單一數字來表達一所大學的整體素質與表現。評比應否重視過程增值而非產出指標也是一個大爭論。教育本身不是一項競賽,而且每所院校也有其不同的歷史背景、資源、使命和定位,簡單評比往往流於表面化。 另外,排名也會帶來一些負面的教育後果。一些排名機構的聲譽調查和數據搜集耗用了院校大量的精力、時間及成本。有些院校會因應排名的個別指標重新分配資源到一些活動上,令評分上升;這包括添置豪華學生康樂活動設施、過分花費招待僱主、大量增加宣傳廣告預算,甚至招聘不教學的研究教授刺激研究產量等。在一些地區,不同院校更為了增加評比競爭優勢而合併,很多成本最後只會轉嫁到學生身上,令一些院校更具理由大幅增加學費,但不一定增加教育效能。很多人批評政府及院校不應單為評分指標而作決策,也不應給這些商業排名機構任何權威性。 事實上,盲目追求名利,令院校失去學術道德、自我的傳統、特色和精神,這些都無法用一個指標體系來評估,而這些最難以數據評估的部分往往才是最重要的。 近年排名機構的一些行徑和手法也損害了其可信度。它們被形容為缺乏嚴謹性與獨立性,方法與結果具爭議性。一些院校的排名根本不符事實或實際水平,令人難以信服。一些院校人員對這些排名已感到困惑並作出批評,甚至視其為具誤導性,拒絕再參與調查或傳閱有關資料。對很多名校校長,正如北大前校長許智宏所言,「大學排名就像一把架在校長脖子的劍」,令功利主義在大學校園內活躍。筆者嘗試把排名的主要流弊或問題總結如下: 一、狹隘而簡單化的指標 不同排名機構採用不同的輸入(input)、過程(process)及產出(output)指標和不同比重,以助增加新聞價值。但它們都未能針對大學的真正目的、本質與內涵而制訂。大多數都將比重偏重於一些簡單產出指標如學術聲譽、國際師生比例、師生比例、研究生比例、博士畢業生數量、學生人均經費、高端論文量及引用率、教授人均研究收入、畢業率及畢業生起薪點等。 例如以倫敦為基地的QS世界大學排名,在2003年採用七項表現指標:同行學術聲譽調查(40%)、僱主聲譽調查(10%)、師生比例(20%)、國際教師比例(5%)、國際學生比例(5%)、論文引用率(20%)。可見SQ過分着重主觀的同行及僱用意見調查(共50%),因此爭議性也最大。 同樣來自倫敦的《泰晤士高等教育》(Times Higher Education, THE)的400強排名,共採用5個範疇13個指標:1. 教學:同行學術聲譽調查(15%)、師生比例(4.5%)、博士生比例(2.25%)、教師人均博士畢業生(6%)、教師人均院校收入(2.25%);2. 國際化重視程度:國際教師比例(2.5%)、國際學生比例(2.5%)、國際研究合作伙伴比例(2.5%);3. 研究:研究聲譽調查(18%)、人均研究收入(6%)、人均研究論文(6%);4. 論文引用率(30%);及5.行業收入(2.5%)。THE較QS全面,主觀成分也比較低(只佔33%),但與QS一樣不重視課程與教學素質,以及學生所學與成長等增值因素。 QS及THE採用一些表面化指標甚具爭議性,例如論文被引用數目只計算以英文發表的期刊。又例如「國際教師比例」對較少土產博士及長期倚賴國際招聘的香港及新加坡院校特別有利,但這個做法卻對博士畢業生自供自給為主的北美及西歐院校極不公平。另外,大多香港院校在國際學生比例上佔盡優勢,因他們都把內地學生計算入國際學生比例內,已成為行內的笑柄。 上海交大(SJTU)的世界大學學術排名(Academic Ranking of World Universities,ARWU),只集中約環球1200所有顯著科研成就的院校。它只採用客觀量化指標,共分四大項:1. 教育素質:校友獲諾貝爾獎與費以茲數學獎(10%); 2. 教授素質:教授獲諾貝爾獎與費以茲數學獎(20%),高度獲引用的世界級研究學者(20%);3. 研究產出:在Nature及Science 期刊及在SCIE與SSCI期刊發表的論文數量(40%),及 4. 教師人均表現(10%)。ARWU方法避免了主觀成分,但過分偏重理工科與科研成果,指標範圍比QS與THE更為狹隘。因此它不能代表一間大學的整體素質,較適宜改名為「世界大學科研排名」。 總體來說,這些不同指標頗為狹隘和缺乏有效度,只能評估整個教育過程的很少部分。使用類似畢業生就業率或起薪的產出指標也不恰當,因它忽視了學生的所學、其成長及院校如何改變其視野、思維與品格態度。排名沒有考慮學費水平及學生所獲之比例,因此對老牌私立昂貴的大學特別有利。類似排名也未能衡量院校的其他重要社會責任,如維護學術獨立自由與普世價值、傳承文化、關懷社會,以及推動社會改革創新等。這些排名報告宣稱其可利用單一數字代表質量的不同層面,但忘卻不同院校有其不同定位、特色和發展階段。 二、意見調查的偏見與道德風險 除客觀數據外,大多數排名指標也採用問卷意見調查(也稱聲譽評分,即reputation survey),對象包括畢業生、院校同行與僱主等。由於群組內部分人可能更願意作出回應或提供更有利的意見,這些調查卻未有預防或控制「不回應偏見」(non-responsebias)。院校如相信部分畢業生會提供較不利的回應,就有誘因及道德風險提供較少這類畢業生給排名機構寄出問卷。另外,大多答卷者一生只在一兩間院校就讀或工作,他們對自己學校作評分時無法與其他院校作比較,對其他院校也沒有作過實行調查考察過,因此其回應往往不夠客觀理性,甚至造成誤導。 至於僱主評分,這些招聘經理也會對個別院校作出偏袒,特別是其母校。僱主調查對規模大及歷史悠久的大學也特別有利。聲譽評分一般都是很表面的品牌意見調查,也算是「慣性收視率」(受到現有排名的引導)。一些新冒起院校的實際素質及近年表現的大幅改進,往住未能反映出來。再者,由於不認識一些冷門國家或地區(特別是非英語地區),這些排名機構往往未有邀請有關院校參與調查。 三、院校提供數據的隱憂 部分量化指標數據都是應排行機構要求由院校自行提供的,一般都未經外部獨立審核。所提交數據的準確性與可信性有賴院校自己的操守。但很可惜,一些院校始終經不起誘惑,向排名機構提供虛假失實的數據以爭取較高的評分。近期《美國新聞與世界報導》的全美院校排名,5所大學因被發現偽造數據而被警告或除名。這些做法對其他誠實的院校甚為不公平,也無法完全杜絕。 四、藉排名變化製造新聞價值 公認頂尖的頭50所大學之表現及聲譽應十分穩定,但各校的評分和排名每年都會驟升驟降,其變動速率遠超出其實表現變化。這些變動有可能是由於統計的樣本誤差。但也有可能是排名機構故意作出人為變動。如這些院校的排名每年一樣或差不多,其新聞價值及利益就大大減少,一些院校的參與意欲也受影響。當每年排行有變動時,媒體往往視為大新聞作報道,例如標題寫為「某某大學排名跳幾級」。為了製造更多新聞價值,排名機構定期可能會修改一些評分指標或其比重,令排名更多變動。因此排名變動是「常規」及可預計的,但這不反映院校素質有明顯變化。這些做法對有關院校及其持份者每年造成一些不肯定和壓力,故一些院校的每年排名上落,意義其實不大。 香港有位大學校長上任時曾表示爭取在幾年內排名進入前100名,結果過了兩三天,該大學什麼都沒做過,已在另一個排名榜前百名之內了。試問這樣的排名又有何意義呢? 五、排名機構的潛在利益衝突 目前大多數國際排名機構都具商業性質,因此有潛在或實質的利益衝突。一些機構除了進行年度排名外,也向院校提供收費的諮詢及評級服務,甚至尋求贊助。究竟這些付費院校日後會否獲得排名好處,很難考證。QS於2012年推出讓大學付費來獲取1至5星評級機會,《紐約時報》作者EllenHazelkorn便懷疑這是否購買評級。近年有些名不見經傳的院校付費後獲評為最佳200所大學之一,已引起很多人懷疑,這對其他院校也很不公平。 結語:建議以評級代替排名 商業化大學排名活動畢竟是弊多於利,可信度極低,教育意義不大。然而,儘管有諸多缺陷,無論我們喜愛或痛恨,排行榜將繼續存在,也會有其市場。很多人將繼續使用(或誤用)這些排名來評估一所院校的成就或聲譽。因此,關鍵的問題是如何改進現有的排名及明智地使用其結果。 深明上述的現象及需要,歐盟近年已研究一套名為U-Multirank的獨立環球大學評分系統,首次評比將於2014年出版。這系統透過深入研究與廣泛諮詢,將使用不同層面排名指標,而非單一數字排名,使用者亦可自行選擇評分的準則及範圍,以提供一個較準確及可比較的模式來衡量院校素質。筆者建議該系統可以用評級(如A至E級)而非排名或評分,以減少隨機的統計誤差,也可減少院校每年花費額外資源以追求細微分數的上落。但一些根本問題仍未能解决,其實效也仍有待觀察。 但在未有一套較理想的評比系統出現之前,院校領導究竟應如何面對這些有問題的排名?筆者提議,首先,他們要正確了解不同排名的背景、方法及其局限,對不信任的排名機構可主動提出拒絕被排名;第二,盡量不花資源和時間,去做只為取得更佳排名的活動,排斥功利主義;第三,盡量內外不提及自己所獲的排名(不論好壞或升跌),以避免出現「報喜不報憂」的尷尬現象,並助長這些排名的負面影響,以維護高等教育的利益與尊嚴。院校應對自己有信心,不需要外來不可信的指標來肯定自我。 對其他持份者,除要多了解排名榜背後的計算方法外,他們可將現有的大學排名遊戲視為某些媒體的周年品牌評比,不需要太認真看待。學生如按大學排名來填報高考志願或投考個別院校,容易被誤導。注視院校個別專業的評審或國際認可地位更為重要,自己也要對院校的學習環境和教學素質,作全面獨立的判斷。 大學教育畢竟是鼓勵人追尋真善美、共贏和奉獻社會,而非追求一些無謂的競爭、數字與名利。 何順文 大學資深教授與領導