F a c e b o o o k

/共發表12篇文章
Print Friendly and PDF 

走出數字迷思,重新界定科學價值

  撰文者:  2016-12-06
  點閱次數:836


科學研究的品質很難定義,能夠一目了然的卻只有數字,然而文獻統計卻正在扭曲科學研究的價值─導致科學社群重視的是製造數量而非品質。兩個科研機構的領導們要告訴我們他們是如何用不同的作法來導正。

 

Illustration by David Parkins, http://www.nature.com/news/fewer-numbers-better-science-1.20858)


重新定義「傑出」:從調整誘因來導正科學

對數字的著迷正瀰漫在科學界。我們的單位─荷蘭烏特勒支大學的醫學中心也不例外。在我們的網站,我們驕傲的公布我們一年就出了2500篇引用率高過平均值的同儕評審科學論文。

幾年前,一個評鑑委員會花了好幾小時來討論在幾個教師之中有那幾位能夠升等。結果只有其中曾經得過高檔獎勵的兩位獲得通過。而同時,有幾位用心修訂「療程指南」的同仁卻很難將這些工作算到他們的科研成果─即使全國醫療機構在做臨床決定時已經受到了他們的影響。

和任何其他的論文相比,那些直接影響到病患照護的論文所受到的的評價並不會更高,但會被評得較低如果是被歸類為所謂的「灰色文獻」─亦即是以正式報告形式出版的而非被印在科學期刊上面的論文。有些研究者已經不想再出版那些能改善醫學但可能少獲引用的論文。這些問題導致許多,特別是年青的教職同仁抱怨說,出版論文的壓力已經逼使他們不能去從事真正有意義的工作,像是強化與患者組織的聯繫,或是開發有希望在真實世界產生療效的治療方式等等。

我們大學決定要擺脫這種數數字的心態。醫學中心才剛剛使用了一個不同以往的方式完成了我們第一輪的教職徵選。也將會繼續使用這個的方式來聘任每年大約20位的教授。這個新方法的重點在於大學要用新的角度來評鑑研究計畫。

超越數字

2013年的時候,烏特勒支大學醫學中心與阿姆斯特丹大學的資深教授們與行政管理人員共同主辦了一個研討會並發表了一個立場文件,聲明文獻計量被過度強調而社會關聯的影響被低估。這個舉措引起了媒體的廣泛注意,多家報紙及電視節目開始報導及討論這個科學上的「危機」。有其他的報告也都得到了類似的結論。在這些公開的討論之後,我們也開始了我們自己的內部辯論。我們有兩個目標,我們要建立一些政策,使得個別的研究者的評鑑是基於他們真正的貢獻,而非他們出版論文的數量。同時我們要調整我們的研究計畫,使得這些計畫是朝著產生社會影響而不只是科學上的成就而已。

我們每一次的會議都有二十位到六十位的荷蘭烏特勒支大學醫學中心的研究者參與,其中有多位是因為他們的直率而受邀。他們從博士班學生、年青計畫主持人、到教授及系主任們都有。執行委員會,特別是本文作者之一F.M.,藉著公開的承認出版論文的壓力、錯誤的獎勵,與系統的缺陷,為會議預備了與會者坦率批評的平台。

會議中辯論了如何在「基於好奇心而做的研究」與「受到臨床需要所啟發的研究」兩者間如何取得適當的平衡。大家在考量了病患諮詢的角色後建立了研究的優先次序、定義了何為好的博士歷程、與如何權衡科學新穎度與社會相干度。我們在我們的網站與出版的期刊上刊載了在這些會議中所做的訪談與報告。

我們在第二年重新定義了申請升等者所需要繳交的代表作選輯。能用來指引我們做這事的範例很少,但是我們受到了斯德哥爾摩的卡洛琳司卡研究院(Karolinska Institute in Stockholm)的啟發-他們要求申請人的是送交的是一組包含科學、教學及其他成就的資料。

和其他的要件一起,烏特勒支大學的升等候選人們現在要提供一篇短文說明他們是誰以及他們升等後他們計畫要做些什麼。她/他們必須從五個方面來說明他們的成就,而其中只有一個是她/他們的科學論文及得到的研究經費。首先申請者要說明他們在管理上所擔負的責任及在學術界的職務,例如擔任期刊的審稿人與他們在內部或外部委員會的貢獻。其次,她/他們要說明他們貢獻了多少時間在學生身上、他們開發了那些課程及他們還擔負了那些責任。然後,如果適用的話,她/他們還需要描述她/他們的臨床工作,以及在組織臨床實驗與新療法和新診斷法研究上的參與。最後,她/他們的代表作選輯還要包含創業及社區推廣。

我們也更新了申請者的評鑑程序。評鑑委員會的主席被特別要求,要確定每一位申請者的那五個方面都要被討論到。這樣可以讓我們免於忽略了有些人的一些難以量化的特質,例如他們具備將那些對病患「有希望」的結果轉為「確實」影響的積極性,或是開發隱藏性合作關係的能力。

擺脫「文獻統計」心態的另一重點在於我們如何評估我們的跨領域計畫─每個計畫平均有80位主持人。評估的方法由一個多數是菜鳥教授所組成的委員會來規劃。規劃的過程參照了「英國高等教育研究卓越架構」的作法(「英國高等教育研究卓越架構」是評估英國各學術機構學術成果的依據)。委員會的成員利用個案研究與刊出的文獻來定義可以用來做更廣泛評估的特質。這些作法衍生了一組半定量的指標,其中包含了傳統的成果量度、在烏特勒支大學醫學中心及其他社群展現的領導力與作為一個成員的參與度、及對研究結構與過程的預估能力(例如如何形成研究題目與成果的傳播)。我們認為這樣的改變應當能夠造成減低浪費7,8,增加影響,並且總的來說吸引研究者朝向彼此與社會之間的合作。

持續改變

烏特勒支大學醫學中心的研究者們已經很習於全國性的審查,所以我們提出的新式評鑑看來頗有搞頭,然而形塑這些政策仍需要耐心與投入。

我們的作法中有兩個關鍵的面向。第一,我們沒有落入「只有與研究費提供者和期刊攜手才會帶來真正的改變」的迷思。我們情願以我們自己作為一個團隊獨力向前。第二,我們很確定,雖然這次的改變是由上而下,但是審核的標準是由那些將會被這些標準所審核的教職人員所制訂。的確的,經過國際上不斷的對文獻統計指標的批評所激發的充分辯論,已經有第一波的群組領袖們開始擁抱新的系統,而且這個風氣將逐年的滲透進各研究機構。

歷經過去幾年裡的各個演講與討論會,我們一開始很驚訝那些處於職業生涯的新進與中期的研究人員,對於近代科學的「商業模式」和科學到底如何運作,懂得這麼少。但是當他們開始參與,他們很快的學到也很快的確認了能改善科學的前瞻性想法。學生們也組織了一個腦力激盪的分組討論會,和高階的教職同仁們商討如何在醫學和生命科學課程加入獎勵和激勵結構。博士班評議會選出了「年度博士指導教授」,甄選的標準是基於指導的品質而非如往常是依據誰指導了最多的博士生。

擴大的社群討論產生了效果。我們相信甄選與評鑑委員會已經瞭解到文獻統計可能產生偏差,然而評鑑者往往也會缺乏適當的語言來討論那些較難以量化的部分。經由考量形式上的量化的指標及描述性的代表作選輯,我們拓寬了能被討論的範圍。我們塑造了能引導科學的結構─我們能確定這樣的結構將不會造成曲解的。


Illustration by David Parkins, http://www.nature.com/news/fewer-numbers-better-science-1.20858)


評鑑的新準則:數量做為「副手」

大約二十年前,當我擔任英國曼徹斯特大學生物科學院院長時,我嘗試了一個實驗。那時用來評估申請教職與提升等的人員的傳統的方式是:出版的論文數、刊登期刊的品質、h-指標等等。

不過我們做了新的嘗試,我們決定要些申請人繳交三篇他們自認是他們研究成果中最重要的論文,而且要說明為什麼。我們簡單且直接的問他們:你發現了些什麼?為什麼這些發現很重要?你對你的發現接著又做了些什麼?為了讓申請人對這些當時屬於有點「怪怪的」的問題不要感到太突兀,所以如果他們願意的話,他們還可以提出一張他們其他的科學論文(那三篇之外的)的論文表─毫無意外,每一位都有提出。

那個經驗影響了我現在擔任愛爾蘭主要科學資助機構總幹事的工作。那三篇申請人選出的論文實際蘊含了許多有關他們的成就與判斷的資訊。這三篇論文事實上能夠凸顯了他們的工作所產生的非典型的影響。

例如,一位研究如何安全的縮短住院時間的醫學教授的升等者,選了一篇他在一個免費且無評審的「醫院醫生(Hospital Doctor)」雜誌的文章。我們問了為什麼,他回答說,實際上那份雜誌是醫院管理人與多數的醫生們都會讀的刊物,所以那一篇文字已經造成同儕們快速的採納了他的發現;他後續仔細的將那些產生的影響刊登在一個著名的醫學期刊,但是他並沒有向我們提出那篇論文。

不像有些其他的評鑑機制的委員們只有時間去瀏覽論文的總表,我相信大多數的評審委員會成員都會詳閱那些繳交來的論文。這種作法也許並不會改變委員會的決定,但的確改變了申請人與評審者所注重的重點。這種作法將焦點放在研究工作的重要性與意義。當論文的數目與引用數被當做是評估重點時,人們往往忽略了科學的基本面:這位科學家到底做了些什麼工作,這些工作到底有啥重要性?

「這位科學家到底做了些什麼,這些到底有啥重要性?」

但是評審委員們時常會感到不自在;他們認為他們的選擇出自主觀,而客觀的數字比較符合安全感。但終究,生物科學的教職員們已經完成了評審制度的改革,重列了研究活動的優先順序。評審委員會的成員們有一個重點─雖然文獻統計具有客觀性而且多少可以避免成見與偏見,但是這種作法未必能幫助少數族群、年青人、或那些專攻特殊難題的人們;也不能鼓勵重視研究結果的再現性(參見go.nature.com/2dyn0sq)。人們在做重要的決定時應該要做審慎的判斷。

當我卸任院長就任新職時,評審系統回復到了當初的傳統作法。在文化的既有規範上所做的改動是很難持續的,尤其這些改動是產生於少數人的熱情。接這下來的年歲裡,文獻統計更深植於世界各地的評鑑體系。然而,近來對文獻統計的反彈聲浪卻已逐漸的開始被世人聽見。

要將科學事業移向更合理的品質量度方式,也許我們需要一群國際上具領導地位的大學與研究資助單位的集體努力。你量度什麼,你就得到什麼:所以如果研究資助單位聚焦於評估實質的研究進展(那些具有潛在經濟與社會影響力的研究),那麼就會鼓勵可靠的、重要的研究工作而可以防止大家玩數字的遊戲。

那麼研究資助單位能做些什麼?只要調整獎勵的方式,這些單位就能深刻的影響研究者的選擇。英國政府委託製作了兩份有關如何操弄文獻統計的報告,同時也在仔細的思考各種得以改進全國評鑑方式的方法。我們已經看到美國國家健康研究院加重了實驗重現性的比重、更聚焦於方法論、以及制訂了一個在經費審核者關心的重點獲得明確回應前不撥放經費的政策。荷蘭科學研究組織,荷蘭最主要的經費資助單位也已經派發了經費給檢驗結果重現性的實驗。

經費資助單位也應該明確的鼓勵重要的研究,即使這些研究不容易出論文。在這個方面,我們在愛爾蘭科學基金會將要實驗將經費申請的形式改成類似我當年在曼徹斯特時實施的方式。我們也將引進頒給例如最佳導師等等的獎金。我們相信這樣具體的步驟,長遠的來看必定能激勵高品質的研究,導正存在目前系統中被扭曲的部分,也定能幫助各科研單位見賢思齊轉向新的方向前進。

如果有足夠多的國際研究組織與經費資助單位能回轉到升等、聘任、與評鑑的基本面,那麼文獻統計作為輔助資訊也將會發揮其適當的作用,畢竟它不應該被視為指標。


原文刊載於:Nature   538,   453–455   (27 October 2016) .  

原著:Rinze Benedictus, Frank Miedema& Mark W. J. Ferguson

譯者:林中一 教授(國立中興大學物理系)

 



Search