一個好的研究者，要避免自欺欺人的實驗，要對科學研究保持敬畏之心，要為實驗的再現性盡自己的一份力量。每個研究項目資助兩個團隊：一個致力于科學研究，另一個致力于實驗的可重復性，即影子科研團隊。

2月25日，國際頂刊《Nature》發表社論[1]，鼓勵重復性研究和無效結果！并表示更多的資助者和出版商應該支持這樣的工作，并重視它們給科學研究帶來的價值。3月12日出版的《Nature》發表最新評論，再次強調“可重復性試驗”的重要性[2]。美國海軍研究實驗室生物物理學家Marc P. Raphael教授表示，近三年以來，美國國防部高級研究計劃局（DARPA）每個研究項目資助兩個團隊：一個用于研究，另一個用于實驗可重復性，這種模式的好處正日益凸顯。

2016年，DARPA通知八個研究團隊，他們的項目申請已經通過了審查，不久將獲得數百萬美元資助。但是除了祝賀，每個研究團隊還收到了一個重要提示，即：將會有一個獨立的“影子團隊”負責重現他們的實驗結果。

每個影子團隊由三到五名研究人員組成，且經常參觀研究團隊的實驗室。研究經費的3%~8%是用于這種獨立的驗證-核查（IV＆V）工作。DARPA有權利靈活地評估研究方案。在特殊情況下，IV＆V實驗室需要20萬美元的設備裝置來進行準確的評估。這些成本很高，但這是避免浪費納稅人的錢，并推動基礎研究朝著有益方向發展的必不可少投資。下面概述了實施這一方案所獲得的經驗，以及如何更廣泛地應用它。

已經取得的經驗

實際上，研究者希望他們的工作受IV＆V流程的約束，在該流程中，研究團隊的實驗結果得到了來自另一組研究人員的測試。例如，微處理器或導航軟件是否按預期工作；25年前美國NASA的IV＆V項目成立，大約有300名員工在測試代碼和衛星組件。

在常規電子產品中，IV＆V主要負責例如晶體管，二極管，電容器和振蕩器等基本結構；電子行業竭盡全力促進這些基本元件在平臺之間的兼容性。這使得為電子和軟件開發服務的IV＆V方法變得復雜。而且，越來越復雜的生物工程工具使細胞生物學實驗變得更加復雜，因此徹底的重復性實驗驗證可能需要數月甚至數年才能完成。

取而代之的是，生物學依賴其他可靠性較低的技術來實現可重復性。最長久的假設是，隨著不同的研究人員致力于相關問題，可重復性研究將有機地進行。在過去的五年左右的時間里，資助機構和期刊對資助項目和已提交的手稿實施了更為嚴格的實驗報告和數據提供要求。同時，一些文章試圖重復一些已發表的結果。然而，陷阱仍然存在。科學家可能會浪費資源以嘗試重復未經證實的技術。

工作模式

受到資助的研究團隊從一開始就被告知，他們將與IV＆V團隊配對，該團隊由DARPA雇用并由向DARPA負責的無偏見的第三方科學家組成。在此計劃中，依靠美國國防部實驗室，并根據其技術能力和解決問題的能力選擇特定團隊。為了適應IV＆V的概念，需要保證重復性研究團隊不會竊取點子或發表論文。研究人員甚至需要在提交同行評審之前就習慣接受調查，因為配合“影子團隊”是項目的一部分要求。截止目前，該項目的實驗結果普遍具有較高的重現性。將來，最重要的一點是將可重復研究工作與論文初稿一同提交，并作為補充材料進行發表。

有些發現可以標記為不可重復，因為可用于進行驗證的資源太少了。尤其是當結果接近理想狀態時，向同行評閱者和編輯說明有一個“影子團隊”已經證實了這一結果就顯得很有幫助。到目前為止，一項由研究者和IV＆V團隊共同出版的文章已被接受[3]，另外兩篇即將提交。盡管如此，實現這一點仍然比預期的要困難。它要求密切的協調，溝通和對細節的關注。

成功地將可重復性研究與基礎研究相結合，需要實驗室和項目主管（PES）之間保持一定程度的協調，而這是我們從未經歷過的。項目主管與每個項目團隊合作，根據研究結果的影響程度和應用狀況來判斷哪些結果需要進行驗證。

通常，如果想要重復另一個實驗室的結果，研究人員最多花約一個月的時間，而且可能嘗試3~4次還沒成功就會放棄。而“影子團隊”則要求有能力的研究小組投入更多的時間（在一個案例中為20個月），并且可以靈活地跟蹤實驗進展。DARPA資助的項目最終研發出來的技術要求是大眾廣泛使用的。因此，除了評估技術是否有效之外，IV＆V團隊還必須評估其穩健性。另外，實現驗證意味著有效溝通。研究者，特別是那些有多個主要研究人員的團隊，必須指定一個人來促進研究進程。兩個團隊每年至少兩次共同出席項目討論。

IV＆V團隊工作的關鍵組成部分是花一天或更多的時間與實驗團隊在實驗室中合作。通常，實驗室的成員也會去IV＆V實驗室。與閱讀論文相比，這些互動可以更好地掌握方法論，從而經常揭示出可能影響結果的因素。

實時合作能夠最大程度地減少或避免已知問題，及時發現實驗中存在的問題，更加有利于實驗的發展。如果沒有這些努力，一些有前途的技術可能會被視為死胡同而被過早地拋棄。

優勢所在

作者認為IV＆V計劃帶來的好處不只是重復某個項目。現在，有一套程序可以使對不同結果的調查更加透明。進行重復性研究總是迫使科學家更深入地思考他們的實驗方案和技術。正如一位科學家所說，“IV＆V迫使研究者更嚴格地考慮什么才是成功的實驗，并促進對整體性能和局限性的討論。” IV＆V團隊已經獲得了進一步的優勢。例如，由于實驗室的科研人員在論文發表之前就已經精通新技術的思維方式和方法，因此他們有充分的能力將各種實驗結果集成到他們的產品中，從而預測該領域的未來方向，并將研究更快地應用于實際應用中。

目前，越來越多的研究機構和資助機構傾向于IV＆V模式，這將帶來更可靠和更具成本效益的科學研究。同時其他資助機構應考慮將部分資金分配給獨立的可重復性工作，即影子科研團隊。這既可以減少數據無法再現的論文數量，又可以提高資助機構的工作質量。但這需要建立一套嚴格的度量標準，以將該模型應用于各個領域的研究。

影子科研團隊，既是一種監督，更是一種促進！

文：Caspar。參考文獻：

[1] Nature 578,489-490 (2020)

[2] Nature 579, 190-192 (2020)

[3] Ames, C. L. et al. Commun. Biol. 3, 67 (2020).

本文來自微信公眾號“材料科學與工程”。歡迎公眾號友好轉載，未經許可謝絕轉載至其他網站。