Replication and contradiction of highly cited research papers in psychiatry: 10-year follow-up. British Journal of Psychiatry 2015
精神医学領域における高被引用論文の結果の再現性：10年間の追跡研究
Tajika A, Ogawa Y, Takeshima N, Hayasaka Y & Furukawa TA
http://bjp.rcpsych.org/content/207/4/357
なにがわかったの？
数年前に話題になっていた治療法が、今や全く行われていないということはざらにあります。しかし、日々の忙しい臨床の中で、今や使われなくなった治療法について、振り返って考えてみる時間は、まずないでしょう。
この論文では、十数年前に高インパクトファクター（IF）雑誌に掲載され、多数回引用された精神科治療に関する論文の結果に再現性があるのか、ということを検証しました。
そして、結果に再現性があったものは37%しかなく、十分なサンプル数の研究でなければ、結果は容易に覆る可能性があることを示しました。
特にサンプル数が100以下のランダム化比較試験の結果は、より不安定であることが分かりました。
もっと詳しく・・・
この研究では、同じ臨床疑問に関する精神科治療の効果を「元論文」と「新規論文」で比較しました。
2000年時点でのIFの高い一般医学雑誌3誌と精神医学雑誌5誌を選び、2000〜2002年の3年間にこれらに掲載された論文のうち、精神科の治療を推奨していて、出版の翌年以降の3年間に30回以上引用されたものを「元論文」と定義しました。
次に、以降に出版された同じ臨床疑問に関する論文で、2つの条件（①より強い研究デザインを用いている、②同じ研究デザインであるならば、よりサンプル数が多い）を満たす最適な論文を「新規論文」と定義しました。そして、元論文と新規論文の効果の大きさが合致しているかを、それぞれの治療効果の大きさ（SMD: Standardised Mean Difference）を比較することで、「同等の効果が確認された（効果確認）」「弱い効果しかなかった（弱い効果）」「効果はなかった（効果なし）」の3つに分類しました。
その結果、元論文83本のうち対応する新規論文が見つかったのは43本でした。その中では、「効果確認」が16本、「弱い効果」が11本、「効果なし」が16本であり、同等の効果が確認されたものの割合は37%しかありませんでした。元論文のSMDの平均値は0.72、新規論文は0.31であり（目安として、0.8以上が大きい効果、0.5以上が中等度の効果、0.2以上が小さい効果と言われています）、元論文の方が効果をかなり過大に評価していました。
特にサンプル数が100以下のランダム化比較試験の結果はより不安定だということが分かりました。
臨床家へのメッセージ
“高IF雑誌”というものに対する思い入れは、誰しも多かれ少なかれあると思います。しかし、きちんとした研究デザインに基づく、十分なサンプル数の研究でなければ、高IF雑誌に掲載された論文であったとしても、結果は容易に覆ることを、この研究は具体的な数値で示しました。これは、臨床家が論文を参考にする際や、研究者が研究を行う際のひとつの指標になると思います。