人工知能論文の再現性危機?

研究には、それが誰がやっても同じ結果が再現されることが非常に重要です。その一方で、生命科学や心理学の分野では、その再現性が非常に低いということが近年問題視されています。以下の記事では、人工知能の分野でもその問題が広まっているという話がされています。
science.sciencemag.org

ここで原因としてあげられているのは、「研究を再現するためのプログラムが共有されていないこと」や「結果にランダム性がある中で研究者がたまたまいい結果が出た時だけを報告していること」などがあります。個人的な経験からも、これらが再現性を強く左右する要因であろうことは強い納得感があります。

ただ、生命科学や心理学ではコードどころかデータセットが公開されておらず、再現実験をやろうにも高額な費用や多大な時間が必要です。それが再現性の無さの最大の原因だと個人的には思っているので、それに比べると、オープンなデータセットやプラットフォームで精度を競う情報科学の世界は圧倒的に健全な印象です。生命科学や心理学がこの辺に追いつくにはまだしばらく時間がかかりそう。それでも、末端の研究者としては再現できないプログラムを実装させられるのは時間の無駄だという気はわかりますし、今後も改善されていくと思います。