生得的・後天的な機能とReservoir computing

一つ前の記事に続いて遺伝に関係する内容です。

人間の機能のうち何が遺伝子に組み込まれていて、何が学習により後天的に獲得されるものなのでしょうか。

単純な物体を認識機能だけでなく、人の気持ちを読むといった高度な機能、あるいは悲しくて涙したり嬉しくて笑ったりみたいな情動
機能。

こうした機能に満足している人もいれば困っている人もいて、これらが遺伝的に決定されるのか、あるいは後天的なものなのかは社会的にも非常に重要です。

www.nature.com
今年の8月にNature Communicationsに出たこのレビュー論文は、神経科学者の立場から深層学習研究についての意見を表明しているものです。進化を経て動物の脳に組み込まれている先天的な機能について触れた上で、ニューラルネットののアーキテクチャそれ自体を最適化していくような手法がもっと注目されるべきとしています。


Neural arcitecture search(NAS)とかの分野ではまさにそういうことをやっていると思うのですが、より上記論文と関連しそうな論文が直後にGoogle Brainから発表されています。
weightagnostic.github.io
Weight Agnostic Neural Networkという名前の手法で、その名の通り、ネットワーク内の重みを一切最適化せず、最初から特定の問題が解けるようなニューラルネットアーキテクチャを探索する手法。シンプルなフィードフォワードネットワークを前提としていて、何もないところから、結合を足したり活性化関数を足したりして徐々に構造を複雑化していきます。遺伝的アルゴリズムに従ってパフォーマンスが向上する方向へと変化させていくと、最終的にトレーニングなしで色んなタスクを解けるようになるといったもの。

学習を全くしないという点ではReservoir computingとコンセプトが似ているなと感じました。

よくあるReservoir computingでは、"ほぼ全部"のコネクションをトレーニングせずにランダムな初期値のままにしておいて、最終層だけ訓練します。学習を前提としているためモチベーションは微妙に異なるものの、ランダムなコネクションでも有益な情報量を獲得できる事実を活用している点では似ています。

最初のNature Communicationsの論文が言うことはもっともだと感じて、実際、研究者の偏見(Inductive bias)あるいは先人の知恵が積み重なった結果としてCNNやRNN、今だとResNetやNAS-netみたいなのが生まれてきました。いわば、研究者世代間でアーキテクチャの最適化がされてきたということでしょうか。

昔はアーキテクチャ自体の最適化の研究はコンピュータリソースの制約で難しかったかもしれませんが、今なら実問題でもそういうのが出来るようになってきたと思います。

上のWeight Agnostic Neural Networkみたいな手法の究極的な目標として、「現実の問題を解かせるようアーキテクチャを変化させていったら人間の脳みたいなアーキテクチャが出てきた」みたいな話もあると思います。そこに行き着くにはものすごい時間がかかりそうですが、「悲しくて泣くニューラルネット」が自然に発生してきたら驚くべきことかもしれません。まあ、むしろ人間の脳とは全然違ったものができる可能性の方が高そうですが。

いずれにせよ、「頑張ってアイデアをひねり出して、既存のニューラルネットのアーキテクチャを少し変えて色んな学習方法を組み合わせて問題を解く」みたいな研究よりも、こういうよりメタな部分に焦点をあてた研究が面白いなと思います。ちょうど、そういうことを言っている強化学習の大家Richard Suttonによる以下のようなエッセイもあります。
www.incompleteideas.net
思いっきり要約すると、「アーキテクチャや最適化の細かい改善よりも、それ自体を探索するようなものが長く生きるよね」というエッセイ。今年投稿された際にはネットが少し盛り上がりました。

なんだか大分トピックが広がってしまいましたが、、、こんな背景もあり遺伝に興味があります。