生得的・後天的な機能とReservoir computing

一つ前の記事に続いて遺伝に関係する内容です。

人間の機能のうち何が遺伝子に組み込まれていて、何が学習により後天的に獲得されるものなのでしょうか。

単純な物体を認識機能だけでなく、人の気持ちを読むといった高度な機能、あるいは悲しくて涙したり嬉しくて笑ったりみたいな情動
機能。

こうした機能に満足している人もいれば困っている人もいて、これらが遺伝的に決定されるのか、あるいは後天的なものなのかは社会的にも非常に重要です。

www.nature.com
今年の8月にNature Communicationsに出たこのレビュー論文は、神経科学者の立場から深層学習研究についての意見を表明しているものです。進化を経て動物の脳に組み込まれている先天的な機能について触れた上で、ニューラルネットののアーキテクチャそれ自体を最適化していくような手法がもっと注目されるべきとしています。


Neural arcitecture search(NAS)とかの分野ではまさにそういうことをやっていると思うのですが、より上記論文と関連しそうな論文が直後にGoogle Brainから発表されています。
weightagnostic.github.io
Weight Agnostic Neural Networkという名前の手法で、その名の通り、ネットワーク内の重みを一切最適化せず、最初から特定の問題が解けるようなニューラルネットアーキテクチャを探索する手法。シンプルなフィードフォワードネットワークを前提としていて、何もないところから、結合を足したり活性化関数を足したりして徐々に構造を複雑化していきます。遺伝的アルゴリズムに従ってパフォーマンスが向上する方向へと変化させていくと、最終的にトレーニングなしで色んなタスクを解けるようになるといったもの。

学習を全くしないという点ではReservoir computingとコンセプトが似ているなと感じました。

よくあるReservoir computingでは、"ほぼ全部"のコネクションをトレーニングせずにランダムな初期値のままにしておいて、最終層だけ訓練します。学習を前提としているためモチベーションは微妙に異なるものの、ランダムなコネクションでも有益な情報量を獲得できる事実を活用している点では似ています。

最初のNature Communicationsの論文が言うことはもっともだと感じて、実際、研究者の偏見(Inductive bias)あるいは先人の知恵が積み重なった結果としてCNNやRNN、今だとResNetやNAS-netみたいなのが生まれてきました。いわば、研究者世代間でアーキテクチャの最適化がされてきたということでしょうか。

昔はアーキテクチャ自体の最適化の研究はコンピュータリソースの制約で難しかったかもしれませんが、今なら実問題でもそういうのが出来るようになってきたと思います。

上のWeight Agnostic Neural Networkみたいな手法の究極的な目標として、「現実の問題を解かせるようアーキテクチャを変化させていったら人間の脳みたいなアーキテクチャが出てきた」みたいな話もあると思います。そこに行き着くにはものすごい時間がかかりそうですが、「悲しくて泣くニューラルネット」が自然に発生してきたら驚くべきことかもしれません。まあ、むしろ人間の脳とは全然違ったものができる可能性の方が高そうですが。

いずれにせよ、「頑張ってアイデアをひねり出して、既存のニューラルネットのアーキテクチャを少し変えて色んな学習方法を組み合わせて問題を解く」みたいな研究よりも、こういうよりメタな部分に焦点をあてた研究が面白いなと思います。ちょうど、そういうことを言っている強化学習の大家Richard Suttonによる以下のようなエッセイもあります。
www.incompleteideas.net
思いっきり要約すると、「アーキテクチャや最適化の細かい改善よりも、それ自体を探索するようなものが長く生きるよね」というエッセイ。今年投稿された際にはネットが少し盛り上がりました。

なんだか大分トピックが広がってしまいましたが、、、こんな背景もあり遺伝に興味があります。

ゲノム編集とバイオハッカーと深層学習

英語の勉強がてらにNetflixの海外ドキュメンタリーを最近よく見るんですが、ゲノム編集に関するこのドキュメンタリーは勉強になりました。
www.netflix.com

科学の話題としては、深層学習に負けず劣らずゲノム編集も盛り上がっている感じがあります。盛り上がりに比例して批判的、懐疑的な意見というのも出てくるもので、このドキュメンタリーでもその面に焦点をあてています。

自分も興味はあるのですが知識としては数冊本を読んだ程度です。なので勉強になったのですが、中でも面白かったのは1話に登場するバイオハッカーの話(この言葉初めて聞きました)。どこかの大学に所属する研究者ではなく、自宅にある設備を使ってゲノム編集の実験をしている野良研究者に焦点を当てています。様々な安全面・倫理面からの警鐘を物ともせずにどんどん自分で勝手にゲノム編集を進めています。

自分の理解では、CRISPR-Cas9に代表される最先端の技術については、これまでに比べてずっと効率よくかつ正確にターゲットとする位置に遺伝子を入れたり破壊することができるようにした一方、狙った位置以外にも影響を与えてしまういわゆるオフターゲット効果などの副作用が問題となっています。

深層学習でもそうですが、盛り上がってる分野は色んな分野の研究者が参入してきてどんどん技術が進んでいくものです。例えば先週のNatureではオフターゲット効果がCRISPR-Cas9よりも少ないとするPrime editingなる技術が発表されていました。
www.nature.com

また同じく先週Plos CBに、Transformerという自然言語処理の分野で最高精度を叩き出してその他の分野でも使われるようになってきているアーキテクチャをベースとして、CRISPR-Casのオフターゲット効果を予測する研究が発表されています。
journals.plos.org

注目されて人もお金も集まってる分野はスピード感がすごいですね。今の所ゲノム編集が自分の研究にどう関わってくるかイメージは全く無く純粋に興味で見てるだけです。ただ、どの分野にも関係する本質的な技術ですし、そのうち嫌でも関わることになるんだろうなと思います。

自然に多く触れることは精神疾患のリスクを減らす?

あっという間に年末も近づき、数週間後には日本に一時帰国です。東京や京都・大阪で過ごす予定ですが、毎回東京に行くと思うのが圧倒的な人の多さと建物の多さ。ロンドンも中々ですが、東京都心には敵いません。

Neural correlates of individual differences in affective benefit of real-life urban green space exposure | Nature Neuroscience
これは先日Nature Neuroscienceに出た研究ですが、都市生活を送る上で自然に多く触れることは精神的な健康にとって良いという結果に。前頭葉の活動の仕方も違うみたいです。よくある大規模アンケート調査の結果だけではなく、スマホアプリを使って個人内での短期間での変動も追跡した結果を出してる(また、その結果が独立コホートでも再現されている)のが研究的な面でのポイントでしょうか。

特に脳の結果はそこまでロバストな結果だと思えないので適当な紹介になりました。が、個人的には都会生活を送るなかで自然に触れることは効果があると思います。大学院時代を過ごしたけいはんな地区や、今住んでいるオックスフォードは学研都市なので、街の風景も人ものんびりしたところです。そんなところから東京に行くと、刺激が多すぎて歩いているだけでも脳の疲れを実感します。そんな時に公園に行ったりするとリラックスすることは肌で実感しているので、こうした効果があっても全然おかしくないかなとは思いますし、それは当然に脳への影響もあると思います。まあ、心が落ち着いている時は星空が綺麗に見えたりするものですし、因果関係を逆にした効果もありそうです。それ以外にも物凄く色んな影響が交絡していると思いますが、いずれにせよ効果があるんじゃないかなと。

f:id:tk_g:20191027024301j:plain

家からオフィスまでは徒歩15分程度で、普段は歩いて通っています。その経路での風景。オックスフォードでの生活は大変なことも多いですが、人が多過ぎないところ、カフェの数が多くていつも空席があるところ、そして自然が多いところは気に入ってます。

良い音楽の秘密

この前ランチで同僚のイギリス人から
「Haruki Murakamiの小説には3ページに一度料理のシーンが出てくるがあれは何なんだ」
と聞かれました。村上春樹の読者にとっては彼の小説の主人公が定期的にパスタを作るのは自然なことであり、逆にイギリス風の冷凍食品を食べるシーンが書かれたりしたら大きな違和感を抱くわけですが、確かに料理シーンの多さを不思議に思うのも理解できます。3ページに一度はだいぶ盛られている気もしますが。

Predictability and uncertainty in the pleasure of music: a reward for learning? | Journal of Neuroscience
そんなコンテンツの好みについての研究が今月JNSに掲載されていて、"わかりそうでわからない"コンテンツ(ここでは音楽)を人は好む、という説を実証したものになります。(知った経緯は以下のNature news)
Why some songs delight the human brain : Research Highlights

音楽を含むどんな芸術作品でも、中程度のわかりにくさの作品が好まれるということが100年前以上から唱えられているようで、数多くの研究があります。なのでこういった研究のポイントは、わかりにくさをどう定義してやるか。この論文の貢献も、音楽のわかりやすさを定量的に定義してやって、その指標と音楽の好みとの関係を検証するための複数の実験をしたことにあります。予想通り、わかりやすさが高すぎず低すぎずの中程度な音楽を人々は実際に好むという結果に。

もう少し具体的に書くと、この論文ではわかりにくさを"意外性"と"自信"の二つに分解しています。二つとも現時点までの曲の流れを踏まえた指標で、一つ目は"次の音がどれぐらい意外だったか"、二つ目は"次の音に関してどれぐらい確かな自信を持っていたか"と書くことができて、どちらも曲を通じて中程度のものが好ましい音楽の特徴のよう。さらに、次の音に対して自信があまりない時に意外性の少ない音が来るような曲も好まれるようです。くだけて書くと、次にどんな音が来るんだろうと不安な時に、今後の流れを予感させるようなわかりやすい音が来てくれると嬉しい、みたいな感じでしょうか。

この説は音楽に限らずストーリーにも当てはまりそうですし、似たようなメソッドで検証もできそうです。スポーツなんかでも当てはまりそうだし、最近強化学習周りでにわかに沸いている好奇心系の研究ともつながりそうです。一方で、これがわかったところで良い音楽や良い脚本が書けるかというと難しそう。人を感動させることの複雑さはもっとずっと深淵にあって、だからこそ世の中のほとんどはヒットせずに終わるのだろうと思います。

YoutubeやAmazonのオススメは現状まだまだですし、だからこそ偶に遭遇する良作探しがやめられません。人は良い音楽や物語を探し求めるものだとおもうのですが、30年生きてきても未だに自分が感動するものの法則がつかめずにいます。ただこの論文にもあるように、自分ならではの予測モデルがあった上での、その予測を少しだけ裏切るようなものに打たれてるというのはある気がします。例えば子供向けの物語ばかり読んでいた小学生時代に初めて推理小説を読んだ時の感覚は今だに思い出せます。あるいはゲーム音楽ばかり聴いてた中学生時代にSquarepusherのIambic 9 Poetryを聴いた時の感覚しかり。一方で初めて村上春樹を読んだ時はその面白さが全くわからなかったですし、今でもこちらで流行ってるポップ・ミュージックにはピンときません。

記憶をうまく忘れるようにする

最近Scienceに掲載された名古屋大の研究と、別のグループからCellに掲載された研究を読みました。それぞれレム睡眠とノンレム睡眠における記憶の忘却に関する研究。
REM sleep–active MCH neurons are involved in forgetting hippocampus-dependent memories | Science
https://www.cell.com/cell/fulltext/S0092-8674(19)30959-6

それぞれの睡眠中の脳に特定の操作を加えてやると、忘却が促進されたとの報告。記憶じゃなくて忘却なところがポイントですね。特に名大の研究は、様々な技術を駆使したいかにも神経生理の実験論文という感じで興味深く読めました。(といっても、いまの技術使えば脳活動の操作や記憶がこんだけできるんやなという小学生並の感想ですが)

記憶力は良ければ良いほどいいようにも思いますが、一方でなんでもかんでも記憶するのも問題があります。人生のなかでは忘れた方が都合のいい出来事も沢山あって、例えばトラウマのように嫌な出来事がうまく忘れられないで苦しむ事例はわかりやすいですし、うつ傾向の人は過去の嫌な記憶をよく思い出す傾向があるという報告もあります。嬉しかったときの記憶でも、現実に支障をきたすほどその記憶にとらわれ続けると問題です。人間に限らず機械学習でも、文章や動画などの系列に関する課題を解く現代的な再帰的ニューラルネットには、過去の内容をどれぐらい保持・忘却するかをリアルタイムに調節する機構が備わっており、その機構がスムーズな学習のために重要だとされています。

自分は記憶についての知識はほぼ皆無ですが、一般的に「覚えること」に比べて「忘れること」は関心から外れがちのような気がします。というのも、実際の生活上では、覚えることはコントロールできても忘れることは中々コントロールできない受動的なものだから。でもこういう研究をみていると脳の中においては、忘れるということはそれほど受動的なものではなくかなり能動的なものなのよう?

じゃあ次に気になるのが、忘れるための神経活動がわかったとして、では何が特定の記憶を忘れる・忘れないのコントロールしてるのか。個人的には、脳のどこに何があるという話よりも、それらがどんな目的を持って動いているのかに興味があります。

ドイツで計算論的認知神経科学の学会に参加してきました。

今月ベルリンで、認知科学と人工知能と神経科学の3分野の研究者を対象とした国際会議であるCognitive Computational Neuroscience 2019が開催されました。僕も学生時代の仕事がポスターで採択されたので発表しております。
ccneuro.org

認知神経科学の研究が多数あったのはもちろん、DeepMindやFacebook、Microsoftがスポンサーに付いていることからもわかる通り、機械学習方面の発表も多くありました。そうした発表は普段神経科学系の学会だとかなり少数派というか完全にアウトロー扱いなので、個人的には楽しめました。全原稿はWebで公開されており、また、口頭発表や基調講演などは全てYoutubeにアップロードされるとのことなので興味があれば見てみてください。

一度に沢山の発表を聞くと疲れるのと、社交が苦手なのとで、学会に参加するのは正直あまり好きではありません。特に口頭発表や基調講演などは、Youtubeに全部アップロードされるなら、スピードも変えられるし字幕も付けられるし戻ったり出来るしで、英語が下手くそな自分としてはそちらで聴きたいと思ってしまいます。ただ、普段話す機会がないような人たちと話すチャンスが大量に転がっているところや、普段聞こうと思わないような発表も聞く気になるところとかは、学会の数少ないメリットかなと思います。

オックスフォードの同僚も何人か参加していましたが、昨今の環境保護の流れも踏まえて(?)電車で行っていた人もちらほらと。飛行機の利用は今後大幅に控えると公言する大御所も出てきたので、これをきっかけに学会のバーチャル化が加速していくんでしょうか。ただ、バーチャル化が進んでいくとして、そもそも自分でネット上に勝手に発表もアップロードできてしまう現在、わざわざ皆で同じ時間に講演形式の発表をする意義もよくわからなくなりそうです。

まあこんなことは皆気づいていて、それでも各地の研究者仲間と一度に気軽に会えるというメリットがあるので続いているわけです。おそらくライブやコミケも同じ構造で、昔は発表が主でネットワーキングが従だったものの、その主従が逆転しつつあるものたち。一方でそのフォーマットは直ぐには変えられないので、昔ながらの形式が残っている。バーチャルマーケットのようなVR版コミケの勢いに、なんとなく様々なものの未来をみている気がします。既存の学会も、昔ながらのフォーマットが続いている脇から元気のある若手を中心に野良バーチャル学会みたいなのがぽっとできて、いつの間にかそれが主流になってるみたいになるんでしょうか。。。

f:id:tk_g:20190928165927j:plain
germany

脳の理解と理論と仮説

以前に自分も記事を書いた論文について解説している記事が界隈で話題になっていました。プロの編集者と研究者の共同の記事で、とてもわかりやすく元論文について説明してくれています。自分でも改めて元論文を読んでみたのですが、自分が以前に読んだ時に勘違いして読んでいた部分もあって、そこに気づけてよかったです(それに合わせて自分の記事も修正しました)。

rmaruy.hatenablog.com

元論文の中で、Kordingらはいくつかの処方箋を提案しています。その中には、「脳の性質や構造についての理論・理解を踏まえて解析や実験系を組み立てる」という提案もあり、これは上の記事で言っていることに近い印象があります。例えば一つ前の記事で書いたような「自由エネルギー原理」はそうした大きな理論の一つですね。Kording本人がそうした枠組みを提案する後続論文も出ていて、流行りのDeeplearningに乗っかって話を展開しています。

www.frontiersin.org

また、先日紹介した脳xAIのPodcastの直近ゲストであるKrakauerも、Kordingらの論文を引用しつつ以下のような提案をしています。
www.sciencedirect.com
神経科医としての彼の立場はタイトルではっきりと表明されていますが、要するに神経活動ではなくもっと行動を観察し、そこから理論を作り、その上で神経活動をみていこうというもの。Marrについてもたくさん触れています。本人による極めてざっくばらんな解説がPodcastで聞けるので興味があればそちらを聞くのがいいと思います。

ちなみにKordingの論文とKrakauerの論文は、以下のDeepMindのDemis Hassabisらによる論文でも並列で紹介されています。神経科学のアプローチを機械学習に取り入れる際には、仮説に基づいて注意深く設計された実験系で行うべき、という文脈です。
www.sciencedirect.com

(ところでMarrの話はこの辺の論文でも普通に出てきていますし、オックスフォードで雑談している時にも、今自分たちがどの辺の研究をしているのかという整理をするときにMarrの名前は出てきます。)

ここまで書いて、「そもそも仮説無しに実験・解析するなんてありえるのか」という、より本質的な問いに関する以下のGershmanによるスレッドを思い出しました。バイアス無しにデータから"発見"することはありえないだろうという話ですが、それは確かにその通りといった感じ。