DeepMindの乳がん画像判定AI(Nature, 2020)

新年早々、DeepMindから乳がん画像判定AIの研究がNatureに発表されました。
www.nature.com
わかりやすい概要は、以下の日本語ニュースサイトで。要するに、乳がん診断(スクリーニング)に使われたX線画像数万枚でAIを訓練したら、人を上回る精度で診断できたという内容です。
japanese.engadget.com

乳がん画像診断は完全に素人ですが、問題設定は自分の研究と似ているところが多くあります。そのため概要より踏み込んだ部分で印象に残った箇所をまとめておきます。

  • 数万画像といっても、そのうち実際に癌の診断がついているサンプル(陽性)は極めて少ない(論文のFigure 1)。イギリスのデータで25856サンプル中414サンプル、米国のデータで3097サンプル中686サンプル。陽性が数百サンプルでもうまいこと学習すればなんとかなるんですね。
  • そもそも人間によるスクリーニングがかなり難しいという印象(論文のFigure 3)。6人のプロのAUC(診断の正確性みたいなもの)が0.58~0.68ですが、AUCは0.5がランダムで1.0が完璧な診断で、0.7を切るAUCは一般には低いと言われます。もちろんスクリーニングなので先の詳細検査までいけばAUCは高くなると思うのですが、素人的にはプロなら0.8~0.9ぐらいはいくのかと想像していました。難しいとは思いますが、スクリーニングでの偽陰性を減らすことは治療効果に関わってきそうですし、偽陽性を減らすことができれば無用な不安を減らせます。AIによる精度向上が望まれる領域と言えそうです。
  • 上記の気持ちは論文の要約にも入っていて、この論文の推しは「AIがどれだけ人間よりも良かったか」で、AIがほぼ完璧な診断(99%とか)をしたというものではありません。人間の精度が上に書いたような状況でそれを数%上回ったという内容なので、AIを使ってもまだまだ完璧な診断には遠いことがわかります。
  • 2施設(イギリスと米国)のデータを使っていて、イギリスのデータ(N=25856)だけを使って米国(N=3097)の診断システムに適用して成功しています(論文のFigure 2)。一見マニアックですが将来の応用を考えると重要な部分。日本を含む大規模な公開データが存在しない国の診断にも適用できる可能性が示唆されます。汎化のために特殊なトリックを使ったりしている感じはないので、単施設でしっかりとデータを集めて判別できるものを作れば特別なものは必要としない問題だったみたいです。
  • 予測自体は大きく3つのモデルのアンサンブル(論文のSupplementary Figure 3)。それぞれImageNetで重みをpre-trainingしたRetinaNet&MovileNetやResnetアーキテクチャで、少しだけ違うパイプラインで画像ごとに予測をしています。とまあ一見したところ普通なので、データさえあればその辺の人でも実装できそうな感じが・・・。
  • AIは人間が診断したデータを使って訓練しているわけなので、「人間が出来ないものはAIにも出来ない」可能性がありますが、そうではなく一致しないケースもあるようです(Supplementary Table 1)。つまり、AIが出来て人間が出来なかったり、人間が出来てAIが出来なかったりするケース。一応細かいデータはありますが(Extended Data Table 6 )AIと人間それぞれの診断のバイアスはそこまで深く議論されてません。

Google(DeepMind)はこれで商売をしていく企業なので思いっきりバイアスはあると思いますが、こうした画像診断はAIが得意な問題であるというのは明らかだと思います。こういう結果が次々に出てくると、セカンドオピニオンならぬAIオピニオンを求める人たちが増える流れが加速しそうな気がします。

2019年の振り返り

先週、東京での一時帰国を終えて帰ってきました。


帰国中は、ひきこもり体質の自分にしては珍しく人と会う機会に多く出向き、互いの近況を交換しました。多くの学生時代の友人が大学卒業後から何か一つ筋を通してきている一方、僕は「今どんな仕事をしているのか?これから何をしたいと思っているのか?」という同窓会定番の質問にうまく答えることができませんでした。


帰国後のオックスフォードでは、ほぼ毎日雨が降っています。夜が長いわりに星は見えないし寒いし、ご飯は高くて不味いし、からだの底からイギリスを感じる毎日です。



今年を振り返ると、まず腹痛から始まりました。

昨年末から体調を崩してしまい、1月の一時帰国中には色々と病院を回る羽目に。初めての本格的な海外生活、初めての研究分野、大量の初対面の人たちとの人間関係構築と、自分では全然意識していなかったものの、今思うとそんなあれこれからくる心身のストレスが原因だったのだと思います。そこから年度末にかけては、色々とメールや応募をしてはお祈りされ、たまに面接までしてくれてて、お祈りされ、懲りずに別のところにチャレンジして、、、研究の合間にそんな活動ばかりしていたのを覚えています。お祈りの効果は経験を重ねても逓減しないということを学びました。

4月から6月まで、長めの一時帰国をして、不思議な日々を過ごしました。

年度末の頑張りの甲斐があったのかどうかはわかりませんが、いくつか先に繋がる話も出てくるように。さらに副次的な効果として、自分がやりたい事を改めて考えるきっかけにもなりました。AIや脳について考えているうちに、芸術方面に自分がどう関われるかといった興味がわき、映画監督やクリエイティブ系のAIベンチャー、クリエイティブハウスにメールをしたり話を聞いたりしました。その流れからいつの間にやら中目黒のクリエイティブハウスで案件に関わらせてもらうことに。クリエイターでも何でもない自分が、色々な分野のトップクリエイターと机を並べて仕事をしている不思議案件でしたが、そこでもたくさんの刺激を受けました。並行して、面接のために海外に飛んだり、やっぱり懲りずに色々な応募を出して、お祈りされて、別のところにチャレンジして、いい話もたまにはあって、みたいなことを繰り返す生活をしていました。研究に関することも、細々と続けていたと思います。

本格的な日本の夏をむかえる前に、再びオックスフォードに戻ってきて、最高の気候に恵まれました。

自分のテニスラケットも買って、いい気分休めができました。僕と同年代のボスやポスドクの同僚に子供が生まれ、研究室が賑やかになりました。子供や家庭の話には全くついていけません。夏の初めに去年投稿した論文が掲載され、夏の終わりには別の仕事が国際会議に受理されました。イギリス居住1年半にして初の海外旅行が学会出張という引きこもりぶりには我ながら閉口しますが、ベルリンにはまた行きたいと思います。

そこからしばらくは、淡々と論文に取り掛かる日々が続きました。

研究室が夏休みに入って暇だったので、Kaggleにも手を出しました。Kaggleというよりもグラフニューラルネットワークを勉強するために出たコンテストでしたが、残念ながらTop 0.2%の金メダルには手が届きませんでした。ただなんとか上位5%の銀メダルは獲得できて、今度はデータサイエンティストも悪くないと思うようになりました。数学や統計の知識不足を感じたので、YouTubeの動画を見たりしながら勉強をしました。途中、いくつか嬉しい話をいただけました。

そうこうしているうちに再び、日本への一時帰国の時期になりました。

ここでも色んなところに滞在しながら、シンポジウムに出たり、オフィスにお邪魔したりしていました。ただ大半の日々は、遅く起きて、オフィスに少し寄って、一人でご飯を食べ、カフェでだらだらし、ラーメンを食べ、ファミレスでパソコンを広げるか本を読んで、飽きたらコワーキングスペースに行って仕事して、みたいな生活でした。自分は一体何をしているのかと不思議になりました。時間があったので、沢山本も読みました。そういえば、この1年間で住居が10回ぐらい変わったと思います。

そんなこんなであっという間に一時帰国も終わりオックスフォードに帰ってきました。

一時帰国中も論文執筆は続けており、ようやく形になってきました。来年にはいくつか投稿できると思うので、結果が楽しみです。その他の研究も、二転三転しながらもなんとか方向性が付いてきました。自分のいまの研究分野を聞かれたら、いちおうAIとか脳とか答える一方で、実際のところ自分と同じ立ち位置で研究をする研究者人は世の中にほぼおらず、それは果たして分野と言えるのか。そんな中、芸術方面のプロジェクトでは自分のしたい方向性が見えてきて、来年には形にしたいと思っています。そんなわけで、興味範囲も実際にやっていることも、相変わらずうまく表現できません。



「自分は今どんな仕事をしているのか?これから何をしたいと思っているのか?」

改めて振り返ってみると、自分でもよくわからない一年を過ごしました。一年どころか、自分の人生自体が相当によくわかりません。一時帰国中に聞かれたこの質問には、これからも上手く答えられなさそうです。

けれども、世の中に自分みたいな奴が少しぐらいはいてもいいのではないか、と思えるようにはなってきました。地盤のもろさに不安になる時もしゅっちゅうですが、結局のところ自分にはこういう生き方しかできなくて、なんとか楽しくやれています。



オックスフォードは、明日も、明後日も、その次の日も、雨の予報です。いまや、傘無しでもフード一つで平気で歩けるようになりました。たまに窓から晴れ間がのぞいて日差しがさすと、部屋がパッと明るくなり、なんだか美しいものに遭遇した気分になります。

こうして少しはこの場所にも慣れてきたのかなという気になったところで、ここでの生活もそろそろ終わりです。次は大西洋を渡り、今とうって変わって一年中快晴の場所。家賃は今以上に死ぬほど高いようです。色々とやりたいことの計画はあるものの。たぶんまた変なことをして、変なことがあって、変な一年になるんだと思います。

来年の今ごろはどんな仕事をしてるのか?何をしたいと思っているのか?

楽しみです。

生得的・後天的な機能とReservoir computing

一つ前の記事に続いて遺伝に関係する内容です。

人間の機能のうち何が遺伝子に組み込まれていて、何が学習により後天的に獲得されるものなのでしょうか。

単純な物体を認識機能だけでなく、人の気持ちを読むといった高度な機能、あるいは悲しくて涙したり嬉しくて笑ったりみたいな情動
機能。

こうした機能に満足している人もいれば困っている人もいて、これらが遺伝的に決定されるのか、あるいは後天的なものなのかは社会的にも非常に重要です。

www.nature.com
今年の8月にNature Communicationsに出たこのレビュー論文は、神経科学者の立場から深層学習研究についての意見を表明しているものです。進化を経て動物の脳に組み込まれている先天的な機能について触れた上で、ニューラルネットののアーキテクチャそれ自体を最適化していくような手法がもっと注目されるべきとしています。


Neural arcitecture search(NAS)とかの分野ではまさにそういうことをやっていると思うのですが、より上記論文と関連しそうな論文が直後にGoogle Brainから発表されています。
weightagnostic.github.io
Weight Agnostic Neural Networkという名前の手法で、その名の通り、ネットワーク内の重みを一切最適化せず、最初から特定の問題が解けるようなニューラルネットアーキテクチャを探索する手法。シンプルなフィードフォワードネットワークを前提としていて、何もないところから、結合を足したり活性化関数を足したりして徐々に構造を複雑化していきます。遺伝的アルゴリズムに従ってパフォーマンスが向上する方向へと変化させていくと、最終的にトレーニングなしで色んなタスクを解けるようになるといったもの。

学習を全くしないという点ではReservoir computingとコンセプトが似ているなと感じました。

よくあるReservoir computingでは、"ほぼ全部"のコネクションをトレーニングせずにランダムな初期値のままにしておいて、最終層だけ訓練します。学習を前提としているためモチベーションは微妙に異なるものの、ランダムなコネクションでも有益な情報量を獲得できる事実を活用している点では似ています。

最初のNature Communicationsの論文が言うことはもっともだと感じて、実際、研究者の偏見(Inductive bias)あるいは先人の知恵が積み重なった結果としてCNNやRNN、今だとResNetやNAS-netみたいなのが生まれてきました。いわば、研究者世代間でアーキテクチャの最適化がされてきたということでしょうか。

昔はアーキテクチャ自体の最適化の研究はコンピュータリソースの制約で難しかったかもしれませんが、今なら実問題でもそういうのが出来るようになってきたと思います。

上のWeight Agnostic Neural Networkみたいな手法の究極的な目標として、「現実の問題を解かせるようアーキテクチャを変化させていったら人間の脳みたいなアーキテクチャが出てきた」みたいな話もあると思います。そこに行き着くにはものすごい時間がかかりそうですが、「悲しくて泣くニューラルネット」が自然に発生してきたら驚くべきことかもしれません。まあ、むしろ人間の脳とは全然違ったものができる可能性の方が高そうですが。

いずれにせよ、「頑張ってアイデアをひねり出して、既存のニューラルネットのアーキテクチャを少し変えて色んな学習方法を組み合わせて問題を解く」みたいな研究よりも、こういうよりメタな部分に焦点をあてた研究が面白いなと思います。ちょうど、そういうことを言っている強化学習の大家Richard Suttonによる以下のようなエッセイもあります。
www.incompleteideas.net
思いっきり要約すると、「アーキテクチャや最適化の細かい改善よりも、それ自体を探索するようなものが長く生きるよね」というエッセイ。今年投稿された際にはネットが少し盛り上がりました。

なんだか大分トピックが広がってしまいましたが、、、こんな背景もあり遺伝に興味があります。

ゲノム編集とバイオハッカーと深層学習

英語の勉強がてらにNetflixの海外ドキュメンタリーを最近よく見るんですが、ゲノム編集に関するこのドキュメンタリーは勉強になりました。
www.netflix.com

科学の話題としては、深層学習に負けず劣らずゲノム編集も盛り上がっている感じがあります。盛り上がりに比例して批判的、懐疑的な意見というのも出てくるもので、このドキュメンタリーでもその面に焦点をあてています。

自分も興味はあるのですが知識としては数冊本を読んだ程度です。なので勉強になったのですが、中でも面白かったのは1話に登場するバイオハッカーの話(この言葉初めて聞きました)。どこかの大学に所属する研究者ではなく、自宅にある設備を使ってゲノム編集の実験をしている野良研究者に焦点を当てています。様々な安全面・倫理面からの警鐘を物ともせずにどんどん自分で勝手にゲノム編集を進めています。

自分の理解では、CRISPR-Cas9に代表される最先端の技術については、これまでに比べてずっと効率よくかつ正確にターゲットとする位置に遺伝子を入れたり破壊することができるようにした一方、狙った位置以外にも影響を与えてしまういわゆるオフターゲット効果などの副作用が問題となっています。

深層学習でもそうですが、盛り上がってる分野は色んな分野の研究者が参入してきてどんどん技術が進んでいくものです。例えば先週のNatureではオフターゲット効果がCRISPR-Cas9よりも少ないとするPrime editingなる技術が発表されていました。
www.nature.com

また同じく先週Plos CBに、Transformerという自然言語処理の分野で最高精度を叩き出してその他の分野でも使われるようになってきているアーキテクチャをベースとして、CRISPR-Casのオフターゲット効果を予測する研究が発表されています。
journals.plos.org

注目されて人もお金も集まってる分野はスピード感がすごいですね。今の所ゲノム編集が自分の研究にどう関わってくるかイメージは全く無く純粋に興味で見てるだけです。ただ、どの分野にも関係する本質的な技術ですし、そのうち嫌でも関わることになるんだろうなと思います。

自然に多く触れることは精神疾患のリスクを減らす?

あっという間に年末も近づき、数週間後には日本に一時帰国です。東京や京都・大阪で過ごす予定ですが、毎回東京に行くと思うのが圧倒的な人の多さと建物の多さ。ロンドンも中々ですが、東京都心には敵いません。

Neural correlates of individual differences in affective benefit of real-life urban green space exposure | Nature Neuroscience
これは先日Nature Neuroscienceに出た研究ですが、都市生活を送る上で自然に多く触れることは精神的な健康にとって良いという結果に。前頭葉の活動の仕方も違うみたいです。よくある大規模アンケート調査の結果だけではなく、スマホアプリを使って個人内での短期間での変動も追跡した結果を出してる(また、その結果が独立コホートでも再現されている)のが研究的な面でのポイントでしょうか。

特に脳の結果はそこまでロバストな結果だと思えないので適当な紹介になりました。が、個人的には都会生活を送るなかで自然に触れることは効果があると思います。大学院時代を過ごしたけいはんな地区や、今住んでいるオックスフォードは学研都市なので、街の風景も人ものんびりしたところです。そんなところから東京に行くと、刺激が多すぎて歩いているだけでも脳の疲れを実感します。そんな時に公園に行ったりするとリラックスすることは肌で実感しているので、こうした効果があっても全然おかしくないかなとは思いますし、それは当然に脳への影響もあると思います。まあ、心が落ち着いている時は星空が綺麗に見えたりするものですし、因果関係を逆にした効果もありそうです。それ以外にも物凄く色んな影響が交絡していると思いますが、いずれにせよ効果があるんじゃないかなと。

f:id:tk_g:20191027024301j:plain

家からオフィスまでは徒歩15分程度で、普段は歩いて通っています。その経路での風景。オックスフォードでの生活は大変なことも多いですが、人が多過ぎないところ、カフェの数が多くていつも空席があるところ、そして自然が多いところは気に入ってます。

良い音楽の秘密

この前ランチで同僚のイギリス人から
「Haruki Murakamiの小説には3ページに一度料理のシーンが出てくるがあれは何なんだ」
と聞かれました。村上春樹の読者にとっては彼の小説の主人公が定期的にパスタを作るのは自然なことであり、逆にイギリス風の冷凍食品を食べるシーンが書かれたりしたら大きな違和感を抱くわけですが、確かに料理シーンの多さを不思議に思うのも理解できます。3ページに一度はだいぶ盛られている気もしますが。

Predictability and uncertainty in the pleasure of music: a reward for learning? | Journal of Neuroscience
そんなコンテンツの好みについての研究が今月JNSに掲載されていて、"わかりそうでわからない"コンテンツ(ここでは音楽)を人は好む、という説を実証したものになります。(知った経緯は以下のNature news)
Why some songs delight the human brain : Research Highlights

音楽を含むどんな芸術作品でも、中程度のわかりにくさの作品が好まれるということが100年前以上から唱えられているようで、数多くの研究があります。なのでこういった研究のポイントは、わかりにくさをどう定義してやるか。この論文の貢献も、音楽のわかりやすさを定量的に定義してやって、その指標と音楽の好みとの関係を検証するための複数の実験をしたことにあります。予想通り、わかりやすさが高すぎず低すぎずの中程度な音楽を人々は実際に好むという結果に。

もう少し具体的に書くと、この論文ではわかりにくさを"意外性"と"自信"の二つに分解しています。二つとも現時点までの曲の流れを踏まえた指標で、一つ目は"次の音がどれぐらい意外だったか"、二つ目は"次の音に関してどれぐらい確かな自信を持っていたか"と書くことができて、どちらも曲を通じて中程度のものが好ましい音楽の特徴のよう。さらに、次の音に対して自信があまりない時に意外性の少ない音が来るような曲も好まれるようです。くだけて書くと、次にどんな音が来るんだろうと不安な時に、今後の流れを予感させるようなわかりやすい音が来てくれると嬉しい、みたいな感じでしょうか。

この説は音楽に限らずストーリーにも当てはまりそうですし、似たようなメソッドで検証もできそうです。スポーツなんかでも当てはまりそうだし、最近強化学習周りでにわかに沸いている好奇心系の研究ともつながりそうです。一方で、これがわかったところで良い音楽や良い脚本が書けるかというと難しそう。人を感動させることの複雑さはもっとずっと深淵にあって、だからこそ世の中のほとんどはヒットせずに終わるのだろうと思います。

YoutubeやAmazonのオススメは現状まだまだですし、だからこそ偶に遭遇する良作探しがやめられません。人は良い音楽や物語を探し求めるものだとおもうのですが、30年生きてきても未だに自分が感動するものの法則がつかめずにいます。ただこの論文にもあるように、自分ならではの予測モデルがあった上での、その予測を少しだけ裏切るようなものに打たれてるというのはある気がします。例えば子供向けの物語ばかり読んでいた小学生時代に初めて推理小説を読んだ時の感覚は今だに思い出せます。あるいはゲーム音楽ばかり聴いてた中学生時代にSquarepusherのIambic 9 Poetryを聴いた時の感覚しかり。一方で初めて村上春樹を読んだ時はその面白さが全くわからなかったですし、今でもこちらで流行ってるポップ・ミュージックにはピンときません。

記憶をうまく忘れるようにする

最近Scienceに掲載された名古屋大の研究と、別のグループからCellに掲載された研究を読みました。それぞれレム睡眠とノンレム睡眠における記憶の忘却に関する研究。
REM sleep–active MCH neurons are involved in forgetting hippocampus-dependent memories | Science
https://www.cell.com/cell/fulltext/S0092-8674(19)30959-6

それぞれの睡眠中の脳に特定の操作を加えてやると、忘却が促進されたとの報告。記憶じゃなくて忘却なところがポイントですね。特に名大の研究は、様々な技術を駆使したいかにも神経生理の実験論文という感じで興味深く読めました。(といっても、いまの技術使えば脳活動の操作や記憶がこんだけできるんやなという小学生並の感想ですが)

記憶力は良ければ良いほどいいようにも思いますが、一方でなんでもかんでも記憶するのも問題があります。人生のなかでは忘れた方が都合のいい出来事も沢山あって、例えばトラウマのように嫌な出来事がうまく忘れられないで苦しむ事例はわかりやすいですし、うつ傾向の人は過去の嫌な記憶をよく思い出す傾向があるという報告もあります。嬉しかったときの記憶でも、現実に支障をきたすほどその記憶にとらわれ続けると問題です。人間に限らず機械学習でも、文章や動画などの系列に関する課題を解く現代的な再帰的ニューラルネットには、過去の内容をどれぐらい保持・忘却するかをリアルタイムに調節する機構が備わっており、その機構がスムーズな学習のために重要だとされています。

自分は記憶についての知識はほぼ皆無ですが、一般的に「覚えること」に比べて「忘れること」は関心から外れがちのような気がします。というのも、実際の生活上では、覚えることはコントロールできても忘れることは中々コントロールできない受動的なものだから。でもこういう研究をみていると脳の中においては、忘れるということはそれほど受動的なものではなくかなり能動的なものなのよう?

じゃあ次に気になるのが、忘れるための神経活動がわかったとして、では何が特定の記憶を忘れる・忘れないのコントロールしてるのか。個人的には、脳のどこに何があるという話よりも、それらがどんな目的を持って動いているのかに興味があります。