オードリー・タンと天才と意識

最近、研究と関係ないエッセイ的な記事ばかり書いていますが、明らかにリアルでのコミュニケーション量が激減しているのが原因な気がします。本当はもっとカッチリしたフォーマットで、面白い論文やらを紹介した方がいいとは思うのですが。


***

大学の警戒レベルが少し下がり、ようやく初(リアル)出勤しました。二年ぶりの本郷キャンパスでしたが、まだ学外の人は入校できず、学内関係者の出勤も制限されているのでキャンパス内はガラガラです。
f:id:tk_g:20200628230238j:plain
そんなわけで久しぶりの通勤中に、家だと開かないPodcastアプリを久しぶりに開くと、Rebuild.fmのゲストがなんとオードリー・タン。
rebuild.fm
彼女はコンピュータサイエンス業界の有名人で、Wikipedia記事(URL)を見ればわかるとおり、いわゆる天才。いまは台湾政府でデジタル担当の政務委員をしています。こういう規格外の人が、いかにも堅そうな行政に関わっているのはそれ自体興味深いことです。

Podcastの前半部分は台湾のコロナ対策についてで、それもまあ面白かったんですが、自分としては後半のキャリアについての話の方が刺さりました。極めて高いITの専門性を持つ人間が行政とどう関わっていくか、プログラミング教育をどう進めるべきか、などの話を世界でも数少ない実践者の口から聞けるのは貴重だと思います。


***

ところでこのオードリーは14歳で中学を中退しています。自分は学問でも芸術でもスポーツでも、「天才」と言われている人のことを調べるのが昔から好きです。そんな天才オタク的には、この「中学を中退」という言葉には刺さる響きがあります。彼女が中学を中退した年齢で、自分は田舎の公立中学に普通に通学、しかも成績はギリギリでオール3に届かないぐらいというザ・平凡という感じの人間だったので、この彼我の差には眼がくらみます。

というか、自分の容赦ない凡庸さと向き合うために、天才の頭の中に興味があるのかも。経験上、蓋を開けてみるとそういうすごい人たちは結局、周囲よりも圧倒的に努力し続けている人でもあります。で、そういうのを見て知って、さらに憧憬が高まっていくことに。


***

Podcast繋がりで、認知神経科学界隈でこのYoutube動画についての言及を偶然見かけて、作業中に垂れ流しで聴いてみました。
www.youtube.com
編集が入っていないのと司会者がいないのとで、Rebuildに比べてかなりとっ散らかった居酒屋談義です。なので意識の研究に関する知識がある人以外は面白くないと思うのですが、個人的には面白く聴けました。

確かにとっ散らかった居酒屋談義ではあるのですが、自分はこういうコンテンツがわりと好きです。

実際の人間の頭の中は、このYoutube動画みたいなとっ散らかっているものだと思います。もちろん、それをそのまま垂れ流されると情報の受け手的には非効率すぎるので、カッチリと整理した後の情報が本や論文という形で発表されています。それがまさに情報の吸収効率を最大限に高めるわけですが、一方で、こういう生の未整理な情報にそのまま触れるというのも、整理された後には消えてしまう何かが得られている気がします。仕事に活きそうな何かが。……というのは仕事に集中できずに動画を垂れ流している言い訳で、そんなの気のせい、仕事に直接活きるものなんて得られない、というのが実態でしょう。

せいぜい、自分以外にも似たような問題に興味がある人がいるんだなとか、こういう人はこういうことで悩んでるんだなみたいな共感とか、そういう類いの経験が得られるぐらいでしょうか。

いや、でも、それが一番重要なのかも。

もちろん、何にとって重要かはわからないし、裏付けもないけれど。

帰国とクリエイティブと美しさ

ゴーストタウンと化したオックスフォードから、ほぼ無人のヒースロー空港へと行き、CAさんと乗客がほぼ同数の飛行機に搭乗。そこから数週間の隔離を経て、数日前からようやく新居でテレワーク生活をはじめました。大学に行ける可能性も出てきたので、結局本郷の徒歩圏内に住むことに。

f:id:tk_g:20200605204249j:plain
イギリス上空

隔離期間中は、重めの締め切りがあったのに加え、並行して家探しや引越しをする必要があったため、前回書いたようなのんびりと思索にふける時間は全くありませんでした。街はすでに人であふれていますし、ウィズコロナ・アフターコロナとか言っても、結局いろいろなモノの背中を少し押しただけになるのかも。とはいえ、モノによってはその背中のひと押しがバカになりません。数ヶ月間のロックダウンは間違いなく記憶に残る出来事となりました。



そんなわけで仕事も生活もひと段落しましたが、その間の積み残しがたくさんあるので今後はそちらを消化していく感じになりそうです。

もちろん積み残しの消化だけでなく、東京で新たに取り組む研究もあります。これは今までとは少し違う、芸術寄りの研究です。"少し"と言うにはちょっと苦しいぐらい"かなり"違いますが、いちおう自分の中では繋がりがあります。

というのも、大学院時代の後半から今まで、ちょうど五年ぐらい絵・音楽・文章に対してAIを適用する案件をちまちま続けてきました(カッコよく言うとクリエイティブ x AIに関する個人プロジェクト)。意識していませんでしたが、結果的に毎年違う企業と一緒に仕事をしていて、振り返ると自分の中でそれなりに歴史のあるサブプロジェクトに。どの仕事もわりと楽しんでやってきましたが、メインの研究との繋がりが全く無かったのが気になっていたのも事実。他人から、「なんでそんなことやってるの」とたずねられた時、「楽しいから」としか言えず困るところもありました。

それがこうして研究と繋がってくるのは、何やら不思議な気持ちです。もちろん研究なので失敗する可能性も高く、今後どう転ぶかは全く読めません。



芸術を真面目に研究として扱うとなると、「美」とは何か、という問題から避けることができません。自分は「美しい」なんて言葉を日常でそうそう使いませんが、「カッコいい」ぐらいならわりと使いますし、両者の本質はそう違わない気がします。

で、そもそも美しいとは、カッコいいとは何なのか。

客観的な定義としては、「歴史的に美しい、カッコいいと言われてきたものがそうなのだ」という考えがありそうです。ただ、これはあまりにも実感が伴わない。自分が何かをカッコいいと言う時、その歴史的な意義をかえりみて客観的に述べようとしている感じは一ミリもしません。それよりも、美しいやカッコいいと言う言葉はその人の感情のある側面をとらえたものであり、ひたすら主観的に使われるものだ、という説明の方がはるかにしっくりきます。

じゃあ、美しい・カッコいいなんてものはどこまでも主観的で、個人間、もっと言うなら異なる個人の脳内で何も共有されていないのか?美しさやカッコよさについて語り合うコミュニケーションは全くのナンセンスなのか?というのもやはり実感が伴わない。さすがに少しは人類間で共有されている何かがありそう、というよりあって欲しい、という気持ちになります。

僕は脳の研究をしているので、結局のところここで問題になるのは、ある言葉に対応する脳活動が自分と他人で同じなのか、という問題だと考えます。

ここで残念なのが、人間の感情についてはマジでわからないことだらけだということです。感情の脳表現についての論文を書いたことがあるのでその時に勉強したのですが、何気なく使っている「嬉しさ」や「不安」といったレベルの感情でも、いったいそれはどういう脳活動なのか、他人と自分で同じなのか、ほとんどわかっていません。

面白いのは、こんなにも何もわかっていないにも関わらず、自分たちは日常的に「キレイだね」とか「カッコいい人間になりたい」とか、あたかも共通理解があるかのようにこれらの言葉を使うことです。何もわかっていない感情について述べているのであれば、これらのコミュニケーションに実質的な意味は何もないことになってしまいます。こんなにも何もわかっていないのに、何かを好きだとか嫌いだとか、自分たちはわりと気軽に使います。誰かが何かをした動機を一言の単語に帰着させたり、平気でします。

もしかしたら、美しいとかカッコいいとかいう感情は、ある種の生理反応を指し示す客観的な言葉として使われているのかもしれません。たとえば平野啓一郎の『「カッコいい」とは何か』では「カッコいい」と「シビれる」がよく似た使われ方をされていると書かれています(体感主義と言っています)。「シビれる」とは、自分たちの多くが知っているあの「シビれる」反応です。なるほど。でも、同じ生理現象が同じ神経活動に本当に対応しているのでしょうか。個人間はもちろんのこと、同一個人内でさえ怪しい。実はこの話は脳科学ではわりと長い歴史があって、論争が続いています。やっぱり全然わかっていない。



なんだか話がまとまらなくなってきましたが、とにかく、こんなに自分たちが日常的に使って、感じている美しさやカッコよさについて、自分たち(少なくとも僕は)は何も知らない。

まとまらないついでに更に発散させると、こうした美しさやカッコよさは、倫理観とも繋がっていそうです。たとえば、「正義」や「ただしさ」とカッコよさはかなり関係が深そう。


…もしかしたら、これらを明らかにするとすごい影響が大きい研究になるのかもしれない。明らかにしたら教科書が変わるかも。やはりこれは面白い研究テーマで、解明する価値があるのでは?

ここで自分のことを振り返ると、明らかに自分がカッコいいと思う人物像は変わり続けています。スポーツ選手や芸能人がそうだった時もあれば、世界を飛び回るビジネスマンがそうだった時も。今カッコいいと思うのは、Twitterにたくさんいる(ように見える)「自分は何もわからない」だとか「にゃーん」だとか言っている凄腕のエンジニアや研究者。彼らは自分の知性とその限界を真摯に把握した上でそういう言葉を使う、揺るぎない知性の持ち主であり、まさに彼らこそかっこいい。自分も負けぬよう研鑽を積まなくてはいけない。



はて、ではなぜ影響が大きい研究をしたいのだろう。それが一体なんなのだろう。

知性があったらなんなのだろう。そもそも知性のことだって自分たちは何一つわかっていないのに、なぜこんなにも堂々と彼らの知性が揺るぎないだなんて言葉を使えるんだろう。

それらが、美しいから?

シビれて、カッコいいと思うから?

そんなの無意味だって自分で書いているのに?

コロナと創作と研究

イギリスではもう一ヶ月以上、ロックダウンが続いています。最近は日も長くなり昼間は暖かく、とても気持ちのいい天気が続いているのですが、外を歩いていても人はまばらです。近くの大きなスーパーマーケットは、同時に十人以上の人が中に入れません。一定の間隔をとって店の外で並ぶ状態が続いています。バーもカフェも定食屋も、当然閉店。オフィスは閉鎖され通常は一人も中に入れず、全員完全に自宅勤務です。

f:id:tk_g:20200429062950j:plain
家の前の風景
普段のミーティングは全てMicrosoft Teamsでおこなわれています。全員近所に住んでいるのに、全く顔を合わせません。日本語ならまだしも、英語だと自分にはこれは結構辛い。この二年間顔を合わせてミーティングをしてきた蓄積があるのと、研究がすでに終盤フェーズに入っているのでまだなんとかなっています。もしこれが研究初期で、今後の方向性を固めていかなければいけない、みたいな状態だったら辛かったはず。

オックスフォード大学では、収入減が見込まれる中での既存の雇用維持策として、今年は完全に新規雇用を凍結しています。自分はオックスフォードはこの春で終わり、次はスタンフォードに行く予定でした。スタンフォードも、新規雇用を凍結しています。僕は幸い自分のフェローシップで行くので影響は受けませんが、今の状況でアメリカに行くのは無謀、というか行ってもどうせ完全テレワークなので、リスクだけが高くて行く意味がありません。なので、一時的に日本に滞在することにしました。しばらくまた東大で研究をすることになります。落ち着いた頃にアメリカに行く予定ですが、はたして落ち着くのか。

今は東大も完全テレワークなので、住まいをどこにするか悩んでいるところです。もし自粛模様やテレワークが今後も長く続くなら、都心から離れた広い家で落ち着いて仕事をするのが絶対にいい。もしかすると、世界に誇る東京都心の人口集中はこんな風にして解消されるのかも。今はまだ、自分のようなふわふわした人間の行動しか変えないと思います。でももしこれが長期化したら、人の流れが大きく変わり、街の風景も変わるはず。

このコロナウイルスは、100年後に振り返った時、どんな影響を世界に与えたことになってるんでしょうか。目下、自分の生活や仕事に関わる意思決定が、これまで経験したことがないレベルで変わっているように感じます。自分が生まれてからを荒っぽく振り返ると、ソ連崩壊、911、東日本大震災、と10年ごとに何かしら歴史的事件が生じているように思います。でも、ここまで直接的・大規模・長期的に生活を変化させた事象はなかなかないのでは。まだまだウイルスの全貌はわかっていません。免疫獲得についての詳細や、ワクチンがいつ開発・普及するかも、全く不明。何か言うには時期尚早もいいところですが、色々と考えてしまいます。

自分の研究分野は治療法解決に役立てられそうにないので、今はただ家で大人しくしているだけです。といっても、実際のところ自分の生活は殆ど変わっていません。もともと仕事も趣味もインドア・自宅派なので、むしろ飲み会やらなにやらが無くなりむしろホッとしている部分もあるぐらいです。こういう風に思っている人は、世の中に実はたくさんいるのではないか、という気はします。少なくとも僕が学生だったら、かつてないほどの幸せを感じているはず。

もちろん、人と話してないと死ぬ、という同僚も沢山います。そういう人たちのために、参加自由なテレビ電話会議がたくさん企画されていることには感心します。例えば、毎日11時からテレビ電話でコーヒー会議が開かれています。木曜日14時からは研究相談会議があり、金曜日12時からはフィッシュ&チップスを皆で食べる会があります。日本の古巣の知り合いに聞いていても、ここまでしているというのは全く聞きません。コミュニケーションをどれだけ重要視しているか、文化的な違いを改めて感じます。

一方で、家に一人でいても全く苦痛でなく、むしろいくらでも娯楽があるというタイプの人間も案外世の中にたくさんいると思います。動画や音楽はいくらでも転がっていて、小説だって無限に読める。交際費も交通費もかからないから、余計な出費はほぼ無い。気分転換がしたくなったら外に出て、空いている公園でも散歩すれば気持ちいい。ある種の人間にとっては、それだけで十分に楽しく生きられる時代です。

この機会に、なんで今まであんなにあくせく働いていたのか、という考えになる人も多いのではないか、なんて思ったりもします。つまり、今までしてきたことができなくなることによって、逆説的に、本当に何がしたいのか考えるようになる。忙しく働いている人は日頃の生活が忙しく、そんなことは考える暇はない。学生だったら、周りもみんなやっているし、惰性でなんとなく仕事を選ぶ。ただ、このように状況が変わった今、ハッとこうした問題に突き当たる人もいるんじゃないかと。

結局のところ実存の問題になるわけですが、実存の問題はとかく面倒です。普段は何のために生きているのか、何のために働いているのかなんて考えていられないし、それについて他人の考えを聞くなんて鬱陶しい。けれども、実際には多かれ少なかれ誰しもが直面する悩みであり、どこかで溜まっているものを吐き出しているはずです。自分にとっては、創作物に触れるというのは、そうした溜まったものと向き合う重要な機会の一つです。なんだかモヤモヤしている時に、触れるとなんだかスッキリする。

なんとなく、今の時代に実存と真正面に向き合い、表現するのが許されているのは創作現場か哲学者ぐらいだという気がしています。もしかすると、生活が一変したことをきっかけに、受け入れるだけでなく自分でも何か表現してみたい、と思う人が増えるかもしれません。ライブや舞台のような人を集める活動は厳しいので、音楽や絵、小説が有望でしょうか。哲学者になりたい人が増えるかどうかは怪しい。

ふと、研究を何かしらの形で発表するときもそんな気分だということに気づきました。研究はリーチする範囲が基本的に極小なので、上にあげたような一般創作と比べるのはおこがましいですが、自分が好き・面白いと思うものを問う、という意味では、満たされるものは近い。プログラムやWebサービスを作って公開するのも、似ているかもしれません。ただ、どちらも仕事でやるなら実利やインパクトをかなりの程度考えざるを得ないので、完全に趣味でやっているケースを除いたら、好き勝手やれるなんてことはなかなかないですが。とはいえ、部分的には満たされるものもありそう。

というか、何だってそうなのかも。だとしたらどうして、自分は今やっていることをやっているのだろう。

フリーで配布されてる音声合成ソフトNEUTRINOが凄い

n3utrino.work
曰く、謎のエンジニア「SHACHI」氏が今日公開したフリーの音声合成ソフトウェア。

ブルーバード
www.nicovideo.jp
世界に一つだけの花
soundcloud.com
パプリカ
soundcloud.com

歌声チューリングテストなんてものがもしあったらそれにも通るのではないかという気がするクオリティ。
(音楽作れないけど、)自分でも音楽作って、歌わせてみたくなりませんか?
著作権法改正により著作物をAI利用するのが容易になり、それに伴い歌手の音声データセットが公開・利用が進んでます。
km4osm.com

DeepMindの乳がん画像判定AI(Nature, 2020)

新年早々、DeepMindから乳がん画像判定AIの研究がNatureに発表されました。
www.nature.com
わかりやすい概要は、以下の日本語ニュースサイトで。要するに、乳がん診断(スクリーニング)に使われたX線画像数万枚でAIを訓練したら、人を上回る精度で診断できたという内容です。
japanese.engadget.com

乳がん画像診断は完全に素人ですが、問題設定は自分の研究と似ているところが多くあります。そのため概要より踏み込んだ部分で印象に残った箇所をまとめておきます。

  • 数万画像といっても、そのうち実際に癌の診断がついているサンプル(陽性)は極めて少ない(論文のFigure 1)。イギリスのデータで25856サンプル中414サンプル、米国のデータで3097サンプル中686サンプル。陽性が数百サンプルでもうまいこと学習すればなんとかなるんですね。
  • そもそも人間によるスクリーニングがかなり難しいという印象(論文のFigure 3)。6人のプロのAUC(診断の正確性みたいなもの)が0.58~0.68ですが、AUCは0.5がランダムで1.0が完璧な診断で、0.7を切るAUCは一般には低いと言われます。もちろんスクリーニングなので先の詳細検査までいけばAUCは高くなると思うのですが、素人的にはプロなら0.8~0.9ぐらいはいくのかと想像していました。難しいとは思いますが、スクリーニングでの偽陰性を減らすことは治療効果に関わってきそうですし、偽陽性を減らすことができれば無用な不安を減らせます。AIによる精度向上が望まれる領域と言えそうです。
  • 上記の気持ちは論文の要約にも入っていて、この論文の推しは「AIがどれだけ人間よりも良かったか」で、AIがほぼ完璧な診断(99%とか)をしたというものではありません。人間の精度が上に書いたような状況でそれを数%上回ったという内容なので、AIを使ってもまだまだ完璧な診断には遠いことがわかります。
  • 2施設(イギリスと米国)のデータを使っていて、イギリスのデータ(N=25856)だけを使って米国(N=3097)の診断システムに適用して成功しています(論文のFigure 2)。一見マニアックですが将来の応用を考えると重要な部分。日本を含む大規模な公開データが存在しない国の診断にも適用できる可能性が示唆されます。汎化のために特殊なトリックを使ったりしている感じはないので、単施設でしっかりとデータを集めて判別できるものを作れば特別なものは必要としない問題だったみたいです。
  • 予測自体は大きく3つのモデルのアンサンブル(論文のSupplementary Figure 3)。それぞれImageNetで重みをpre-trainingしたRetinaNet&MovileNetやResnetアーキテクチャで、少しだけ違うパイプラインで画像ごとに予測をしています。とまあ一見したところ普通なので、データさえあればその辺の人でも実装できそうな感じが・・・。
  • AIは人間が診断したデータを使って訓練しているわけなので、「人間が出来ないものはAIにも出来ない」可能性がありますが、そうではなく一致しないケースもあるようです(Supplementary Table 1)。つまり、AIが出来て人間が出来なかったり、人間が出来てAIが出来なかったりするケース。一応細かいデータはありますが(Extended Data Table 6 )AIと人間それぞれの診断のバイアスはそこまで深く議論されてません。

Google(DeepMind)はこれで商売をしていく企業なので思いっきりバイアスはあると思いますが、こうした画像診断はAIが得意な問題であるというのは明らかだと思います。こういう結果が次々に出てくると、セカンドオピニオンならぬAIオピニオンを求める人たちが増える流れが加速しそうな気がします。

2019年の振り返り

先週、東京での一時帰国を終えて帰ってきました。


帰国中は、ひきこもり体質の自分にしては珍しく人と会う機会に多く出向き、互いの近況を交換しました。多くの学生時代の友人が大学卒業後から何か一つ筋を通してきている一方、僕は「今どんな仕事をしているのか?これから何をしたいと思っているのか?」という同窓会定番の質問にうまく答えることができませんでした。


帰国後のオックスフォードでは、ほぼ毎日雨が降っています。夜が長いわりに星は見えないし寒いし、ご飯は高くて不味いし、からだの底からイギリスを感じる毎日です。



今年を振り返ると、まず腹痛から始まりました。

昨年末から体調を崩してしまい、1月の一時帰国中には色々と病院を回る羽目に。初めての本格的な海外生活、初めての研究分野、大量の初対面の人たちとの人間関係構築と、自分では全然意識していなかったものの、今思うとそんなあれこれからくる心身のストレスが原因だったのだと思います。そこから年度末にかけては、色々とメールや応募をしてはお祈りされ、たまに面接までしてくれてて、お祈りされ、懲りずに別のところにチャレンジして、、、研究の合間にそんな活動ばかりしていたのを覚えています。お祈りの効果は経験を重ねても逓減しないということを学びました。

4月から6月まで、長めの一時帰国をして、不思議な日々を過ごしました。

年度末の頑張りの甲斐があったのかどうかはわかりませんが、いくつか先に繋がる話も出てくるように。さらに副次的な効果として、自分がやりたい事を改めて考えるきっかけにもなりました。AIや脳について考えているうちに、芸術方面に自分がどう関われるかといった興味がわき、映画監督やクリエイティブ系のAIベンチャー、クリエイティブハウスにメールをしたり話を聞いたりしました。その流れからいつの間にやら中目黒のクリエイティブハウスで案件に関わらせてもらうことに。クリエイターでも何でもない自分が、色々な分野のトップクリエイターと机を並べて仕事をしている不思議案件でしたが、そこでもたくさんの刺激を受けました。並行して、面接のために海外に飛んだり、やっぱり懲りずに色々な応募を出して、お祈りされて、別のところにチャレンジして、いい話もたまにはあって、みたいなことを繰り返す生活をしていました。研究に関することも、細々と続けていたと思います。

本格的な日本の夏をむかえる前に、再びオックスフォードに戻ってきて、最高の気候に恵まれました。

自分のテニスラケットも買って、いい気分休めができました。僕と同年代のボスやポスドクの同僚に子供が生まれ、研究室が賑やかになりました。子供や家庭の話には全くついていけません。夏の初めに去年投稿した論文が掲載され、夏の終わりには別の仕事が国際会議に受理されました。イギリス居住1年半にして初の海外旅行が学会出張という引きこもりぶりには我ながら閉口しますが、ベルリンにはまた行きたいと思います。

そこからしばらくは、淡々と論文に取り掛かる日々が続きました。

研究室が夏休みに入って暇だったので、Kaggleにも手を出しました。Kaggleというよりもグラフニューラルネットワークを勉強するために出たコンテストでしたが、残念ながらTop 0.2%の金メダルには手が届きませんでした。ただなんとか上位5%の銀メダルは獲得できて、今度はデータサイエンティストも悪くないと思うようになりました。数学や統計の知識不足を感じたので、YouTubeの動画を見たりしながら勉強をしました。途中、いくつか嬉しい話をいただけました。

そうこうしているうちに再び、日本への一時帰国の時期になりました。

ここでも色んなところに滞在しながら、シンポジウムに出たり、オフィスにお邪魔したりしていました。ただ大半の日々は、遅く起きて、オフィスに少し寄って、一人でご飯を食べ、カフェでだらだらし、ラーメンを食べ、ファミレスでパソコンを広げるか本を読んで、飽きたらコワーキングスペースに行って仕事して、みたいな生活でした。自分は一体何をしているのかと不思議になりました。時間があったので、沢山本も読みました。そういえば、この1年間で住居が10回ぐらい変わったと思います。

そんなこんなであっという間に一時帰国も終わりオックスフォードに帰ってきました。

一時帰国中も論文執筆は続けており、ようやく形になってきました。来年にはいくつか投稿できると思うので、結果が楽しみです。その他の研究も、二転三転しながらもなんとか方向性が付いてきました。自分のいまの研究分野を聞かれたら、いちおうAIとか脳とか答える一方で、実際のところ自分と同じ立ち位置で研究をする研究者人は世の中にほぼおらず、それは果たして分野と言えるのか。そんな中、芸術方面のプロジェクトでは自分のしたい方向性が見えてきて、来年には形にしたいと思っています。そんなわけで、興味範囲も実際にやっていることも、相変わらずうまく表現できません。



「自分は今どんな仕事をしているのか?これから何をしたいと思っているのか?」

改めて振り返ってみると、自分でもよくわからない一年を過ごしました。一年どころか、自分の人生自体が相当によくわかりません。一時帰国中に聞かれたこの質問には、これからも上手く答えられなさそうです。

けれども、世の中に自分みたいな奴が少しぐらいはいてもいいのではないか、と思えるようにはなってきました。地盤のもろさに不安になる時もしゅっちゅうですが、結局のところ自分にはこういう生き方しかできなくて、なんとか楽しくやれています。



オックスフォードは、明日も、明後日も、その次の日も、雨の予報です。いまや、傘無しでもフード一つで平気で歩けるようになりました。たまに窓から晴れ間がのぞいて日差しがさすと、部屋がパッと明るくなり、なんだか美しいものに遭遇した気分になります。

こうして少しはこの場所にも慣れてきたのかなという気になったところで、ここでの生活もそろそろ終わりです。次は大西洋を渡り、今とうって変わって一年中快晴の場所。家賃は今以上に死ぬほど高いようです。色々とやりたいことの計画はあるものの。たぶんまた変なことをして、変なことがあって、変な一年になるんだと思います。

来年の今ごろはどんな仕事をしてるのか?何をしたいと思っているのか?

楽しみです。

生得的・後天的な機能とReservoir computing

一つ前の記事に続いて遺伝に関係する内容です。

人間の機能のうち何が遺伝子に組み込まれていて、何が学習により後天的に獲得されるものなのでしょうか。

単純な物体を認識機能だけでなく、人の気持ちを読むといった高度な機能、あるいは悲しくて涙したり嬉しくて笑ったりみたいな情動
機能。

こうした機能に満足している人もいれば困っている人もいて、これらが遺伝的に決定されるのか、あるいは後天的なものなのかは社会的にも非常に重要です。

www.nature.com
今年の8月にNature Communicationsに出たこのレビュー論文は、神経科学者の立場から深層学習研究についての意見を表明しているものです。進化を経て動物の脳に組み込まれている先天的な機能について触れた上で、ニューラルネットののアーキテクチャそれ自体を最適化していくような手法がもっと注目されるべきとしています。


Neural arcitecture search(NAS)とかの分野ではまさにそういうことをやっていると思うのですが、より上記論文と関連しそうな論文が直後にGoogle Brainから発表されています。
weightagnostic.github.io
Weight Agnostic Neural Networkという名前の手法で、その名の通り、ネットワーク内の重みを一切最適化せず、最初から特定の問題が解けるようなニューラルネットアーキテクチャを探索する手法。シンプルなフィードフォワードネットワークを前提としていて、何もないところから、結合を足したり活性化関数を足したりして徐々に構造を複雑化していきます。遺伝的アルゴリズムに従ってパフォーマンスが向上する方向へと変化させていくと、最終的にトレーニングなしで色んなタスクを解けるようになるといったもの。

学習を全くしないという点ではReservoir computingとコンセプトが似ているなと感じました。

よくあるReservoir computingでは、"ほぼ全部"のコネクションをトレーニングせずにランダムな初期値のままにしておいて、最終層だけ訓練します。学習を前提としているためモチベーションは微妙に異なるものの、ランダムなコネクションでも有益な情報量を獲得できる事実を活用している点では似ています。

最初のNature Communicationsの論文が言うことはもっともだと感じて、実際、研究者の偏見(Inductive bias)あるいは先人の知恵が積み重なった結果としてCNNやRNN、今だとResNetやNAS-netみたいなのが生まれてきました。いわば、研究者世代間でアーキテクチャの最適化がされてきたということでしょうか。

昔はアーキテクチャ自体の最適化の研究はコンピュータリソースの制約で難しかったかもしれませんが、今なら実問題でもそういうのが出来るようになってきたと思います。

上のWeight Agnostic Neural Networkみたいな手法の究極的な目標として、「現実の問題を解かせるようアーキテクチャを変化させていったら人間の脳みたいなアーキテクチャが出てきた」みたいな話もあると思います。そこに行き着くにはものすごい時間がかかりそうですが、「悲しくて泣くニューラルネット」が自然に発生してきたら驚くべきことかもしれません。まあ、むしろ人間の脳とは全然違ったものができる可能性の方が高そうですが。

いずれにせよ、「頑張ってアイデアをひねり出して、既存のニューラルネットのアーキテクチャを少し変えて色んな学習方法を組み合わせて問題を解く」みたいな研究よりも、こういうよりメタな部分に焦点をあてた研究が面白いなと思います。ちょうど、そういうことを言っている強化学習の大家Richard Suttonによる以下のようなエッセイもあります。
www.incompleteideas.net
思いっきり要約すると、「アーキテクチャや最適化の細かい改善よりも、それ自体を探索するようなものが長く生きるよね」というエッセイ。今年投稿された際にはネットが少し盛り上がりました。

なんだか大分トピックが広がってしまいましたが、、、こんな背景もあり遺伝に興味があります。