B4/M1で認知神経科学の研究室にこれから入る人のための教材?


note.com

タイトルの質問に答えることが難しい理由は二つありまして、第一に認知神経科学分野の研究が広大かつ多様なのと、事前知識の個人差が大きいことがあるかと思います。


第一の点について、当分野の研究には、サルやマウスの実験を積み重ねるものもあれば、ヒトの大規模データに機械学習を適用するようなものもあり、はたまた実験をせずに理論とシミュレーションだけのものもあります。第二の点について、東大で学部三年から計算論的神経科学の輪講をしていましたという人もいれば、自分のように文系社会人出身かつ修士入学時点でプログラミング経験がなく心理学/神経科学/機械学習/確率統計のどの知識もほぼゼロの人間もいるので、それぞれに勧めるべき本は全く異なります。


などといきなり言い訳から始まりますが、そう言っていても仕方がないので以下、上記のスペックだった自分が今修士に戻って似たような分野に取り組むならこういうのをやる、というのを列挙します。ですのでチョイスには偏りがあります。


ちなみに自分が修士に入学した2013年度当時はPRML、Theoretical Neuroscience、Sutton強化学習、の3冊をまず輪講でやりました。(今はなきNAIST松本研にも所属して大量の勉強会に参加していたこともあり)かなり苦労した記憶がありますが、それぞれ今でも悪くないチョイスだと思います。反省点としては、計算論に偏りすぎているので、もう少し認知科学(心理学)よりの知識を幅広く入れておけばよかったと思っています。言語や意思決定、視覚、聴覚、などなどサブ分野によって全く違う一方でシステムとしてはそれらが繋がって人間は動いているので、きちんと概観しておけばよかったです。

機械学習

パターン認識と機械学習 上
2021年になってもPRMLをお勧めしていきます。実際のところどうなんでしょうか。周りに聞いてみたらなんだかんだで今でもこれを使ってるところが多いようですが……。
わかりやすいパターン認識(第2版)
PRMLにいく前に何か挟むならこれがいいかと思います。
[第3版]Python機械学習プログラミング 達人データサイエンティストによる理論と実践 (impress top gear)
実はまだ読んだことがないのですが、機械学習応用系の研究室では導入に広く使われている本のようです。(首都大小町研がお勧めしているので間違いないと勝手に思ってます。)Pythonコードも付属しているのでColabなどを使って進めていくと良さそう。
Deep Learning
いわゆるGoodfellow本。PRMLだと深層学習の知識がカバーできないので。深層学習をかじるだけなら一つ上の本だけでも十分かも。
Reinforcement Learning, second edition: An Introduction (Adaptive Computation and Machine Learning series) (English Edition)
DQN, AlphaGo以来大流行の強化学習に興味があるならまずはこれでしょうか。

(認知)神経科学

Theoretical Neuroscience: Computational and Mathematical Modeling of Neural Systems (Computational Neuroscience Series)
2021年になってもTheoretical Neuroscienceをお勧めしていきます。国内でも海外でもまだこれを使ってるところは多いのでは。
脳を測る
ヒトの脳機能の非侵襲的測定のチュートリアル日本語論文。素晴らしく整理されています。
The Student's Guide to Cognitive Neuroscience
認知神経科学定番の教科書その1(サポートサイト: The Student's Guide to Cognitive Neuroscience)。
Cognitive Neuroscience: The Biology of the Mind
認知神経科学定番の教科書その2。
計算論的神経科学: 脳の運動制御・感覚処理機構の理論的理解へ
数式がヘビーですが、脳の計算論に興味があれば日本語で読める本としてお勧め。

機械学習(AI) + Neuroscience

humaninformationprocessing.com
認知神経科学をAIの側面から捉えて整理した大変意欲的な教科書。(認知)神経科学の教科書はどうしても事例集っぽくなり退屈なのですが、これは一本筋が通っていて面白いです。ただ、細かく丁寧な解説はないので、機械学習と神経科学の基礎を身に付けたあとじゃないと少し読むのが大変かもしれません。

統計

Statistical Thinking for the 21st Century | statsthinking21
全部Web上で公開されていて、Pythonコードも概ね付属。仮説検定からベイズ、再現性問題までカバーしているという意欲的な内容。著者自身が認知神経科学の再現性問題の大家です。
伝えるための心理統計: 効果量・信頼区間・検定力
最近のジャーナルだと効果量や信頼区間の報告はほぼ必須になっているのですが、日本語でその辺のトピックをカバーしてくれている貴重な本。

fMRIデータ解析

fMRI Bootcamp | The Center for Brains, Minds & Machines
fMRI Course - Summer 2019 — FMRIF
Principles of fMRI 1 | Coursera
海外のブートキャンプやらサマースクールやらCourseraやら。どれも自分はやってないのでどれがお勧めとか言えないのですが、とりあえずどれか一つやって、あとは研究室の実データで解析に慣れていくのがいいかも。
2021年大阪大学集中講義 – Yamashita Okito‘s Web Page
日本語での数少ない資料で質が高いです。誰かの解説なしだと少し辛いかも。

神経生理データ解析

github.com
https://www.funjournal.org/wp-content/uploads/2021/01/june-19-94.pdf
Allen Instituteが公開している神経生理データで実践的に神経生理データ解析を学べるようです。


以上ですが、総じてデータ解析の部分は手法もソフトウェアも日進月歩なので、まずは研究室の先輩に聞くのが一番かもしれません。身も蓋もないですが。

雑記(2021年3月)

放置していると更新する気力がどんどん減っていくので、ここ半年ぐらいに読んで/見て記憶に残ってるコンテンツを紹介します。

記憶に残ってる=感想が書ける、であって良かったかどうかはまた別の話。


自転しながら公転する
自転しながら公転する
山本文緒の本は食わず嫌いしてましたが、新海誠がTwitterでアカペラを絶賛していたのでまずアカペラを読んでみました。食わず嫌いを後悔。その後よんだプラナリアも良くて、ちょうどその頃に新作長編が出ていたので購入。大正解で、これが本屋大賞じゃないのなら何が取るのか気になるという感想。自分は推しが燃えるやつよりもこっちを推します。

東京でAIだとか脳だとかクリエイティブだとか言っている自分のような人間が向き合っていない、いまの時代の不安とそこからの解放が秀逸なプロットで書かれていました。もちろん現実のままならさははいつだって想像を突き抜けていきますが、確かにあると思わせる人物造形は引き込まれます。

正欲
正欲
先週出たばかりの本ですが、映画化と本屋大賞ノミネートぐらいはほぼ確定では。読了直後のバイアスがあることを踏まえても傑作。朝井リョウのお家芸は10代後半、20代のままならない感じの自意識や葛藤描写をメタメタしく描くことだったと思うのですが、一歩そこから抜けた感じがします。何者と同じように最後にドカンときて終わるのかと思いきや、そこから更に対立軸を出したり意外な展開があったりと飽きさせない。

上の山本文緒の本を読んだ後にこれを読んだので、"普通"に生きるのも大変だし、"普通"から外れても大変だし、生きてくのって大変だなという無難な感想が。・・・というような雑なわかった感こそ著者が批判するものであり、せめて苦悩するか目と耳を閉じていてくれ、ということなのかもしれませんが、それを忙しない中での読書体験から期待されても少し厳しい。でもこういう小波のようなものが重ならないと新しい流れは作れないのだろうなとも思うし、一方でその新しい流れは往々にしてこれまでと同程度に雑な乗り方はできないし、ということでやはり大変だなという感想。

楽園のカンヴァス (新潮文庫)
楽園のカンヴァス (新潮文庫)
翼をください 上 (角川文庫)
翼をください 上 (角川文庫)
初原田マハ。普通によかった。

4TEEN(新潮文庫)
4TEEN(新潮文庫)
初石田衣良。思っていたよりもずっとよかった。文章が綺麗。他の作品も読んでみたいと思いましたが、他はIWGPシリーズか恋愛系が多い模様。悩ましい。


ブルシット・ジョブ クソどうでもいい仕事の理論
ブルシット・ジョブ クソどうでもいい仕事の理論
話題になってたから図書館で借りたその1。

何がとは言いませんが懐かしすぎて遠い目になりました。こういう仕事あるよなあと。分析の妥当性はよくわからず。

LIFESPAN(ライフスパン)―老いなき世界
LIFESPAN(ライフスパン)―老いなき世界
話題になってたから図書館で借りたその2。

結局のところ現状エビデンスのあるものは、ストレスのない生活、適度な運動、食べ過ぎない、ぐらいという結論。安心したというか残念というか。紹介されてる多数の事例、具体的にはサウナも断食もNMAも各種サプリも薬も、どれも動物実験段階あるいは強いエビデンスなし。

時間は存在しない
時間は存在しない
話題になってたから図書館で借りたその3。

時間はなるほど出来事の系列なのか、というのがすごく腹落ち。

「時間は存在しない」という日本語タイトルには少し違和感というか、時間として知覚されているものは順序、様々な物が作用し合う系列であって、それらは全て相対的である。個人で見たときに順序はあって、それに時間という名前をつけている。すなわち絶対的な時間が存在しなくて、全ては順序である。そういうことだと理解しました。

ただ、原題はL'ordine del tempom、英訳するとThe Order of Time、つまり「時間の順序」が原題になります。まあこのタイトルだと売れないのかも。

芸術・無意識・脳―精神の深淵へ:世紀末ウィーンから現代まで
芸術・無意識・脳―精神の深淵へ:世紀末ウィーンから現代まで
芸術と神経科学の本は逆推論と過剰な一般化の嵐で読んでいて辛くなるものが多いのですが、これは純粋に芸術論として読める部分が面白い。それでも人間の研究に関する記述は読んでいて辛くなるところも。

BNA ビー・エヌ・エー Vol.1 (初回生産限定版) [Blu-ray]
BNA ビー・エヌ・エー Vol.1 (初回生産限定版) [Blu-ray]
日本のアニメ会社(というかTRIGGER)がズートピア作ったらこうなったというやつ。序盤から中盤にかけてすこし退屈。が、最終盤で味方も敵も巨大化して主題歌が2番まで流れる様式美に、小さいことはどうでもよくなった。

【Amazon.co.jp限定】映像研には手を出すな! COMPLETE BOX (初回生産限定版/2枚組) (映像研キャストトークCD付) [Blu-ray]
【Amazon.co.jp限定】映像研には手を出すな! COMPLETE BOX (初回生産限定版/2枚組) (映像研キャストトークCD付) [Blu-ray]
部活ものや(アニメ含む)芸術創作もの特有の辛気臭さがなく、創作の美味しいところが凝縮されていた印象。空気感がいい。OPは天才。

梨泰院(イテウォン)クラス dvd 韓国ドラマ パク・ソジュン/キム・ダミ 全16話を収録した9枚組
梨泰院(イテウォン)クラス dvd 韓国ドラマ パク・ソジュン/キム・ダミ 全16話を収録した9枚組
ペスジ ナムジュヒョク 主演 韓国ドラマ [ スタートアップ: 夢の扉 ] O.S.T サントラ 韓国盤
ペスジ ナムジュヒョク 主演 韓国ドラマ [ スタートアップ: 夢の扉 ] O.S.T サントラ 韓国盤
韓ドラ。前にブログ記事に書いてから他の韓ドラも色々と試してみましたが、結局この二つ以外は視聴が続かず。韓ドラの様式が自分にとって新しかったから面白かっただけなのか、この二つがコンテンツとして飛び抜けていたのか、あるいはその両方か。

葬送のフリーレン(1) (少年サンデーコミックス)
葬送のフリーレン(1) (少年サンデーコミックス)
ポスト魔王討伐日常ものは初めてで新鮮。昔ドラクエのこういうssが好きだったような気がする。けど物語の構造上これから山場はないし、今後もこの調子で続けられるのだろうか。記憶に残ってる漫画がこれと鬼滅しかない。

NeurIPS 2020ポスター雑感

https://papers.nips.cc/paper/2020
今年のNeurIPSは1900件もあるため全部見るのは不可能です。なのでページを高速でスクロールしながらタイトルだけ見て、気になったポスターの3分動画を観るというやり方で消化しました(一部は論文までチェック)。せっかくなのでメモした感想を公開しますが、しょうもない感想が大半です。以下、タイトル - 感想の順に。


What is being transferred in transfer learning?
TLがうまくいく時はparameter spaceのl2-normが似てるらしい。あとはhigher-layerに比べてlower-layerが貢献する。ドメイン依存の気もするが。basinの話はよくわからず。

Towards Playing Full MOBA Games with Deep Reinforcement Learning
今はMOBAでAIがプロプレイヤーに90%以上勝てるらしい。論文の内容自体は17hero対応の先行研究を40heroまでいけるように拡張したって話。モンテカルロツリーサーチの工夫が重要っぽいけどよくわからなかった。

Tree! I am no Tree! I am a low dimensional Hyperbolic Embedding
タイトルでクリックした。行列からツリー構造予測するためにHyerbolic embedding。そもそもこんな問題が存在したという驚き。

Unreasonable Effectiveness of Greedy Algorithms in Multi-Armed Bandit with Many Arms
発見自体はタイトルの通り。証明したのが一番の貢献っぽい。

Statistical control for spatio-temporal MEG/EEG source imaging with desparsified mutli-task Lasso
発表動画は背景を説明するイントロがほとんどだったためメソッド以降が全然わからなかった。desparsified Lassoなるものを初めて知った。

Rethinking pooling in graph neural networks
GNNで使われてるlocal poolingは精度に特に貢献してないとのこと。少し意外。なぜならClusteringしてpooling、グラフによっては直感的には効果ありそうに思うのだが。

Learning abstract structure for drawing by efficient motor program induction
TenenbaumのScience論文みたいなタスクを実際に人間にやらせてみた(+CNNでも検証)という論文。運動効率、抽象化、構造化が大事らしい。そうだろうなという感想。

Domain Generalization for Medical Imaging Classification with Linear-Dependency Regularization
MRIイメージのDomain adaptation。Domain adaptationとDomain alignmentを組み合わせる。Domain alignmentはoriginal spaceではなくDNNの特長抽出後の潜在空間上で。ありそうな手法にも見えるけどなかった模様。

Audeo: Audio Generation for a Silent Performance Video
タイトルまんま。ピアノ弾いてる動画から音声を生成。意外と難しい問題らしいし、こういう発想好きだけど、そもそもどういうシチュエーションでこれ使うんだろうか???ピアノ弾いてる動画だけあって音声がないシチュエーションとは。

Inferring learning rules from animal decision-making
男女が交互に喋る謎のプレゼンスタイル。何やってるのかはよくわからなかった。

How hard is to distinguish graphs with graph neural networks?
問題自体には興味あるけど、理論解析のペーパーのようで、動画だけだと全くわからず。

Do Adversarially Robust ImageNet Models Transfer Better?
答えはYes。Adversarial robustnessはsourceでのaccuracyを下げることがあるのでこういう疑問が生まれた模様。でもなんでだろう。

Closing the Dequantization Gap: PixelCNN as a Single-Layer Flow
PixelCNNとかPixelCNN++は1層のautoregressive flowと考えることができる。なので潜在特徴量もみれるし、そこでのinterpolationもできる、と示した。具体的にどうinterpolationをやるのかイメージつかず。

Language as a Cognitive Tool to Imagine Goals in Curiosity Driven Exploration
抽象的すぎて全然中身はわからなかった。プレゼンに猫バスが出てきた。

Rethinking Pre-training and Self-training
trainingしたdnnでunlabeledデータにラベルを付与して更にtrainingするSelf-trainingが強力ってことを言いたいのだと思うけど、何が新しいのかよくわからず。

Learning About Objects by Learning to Interact with Them
そもそもタスクがよくわからなかった

Adaptive Reduced Rank Regression
超高次元のRRRは遅いのでその時のためのRRRを提案。こういう実験、論文中でも本当に超高次元のデータで検証してる時ってあまりない気がする(これもそうだった)

How Can I Explain This to You? An Empirical Study of Deep Neural Network Explanation Methods
モデルの識別結果を説明するための手法でどれが一番いいか検証。explanation by example(training setの中で似てるやつを提示?)がtext-domain以外では一番良くて、textだとLIMEがベスト。

Reverse-engineering recurrent neural network solutions to a hierarchical inference task for mice
RNNにdecision makingさせてそのdynamicsを理解する試み。Perceptual decision makingっぽいのをさせて、State-space analysesしてる。Distillationとか出てきてよくわからなくなった。。。

Decision-Making with Auto-Encoding Variational Bayes
VAEでDecision-makingするってのがどういうことかよくわからなかった

Learning Physical Constraints
物理法則をグラフじゃなくてconstraintsで学ぶ。全然わからなかった。

Learning Physical Graph Representations from Visual Scenes
問題設定がよくわからなかった。 

Meta-learning from Tasks with Heterogeneous
異なるattributeのタスク間でmeta-learning。実際に必要となるシチュエーションがあまりイメージつかず

Predicting Training Time Without Training
タイトルだけ見てどうやるのか??と思ったらfine-tuneが前提だった。それなら確かにできそう。手法としてはlinearizeしたモデルでloss land-scapeを近似するということで真っ当な感じ。

Improving Natural Language Processing Tasks with Human Gaze-Guided Neural Attention
人間の視線データをattentionとして使う、というのがメインアイデアだけどそれだとデータが少ないから認知モデルを参考に視線データを予測するモデルを作った。認知モデルの作り方に随分自由度ありそうで少し怪しい感じもする。

Uncovering the Topology of Time-Varying fMRI Data using Cubical Persistence
最近よく見るPersistent homology。相変わらず聞いてもよくわからない。

Preference learning along multiple criteria: A game-theoretic perspective
複数の選択肢があってそれぞれのpairwiseの優劣情報がある時、優劣の観点が一つだったらベストの選択肢はシンプルだが、複数の観点がある場合について議論したペーパー。凸最適化により求まるらしい。

Towards Learning Convolutions from Scratch
タイトルとモチベーションはわかるが何やってるかちょっとよくわからなかった。

Multi-label Contrastive Predictive Coding
Contrastive predictive codingはネガティブサンプルの数を増やすと良いことが知られているがそれは計算量増大を招く。計算量増大させずに同様の効果をする方法を提案。シンプルでわかりやすい。oralも納得。

Understanding spiking networks through
SNNの最適化は凸最適化として理解できる、という話だがそこからのインプリケーションがいまいち理解できず。

Is Long Horizon RL More Difficult Than Short Horizon RL
答えはNot much harderらしい。プレゼン聞いてもよくわからなかった。

Causal Discovery in Physical Systems
イメージからキーポイントを教師なしで複数見つけてそれらの関係を推測する。こういう物理学習系の中でもこれはわりと問題がわかりやすかった。ただ、Causalというイメージとはちょっと違った。

Color Visual Illusions
錯視の研究。Flow-basedモデルから与えられたpatchの尤度を計算するモデルを作った。それを使って錯視が起こりそうか説明したり、錯視を生成したりする。面白い。心理実験とかでも使えそう。

Listening to Sounds of Silence for Speech Denoising
Silentの部分をdetectする部分を明示的に入れることでdenoiseの精度をあげたらしい。incrementな気もするけど発想勝ちって感じだろうか。

Self-supervised learning through the eyes of a child
子供の頭につけたカメラ画像を使ってself-supervised learning。一番面白いのは多分データセットで、2.5年間レコードし続けたデータを使ったらしい。自分だったらどう感じるだろう。

Biological credit assignment through dynamic inversion of feedforward networks
生物学的に可能そうなBackpropのやり方。Machensラボは今年3、4本通しててすごいんだけどどのプレゼンも聞いていてよくわからないという現象が生じている。そしてこれもよくわからない。

Can Graph Neural Networks Count Substructures?
最後まで聞いてもSubstrucutureをカウントする意義がわからなかった。

Neural Topographic Factor Analysis for fMRI Data
fMRIデータをDNNでDeomposeする系。どうしてもneuroimaging+DNNはoverfittingしていそうな気がしてしまう。

Training Generative Adversarial Networks with Limited Data
GANではtraining dataのaugmentationはdata leakageを起こす問題がある。そこでGenerated imageもaugmentすることでGANでのdata augmentationを可能にする。シンプルでわかりやすい。プレゼンもわかりやすい。納得のoral。

Your GAN is Secretly an Energy-based Model and You Should Use Discriminator Driven Latent Sampling
自動音声でプレゼンしてる?タイトル面白そうなのに全然よくわからなかった。

Efficient estimation of neural tuning during naturalistic behavior
controlされてない実験でtuning curveどうやって推定するかという問題。やり方は直感的で多次元かつ連続値の入力とspikeデータを最適化によって解く。

When Do Neural Networks Outperform Kernel Methods?
どういう時か説明してはいたものの、具体的なイメージがわかなかった。

See, Hear, Explore: Curiosity via Audio-Visual Association
Curiosity rewardについて、imageとaudioのco-occurenceを予測するという問題を解かせるのは良い補助タスクになるとのこと。incrementな気がするけどどこまで効果的なんだろう。

DeepSVG: A Hierarchical Generative Network for Vector Graphics Animation
タイトルが全てだけど、プレゼンのわかりやすさが最高だった。アプリケーションとしても面白い。お絵かきとかに使えそう。データセットも自分たちで作って提供してる。

Decisions, Counterfactual Explanations and Strategic Behavior
交渉ごとにおいて反実仮想説明ができる機械学習は重要なアプリケーションだが、その反実仮想をもとに受けたが側が行動を帰ると物事が複雑になる。全体の最適化はNP-hardなのでiterativeに最適化する枠組みを提案。説明すごくわかりやすかったし、こんな問題があったんだと思った。

What if Neural Networks had SVDs?
Jupyterを使った斬新すぎるプレゼンスタイルに目がとられて内容が全く頭に入ってこなかった。各レイヤーにSVDをするための早い方法を提案したみたいだけど、どういう時に各レイヤーにSVDしたくなるんだろう。と思って元論文を読んでみると、normalizing flowとかではd x dの重み行列の逆行列を計算する必要があるらしい。それを提案手法のSVDを使うとO(N^3)からだいぶ下げれるとか。

Experimental design for MRI by greedy policy search
タイトルからイメージする内容と全く違った。そして何を目的としているのか全くわからず。

Unifying Activation- and Timing-based Learning Rules for Spiking Neural Networks
Spiking Neural Netoworkの知識足りなさすぎてActivation-basedとtiming-basedでGradientの伝播を具体的にどうやってるのかよくわからず。

Autoencoders that don't overfit towards the Identity
AEのtrivialな解放としてIdentity functionになることがある。denoised AE(dAE)やボトルネックの次元を下げることが提案されてきたが、それでもなお問題がある。なのでDropout featureのやり方を工夫するEmphasized dAEなるものがあるらしい。これの理論解析をしたのが貢献。EDAE知らなかったけどどこまで有益なんだろ。Identityに収束することについての説明はすごくわかりやすかった。

Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory
oralだし面白そうだけど、全然わからなかった。後ろが滅茶苦茶散らかってて気になった。

Reinforcement Learning with Augmented Data
Pixel-basedのRLが時間滅茶苦茶かかる問題とgeneralizationに弱い問題。Data augmentation手法を導入。rotateしたり色を変えたりするらしい。回転させた画面でゲームさせたりしてた。むしろこれまでやられてなかったのかという感想。

Why Normalizing Flows Fail to Detect Out-of-Distribution Data
Normalizing Flowは尤度をexactに計算できるのでAnomaly detectionに使えると思いきや、意外とそうでもないことが知られてるらしい。自分は知らなかった。それがなぜ生じるか示したらしいが、肝心の理由がよくわからなかった。

Meta-Learning through Hebbian Plasticity in Random Networks
問題設定がわかりそうで全然わからなかった。

High-contrast “gaudy” images improve the training of deep neural network models of visual cortex
Contrastをあげるようにimageをpreprocessingしてやる(gaudyイメージと呼んでいる)と脳のレスポンスをDNNから予測するDNNがtrainしやすくなる。Contrastをあげたイメージを使うとVGG19のresponse群のPC1,PC2の次元におけるvarianceが大きくなる。これは予測してた結果なのだろうか。エッジが強調されるからそうなるってこと??

De-Anonymizing Text by Fingerprinting Language Generation
テキスト予測変換の際にNucleus samplingを使うけど、その時のthreshold系列の長さ(NS-series)がoriginalの文章を一意に予測できる現象を発見。これが何が問題かというと、side-channelでNS-seriesの情報を取られる可能性があって、そこからオリジナルの入力文書を復元できる。side-channelに詳しくないからNS-seriesの情報を取られるってのがどれだけありうるかわからないけど、こんな問題があるのかと思ってかなり興味深い。

仮説があるとゴリラは見えない

以下の動画はわりと有名なので、多くの人が知っていると思います。以下、ネタバレを含むので、初見の人はまずは動画を観てから読み進めてもらえればと思います。

selective attention test


上の動画は、パスの回数を数えていると、堂々と横切るゴリラに気がつけないという、人間の「選択的注意能力」に関係した現象を示したものです。


さて、以下の記事でこの動画に関連した面白い実験が紹介されていました。

genomebiology.biomedcentral.com

この実験ではまず、学生を2グループに分けて、両グループに同じデータを渡します。このデータには1800人弱の男女のBMI値と、各人のある日の歩数という二つの数値が入っています。ここで重要なのが、片方のグループには検証すべき仮説を3つ与えた上で(例:歩数には男女に差がある、BMIと歩数には相関がある)、「その他なにか結論づけられることがあれば報告するように」という課題を与えます。一方で、そしてもう片方のグループには「データセットからどんな結論を出すか」とだけ尋ね、何も検証すべき仮説は与えませんでした。


さて、本題はここからです。実はこのデータ、二次元平面(BMIを縦軸、歩数を横軸)に描画するとゴリラの絵が浮かび上がってくる架空のデータです。この課題の真の目的は、上記2グループのうち、どちらのグループがより多くゴリラに気づいたか?ということなのです。


結果としては、仮説を与えられたグループよりも与えられなかったグループの方が、データに潜むゴリラの存在に気づくという結果になりました。上の記事ではこの実験結果を枕として、(一般に良しとされる)仮説駆動的な研究だけでなく、探索的な研究も新発見には重要であると論じています。






唐突に別の分野の話になりますが、機械学習には「仮説空間」という概念があります。


機械学習では、何か(例えば画像)と何か(例えばカテゴリラベル)の間にある関係性を探ろうとすることがあります。画像とカテゴリラベルの場合、真の関係性をきちんと捉えられれば高性能な画像認識をできて、ダメな場合は使えない画像認識モデルが出来上がります。ただ「真の」関係性は当然我々にはわかりませんし、その真の関係性をどうやったら見つけられるかもわかりません。なので、「おそらくこの基準で評価して性能を向上させていけば、真の関係性に近づくことができるだろう」という基準を考えます。その基準を目的関数とか呼美、この目的関数の数値を最適化することを学習といいます。


ただここで問題なのが、現実にデータは無限に存在しないこと。むしろ、少数しか存在しないことが大半です。そういう場合に何も考えずに広大な可能性から探索をする、例えばディープラーニングなんかを適用することがそれにあたるのですが、そうすると手持ちのデータに対して過剰に適応した極端な画像認識モデルになってしまいます。そこで登場するのが「正則化」という技術で、これは探索する空間をあらかじめ狭めておいてやることで、あまり手持ちのデータに偏りすぎないように外から制約を加えてあげることを意味します。ここで出てきた「探索する空間」のことを、「仮説空間」と呼び、その空間の中で探索された一つ一つの結果を「仮説」と呼びます。つまり学習とは、真の関係性に対する仮説を見つける作業なわけですね。そして、正則化はその探索空間をある程度狭めてやることに対応します。もちろんその狭め方にはいろいろなやり方があり、どう狭めるかはまさに事前の仮説に寄るところになります。


最初に出したゴリラの実験の話では、片方のグループにいくつかの検証すべき仮説を与えてあげました。この行為はもしかすると、正則化に相当しているのかもしれません。つまり、ゴリラが探索すべき仮説空間の外にいたのです。





ここでまた全然別の話題になります。


自分の人生における仮説空間は何なのだろうか、ということについて考えてみたいと思います。唐突に電波が漂ってきましたが、それでも、何かしらある分野で確立された枠組みを日常的な話題に適応してみるのはそう悪いことでもないでしょう。


仮説空間を考える前に問題となるのは、自分はどんな問題を解いているか。我々人間が調整できるのは究極的には自分の身体だけなので、ようするに「日々何をして過ごすか」を最適化する問題を解いていると考えられます。けれども、そもそもどんな関数を近似したいのかよくわからない。目的関数もよくわからない。正則化もよくわからない。ぜんぜんわからない。自分は雰囲気で人生をやっている。


…ということはなく、まあ何かしら目指して生きているわけです。そうでないと発散して狂人になるしかないですし。ここでいう何かしらとは、会社での出世だったり、競技での活躍であったり、金持ちだったり、「幸せな人生」だったり。そこにはまた何かしらの模範となるような人物像があることも多く、どうやったらそこに近づけるかが重要になるわけです。


抽象的に考えてもらちがあかないので、具体的なイベントで考えてみることにします。たとえば結婚や出産。これは正則化でしょうか。確かに、これらのイベントには人生を発散しにくくさせる効果がある気がします。でも、それ自体が目的関数に入っていて、達成したら報酬だと考える人がいてもいいわけですよね。





なんの正則化もかけないまま記事を書いているせいで、話題が発散してきました。



自分はエンタメが好きで、面白い物語に興味があります。そこからまわりまわって、人生がどうやったらいい物語になるのか、ということにも興味があります。では、いい物語とは何か。いい物語には主軸があります。無限の仮設空間をただ漂う名作はありません。


一方で、現実の人生の仮説空間は無限です。どうやったらその主軸が手に入るのか?


ここはいっそ思いっきり海の底まで潜って、息をひそめるのがいいのかもしれません。探索すべき次元を落として落として、一つの軸に集中する。

ここで、これまで人生の意味への問いについて述べてきたことの全体から結論を得ようとするとき、われわれは、この問いそのものの根本的な批判に到達する。それは、人生そのものの意味への問いは無意味である、ということである。なぜなら、もしその問いが漠然と人生「というもの一般」を指し、具体的な「各々の私の」実存を指していないならば、誤って立てられているからである。


フランクル「人間とは何か」

いや、そもそも人生には大なり小なりの制約が元々あるわけで、それに対して虚無感でも喪失感でもない何かを持って生きていけているのであれば、それはもう主軸となるものが見つかっているのかもしれない。つまり、人生はとっくに物語になっている。


ふつうの日常のなかに時折見つかる特別な感情は、実はその主軸の上に乗っかっていたのかもしれない。

われわれが、世界体験の本質的構造に立ちもどり、それを深く熟考しようとするならば、人生の意味への問いにある種のコペルニクス的転回を与えなければならない。すなわち、人生それ自身が人間に問いを立てているのである。人間が問うのではなく、むしろ人間は人生から問われているものであり、人生に答えねばならず、人生に責任を持たねばならないものなのである。


フランクル「人間とは何か」

ただどうも自分には、そう受け入れることに抵抗感があります。


それはうまく言語化できないけれど、なぜだか抵抗したい。


なんといっても、仮説があるとゴリラが見えない。

韓国ドラマはながら見できない

昔から暇があればエンタメ作品に触れていて、暇がなくてもながら見・聴でエンタメ作品に触れているのですが、その時々で自分の中で流行があります。それは世の中と一致することもあれば一致しないこともあるのですが、今回は大きく一致しており完全に韓流ブームが到来中。これまでの人生で恐らく2回ほど日本社会での韓国ブームを経験してきたと思うのですが、今回(3回目)初めて引っかかりました。


きっかけは帰国便の中で何気なく視聴した「パラサイト」の出来があまりにもよかったことです。とにかく脚本やテーマ設定が素晴らしく、その後にいつもネトフリでランキング上位にきていて気になっていた「梨泰院クラス」を視聴したのが沼のきっかけかもしれません。これがまたしてもめちゃくちゃ面白く、1話あたり1時間30分近くあって長いのですが、ほぼ一気見してしまいました。



どうしてこんなに面白いと思えるのかわからないまま、現在継続して配信中の「スタートアップ」へと移行したら、これが完全に自分の分野(情報科学やAI)とテーマが被っていて一瞬で最新話まで観終わってしまいました。似たやつだとアメリカの「シリコンバレー」は割と好きだったのですがそれの数倍テンポが良くて面白い。並行して、(多分日本では一番有名な?)「愛の不時着」も観ているのですが、こちらもまあまあ面白いけれど、個人的には梨泰院クラスとスタートアップには劣る感じ。


面白いと思える理由をあげてみると、コメディとシリアスがすごくバランスよく配置されていること、日本との文化的な共通点が多いこと、日本のコテコテなドラマほど保守的でなく欧米のイケイケなドラマほど進歩的すぎず自分の価値観的にはいいバランスなこと、そして外見が似ていて感情移入しやすいこと、、、などなどあげだすとキリがないのですが、やっぱり一番は脚本とセリフが良いのだと思います。キャラ配置のバランスも良くて会話中の対立もしっかりしている。



韓国ものに関しては前からMay J LeeやBTSのダンス動画を暇つぶしに見ていてそのクオリティの高さに毎回驚いていたのですが、ドラマのクオリティもここまで高いとは思っていませんでした。とはいえ、いくつも観ていると結構似たようなパターンがよく出てくることにも気づきます。それはキャラ設定・配置(財閥令嬢多すぎ問題)であり、脚本(都合のいい出会い多すぎ問題)でもあるのですが、自分にとって斬新だったそれらも何回か観ていると斬新ではなくなってくるものです。まあ要するに早くも飽き始めているのですが、それでも観てみてよかったなと思いました。一つだけ問題があったとすると、音声が韓国語なのでながら見がまったくできないこと。しかもストーリーの展開が激しくて密度が濃いので、集中して見ていないとわりとすぐに置いていかれます。結果的に、それ以外の娯楽(仕事も?)使っている時間は確実に減った気がします。

(NeurIPS 2020 Spotlight)demixed Shared Component Analysis:異なる二つの多変量データ間の、ある変数特異的なインタラクションの探索

※宣伝です。

機械学習分野で世界で最も権威のあるNeurIPS 2020に第一著者(&単独責任著者)として投稿していた論文が採択されました。Spotlight(全論文の5%)にも選出され、ありがたい限りです。

arxiv.org

このプロジェクトは共著者たちとボトムアップ的に始まったのですが、計画段階から執筆・投稿まで、共著者とのやりとりは常に楽しく刺激的だった記憶があります。機械学習の論文なので当初からNeurIPSを最大目標としていましたが、ここまで上手くいくとは正直(多分共著者も)思ってませんでした。もちろんその裏には大量の没プロジェクトがありますが、今となってはいい思い出的な感じがあります。

内容を簡単に書くと、複数の変数の情報が複雑に表現されている複数のデータセットがある時に、ある変数特異的・多変量・低次元のインタラクションを探るための手法を提案しました。論文内で適用しているのは神経生理のデータですが、脳イメージングや、他分野のデータにも適用できる普遍的な手法だと思います。




……これだけ書いても抽象的すぎて意味不明なのですが、丁寧に書くと結局論文に書いてることの繰り返しになるので、ご興味のあるかたはぜひarxivや、12月に出る正式版の論文を見ていただけると嬉しいです。解析用コードとデモも合わせてリリースする予定です。また、オンラインでならいくらでもプレゼンテーションをしますので、ご連絡いただければと思います。

というのも、この論文をarxivにアップロードした一週間後にイギリスとアメリカの研究室から連絡があり、オンライントークをしました。研究の世界だとすごい人はそういう経験もよくあるのですが、大してすごくない自分にとってはかなり(かなり)胃痛が悪化する体験でした。ただ、そのおかげで(?)わりと丁寧に資料やスクリプトができたので、(日本語でなら特に)気軽にオンラインでプレゼンさせて頂けると思います。




以下余談ですが、今年、人生最大級に力を入れた案件に挑戦していたのですが、(自分としては)予想外にいいところまでいったものの、最終的には残念な結果となってしまいました。なので、とりあえずこちらの案件が目標に届きホッとしています。

半沢直樹エントリの次がこの宣伝エントリという、相変わらずコンセプトが迷走しているブログですが、引き続き気ままに更新したいと思います。

半沢直樹的研究者

8月頭の梅雨明けから今週まで、数年ぶりに経験する東京の真夏に完全にやられておりました。なので、仕事もほどほどに引きこもってドラマやアニメを観たり本を読んだりとのんびり過ごしていました。


今期のドラマでは半沢直樹とMIU404が順当に面白いです。MIU404の方は野木亜紀子脚本で、かつキャスト(星野源と綾野剛のバディ)といいテーマ設定(刑事)といい、失敗する余地があまりないドラマです。実際、その期待を裏切らないソツのない完成度で面白かったです。ただもっと面白いのは半沢直樹で、「スーツ歌舞伎」とネタにされていることに完全に悪ノリしていて、もはやコント。脚本も予定調和だらけでずっと似たような展開が続くのですが、なぜか観てしまいます。



ところで半沢直樹を観ていると誰しも感じるのが、なぜこの人たちはこんな超絶ブラック企業をさっさと辞めないのか、ということ。なぜここまで一つの会社に固執するのか。世の中にもっと働きやすい組織はいくらでもあるのに。全身全霊をかけて会社にコミットする様子は、いかにも旧来の日本型サラリーマン的特性のように感じます。ベンチャーや研究者、その他専門職につく人達とは少し違う特性のような。



ただ、個人的にはそれは違うと思います。

自分はまさにこの半沢直樹に出てくるような超旧来型銀行に数年間勤めて、今は研究者をやりつつ、広告やWeb企業やAIベンチャーと仕事をしています。有象無象がいるITベンチャー企業で仕事をしたこともありますし、大学病院にも勤めました。そこで色んな人を見てきた経験的からは、半沢直樹的な特性を持つ人たちはどこにでもいて、それは組織と関係ないということ。

本当に重要なのは、「レールから外れてきたかどうか」。これはその人の特性を決めるかなり主要な要素だと考えています。こういう単純化自体が、そもそも半沢直樹的行為かもしれません。それでも、個人の優秀さとは独立に存在する重要な要素に思います。

また別の言い方をすると、常に興味のある機会を見つけては飛び込んで、を繰り返してきた人かどうか。「外れてきた」「繰り返してきた」というのがポイントです。そしてその対極にいるのが、常にレールの先をまっすぐ見つめて突き進む人。大企業社員もベンチャー社員も研究者も専門職も、レールを突き進む人は皆少なからず、半沢直樹的な直線的思考様式を兼ね備えているように見えます。




僕のポジションでこう書くと、いかにもアウトロー気取りが自分と対極にいる人間を槍玉に溜飲を下げることを目的とした、よくある文章に見えます。が、自分の意図はそこにありません。

いきなり話が飛びますが、前にも書いたように自分は将棋の棋士のストーリーが好きで、藤井聡太二冠も好きです。そして自分が好きな将棋棋士像の典型は、まさにレールを突き進んでいる人です。

なぜいきなり藤井聡太の話になったのか。

それは、レールから外れる人間がいるためには、藤井聡太が必要だからです。藤井聡太がいるからレールが照らされ、彼に挑み破れていく人間達のストーリーに彩が出てくる。つまり、光で照らされた道を突き進む人間がいるからこそ、その周囲の存在が輝くと思うのです。




また話が飛んで、NAISTの話になります。

今はもう亡きNAIST松本研には、レールから外れて飛び込んできた人が沢山いました。大学を中退してきた人、全然関係ない企業を辞めて飛び込んできた人、その他謎の経歴の人。そういう人たちがまとっている空気感、そういう人たちが集まって構成される空気感が、自分は好きでした。

もちろん癖が強い人が多いですし、人間として好きなのと仲良くなれるかどうかは全く別で、むしろ反発し合っていることの方が多かったように思います。また、NAIST入学時にはヘンテコな経歴でも、その後は落ち着いている人もたくさんいます。けれども確かに、あの時のあの空間は、表社会の脱線先として機能していていたように思います。そしてそれは表社会があるからこそ成立していました。



もちろんレールから外れることには多くの影もあります。脱線した先が落とし穴だったり、飛び込んだ先が炎上していたり。アウトローの人生にはそうした悲喜こもごもがあるのです。

そしてこのエントリ自体が認知的不協和の産物であり、生存バイアスであり、ある種の型にはまったアウトローしか見ていない、そういう類のものです。

それでも自分は、舗装された道を進めずに、その周辺の荒地を転がり駆け回る人間の物語に興味を持ちます。

次々とレールを変え七転八倒する、その悲喜こもごもに惹かれます。

いつも、あの空気に満ちている場所を探している気がします。

そこに、人生を感じます。




部屋で麦茶を片手に、モニターの中で変顔を繰り出す熱い男達を観ていて、そんなことを考えました。