毎日の研究情報収集はどうやってすればいいのか

いまだにどうすれば良いのかよくわからず、他の人がどうしているのかはいつも気になります。

どうしようもない出だしから始まりましたが、ちょうど尋ねられたので、日頃どんなふうにやっているか自分のやり方をまとめようかと思いました。広く網を張ってウォッチしつつ、気になったものは重要度に応じて深く読んでいく、という(多分標準的な)やり方をしているのでその順に書いてみます。

人・分野によってやり方や分量は違うと思いますが、少なくとも認知神経科学やシステム神経科学分野だったら以下の範囲の情報は周囲の人から入ってくることはよくありますので、そんなに外れてもないのかなと思いたいですが、どうかな…。

ウォッチのやり方

基本的にはFeedlyに論文誌とプレプリントサーバのRSSを登録して眺めています。自分の場合は以下を登録してました。順不同です。


一般系

  • Nature, Science, Cell, PNAS, Nature Communications, Science Advances

生命・神経・認知科学系

  • bioRxiv (Neuroscience), eLife, Plos biology, Current Biology, Cell Reports, Nature Neuroscience, Neuron, Nature Human Behavior, Nature Reviews Neuroscience, Plos computational biology, NeuroImage, Journal of Neuroscience, iScience, Cerebral Cortex, Trends in Cognitive Sciences, Trends in Neurosciences

メソッド系

  • arXiv (q-bio NC, cs.AI, stat.ML, cs.HC), Nature Biotechnology, Nature Methods, Journal of Artificial Intelligence Research, JMLR, Neural Networks, Neural Computation

医学系

  • NEJM, JAMA, Molecular Psychiatry, Biological Psychiatry

以下の学会には自分の研究と関連する研究が毎年出ているので、発表論文リストで自分の研究と関連するキーワードを検索します。特に機械学習寄りの研究に関しては論文誌よりも学会の方が重要な研究が多いです。

  • NeurIPS, ICML, ICLR, ACL, CCN

他にも、その時々で自分の論文に関係するキーワードをPubmedでRSS生成をして、それを登録しています。本当はScientific Reports, Plos one, Frontiers, eneuroあたりも一般紙/神経科学で入れたいのですが、関係しない論文数が多くて追いきれないためそちらはPubmedのRSSで引っかかることを期待してます。また、企業のリサーチblog(googleとかfacebookとか)や研究についてよく紹介してる個人blog(つまり自分のblogは対象外)も登録しています。上で拾いきれない(行動)経済学関係や、数物理論の海外有名研究者のブログが多めですが、理解できないことも多いです。例として、自分はとりあえずテレンスタオのブログを購読していますが、毎回ほぼ何もわからないためなんとなく賢い気分になった後にそっと閉じています。これは全部で数十個ぐらい。

RSS以外だと、論文についてよく呟くTwitterアカウントリストをジャンルごとに(Neuroscience, Machine Learning, Psychologyなど)作ってそれをHootsuite上で眺めています。最近はTwitter上でTweet stormなる自己論文紹介をするのが定番の流れになっているので、そういうTweetを特に見ています。暇な時に眺めようとつとめていますが、暇じゃない時の方が眺める時間が多いのが厳しいところです。これは50アカウントぐらいで、全て海外の研究者アカウントです。それと、心理学系の論文は加えるべきだと思いつつも加えられておりません。

読み方

たいした工夫はなくて、以下のような感じです。

  • 上で張った網に引っかかったタイトルだけをざっと読んでいく
  • 興味があるタイトルがあったらちらっと要約や冒頭を読む
  • ピンときたら実際に論文や記事に飛んで図を眺める
  • さらにピンときたらイントロダクションやディスカッションの冒頭、リザルトを少し眺める
  • 場合によってはこの段階でこれまで所属した研究室のslackの論文紹介チャンネルに投げてみる
  • きちんと読まなくちゃいけない感じだったらその場で、または後で読むリストに入れる(このまま読まれずに放置されること多数)
    • -

以上ですが、論文やグラントを書くとき、あるいは査読するときの情報収集はまた別になります。その場合はGoogle scholarとPubmedで検索したり、そこで出てきた論文の引用先/引用元を可能な限り辿っていきます。上では日常のルーチン的な情報収集を書いてみました。

ただ最後にひっくり返すようなことを書きますが、そもそもここに書いたような毎日の情報収集にどれだけ意味があるのか怪しい気がします。というか、何の目的でやっているのか改めて問われると即答できません。良いアウトプットのためには多様なインプットが重要だと正当化したい気はします。でも研究者としての仕事を進める上では、研究計画を立てるときや論文・グラントを書くとき/査読するときに、範囲を絞った情報収集を集中的かつ効率よくする力が重要だと思われます。

でも、ふと見つけて面白いと思った論文を身内のslackに張ったり、現実世界でワイワイ話をしている時は、日々の生活の中でもなかなかに面白い瞬間な気がします。単に日々の生活が暗すぎるだけという可能性は否定できませんが、論文やグラントを書いてる時に調べる作業は、自分の場合どうしても恐る恐るになってしまって素直に研究成果を楽しめないことも多いです。自分の理解が誤ってないか、実はすでにやられてたりしないか、、、などなど緊張してしまうのが原因?というわけで結論としては、上にあげたことはほぼ趣味というか息抜きに近いのかも。ここまで書いておいてひどい結論ですが。

長尾真先生と指導者と空気感

www.kyoto-np.co.jp

長尾真先生とは一度だけお会いしたことがあって、たしか5年前、自分がまだNAISTでD2をしていた時でした。お会いしたのは長尾先生が所長をしていた高等研で開かれた勉強会。2016年当時、なにやら流行っているDeeplearningなるものについて理解を深めるために長尾先生が休日に主宰していた勉強会で、松本研の博士課程の先輩が輪番で発表者をしていました。自分は松本先生の車に乗せてもらって高等研-NAIST間を往復した覚えがあります(先生が足になるって凄いな)。その当時の長尾先生は79歳ですかね。79歳になって、京大総長と国会図書館長を勤めた後に、なにやら流行っている技術を勉強するために、休日に、近所に住む博士課程の学生と勉強会をする。凄まじい。

似たような凄まじさを覚えたのが、その弟子の松本先生。自分が修士1年の時、当時のNLPではDeeplearningはまだ夜明け前でした。講義室でなんで凄いのかよくわからないままDeeplearningの講義を受けていると、前に見慣れた大きい背中を見つけて、それが松本先生でした。普通に学生に混じって一番前の席に座ってて、修士になりたての自分は「なるほど、教授になって沢山業績があっても、興味がある内容であれば修士の学生に混じって講義を受けるものなのか」と素直に思いました。もちろんその後にそんなことをしているシニアな研究者は見たことがないです。

そんな松本研では毎年凄まじい数の自主勉強会が行われていました。有名なOBを多数輩出していることでも知られています。もちろん、長尾先生が松本先生に何かしらの影響を与えたのか、松本先生が松本研にいる人間に影響を与えたのか、あるいはたまたま似た人間が集まったのかはわかりませんが。

また別の話ですが、PFNでインターンした時にも、隣の席に座っている岡野原さんが論文を読みまくっていたのをよく覚えています。そもそも経営が猛烈に忙しいはずなのに。機械学習の論文だけでなくなぜか神経科学の論文を読んでいて、それはまあまだわかると言いたいところですが、なぜか神経科学の”教科書"を英語で読んでいました。お昼に開かれている社内の論文紹介会も、発表者は自由なのになぜか大半の会で発表者は岡野原さん。凄まじすぎるなと思った記憶があります。

博士時代にいた研究室の大ボスから自分はよく、もっと論文を読め、勉強しろと怒られた記憶があります。毎回、周囲の人よりも読んでいるじゃないかと若干反発しそうになりましたが、結局のところ、それを言う大ボスが自分よりもはるかに幅広く論文を読んでいるのを知っていたので聞く気になれたような気がします。

子供を読書家・勉強家にしたかったら、親が読書・勉強をしている姿を見せるのがいいとよく言います。とはいえ彼らは打算ではなく興味関心でやっていたと思うのですが、彼らがああいう人間でなかったらきっと、それぞれの場所に漂っていた、いい感じの空気感はなかった気がします。それにそういう人たちは、アホな自分がアホな話をしにいった時でもいつでもちゃんと話を聞いてくれて、頭から否定せず、楽しそうに長々と話に付き合ってくれた記憶があります。めちゃくちゃアホが相手で、かつめちゃくちゃ忙しいのに。

おそらく自分は普通よりもかなり多種多様な上司、指導者、共同研究者と仕事をしてきたと思うのですが、一番大事なのってこういうところなんじゃないかなと思います。

長尾先生の訃報に触れてそんなことを思い出しました。

シン・エヴァとケン・リュウとチョコレートグラミー

「自分が死んでもいいから作品を上げたいっていうのはこれはある」
「命削ってでも頑張りますって言っちゃったんで。作品ってそういうもんでしょって思いますけどね」
「誰かに影響を与えたり永遠に残るものを作るんだから終わったところで死んでもいいぐらいの覚悟と勢いと仕事の密度で取り組んでいたんです」

四月にようやく一大仕事を終えたのでシン・エヴァを鑑賞してきました。緊急事態宣言が出る直前かつたまたま製作陣の舞台挨拶と重なるというラッキー。エヴァをリアルタイムで観ておらずたいした思い入れもなかったからか、頭を空っぽにしてロボットアニメとして楽しめました。最後の方は若干私小説を観ている気分になりましたが、これで最後らしいしまあいいかという気分で鑑賞。

むしろ映画よりも楽しめたのはその後に観たプロフェッショナルの庵野スペシャル。拡大版もやりましたね。

冒頭の言葉はそこからの引用です。ジブリ(宮崎駿)のドキュメンタリーでもこういう雰囲気の台詞あったような気がすると思うんですけど、こういう気持ちでいられるのっていいなあと思います。

そもそも仕事を含む全ての営みは、比喩ではなく文字通りの意味で自身の寿命を使って、命を削ってするものです。つまり本当に重要な問題は、本人がそう思えているか否か。できるならばそう思えることをしていたいですよね。


***

紙の動物園 (新☆ハヤカワ・SF・シリーズ)

紙の動物園 (新☆ハヤカワ・SF・シリーズ)

映画を観てから近所の喫茶店でケン・リュウの「紙の動物園」を読みました。確かだいぶ前にRebuildでおすすめされていた作品。いくつも著名なSFの賞を受賞しているらしい表題作が一番最初にきている短編集なのですが、SFという単語がどうも疲れそうで積んでいました。それがシン・エヴァを見て耐性がついたのかわかりませんが急に読む気に。

表題作は少し不思議な風味の設定をアメリカの現代的なテーマと絡める綺麗なお話。ものすごくよかったしもっと早く読んでいればよかった。他の収録作も特にIFものは面白く、いまアメリカでこういう話が高く評価されるのはかなりわかる感じがします。SFというカテゴリで間口を狭めているのがもったいない。

逆にあまり刺さらなかったのは不死や長寿、意識転送もの。各短編にメインテーマとなるSF的ギミックがあるのですが、この類のテーマ設定はどれも最終的には実存的な問いかけに帰着している気がします。それは別にいいのですが、身体あるいは時間の制約から思考が解放されたときに生じる実存的な問いが、別にそこから解き放たれていない、つまり今の人間の問いと本質的に違わない気がするんですよね。

というかむしろ現代は技術的にも思想的にもどんどん寿命や身体を意識せずに生活するようになってきていて、だからこそ冒頭のような言葉に何かを感じるのではとも思います。終わらない日常の終わりを意識するのは終わらせてもいいと思えるぐらいのものをやって初めて意識されるものであり、ほとんどの場合はそんなもの意識にすらのぼらない。


***

最後に本屋大賞。

見事に予想を外したというかそもそも大賞作も含めて候補作をほとんど読めていないのですが、とりあえず大賞受賞者のデビュー作を読んでみました。貧困、シングルマザー、LGBT、DV、という問題が散らばった連作短編で、「紙の動物園」で扱われた移民や人種といったまさにアメリカ的テーマと比較するとどこか今の日本を感じるテーマ。

読んでみると山本文緒の作品を読んだ時と似たような読後感に。キラキラしていなくとも、未来への特別な期待がなくとも、今を踏ん張って生きているような人を描いているあたりが似てる?

***

実際どこで、だれと、なにをしているかなんてほんとうにどうでもいいことなんですよね。

明日死んでも不死身になっても、やりたいことはこれだけだった。

心からそう思えるかどうか。

もちろんそんな場面がいつもあるのはフィクションだけで、現実では意識できないぐらいの一瞬ですが、その一瞬をすくうために日々働いているのかも。

B4/M1で認知神経科学の研究室にこれから入る人のための教材?


note.com

タイトルの質問に答えることが難しい理由は二つありまして、第一に認知神経科学分野の研究が広大かつ多様なのと、事前知識の個人差が大きいことがあるかと思います。


第一の点について、当分野の研究には、サルやマウスの実験を積み重ねるものもあれば、ヒトの大規模データに機械学習を適用するようなものもあり、はたまた実験をせずに理論とシミュレーションだけのものもあります。第二の点について、東大で学部三年から計算論的神経科学の輪講をしていましたという人もいれば、自分のように文系社会人出身かつ修士入学時点でプログラミング経験がなく心理学/神経科学/機械学習/確率統計のどの知識もほぼゼロの人間もいるので、それぞれに勧めるべき本は全く異なります。


などといきなり言い訳から始まりますが、そう言っていても仕方がないので以下、上記のスペックだった自分が今修士に戻って似たような分野に取り組むならこういうのをやる、というのを列挙します。ですのでチョイスには偏りがあります。


ちなみに自分が修士に入学した2013年度当時はPRML、Theoretical Neuroscience、Sutton強化学習、の3冊をまず輪講でやりました。(今はなきNAIST松本研にも所属して大量の勉強会に参加していたこともあり)かなり苦労した記憶がありますが、それぞれ今でも悪くないチョイスだと思います。反省点としては、計算論に偏りすぎているので、もう少し認知科学(心理学)よりの知識を幅広く入れておけばよかったと思っています。言語や意思決定、視覚、聴覚、などなどサブ分野によって全く違う一方でシステムとしてはそれらが繋がって人間は動いているので、きちんと概観しておけばよかったです。

機械学習

パターン認識と機械学習 上
2021年になってもPRMLをお勧めしていきます。実際のところどうなんでしょうか。周りに聞いてみたらなんだかんだで今でもこれを使ってるところが多いようですが……。
わかりやすいパターン認識(第2版)
PRMLにいく前に何か挟むならこれがいいかと思います。
[第3版]Python機械学習プログラミング 達人データサイエンティストによる理論と実践 (impress top gear)
実はまだ読んだことがないのですが、機械学習応用系の研究室では導入に広く使われている本のようです。(首都大小町研がお勧めしているので間違いないと勝手に思ってます。)Pythonコードも付属しているのでColabなどを使って進めていくと良さそう。
Deep Learning
いわゆるGoodfellow本。PRMLだと深層学習の知識がカバーできないので。深層学習をかじるだけなら一つ上の本だけでも十分かも。
Reinforcement Learning, second edition: An Introduction (Adaptive Computation and Machine Learning series) (English Edition)
DQN, AlphaGo以来大流行の強化学習に興味があるならまずはこれでしょうか。

(認知)神経科学

Theoretical Neuroscience: Computational and Mathematical Modeling of Neural Systems (Computational Neuroscience Series)
2021年になってもTheoretical Neuroscienceをお勧めしていきます。国内でも海外でもまだこれを使ってるところは多いのでは。
脳を測る
ヒトの脳機能の非侵襲的測定のチュートリアル日本語論文。素晴らしく整理されています。
The Student's Guide to Cognitive Neuroscience
認知神経科学定番の教科書その1(サポートサイト: The Student's Guide to Cognitive Neuroscience)。
Cognitive Neuroscience: The Biology of the Mind
認知神経科学定番の教科書その2。
計算論的神経科学: 脳の運動制御・感覚処理機構の理論的理解へ
数式がヘビーですが、脳の計算論に興味があれば日本語で読める本としてお勧め。

機械学習(AI) + Neuroscience

humaninformationprocessing.com
認知神経科学をAIの側面から捉えて整理した大変意欲的な教科書。(認知)神経科学の教科書はどうしても事例集っぽくなり退屈なのですが、これは一本筋が通っていて面白いです。ただ、細かく丁寧な解説はないので、機械学習と神経科学の基礎を身に付けたあとじゃないと少し読むのが大変かもしれません。

統計

Statistical Thinking for the 21st Century | statsthinking21
全部Web上で公開されていて、Pythonコードも概ね付属。仮説検定からベイズ、再現性問題までカバーしているという意欲的な内容。著者自身が認知神経科学の再現性問題の大家です。
伝えるための心理統計: 効果量・信頼区間・検定力
最近のジャーナルだと効果量や信頼区間の報告はほぼ必須になっているのですが、日本語でその辺のトピックをカバーしてくれている貴重な本。

fMRIデータ解析

fMRI Bootcamp | The Center for Brains, Minds & Machines
fMRI Course - Summer 2019 — FMRIF
Principles of fMRI 1 | Coursera
海外のブートキャンプやらサマースクールやらCourseraやら。どれも自分はやってないのでどれがお勧めとか言えないのですが、とりあえずどれか一つやって、あとは研究室の実データで解析に慣れていくのがいいかも。
2021年大阪大学集中講義 – Yamashita Okito‘s Web Page
日本語での数少ない資料で質が高いです。誰かの解説なしだと少し辛いかも。

神経生理データ解析

github.com
https://www.funjournal.org/wp-content/uploads/2021/01/june-19-94.pdf
Allen Instituteが公開している神経生理データで実践的に神経生理データ解析を学べるようです。


以上ですが、総じてデータ解析の部分は手法もソフトウェアも日進月歩なので、まずは研究室の先輩に聞くのが一番かもしれません。身も蓋もないですが。

雑記(2021年3月)

放置していると更新する気力がどんどん減っていくので、ここ半年ぐらいに読んで/見て記憶に残ってるコンテンツを紹介します。

記憶に残ってる=感想が書ける、であって良かったかどうかはまた別の話。


自転しながら公転する
自転しながら公転する
山本文緒の本は食わず嫌いしてましたが、新海誠がTwitterでアカペラを絶賛していたのでまずアカペラを読んでみました。食わず嫌いを後悔。その後よんだプラナリアも良くて、ちょうどその頃に新作長編が出ていたので購入。大正解で、これが本屋大賞じゃないのなら何が取るのか気になるという感想。自分は推しが燃えるやつよりもこっちを推します。

東京でAIだとか脳だとかクリエイティブだとか言っている自分のような人間が向き合っていない、いまの時代の不安とそこからの解放が秀逸なプロットで書かれていました。もちろん現実のままならさははいつだって想像を突き抜けていきますが、確かにあると思わせる人物造形は引き込まれます。

正欲
正欲
先週出たばかりの本ですが、映画化と本屋大賞ノミネートぐらいはほぼ確定では。読了直後のバイアスがあることを踏まえても傑作。朝井リョウのお家芸は10代後半、20代のままならない感じの自意識や葛藤描写をメタメタしく描くことだったと思うのですが、一歩そこから抜けた感じがします。何者と同じように最後にドカンときて終わるのかと思いきや、そこから更に対立軸を出したり意外な展開があったりと飽きさせない。

上の山本文緒の本を読んだ後にこれを読んだので、"普通"に生きるのも大変だし、"普通"から外れても大変だし、生きてくのって大変だなという無難な感想が。・・・というような雑なわかった感こそ著者が批判するものであり、せめて苦悩するか目と耳を閉じていてくれ、ということなのかもしれませんが、それを忙しない中での読書体験から期待されても少し厳しい。でもこういう小波のようなものが重ならないと新しい流れは作れないのだろうなとも思うし、一方でその新しい流れは往々にしてこれまでと同程度に雑な乗り方はできないし、ということでやはり大変だなという感想。

楽園のカンヴァス (新潮文庫)
楽園のカンヴァス (新潮文庫)
翼をください 上 (角川文庫)
翼をください 上 (角川文庫)
初原田マハ。普通によかった。

4TEEN(新潮文庫)
4TEEN(新潮文庫)
初石田衣良。思っていたよりもずっとよかった。文章が綺麗。他の作品も読んでみたいと思いましたが、他はIWGPシリーズか恋愛系が多い模様。悩ましい。


ブルシット・ジョブ クソどうでもいい仕事の理論
ブルシット・ジョブ クソどうでもいい仕事の理論
話題になってたから図書館で借りたその1。

何がとは言いませんが懐かしすぎて遠い目になりました。こういう仕事あるよなあと。分析の妥当性はよくわからず。

LIFESPAN(ライフスパン)―老いなき世界
LIFESPAN(ライフスパン)―老いなき世界
話題になってたから図書館で借りたその2。

結局のところ現状エビデンスのあるものは、ストレスのない生活、適度な運動、食べ過ぎない、ぐらいという結論。安心したというか残念というか。紹介されてる多数の事例、具体的にはサウナも断食もNMAも各種サプリも薬も、どれも動物実験段階あるいは強いエビデンスなし。

時間は存在しない
時間は存在しない
話題になってたから図書館で借りたその3。

時間はなるほど出来事の系列なのか、というのがすごく腹落ち。

「時間は存在しない」という日本語タイトルには少し違和感というか、時間として知覚されているものは順序、様々な物が作用し合う系列であって、それらは全て相対的である。個人で見たときに順序はあって、それに時間という名前をつけている。すなわち絶対的な時間が存在しなくて、全ては順序である。そういうことだと理解しました。

ただ、原題はL'ordine del tempom、英訳するとThe Order of Time、つまり「時間の順序」が原題になります。まあこのタイトルだと売れないのかも。

芸術・無意識・脳―精神の深淵へ:世紀末ウィーンから現代まで
芸術・無意識・脳―精神の深淵へ:世紀末ウィーンから現代まで
芸術と神経科学の本は逆推論と過剰な一般化の嵐で読んでいて辛くなるものが多いのですが、これは純粋に芸術論として読める部分が面白い。それでも人間の研究に関する記述は読んでいて辛くなるところも。

BNA ビー・エヌ・エー Vol.1 (初回生産限定版) [Blu-ray]
BNA ビー・エヌ・エー Vol.1 (初回生産限定版) [Blu-ray]
日本のアニメ会社(というかTRIGGER)がズートピア作ったらこうなったというやつ。序盤から中盤にかけてすこし退屈。が、最終盤で味方も敵も巨大化して主題歌が2番まで流れる様式美に、小さいことはどうでもよくなった。

【Amazon.co.jp限定】映像研には手を出すな! COMPLETE BOX (初回生産限定版/2枚組) (映像研キャストトークCD付) [Blu-ray]
【Amazon.co.jp限定】映像研には手を出すな! COMPLETE BOX (初回生産限定版/2枚組) (映像研キャストトークCD付) [Blu-ray]
部活ものや(アニメ含む)芸術創作もの特有の辛気臭さがなく、創作の美味しいところが凝縮されていた印象。空気感がいい。OPは天才。

梨泰院(イテウォン)クラス dvd 韓国ドラマ パク・ソジュン/キム・ダミ 全16話を収録した9枚組
梨泰院(イテウォン)クラス dvd 韓国ドラマ パク・ソジュン/キム・ダミ 全16話を収録した9枚組
ペスジ ナムジュヒョク 主演 韓国ドラマ [ スタートアップ: 夢の扉 ] O.S.T サントラ 韓国盤
ペスジ ナムジュヒョク 主演 韓国ドラマ [ スタートアップ: 夢の扉 ] O.S.T サントラ 韓国盤
韓ドラ。前にブログ記事に書いてから他の韓ドラも色々と試してみましたが、結局この二つ以外は視聴が続かず。韓ドラの様式が自分にとって新しかったから面白かっただけなのか、この二つがコンテンツとして飛び抜けていたのか、あるいはその両方か。

葬送のフリーレン(1) (少年サンデーコミックス)
葬送のフリーレン(1) (少年サンデーコミックス)
ポスト魔王討伐日常ものは初めてで新鮮。昔ドラクエのこういうssが好きだったような気がする。けど物語の構造上これから山場はないし、今後もこの調子で続けられるのだろうか。記憶に残ってる漫画がこれと鬼滅しかない。

NeurIPS 2020ポスター雑感

https://papers.nips.cc/paper/2020
今年のNeurIPSは1900件もあるため全部見るのは不可能です。なのでページを高速でスクロールしながらタイトルだけ見て、気になったポスターの3分動画を観るというやり方で消化しました(一部は論文までチェック)。せっかくなのでメモした感想を公開しますが、しょうもない感想が大半です。以下、タイトル - 感想の順に。


What is being transferred in transfer learning?
TLがうまくいく時はparameter spaceのl2-normが似てるらしい。あとはhigher-layerに比べてlower-layerが貢献する。ドメイン依存の気もするが。basinの話はよくわからず。

Towards Playing Full MOBA Games with Deep Reinforcement Learning
今はMOBAでAIがプロプレイヤーに90%以上勝てるらしい。論文の内容自体は17hero対応の先行研究を40heroまでいけるように拡張したって話。モンテカルロツリーサーチの工夫が重要っぽいけどよくわからなかった。

Tree! I am no Tree! I am a low dimensional Hyperbolic Embedding
タイトルでクリックした。行列からツリー構造予測するためにHyerbolic embedding。そもそもこんな問題が存在したという驚き。

Unreasonable Effectiveness of Greedy Algorithms in Multi-Armed Bandit with Many Arms
発見自体はタイトルの通り。証明したのが一番の貢献っぽい。

Statistical control for spatio-temporal MEG/EEG source imaging with desparsified mutli-task Lasso
発表動画は背景を説明するイントロがほとんどだったためメソッド以降が全然わからなかった。desparsified Lassoなるものを初めて知った。

Rethinking pooling in graph neural networks
GNNで使われてるlocal poolingは精度に特に貢献してないとのこと。少し意外。なぜならClusteringしてpooling、グラフによっては直感的には効果ありそうに思うのだが。

Learning abstract structure for drawing by efficient motor program induction
TenenbaumのScience論文みたいなタスクを実際に人間にやらせてみた(+CNNでも検証)という論文。運動効率、抽象化、構造化が大事らしい。そうだろうなという感想。

Domain Generalization for Medical Imaging Classification with Linear-Dependency Regularization
MRIイメージのDomain adaptation。Domain adaptationとDomain alignmentを組み合わせる。Domain alignmentはoriginal spaceではなくDNNの特長抽出後の潜在空間上で。ありそうな手法にも見えるけどなかった模様。

Audeo: Audio Generation for a Silent Performance Video
タイトルまんま。ピアノ弾いてる動画から音声を生成。意外と難しい問題らしいし、こういう発想好きだけど、そもそもどういうシチュエーションでこれ使うんだろうか???ピアノ弾いてる動画だけあって音声がないシチュエーションとは。

Inferring learning rules from animal decision-making
男女が交互に喋る謎のプレゼンスタイル。何やってるのかはよくわからなかった。

How hard is to distinguish graphs with graph neural networks?
問題自体には興味あるけど、理論解析のペーパーのようで、動画だけだと全くわからず。

Do Adversarially Robust ImageNet Models Transfer Better?
答えはYes。Adversarial robustnessはsourceでのaccuracyを下げることがあるのでこういう疑問が生まれた模様。でもなんでだろう。

Closing the Dequantization Gap: PixelCNN as a Single-Layer Flow
PixelCNNとかPixelCNN++は1層のautoregressive flowと考えることができる。なので潜在特徴量もみれるし、そこでのinterpolationもできる、と示した。具体的にどうinterpolationをやるのかイメージつかず。

Language as a Cognitive Tool to Imagine Goals in Curiosity Driven Exploration
抽象的すぎて全然中身はわからなかった。プレゼンに猫バスが出てきた。

Rethinking Pre-training and Self-training
trainingしたdnnでunlabeledデータにラベルを付与して更にtrainingするSelf-trainingが強力ってことを言いたいのだと思うけど、何が新しいのかよくわからず。

Learning About Objects by Learning to Interact with Them
そもそもタスクがよくわからなかった

Adaptive Reduced Rank Regression
超高次元のRRRは遅いのでその時のためのRRRを提案。こういう実験、論文中でも本当に超高次元のデータで検証してる時ってあまりない気がする(これもそうだった)

How Can I Explain This to You? An Empirical Study of Deep Neural Network Explanation Methods
モデルの識別結果を説明するための手法でどれが一番いいか検証。explanation by example(training setの中で似てるやつを提示?)がtext-domain以外では一番良くて、textだとLIMEがベスト。

Reverse-engineering recurrent neural network solutions to a hierarchical inference task for mice
RNNにdecision makingさせてそのdynamicsを理解する試み。Perceptual decision makingっぽいのをさせて、State-space analysesしてる。Distillationとか出てきてよくわからなくなった。。。

Decision-Making with Auto-Encoding Variational Bayes
VAEでDecision-makingするってのがどういうことかよくわからなかった

Learning Physical Constraints
物理法則をグラフじゃなくてconstraintsで学ぶ。全然わからなかった。

Learning Physical Graph Representations from Visual Scenes
問題設定がよくわからなかった。 

Meta-learning from Tasks with Heterogeneous
異なるattributeのタスク間でmeta-learning。実際に必要となるシチュエーションがあまりイメージつかず

Predicting Training Time Without Training
タイトルだけ見てどうやるのか??と思ったらfine-tuneが前提だった。それなら確かにできそう。手法としてはlinearizeしたモデルでloss land-scapeを近似するということで真っ当な感じ。

Improving Natural Language Processing Tasks with Human Gaze-Guided Neural Attention
人間の視線データをattentionとして使う、というのがメインアイデアだけどそれだとデータが少ないから認知モデルを参考に視線データを予測するモデルを作った。認知モデルの作り方に随分自由度ありそうで少し怪しい感じもする。

Uncovering the Topology of Time-Varying fMRI Data using Cubical Persistence
最近よく見るPersistent homology。相変わらず聞いてもよくわからない。

Preference learning along multiple criteria: A game-theoretic perspective
複数の選択肢があってそれぞれのpairwiseの優劣情報がある時、優劣の観点が一つだったらベストの選択肢はシンプルだが、複数の観点がある場合について議論したペーパー。凸最適化により求まるらしい。

Towards Learning Convolutions from Scratch
タイトルとモチベーションはわかるが何やってるかちょっとよくわからなかった。

Multi-label Contrastive Predictive Coding
Contrastive predictive codingはネガティブサンプルの数を増やすと良いことが知られているがそれは計算量増大を招く。計算量増大させずに同様の効果をする方法を提案。シンプルでわかりやすい。oralも納得。

Understanding spiking networks through
SNNの最適化は凸最適化として理解できる、という話だがそこからのインプリケーションがいまいち理解できず。

Is Long Horizon RL More Difficult Than Short Horizon RL
答えはNot much harderらしい。プレゼン聞いてもよくわからなかった。

Causal Discovery in Physical Systems
イメージからキーポイントを教師なしで複数見つけてそれらの関係を推測する。こういう物理学習系の中でもこれはわりと問題がわかりやすかった。ただ、Causalというイメージとはちょっと違った。

Color Visual Illusions
錯視の研究。Flow-basedモデルから与えられたpatchの尤度を計算するモデルを作った。それを使って錯視が起こりそうか説明したり、錯視を生成したりする。面白い。心理実験とかでも使えそう。

Listening to Sounds of Silence for Speech Denoising
Silentの部分をdetectする部分を明示的に入れることでdenoiseの精度をあげたらしい。incrementな気もするけど発想勝ちって感じだろうか。

Self-supervised learning through the eyes of a child
子供の頭につけたカメラ画像を使ってself-supervised learning。一番面白いのは多分データセットで、2.5年間レコードし続けたデータを使ったらしい。自分だったらどう感じるだろう。

Biological credit assignment through dynamic inversion of feedforward networks
生物学的に可能そうなBackpropのやり方。Machensラボは今年3、4本通しててすごいんだけどどのプレゼンも聞いていてよくわからないという現象が生じている。そしてこれもよくわからない。

Can Graph Neural Networks Count Substructures?
最後まで聞いてもSubstrucutureをカウントする意義がわからなかった。

Neural Topographic Factor Analysis for fMRI Data
fMRIデータをDNNでDeomposeする系。どうしてもneuroimaging+DNNはoverfittingしていそうな気がしてしまう。

Training Generative Adversarial Networks with Limited Data
GANではtraining dataのaugmentationはdata leakageを起こす問題がある。そこでGenerated imageもaugmentすることでGANでのdata augmentationを可能にする。シンプルでわかりやすい。プレゼンもわかりやすい。納得のoral。

Your GAN is Secretly an Energy-based Model and You Should Use Discriminator Driven Latent Sampling
自動音声でプレゼンしてる?タイトル面白そうなのに全然よくわからなかった。

Efficient estimation of neural tuning during naturalistic behavior
controlされてない実験でtuning curveどうやって推定するかという問題。やり方は直感的で多次元かつ連続値の入力とspikeデータを最適化によって解く。

When Do Neural Networks Outperform Kernel Methods?
どういう時か説明してはいたものの、具体的なイメージがわかなかった。

See, Hear, Explore: Curiosity via Audio-Visual Association
Curiosity rewardについて、imageとaudioのco-occurenceを予測するという問題を解かせるのは良い補助タスクになるとのこと。incrementな気がするけどどこまで効果的なんだろう。

DeepSVG: A Hierarchical Generative Network for Vector Graphics Animation
タイトルが全てだけど、プレゼンのわかりやすさが最高だった。アプリケーションとしても面白い。お絵かきとかに使えそう。データセットも自分たちで作って提供してる。

Decisions, Counterfactual Explanations and Strategic Behavior
交渉ごとにおいて反実仮想説明ができる機械学習は重要なアプリケーションだが、その反実仮想をもとに受けたが側が行動を帰ると物事が複雑になる。全体の最適化はNP-hardなのでiterativeに最適化する枠組みを提案。説明すごくわかりやすかったし、こんな問題があったんだと思った。

What if Neural Networks had SVDs?
Jupyterを使った斬新すぎるプレゼンスタイルに目がとられて内容が全く頭に入ってこなかった。各レイヤーにSVDをするための早い方法を提案したみたいだけど、どういう時に各レイヤーにSVDしたくなるんだろう。と思って元論文を読んでみると、normalizing flowとかではd x dの重み行列の逆行列を計算する必要があるらしい。それを提案手法のSVDを使うとO(N^3)からだいぶ下げれるとか。

Experimental design for MRI by greedy policy search
タイトルからイメージする内容と全く違った。そして何を目的としているのか全くわからず。

Unifying Activation- and Timing-based Learning Rules for Spiking Neural Networks
Spiking Neural Netoworkの知識足りなさすぎてActivation-basedとtiming-basedでGradientの伝播を具体的にどうやってるのかよくわからず。

Autoencoders that don't overfit towards the Identity
AEのtrivialな解放としてIdentity functionになることがある。denoised AE(dAE)やボトルネックの次元を下げることが提案されてきたが、それでもなお問題がある。なのでDropout featureのやり方を工夫するEmphasized dAEなるものがあるらしい。これの理論解析をしたのが貢献。EDAE知らなかったけどどこまで有益なんだろ。Identityに収束することについての説明はすごくわかりやすかった。

Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory
oralだし面白そうだけど、全然わからなかった。後ろが滅茶苦茶散らかってて気になった。

Reinforcement Learning with Augmented Data
Pixel-basedのRLが時間滅茶苦茶かかる問題とgeneralizationに弱い問題。Data augmentation手法を導入。rotateしたり色を変えたりするらしい。回転させた画面でゲームさせたりしてた。むしろこれまでやられてなかったのかという感想。

Why Normalizing Flows Fail to Detect Out-of-Distribution Data
Normalizing Flowは尤度をexactに計算できるのでAnomaly detectionに使えると思いきや、意外とそうでもないことが知られてるらしい。自分は知らなかった。それがなぜ生じるか示したらしいが、肝心の理由がよくわからなかった。

Meta-Learning through Hebbian Plasticity in Random Networks
問題設定がわかりそうで全然わからなかった。

High-contrast “gaudy” images improve the training of deep neural network models of visual cortex
Contrastをあげるようにimageをpreprocessingしてやる(gaudyイメージと呼んでいる)と脳のレスポンスをDNNから予測するDNNがtrainしやすくなる。Contrastをあげたイメージを使うとVGG19のresponse群のPC1,PC2の次元におけるvarianceが大きくなる。これは予測してた結果なのだろうか。エッジが強調されるからそうなるってこと??

De-Anonymizing Text by Fingerprinting Language Generation
テキスト予測変換の際にNucleus samplingを使うけど、その時のthreshold系列の長さ(NS-series)がoriginalの文章を一意に予測できる現象を発見。これが何が問題かというと、side-channelでNS-seriesの情報を取られる可能性があって、そこからオリジナルの入力文書を復元できる。side-channelに詳しくないからNS-seriesの情報を取られるってのがどれだけありうるかわからないけど、こんな問題があるのかと思ってかなり興味深い。

仮説があるとゴリラは見えない

以下の動画はわりと有名なので、多くの人が知っていると思います。以下、ネタバレを含むので、初見の人はまずは動画を観てから読み進めてもらえればと思います。

selective attention test


上の動画は、パスの回数を数えていると、堂々と横切るゴリラに気がつけないという、人間の「選択的注意能力」に関係した現象を示したものです。


さて、以下の記事でこの動画に関連した面白い実験が紹介されていました。

genomebiology.biomedcentral.com

この実験ではまず、学生を2グループに分けて、両グループに同じデータを渡します。このデータには1800人弱の男女のBMI値と、各人のある日の歩数という二つの数値が入っています。ここで重要なのが、片方のグループには検証すべき仮説を3つ与えた上で(例:歩数には男女に差がある、BMIと歩数には相関がある)、「その他なにか結論づけられることがあれば報告するように」という課題を与えます。一方で、そしてもう片方のグループには「データセットからどんな結論を出すか」とだけ尋ね、何も検証すべき仮説は与えませんでした。


さて、本題はここからです。実はこのデータ、二次元平面(BMIを縦軸、歩数を横軸)に描画するとゴリラの絵が浮かび上がってくる架空のデータです。この課題の真の目的は、上記2グループのうち、どちらのグループがより多くゴリラに気づいたか?ということなのです。


結果としては、仮説を与えられたグループよりも与えられなかったグループの方が、データに潜むゴリラの存在に気づくという結果になりました。上の記事ではこの実験結果を枕として、(一般に良しとされる)仮説駆動的な研究だけでなく、探索的な研究も新発見には重要であると論じています。






唐突に別の分野の話になりますが、機械学習には「仮説空間」という概念があります。


機械学習では、何か(例えば画像)と何か(例えばカテゴリラベル)の間にある関係性を探ろうとすることがあります。画像とカテゴリラベルの場合、真の関係性をきちんと捉えられれば高性能な画像認識をできて、ダメな場合は使えない画像認識モデルが出来上がります。ただ「真の」関係性は当然我々にはわかりませんし、その真の関係性をどうやったら見つけられるかもわかりません。なので、「おそらくこの基準で評価して性能を向上させていけば、真の関係性に近づくことができるだろう」という基準を考えます。その基準を目的関数とか呼美、この目的関数の数値を最適化することを学習といいます。


ただここで問題なのが、現実にデータは無限に存在しないこと。むしろ、少数しか存在しないことが大半です。そういう場合に何も考えずに広大な可能性から探索をする、例えばディープラーニングなんかを適用することがそれにあたるのですが、そうすると手持ちのデータに対して過剰に適応した極端な画像認識モデルになってしまいます。そこで登場するのが「正則化」という技術で、これは探索する空間をあらかじめ狭めておいてやることで、あまり手持ちのデータに偏りすぎないように外から制約を加えてあげることを意味します。ここで出てきた「探索する空間」のことを、「仮説空間」と呼び、その空間の中で探索された一つ一つの結果を「仮説」と呼びます。つまり学習とは、真の関係性に対する仮説を見つける作業なわけですね。そして、正則化はその探索空間をある程度狭めてやることに対応します。もちろんその狭め方にはいろいろなやり方があり、どう狭めるかはまさに事前の仮説に寄るところになります。


最初に出したゴリラの実験の話では、片方のグループにいくつかの検証すべき仮説を与えてあげました。この行為はもしかすると、正則化に相当しているのかもしれません。つまり、ゴリラが探索すべき仮説空間の外にいたのです。





ここでまた全然別の話題になります。


自分の人生における仮説空間は何なのだろうか、ということについて考えてみたいと思います。唐突に電波が漂ってきましたが、それでも、何かしらある分野で確立された枠組みを日常的な話題に適応してみるのはそう悪いことでもないでしょう。


仮説空間を考える前に問題となるのは、自分はどんな問題を解いているか。我々人間が調整できるのは究極的には自分の身体だけなので、ようするに「日々何をして過ごすか」を最適化する問題を解いていると考えられます。けれども、そもそもどんな関数を近似したいのかよくわからない。目的関数もよくわからない。正則化もよくわからない。ぜんぜんわからない。自分は雰囲気で人生をやっている。


…ということはなく、まあ何かしら目指して生きているわけです。そうでないと発散して狂人になるしかないですし。ここでいう何かしらとは、会社での出世だったり、競技での活躍であったり、金持ちだったり、「幸せな人生」だったり。そこにはまた何かしらの模範となるような人物像があることも多く、どうやったらそこに近づけるかが重要になるわけです。


抽象的に考えてもらちがあかないので、具体的なイベントで考えてみることにします。たとえば結婚や出産。これは正則化でしょうか。確かに、これらのイベントには人生を発散しにくくさせる効果がある気がします。でも、それ自体が目的関数に入っていて、達成したら報酬だと考える人がいてもいいわけですよね。





なんの正則化もかけないまま記事を書いているせいで、話題が発散してきました。



自分はエンタメが好きで、面白い物語に興味があります。そこからまわりまわって、人生がどうやったらいい物語になるのか、ということにも興味があります。では、いい物語とは何か。いい物語には主軸があります。無限の仮設空間をただ漂う名作はありません。


一方で、現実の人生の仮説空間は無限です。どうやったらその主軸が手に入るのか?


ここはいっそ思いっきり海の底まで潜って、息をひそめるのがいいのかもしれません。探索すべき次元を落として落として、一つの軸に集中する。

ここで、これまで人生の意味への問いについて述べてきたことの全体から結論を得ようとするとき、われわれは、この問いそのものの根本的な批判に到達する。それは、人生そのものの意味への問いは無意味である、ということである。なぜなら、もしその問いが漠然と人生「というもの一般」を指し、具体的な「各々の私の」実存を指していないならば、誤って立てられているからである。


フランクル「人間とは何か」

いや、そもそも人生には大なり小なりの制約が元々あるわけで、それに対して虚無感でも喪失感でもない何かを持って生きていけているのであれば、それはもう主軸となるものが見つかっているのかもしれない。つまり、人生はとっくに物語になっている。


ふつうの日常のなかに時折見つかる特別な感情は、実はその主軸の上に乗っかっていたのかもしれない。

われわれが、世界体験の本質的構造に立ちもどり、それを深く熟考しようとするならば、人生の意味への問いにある種のコペルニクス的転回を与えなければならない。すなわち、人生それ自身が人間に問いを立てているのである。人間が問うのではなく、むしろ人間は人生から問われているものであり、人生に答えねばならず、人生に責任を持たねばならないものなのである。


フランクル「人間とは何か」

ただどうも自分には、そう受け入れることに抵抗感があります。


それはうまく言語化できないけれど、なぜだか抵抗したい。


なんといっても、仮説があるとゴリラが見えない。