韓国ドラマはながら見できない

昔から暇があればエンタメ作品に触れていて、暇がなくてもながら見・聴でエンタメ作品に触れているのですが、その時々で自分の中で流行があります。それは世の中と一致することもあれば一致しないこともあるのですが、今回は大きく一致しており完全に韓流ブームが到来中。これまでの人生で恐らく2回ほど日本社会での韓国ブームを経験してきたと思うのですが、今回(3回目)初めて引っかかりました。


きっかけは帰国便の中で何気なく視聴した「パラサイト」の出来があまりにもよかったことです。とにかく脚本やテーマ設定が素晴らしく、その後にいつもネトフリでランキング上位にきていて気になっていた「梨泰院クラス」を視聴したのが沼のきっかけかもしれません。これがまたしてもめちゃくちゃ面白く、1話あたり1時間30分近くあって長いのですが、ほぼ一気見してしまいました。



どうしてこんなに面白いと思えるのかわからないまま、現在継続して配信中の「スタートアップ」へと移行したら、これが完全に自分の分野(情報科学やAI)とテーマが被っていて一瞬で最新話まで観終わってしまいました。似たやつだとアメリカの「シリコンバレー」は割と好きだったのですがそれの数倍テンポが良くて面白い。並行して、(多分日本では一番有名な?)「愛の不時着」も観ているのですが、こちらもまあまあ面白いけれど、個人的には梨泰院クラスとスタートアップには劣る感じ。


面白いと思える理由をあげてみると、コメディとシリアスがすごくバランスよく配置されていること、日本との文化的な共通点が多いこと、日本のコテコテなドラマほど保守的でなく欧米のイケイケなドラマほど進歩的すぎず自分の価値観的にはいいバランスなこと、そして外見が似ていて感情移入しやすいこと、、、などなどあげだすとキリがないのですが、やっぱり一番は脚本とセリフが良いのだと思います。キャラ配置のバランスも良くて会話中の対立もしっかりしている。



韓国ものに関しては前からMay J LeeやBTSのダンス動画を暇つぶしに見ていてそのクオリティの高さに毎回驚いていたのですが、ドラマのクオリティもここまで高いとは思っていませんでした。とはいえ、いくつも観ていると結構似たようなパターンがよく出てくることにも気づきます。それはキャラ設定・配置(財閥令嬢多すぎ問題)であり、脚本(都合のいい出会い多すぎ問題)でもあるのですが、自分にとって斬新だったそれらも何回か観ていると斬新ではなくなってくるものです。まあ要するに早くも飽き始めているのですが、それでも観てみてよかったなと思いました。一つだけ問題があったとすると、音声が韓国語なのでながら見がまったくできないこと。しかもストーリーの展開が激しくて密度が濃いので、集中して見ていないとわりとすぐに置いていかれます。結果的に、それ以外の娯楽(仕事も?)使っている時間は確実に減った気がします。

(NeurIPS 2020 Spotlight)demixed Shared Component Analysis:異なる二つの多変量データ間の、ある変数特異的なインタラクションの探索

※宣伝です。

機械学習分野で世界で最も権威のあるNeurIPS 2020に第一著者(&単独責任著者)として投稿していた論文が採択されました。Spotlight(全論文の5%)にも選出され、ありがたい限りです。

arxiv.org

このプロジェクトは共著者たちとボトムアップ的に始まったのですが、計画段階から執筆・投稿まで、共著者とのやりとりは常に楽しく刺激的だった記憶があります。機械学習の論文なので当初からNeurIPSを最大目標としていましたが、ここまで上手くいくとは正直(多分共著者も)思ってませんでした。もちろんその裏には大量の没プロジェクトがありますが、今となってはいい思い出的な感じがあります。

内容を簡単に書くと、複数の変数の情報が複雑に表現されている複数のデータセットがある時に、ある変数特異的・多変量・低次元のインタラクションを探るための手法を提案しました。論文内で適用しているのは神経生理のデータですが、脳イメージングや、他分野のデータにも適用できる普遍的な手法だと思います。




……これだけ書いても抽象的すぎて意味不明なのですが、丁寧に書くと結局論文に書いてることの繰り返しになるので、ご興味のあるかたはぜひarxivや、12月に出る正式版の論文を見ていただけると嬉しいです。解析用コードとデモも合わせてリリースする予定です。また、オンラインでならいくらでもプレゼンテーションをしますので、ご連絡いただければと思います。

というのも、この論文をarxivにアップロードした一週間後にイギリスとアメリカの研究室から連絡があり、オンライントークをしました。研究の世界だとすごい人はそういう経験もよくあるのですが、大してすごくない自分にとってはかなり(かなり)胃痛が悪化する体験でした。ただ、そのおかげで(?)わりと丁寧に資料やスクリプトができたので、(日本語でなら特に)気軽にオンラインでプレゼンさせて頂けると思います。




以下余談ですが、今年、人生最大級に力を入れた案件に挑戦していたのですが、(自分としては)予想外にいいところまでいったものの、最終的には残念な結果となってしまいました。なので、とりあえずこちらの案件が目標に届きホッとしています。

半沢直樹エントリの次がこの宣伝エントリという、相変わらずコンセプトが迷走しているブログですが、引き続き気ままに更新したいと思います。

半沢直樹的研究者

8月頭の梅雨明けから今週まで、数年ぶりに経験する東京の真夏に完全にやられておりました。なので、仕事もほどほどに引きこもってドラマやアニメを観たり本を読んだりとのんびり過ごしていました。


今期のドラマでは半沢直樹とMIU404が順当に面白いです。MIU404の方は野木亜紀子脚本で、かつキャスト(星野源と綾野剛のバディ)といいテーマ設定(刑事)といい、失敗する余地があまりないドラマです。実際、その期待を裏切らないソツのない完成度で面白かったです。ただもっと面白いのは半沢直樹で、「スーツ歌舞伎」とネタにされていることに完全に悪ノリしていて、もはやコント。脚本も予定調和だらけでずっと似たような展開が続くのですが、なぜか観てしまいます。



ところで半沢直樹を観ていると誰しも感じるのが、なぜこの人たちはこんな超絶ブラック企業をさっさと辞めないのか、ということ。なぜここまで一つの会社に固執するのか。世の中にもっと働きやすい組織はいくらでもあるのに。全身全霊をかけて会社にコミットする様子は、いかにも旧来の日本型サラリーマン的特性のように感じます。ベンチャーや研究者、その他専門職につく人達とは少し違う特性のような。



ただ、個人的にはそれは違うと思います。

自分はまさにこの半沢直樹に出てくるような超旧来型銀行に数年間勤めて、今は研究者をやりつつ、広告やWeb企業やAIベンチャーと仕事をしています。有象無象がいるITベンチャー企業で仕事をしたこともありますし、大学病院にも勤めました。そこで色んな人を見てきた経験的からは、半沢直樹的な特性を持つ人たちはどこにでもいて、それは組織と関係ないということ。

本当に重要なのは、「レールから外れてきたかどうか」。これはその人の特性を決めるかなり主要な要素だと考えています。こういう単純化自体が、そもそも半沢直樹的行為かもしれません。それでも、個人の優秀さとは独立に存在する重要な要素に思います。

また別の言い方をすると、常に興味のある機会を見つけては飛び込んで、を繰り返してきた人かどうか。「外れてきた」「繰り返してきた」というのがポイントです。そしてその対極にいるのが、常にレールの先をまっすぐ見つめて突き進む人。大企業社員もベンチャー社員も研究者も専門職も、レールを突き進む人は皆少なからず、半沢直樹的な直線的思考様式を兼ね備えているように見えます。




僕のポジションでこう書くと、いかにもアウトロー気取りが自分と対極にいる人間を槍玉に溜飲を下げることを目的とした、よくある文章に見えます。が、自分の意図はそこにありません。

いきなり話が飛びますが、前にも書いたように自分は将棋の棋士のストーリーが好きで、藤井聡太二冠も好きです。そして自分が好きな将棋棋士像の典型は、まさにレールを突き進んでいる人です。

なぜいきなり藤井聡太の話になったのか。

それは、レールから外れる人間がいるためには、藤井聡太が必要だからです。藤井聡太がいるからレールが照らされ、彼に挑み破れていく人間達のストーリーに彩が出てくる。つまり、光で照らされた道を突き進む人間がいるからこそ、その周囲の存在が輝くと思うのです。




また話が飛んで、NAISTの話になります。

今はもう亡きNAIST松本研には、レールから外れて飛び込んできた人が沢山いました。大学を中退してきた人、全然関係ない企業を辞めて飛び込んできた人、その他謎の経歴の人。そういう人たちがまとっている空気感、そういう人たちが集まって構成される空気感が、自分は好きでした。

もちろん癖が強い人が多いですし、人間として好きなのと仲良くなれるかどうかは全く別で、むしろ反発し合っていることの方が多かったように思います。また、NAIST入学時にはヘンテコな経歴でも、その後は落ち着いている人もたくさんいます。けれども確かに、あの時のあの空間は、表社会の脱線先として機能していていたように思います。そしてそれは表社会があるからこそ成立していました。



もちろんレールから外れることには多くの影もあります。脱線した先が落とし穴だったり、飛び込んだ先が炎上していたり。アウトローの人生にはそうした悲喜こもごもがあるのです。

そしてこのエントリ自体が認知的不協和の産物であり、生存バイアスであり、ある種の型にはまったアウトローしか見ていない、そういう類のものです。

それでも自分は、舗装された道を進めずに、その周辺の荒地を転がり駆け回る人間の物語に興味を持ちます。

次々とレールを変え七転八倒する、その悲喜こもごもに惹かれます。

いつも、あの空気に満ちている場所を探している気がします。

そこに、人生を感じます。




部屋で麦茶を片手に、モニターの中で変顔を繰り出す熱い男達を観ていて、そんなことを考えました。

ASMR動画からのSelf supervised learningで音源位置特定&アップミキシング(CVPR2020)

息抜き(?)に今年のCVPRのペーパーリストを眺めていたら、ASMR動画で面白いことをしている論文がありました。
Telling Left from Right: Learning Spatial Correspondence of Sight and Sound

入力はYouTubeから大量に落としてきたASMR動画の画像と音声(スペクトログラム)。データセットはYOUTUBE-ASMR-300Kという名前で公開されているので、無限にASMRを聴き続けられます。
YouTube-ASMR-300K | Zenodo

やっていることは、各動画の画像と音声をそれぞれ別々のCNN(画像ネットワークと音声ネットワーク)に突っ込んで、それらを元にタスクを解くこと。で、このタスクのアイデアが面白い。具体的には、入力の音源をランダムに左右反転していて、ニューラルネットには今回の入力が左右反転したものかどうかを解かせます。すると人間と同程度(80%程度)の正答率まで達せられるみたいです。

このタスクを考えついたのがこの論文の全てで、画像ネットワークと音声ネットワークのアテンションや特徴量を見てやると、画像中の音源に対応していたとのこと。加えて、モノラルからステレオへのアップミキシングもできます。

タスクを聞いた時点でこういう結果や応用先は予想できますし、手法的に何か新しいことをしているわけではありません。ただ、新しく急激に増加した資源に注目して(ASMR動画)、そのデータセットならではのタスクを考えつくというのはいいですね。このアイデアを考えついてデータセット集めてる時、面白かっただろうな。

あらためて教科書を読むのが面白い

色々あって、学部時代の所属先で秋から一つ講義をすることになりました。


本来なら前期に行われるはずの講義だったようですが、新型コロナの影響で急遽、秋以降に開講することに。そのイレギュラーのおかげというべきか、ちょうど自分が帰国しているタイミングと重なったので、やってみることにしました。全13回の講義が全てオンラインなのは少し残念ですが、現地まで行かなくていいのはある意味助かります。

f:id:tk_g:20200726130249j:plain
ここではありません


ここ数年の同じ講義のシラバスをながめていると、どの教員もほぼ同じ経歴です。どなたも学部から大学院まで同じ大学、同じ専攻。情報科学で博士号を取った教員が担当した実績はなさそうです。大学全体でも初めてかも。自分が担当するのが少し不思議ではありますが、これも時代の変化なのかもしれません。


とはいえ専門に関わる講義をするのは初めてで、標準的な講義を受けた経験もありません。はりきって自分なりの講義を、みたいに突っ込んで自滅するのを避けるため、ひさびさに論文以外の教科書を読んで分野の復習をしています。今のところ以下の本を読んだので、一行感想でも。他にも面白い本をさがしてます。



思っていたよりもガッツリ計算論的神経科学の入門書。精神疾患について人類がわかっていることは少ないということがわかります。

この切り口でまとめてくれている貴重な教科書。美感について人類がわかっていることは少ないということがわかります。

心理学 第5版補訂版

心理学 第5版補訂版

  • 発売日: 2020/03/12
  • メディア: 単行本
分野全体を簡潔にカバーしています。最初に読むと簡潔すぎるかもしれませんが、講義の副読本としてはいい気がする。人間心理について人類がわかっていることは少ないということがわかります。


自分の興味は、理学や認知科学よりも工学や情報科学に強く寄っています。いわゆる神経科学者や心理学者とは、興味の方向や面白いと思うものが少しちがう。なので論文を書くために必要な知識は、それこそ論文や研究発表でのつまみ食いによってためてきました。そんな状態で改めて教科書を読んでみると、知識が色々整理され、思いのほかためになりました。そのわりにはだいぶ雑な感想……。

プロ将棋棋士の脳

時勢柄、気を抜くと無限にAbema TVを眺めてしまう日々です。将棋を最後に打ったのはおそらく小学生の頃ですが、棋士が好きでよくインタビューや実況解説を見ています(つまり観る将)。



さて、将棋の棋士に焦点を当てた自然科学の研究はどれぐらいあるのか。

shogi - Search Results - PubMed

自然科学の主要な雑誌はほぼ引っかかるPubMedで"shogi"というキーワードで検索してみると、ヒット数は25件と予想通り少ない。大半が日本からの研究です。しかも25件のうちいくつかは、Shogi氏による将棋とは全く関係ない研究。

これがチェスだと将棋の100倍、2000件超引っかかります。研究の動機が、先読みに関する脳活動やら、完全情報ゲームのプロとアマとの比較やらをしたいというものなら、わざわざ(世界的には)マイナーな将棋を使う必要がないのでこの状況は必然かと思います。




少ないながらも、将棋に関する有名な研究はいくつかあります。以下の二つは理研の田中先生の研究です。

science.sciencemag.org
www.nature.com

一つ目のScienceの研究はプロとアマの比較、二つ目のNature Neuroscienceの研究はプロ級の人に限定した研究ですが、特定のシチュエーション("次の一手"を考える時や、受け攻めどちらでいくかを決める時)でどのような脳部位が活動しているのかを明らかにしています。藤井伝説がまだ始まったばかりの頃(今もそうなのかもしれませんが)に発表されたものなので、今発表してたら国内の話題度は段違いだったかも。(ちなみに二つ目の研究に関しては自分のボスがコメントを書いてます:Divide and conquer: strategic decision areas | Nature Neuroscience




棋士にしろ芸術家にしろ、異才の脳を覗くというコンセプトにはロマンを感じます。一方で「脳のどこが関係してそう」というのがわかったところで、何か応用にすぐ活かせるかというとそうではなく、実際は物凄く遠い話。十年後ぐらいには、このギャップがもう少しは埋まっていればいいんですが。



ちなみに自分は藤井聡太(現棋聖)はもちろんですけど、自分は永瀬拓矢(現二冠)や佐々木勇気(現七段)も人間味があって好きです。もちろん彼らも天才なのですが「天才達が死ぬほど努力をして超天才に挑む」というシチュエーションが自分にとって鉄板なのかも。

深層学習を認知神経科学にどう使うか問題

別にどう使っても使わなくてもいいしそれは研究上重要な問題ではないのですが(いきなりタイトルの否定から入る)、一方で新しいもの好きとしてはこういう話を追うのは楽しいものです。研究者には新しい物好きが多いので、認知神経科学のための深層学習(あるいは一般に人工ニューラルネットワーク)の使い方について提案・批判をするレビューはたくさん出ています。

Neuroscience-Inspired Artificial Intelligence - ScienceDirect
Direct Fit to Nature: An Evolutionary Perspective on Biological and Artificial Neural Networks - ScienceDirect
[1903.01458] Deep Learning for Cognitive Neuroscience
Neural network models and deep learning - ScienceDirect
[2006.01001] Artificial neural networks for neuroscientists: A primer
[2005.02181] A neural network walks into a lab: towards using deep nets as models for human behavior
A critique of pure learning and what artificial neural networks can learn from animal brains | Nature Communications

他にも沢山あると思いますが、ここ最近に有名どころから出てきて、自分がパッと思い出せるものだけでもこれだけあります。今まさに研究で使っているわけではないのでもはや追っていられないな、という感じなのですが、こういう論文は

  • すぐ読める
  • 知らない話題なので興味がある
  • 未成熟なのでツッコミどころが沢山ある

と(一部語弊もありますが)ランチネタとしての好条件が勢揃いです。実際、定期的に話題に上がっていました。個人的には、深層学習を認知神経科学で使う研究はおおむね「翻訳機」、「柔軟なモデル」、「シミュレータ」のどれかとして使われていると整理しています。

新発見の裏に新技術があることは多々あります。武器の選択肢が多いことは、その役割について整理できていれば悪いことではないでしょう。

***

まず翻訳機。これは具体的には、別のデータで訓練した深層学習器を特徴量の抽出器として使うケースを想定しています。個人的には、一番上手くいっているのがこの使い方だと思います。古典的な抽出手法よりも豊富、階層的、そしてある程度は解釈可能な特徴量が抽出できます。翻訳の仕方もいろいろあって、脳活動の翻訳という使い方では、単純に中間層と脳活動との間に有意な線形の関係があるか見てみたり(これとか、 これ)、生成モデル(VAEやGAN)の中間層と脳活動との対応を取ってやって刺激再構成に使ってやったり()。

動画()や画像のラベリングに使って、それを説明変数に使うというのも(最終層も中間層の中の一番奥だと考えれば)、広義には(人間の代わりに翻訳してもらうという意味で)含まれると思います。

この系統の研究は適用するドメインや対応の取り方を変えた研究がめちゃくちゃ沢山あって、これからもどんどん出てくるのでは。

***

次に、柔軟なモデル。こちらは、深層学習器を自分のデータセットで訓練してやるケースを想定しています。普通に情報系の研究で使う場合はこのケースが大半ではないでしょうか。

fMRIだとある程度サンプル数のあるデータセットも出てきたので、最近よく見るようになりました。つい先日Kaggleでもコンペがありましたが、きっと上位の人たちは深層学習も試されたのでしょうか?(URL)特にこのコンペの主催者たちも含めて、一部のグループが積極的に取り組んでいるイメージです()。ただ、一般画像や音声などに比べると現状のデータセットではそこまで精度向上しないという報告も()。

予測精度の向上とは別のモチベーションもあります。深層学習はアーキテクチャを柔軟に変えられるので、それを活かして複数のモデルを適用して、脳の情報表現に関する仮説を検証するという使い方()。使いやすいライブラリが沢山あるので、気軽に異なるモデルを試せるのはいいところかなと思います。個人的には、この使い方は今後増えていきそうな気がしてます。

***

最後に、シミュレータ。

例えば何か適当なタスクを解かせて、その挙動や神経表現と、実際の脳との相同性を探るような使い方がされます。チャレンジしてみたっていう研究はかなり沢山出てるのですが、未開の領域感も大きい。そもそも人間並みに解ける深層学習を用意するのも大変だし、どのレベルで相同性を見ればいいのか自由度が大きすぎるし、それがどれだけ生物っぽいのかの議論も全然自明ではない(これとか、これ)。最初にあげたレビューの中にも、この辺の問題について議論している論文も結構あります。スパイキングニューラルネットワークからいわゆる今風の(DeepMind的な)深層学習論文まで、たくさんの人たちがチャレンジしてきた普遍的なテーマだと思いますし、やりたい研究者は多いと思うんですが、なんとなく需給ギャップ(?)が大きいテーマという印象です。

他にも、動物と違って気軽に実験できるシミュレータとして使うケースがあります。例えば、考えてみた学習原理をまた別の実験系で実証してみる的な使い方()。深層学習が人と似ているかどうかはさておき、深層学習でもやっぱり似たような現象が観測された(だから普遍的な学習原理だ)みたいな主張に使ってる感じです。

***

ここまであげたものはどれも方向的には「深層学習を認知神経科学の研究に活かす」という方向です。逆に「認知神経科学を深層学習の研究に活かす」みたいな研究も認知神経科学者側的にはやりたがっている人は多い印象ですが、これも需給ギャップが大きいテーマという印象。もちろんCNNが人にインスパイアされてるだとか、LSTMもAttentionもIntrinsic motivationも人にインスパイアされたものだ、、、みたいなことは言えると思うんですけど、わりとなんでも言えちゃうんじゃないかとか、ちょっと口軽く言えない感じはあります。


まとめが多くて追っていられないと書きつつ、またつまらぬまとめを書いてしまったので、こんなところで。他の整理の仕方だと、Marr的に「計算理論・表現とアルゴリズム・インプリメンテーション」とレベル分けした時にどのレベルの仮説を検証しようとしてるか、みたいな感じで整理することも出来るのかも。個人的にはそちらはあまり直感的じゃないので、こんな感じに整理してみました。