研究

複雑な行動系列の学習は誤差逆伝播的に行われない

来週締め切りの国際会議に提出する論文の準備が忙しすぎて完全にBlogを放置していました。目論見としてはこちらに来てからの仕事のうち2つ(それぞれ人間と動物の実験データ解析)を出す予定でした。が、動物の方の結果がまだ微妙、かつそもそも規定上二重…

ChainerでNeural Processesを実装した

Neural Processes人間は新しい環境におかれた時、その環境を理解しようとがんばります。正確に全体を理解したい一方で、時間は有限なので、なるべく効率的に情報を収集して環境の予測を更新していくことも重要です。そうした情報収集をどのように、そしてい…

遺伝子は知的能力(知能)の個人差にほとんど関係しない

どういう論文かStudy of 300,486 individuals identifies 148 independent genetic loci influencing general cognitive function www.nature.comGenome-wide association meta-analysis in 269,867 individuals identifies new genetic and functional link…

自己回帰、Flowベースの深層生成モデルの今

内容 MADEの実装と並行して、特にFlowベースの手法について、様々なブログや論文で全体像や各手法の勉強をしたので、まとめておきます。 全体論 Google BrainのEric JangによるNormalizing Flow解説が極めて秀逸なので、まずこれを読んでから以下の概要・論…

ChainerでMADE: Masked Autoencoder for Distribution Estimation

Autoregressive/Flowベースのモデル深層生成モデル このブログでもよく紹介している深層生成モデル(Deep Generative Model)ですが、近年よく研究されている深層生成モデルにはGANベース、VAEベース、Autoregressiveベース、Flowベースのモデルがあります。…

人工ニューラルネットワーク(特にRNN)を脳のモデルにする時の注意

人工ニューラルネットワークと実際の脳が似ているかどうかは全く自明でなく、その問題自体を絶賛研究中、というのは何回か書いています。「似ている」という研究も確かに最近たくさん出ていますが、逆に考えるとそれだけこれまで似ていないと思われていたか…

文章から抽象的な空間表現を推測する深層生成モデル(GQNの言語への応用)

「AがBの後ろにある」と「BがAの前にある」の二つの文章が同じ関係を表現していることは人間には容易にわかります。しかし、一般的な言語モデルでこれら二つの文章を読ませた場合、モデルが出力する二文の表現はかなり離れたものになってしまうことが知られ…

チーム戦FPSで人間チームを上回るパフォーマンスを出す人工知能エージェント軍団

囲碁やピンポンゲームは既に解かれたので、今のAI研究のターゲットはより長期的な計画を必要とするゲームや、プレイヤーから対戦相手の状況などゲーム状況の一部が隠されているゲーム、あるいは仲間との協調を必要とするゲームなどより高度なものへと移って…

広範な脳領域から同時記録ができる時代

Feature-Based Visual Short-Term Memory Is Widely Distributed and Hierarchically Organized https://www.cell.com/neuron/abstract/S0896-6273(18)30424-0 記憶した情報が脳の広い領域に分布していて、更にそれら領域が情報を保持している時間は領域ごと…

脳は逐次的に構文処理をしている(ACL2018ベストペーパー)

今年開催されたACL(自然言語処理の国際会議)のベストペーパーで、脳波と絡めた論文がありました。 [1806.04127] Finding Syntax in Human Encephalography with Beam Search単語を逐次的に読んでいくニューラル言語モデルによって得られる文章表現が様々なタ…

抽象的な空間表現を獲得するDeepMindの深層生成モデル(GQN)

人間はある視点から撮られた1枚の写真からその空間の全体像を思い描くことができます。もちろんそれは間違っていることもあり、例えば何か重要な物体が壁などの障害物のせいで写っていない場合は、異なる視点からの情報を追加で入手することによる補完が必要…

発展に対する継続的改善とイノベーションの関係

人類はこれまで継続的な発展を遂げてきました。その発展には恐らく、天才的な閃きや偶然による発明だけでなく、それら発明の継続的な改善活動も必要なはずです。こうした発展がどのようなプロセスで生じるのかは、組織論の分野などにおいても非常に重要な問…

結果がない状態で論文を書く

オックスフォードで機械学習のPh.D.をしている学生をしている人と話す機会があったのですが、普段どんな風に論文を仕上げていくか聞きました。 まず結果以外を論文のフォーマットで全部書く それを研究室の人たちにレビューしてもらう 問題なければプログラ…

人工知能モデルの出力を解釈しやすくするために人間が直接介入

モデルの出力が人間にとって解釈可能(Interpretable)かどうかは、実応用を考えると非常に重要です。一方で、解釈可能性を定量化するには実際に人に聞かないといかず、それはコストがかかります。大企業ならいざ知らず、そうではない団体や個人にとっては大…

脳内テレポーテーションによる「あれを取っておけば…」

二つ以上の選択肢があって、どれか一つを選ばないといけない時、どうやら悪い方を選んでしまって「あれを取っておけば…」と思うときはよくあると思います。少なくとも僕はよくあります。この「あれを取っておけば…」という想像を脳の前帯状皮質(Anterior Ci…

人の海馬でも記憶再生が?

自分の今いる場所を脳内で表現している"場所細胞"ですが、睡眠時や休憩時に、これまでの経路を復習する(リプレイする)ことがマウス等の実験から知られています。こうしたリプレイは記憶の定着などに役立つと考えられていますが、そうしたリプレイが人の海…

深層学習の汎化性能は各ニューロンの入力選択性にも依存する

少し前の記事(神経科学者はマイクロプロセッサを理解できるか? - tkg日記)は、古典的な神経科学の手法が(ノイズのない綺麗な大量のデータを解析に使える)マイクロプロセッサの目的すら明らかにできない、という批判的な内容でした。今回の研究はその逆で…

解釈可能な潜在表現を獲得する

beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework | OpenReview上の研究は昨年Deepmindのグループから出たもので、MusicVAE(https://magenta.tensorflow.org/music-vae)やWorldmodel(https://worldmodels.github.io/…

脳は学習の際に決められたリソースを配分している?

スポーツから座学まで、習得した課題に対して何かしらの変更が加わり、柔軟な対応を迫られることはよくあります(再学習)。そのような時、脳はどうやって対応しているのでしょうか。まず準備として、先行研究から、一見高次元な脳活動(無数にあるニューロンの…

神経科学者はマイクロプロセッサを理解できるか?

脳研究者は、人間や動物など研究対象は違えども、脳の目的、目的達成のための手法、そしてその物理的実装に多かれ少なかれ興味があると思います。そうした事柄を探りたい気持ちがある一方で、脳科学の世界はデータの量や精度の制約が厳しいことで知られてい…

脳に腸ネットワークが存在?

ここ最近読んだ二つの本*1はどちらもいわゆる"脳・腸連関"に関するトピックが重要な位置付けにありました。具体的には、我々は脳で考えてると思ってるけど、実は腸の影響もかなりあるのでは、という内容。このeLIFE誌の研究はまさにその関連です。 Stomach-b…

脳活動から言語情報を読み取る

脳から情報を読み取ることが出きれば、脳を介したコミュニケーションができるようになります。人工知能技術を用いてそうした技術を開発することがまさに僕の研究分野なわけですが、映画やアニメのようになるにはまだまだ時間がかかりそうな状況です。最大の…

深層生成モデルの進化が目覚ましい

脳の実験はするのが大変なので、人工知能の力を使ってシミュレーターを作れるとすごく助かります。そういうシミュレーターを実現するためには生成モデルと呼ばれる分野の人工知能が必要になるのですが、ここ数年は深層学習の生成モデルが(自分の中で)熱い…

状況を見極めるか、素早く適応するか。

人間は、新しい環境に放り込まれて課題に取り組むことになったとき、最初は試行錯誤の連続で失敗も多いですが、最終的にはうまく適応して課題をこなすことができます。ここで問題になるのが、環境に適応した後に環境自体が変化する可能性があることです。今…

脳ネットワーク状態からストレス耐性を予測

脳科学の分野、特に人の研究では、異なる脳領域同士(例えば前頭葉と後頭葉)の活動の関係性から個人の病気や性格、様々な能力を予測する研究が盛んに行われています。特に、異なる脳領域の活動の相関を指して機能的結合(Functional Connectivity)と呼ぶこ…

研究成果のデモをWebで公開したい

研究内容を分野外の人にもきちんと理解できる形で届けられるというのはすごく重要で、そういう時にWebでグリグリ動く研究のデモがあると非常に便利です。情報系の研究だとそういうのを用意しているのはすごく多く。例えば以下のMusicVAEやpaint chainerなん…

人工知能の出力理由を人間にもわかりやすくする技術

以下の記事で紹介した2つの研究では、どちらも「注意機構」(attentionと呼ばれます)を用いていました。これは、「人工知能がどんな基準で判断してるかわからない」といった批判に応えるためのものです。 tk-g.hatenablog.jpメカニズムを明らかにすることに…

網膜画像から様々な病気を判定

網膜の写真に対して人工知能技術を適用することによって、様々な病気の判別や予測ができるようです。まずこちらのGoogleの研究は、網膜の画像から糖尿病網膜症を専門家と同レベルの精度で判別できることを示しました。 www.nature.com次にこちらも同じ網膜の…

社会的な"偉さ"に関する脳活動

脳には、特定の物体や人の顔に対応した神経活動があると言われています。ある人の脳活動を見ただけで、その人が今何を見ているかを当てたりすることができるのは、そういった活動のおかげです。 ただ、現実世界の物体や人には、もう少し高次の情報も付随して…

精神疾患を生物学的に再定義

現状の精神疾患の診断には多くの問題がありますが、そのうちの一つが生物学的な指標が存在しないことです。多くの精神疾患は脳の病気と考えられていますが、現状、どんな脳検査も(あるいは血液検査も)、うつ病か双極性障害かを判別することはできません。…