情報

操作変数法と強化学習と経済学理論

久しぶりに経済関連の本でも読むかと思って手に取った本。「イノベーターのジレンマ」の経済学的解明作者: 伊神満出版社/メーカー: 日経BP社発売日: 2018/05/24メディア: 単行本この商品を含むブログ (3件) を見る著者の研究感についての内容が多く少し期待…

終末期医療とScienceと落合・古市対談

bunshun.jp上の記事を発端に終末期医療にかかるコストが話題になっていましたが、これを読んで自分は、ちょうど昨年の中旬に以下のような論文がScienceに出版されていたのを思い出しました。science.sciencemag.orgこの論文では冒頭で、まさに落合氏や古市氏…

機械学習で77の回帰モデルを83のデータセットに適用して性能を比較

「モデルの種類多すぎてなに使えばいいのかわからない」問題は機械学習応用であるあるの問題だと思います。 よくある方針は ・どんなデータセットにも万能なモデルは存在しない ・線形、非線形、スパース、ニューラル、アンサンブル、、、などの異なる特徴を…

統計学と機械学習の違い?なにを勉強すればいい?

「人工知能と機械学習と統計学とデータサイエンスは何が違うのか」 みたいな疑問をよく聞きます。統計のモデルと機械学習のモデル、どう使い分ければよいのか - Qiitaそういう疑問に答えようとする上のQiitaの記事は、個人的には相当にモヤモヤするものの、…

百を超える選択肢に直面した際の人間の戦略

Neural Processesの記事でも書きましたが、人が未知の環境に置かれた際、どうやって環境を効率的かつ正確に把握しているかは認知科学だけではなく人工知能の問題としても重要な問題です。この論文では、100以上の選択肢からどうやって人間が正解(最も価値が…

脳の感受性が高い人ほど見慣れない出来事に柔軟に対応できる?

オックスフォードの研究室で毎週やっている論文紹介が丁度自分のターンだったので、この論文を紹介しました。英語で発表するのはいつまで経っても緊張します…。 www.nature.com要約はいつもわかりやすい解説を日本語で掲載してくださっている理研の公式プレ…

オックスフォードの情報系人材(学生・ポスドク)の就職事情

オックスフォードは大学街なので、知り合う人の多くは学生か研究者。そのため、特に自分が話すような若い年代の人だとオックスフォードにずっといるつもりの人は少数派です。なので必然的に進路について話す機会も多くなります。僕は今のところ目の前のこと…

ChainerでNeural Processesを実装した

Neural Processes人間は新しい環境におかれた時、その環境を理解しようとがんばります。正確に全体を理解したい一方で、時間は有限なので、なるべく効率的に情報を収集して環境の予測を更新していくことも重要です。そうした情報収集をどのように、そしてい…

自己回帰、Flowベースの深層生成モデルの今

内容 MADEの実装と並行して、特にFlowベースの手法について、様々なブログや論文で全体像や各手法の勉強をしたので、まとめておきます。 全体論 Google BrainのEric JangによるNormalizing Flow解説が極めて秀逸なので、まずこれを読んでから以下の概要・論…

ChainerでMADE: Masked Autoencoder for Distribution Estimation

Autoregressive/Flowベースのモデル深層生成モデル このブログでもよく紹介している深層生成モデル(Deep Generative Model)ですが、近年よく研究されている深層生成モデルにはGANベース、VAEベース、Autoregressiveベース、Flowベースのモデルがあります。…

人工ニューラルネットワーク(特にRNN)を脳のモデルにする時の注意

人工ニューラルネットワークと実際の脳が似ているかどうかは全く自明でなく、その問題自体を絶賛研究中、というのは何回か書いています。「似ている」という研究も確かに最近たくさん出ていますが、逆に考えるとそれだけこれまで似ていないと思われていたか…

文章から抽象的な空間表現を推測する深層生成モデル(GQNの言語への応用)

「AがBの後ろにある」と「BがAの前にある」の二つの文章が同じ関係を表現していることは人間には容易にわかります。しかし、一般的な言語モデルでこれら二つの文章を読ませた場合、モデルが出力する二文の表現はかなり離れたものになってしまうことが知られ…

チーム戦FPSで人間チームを上回るパフォーマンスを出す人工知能エージェント軍団

囲碁やピンポンゲームは既に解かれたので、今のAI研究のターゲットはより長期的な計画を必要とするゲームや、プレイヤーから対戦相手の状況などゲーム状況の一部が隠されているゲーム、あるいは仲間との協調を必要とするゲームなどより高度なものへと移って…

脳は逐次的に構文処理をしている(ACL2018ベストペーパー)

今年開催されたACL(自然言語処理の国際会議)のベストペーパーで、脳波と絡めた論文がありました。 [1806.04127] Finding Syntax in Human Encephalography with Beam Search単語を逐次的に読んでいくニューラル言語モデルによって得られる文章表現が様々なタ…

抽象的な空間表現を獲得するDeepMindの深層生成モデル(GQN)

人間はある視点から撮られた1枚の写真からその空間の全体像を思い描くことができます。もちろんそれは間違っていることもあり、例えば何か重要な物体が壁などの障害物のせいで写っていない場合は、異なる視点からの情報を追加で入手することによる補完が必要…

人工知能モデルの出力を解釈しやすくするために人間が直接介入

モデルの出力が人間にとって解釈可能(Interpretable)かどうかは、実応用を考えると非常に重要です。一方で、解釈可能性を定量化するには実際に人に聞かないといかず、それはコストがかかります。大企業ならいざ知らず、そうではない団体や個人にとっては大…

将来なにがクールになるかはわからない

相変わらず息抜きにPodcastを聞いてますが、Rebuild.fmのomoさんの会が面白かったです。rebuild.fm「プログラマーの仕事は途上国の人材に取られるとちょっと前は言われてたけど、意外とそうなってない。ニューラルネットを含む人工知能、他にもコンパイラな…

深層学習の汎化性能は各ニューロンの入力選択性にも依存する

少し前の記事(神経科学者はマイクロプロセッサを理解できるか? - tkg日記)は、古典的な神経科学の手法が(ノイズのない綺麗な大量のデータを解析に使える)マイクロプロセッサの目的すら明らかにできない、という批判的な内容でした。今回の研究はその逆で…

解釈可能な潜在表現を獲得する

beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework | OpenReview上の研究は昨年Deepmindのグループから出たもので、MusicVAE(https://magenta.tensorflow.org/music-vae)やWorldmodel(https://worldmodels.github.io/…

神経科学者はマイクロプロセッサを理解できるか?

脳研究者は、人間や動物など研究対象は違えども、脳の目的、目的達成のための手法、そしてその物理的実装に多かれ少なかれ興味があると思います。そうした事柄を探りたい気持ちがある一方で、脳科学の世界はデータの量や精度の制約が厳しいことで知られてい…

脳活動から言語情報を読み取る

脳から情報を読み取ることが出きれば、脳を介したコミュニケーションができるようになります。人工知能技術を用いてそうした技術を開発することがまさに僕の研究分野なわけですが、映画やアニメのようになるにはまだまだ時間がかかりそうな状況です。最大の…

深層生成モデルの進化が目覚ましい

脳の実験はするのが大変なので、人工知能の力を使ってシミュレーターを作れるとすごく助かります。そういうシミュレーターを実現するためには生成モデルと呼ばれる分野の人工知能が必要になるのですが、ここ数年は深層学習の生成モデルが(自分の中で)熱い…

研究成果のデモをWebで公開したい

研究内容を分野外の人にもきちんと理解できる形で届けられるというのはすごく重要で、そういう時にWebでグリグリ動く研究のデモがあると非常に便利です。情報系の研究だとそういうのを用意しているのはすごく多く。例えば以下のMusicVAEやpaint chainerなん…