発展に対する継続的改善とイノベーションの関係

人類はこれまで継続的な発展を遂げてきました。その発展には恐らく、天才的な閃きや偶然による発明だけでなく、それら発明の継続的な改善活動も必要なはずです。こうした発展がどのようなプロセスで生じるのかは、組織論の分野などにおいても非常に重要な問…

結果がない状態で論文を書く

オックスフォードで機械学習のPh.D.をしている学生をしている人と話す機会があったのですが、普段どんな風に論文を仕上げていくか聞きました。 まず結果以外を論文のフォーマットで全部書く それを研究室の人たちにレビューしてもらう 問題なければプログラ…

受かるために落ちる

turingcomplete.fm Turing Complete FMでは川合史朗さんがゲストに出ている回が一番面白い気がします。川合さんはハワイで俳優をやっている現役スーパープログラマーという面白い人なんですが、俳優として活動するにはオーディションに通る必要があります。…

人工知能モデルの出力を解釈しやすくするために人間が直接介入

モデルの出力が人間にとって解釈可能(Interpretable)かどうかは、実応用を考えると非常に重要です。一方で、解釈可能性を定量化するには実際に人に聞かないといかず、それはコストがかかります。大企業ならいざ知らず、そうではない団体や個人にとっては大…

ψの悲劇| 森博嗣

ψの悲劇 The Tragedy of ψ (講談社ノベルス)作者: 森博嗣出版社/メーカー: 講談社発売日: 2018/05/09メディア: 新書この商品を含むブログ (3件) を見る日本の書籍を現物で入手するのはかなり辛いですが、森博嗣の本はほぼ全てKindle化しているので助かります…

脳内テレポーテーションによる「あれを取っておけば…」

二つ以上の選択肢があって、どれか一つを選ばないといけない時、どうやら悪い方を選んでしまって「あれを取っておけば…」と思うときはよくあると思います。少なくとも僕はよくあります。この「あれを取っておけば…」という想像を脳の前帯状皮質(Anterior Ci…

聴覚野とよく似たニューラルネットワーク

以下の記事で、ニューラルネットワークの解析方法それ自体が確立していないと書きました。前頭葉を模したニューラルネットワーク - tkg日記実際それは事実なのですが、最近よくやられている手法としては、ニューラルネットワークの各層から実際の脳活動を予…

将来なにがクールになるかはわからない

相変わらず息抜きにPodcastを聞いてますが、Rebuild.fmのomoさんの会が面白かったです。rebuild.fm「プログラマーの仕事は途上国の人材に取られるとちょっと前は言われてたけど、意外とそうなってない。ニューラルネットを含む人工知能、他にもコンパイラな…

人の海馬でも記憶再生が?

自分の今いる場所を脳内で表現している"場所細胞"ですが、睡眠時や休憩時に、これまでの経路を復習する(リプレイする)ことがマウス等の実験から知られています。こうしたリプレイは記憶の定着などに役立つと考えられていますが、そうしたリプレイが人の海…

前頭葉を模したニューラルネットワーク

「そもそもニューラルネットワークは脳を模したものだろうに、何を言っているのか」という感じのタイトルですが。実際にはニューラルネットワークが脳と似ているかは殆どわかっていないので、似ていたというだけで論文になる時代です。この論文もそんな研究…

ブログで論文のことを書くのは難しい。新規性と独創性。

ブログに論文のことを書くのは案外難しいとよく思います。よくある論文の形式は以下のようなものです。 ある重要な問題Aがある。 色々な取り組みがされてきたけど、問題B,C,Dのせいで中々解決していない。 問題B,C,Dを解決するためにこんなことを考えた。 見…

忙しくなってきた

今年の1月に初めてから一応、週三日異なるカテゴリ(脳系・情報系・雑記)の記事を投稿することを目標にしてたのですが、こちらにきてから完全に破綻しそうです…。 こちらでの家探しや導入もようやく終わり、いよいよ本格的に研究が始まったなという感じの…

深層学習の汎化性能は各ニューロンの入力選択性にも依存する

少し前の記事(神経科学者はマイクロプロセッサを理解できるか? - tkg日記)は、古典的な神経科学の手法が(ノイズのない綺麗な大量のデータを解析に使える)マイクロプロセッサの目的すら明らかにできない、という批判的な内容でした。今回の研究はその逆で…

解釈可能な潜在表現を獲得する

beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework | OpenReview上の研究は昨年Deepmindのグループから出たもので、MusicVAE(https://magenta.tensorflow.org/music-vae)やWorldmodel(https://worldmodels.github.io/…

オックスフォードでの生活雑感 その1

オックスフォードで生活を初めて早くも2週間が経過しましたが、予想よりも快適に過ごせています。まず、街の施設がコンパクトにまとまっていて、必要なものは徒歩圏内で全部揃います。流石に24時間やってるコンビニみたいなお店はありませんが、7時から23時…

脳は学習の際に決められたリソースを配分している?

スポーツから座学まで、習得した課題に対して何かしらの変更が加わり、柔軟な対応を迫られることはよくあります(再学習)。そのような時、脳はどうやって対応しているのでしょうか。まず準備として、先行研究から、一見高次元な脳活動(無数にあるニューロンの…

神経科学者はマイクロプロセッサを理解できるか?

脳研究者は、人間や動物など研究対象は違えども、脳の目的、目的達成のための手法、そしてその物理的実装に多かれ少なかれ興味があると思います。そうした事柄を探りたい気持ちがある一方で、脳科学の世界はデータの量や精度の制約が厳しいことで知られてい…

ゆるく継続する

人間は何かが良くなっていることよりも、悪くなったことの方に気を取られます。これはブログでも同じで、気合いを入れすぎた記事を書くと、その後の更新時に同等かそれ以上の品質を期待してしまい、更新が中断する大きな原因になります。このブログは継続的…

大学院生活の終了

とうとう日本での大学院生活も終わり、来週から英国での生活が始まります。改めて、いまの時代に脳やAIの分野の最先端の研究に触れることができてよかったなと感じます。業界として登り調子な、けどどこに向かっているのか全くわからない感じがするカオスな…

できる研究者の論文生産術 どうすれば「たくさん」書けるのか | ポール.J・シルヴィア

できる研究者の論文生産術 どうすれば「たくさん」書けるのか (KS科学一般書)作者: ポール.J・シルヴィア,高橋さきの出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本(ソフトカバー)この商品を含むブログ (1件) を見る先輩からおすすめされて読…

アンナチュラルは最後までよかった

前回の記事(野木亜紀子さん(アンナチュラル ) - 脳やAI、読書のメモ)先日最終話が終わりましたが、最後までよかったです。脇を固める俳優陣が豪華で、脚本も丁寧に書かれていたのでわざとらしさや無理やり感を感じることがなかったです。ただ、中堂の処…

脳に腸ネットワークが存在?

ここ最近読んだ二つの本*1はどちらもいわゆる"脳・腸連関"に関するトピックが重要な位置付けにありました。具体的には、我々は脳で考えてると思ってるけど、実は腸の影響もかなりあるのでは、という内容。このeLIFE誌の研究はまさにその関連です。 Stomach-b…

脳活動から言語情報を読み取る

脳から情報を読み取ることが出きれば、脳を介したコミュニケーションができるようになります。人工知能技術を用いてそうした技術を開発することがまさに僕の研究分野なわけですが、映画やアニメのようになるにはまだまだ時間がかかりそうな状況です。最大の…

深層生成モデルの進化が目覚ましい

脳の実験はするのが大変なので、人工知能の力を使ってシミュレーターを作れるとすごく助かります。そういうシミュレーターを実現するためには生成モデルと呼ばれる分野の人工知能が必要になるのですが、ここ数年は深層学習の生成モデルが(自分の中で)熱い…

状況を見極めるか、素早く適応するか。

人間は、新しい環境に放り込まれて課題に取り組むことになったとき、最初は試行錯誤の連続で失敗も多いですが、最終的にはうまく適応して課題をこなすことができます。ここで問題になるのが、環境に適応した後に環境自体が変化する可能性があることです。今…

心を操る寄生生物 : 感情から文化・社会まで

先日紹介したダイエットに関する科学の本(ダイエットの科学―「これを食べれば健康になる」のウソを暴く - 脳やAI、読書のメモ)を読んでいた時に、研究者の先輩からオススメされたので読んでみました。心を操る寄生生物 : 感情から文化・社会まで作者: キャ…

いま聞いてるPodcast(rebuild.fm, mozaic.fm, dex.fm, turing complete fm, etc.)

なんとなく今聞いてるポッドキャストをまとめてみます。rebuild.fmは安定して面白いですが、最近一番面白いのはTuring Complete fmですかね。Rebuild - Podcast by Tatsuhiko Miyagawa 技術系その1。相変わらず聞いているし、一番楽しみにしてます。技術系…

脳ネットワーク状態からストレス耐性を予測

脳科学の分野、特に人の研究では、異なる脳領域同士(例えば前頭葉と後頭葉)の活動の関係性から個人の病気や性格、様々な能力を予測する研究が盛んに行われています。特に、異なる脳領域の活動の相関を指して機能的結合(Functional Connectivity)と呼ぶこ…

ダイエットの科学―「これを食べれば健康になる」のウソを暴く

前々から栄養学についてはすごく興味がありました。というのも、結局何を食べれば健康にいいのか、全然わからないから。そんな中で以下のツイートに興味をひかれました。意外と知られてない、ダイエットについての、知らないと凄く損する事実をまとめました…

研究成果のデモをWebで公開したい

研究内容を分野外の人にもきちんと理解できる形で届けられるというのはすごく重要で、そういう時にWebでグリグリ動く研究のデモがあると非常に便利です。情報系の研究だとそういうのを用意しているのはすごく多く。例えば以下のMusicVAEやpaint chainerなん…