脳は逐次的に構文処理をしている(ACL2018ベストペーパー)

今年開催されたACL(自然言語処理の国際会議)のベストペーパーで、脳波と絡めた論文がありました。
[1806.04127] Finding Syntax in Human Encephalography with Beam Search

単語を逐次的に読んでいくニューラル言語モデルによって得られる文章表現が様々なタスクの精度を向上させています。一方で、最も有名なモデルであるword2vecやGloVeなどは近傍の単語だけを考慮しており、文法構造は考慮していません。

人間が文章を読む時も、これらニューラル言語モデルのように今読んでいる単語(とその周辺単語)の情報だけを処理しているのでしょうか、というのがこの論文の問題意識。著者らの考えとしては、人間は表層的な情報だけでなく、文章の文法構造も考慮しながら逐次処理していっているだろうというもの。この問題はチョムスキーも既存の自然言語処理技術批判の際によく取り上げている問題なので、分野ローカルな問題にも思えますが、重要な問題のようです。

この仮説を検証するため、ある文章を人間とニューラル言語モデルにそれぞれ読ませて、文法を考慮したモデル(RNNGs)と考慮しないモデル(普通のLSTM)のどちらが人間の脳波の活動をよく説明するかを比較しました。過去の類似研究では二つに差は無かったのが、今回最新のモデルであるRNNGsを使ったら、RNNGsの方が通常のLSTMよりよく脳活動を説明したとのこと。

個人的には脳情報みたいなノイズだらけの情報だけでなく、視線などの行動レベルで取れる指標でも見てみたらいいのではと思いました。どうしてこれがベストペーパーなのかという気もしますが、異分野との融合であるということでタスクが面白いのと、あとはDeepMind効果でしょうか。