- 大人の保育者がスマートフォンを額に当てて子どもに画像を真似させるゲーム、「Guess What?」は、どのように自閉スペクトラム症（ASD）の子どもたちの療育的学習に役立つのか？
- 「Guess What?」のビデオ録画は、スタンフォード大学の研究者に提出され、ASDの遠隔診断や感情認識データセットの改善などに活用されるが、これによって具体的に何が実現されるのか？
- 「Guess What?」のデータセットを利用したAI開発によって、自閉症の子どもの表情から感情を識別する際、どのような特長が他のAIよりも優れているのか？
米スタンフォード大学の研究者が考案した「Guess What？」は、大人の保育者がスマートフォンを自分の額に当て、画面に表示された画像を子どもに真似してもらうというゲームのスマホアプリです。
画像は「猿」や「サッカー選手」、「うれしい顔」や「悲しい顔」かもしれません。
大人は、子どもが何を演じているかを推測し、正解ならスマートフォンを前方に、不正解なら後方に傾けて登録します。
自閉スペクトラム症（ASD）の子どもたちにとって、このゲームは、家庭で簡単にできる療育的学習であり、保育者と目を合わせたり、さまざまな表情から特定の感情を連想するのに役立ちます。
しかし、「Guess What? 」の価値はもっと深いところにあります。
各９０秒のゲームセッションはビデオ録画され、スタンフォード大学の研究者に提出することができます（適切なプライバシー保護に関して同意のもとに）。
スタンフォード大学の小児科、精神医学、行動科学、生物医学データサイエンスの教授で、スタンフォード人間中心人工知能研究所の提携教授であるデニス・ウォールはこう言います。
「カメラのスイッチを入れて、子どもに役立つ指示を与えることができれば、子どもをやる気にさせ、情報を収集しながら進めることができます」
ウォールの研究チームは、数年前から「Guess What?」という家庭用ビデオ録画を収集し、それを使って、ASDの遠隔診断、感情認識データセットの改善、子どもの感情認識の進捗状況の追跡、そして最終的にはASD治療の改善といった新しい方法の開発に取り組んできました。
コンピュータビジョンや他のAIを用いたこの研究は、他のタイプの行動分析にも応用できる可能性があります。
ウォール研究室で博士号を取得し、現在はハワイ大学の情報・コンピューターサイエンスの助教授であるピーター・ワシントンはこう言います。
「ウォール研究室が自閉症向けに開発した手法は、他の発達障害、精神疾患、統合失調症などの感情障害など、あらゆる種類の疾患に適用できる新しい汎用的な人間行動モデルを可能にします」
自閉症の子どもたちは、視線を合わせたり、社会的・感情的相互作用と呼ばれるものを行ったり来たりするのが苦手です。
社会的相互作用には、とくに他者の顔の中にある感情を認識することなど、非言語的手がかりを理解することが必要です。
社会的相互作用は、子どもがかなり幼いときに学ぶことが最善であり、ASDの子どもたちにそれを教えるためのさまざまな戦略（たとえば、携帯フラッシュカードを使うなど）が効果的であることは証明されています。
しかし、それを一般化し普及させるのは難しいとウォールは言います。
この問題に対処するため、ウォールの研究チームは、拡張現実ウェアラブル（特にGoogle Glass）を使用して、対話する相手の感情に関する手掛かりを子どもに与える自閉症治療プログラムを開発しました。
Google Glassのアプローチはマスコミで注目され、無作為化比較試験で効果が証明されましたが、拡張現実ツールはまだ普及していません。
この限界を克服するために、ウォールの研究チームは、よりユビキタスなツールであるスマートフォンを使う「Guess What?」を開発しました。
「社会経済的地位、人種、民族を問わず、ほとんどの人がスマートフォンを持っています。
そのため、健康管理や治療を支援するための有力な手段となっています。
また、スマートフォンは家庭での社会的交流の口実となるため、家族で使うことがより自然です」
ウォールにはもう一つの目標がありました。
それは、自閉症である子どもたちと自閉症でない子どもたちのホームビデオを集めることです。
家族が安全に研究者とビデオを共有できるゲームを作ることで、自閉症の診断と治療の分野を前進させるのに十分な量のデータセットを集めたいと考えたのです。
そして、その努力は実を結び始めています。
自閉症の子どもたちには早期の療育介入が有効です。
しかし米国では、診断に通常約２年かかり、診断の平均年齢はほぼ４歳半です。
さらに、自閉症のサービスは全米で一様に行き渡っていません。
全米の８３パーセント以上の郡では自閉症診断サービスを全く提供していないのです。
このようなサービスのギャップを埋めるため、ウォールの研究チームは「Guess What?」のホームビデオを使ってAIモデルを開発し、最終的には自閉症の半自動遠隔診断を可能にしようとしています。
それがうまくいくと考える十分な理由があります。
ウォールとワシントンは以前の研究で、クラウドソーシングによって、専門家でない人たちが若者のビデオを見て自閉症の特徴（ある種の反復的な発話、視線の欠如、特定の頭の動き、指弾きなどの特異な指の使い方など）をラベル付けする能力が専門の医師と同程度であることを発見しています。
さらに、これらのラベル付けされた動画を用いて、どの子どもが自閉症であるのかを高い精度（９０パーセント以上）で予測するAIを作っています。
研究チームは今後、このモデルがより賢くなり、人間の手を借りずに自閉症の子どもを診断できるようになることを期待しています。
しかし、そのためには機械学習にに使うホームビデオのストックが大量に必要となります。
そのためにも開発したのがスマホで動作する「Guess What?」でした。
研究チームは最近の論文で、「Guess What?」ビデオの音声部分だけを使って、自閉症であるかを予測するアイデアを検証しています。
音声が自閉症の診断に関係するのは、自閉症の子どもの多くが、自閉症でない子どもとは異なる発声をすることが知られているからだとワシントンは言います。
例えば、他の人が使った言葉を反響させたり、単音や非定型のピッチで話したり、異常な方法で言葉を強調したりすることが多いのです。
研究チームは、５８人の子ども（そのうち自閉症の子どもは２０人）の８５０の音声クリップに音声ベースのディープラーニング手法を適用し、自閉症でない子どもと自閉症の子どもを７９パーセントの精度で判別させることができました。
なお、これはまだ臨床的に十分とは言えず、自閉症は人によってさまざまな現れ方をするために、音声記録だけの診断は十分ではないことを、念頭に置くことが重要だといいます。
「私たちが開発したクラウドソーシングにより、人間が特徴抽出を行った機械学習でさえも、高いパフォーマンスを発揮するためには、少なくとも５種類の行動や入力特徴を必要としました」
次のステップでは、音声信号と映像に含まれる他の種類の行動情報（感情認識、手の動きなど）を組み合わせることに着手する予定です。
ワシントンはこう言います。
「私は、複数のデータソースを統合して説明可能とする、診断システムにするモデルの開発に興味があります。
例えば、感情認識やアイコンタクトと、発話などの別の行動も知ることは有益でしょう」
研究チームは、このアプリが自閉症の早期診断に役立つことを期待しているだけでなく、子どもたちが他人の感情を学び、認識するのに役立つことを期待しています。
すでに開発したGoogle Glassを利用したシステムでは、子どもたちが他人の顔を見ると、相手がどんな感情を表しているのかがわかるようになっています。
このシステムを正確かつ確実に動作させるためには、ラベル付けされた顔の表情のデータセットで訓練されたAIが必要です。
ウォールとワシントンは、「Guess What?」ビデオの膨大なデータから、子どもの表情の画像を抽出しました。
そして、専門家でなくてもすぐに画像を見て様々な感情をラベル付けできるようなゲームも作成しました。
画像に「楽しい」「悲しい」のマークを付けるようなことができます。
このラベル付けされたデータセットを使って学習させたAIは、子どもの表情から感情を識別する際に、既存のどのAIよりも優れた性能を発揮しました。
「Guess What?」のデータセットが大きくなれば、教育・治療ツールとしての効果を向上させることができる情報を生み出す可能性があります。
研究チームは、さらに自閉症の子どもたちが時間とともにどうなっていくかを追跡することにも意欲的です。
例えば、感情の認知がうまくなっているのか、そうでないのか。
頭の動き、指の動き、アイコンタクトに変化があるのかないのか。
「これらの情報を組み合わせることで、自閉症の表現型がどのように進行していくのか、縦断的に理解できる可能性が出てきます。
ゲームをしてもらうことで、時系列データも入手できるのです」
（出典・画像：米スタンフォード大HAI）
お家でゲームでの療育ができ、同時にそれで得られたデータで診断やよい療育を行うAIが育っていく。
さすがスタンフォードという感じです。
スタンフォードのGoogle Glassのシステムは２０１６年に伝えられています。
それから６年、より普及しているスマホベースでの取り組みになったのですね。
（チャーリー）
