- 障害を持つ子どもが社会的スキルを学ぶために、VRやAIがどのように役に立つのか？
- 日常生活において、VRやAIを活用することでどのように効果的なコミュニケーションが可能になるのか？
- 家族や教育者が、iKNOWシステムを利用してどのように子どもの成長をサポートできるのか？
米カンザス大学の研究者たちは、10年以上にわたり、とくに自閉症スペクトラム障害などの障害を持つ学生が、学校生活で必要な社会的スキルを学び、練習し、向上させるためのバーチャルリアリティ（VR）システムの開発に取り組んできました。
そして今、同大学の研究チームは、人工知能（AI）技術を組み合わせるための資金を獲得し、これまでのVRシステムに加えて、より自然な状況下で社会的相互作用を磨くための「拡張現実（XR）」体験を提供するプロジェクトに着手します。
今回、アメリカ合衆国の特別支援教育プログラムから、カンザス大学教育・人間科学部の研究者たちに対して、5年間で250万ドル（約４億円）の助成金が交付されました。このプロジェクトは「Increasing Knowledge and Natural Opportunities With Social Emotional Competence（iKNOW）」と名付けられており、これまでの研究成果を土台に、拡張現実と実際の世界の要素、そしてAIの機能を融合させることで、学生と教師に没入感のある本物そっくりの体験を提供することを目指しています。
iKNOWは、これまでにカンザス大学が開発し、障害を持つ学生の社会的スキルの向上に統計的にも有意な効果が認められたVRシステム「VOISS（Virtual reality Opportunity to Integrate Social Skills）」の機能を拡張するものです。
VOISSは、教室、廊下、カフェテリア、バスなど、学校内の様々な仮想環境で、183の社会的スキルに関する知識や理解を学ぶための140種類のユニークなシナリオを提供しており、iPad、Chromebook、Oculus VRヘッドセットなど複数のプラットフォームを通じて、学生と教師が利用できます。
また、VOISSは、単に教室内という限られた環境だけでなく、さまざまなシーンで受容的・表現的コミュニケーションなどの社会的スキルを活用する練習も支援します。
iKNOWでは、これまでのVOISSのVR要素に加え、大規模言語モデルなどのAI機能を統合し、事前収録されたナレーションを聞いてボタンを押すだけという受動的な操作ではなく、ユーザー自身が発話して自然な対話ができるようシステムを強化します。
新システムでは、ユーザーが発話した内容をリアルタイムで正確に文字起こしし、発話に応じた適切な動画の反応や、ユーザーの回答に対する音声解析、さらには指導内容に合わせた画像やグラフィックスをタイムリーに統合して、文脈の理解を深めることが可能となります。
カンザス大学ライフスパン研究所のアンバー・ローランド准研究教授はこう述べています。
「iKNOW内のアバターは、私たちが望む行動や反応を示すようプログラムでき、学生に見せたい実践例をモデルとして提供できます。
AIを活用することで、学生が自然な対話を楽しみ、『人間が介在する』状況で自ら発話できる環境を整えることができるのです」
また、今回の発話による応答機能は、日常の状況に即した自然で親しみやすい対話を実現するだけでなく、どのような返答が好ましいかという文脈の理解を学生に促します。
ローランドによれば、従来のシステムでは、複数の選択肢が提示される際に、学生は正しい答えを選べるものの、実際の生活で自分がどのように反応するかという点では、必ずしも一致しないことがしばしばあったとのことです。
さらに、iKNOWは、学生の進捗をリアルタイムでモニタリングする機能も搭載します。
これにより、学生がどれだけ話したか、発話の頻度、使用されたキーワードの数、どの部分でつまずいたかなどのデータを、学生自身、教育者、そして家族が確認でき、より効果的な指導に役立てることが可能になります。
iKNOWで使用されるすべてのアバターの声は、実際の中学生、教育者、管理者によって提供されており、監督下での同級生との練習に伴う不安や気配りをせずに、より自然な環境の中で社会的スキルの練習ができるよう配慮されています。
つまり、ユーザーは「練習相手が自分のことをどう思っているか」といった心配をすることなく、XR環境内で必要なスキルを十分に練習し、実生活へとスムーズに移行できるようになるのです。
カンザス大学の准研究教授のマギー・モッシャーはこう言います。
「このシステムは、従来は同級生をトレーニングするしかなかった部分を補完し、教師の負担を軽減すると同時に、障害を持つ学生が『こうできない』というレッテルを貼られることなく、様々な環境で必要なスキルを学ぶためのツールを提供します」
モッシャーは、博士論文でVOISSと他の社会的スキル介入プログラムを比較検証し、VOISSが複数の領域で社会的スキルや知識の向上に統計的に有意な効果をもたらすこと、またそのシステムが受け入れやすく、適切で実現可能であることを明らかにしました。
その成果は『Computers & Education』や『Issues and Trends in Learning Technologies』といった学術誌に掲載されています。
すでに、研究チームはApple StoreやGoogle Playで利用可能なVOISSを、全国の学校で実施しており、より詳細な情報やデモ、動画はiKNOWの専用サイトで確認できます。
また、サイト内の「work with us」ページからは、システムの利用希望者が開発者に連絡を取ることもできます。
さらに、iKNOWは、実社会での社会的スキルの一般化（習熟したスキルの転用）を支援するため、教師や家族向けにウェブサイト上でリソースを提供する予定です。
ショーン・スミス教授はこう言います。
「研究に基づく社会・情動面でのVR体験（VOISS）と、ますますパワーアップし柔軟性が高まるAI技術を組み合わせることで、iKNOWは障害を持つ学生だけでなく、社会的に苦戦しているクラスメートに対しても、個々に合わせた学習体験を提供できるようになります。
我々の願いは、iKNOWが学生にとって必要不可欠な社会・情動スキルをさらに効果的に習得させ、実社会での学習成果全体の向上に寄与することです」
（出典・画像：米カンザス大学）
安全に学べるVRで、AIにより、よりリアルな人とのやりとりができるようになれば、それは効果的に学べる環境になりそうです。
期待しています。
（チャーリー）
