Harmonized Interactionsは音声認識や音声対話技術を開発、GarateaCircusはコンピュータグラフィックスを開発している企業だ。Ideinは画像解析AIとツールと提携するサービスを提供している。豊橋技術科学大学は自動運転の開発を行っており、湖西市が行った「湖西市企業シャトルBaaS事業」の実証実験にも参加した。

今回のシステムには、自動運転バス車内を想定してカメラ画像認識技術（ドライバーモニターシステム、車室内監視システム）を活用した。乗客の顔や体の動きを検知し、AIを用いて検知した画像・音声、蓄積したデータなどから乗客の状況や意図を統合的（マルチモーダル）に解析する。

AIが解析した判断は、3DCGアーティスト「TELYUKA（テルユカ）」が制作するCGキャラクター「Saya」を通じて乗客に伝える。今回のシステムには乗客の転倒防止や忘れ物警告といった”車室内の見守り”機能を搭載しており、「Saya」はAI解析の判断や”見守り”機能の結果を、リアルタイムかつ自然な表現で乗客の状況や意図に応じた自然な対話を行う。

また「Saya」は乗車時に個人を認識して話しかけることで、自動運転に伴うちょっとした不安を”見守り”機能で解消し、”移動”に楽しさや快適さを提供する。
なおアイシン精機は、今後自動運転バス車内のみならず、街や社会全体をさらに住みやすく、快適にするための様々な分野への展開を目指すと述べている。
(出典：アイシン精機 Webサイトより)