富士通ら、エキマトペを活用した実証実験実施　音情報を文字や手話で表現

2022/6/13(月)

富士通株式会社(以下、富士通)、東日本旅客鉄道株式会社(以下、JR東日本)と株式会社JR東日本クロスステーション(以下、JR東日本クロスステーション)、大日本印刷株式会社(以下、DNP)は、ホームに流れるアナウンスや電車の発着などの音情報を文字や手話で表現する実証実験を実施する。6月9日付のプレスリリースで明かした。

富士通とJR東日本、DNPの3社は、川崎市立聾(ろう)学校で開催された「未来の通学」をテーマとしたワークショップを2021年7月に開催した。このときのワークショップをきっかけに、駅のアナウンスや電車の音といった音情報を文字や手話で視覚的に表現する装置「エキマトペ」の開発プロジェクトを開始した。

3社は、「エキマトペ」を活用した第一弾のプロジェクトとして、JR巣鴨駅にて駅ホームに流れる音を視覚化する実証実験を2021年9月13日から15日に実施した。第二弾となる今回の実証実験では、JR東日本クロスステーションが参画し、社会実装に向けてさらなる省スペース化やコスト削減を意識した「エキマトペ」の筐体の改善を図る。さらに、駅を地域とのタッチポイントとして機能拡張できるよう、ダイバーシティ&インクルージョンに関する地域情報の掲示機能を追加した。2022年6月15日から12月14日までの間、JR上野駅の1・2番線(京浜東北線と山手線)ホームで実施する。

音情報の視覚化は、富士通のスーパーコンピュータ「FUJITSU Supercomputer PRIMEHPC FX1000」で構築したAIの学習モデルを活用し、マイクで集音した駅の音情報を識別する。ホームに流れる定型アナウンスは、テキストに変換されると同時に事前収録したJR東日本の駅社員による手話動画とともにディスプレイ上に表現される。電車の発着音やドアの開閉音などは、手描きアニメーションで表現される仕組みだ。さらに、駅社員によるアナウンスは、富士通の「FUJITSU Software LiveTalk」でテキスト変換し、DNPの「DNP感情表現フォントシステム」を通じて、文章の内容に適した感情豊かなフォントで表現する。
なお、4社は、今回の実証実験を通して得られた知見や駅をユーザーからの「エキマトペ」の体験に関するフィードバックをもとに、駅の利便性向上を目指す。そして、あらゆるユーザーへの情報伝達のあり方について検討を進めると述べている。