聴覚障がい者が健聴者と同じ土台に立ち、スムーズにコミュニケーションできないか――課題を感じていたソフトバンク社員が、先端技術を駆使して解決に挑んでいる。手話通訳者不足の課題を緩和し、インクルージョンを促進する技術として開発が進む「SureTalk（シュアトーク）」に今、自治体や企業から高い関心が寄せられている。
ソフトバンクでSureTalkのプロジェクト責任者を務める田中敬之氏に、サービス開発への思いとこれまでの経緯、現状の到達点、そして今後の展望について聞いた。
1．出発点は、聴覚障がい者と健聴者とのコミュニケーション
音声言語が聞こえない聴覚障がい者の雇用が進み、さまざまな企業や組織で活躍している。だが対面でのコミュニケーションとなると課題はある。聴覚障がい者の言語は手話、健聴者は音声を基本としており、そのままではスムーズなやりとりはできないからだ。
田中氏は、その問題を身近に感じていた。「弊社には聴覚障がいのある社員が多数在籍しており、さまざまな部門で活躍しています。ただ、現場ではコミュニケーションにおいてギャップが生じることもあり、私自身も聴覚障がいのある社員と一緒に仕事をする中で、肌で課題を感じていました」と田中氏は話す。1対1の会話なら聴覚障がい者が意思表示をしたり、話の内容を理解する時間をじっくりとったりすることができる。だが、グループや部門に聴覚障がい者が1人しかいないような場合、健聴者だけでどんどんと話が進んでいくことが多々あったそうだ。
手話者と健聴者がコミュニケーションするための手段として、手話通訳者がいる。しかし、手話通訳者は不足している。全国に聴覚障がい者はおおよそ35万人いるといわれているが、聴覚障がい者人口に対しては十分な人数がいるとはいえない。
その一方で、AIを使った画像や動画の認識技術はめざましく発展している。これを活用できないか？社内の新規事業アイディアコンテストに申請したところ、見事に優勝を収めた。そこで国立大学法人電気通信大学の協力を得て、技術的に可能かどうかの調査と基礎研究を進めることとなり、後のSureTalkにつながるプロジェクトが生まれた。2017年末のことだ。
2．汎用性のある端末とインターネットでハードルを下げる
手話認識は新しい研究分野ではない。これまでも、手にグローブをはめセンサーをつけて特定の動きだけを認識するなどの研究が行われてきた。しかし、どれも商用化には至っていなかった。
それに対しSureTalkは、スマートフォン、タブレット、PCなど普及しているデバイスにあるカメラとマイクを用いる。手話者がカメラに向かって手話の動きをし、健聴者はマイクに向かって話しかける。画面上には、手話と音声をその都度変換したテキストがリアルタイムに表示され、コミュニケーションを進めることができる（図1）。手話者の動きを追跡して認識する画像認識技術、日本語の文章にする自然言語処理（NLP）、健聴者の音声を認識して変換する技術が重要な柱になる（図2）。
図1 SureTalkアプリ機能
（出典）ソフトバンク株式会社
図2 Suretalkを使ったコミュニケーションの処理の流れ
（出典）ソフトバンク株式会社
SureTalkは現在、無償でWeb版とモバイルアプリ（iOS）版の手話登録機能を提供しており、インターネット環境と端末のカメラがあれば利用できる。沢山の手話データを集めることで、認識率を向上させ、最終的には、手話利用者と手話を理解できない人とがコミュニケーションができることを目指している。
手話を使う聴覚障がい者からすれば、容易に自分の意見を伝えたりコミュニケーションに参加できたりするようになり、同じステージに立って活躍できる。
田中氏のような企業・組織で聴覚障がい者と健聴者が一緒に働く場面でのニーズに加え、自治体の来庁者対応も大きなニーズだ。手話言語条例を定める都道府県や市町村が増えているが、それらの自治体の中には、手話通訳者がいても来庁する聴覚障がい者全員にタイムリーに対応できないという課題を抱えていた。
手話者1人に対して、それに関わる職員が10人いるとすれば、それだけの職員がSureTalkの恩恵を受けることになる。潜在的なインパクトは大きい。
「社会課題を解決しようなどと壮大な目標を持っていたわけではありません」と田中氏は話す。「まずは身近な問題として、聴覚障がいのある同僚とコミュニケーションを取りながら業務を進めたいと思い、色々と調べているうちに同じような課題を感じている人がいることがわかりました。解決できれば、メリットを感じていただける方は多いと思いました」と振り返る。
3．教師データが足りない
一定の需要があり、技術的にも実現可能性がある。しかし、スタートからこれまでの道のりは、決して平坦ではなかった。
手話にも方言があり、年齢によっても違いがある。そこで、関東地区で使われている手話にまずはフォーカスすることにした。そのように対象を絞っても、認識率の精度を上げることは大きな課題だという。
「手話認識では手や指の動きを追跡し、それを座標に落とし込んで数値化して認識するため、同じ手話動作であっても人により異なります」と田中氏（図3）。同じ手話を100人がやれば、100通りの座標になるのだ。それを認識するためには、教師データとして大量の手話動画データが必要になるが、そのようなデータはなかなか手に入りにくい。
図3 手話認識の仕組み
（出典）ソフトバンク株式会社
まずは社内にいる手話者に協力を求めた。それだけでは十分ではないので、SureTalkアプリを使うことにした。SureTalkのアプリは2021年7月に公開、一部自治体向けに実証実験中の会話機能に加え、登録機能として、利用者が自由に手話動画を登録できる仕組みを設けている。登録呼びかけは草の根的な作業だが、関わりのある連盟、学生、聴覚障がい者の間で少しずつ広まっているという。
教師データの収集以外にも、ハードルはある。
まず、収集するデータは個人情報であり、セキュリティは重要だ。そこで、個人情報の安全性を担保した状態で収集する仕組みを構築しているという。
技術の進歩への追随も、時として課題となる。田中氏は、「技術の進歩に合わせて、人の動きを追跡する仕組みを新しい技術に入れ替えるということをこれまで3回行いました。インターフェイスのある部分を変えると他の部分に支障が出ます。その都度、協力いただいているベンダーさんとエンジニアとが侃侃諤諤しながら組み上げていきました」と明かす。
教師データが十分でなく、認識率がまだ高くないことから、一般に向けて提供するのはまだ先になる。「無人で使うことは難しく、職員の方などのサポートがあっても反応が十分ではないというレベルです」と田中氏は話す。
それもあって、現在、会話機能の提供は実証実験に参加している一部自治体に限定している。
最終的には、来庁した手話者と職員がスムーズにコミュニケーションができることを目的としているが、現時点では、「手話通訳者を置き換えるというより、まずは一次取次ができるものとして期待している」と田中氏は話す。実証実験では、SureTalkに関心を持っている障がい者福祉に関する部署に置かれていることが多いそうだ。将来的には、総合窓口のようなところにある端末を使って、SureTalkを使いながら案内ができるような世界を目指しているという。
4．これからはコンソーシアムで
社会課題の解決とはいえ、ソフトバンクという企業の事業として進める限り、ビジネスの要素が求められることになる。このような社会課題の解決を目指す事業を1企業単体で進めることの難しさを開発当初から実感していたこと、並びに今後のSureTalkの取り組みを加速させるため、田中氏が中心となりソフトバンクは2022年11月1日、当初から協力関係にある国立大学法人電気通信大学をはじめ4校の大学、5つの自治体、民間企業7社とコンソーシアム「一般社団法人手話言語等の多文化共生社会協議会」を立ち上げた。
今後はコンソーシアムを基盤として、産学連携のような形で研究開発を推進していくことになる。
現時点での計画として、2027年3月までの「第一フェーズ」として、手話言語のデータベース構築、認識率の向上、口話認識の導入などを進める。全国の自治体10％以上で利用できる環境構築を目指す。その後は「第二フェーズ」として、自治体の30％で利用できる環境構築に引き上げ、手話言語から直接音声合成する研究と実用化なども進めるとしている。
自社内での開発から、コンソーシアムのメンバーと一緒に作り上げる方向に舵を切ることになる。「来るもの拒まず。メンバーはどんどん増やしていきたい」と田中氏は語る。
写真1 インタビューを受ける田中氏
（出典）一般社団法人行政情報システム研究所撮影
5．海をこえて手話者がコミュニケーションできる世界へ
当面の目標は、ある程度の品質になるまで改善を重ねて、補助的なツールとして使えるようにすることだ。「実証実験に参加している自治体から率直な意見をもらい、品質を上げていきたい」と田中氏。
将来の夢も膨らむ。
「究極の目標は、海外を含めた翻訳や認識ができるようになる世界です」、と田中氏は話す。実現のためには、それぞれの手話のデータベースとアルゴリズムを組み合わせることで、手話の動きを追跡して認識するという仕組みを作る必要がある。これにより、手話者同士でも、片方が手話者でも、リアルタイムのコミュニケーションが可能になる。
手話の認識、テキスト変換、テキストの翻訳、手話への変換と3回の変換が入るが、将来的にデータベースが整備され、認識技術が改善すれば、日本の手話から別の言語への手話に直接翻訳できるような仕組みができる。「可能性はゼロではない」。
SureTalkは2017年に社内事業として産声をあげ、コンソーシアムへと新しい局面を迎えた。「いつたどり着くのかわかりませんが、言語の壁をなくしていくというのは究極の目標です」と田中氏は目を輝かせた。
