聴覚障がい者の発話を文字にする──
“世の中にないなら、自分たちでつくろう”で始まった発話支援アプリ開発秘話

1.総合デザイン部の“世にないものをつくる”挑戦

総合デザイン部で、ユーザーインターフェース（UI）デザインを専門とする鈴木さん。彼には聴覚障がいがあり、普段は発話をメインにコミュニケーションを行います。その中で、ある課題が出てきました。

鈴木さん：

聴覚障がい者の発話は、慣れていないと聞き取りづらいことが多いんです。
実際に私自身も、よく関わる同僚とのやりとりは問題なく行えます。ところが、新しく着任した役員との面談で、相手に言葉が伝わらないことがありました。

そこで検討したのが、鈴木さんの発話をリアルタイムで文字に変換する文字起こしアプリの利用でした。ただ、世の中にあるいくつものアプリをあたったものの、問題を解決できるものは見つからなかったと、鈴木さんの上司である中田さんは振り返ります。

中田さん：

健聴者が話す音声を文字化するアプリは多数あるのに対し、聴覚障がい者の発話をスムーズに文字化できるアプリはなかったんです。

そこで中田さんと鈴木さんは、「自分たちにとって必要なものが世の中にないのであれば、自分たちでつくろう」と考えました。

中田さん：

自分たちに必要であると同時に、「世の中には同じように困っている人がいるかもしれない。アプリを開発し、世に出せば、広くそうした方々の助けになれるかもしれない」という思いも浮かびました。

とはいえ、アプリを開発しても、世に出すには「製品化」が必要。総合デザイン部はアプリ開発を担う部門でも、新規事業を担う部門でもありません。そもそも同部で新しいアプリを開発するということ自体、異例のことでした。

中田さん：

もちろん、簡単ではないだろうと思いました。しかし、実際に困りごとに直面する私たち自身が主体的につくることで、より芯を捉えたアプリになるのではと考えました。

中田さんは、もともと「世の中にないなら、自分たちでつくろう」というマインドがブラザーにはあると感じていました。また、同部では近年「各事業のデザイン支援だけでなく、社会の課題解決のために、自分たちでもできることをやっていこう」という流れも生まれつつあり、それもアプリ開発を後押ししたといいます。

こうして、聴覚障がい者の発話をスムーズに文字化するという未知のアプリ開発プロジェクトが始まりました。

2.聴覚障がい者の発話の“個性”をどうつかむか…

自分たち主体でのアプリ開発を一から進めた経験がない総合デザイン部でしたが、普段デザイン支援で参画する事業のプロジェクトを参考にして、進め方を模索しました。また、アプリ開発に必須となるAIの知識は、ほとんどのメンバーが専門外。積極的なインプットが必要でした。

そんなプロジェクトで最初に大きな課題となったのが、「どうすれば聴覚障がいのある人の発話を正しく音声認識できるか」でした。

中田さん：

聴覚障がい者の発話の仕方は健聴者と異なることがあり、また個人差も大きいため、既存の音声認識モデルではきちんと文字に起こせません。それをどう乗り越えればいいかという壁に直面しました。

議論の末に導き出されたのが、各話者の発話の特徴をAIに学習させる方法でした。聴覚障がいのある方が定型のテキストを読み上げ、それをAIが解析することで、一人ひとりの個性やくせに特化した音声認識が可能になるという仕組みです。

中田さん：

AIに学習させるには、発話支援アプリを必要とする聴覚障がい者一人ひとりの発話データが必要になるため、社内外の当事者の方々に協力していただくことを考えました。とはいえ、見てもらわないとどんなツールかのイメージもわかないだろうということで、まずは鈴木さんの発話を正しく音声認識する試作モデルをつくることになったんです。

その後、鈴木さんの紹介で、社内の聴覚障がいのある従業員同士の集まりに中田さんが参加し、この試作モデルを紹介したところ、「興味があるのでぜひ協力したい」といった声が上がります。こうして中田さんたちは、AIに学習データを提供する協力者を、社内外で一人ずつ草の根的に増やしていき、その数は約30人にのぼるまでになりました。

発話支援アプリは、次のような使い方になります。まず、画面のマイクボタンを押すと聴覚障がい者モードとなり、デバイスに向けて聴覚障がい者が話すことで、発話が文字化される。そしてボタンをもう一度押すと健聴者モードに切り替わり、同じく健聴者の発話内容が画面に文字化される。これを繰り返しながら、両者が会話を行う──。

アプリケーションにおいて何よりも問われるのが、「使いやすさ」です。その要となるUI設計は、普段、ブラザーのさまざまな製品やサービスのUIデザインをしている総合デザイン部にとっては専門分野。総合デザイン部の強みが、まさにアプリに息づくことになりました。

中田さん：

やりとりをなるべくスムーズに行えるよう、ボタンをどの位置に置くかや、聴覚障がい者／健聴者のそれぞれの発話をどう見せるかといったUIも重視し、さまざまな試行錯誤を重ねました。

試行錯誤の末、現在のUIが完成しましたが、これを最終形とせず、細かな課題に対し、今なお改良を続けています。

3.苦労の末、発話が正しく文字変換された驚きと感動

開発で鈴木さんが特に苦労したのが、AIにデータ学習させるための発話を行う工程だったといいます。

鈴木さん：

いろいろな言葉をAIに学習させていくのですが、ある程度正しく発音しないと学習データとしては使えず、その場合は、正しく発話し直す必要がありました。特に、カタカナ語や英語、数字などはなかなかうまく発音できず、大変苦労しました。

中田さんには、今回の開発プロジェクトで、特に印象に残っているシーンがあります。

中田さん：

開発途中は、「本当にできるのか」と不安が大きかったです。だからこそ、鈴木さんの試作モデルをつくったあと、実際に彼の発話がかなり正確に文字変換されたとき、本当に驚きました。

また中田さんは、他の聴覚障がい者の発話が初めて文字変換される際も、彼らがとても驚いたり喜んだりしてくれるのを見て、何よりもの充実感を覚えると言います。

鈴木さんも同じように、印象深い出来事を語ります。

鈴木さん：

私は少し早口で、はじめはうまく文字変換されないこともありました。その後改善を重ね、普段の速さで話してもきちんと文字変換されたときは、やはりうれしかったです。
このアプリのおかげで、普段話す機会が少ない相手に対しても、伝えるべきことを伝えられるようになりました。
また、当初は他の人たちに使ってもらえるか心配でしたが、思ったよりも大きな反響をいただけてよかったです。

4.アプリを社外に広げ、社会に役立てる

発話支援アプリはいま、鈴木さん以外にも、聴覚障がいのある従業員に社内のコミュニケーションで活用されています。さらに、社内にとどまらず社外のより多くの人に使っていただくため、製品として世の中に出せるアプリとすることを目指しています。

現在、テストユーザーのフィードバックなどをもとに、製品としてお客様に満足いただけるレベルとするための改良を重ねています。

中田さん：

例えば、一人ひとりの音声モデルをつくるのに多量のテキスト読み上げが必要、といった課題があります。ユーザーの負担を軽くするためにも、読み上げに必要なテキストを減らせないか模索しています。

テストユーザーの声からは、アプリに対する確かな手ごたえも感じています。

中田さん：

「自分の発話が見える化されるので、話すことに対して安心感を持てる」という声を聞き、「なるほど！」と深く納得しました。それだけ聴覚障がいのある方は普段、伝わっているかどうか不安に思いながら発話しているんだなと気づかされました。
また、「これまでやったことのないことに挑戦してみようと思います」とのうれしい声もいただきました。社内コンテストのプレゼンで、質疑応答に答えるところも初めて自分で行えた、というすばらしいエピソードも聞いています。

こうした反響を受けて、中田さんも鈴木さんも、製品化への思いを強くします。

中田さん：

「聴覚障がい者の発信を支える」というコンセプトを軸に、社外を含め多くの人に使っていただけるようブラッシュアップを図りながら、ぜひ彼らの活躍の機会を広げていければと考えています。

発話でコミュニケーションする聴覚障がい者にアプリを届けて、言葉が伝わりにくいという困りごとを解決する――発話支援アプリの開発に取り組む2人は、そんな社会課題解決への道筋を描いています。