(57)【要約】【課題】  手話者に掛かる負担を軽減して手話者と音声話者との間の意思疎通の確立を支援する支援方法および支援システムを提供する。【解決手段】  応対者が撮像装置１１を操作して手話者が行う手話動作を撮像し、手話動作が撮像された動画像に基づいて演算用サーバ３０が、手話言語を認識し、認識した手話言語を演算用サーバ３０が音声言語に変換する。変換された音声言語に基づく文章を、ヘッドホン１２から応対者が聴覚によって認識可能な音声で出力するか、または表示装置１４に応対者が視覚によって認識可能な文字で表示する。応対者が発した音声に基づいて演算用サーバ３０が音声言語を認識し、認識した音声言語を演算用サーバ３０が手話言語に変換し、変換された手話言語に基づく手話動作を、手話者用表示装置４０に手話者が視覚によって認識可能な動画で表示する。【選択図】      図２
2015169814.tif 000002
【特許請求の範囲】
【請求項１】
手話言語により意思疎通を図る手話者と、音声言語により意思疎通を図る音声話者との間の意思疎通の確立を支援する意思疎通支援方法であって、
音声話者が撮像装置を操作して手話者が行う手話動作を撮像する撮像ステップと、
手話動作が撮像された動画像に基づいて第１認識装置が手話言語を認識し、認識した手話言語を第１変換装置が音声言語に変換する第１変換ステップと、
変換された音声言語に基づく文章を、音声出力装置から音声話者が聴覚によって認識可能な音声で出力するか、または音声話者用表示装置に音声話者が視覚によって認識可能な文字で表示する第１出力ステップと、
音声話者が発する音声に基づいて第２認識装置が音声言語を認識し、認識した音声言語を第２変換装置が手話言語に変換する第２変換ステップと、
変換された手話言語に基づく手話動作を、手話者用表示装置に手話者が視覚によって認識可能な動画で表示する第２出力ステップと、を含むことを特徴とする意思疎通支援方法。
【請求項２】
前記撮像ステップで撮像される手話動作は、サービスを提供する施設における、手話者による該サービスの提供を受けるための申し出を表す手話動作であり、
前記第２変換ステップで音声話者が発する音声は、前記申し出に対する、音声話者による前記応対を表す音声であることを特徴とする請求項１記載の意思疎通支援方法。
【請求項３】
前記音声出力装置は、音声話者の頭部に装着するヘッドホンであり、
前記撮像装置は、前記ヘッドホンが音声話者の頭部に装着された状態で音声話者の前方に光軸が向くように、前記ヘッドホンに固定され、
前記撮像ステップで、音声話者は、前記ヘッドホンを装着した頭部を動かして前記撮像装置の光軸を移動させ、前記撮像装置の撮像範囲内に手話者が収まるようにして手話者が行う手話動作を撮像することを特徴とする請求項１または２記載の意思疎通支援方法。
【請求項４】
前記撮像装置は、音声話者の前方に光軸が向くように、音声話者の胸部前側に装着可能に構成され、
前記撮像ステップで、音声話者は、前記撮像装置を装着した胸部を動かして前記撮像装置の光軸を移動させ、前記撮像装置の撮像範囲内に手話者が収まるようにして手話者が行う手話動作を撮像することを特徴とする請求項１または２記載の意思疎通支援方法。
【請求項５】
前記撮像ステップで、確認用表示装置に、音声話者が視覚によって認識可能な前記撮像装置で撮像された手話動作の動画像を表示し、音声話者は、前記確認用表示装置に表示された動画像を確認しながら撮像装置を操作して手話者が行う手話動作を撮像することを特徴とする請求項３または４に記載の意思疎通支援方法。
【請求項６】
前記音声話者用表示装置は、単眼式の頭部装着型表示装置であることを特徴とする請求項１〜５のいずれか１つに記載の意思疎通支援方法。
【請求項７】
前記音声話者用表示装置は、両眼式かつ透過型の頭部装着型表示装置であることを特徴とする請求項１〜５のいずれか１つに記載の意思疎通支援方法。
【請求項８】
手話言語により意思疎通を図る手話者と、音声言語により意思疎通を図る音声話者との間の意思疎通の確立を支援する意思疎通支援装置であって、
音声話者が操作して手話者が行う手話動作を撮像する撮像装置と、
手話動作が撮像された動画像に基づいて手話言語を認識する第１認識装置と、
認識された手話言語を音声言語に変換する第１変換装置と、
変換された音声言語に基づく文章を音声話者が聴覚によって認識可能な音声で出力する音声出力装置と、
音声話者が発した音声に基づいて音声言語を認識する第２認識装置と、
認識された音声言語を手話言語に変換する第２変換装置と、
変換された手話言語に基づく手話動作を手話者が視覚によって認識可能な動画で表示する手話者用表示装置と、を含むことを特徴とする意思疎通支援装置。
【請求項９】
変換された音声言語に基づく文章を音声話者が視覚によって認識可能な文字で表示する音声話者用表示装置をさらに含むことを特徴とする請求項８記載の意思疎通支援装置。
【請求項１０】
手話言語により意思疎通を図る手話者と、音声言語により意思疎通を図る音声話者との間の意思疎通の確立を支援する意思疎通支援装置であって、
音声話者が操作して手話者が行う手話動作を撮像する撮像装置と、
手話動作が撮像された動画像に基づいて手話言語を認識する第１認識装置と、
認識された手話言語を音声言語に変換する第１変換装置と、
変換された音声言語に基づく文章を音声話者が視覚によって認識可能な文字で表示する音声話者用表示装置と、
音声話者が発した音声に基づいて音声言語を認識する第２認識装置と、
認識された音声言語を手話言語に変換する第２変換装置と、
変換された手話言語に基づく手話動作を手話者が視覚によって認識可能な動画で表示する手話者用表示装置と、を含むことを特徴とする意思疎通支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手話言語と音声言語と相互に変換して、手話者と音声話者との間の意思疎通の確立を支援する意思疎通支援方法および意思疎通支援システムに関する。
【背景技術】
【０００２】
商業施設の案内所、券売所、展示会のブース、役所の窓口、会社の受付などサービス提供施設において、サービスを受ける側のお客様が、日常会話で使用する主な言語が手話言語である手話者であり、サービスを提供する側の応対者が手話言語による会話ができない場合、筆談によって応対するか、手話言語による会話ができる別の応対者と交代する必要がある。筆談の場合、文字を書くために時間を要し、意思疎通に時間がかかってしまう。また、お客様に文字を書かせるという負担を掛けることになる。別の応対者と交代する場合、交代のために時間を要し、意思疎通に時間がかかってしまう。また、別の応対者が不在のときには、お客様と会話することができずお客様の要望に応えられないことになってしまう。
【０００３】
手話者と、手話ができない人とのコミュニケーションを支援するための技術が、たとえば特許文献１に記載されている。特許文献１記載の携帯電話は、ユーザ（聴覚障害者）がカメラに向かって手話を行うと、画像認識により手話を認識し、手話を日本語の音声として相手側の端末に送信する。相手側の端末では、音声が出力される。相手側の端末から音声を受信すると、手話アニメーションに変換して表示する。
【０００４】
相手側端末のユーザが手話のできない健聴者であっても、特許文献１記載の携帯電話を介して手話者と会話することができる。
【０００５】
また特許文献２記載の手話認識装置は、手話者の胴部前側に画像取得手段を配置し、手話者の手話を撮像し、撮像した画像に基づいて文字を認識し、認識した文字を、手話者が装着しているスピーカから音声で出力する。これにより手話者は、周りの人に意思を伝達することができる。
【０００６】
また特許文献３記載の手話通訳装置は、データグローブを操作したり、ビデオカメラで撮影して手話を入力し、入力された手話が翻訳されて翻訳結果が表示されるので、手話者が翻訳結果を確認し間違っている場合には、修正することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−２５４２１８号公報
【特許文献２】特開２０１２−２５２５８１号公報
【特許文献３】特開平６−３３７６２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
手話言語により意思疎通を図る手話者と、音声言語により意思疎通を図る音声話者との意思疎通の確立を支援するための技術は、数多く提案されているが、いずれも手話者が装置を操作したり、装置を身体に装着したりするものであり、手話者に負担が掛かるものでしかない。
【０００９】
たとえば、特許文献１記載の携帯電話は、手話者が自ら操作してカメラで自分を撮影する必要がある。逆に健聴者は、通常の使用方法と変わらずに音声によって携帯電話を使用できるので、全く負担が掛からず、一方的に手話者に負担が掛かる。特許文献２記載の手話認識装置は、装置を手話者が身体に装着して持ち運ぶ必要があり、相手に一方的に意思を伝えることができるだけで、相手の発する音声言語を理解するための機能はないので、コミュニケーションが成立しない。特許文献３記載の手話通訳装置は、手話者がデータグローブを操作し、ビデオカメラで自分を撮影し、翻訳結果を確認して修正操作も手話者が行う必要がある。これらは、一例であり、現存する支援技術は、手話者に負担を強いるものであり、手話者の負担を軽減するための技術は提案されていない。
【００１０】
本発明の目的は、手話者に掛かる負担を軽減して手話者と音声話者との間の意思疎通の確立を支援する意思疎通支援方法および意思疎通支援システムを提供することである。
【課題を解決するための手段】
【００１１】
本発明は、手話言語により意思疎通を図る手話者と、音声言語により意思疎通を図る音声話者との間の意思疎通の確立を支援する意思疎通支援方法であって、
音声話者が撮像装置を操作して手話者が行う手話動作を撮像する撮像ステップと、
手話動作が撮像された動画像に基づいて第１認識装置が手話言語を認識し、認識した手話言語を第１変換装置が音声言語に変換する第１変換ステップと、
変換された音声言語に基づく文章を、音声出力装置から音声話者が聴覚によって認識可能な音声で出力するか、または音声話者用表示装置に音声話者が視覚によって認識可能な文字で表示する第１出力ステップと、
音声話者が発する音声に基づいて第２認識装置が音声言語を認識し、認識した音声言語を第２変換装置が手話言語に変換する第２変換ステップと、
変換された手話言語に基づく手話動作を、手話者用表示装置に手話者が視覚によって認識可能な動画で表示する第２出力ステップと、を含むことを特徴とする意思疎通支援方法である。
【００１２】
また本発明は、前記撮像ステップで撮像される手話動作は、サービスを提供する施設における、手話者による該サービスの提供を受けるための申し出を表す手話動作であり、
前記第２変換ステップで音声話者が発する音声は、前記申し出に対する、音声話者による前記応対を表す音声であることを特徴とする。
【００１３】
また本発明は、前記音声出力装置は、音声話者の頭部に装着するヘッドホンであり、
前記撮像装置は、前記ヘッドホンが音声話者の頭部に装着された状態で音声話者の前方に光軸が向くように、前記ヘッドホンに固定され、
前記撮像ステップで、音声話者は、前記ヘッドホンを装着した頭部を動かして前記撮像装置の光軸を移動させ、前記撮像装置の撮像範囲内に手話者が収まるようにして手話者が行う手話動作を撮像することを特徴とする。
【００１４】
また本発明は、前記撮像装置は、音声話者の前方に光軸が向くように、音声話者の胸部前側に装着可能に構成され、
前記撮像ステップで、音声話者は、前記撮像装置を装着した胸部を動かして前記撮像装置の光軸を移動させ、前記撮像装置の撮像範囲内に手話者が収まるようにして手話者が行う手話動作を撮像することを特徴とする。
【００１５】
また本発明は、前記撮像ステップで、確認用表示装置に、音声話者が視覚によって認識可能な前記撮像装置で撮像された手話動作の動画像を表示し、音声話者は、前記確認用表示装置に表示された動画像を確認しながら撮像装置を操作して手話者が行う手話動作を撮像することを特徴とする。
【００１６】
また本発明は、前記音声話者用表示装置は、単眼式の頭部装着型表示装置であることを特徴とする。
【００１７】
また本発明は、前記音声話者用表示装置は、両眼式かつ透過型の頭部装着型表示装置であることを特徴とする。
【００１８】
また本発明は、手話言語と音声言語とが相互に変換されて、手話言語により意思疎通を図る手話者と、音声言語により意思疎通を図る音声話者との間の意思疎通の確立を支援する支援装置であって、
音声話者が操作して手話者が行う手話動作を撮像する撮像装置と、
手話動作が撮像された動画像に基づいて手話言語を認識する第１認識装置と、
認識された手話言語を音声言語に変換する第１変換装置と、
音声話者が聴覚によって認識可能な音声出力装置であって、変換された音声言語に基づく文章を音声で出力する音声出力装置と、
音声話者が発した音声に基づいて音声言語を認識する第２認識装置と、
認識された音声言語を手話言語に変換する第２変換装置と、
変換された手話言語に基づく手話動作を手話者が視覚によって認識可能な動画で表示する手話者用表示装置と、を含むことを特徴とする支援装置である。
【００１９】
また本発明は、変換された音声言語に基づく文章を音声話者が視覚によって認識可能な文字で表示する音声話者用表示装置をさらに含むことを特徴とする。
【００２０】
また本発明は、手話言語と音声言語とが相互に変換されて、手話言語により意思疎通を図る手話者と、音声言語により意思疎通を図る音声話者との間の意思疎通の確立を支援する支援装置であって、
音声話者が操作して手話者が行う手話動作を撮像する撮像装置と、
手話動作が撮像された動画像に基づいて手話言語を認識する第１認識装置と、
認識された手話言語を音声言語に変換する第１変換装置と、
変換された音声言語に基づく文章を音声話者が視覚によって認識可能な文字で表示する音声話者用表示装置と、
音声話者が発した音声に基づいて音声言語を認識する第２認識装置と、
認識された音声言語を手話言語に変換する第２変換装置と、
変換された手話言語に基づく手話動作を手話者が視覚によって認識可能な動画で表示する手話者用表示装置と、を含むことを特徴とする支援装置である。
【発明の効果】
【００２１】
本発明によれば、手話言語により意思疎通を図る手話者と、音声言語により意思疎通を図る音声話者との間の意思疎通の確立を支援する意思疎通支援方法であり、撮像ステップで、音声話者が撮像装置を操作して手話者が行う手話動作を撮像し、第１変換ステップで、手話動作が撮像された動画像に基づいて第１認識装置が手話言語を認識し、認識した手話言語を第１変換装置が音声言語に変換する。第１出力ステップで、変換された音声言語に基づく文章を、音声出力装置から音声話者が聴覚によって認識可能な音声で出力するか、または音声話者用表示装置に音声話者が視覚によって認識可能な文字で表示する。
【００２２】
第２変換ステップで、音声話者が発した音声に基づいて第２認識装置が音声言語を認識し、認識した音声言語を第２変換装置が手話言語に変換し、第２出力ステップで、変換された手話言語に基づく手話動作を、手話者用表示装置に手話者が視覚によって認識可能な動画で表示する。
【００２３】
このように、意思疎通の確立に必要な撮像装置の操作は、手話者でなく音声話者が行い、言語の変換および変換後の出力は、各装置が行うことで、手話者は、日常の会話と同様に、手話動作を行うだけでよいので、手話者に掛かる負担を軽減して手話者と音声話者との間の意思疎通の確立を支援することができる。
【００２４】
また本発明によれば、前記撮像ステップで撮像される手話動作は、サービスを提供する施設における、手話者による該サービスの提供を受けるための申し出を表す手話動作であり、前記第２変換ステップで音声話者が発する音声は、前記申し出に対する、音声話者による前記応対を表す音声である。
【００２５】
特にサービス提供施設において、手話者がサービスを受けるような場合に、その申し出を手話動作で表すだけでよく、応対する音声話者も音声を発することで応対することができる。
【００２６】
また本発明によれば、前記音声出力装置は、音声話者の頭部に装着するヘッドホンであり、前記撮像装置は、前記ヘッドホンが音声話者の頭部に装着された状態で音声話者の前方に光軸が向くように、前記ヘッドホンに固定される。
【００２７】
前記撮像ステップで、音声話者は、前記ヘッドホンを装着した頭部を動かして前記撮像装置の光軸を移動させ、前記撮像装置の撮像範囲内に手話者が収まるようにして手話者が行う手話動作を撮像する。
【００２８】
支援に必要な装置は、音声話者が頭部に装着し、音声話者の操作によって、手話者の手話動作を確実に撮像することができる。
【００２９】
また本発明によれば、前記撮像装置は、音声話者の前方に光軸が向くように、音声話者の胸部前側に装着可能に構成される。
【００３０】
前記撮像ステップで、音声話者は、前記撮像装置を装着した胸部を動かして前記撮像装置の光軸を移動させ、前記撮像装置の撮像範囲内に手話者が収まるようにして手話者が行う手話動作を撮像する。
【００３１】
支援に必要な装置は、音声話者が胸部前側に装着し、音声話者の操作によって、手話者の手話動作を確実に撮像することができる。
【００３２】
また本発明によれば、前記撮像ステップで、確認用表示装置に、音声話者が視覚によって認識可能な前記撮像装置で撮像された手話動作の動画像を表示し、音声話者は、前記確認用表示装置に表示された動画像を確認しながら撮像装置を操作して手話者が行う手話動作を撮像する。
【００３３】
これにより、音声話者の操作により、手話者の手話動作をより確実に撮像することができる。
【００３４】
また本発明によれば、前記音声話者用表示装置として、単眼式の頭部装着型表示装置を用いることで、音声話者が手話者から視線を外すことなく意思疎通を図ることができる。
【００３５】
また本発明によれば、前記音声話者用表示装置として、両眼式かつ透過型の頭部装着型表示装置を用いることで、音声話者が手話者から視線を外すことなく意思疎通を図ることができる。
【００３６】
また本発明によれば、手話言語と音声言語とが相互に変換されて、手話言語により意思疎通を図る手話者と、音声言語により意思疎通を図る音声話者との間の意思疎通の確立を支援する支援装置である。
【００３７】
撮像装置は、音声話者が操作して手話者が行う手話動作を撮像し、第１認識装置は、手話動作が撮像された動画像に基づいて手話言語を認識し、第１変換装置は、認識された手話言語を音声言語に変換し、音声出力装置は、変換された音声言語に基づく文章を、音声話者が聴覚によって認識可能な音声で出力する。
【００３８】
第２認識装置は、音声話者が発した音声に基づいて音声言語を認識し、第２変換装置は、認識された音声言語を手話言語に変換し、手話者用表示装置は、変換された手話言語に基づく手話動作を手話者が視覚によって認識可能な動画で表示する。
【００３９】
このように、意思疎通の確立に必要な撮像装置の操作は、手話者でなく音声話者が行い、言語の変換および変換後の出力は、各装置が行うことで、手話者は、日常の会話と同様に、手話動作を行うだけでよいので、手話者に掛かる負担を軽減して手話者と音声話者との間の意思疎通の確立を支援することができる。
【００４０】
また本発明によれば、変換された音声言語に基づく文章を音声話者が視覚によって認識可能な文字で表示する音声話者用表示装置をさらに含むので、音声話者は、変換された音声言語に基づく文章を音声だけでなく、文字によっても確認することができる。
【００４１】
また本発明によれば、手話言語と音声言語とが相互に変換されて、手話言語により意思疎通を図る手話者と、音声言語により意思疎通を図る音声話者との間の意思疎通の確立を支援する支援装置である。
【００４２】
撮像装置は、音声話者が操作して手話者が行う手話動作を撮像し、第１認識装置は、手話動作が撮像された動画像に基づいて手話言語を認識し、第１変換装置は、認識された手話言語を音声言語に変換し、音声話者用表示装置は、変換された音声言語に基づく文章を音声話者が視覚によって認識可能な文字で表示する。
【００４３】
第２認識装置は、音声話者が発した音声に基づいて音声言語を認識し、第２変換装置は、認識された音声言語を手話言語に変換し、手話者用表示装置は、変換された手話言語に基づく手話動作を手話者が視覚によって認識可能な動画で表示する。
【００４４】
このように、意思疎通の確立に必要な撮像装置の操作は、手話者でなく音声話者が行い、言語の変換および変換後の出力は、各装置が行うことで、手話者は、日常の会話と同様に、手話動作を行うだけでよいので、手話者に掛かる負担を軽減して手話者と音声話者との間の意思疎通の確立を支援することができる。
【図面の簡単な説明】
【００４５】
【図１】手話言語から音声言語への変換を示す工程図である。
【図２】サービス支援システムＳの全体構成を示す概略図である。
【図３】音声言語から手話言語への変換を示す工程図である。
【図４】手話言語から表示文字への変換を示す工程図である。
【図５】クリップ式撮像装置６０の外観図である。
【図６】応対者が使用する各装置の他の例を示す概略図である。
【発明を実施するための形態】
【００４６】
本発明の実施の態様を具体的に説明する前に、まず、本発明で実現しようとする手話者と音声話者との間の意思疎通の確立を支援する意思疎通支援方法とは、どの様なレベルまで支援するものであるか、また、何故そのレベルの支援が必要であるかについて、商業施設の案内所の対応業務を例にしながら説明する。
【００４７】
なお、以下の説明は、本発明の目的や発明に至る経緯などをわかり易く説明するためのものであって、商業施設の案内所に限らず、その他の手話者と音声話者との間の意思疎通の確立を支援するのが好ましい環境であれば、本発明を実施することができる。
【００４８】
複数の店舗などが集合した大型ショッピングセンターなどの商業施設に初めて来場したお客様が、案内所の応対の係りの者に、例えば、自分は北欧調で少し明るめの色合いの食器を集めているが、どのお店に行けば手に入るか尋ねたとする。それに対して、普段から休憩時間や休みの日を利用して、常に各店舗でどんな商品を取り扱っているかチェックしている応対の係りの者が、即座に店舗名と施設内におけるその店舗の場所、さらには店舗内のどこにそういった商品が並べられているかまでをもお客様に伝えたとする。お客様が教えられた店舗に行ってみると、前から欲しいと思っていた食器がたくさん置かれていて、より気に入った物を何点か購入することができた。そのとき、こんなに広大でたくさんのお店が並んでいたら、自分だけでは到底このお店にはたどり着けなかっただろう、とお客様が思えば、的確な情報を提供してくれた応対の係りの者に感謝するとともに、欲しい商品を手に入れたことにも増して一層の満足感を抱くだろう。そして、これからもずっとこのお店を利用しよう、また、この商業施設の他のいろんなお店にも寄ってみようと思うことは想像に難くない。
【００４９】
ひるがえって、案内所が分厚いガラスの壁で覆われていて、お客様がどれだけ声を張り上げても中の係りの者に聞こえないとしたらどうだろう。残るコミュニケーションの手段として身ぶり、手ぶりが考えられるが、「北欧調で少し明るめの色合いの食器」を身ぶり、手ぶりだけで伝えるなど、とてもできるものではない。たとえ、ガラスの壁にインターホンが取り付けられていたとしても、対応の悪さに憤慨したお客様が、わざわざ何かの装置を操作してまで話をする気にはならないであろう。また、お客様が我慢してインターホンで話しかけたときに、応対の係りの者にちらちらと横目でモニターを見ながら対応されては、気分を害し、二度とその商業施設を利用したくないと思うに違いない。
【００５０】
ここに、商業施設の案内所におけるサービスの本質というものがある。お客様に何度も足を運んでもらうためには、単に事務的、機械的に商品を購入するための取り次ぎや仲介をするだけでなく、応対業務自体が商品の提供と同じサービスの一つとして、お客様に満足感を抱かせるものでなくてはならない。
【００５１】
さて、お客様が日常会話で使用する主な言語が手話言語である手話者の場合は、分厚いガラスの壁がなかったとしても、常々、身ぶり、手ぶりによるコミュニケーションを強いられる。そして、応対の係りの者が手話を理解できなければ、自分の意思が何も伝わらないことをよく承知している。手話者にとって案内所は、まさに分厚いガラスの壁で覆われた場所と同じで、インターホンすらないという状況である。ちなみに、もし、音声話者がその様な商業施設に遭遇すれば、その商業施設を利用せず他の商業施設を利用すれば良いだけである（実際に遭遇すること自体あり得ない）が、手話者の場合は全ての場所でそのような状況に遭遇することになるので、他の商業施設を利用するといった選択肢はない。それでも、手話者自身は、自分たちと応対するだけのために、手話でのコミュニケーションを図れる係りの者を案内所に常駐させることが、どれだけ大変であるかを分かっているので、そこまで望む手話者のお客様は多くないというのが実情である。
【００５２】
そうすると、音声でコミュニケーションを図る音声話者であれば、面倒で使う気の起らないインターホンと同じ位置付けながら、手話言語を音声言語に翻訳してくれる装置を商業施設に備えておけば、手話者が自ら操作してでもコミュニケーションを図ってもらえ、また、少しはサービスとして満足してもらえるかもしれない。（そして、その程度の装置であれば、従来、知られた技術で実現することは可能であろう。）しかし、音声話者のお客様であれば、応対の係りの者に意思を伝えるために何らかの装置をわざわざ操作することはないが、手話者のお客様には、応対の係りの者に意思を伝えるために何らかの装置を操作するという余分な負担と我慢とを強いることになり、それがもとで、もし、不必要に自分の手話者としての境遇を意識させることにつながるようなことになれば、これは、「サービス」とは程遠いものと言わざるを得ない。
【００５３】
本発明で実現しようとする意思疎通の確立を支援するための意思疎通支援方法とは、あくまでも手話者が、応対者に対して日常と同じように手話動作を行うだけで、手話者から応対者に意思が伝わり、手話者用に設けられた表示装置に表示される手話動画を手話者が見るだけで、応対者から手話者に意思が伝わるという、従来の技術思想にはないレベルの支援方法である。そして、そのレベルであればこそ、商業施設の案内所等で適用したときに、お客様が音声話者であっても手話者であっても差異の無い、より質の高い、本当の意味での「サービス」の提供を可能にするものである。
【００５４】
本発明は、上記の例で説明した商業施設の案内所の他、券売所、展示会のブース、役所の窓口、会社の受付などの各種サービスを提供するサービス提供施設において好適に実施され、手話者と音声話者との間の意思疎通の確立を支援する意思疎通支援方法である。サービスを受ける側のお客様は、意思疎通のための会話で使用する主な言語が手話言語である手話者である。サービスを提供する側の応対者は、意思疎通のための会話で使用する主な言語が音声言語である音声話者である。
【００５５】
このように使用する言語が異なる二者間での意思疎通の確立を図ろうとすると、手話言語と音声言語とを互いに変換する必要がある。手話者が行う手話動作によって発せられる手話言語を、音声言語に変換して音声による出力または文字による表示を行い音声話者（以下では「応対者」という）がこれを聴覚または視覚により認識して理解する。また、応対者によって発せられる音声言語を、手話言語に変換し手話動作をアニメーションまたはコンピュータグラフィックスなどによって動画表示し、手話者がこれを視覚により認識して理解する。
【００５６】
まず、手話言語から音声言語への変換について説明する。図１は、手話言語から音声言語への変換を示す工程図である。
【００５７】
ステップＡ１では、手話者との意思疎通を図るための準備として、コミュニケーション用のウェアラブル端末装置を応対者自らの身体に装着する。
【００５８】
サービスを受けるためにサービス施設を訪れるお客様には、手話者以外のお客様も含まれる。手話者以外の音声言語によるコミュニケーションが可能なお客様への対応は、音声言語によればよいので、通常ウェアラブル端末装置は使用する必要がない。手話者のお客様が訪れたときには、お客様の動きなどからお客様が手話者であることを応対者が察知し、速やかにウェアラブル端末装置を装着する。
【００５９】
図２は、サービス支援システムＳの全体構成を示す概略図である。ウェアラブル端末装置１０は、手話者の手話動作を撮像するための撮像装置１１、変換された音声言語に基づく音声を出力するためのヘッドホン１２、応対者から発せられる音声が入力されるマイク１３および変換された音声言語に基づく文字を表示する表示装置１４が一体的に構成され、一般的なヘッドホンと同様に、応対者の頭部に装着して使用する。
【００６０】
ウェアラブル端末装置１０としてヘッドホン１２と一体化された撮像装置１１は、頭部に装着された状態で、その光軸が応対者の前方に向くように、かつ応対者の眼になるべく近い位置に固定される。こうすることで、ウェアラブル端末装置１０を装着した応対者の視線と、撮像装置１１の光軸とを近付けることができる。
【００６１】
ステップＡ２では、手話者が行う手話動作を撮像装置１１で撮像し、撮像した手話動作の動画を表す手話動画信号を生成する。ここで、手話者が行う手話動作は、サービスの提供を受けるための申し出を表す手話動作である。
【００６２】
撮像装置１１で、手話者が行う手話動作を撮像するためには、撮像装置１１の撮像範囲内に手話者が収まるように撮像装置１１の光軸を適宜移動させることが好ましい。上記のように応対者の視線と、撮像装置１１の光軸とが近い位置にあることで、応対者の視線が手話者を捉えていれば、すなわち撮像装置１１の光軸も手話者に向いており、撮像範囲内に手話者を収めることができる。また、手話者が移動しても、応対者が頭部を動かして、手話者を見るようにするだけで、自ずと撮像範囲内に手話者を収めることができる。応対者が、お客様である手話者に常に視線を向けることで、手話者に良い印象を与え、サービス業務としてより高い効果をあげることもできる。
【００６３】
ステップＡ３では、撮像装置１１で生成された手話動画信号は、中継用ＰＣ（パーソナルコンピュータ）２０、演算用サーバ３０、クラウドコンピュータ５０を含む変換システムへと送信される。ウェアラブル端末装置１０と中継用ＰＣ２０とは、有線通信または無線通信によりデータ通信可能に構成されている。
【００６４】
ウェアラブル端末装置１０と中継用ＰＣ２０とは、比較的近い位置に配置することができるので、無線通信であれば、たとえばＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）あるいはＺｉｇｂｅｅ（登録商標）などの無線通信規格に準拠した無線通信によってウェアラブル端末装置１０から中継用ＰＣ２０に対して手話動画信号を送信することができる。
【００６５】
中継用ＰＣ２０では、送受信装置２１がウェアラブル端末装置１０からの手話動画信号を受信し、送受信装置２１は、受信した手話動画信号を制御装置２２に受け渡す。制御装置２２は、必要に応じて、受信した手話動画信号に対して圧縮処理や減容量処理を行った後、通信装置２３に手話動画信号を受け渡す。通信装置２３は、音声言語への変換のための演算を実行する演算用サーバ３０に、手話動画信号を送信する。
【００６６】
ステップＡ４では、演算用サーバ３０において、通信装置３２が中継用ＰＣ２０から手話動画信号を受信し、制御装置３１が、手話動画の画像データに基づいて、撮像されている手話動作によって発せられる手話言語を認識する。手話言語の認識は、たとえば、図示しない記憶装置に予め複数の基準画像パターンを記憶しておき、手話動画に含まれる画像パターンと基準画像パターンとをマッチングさせる。基準画像パターンには、予め手話言語の各単語などが関連付けられており、パターンマッチングにより、マッチングした基準画像パターンから手話動画に含まれる手話言語の各単語を認識する。
【００６７】
ステップＡ５では、認識された手話言語を音声言語の文章に変換する。演算用サーバ３０の制御装置３１は、認識された各単語を羅列し、助詞などを適宜補って、意味のある音声言語の文章を生成する。
【００６８】
ステップＡ６では、ウェアラブル端末装置１０のヘッドホン１２から音声で出力することができるように、生成された音声言語の文章に基づいて、演算用サーバ３０の制御装置３１が、音声出力用信号を生成する。生成した音声出力用信号は、通信装置３２によって中継用ＰＣ２０に送信される。中継用ＰＣ２０の通信装置２３は、演算用サーバ３０から音声出力用信号を受信する。
【００６９】
中継用ＰＣ２０では、通信装置２３で受信した音声出力用信号を制御装置２２に受け渡し、制御装置２２は、受信した音声出力用信号に対して、必要に応じて、ウェアラブル端末装置１０との通信方式に適した信号などに変換して送受信装置２１に受け渡す。中継用ＰＣ２０の送受信装置２１は、音声出力用信号をウェアラブル端末装置１０に送信する。
【００７０】
ステップＡ７では、ウェアラブル端末装置１０が、中継用ＰＣ２０から音声出力用信号を受信し、ヘッドホン１２のスピーカから音声を出力する。
【００７１】
ウェアラブル端末装置１０を装着した応対者は、ヘッドホン１２から出力される音声を聞くことにより、手話者が行った手話動作による手話言語の内容を音声によって理解することができる。
【００７２】
次に、音声言語から手話言語への変換について説明する。図３は、音声言語から手話言語への変換を示す工程図である。
【００７３】
応対者は、お客様である手話者が行った手話の内容を理解し、お客様に応対する必要がある。お客様から質問があれば、質問に対して回答し、お客様からサービスの要望があれば要望されたサービスを提供する。質問へ回答する場合でも、サービスを提供するための案内をする場合でも、応対者は、お客様である手話者に対して返答するが、このとき応対者は、音声によって返答する。応対者による音声の返答はこのままではお客様に伝わらないので、サービス支援システムＳにより音声言語から手話言語への変換を行い、手話者と応対者との意思疎通を図る。
【００７４】
ステップＢ１では、応対者が応対のために発する音声がウェアラブル端末装置１０のマイク１３に入力されて音声信号に変換される。
【００７５】
ステップＢ２では、マイク１３で変換された音声信号をウェアラブル端末装置１０から変換システムに送信する。ウェアラブル端末装置１０からは、中継用ＰＣ２０に音声信号が送信される。
【００７６】
中継用ＰＣ２０では、送受信装置２１がウェアラブル端末装置１０からの音声信号を受信し、送受信装置２１は、受信した音声信号を制御装置２２に受け渡す。制御装置２２は、必要に応じて、受信した音声信号に対して圧縮処理や減容量処理を行った後、通信装置２３に音声信号を受け渡す。通信装置２３は、手話言語への変換のための演算を実行する演算用サーバ３０に、音声信号を送信する。
【００７７】
ステップＢ３では、演算用サーバ３０において、通信装置３２が中継用ＰＣ２０から音声信号を受信し、制御装置３１が、音声信号の波形パターンに基づいて、応対者が発した音声言語を認識する。音声言語の認識は、たとえば、図示しない記憶装置に予め複数の基準波形パターンを記憶しておき、音声信号の波形パターンと基準波形パターンとをマッチングさせる。マッチングした基準波形パターンから音声言語の音声を１音ごとに認識する。
【００７８】
ステップＢ４では、認識された音声言語から意味のある文章を生成し、文章を手話言語に対応する単語ごとに分割する。分割された単語にそれぞれ対応する手話言語の動作を選択して手話言語に変換する。
【００７９】
ステップＢ５では、手話者用表示装置４０に手話動画を表示することができるように、演算用サーバ３０の制御装置３１が、手話動画信号を生成する。生成した手話動画信号は、通信装置３２によって中継用ＰＣ２０に送信される。中継用ＰＣ２０の通信装置２３は、演算用サーバ３０から手話動画信号を受信する。
【００８０】
ステップＢ６で、中継用ＰＣ２０では、通信装置２３で受信した手話動画信号を制御装置２２に受け渡し、制御装置２２は、受信した手話動画信号に対して、必要に応じて、手話者用表示装置４０での表示に適した映像信号などに変換して手話者用表示装置４０に送出する。
【００８１】
手話者用表示装置４０は、たとえば液晶ディスプレイなどで実現され、中継用ＰＣ２０と手話者用表示装置４０とは、映像信号用ケーブルなどで接続されている。
【００８２】
ステップＢ７では、手話者用表示装置４０が、手話動画を表示する。手話者は、手話者用表示装置４０に表示される手話動画を見て、応対者が発した音声言語の内容を理解することができる。
【００８３】
上記では、手話言語と音声言語との間の変換処理を、演算用サーバ３０を実行しているが、これに限らず、クラウドコンピューティングを利用して変換処理を行ってもよい。中継用ＰＣ２０が、インタネットを介してクラウドコンピューティングシステムを構成するクラウドコンピュータ５０に手話動画信号または音声信号を送信し、変換後の信号をそれぞれ受信する。クラウドコンピュータ５０は、制御装置５１、通信装置５２を備え、それぞれ演算用サーバ３０の制御装置３１、通信装置３２と同様に動作する。
【００８４】
次に、本発明の他の実施形態について説明する。上記実施形態では、手話言語から音声言語に変換された文章は、ヘッドホン１２から音声で出力されるが、音声の代わりに文字で表示してもよい。
【００８５】
図４は、手話言語から表示文字への変換を示す工程図である。図４に示す工程図では、ステップＣ１〜Ｃ７を実行するものであるが、ステップＣ１〜Ｃ５は、図１に示した工程図のステップＡ１〜Ａ５と同じであるので、説明は省略する。以下では、ステップＣ６およびステップＣ７について説明する。
【００８６】
ウェアラブル端末装置１０は、文字を表示するための表示装置１４を備える。ステップＣ６では、表示装置１４にテキスト形式で表示することができるように、生成された音声言語の文章に基づいて、演算用サーバ３０の制御装置３１が、文字出力用信号を生成する。生成した文字出力用信号は、通信装置３２によって中継用ＰＣ２０に送信される。中継用ＰＣ２０の通信装置２３は、演算用サーバ３０から文字出力用信号を受信する。
【００８７】
中継用ＰＣ２０では、通信装置２３で受信した文字出力用信号を制御装置２２に受け渡し、制御装置２２は、受信した文字出力用信号をテキスト形式に変換してウェアラブル端末装置１０に送信する。
【００８８】
ステップＣ７では、ウェアラブル端末装置１０が、中継用ＰＣ２０から文字出力用信号を受信し、表示装置１４の表示画面に、音声言語に変換された文章を文字で表示する。
【００８９】
ウェアラブル端末装置１０を装着した応対者は、表示装置１４に表示される文字を読むことにより、手話者が行った手話動作による手話言語の内容を文字によって理解することができる。
【００９０】
文字を表示するための表示装置１４としては、音声言語に変換された文章を文字で表示できるものであればどのような表示装置であってもよいが、応対者が文章を確認する度に、表示装置を見ると、頻繁にお客様から視線を外すことになり、サービス業務としては好ましくない。
【００９１】
手話言語から音声言語に変換された文章を文字で表示するための表示装置としては、図２に示すように、ウェアラブル端末装置１０として、ヘッドホン１２などと一体化可能な単眼式の頭部装着型表示装置であることが好ましい。単眼式であれば、一方の眼で表示装置に表示された文字を確認しながら、もう一方の眼でお客様である手話者を確認することができるので、お客様から視線を外すことが避けられ、よりよいサービス業務を遂行することができる。
【００９２】
また、図２に示すウェアラブル端末装置１０では、撮像装置１１を一体的に備えているが、お客様から撮像装置１１が視認され、自分が撮影されていることに対して快く思わない可能性がある。撮像装置をお客様が視認し難くするためには、たとえば、撮像装置を独立させて、クリップによる衣服への固定が可能な構成とし、応対者の前方に撮像装置の光軸が向くように、応対者の胸部前側に装着する。
【００９３】
図５は、クリップ式撮像装置６０の外観図である。クリップ式撮像装置６０は、直方体形状の撮像装置本体部６１とクリップ部６２からなり、撮像装置本体部６１に光学系、撮像素子、中継用ＰＣ２０との通信装置などが備えられる。応対者の衣服のたとえば胸ポケットの上辺部分にクリップ式撮像装置６０を装着し、お客様である手話者の手話動作を撮像する。
【００９４】
ウェアラブル端末装置１０に一体化されているよりも、クリップ式撮像装置６０として独立させて衣服に装着させたほうが、手話者から視認され難くなり、不快感を生じさせないようにすることができる。
【００９５】
ウェアラブル端末装置１０に一体化された撮像装置１１は、応対者の視線と光軸が近い位置にあるので、撮像されている画像を確認しなくても、応対者が頭部を移動させることで手話者を撮像範囲内に容易に収めることができるが、クリップ式撮像装置６０の場合は、胸部を含む胴体部全体をたとえば左右方向に移動させて光軸を移動させることができるが、手話者を撮像範囲内に収めることが難しい。
【００９６】
したがって、クリップ式撮像装置６０を使用する場合は、撮像されている画像を応対者が確認する必要がある。確認のためには、撮像されている画像をリアルタイムで表示させ、それを応対者が見ることになるが、撮像されている画像を、別途準備した確認用表示装置に表示させると、確認用表示装置を見るために、頻繁にお客様から視線を外すことになり、サービス業務としては好ましくない。
【００９７】
撮像されている画像を確認するための確認用表示装置は、上記のようなウェアラブル端末装置１０として、ヘッドホン１２などと一体化可能な単眼式の頭部装着型表示装置であることが好ましい。音声言語に変換された文章を文字で表示するための表示装置と、撮像されている画像を確認するための確認用表示装置は、１つの表示装置で兼ねることができる。
【００９８】
表示装置１４には、撮像されている画像に重ねて、変換された文章を文字で表示すればよい。応対者は、表示装置１４に表示されている画像を見ながら、姿勢を変えるなどして手話者が撮像範囲内に収まるようにすることができる。
【００９９】
図６は、応対者が使用する各装置の他の例を示す概略図である。応対者が装着するウェアラブル端末装置７０として、両眼式かつ透過型の頭部装着型表示装置７１、いわゆる眼鏡型やグラス型ディスプレイに、イヤホン式スピーカ７２を一体化し、撮像装置７３およびマイク７４をそれぞれ独立させて据え置き型としたものであってもよい。両眼式は単眼式よりも仮想的な表示画面の大きさを大きくすることができるので、撮像装置７３により手話者の手話動作が撮像されているかを確認するための画像、手話言語から音声言語に変換された文章を示す文字を表示する以外に、サービスを提供するにあたって必要な情報なども表示することができる。また、お客様から視線を外すことがないように、透過型の頭部装着型ディスプレイとする。
【０１００】
撮像装置７３およびマイク７４は、据え置き型であるので、ウェアラブル端末装置に一体化するものに比べて、より高い機能を有する装置を使用することができる。撮像装置７３が据え置き型である場合は、応対者の身体に装着されていないので、応対者が身体を動かして光軸方向を変えるということができない。したがって、撮像装置７３によって手話者を撮像範囲内に収めるためには、撮像装置７３が光軸を変更するための機構を備えることが好ましい。少なくともレンズ部分が鉛直方向の軸線まわりに角変位し、水平方向の幾線まわりに角変位することで、左右および上下に光軸を変更できることが好ましい。さらに撮像装置７３の角変位は、リモートコントローラにより遠隔操作できるものとし、応対者がリモートコントローラを操作することで、撮像装置７３の光軸方向を変位させ、表示装置７１に表示された画像を確認して手話者を撮像範囲内に収めることができる。
【０１０１】
さらに、据え置き型であれば、手話者への応対時以外でも使用できるので、防犯カメラとして撮像装置７３を使用したり、ボイスレコーダとしてマイク７４を使用するなど、他の目的を兼ねるようにすることもできる。
【０１０２】
撮像装置１１，６０，７３のいずれも、フォーカス機能およびズーム機能を備えていてもよく、手話者の手話動作をより確実に撮像するために、これらの機能を使用することが好ましい。これらの機能は、撮像装置７３の角変位と同様に、リモートコントローラによって操作することができる。
【０１０３】
手話者と応対者との距離は、常に同じになるとは限らないので、距離が遠過ぎたり近過ぎたりした場合には、撮像装置１１，６０，７３の光軸を動かすだけでは、手話動作を撮像できないこともある。そのような場合にフォーカス機能およびズーム機能を使用すれば確実に手話者の手話動作を撮像することができる。
【０１０４】
さらに、撮像装置１１，６０，７３の絞り値（Ｆ値）を変更できることが好ましい。絞り値を小さくすることにより、被写界深度を浅くして手話者にピントを合わせ、背景をぼかすように撮像することができる。手話動作を撮像した手話動画に基づいて手話言語を認識する場合に、背景部分がぼけていると手話者の輪郭抽出の精度が高くなり、認識精度も高くなる。単色無地の壁面前で手話者が行う手話動作を撮像することで、撮像した画像において、背景と手話者との境界が明確となり輪郭抽出の精度を高くすることができて好ましいが、サービス提供時に手話者をそのような状態で撮像することは困難であるので、背景をぼかすように撮像することで同様の効果を得ることができる。
【０１０５】
手話動画に基づく手話言語の認識精度が高くなることで、お客様である手話者の意思が応対者に伝わりやすくなり、手話者と応対者との意思疎通がよりスムーズに行われる。
【０１０６】
また、手話者にとっては、手話者用表示装置４０に表示される手話動画を見て、内容を正しく理解できることが望まれる。手話言語では、手指の形および動きだけでなく、手指が体のどの部位に触れているか、または触れていないか、によってその意味が変わる。手話者用表示装置４０に表示される手話動画において、手話者によって不明確な手話動作が表示されると、応対者の意思が手話者に正しく伝わらないことになってしまう。手話者用表示装置４０に表示される手話動画は平面上の表現となるため、奥行きなどが表現し難く、表示された手話動作が不明確なものとなる可能性がある。
【０１０７】
手話者用表示装置４０に表示する手話動画が不明確なものとならないように、たとえば、バーチャル３Ｄ化技術を用いて、肉眼でも３次元的表現が可能な手話者用表示装置４０を用いて手話動画を表示させれば、より正確な手話動作を手話者に伝えることができる。正確な手話動作が伝われば、手話者に対して応対者の意思が正確に伝わることになり、手話者と応対者との意思疎通がよりスムーズに行われる。さらには、ステップＢ４で、音声言語を手話言語で表示するための媒介として生成した文章を、テキスト形式で手話者用表示装置４０に手話動画とともに文字で表示してもよい。また、手話者用表示装置４０に、手話動画を表示せずに、応対者が話した内容を文字だけで表示してもよい。
【０１０８】
ところで、手話言語は、全世界共通ではなく、地域的に異なる種類の手話言語が使用されている。しかし、各国で使用される音声言語に比べるとその種類は少ない。日本語と各国語との間で変換しようとすると、変換に必要な情報量は莫大なものとなるが、日本語と複数種類の手話言語との間で変換するのであれば、変換に必要な情報量は少ない。手話言語を認識するための基準画像パターン、手話動画作成のための手話動作を、手話言語ごとに登録しておけば、お客様である手話者が日本人以外の外国人であったとしても、手話言語であれば、登録されている可能性が高いので、日本人に限らず多くのお客様にサービスを提供することも可能となる。
【０１０９】
以上のように、本発明は、サービスの提供を受けようとする手話者が、応対者に対して日常と同じように手話動作を行うだけで、手話者から応対者に意思が伝わり、手話者用表示装置４０に表示される手話動画を見るだけで、応対者から手話者に意思が伝わる。このような意思疎通を実現するために、手話者は、何ら装置を自らの身体に装着したり、装置を操作することすら必要とせず、日常的な手話言語による会話と同様に応対者と会話することができ、手話者に対して掛かる負担がほとんどない。
【０１１０】
応対者は、手話言語の内容が音声言語に変換されて音声または文字により手話者の意思を確認することができ、音声を発するだけで自分の意思を手話者に伝えることができるので、日常的な音声言語による会話と同様に手話者と会話することができ、応対者にとっても掛かる負担は小さい。応対者は、手話者を撮像装置の撮像範囲内に収めるように撮像装置を操作するだけでよい。サービス提供側の応対者は、サービス提供にあたって、お客様よりも負担が掛かることは当然であり、撮像装置の操作による負担の増加量は多いものではない。撮像装置の操作も、たとえば手話者が椅子に座った状態でコミュニケーションをとるような場合など、手話者の位置が大きく変動しないような環境である場合には、撮像範囲から手話者が外れる可能性が低いので、必ずしも操作しなければならないというものではない。
【０１１１】
そして、応対者が使用するウェアラブル端末装置などの各種装置は、応対者が使用しても、手話者から視線を外すことなく、また手話者に不快感を与えるものではないので、サービス提供の観点からでも、より効果の高いものである。
【符号の説明】
【０１１２】
１０    ウェアラブル端末装置
１１    撮像装置
１２    ヘッドホン
１３    マイク
１４    表示装置
２１    送受信装置
２２    制御装置
２３    通信装置
３０    演算用サーバ
３１    制御装置
３２    通信装置
４０    手話者用表示装置
５０    クラウドコンピュータ
５１    制御装置
５２    通信装置
６０    クリップ式撮像装置
６１    撮像装置本体部
６２    クリップ部
７０    ウェアラブル端末装置
７１    表示装置
７１    頭部装着型表示装置
７２    イヤホン式スピーカ
７３    撮像装置
７４    マイク
Ｓ      サービス支援システム
【図１】
2015169814.tif 000003
【図２】
2015169814.tif 000004
【図３】
2015169814.tif 000005
【図４】
2015169814.tif 000006
【図５】
2015169814.tif 000007
【図６】
2015169814.tif 000008