(57)【要約】【課題】聴覚障害者と健聴者との間で簡便な意思疎通を可能とする。【解決手段】手話認識部２０は、室内器１の画像認識部５からの画像認識結果に基づいて、室内者（聴覚障害者）の手話を認識する。手話⇔日本語変換部２２は、手話認識部２０からの手話認識結果に基づいて、室内者の手話を日本語の文章に変換する。室外器２の表示部１１には、室内者の手話に対応する日本語の文章が表示される。また、日本語⇔音声変換部２４は、訪問者（健聴者）の音声を日本語の文章に変換する。該訪問者の音声に対応する日本語文章は、室内器１の表示部６に表示される。【選択図】  図１
2004254217.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも訪問者の映像を撮影する撮影手段と訪問者の音声を入力する音声入力手段とを備える室外器と、少なくとも前記撮影手段からの映像を表示する表示手段と前記音声入力手段からの音声を出力する音声出力手段とを備える室内器とからなるインターフォン装置において、
前記室内器は、室内者を撮影する撮影手段を具備し、
前記撮影手段により撮影された室内者の手話を認識する手話認識手段と、
前記手話認識手段により認識された室内者の手話に基づいて、自然言語情報に変換する手話言語変換手段とを具備し、
前記室外器は、前記手話言語変換手段により変換された自然言語情報を表示する表示手段を具備することを特徴とするインターフォン装置。
【請求項２】
前記室外器の前記音声入力手段から入力された訪問者の音声を自然言語情報に変換する音声自然言語変換手段を具備し、
前記室内器の表示手段は、前記音声自然言語変換手段により変換された、訪問者の音声に対応する自然言語情報を表示することを特徴とする請求項１記載のインターフォン装置。
【請求項３】
前記手話認識手段は、さらに、前記室外器の撮影手段により撮影された訪問者の手話を認識し、
前記手話言語変換手段は、さらに、前記手話認識手段により認識された訪問者の手話に基づいて、自然言語情報に変換し、
前記室内器の前記表示手段は、前記手話言語変換手段により変換された自然言語情報を表示することを特徴とする請求項１記載のインターフォン装置。
【請求項４】
前記手話言語変換手段により変換された、室内者の手話に対応する自然言語情報を音声に変換する自然言語音声変換手段を具備し、
前記室外器は、前記自然言語音声変換手段により変換された音声を出力する音声出力手段を具備することを特徴とする請求項１記載のインターフォン装置。
【請求項５】
前記室内器の表示手段は、前記手話言語変換手段により変換された、室内者の手話に対応する自然言語情報を表示することを特徴とする請求項１ないし４のいずれかに記載のインターフォン装置。
【請求項６】
前記室外器の表示手段は、前記手話言語変換手段により変換された、訪問者の手話に対応する自然言語情報を表示することを特徴とする請求項３記載のインターフォン装置。
【請求項７】
前記手話言語変換手段は、前記手話認識手段により認識された手話が、日本語対応手話または日本手話のいずれであるかを判別し、判別結果に基づいて、手話を自然言語情報に変換することを特徴とする請求項１ないし６のいずれかに記載のインターフォン装置。
【請求項８】
訪問者側に設置された室外器と、室内者側に設置された室内器との間で、映像および音声により双方向で通話する双方向通話方法において、
室内者を撮影し、撮影された室内者の手話を認識し、認識された室内者の手話に基づいて、自然言語情報に変換し、室内者の手話に対応する自然言語情報を前記室外器で表示することを特徴とする双方向通話方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、聴覚障害者と健聴者との間で通話が可能なインターフォン装置に関する。
【０００２】
【従来の技術】
従来、聴覚障害者の家庭では、訪問者によってインターフォンのボタンが押下されると、室内に設置されたライトを点灯することにより、聴覚障害者に来訪を知らせる装置があった。一般に、聴覚障害者は、音声による会話を行なうことができないため、手（指を含む）の形・動作（以下、手話という）、および顔の表情などで意思疎通を図っている。この場合、意思疎通を行なう同士が手話を知っていれば問題はないが、例えば手話を知らない健聴者と意思疎通を行なう場合には、手話による会話が成立しないため、通常、筆談や分かる範囲でのボディランゲージで行なわれる。尚、インターフォンに係わる従来技術としては特許文献１や特許文献２などが公開されている。
【０００３】
【特許文献１】
特開平５―１３６８５８号公報
【特許文献２】
特開平８―１３０７３１号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、聴覚障害者は、自分がハンディキャップを持っているため、訪問者があると知りながらも、対応を拒んだりするケースも多々あるというのが現実である。また、例え対応しようとしても、通常、聴覚障害者と健聴者との間では、前述したように、筆談や分かる範囲でのボディランゲージで行なわれるため、筆談では時間がかかり面倒であり、ボディランゲージでは正確に意思が伝わるとは限らず、必ずしも十分な意思疎通ができるとは言えない。
【０００５】
この発明は上述した事情に鑑みてなされたもので、聴覚障害者と健聴者との間で簡便に意思疎通を図ることができるインターフォン装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上述した問題点を解決するために、この発明では、少なくとも訪問者の映像を撮影する撮影手段と訪問者の音声を入力する音声入力手段とを備える室外器と、少なくとも前記撮影手段からの映像を表示する表示手段と前記音声入力手段からの音声を出力する音声出力手段とを備える室内器とからなるインターフォン装置において、前記室内器は、室内者を撮影する撮影手段を具備し、前記撮影手段により撮影された室内者の手話を認識する手話認識手段と、前記手話認識手段により認識された室内者の手話に基づいて、自然言語情報に変換する手話言語変換手段とを具備し、前記室外器は、前記手話言語変換手段により変換された自然言語情報を表示する表示手段を具備することを特徴とする。
【０００７】
この発明の画像認識結果提示装置によれば、前記室内器の撮影手段により、室内者を撮影し、手話認識手段により、撮影された室内者の手話を認識し、手話言語変換手段により、認識された室内者の手話に基づいて、自然言語情報に変換し、変換された自然言語情報を前記室外器の表示手段に表示する。したがって、訪問者が健聴者であっても、訪問者は、室内者の手話を自然言語情報として認知することができる。
【０００８】
また、この発明のインターフォン装置によれば、前記室外器の音声入力手段から入力された訪問者の音声を音声自然言語変換手段により自然言語情報に変換し、前記音声自然言語変換手段により変換された、訪問者の音声に対応する自然言語情報を、前記室内器の表示手段に表示するようにしたので、室内者が聴覚障害者であっても、室内者は、訪問者の音声を自然言語情報として認知することができる。
【０００９】
また、この発明のインターフォン装置によれば、前記手話認識手段により、前記室外器の撮影手段により撮影された訪問者の手話を認識し、前記手話言語変換手段により、前記手話認識手段により認識された訪問者の手話に基づいて、自然言語情報に変換し、前記手話言語変換手段により変換された自然言語情報を、前記室内器の前記表示手段に表示するようにしたので、訪問者が聴覚障害者であっても、室内者は、訪問者の手話を自然言語情報として認知することができる。
【００１０】
また、この発明のインターフォン装置によれば、自然言語音声変換手段により、前記手話言語変換手段により変換された、室内者の手話に対応する自然言語情報を音声に変換し、前記自然言語音声変換手段により変換された音声を、前記室外器の音声出力手段から出力するようにしたので、訪問者が健聴者であっても、訪問者は、室内者の手話を音声として認知することができる。
【００１１】
また、この発明のインターフォン装置によれば、前記手話言語変換手段により変換された、室内者の手話に対応する自然言語情報を、前記室内器の表示手段に表示するようにしたので、室内者は、自身の手話が正確に自然言語情報に変換されたかを確認することができる。
【００１２】
また、この発明のインターフォン装置によれば、前記手話言語変換手段により変換された、訪問者の手話に対応する自然言語情報を、前記室外器の表示手段に表示するようにしたので、訪問者は、自身の手話が正確に自然言語情報に変換されたかを確認することができる。
【００１３】
また、この発明のインターフォン装置によれば、前記手話言語変換手段により、前記手話認識手段により認識された手話が、日本語対応手話または日本手話のいずれであるかを判別し、判別結果に基づいて、手話を自然言語情報に変換するようにしたので、手話の方式に応じて正確な自然言語情報に変換することができる。
【００１４】
また、この発明の双方向通話方法では、訪問者側に設置された室外器と、室内者側に設置された室内器との間で、映像および音声により双方向で通話する双方向通話方法において、室内者を撮影し、撮影された室内者の手話を認識し、認識された室内者の手話に基づいて、自然言語情報に変換し、室内者の手話に対応する自然言語情報を前記室外器で表示することを特徴とする。
【００１５】
この発明の双方向通話方法によれば、室内者を撮影し、撮影された室内者の手話を認識し、認識された室内者の手話に基づいて、自然言語情報に変換し、室内者の手話に対応する自然言語情報を前記室外器で表示する。したがって、訪問者が健聴者であっても、訪問者は、室内者の手話を自然言語情報として認知することができる。
【００１６】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。なお、本実施形態では、家主が聴覚障害者であり、訪問者が聴覚障害者または健聴者のいずれかであると想定している。
【００１７】
Ａ．実施形態の構成
図１は、本発明の実施形態によるインターフォン装置の構成を示すブロック図である。図１において、インターフォン装置は、室内器１、室外器２および制御装置３とからなる。室内器１は、カメラ４、画像認識部５、表示部６、スピーカ７およびマイク８から構成されている。カメラ４は、ＣＣＤやＣＭＯＳ型などの撮像素子からなり、室内者（この場合、聴覚障害者）を撮影し、撮影した映像を画像認識部５に供給する。画像認識部５は、カメラ４により撮影された室内者の顔の表情、腕の動き、手（五指を含む）の形および動きなどを認識し、認識結果を手話認識部２０に供給する。表示部６は、液晶表示体、ＥＬ表示体、ＣＲＴなどからなり、後述する室外器２により撮影された外部映像、室内者の手話文章（テキスト）、室外者の手話文章（テキスト：室外者が聴覚障害者）および室外者の通話文章（テキスト：室外者が健聴者）を表示する。スピーカ７は、室外器２で集音された外部音（室外者が健聴者の場合の音声）、または後述する日本語⇔音声変換部２４からの音声を室内に出力する。マイク８は、室内音を集音し、後述する室外器２および後述する日本語⇔音声変換部２４へ供給する。
【００１８】
次に、室外器２は、上述した室内器１と同様に、カメラ９、画像認識部１０、表示部１１、スピーカ１２およびマイク１３から構成されている。カメラ９は、ＣＣＤやＣＭＯＳの撮像素子を有し、室外者（この場合、聴覚障害者または健聴者）を撮影し、撮影した映像を画像認識部１０に供給する。画像認識部１０は、室外者が聴覚障害者であった場合、カメラ９により撮影された室外者の顔の表情、腕の動き、手（五指を含む）の形および動きなどを認識し、画像認識結果を手話認識部２０に供給する。表示部１１は、液晶表示体、ＥＬ表示体、ＣＲＴなどからなり、室内者の手話文章（テキスト）、室外者の手話文章（テキスト）、室内者の通話文章（テキスト）を表示する。スピーカ１２は、室内器１で集音された室内音、または後述する日本語⇔音声変換部２４からの音声を室外に出力する。マイク１３は、室外音（特に、室外者が健聴者の場合、その音声）を集音し、室内器１および後述する日本語⇔音声変換部２４へ供給する。
【００１９】
次に、制御装置３は、手話認識部２０、標準手話パターン辞書２１、手話⇔日本語変換部２２、単語辞書２３、日本語⇔音声変換部２４および単語辞書２５から構成されている。なお、図示の例では、制御装置３は独立して設けられているが、室内器１に内蔵されていてもよい。手話認識部２０は、室内器１の画像認識部５または室外器２の画像認識部１０からの画像認識結果に基づいて、標準手話パターン辞書２１を参照し、室内者または室外者の手話を認識し、手話認識結果を手話⇔日本語変換部２２へ供給する。標準手話パターン辞書２１は、手話パターンを記憶している。
【００２０】
因みに、国内で使用されている手話は、「日本語対応手話」と「日本手話」とに大別される。日本語対応手話では、音声として話される日本語の語順で手話単語を表現する。これに対して、手話を母語とする聴覚障害者同士の会話で使われる日本手話は、通常の日本語とは異なる文法を持つ。主に、手指動作で単語を表現し、文法情報の多くを手指動作以外の頭部動作・表情・身振りなどで表現する。本実施形態では、上記「日本語対応手話」と「日本手話」のいずれの手話でも、上記手話認識部２０により手話を認識した際に自動的に切り替えて認識可能となっている。また、聴覚障害者が手動で切り替えるようにしてよい。
【００２１】
手話⇔日本語変換部２２は、手話認識部２０からの手話認識結果に基づいて、単語辞書２３を参照し、助詞や形容詞を付加するなどして、手話を日本語の文章に変換し、該日本語文章を室内器１の表示部６、室外器２の表示部１１および日本語⇔音声変換部２４へ供給する。単語辞書２３は、手話パターンと日本語とを対応付けて記憶している。
なお、上述した本実施形態による手話認識アルゴリズム、手話―日本語変換アルゴリズムは、周知のものとし、例えば、特開平６−６７６０１号公報などに記載された技術を用いればよい。
【００２２】
次に、日本語⇔音声変換部２４は、室内器１のマイク８または室外器２のマイク１３からの音声を周知の音声認識技術により認識し、単語辞書２５を参照して日本語（テキスト）に変換して室内器１の表示部６または室外器２の表示部１１に供給する。また、日本語⇔音声変換部２４は、手話⇔日本語変換部２２からの日本語文章（テキスト）を、単語辞書２５を参照して音声に変換して室内器１のスピーカ７または室外器２のスピーカ１２に供給する。単語辞書２５は、日本語（テキスト）と音声とを対応付けて記憶している。
【００２３】
次に、図２（ａ）、（ｂ）は、本実施形態によるインターフォン装置の室内器１および室外器２の外観を示す正面図である。室内器には、図２（ａ）に示すように、上部にカメラ４、略中央部に表示部６、その下に応答ボタン４０、さらに、スピーカ７およびマイク８が配置され、さらに、室外器２の後述する呼び出しボタン４１が押下されると点灯する発光ライト（例えば赤色光）５０が配置されている。また、室外器２には、室内器１と同様に、図２（ｂ）に示すように、上部にカメラ９、略中央部に表示部１１、その下に呼び出しボタン４１、さらに、スピーカ１２およびマイク１３が配置されている。
【００２４】
Ｂ．実施形態の動作
次に、本実施形態の動作について詳細に説明する。
Ｂ−１．聴覚障害者同士
まず、室内者および室外者（訪問者）共に聴覚障害者である場合について説明する。ここで、図３は、聴覚障害者同士の通話動作を説明するためのフローチャートであり、図４は、聴覚障害者同士の通話動作を説明するためのブロック図である。この場合、室内者および室外者は、互に手話で会話することが可能である。
【００２５】
まず、訪問者（聴覚障害者）が室外器２の呼び出しボタン４１を押す（Ｓａ１）。呼び出しボタン４１が押下されると、室内器１の発光ライト５０が点灯するので、室内者（聴覚障害者）は、誰かが訪ねてきたことに気づく。そこで、室内者は、室内器１の応答ボタン４０を押して会話（この場合、手話）を開始する（Ｓａ２）。同様に、訪問者も手話を開始する（Ｓａ３）。
【００２６】
室外器２では、訪問者の手話をカメラ９で撮影する（Ｓａ４）。室外器２のカメラ９で撮影される訪問者の手話は、室内器１の表示部６で直接表示する（Ｓａ５）。すなわち、室内者は、室外者の手話を、そのまま室内器１の表示部６で確認することができる。また、上記室外器２のカメラ９で撮影される訪問者の手話は、画像認識部１０にも供給される。画像認識部１０では、カメラ９により撮影された訪問者の顔の表情、腕の動き、手（五指を含む）の形および動きなどを認識し、手話認識部２０に供給する。
【００２７】
室内器１においても、室内者の手話をカメラ４で撮影する（Ｓａ６）。該室内器１のカメラ４で撮影される室内者の手話の映像は、画像認識部５に供給される。画像認識部５では、カメラ４により撮影された室内者の顔の表情、腕の動き、手（五指を含む）の形および動きなどを認識し、手話認識部２０に供給する。
【００２８】
手話認識部２０では、室内器１の画像認識部５および室外器２の画像認識部１０からの画像認識結果に基づいて、標準手話パターン辞書２１を参照し、室内者および室外者の手話を認識し、手話認識結果を手話⇔日本語変換部２２へ供給する。手話⇔日本語変換部２２では、手話認識部２０からの手話認識結果に基づいて、単語辞書２３を参照し、室内者および室外者の手話を日本語の文章に変換する（Ｓａ７）。該室内者の手話に対応する日本語の文章、および訪問者の手話に対応する日本語の文章は、室内器１の表示部６、室外器２の表示部１１に表示する（Ｓａ８）。以下、上述した処理を繰り返し実行する。
【００２９】
Ｂ−２．聴覚障害者（室内者）−健聴者（室外者）
次に、室内者が聴覚障害者であり、室外者（訪問者）が健聴者である場合について説明する。ここで、図５は、聴覚障害者と健聴者との通話動作を説明するためのフローチャートであり、図６は、聴覚障害者と健聴者との通話動作を説明するためのブロック図である。
【００３０】
まず、訪問者（健聴者）が室外器２の呼び出しボタン４１を押す（Ｓｂ１）。呼び出しボタン４１が押下されると、室内器１の発光ライト５０が点灯するので、室内者（聴覚障害者）は、誰かが訪ねてきたことに気づく。そこで、室内者は、室内器１の応答ボタン４０を押して会話（この場合、手話）を開始する（Ｓｂ２）。同様に、訪問者は、通常の音声で会話を開始する（Ｓｂ３）。
【００３１】
室外器２のマイク１３で集音された訪問者の音声は、日本語⇔音声変換部２４に供給され、日本語の文章に変換される（Ｓｂ４）。該日本語の文章は、室内器１の表示部６に表示される（Ｓｂ５）。また、室外器２では、訪問者をカメラ９で撮影し、室内器１の表示部６で直接表示する。したがって、室内者（聴覚障害者）は、訪問者（健聴者）の映像を、室内器１の表示部６で確認することができるとともに、訪問者の会話を、表示部６に表示される日本語の文章（テキスト）によって理解することができる。
【００３２】
また、室内器１では、室内者の手話をカメラ４で撮影する（Ｓｂ６）。該室内器１のカメラ４で撮影される室内者の手話の映像は、画像認識部５に供給される。画像認識部５では、カメラ４により撮影された室内者の顔の表情、腕の動き、手（五指を含む）の形および動きなどを認識し、さらに、手話認識部２０では、室内器１の画像認識部５および室外器２の画像認識部１０からの画像認識結果に基づいて、標準手話パターン辞書２１を参照し、室内者の手話を認識する（Ｓｂ７）。
【００３３】
次に、手話⇔日本語変換部２２では、手話認識部２０からの手話認識結果に基づいて、単語辞書２３を参照し、室内者の手話を日本語の文章に変換する（Ｓｂ８）。該室内者の手話に対応する日本語の文章は、室内器１の表示部６、室外器２の表示部１１に表示される（Ｓｂ９）。したがって、室内者（聴覚障害者）は、自分の手話の日本語変換結果を確認することができる。また、上記室内者の手話に対応する日本語の文章（テキスト）は、日本語⇔音声変換部２４に供給され、単語辞書２５を参照して音声に変換して室外器２のスピーカ１２から出力する。したがって、訪問者（健聴者）は、表示部１１に表示される日本語の文章およびスピーカ１２からの音声から室内者（聴覚障害者）の手話を理解することができる。以下、上述した処理を繰り返し実行する。
【００３４】
上述した実施形態によれば、聴覚障害者同士の会話では、室内外器１，２の表示部６，１１に互いの手話映像が表示されるので、通常の手話で会話することが可能である。また、訪問者が健聴者であった場合には、室内器１の表示部６には、外部映像、室外者の通話文章が表示され、室外器２の表示部１１には、室内者の手話に対応する日本語文章が表示されるので、簡便に意思疎通を図ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態によるインターフォン装置の構成を示すブロック図である。
【図２】本実施形態によるインターフォン装置の室内器１および室外器２の外観を示す正面図である。
【図３】聴覚障害者同士の通話動作を説明するためのフローチャートである。
【図４】聴覚障害者同士の通話動作を説明するためのブロック図である。
【図５】聴覚障害者と健聴者との通話動作を説明するためのフローチャートである。
【図６】聴覚障害者と健聴者との通話動作を説明するためのブロック図である。
【符号の説明】
１  室内器、２  室外器、３  制御装置、４  カメラ（撮影手段）、５  画像認識部、６  表示部（表示手段）、７  スピーカ、８  マイク、９  カメラ（撮影手段）、１０  画像認識部、１１  表示部（表示手段）、１２  スピーカ（音声出力手段）、１３  マイク（音声入力手段）、２０  手話認識部（手話認識手段）、２１  標準手話パターン辞書、２２  手話⇔日本語変換部（手話言語変換手段）、２３  単語辞書、２４  日本語⇔音声変換部（音声自然言語変換手段、自然言語音声変換手段）、２５  単語辞書、４０  応答ボタン、４１  呼び出しボタン、５０  発光ライト
【図１】
2004254217.tif 000003
【図２】
2004254217.tif 000004
【図３】
2004254217.tif 000005
【図４】
2004254217.tif 000006
【図５】
2004254217.tif 000007
【図６】
2004254217.tif 000008