(57)【要約】【課題】車両乗員である手話者と他の車両乗員である発話者とが、円滑にコミュニケーションを取ることができる車両用ナビゲーション装置を提供する。【解決手段】車両２に設けた撮影手段たるカメラ４により撮影された、車両乗員のうち手話者による手話画像を認識する手話画像認識手段２１と、手話画像を音声言語に変換する手話画像変換手段２２と、表示部たるディスプレイ部１２とを備え、手話画像変換手段２２により変換された音声言語を出力すると共に、他の車両乗員の音声言語を文字言語に変換してディスプレイ部に表示するから、運転中であっても、手話が理解できなくても、円滑にコミュニケーションができる。表示部たるディスプレイ部１２には手話画像変換手段２２により変換された音声言語が文字言語として表示されるから、手話者が自身の手話内容が正しく表示されているか否かを視認できる。【選択図】図２
2020160004.tif 000002
【特許請求の範囲】
【請求項１】
車両に設けた撮影手段により撮影された、車両乗員のうち手話者による手話画像を認識する手話画像認識手段と、
前記手話画像を音声言語に変換する手話画像変換手段と、
表示部とを備え、
前記手話画像変換手段により変換された音声言語を出力すると共に、他の車両乗員の音声言語を文字言語に変換して前記表示部に表示することを特徴とする車両用ナビゲーション装置。
【請求項２】
前記表示部には前記手話画像変換手段により変換された音声言語が文字言語として表示されることを特徴とする請求項１記載の車両用ナビゲーション装置。
【請求項３】
前記音声言語の出力とナビゲーション音声とは、それぞれ異なる声色を用いることを特徴とする請求項１記載の車両用ナビゲーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用ナビゲーション装置に関する。
【背景技術】
【０００２】
従来、手話を用いたコミュニケーションを支援するものとして、音声を認識する手段と、音声信号と手話画像との対応表を参照して、認識した音声を手話画像に変換する手段と、変換した手話画像を表示する手段とを備え、また、画像を撮影する手段と、撮影した画像から手話情報を認識する手段と、手話情報と音声信号との対応表を参照して、認識した手話情報を音声に変換する手段と、変換した音声を出力する手段とを備える情報端末（例えば特許文献１）がある。
【０００３】
また、手話画像を認識する手話画像認識装置と、前記手話画像認識装置が認識した手話画像を自然言語に翻訳する手話画像翻訳装置と、を含み、前記手話画像翻訳装置は、機械学習により予め機械学習された手話画像データとのマッチングを行うことにより、手話を音声に変換する手話会話支援システム（例えば特許文献２）がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１３９１３８号公報
【特許文献２】特開２０１７−２０４０６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１の情報端末では、音声と手話画像との変換が可能になるため、聴覚障害者と聴覚健常者との間でリアルタイムの会話を実現することができる。
【０００６】
また、上記特許文献２の手話会話支援システムでは、手話を音声に変換することができる。
【０００７】
ところで、車両の助手席や後部座席などで手話をした場合、運転者は運転中にその手話を見ることができないため、手話によりコミュニケーションを取ることができない。また、前後部の座席に座った乗員同士も、手話を見るには前部座席の乗員が無理な姿勢で後を向く必要があるため、手話でコミュニケーションを取ることは困難である。
【０００８】
このような課題に対して、特許文献１の技術を用いたとしても、運転者は運転中に情報端末を使用することができず、また、特許文献２の技術を用いたとしても、運転中の運転者の話を手話者に伝えることができず、両者間でコミュニケーションを取ることができない。
【０００９】
そこで、本発明は上記した問題点に鑑み、車両乗員である手話者と他の車両乗員である発話者とが、円滑にコミュニケーションを取ることができる車両用ナビゲーション装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、請求項１に係る発明は、車両に設けた撮影手段により撮影された、車両乗員のうち手話者による手話画像を認識する手話画像認識手段と、前記手話画像を音声言語に変換する手話画像変換手段と、表示部とを備え、前記手話画像変換手段により変換された音声言語を出力すると共に、他の車両乗員の音声言語を文字言語に変換して前記表示部に表示することを特徴とする。
【００１１】
また、請求項２に係る発明は、前記表示部には前記手話画像変換手段により変換された音声言語が文字言語として表示されることを特徴とする。
【００１２】
また、請求項３に係る発明は、前記音声言語の出力とナビゲーション音声とは、それぞれ異なる声色を用いることを特徴とする。
【発明の効果】
【００１３】
請求項１の構成によれば、車両乗員である手話者と他の車両乗員である発話者とが、円滑にコミュニケーションを取ることができる。
【００１４】
請求項２の構成によれば、手話者が自身の手話内容が正しく表示されているか否かを視認できる。
【００１５】
請求項３の構成によれば、ナビゲーション音声と手話内容とを区別することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施例１を示す車両用ナビゲーションシステムのブロック図である。
【図２】同上、車両のフロントウインド周辺の外観図である。
【図３】同上、手話変換制御手段のブロック図である。
【図４】同上、音声出力処理のフローチャート図である。
【図５】同上、パネルディスプレイの正面図である。
【図６】同上、パネルディスプレイの正面図であり、通常表示モードの表示の一例を示す。
【図７】同上、パネルディスプレイの正面図であり、通常表示モードの表示の他の例を示す。
【図８】同上、ナビゲーション画面縮小表示モードのパネルディスプレイの正面図である。
【図９】同上、割込み表示モードのパネルディスプレイの正面図である。
【図１０】同上、時系列表示モードのパネルディスプレイの正面図である。
【図１１】本発明の実施例２を示すパネルディスプレイの正面図である。
【図１２】同上、時系列表示モードのパネルディスプレイの正面図である。
【図１３】同上、マークを表示したパネルディスプレイの正面図である。
【図１４】本発明の実施例３を示す車両用ナビゲーションシステムのブロック図である。
【図１５】同上、パネルディスプレイの正面図である。
【図１６】本発明の実施例４を示す車両の側面説明図である。
【図１７】同上、フロントウインドに設けた表示部の正面図である。
【図１８】同上、パネルディスプレイの正面図である。
【図１９】本発明の実施例５を示す車内の平面説明図である。
【図２０】本発明の実施例６を示す車内の平面説明図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して、本発明の車両用ナビゲーション装置の実施例について説明する。
【実施例１】
【００１８】
図１〜図１０は本発明の実施例１を示し、同図に示すように、車両用ナビゲーションシステム１は、自走式の車両２に搭載されて目的地に到達するための情報（方向、地図、経路など）を運転者に伝達するナビゲーション装置３と、車両２に搭載された撮像手段たるカメラ４とを備える。前記ナビゲーション装置３は、車両２のインストルメントパネル５に固定或いは内蔵されると共に、車両２の車載電源（図示せず）から動作電源が供給される。
【００１９】
前記ナビゲーション装置３は、車両２のインストルメントパネル５やインストルメントコンソールなどの車両内装部材に取り付けられるメインユニット１０と、このメインユニット１０の正面部に設けられたパネルディスプレイ１１とを有する。このパネルディスプレイ１１は、その前面に各種データを表示する表示部たるディスプレイ部１２が設けられ、このディスプレイ部１２は液晶パネルなどからなり、表示機能とタッチ操作による入力機能を有する。
【００２０】
前記車両用ナビゲーションシステム１は、車載の音声入力部１３と音声出力部１４を備える。また、前記パネルディスプレイ１１には、ナビゲーション装置３を操作する複数のスイッチ１５が配置され、前記パネルディスプレイ１１の正面に複数のスイッチ１５が配置されている。また、音声出力部１４としては、車載スピーカなどが用いられ、前記車両２内に音声やその他の音を出力し、それら音声入力部１３及び音声出力部１４は前記ナビゲーション装置３に電気的に接続されている。
【００２１】
また、前記ナビゲーション装置３は、図２の鎖線に示すように、インストルメントパネル５の上部にブラケットなどにより固定する後付けタイプのものでもよい。
【００２２】
前記ナビゲーション装置３は、前記車両用ナビゲーションシステム１を制御するシステム制御手段６を備え、このシステム制御手段６はマイクロコンピュータなどからなる。前記システム制御手段６は、カーナビゲーションを制御するナビ制御手段７と、手話変換制御手段８とを備える。そして、システム制御手段６は前記メインユニット１０に内蔵される。尚、システム制御手段６の機能の一部を、インターネットを使用したクラウドコンピューティングなどにより構成してもよい。
【００２３】
前記ナビ制御手段７により、前記ディスプレイ部１２には、車両２が目的地に到達するための情報を示すナビゲーション画面１７が表示されると共に、車両２が目的地に到達するための情報を示すナビゲーション音声が前記音声出力部１４から車両２内に出力される。
【００２４】
また、前記ナビゲーション装置３は、ラジオ，ＣＤ等のオーディオ機能と、ＤＶＤやテレビジョンのような音と画像の出力機能を有し、前記音は前記音声出力部１４から出力され、前記画像は前記ディスプレイ部１２に表示される。
【００２５】
前記音声入力部１３としてはマイクなどが用いられる。前記音声入力部１３は車両乗員の話す音声言語を検出して音声言語の電気信号である音声言語データとして出力し、前記システム制御手段６の制御により、前記音声言語データに基づいた音声言語が前記音声出力部１４から出力される。
【００２６】
また、音声入力部１３が出力する音声言語データは、前記システム制御手段６の制御により文字言語に変換され、音声言語が文字言語として前記ディスプレイ部１２に表示される。尚、前記音声出力部１４を前記ナビゲーション装置３に設けてもよい。
【００２７】
前記手話変換制御手段８は、手話を変換して前記音声出力部１４から音声言語として出力（発話）し、前記ディスプレイ部１２に手話を文字情報（言語）として出力するように制御する。
【００２８】
このため一例として、前記手話変換制御手段８は、図３に示すように、手話画像認識手段２１，手話画像変換手段２２，音声言語データ生成手段２３，音声言語データ解析手段２４，音声言語較正手段２５，手話画像学習手段２６，手話画像記憶手段２７，標準手話画像データ記憶手段２８及び学習手話画像データ記憶手段２９を備える手話画像データ記憶手段３０，音声言語辞書記憶手段３１を備える。尚、前記カメラ４とナビゲーション装置３は有線又は無線により電気的に接続されている。
【００２９】
前記カメラ４は、撮像した手話画像を前記手話画像認識手段２１に出力し、この手話画像認識手段２１は受信した手話画像を手話画像記憶手段２７に記憶させる。前記手話画像認識手段２１は手話画像の特徴的部分を抽出する。例えば、手話画像認識手段２１は、手話者の頭部と手の相対的な位置を認識し、手話をする手の形態を認識するために手話者の手の輪郭部分を抽出し輪郭線を生成する。このように手話画像認識手段２１は、形態画像処理を行う。前記手話画像認識手段２１は手話者の映像と、形態画像処理された画像データを一組とする手話画像データとして生成する。または、手話画像認識手段２１は、形態画像処理された画像データを手話画像データとして生成してもよい。
【００３０】
前記手話画像認識手段２１に手話画像が入力されると、手話画像は映像処理され、「手」及び「顔」にその形態を認識した線ないし画像を重ね合わせる。手話画像の認識や機械学習をするときに、この形態映像処理を施された手話画像に基づいて行われる。これにより、手話動作を単純化及び明確化することができ、画像処理における手話画像の認識精度を向上させることができる。また機械学習においても学習精度及び習熟度の向上を図ることができる。尚、このような画像処理は必須ではなく、画像処理を行わないで学習及びリアルタイム処理が行われてもよい。
【００３１】
前記手話画像認識手段２１は、生成された手話画像データを手話画像変換手段２２に出力する。手話画像記憶手段２７は、手話画像データ記憶手段３０の標準手話画像データ記憶手段２８に記憶されている標準手話画像データを参照し、標準手話画像データの中から手話画像データと一致するものがあるか否かを調べる。また、手話画像変換手段２２は、学習手話画像データ記憶手段２９に記憶されている学習手話画像データを参照し、学習手話画像データの中から手話画像データと一致するものがあるか否かを調べる。手話画像変換手段２２は、手話画像データと標準手話画像データ及び／又は学習手話画像データとの関連付けを行う。
【００３２】
手話画像変換手段２２によって、標準手話画像データ及び／又は学習手話画像データと関連付けられた手話画像データは、音声言語データ生成手段２３において、音声言語データに変換される。
【００３３】
前記音声言語データ生成手段２３で生成された音声言語データは音声言語データ解析手段２４に出力される。この音声言語データ解析手段２４は、音声言語データを解析し、音声言語辞書記憶手段３１を参照して、文法的な誤りや語彙を自然な日本語に修正する。
【００３４】
前記音声言語データ解析手段２４で修正された音声言語データは、音声言語較正手段２５に出力される。この音声言語較正手段２５は、較正の対象となった手話画像データを特定し、手話画像学習手段２６にその情報を出力する。手話画像学習手段２６は、手話画像記憶手段２７から該当する手話画像を読み出し、修正された音声言語と関連付けて学習手話画像データ記憶手段２９のデータに追加する。これにより、学習手話画像データ記憶手段２９には手話画像データが蓄積される。
【００３５】
前記システム制御手段６は、前記手話変換制御手段８の前記音声言語データ解析手段２４で生成された音声言語データを音声言語として前記音声出力部１４から出力させると共に、前記ディスプレイ部１２に文字言語として出力させる。
【００３６】
また、前記システム制御手段６は、前記カメラ４により得られた手話画像データから、手話の開始を検出するトリガー信号制御手段３５を備える。このトリガー信号制御手段３５は、前記撮像データから手の動きを抽出し、手の動きを認識して手話の開始を検出し、トリガー信号を出力する。この場合、手話者の手が動くだけでなく、前記手話画像変換手段２２により手話の一語を変換した後、トリガー信号を出力することが好ましい。
【００３７】
図２は車両２の車内前方を示し、左右の運転席４１と助手席４２の間の前方に、前記ナビゲーション装置３のディスプレイ部１２が配置されており、前記カメラ４は助手席４２の車両乗員を撮像する。このため車両２のフロントウインド１６の上部内面に、ブラケット４４を取り付け、このブラケット４４に前記カメラ４を取り付けている。この場合、車両２の前方を撮像するドライブレコーダ用のカメラ（図示せず）のブラケットに、前記カメラ４を取り付けてもよい。また、前記ディスプレイ部１２は運転席４１と助手席４２の間の前方に位置する。また、運転席４１の前方にはハンドル１８が配置されている。
【００３８】
次に、前記システム制御手段６による車両用ナビゲーションシステム１の制御について説明する。
【００３９】
運転席４１の発話者である運転者と助手席４２の手話者とがコミュニケーションを取る場合、手話者が手話を開始すると、カメラ４の撮像データから前記トリガー信号制御手段３５が手話の開始を検出し、前記手話画像認識手段２１により手話画像を認識し、この手話画像データを前記手話画像変換手段２２が音声言語データに変換する。そして、この音声言語データが前記音声出力部１４から音声言語として出力（発話）され、これを運転者が聞き、手話の内容を理解することができる。
【００４０】
図４のフローチャート図に示すように、前記手話画像変換手段２２による手話画像の音声言語データへの変換が完了（ステップ１０１）し、その音声言語データに基づいて音声言語を出力する前に、目的地に到達するための情報を運転者に伝達するナビゲーション音声の出力中か否かを判断（ステップ１０２）する。ナビゲーション音声の出力中（ステップ１０２にて「ＹＥＳ」）であれば、ナビゲーション音声が終了（ステップ１０３にて「ＹＥＳ」）してから所定時間が経過した後（ステップ１０４にて「ＹＥＳ」）に、ステップ１０２の前に戻る。
【００４１】
このようにナビゲーション音声の出力後、所定時間が経過する間にナビゲーション音声の出力が無ければ（ステップ１０２にて「ＮＯ」）、後述するステップ１０５を経て、音声言語を前記音声出力部１４から出力（ステップ１０７）する。こうすることにより、ナビゲーション出力が終了（ステップ１０３にて「ＹＥＳ」）し、この終了後、所定時間が経過する前にナビゲーション音声の出力が開始された場合（ステップ１０２にて「ＹＥＳ」）、再び、ナビゲーション音声の出力が終了する（ステップ１０３にて「ＹＥＳ」）まで、音声言語は出力されない。
【００４２】
尚、前記所定時間は１〜２秒程度であり、任意に設定することができる。前記所定時間を２秒に設定した場合、ナビゲーション音声の出力が終了（ステップ１０３にて「ＹＥＳ」）し、２秒経過（ステップ１０４にて「ＹＥＳ」）する前に、再びナビゲーション音声の出力が有った場合（ステップ１０２にて「ＹＥＳ」）、再度ステップ１０３へと移行し、このようにナビゲーション音声の出力を、手話に基づく音声言語の出力より優先する。
【００４３】
また、フローチャート図に図示しないが、前記システム制御手段６は、音声言語を出力（ステップ１０７）中に、ナビゲーション音声の出力が有る場合は、音声言語の出力を中断し、中断後所定時間が経過した後、音声言語の出力を初めから行うように制御する。このようにナビゲーション音声の出力を、手話に基づく音声言語の出力よりも優先する。尚、前記中断後の所定時間も１〜２秒程度である。
【００４４】
一方、音声言語データへの変換が完了（ステップ１０１）し、ナビゲーション音声の出力がなければ（ステップ１０２にて「ＮＯ」）、音声出力部１４がラジオ，ＣＤ，ＤＶＤやテレビジョンなどのナビゲーション音声以外の音を出力中か否かを判断（ステップ１０５）し、ナビゲーション音声以外の音の出力中（ステップ１０５にて「ＹＥＳ」）であれば、手話に基づく言語音声の出力の間、ナビゲーション音声以外の音の現在の音量を下げるか、音量をゼロにするように音量を調整（ステップ１０６）する制御が行われる。尚、ステップ１０６の変形例として、ナビゲーション音声以外の音の現在の音量が所定音量以下の場合には、ナビゲーション音声以外の音の現在の音量を変更せず、ナビゲーション音声以外の音の現在の音量が所定音量を超える場合には、現在の音量を前記所定音量に下げるか現在の音量をゼロにするように制御してもよい。
【００４５】
尚、ステップ１０６を経て音声言語を出力（ステップ１０７）した場合、音声言語の出力が完了すると、ナビゲーション音声以外の音の出力を元に戻す。また、図示しないが、後述する実施例のように、前記手話画像データを変換した音声言語データに基づいて、文字言語を前記ディスプレイ部１２に表示する場合、この表示を前記音声言語の出力（ステップ１０７）と同時に開始することが好ましい。
【００４６】
この場合、前記トリガー信号制御手段３５により手話の開始を検出したら、手話に基づく音声言語の出力（ステップ１０７）前に、ナビゲーション音声以外の音を出力中の場合（ステップ１０５にて「ＹＥＳ」）は、その音量を下げるか、その音量をゼロにするように制御してもよい。或いは、ナビゲーション音声以外の音の現在の音量が所定音量以下の場合には、上述したステップ１０６の変形例のように制御してもよい。
【００４７】
こうすれば手話者の手話を行っている動作に、運転者が気付かなくても、音量が変わることにより、次に、手話に基づく音声言語の出力（ステップ１０７）があることに運転者が気付く。
【００４８】
前記システム制御手段６は、声色選択手段３６を備え、この声色選択手段３６により前記ナビゲーション音声と異なる声色で音声言語を出力することができる。この場合、前記声色選択手段３６は、前記カメラ４により撮像した手話者の撮像データに基づき、このカメラ４で撮影された画像から該手話者の年齢層及び／又は性別を判別する年齢層・性別判別手段とを備え、この年齢層・性別判別手段により検出した手話者の年齢層・性別に基づいて声色を選択する。
【００４９】
例えば、検出結果が女性であれば、女性の声色を選択し、検出結果が男性であれば男性の声色を選択して前記音声出力部１４から出力する。尚、声色選択手段３６を用いずに、手話に基づく言語音声とナビゲーション音声とを異なる声色に設定してもよい。
【００５０】
このようにして音声を聴取することにより手話の内容を理解した運転者は、手話に基づく音声言語に対して発話することにより、会話のようにしてコミュニケーションを取ることができる。この運転者の話す音声言語は、システム制御手段６の音声文字変換手段３７により文字言語に変換される。
【００５１】
具体的には、前記音声入力部１３が、運転者の話す音声言語を検出して音声言語の電気信号である音声言語データとして出力し、この音声言語データを前記音声文字変換手段３７が文字言語データに変換し、この文字データに基づいて運転者の話した音声言語が文字言語としてディスプレイ部１２に表示される。
【００５２】
また、前記音声文字変換手段３７は、運転者が発する音声言語と手話に基づく音声言語などから、運転者が発する音声言語を抽出して音声言語データを生成する。
【００５３】
前記システム制御手段６は、発話又は／及び手話に基づき前記ディスプレイ部１２に文字言語を表示する文字表示制御手段３８を備える。この文字表示制御手段３８は、発話又は／及び手話から生成した音声言語データに基づき、音声言語の内容を文字言語として前記ディスプレイ部１２に表示する。
【００５４】
文字言語の表示モードは前記スイッチ１５やディスプレイ部１２のタッチ操作による入力機能により選択することができ、通常表示モード，ナビゲーション画面縮小表示モード，割込み表示モードや時系列表示モードが選択可能である。尚、この例では、文字表示制御手段３８は、運転者の発話に基づき前記ディスプレイ部１２に文字言語を表示する。
【００５５】
前記通常表示モードを選択した場合、前記文字表示制御手段３８は、ナビゲーション画面１７が表示されたディスプレイ部１２の下部に、運転者の音声言語を変換した文字言語を表示する。尚、一度に表示する文字言語は１〜２行程度が好ましく、図５に示すように、前記ナビゲーション画面１７に重ね合わせて表示される。また、一度に表示する文字言語の設定行数は任意に選択することができる。１回の運転者の音声言語による文字言語の行数が設定行数よりも多い場合は、１行の文字言語を読むために必要な既読所定時間が経過した後、文字言語の行が上方に移動し、最上部の行が消え、次の行の文字言語が追加表示される。このように既読所定時間の経過により文字言語表示を切り替えるため、手話者がボタンを押すなどの操作が不要となる。尚、文字言語の行は、文字言語が横に並んだものであるが、文字言語が縦に並んだ列で表示されてもよい。
【００５６】
図５〜図７に前記通常表示モードの一例を示す。尚、この例では、１度に表示する文字言語は１行に設定している。手話者が手話をすると、この手話を変換（翻訳）した音声言語「今日は晴天ですね。」が、音声出力部１４から出力される。これを聞いた運転者が音声言語「ドライブ日和です。」と発話すると、この音声言語を変換した文字言語がディスプレイ部１２の下部に表示（図５）され、表示された文字言語を手話者が読むことができる。
【００５７】
前記「ドライブ日和です。」に応答して手話者が手話を行い、この手話を変換した音声言語「運転よろしくお願いします。」が音声出力部１４から出力され、これに応答して運転者が音声言語「これから○○に行きます。約××時間で着く予定です。」と発話すると、この音声言語を変換した文字言語がディスプレイ部１２の下部に表示（図６）される。
【００５８】
文字言語が１行に収まらない場合、先頭から１行に収まる文字言語「これから○○に行きます。」を初めに表示（図６（Ａ））した後、この初めの表示を消して次の文字言語の行「約××時間で着く予定です。」を表示（図６（Ｂ））する。尚、１行の文字言語を読むために必要な必要既読時間が経過したら、初めの文字言語の行「これから○○に行きます。」を消して次の文字言語の行「約××時間で着く予定です。」を表示する。そして、必要既読時間は１〜３秒程度とすることができる。
【００５９】
或は、図７に示すように、文字言語「これから○○に行きます。約××時間で着く予定です。」が右側から左側に移動するように表示してもよく、この場合、文字言語が１字ずつ左側に移動すると共に、右から文字言語が１字ずつ新たに表れ、左端に達した文字言語が１字ずつ消えていく。また、繰り返し表示するには、左端に達して消えた文字言語が１字ずつ右端から再表示されるようにしてもよい。
【００６０】
前記ナビゲーション画面縮小表示モードを選択した場合、図８に示すように、ディスプレイ部１２において、表示されていたナビゲーション画面１７（図５参照）を縮小して上方左右一側に移動表示し、この縮小移動によりディスプレイ部１２の下部にナビゲーション画面１７の非表示範囲５２が設けられ、この非表示範囲５２に前記通常表示モードと同様に運転者の音声言語による文字言語を表示する。
【００６１】
前記割込み表示モードを選択した場合、図９に示すように、ディスプレイ部１２において、表示されていたナビゲーション画面１７の下部を消して非表示にした割込み表示範囲５３を設け、この割込み表示範囲５３に前記通常表示モードと同様に運転者の話による文字言語を表示する。
【００６２】
前記時系列表示モードを選択した場合、文字言語の行が手話の順番にしたがって１行ずつ上に移動する。また、手話者が見易いように、文字言語はディスプレイ部１２の左側に表示される。
【００６３】
時系列表示モードの一例を図１０に示す。尚、コミュニケーションの内容は前記通常表示モードの一例と同じである。同図に示すように、手話を変換した文字言語「今日は晴天ですね。」の音声出力の後、運転者の初めの話が、文字言語「ドライブ日和です。」としてディスプレイ部１２の下部に表示される。これに対して手話を変換した文字言語「運転よろしくお願いします。」が音声出力され、運転者の次の話を変換した文字言語「これから○○に行きます。約××時間で着く予定です。」が、２行に渡ってディスプレイ部１２の下部に表示され、初め話の文字言語「ドライブ日和です。」が上に移動する。
【００６４】
尚、文字言語「これから○○に行きます。約××時間で着く予定です。」の２行を同時に表示してもよいし、この表示を前後に分けて、前段の文字言語「これから○○に行きます。」の１行を表示し、この１行が上に移動した後、残りの後段の文字言語「約××時間で着く予定です。」の１行を表示してもよい。また、文字言語が３行以上でも、同様に、全行を同時に表示してもよいし、１行ずつ表示してもよい。
【００６５】
このようにディスプレイ部１２に表示された文字言語を、助手席４２の手話者が読むことにより、運転者の話を理解することができ、運転者は手話の内容を音声言語として聞くことができ、運転者と手話者で円滑にコミュニケーションを取ることができる。
【００６６】
また、運転者にとっても、停車中に、ディスプレイ部１２に表示された文字言語を読むことにより、自分が話した内容が正確に文字言語に変換されたかどうかを確認することができる。
【００６７】
このように本実施例では、請求項１に対応して、車両２に設けた撮影手段たるカメラ４により撮影された、車両乗員のうち手話者による手話画像を認識する手話画像認識手段２１と、手話画像を音声言語に変換する手話画像変換手段２２と、表示部たるディスプレイ部１２とを備え、手話画像変換手段２２により変換された音声言語を出力すると共に、他の車両乗員の音声言語を文字言語に変換してディスプレイ部１２に表示するから、車両乗員である手話者と他の車両乗員である発話者とが、円滑にコミュニケーションを取ることができる。
【００６８】
このように本実施例では、請求項２に対応して、表示部たるディスプレイ部１２には手話画像変換手段２２により変換された音声言語が文字言語として表示されるから、手話者が自身の手話内容が正しく表示されているか否かを視認できる。
【００６９】
このように本実施例では、請求項３に対応して、前記音声言語の出力とナビゲーション音声とは、それぞれ異なる声色を用いるから、ナビゲーション音声と手話内容とを区別することができる。
【００７０】
以下、実施例上の効果として、手話に基づく音声言語の出力より、ナビゲーション音声の出力を優先するから、運転者と手話者のコミュニケーションがカーナビゲーションの邪魔にならない。また、手話に基づく音声言語の出力の間、ナビゲーション音声以外の音の現在の音量を下げるか、音量をゼロにするように音量を調整するから、音声言語が聞き取り易くなる。或いは、手話に基づく音声言語の出力の間、ナビゲーション音声以外の音の現在の音量が所定音量以下の場合には、ナビゲーション音声以外の音の現在の音量を変更せず、ナビゲーション音声以外の音の現在の音量が所定音量を超える場合には、現在の音量を前記所定音量に下げるか現在の音量をゼロにするから、音声言語が聞き取り易くなる。
【００７１】
前記システム制御手段６は、声色選択手段３６を備えるから、この声色選択手段３６により前記ナビゲーション音声と異なる声色で音声言語を出力するから、ナビゲーション音声と手話に基づく音声言語との違いが判り易くなる。さらに、運転者が発する音声言語と手話に基づく音声言語の声色が異なることにより、音声文字変換手段３７において、音声入力部１３に入力した音声言語から運転者が発する音声言語のみを抽出し易くなる。また、声色選択手段３６の年齢層・性別判別手段により検出した手話者の年齢層・性別に基づいて声色を選択するから、あたかも手話者が話しているようにコミュニケーションを取ることができる。
【００７２】
また、前記文字表示制御手段３８により、文字表示に、通常表示モード，ナビゲーション画面縮小表示モード，割込み表示モードや時系列表示モードなどの複数のモードを選択可能であるから、好みのモードを選択することができる。さらに、ナビゲーション画面縮小表示モードを選択した場合、ディスプレイ部１２において、表示されていたナビゲーション画面１７を縮小し、この縮小によりディスプレイ部１２の下部にナビゲーション画面１７の非表示範囲５２が設けられ、この非表示範囲５２に前記通常表示モードと同様に運転者の話による文字言語を表示するから、ナビゲーション画面１７の一部を非表示にすることなく、言語音声の内容を文字言語で表示することができる。
【００７３】
また、時系列表示モードでは、文字言語の行が手話の順番にしたがって１行ずつ上に移動するから、自身の手話の内容を時系列で確認することができる。
【実施例２】
【００７４】
図１１〜図１３は本発明の実施例２を示し、上記実施例１と同一部分に同一符号を付し、その説明を省略して詳述する。同図に示すように、この例では、前記手話変換制御手段８により、手話を音声言語データに変換し、前記文字表示制御手段３８により、前記手話を変換した音声言語データに基づき、文字言語を前記ディスプレイ部１２に表示する。
【００７５】
この場合、前記文字表示制御手段３８は、前記通常モード，ナビゲーション画面縮小表示モード，割込み表示モードの場合は、運転者の話を変換した文字言語と手話者の手話を変換した文字言語を、それら運転者の話と手話者の手話の順番に基づいてディスプレイ部１２の下部に交互に表示する。
【００７６】
以下、文字表示制御手段３８による時系列モードの場合の制御について説明する。図１１に示すように、運転者の話を変換した文字言語は、助手席側であるディスプレイ部１２の左側寄りに表示され、手話者の手話を変換した文字言語は、運転席側であるディスプレイ部１２の右側寄りに表示される。この場合、左ハンドルの場合は、文字言語の表示位置が左右逆になる。
【００７７】
こうすると左右の位置により、運転者と手話者のどちらに対応する文字言語であるかが容易に判り、また、助手席側の手話者からは運転者の話を変換した文字言語が近い位置にあるため、読み易くなる。
【００７８】
時系列表示モードの一例を図１１〜図１３に示す。尚、コミュニケーションの内容は前記実施例１の通常表示モードの一例と略同じである。手話を変換した文字言語「今日は晴天ですね。」が音声出力されると共に、ディスプレイ部１２の下部に表示される。前記音声出力を聞いた運転者の初めの音声言語が文字言語「ドライブ日和です。」として、ディスプレイ部１２の下部に表示されると共に、前記文字言語「今日は晴天ですね。」が１行上に移動して表示される（図１１（Ａ））。
【００７９】
この場合、手話者は、自身の手話を変換した文字言語「今日は晴天ですね。」が、ディスプレイ部１２に表示されるため、自分の手話が正しく変換されたかどうかを確認でき、異なる場合は訂正する手話を行うことができる。
【００８０】
前記文字言語「ドライブ日和です。」に対して手話者が手話で応答し、この手話を変換した文字言語「運転よろしくお願いします。」が音声出力されると共に、ディスプレイ部１２の下部に表示され（図１１（Ｂ））、これ以前に表示されていた文字言語の行はそれぞれ１行ずつ上に移動する。上記手話に対して、運転者の次の話を変換した新しい２行の文字言語「これから○○に行きます。約××時間で着く予定です。」が、その行数である２行に渡ってディスプレイ部１２の下部に表示され、この前に表示されていた文字言語の行は、それぞれ２行ずつ上に移動する。このように新しく表示される文字言語の行数だけ、前に表示された文字言語の行が上に移動する。尚、文字言語「これから○○に行きます。約××時間で着く予定です。」の２行を同時に表示してもよいし、文字言語「これから○○に行きます。」の１行を表示し、この１行が上に移動した後、残りの文字言語「約××時間で着く予定です。」の１行を表示してもよい。
【００８１】
これに手話者が手話で応答し、この手話を変換した文字言語「着いたら、△△が見たいです。」が音声出力されると共に、ディスプレイ部１２の下部に表示され（図１２）、この前に表示されていた文字言語の行はそれぞれ１行ずつ上に移動する。
【００８２】
前記時系列表示モードでは、運転者の話と手話者の手話の順番で時系列的に文字言語表示され、新しい文字言語の行が表示されると、その新しい文字言語の行数だけ、ディスプレイ部１２の下部から上方に向かって文字言語の行が移動する。従って、下から上に向かって文字言語の行の表示が古くなる。
【００８３】
このように運転者の音声言語に基づく文字言語表示に加えて、手話に基づく文字言語表示を行うことにより、その手話に基づく文字言語表示を手話者が読むことにより、手話が正しく変換されたかどうか確認することができる。このため手話変換制御手段８は実施例で示したものより簡易な構成のものを用いることもできる。
【００８４】
また、図１３に示すように、運転者の話に基づく文字言語には、運転者を示す運転者マーク４１Ｍを近接して表示し、手話に基づく文字言語には、手話者を示す手話者マーク４２Ｍを近接して表示してもよい。一例として、同図では、運転者マーク４１Ｍはハンドル１８を図案化し、手話者マーク４２Ｍは手を図案化したものを示し、マーク４１Ｍ，４２Ｍは運転者，手話者を連想するものが好ましい。
【００８５】
こうすることにより、文字言語表示が運転者の話の内容か手話の内容かを簡単に識別することができる。
【００８６】
また、図１３では、ナビゲーション画面１７に重ねて文字言語を表示しているが、ナビゲーションが不要な場合は、ナビゲーション画面１７を非表示にして、運転者の話及び手話者の手話に基づく文字言語及びマーク４１Ｍ，４２Ｍのみを表示してもよい。
【００８７】
また、運転者にとっても、音声言語出力の内容が判らなかったり、確認したりしたい場合は、停車中に、手話に基づく文字言語表示を読んで確認することもできる。
【００８８】
このように本実施例では、手話画像変換手段２２により翻訳された音声言語を出力すると共に、他の車両乗員たる運転者の音声を文字言語に変換として表示部たるディスプレイ部１２に表示するから、上記実施例１と同様な作用・効果を奏する。
【００８９】
また、この例では、運転者の音声言語に基づく文字言語表示に加えて、手話に基づく文字言語表示を行うことにより、その手話に基づく文字言語表示を手話者が読むことにより、手話者は自分の手話が正しく変換されたかどうか確認することができる。さらに、運転者の話を変換した文字言語を、ディスプレイ部１２の左右一側である左側寄りに表示し、手話者の手話を変換した文字言語を、ディスプレイ部１２の左右他側である右側寄りに表示することにより、運転者と手話者のどちらに対応する文字言語であるかが判り易くなる。
【実施例３】
【００９０】
図１４〜図１５は本発明の実施例３を示し、上記各実施例と同一部分に同一符号を付し、その説明を省略して詳述する。同図は、助手席４２以外で、後部座席４３に手話者が乗車するタクシーなどの車両２の例を示す。
【００９１】
前記カメラ４は、タクシーなどの車両２の後部座席４３に乗車した手話者を撮像する位置に配置され、車両２のルーフや助手席４２に設ける防護板（図示せず）などに取り付けられる。また、前記ナビゲーション装置３は手話者側表示装置６０を備える。そして、助手席４２の背凭れ部（図示せず）の後面に、表示部たるディスプレイ部１２Ａを備えた前記手話者側表示装置６０が配置されている。
【００９２】
前記手話者側表示装置６０のディスプレイ部１２Ａは、車両２のルーフの下面に設けたリア席モニタでもよく、ディスプレイ部１２Ａは後部座席４３に座った手話者が見える位置にあればよい。
【００９３】
また、前記手話者側表示装置６０は前記ナビゲーション装置３と有線又は無線により電気的に接続されており、そのディスプレイ部１２Ａには、前記システム制御手段６の制御により、前記ナビゲーション装置３のディスプレイ部１２と同じ表示を同時に行うことができる。
【００９４】
この場合、前記ディスプレイ部１２Ａには、前記ナビゲーション装置３のディスプレイ部１２と同じ表示を行う以外にも、前記ナビゲーション画面１７を除いた表示を行うように制御すれば、手話者にとってディスプレイ部１２Ａが見易いものとなる。
【００９５】
図１５は時系列表示モードによるディスプレイ部１２Ａの表示を示し、ディスプレイ部１２Ａはナビゲーション画面１７を表示しない。尚、図示しないが運転者の前方のディスプレイ部１２にはナビゲーション画面１７を表示している。
【００９６】
尚、手話者マーク４２Ｍが付された文字言語は、表示と同時に音声出力部１４から音声出力される。
【００９７】
このように本実施例では、車両乗員のうち後部座席４３の手話者による手話画像を認識する手話画像認識手段２１を備え、手話画像変換手段２２により変換された音声言語を出力すると共に、他の車両乗員たる運転者の音声を文字言語に変換として表示部たるディスプレイ部１２Ａに表示するから、上記各実施例と同様な作用・効果を奏する。
【００９８】
また、この例では、運転者と手話者のコミュニケーションを正しく取ることができ、手話者の希望する行先や経路の間違いを防止することができる。
【実施例４】
【００９９】
図１６〜図１８は本発明の実施例４を示し、上記各実施例と同一部分に同一符号を付し、その説明を省略して詳述する。同図は、前記車両用ナビゲーション装置３に、ヘッドアップディスプレイ装置６１を付加した例を示し、前記ヘッドアップディスプレイ装置６１は車両２に搭載され、ヘッドアップディスプレイ装置本体（以下、ＨＵＤ本体という。）６２と、前記フロントウインド１６の内側に設けられた表示部たるコンバイナ６３とを備える。この場合、前記ディスプレイ部１２に加えて、コンバイナ６３を備える。
【０１００】
前記ＨＵＤ本体６２は車両２の前記インストルメントパネル５内にケース６４を配置し、このケース６４内に、表示器ユニット６５，第１ミラー６６及び第２ミラー６７が配置されている。前記表示器ユニット６５は、ブラケット６８に、画像制御ＥＣＵ６９，光源７０及び表示器７１が取り付けられており、前記表示器ユニット６５は、アクチュエータ（図示せず）により車両２の左右方向（幅方向）に移動可能に構成されている。尚、第１ミラー６６を平面鏡にし、第２ミラー６７を凹面鏡にしてもよい。
【０１０１】
そして、前記光源７０からの光が液晶表示デバイス（ＬＣＤ）等の前記表示器７１を透過することで画像情報を有する光（情報画像ともいう。）に変換され、情報画像が第１ミラー６６で反射され、さらに第２ミラー６７により反射され、インストルメントパネル５の前部上方に設けられた透光部７２を介してコンバイナ６３により反射され、運転者７３又は／及び助手席４２の手話者７４の注視位置（注視方向）を通じて視認される。
【０１０２】
前記システム制御手段６の前記文字表示制御手段３８は、前記表示器７１を制御し、運転者７３の話す音声言語を前記コンバイナ６３に文字言語として表示し、手話者の手話に基づき前記コンバイナ６３に文字言語を表示する。
【０１０３】
また、前記ナビ制御手段７により前記表示器７１を制御して前記コンバイナ６３にナビゲーション画面１７Ａを表示することができる。
【０１０４】
前記ヘッドアップディスプレイ装置６１は、前記コンバイナ６３の表示を、助手席４２の手話者７４が視認可能、運転席４１の運転者７３が視認可能、前記手話者７４と運転者７３の両者が視認可能なものなどを用いることができる。
【０１０５】
助手席４２の手話者７４がコンバイナ６３を視認可能な場合、コンバイナ６３にナビゲーション画面１７Ａを表示する。このナビゲーション画面１７Ａは、直進，右折及び左折の針路方向を示す矢印表示７５や、右折，左折までの距離表示などを表示してもよい。尚、コンバイナ６３のナビゲーション画面１７Ａは、前記ディスプレイ部１２のナビゲーション画面１７とナビゲーションに関する表示は異なってもよく、例えば、地図は必ずしも表示しなくてよい。
【０１０６】
こうすると手話者７４がコンバイナ６３の表示を視認でき、例えば目的地に対してナビゲーション装置３が右折を選択し、図１７に示すように、右折を示す矢印表示７５とその右折箇所迄の距離「７００ｍ」がコンバイナ６３に表示され、これに対して、手話者７４が異なる経路を希望する場合、「次は直進し、その先の信号で右折してください」の手話を行い、これを言語音声として音声出力部１４が出力することにより、手話者７４の希望を運転者７３に伝えることができる。
【０１０７】
このように本実施例では、手話画像変換手段２２により変換された音声言語を出力すると共に、他の車両乗員たる運転者７３の音声を文字言語に変換として表示部たるコンバイナ６３に表示するから、上記各実施例と同様な作用・効果を奏する。
【０１０８】
また、この例では、ヘッドアップディスプレイ装置６１のコンバイナ６３に文字言語表示を行うから、前方を見た状態で文字言語表示が見易いものとなる。また、助手席４２の手話者７４が見るコンバイナ６３には、簡略化したナビゲーション画面１７Ａを表示したり、ナビゲーション画面を非表示にしたりできるから、文字言語表示が一層見易くなる。
【実施例５】
【０１０９】
図１９は本発明の実施例５を示し、上記各実施例と同一部分に同一符号を付し、その説明を省略して詳述する。同図に示すように、この例の車両用ナビゲーション装置３は振動手段８１を備え、手話者７４が座る助手席４２又は／及び後部座席４３に前記振動手段８１を設け、この振動手段８１を前記システム制御手段６に電気的に接続している。尚、前記振動手段８１はナビゲーション装置３の一部を構成する。
【０１１０】
そして、この例では、前記システム制御手段６は、運転者７３の話を変換した文字言語をディスプレイ部１２，コンバイナ６３に表示すると共に、この表示と同時に助手席４２又は／及び後部座席４３を微振動させて文字言語が表示されたことを手話者７４に知らせるように制御する。
【０１１１】
このように振動手段８１は、文字言語が表示されたことを報知する報知手段であるから、振動により手話者７４は運転者７３が発話したことが判り、ディスプレイ部１２，コンバイナ６３の文字言語をすぐに読むことができ、コミュニケーションの際、表示部を常時見る必要がなくなる。
【０１１２】
このように本実施例では、手話画像変換手段２２により変換された音声言語を出力すると共に、他の車両乗員たる運転者７３の音声を文字言語に変換として表示部たるディスプレイ部１２，１２Ａ又はコンバイナ６３に表示するから、上記各実施例と同様な作用・効果を奏する。
【０１１３】
また、この例では、報知手段たる振動手段８１を備えるから、コミュニケーションの最初が運転者７３の話から始まる場合でも、話の始まりを振動により手話者７４に知らせることができるから、運転者７３の発言に手話者７４が気付かないことが無く、円滑にコミュニケーションを取ることができる。
【実施例６】
【０１１４】
図２０は本発明の実施例６を示し、上記各実施例と同一部分に同一符号を付し、その説明を省略して詳述する。同図は、運転席４１又はハンドル１８に振動手段８１を設け、この振動手段８１を前記システム制御手段６に電気的に接続している。
【０１１５】
そして、この例では、前記システム制御手段６は、手話の内容を音声出力部１４から出力すると共に、手話を変換した文字言語をディスプレイ部１２に表示し、これら出力及び表示と同時に運転席４１又はハンドル１８を微振動させ、手話を運転者７３に知らせるように制御する。
【０１１６】
このように振動手段８１は、文字言語が表示されたことを報知する報知手段であるから、振動により運転者７３はディスプレイ部１２に文字言語が表示されたことが判り、コミュニケーションの際、音声出力を省略しても、ディスプレイを常時見る必要がなく、文字言語の読み取りも短時間で済むから、停車中に文字言語を読むことにより、請求項に対応しないが、手話に基づく音声出力を省略することもできる。
【０１１７】
このように本実施例では、手話画像変換手段２２により変換された音声言語を出力すると共に、他の車両乗員たる運転者７３の音声を文字言語に変換として表示部たるディスプレイ部１２，１２Ａ又はコンバイナ６３に表示するから、各実施例と同様な作用・効果を奏する。
【０１１８】
また、実施例上の効果として、助手席４２又は後部座席４３の手話者７４による手話に基づく文字言語表示を行うから、運転者７３も手話者の場合、助手席４２又は後部座席４３の手話を見なくても、停車中にディスプレイ部１２を見ることにより、手話の内容を認識することができる。尚、各実施例において、表示部として、コンバイナ６３を用い、このコンバイナ６３に、手話の内容及び／又は運転者７３の音声言語に基づく文字言語を表示する場合、それら表示を運転中に運転者７３が見ることができる。
【０１１９】
尚、本発明は、上記実施例に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、手話画像変換手段は実施例に限定されず、各種のものを用いることができる。また、音声入力部は、ナビゲーション装置に組み込んだタイプや、運転者が装備するタイプのものなど、運転者の音声を入力できれば、各種のものを用いることができる。また、時系列モードでは、文字言語が横に並んだ横書きにおいて、文字言語が下から上に移動するように表示したが、文字言語が上から下に移動するように表示してもよいし、文字言語が縦に並んだ縦書きなら、右から左に移動又は左から右に文字言語が移動するように表示してもよい。また、他のモードでは、表示部の下側に文字言語を表示したが、その表示位置は表示部の上側や他の位置でもよい。さらに、参考例として、手話に換えてジェスチャーを翻訳してもよく、撮像手段により撮像されたジェスチャー画像をジェスチャー画像認識手段により認識し、このジェスチャー画像をジェスチャー画像変換手段により音声言語に変換してもよい。また、実施例で示した各種の設定時間は、実施例に限定されず、適宜選定可能である。
【符号の説明】
【０１２０】
２  車両
３  ナビゲーション装置
４  カメラ（撮像装置）
６  システム制御手段
１２，１２Ａ  ディスプレイ部（表示部）
１３  音声入力部
１４  音声出力部
２１  手話画像認識手段
２２  手話画像変換手段
６３  コンバイナ（表示部）
【図１】
2020160004.tif 000003
【図２】
2020160004.tif 000004
【図３】
2020160004.tif 000005
【図４】
2020160004.tif 000006
【図５】
2020160004.tif 000007
【図６】
2020160004.tif 000008
【図７】
2020160004.tif 000009
【図８】
2020160004.tif 000010
【図９】
2020160004.tif 000011
【図１０】
2020160004.tif 000012
【図１１】
2020160004.tif 000013
【図１２】
2020160004.tif 000014
【図１３】
2020160004.tif 000015
【図１４】
2020160004.tif 000016
【図１５】
2020160004.tif 000017
【図１６】
2020160004.tif 000018
【図１７】
2020160004.tif 000019
【図１８】
2020160004.tif 000020
【図１９】
2020160004.tif 000021
【図２０】
2020160004.tif 000022