(57)【要約】【課題】視線認識によって発話者の意図を正確に反映した表示を実現する。【解決手段】表示制御装置（１０）は、車両内の発話者の視線位置を認識する視線認識手段（１１０）と、発話者の発話内容から少なくとも指示語を認識する音声認識手段（１２０）と、音声認識手段により指示語が認識された時点と指示語が認識された時点から所定時間遡った時点との間に認識された複数の視線位置のうち、最も視線滞留時間の長い視線位置を抽出する抽出手段（１４０）と、抽出された視線位置を表示装置の画面上の表示位置に変換する変換手段（１５０）と、変換された表示位置を示す重畳データを表示装置に重畳表示させる重畳表示手段（１６０）とを備える。【選択図】図１
2019133317.tif 000002
【特許請求の範囲】
【請求項１】
車両内の表示装置に情報を表示させる表示制御装置において、
前記車両内の発話者の視線位置を認識する視線認識手段と、
前記発話者の発話内容から少なくとも指示語を認識する音声認識手段と、
前記音声認識手段により前記指示語が認識された時点と前記指示語が認識された時点から所定時間遡った時点との間に前記視線認識手段により認識された複数の視線位置のうち、最も視線滞留時間の長い視線位置を抽出する抽出手段と、
前記抽出された視線位置を前記表示装置の画面上の表示位置に変換する変換手段と、
前記変換された表示位置を示す重畳データを前記表示装置に重畳表示させる重畳表示手段と
を備えることを特徴とする表示制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線認識を行う表示制御装置の技術分野に関する。
【背景技術】
【０００２】
この種の装置として、発話者の視線認識を行い、発話者の意図に応じた表示を実現するものが知られている。例えば特許文献１では、発話者の視線位置を認識し、視線位置に応じた表示位置に重畳表示を行うという技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−０４１１９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した特許文献１に記載されている技術には、認識された視線位置の平均値を用いて表示位置を決定する方法が記載されている。しかしながら、発話者の視線は随時動くため、認識すべき視線位置と算出される平均値との間にはずれが生じてしまうおそれがある。この結果、発話者の意図を正確に認識することができないという技術的問題点が生じ得る。
【０００５】
本発明は、例えば上記問題点に鑑みてなされたものであり、視線認識によって発話者の意図を正確に反映した表示を実現可能な表示制御装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明に係る表示制御装置の一態様では、車両内の表示装置に情報を表示させる表示制御装置において、前記車両内の発話者の視線位置を認識する視線認識手段と、前記発話者の発話内容から少なくとも指示語を認識する音声認識手段と、前記音声認識手段により前記指示語が認識された時点と前記指示語が認識された時点から所定時間遡った時点との間に前記視線認識手段により認識された複数の視線位置のうち、最も視線滞留時間の長い視線位置を抽出する抽出手段と、前記抽出された視線位置を前記表示装置の画面上の表示位置に変換する変換手段と、前記変換された表示位置を示す重畳データを前記表示装置に重畳表示させる重畳表示手段とを備える。
【図面の簡単な説明】
【０００７】
【図１】本実施形態に係る表示制御装置の構成を示すブロック図である。
【図２】本実施形態に係る表示制御装置の動作の流れを示すフローチャートである。
【図３】発話タイミングから単位時間遡った機関における視線位置と滞留時間を示すグラフである。
【図４】滞留時間が最も長かった視線位置の抽出方法を示すグラフである。
【発明を実施するための形態】
【０００８】
以下、図面を参照して表示制御装置の実施形態について説明する。
【０００９】
＜装置構成＞
まず、本実施形態に係る表示制御装置の構成について、図１を参照して説明する。図１は、本実施形態に係る表示制御装置の構成を示すブロック図である。
【００１０】
図１において、本実施形態に係る表示制御装置１０は、視線認識カメラ２０及び音声認識マイク３０と接続されており、車両に搭載された表示ディスプレイ４０の表示を制御する装置として構成されている。本実施形態に係る表示制御装置１０は、その機能を実現するための物理的なハードウェア又は処理ブロックとして、視線認識部１１０、音声認識部１２０、指示語パターン記憶部１３０、視線抽出部１４０、変換部１５０、重畳表示部１６０、及び重畳パターン記憶部１７０を備えて構成されている。
【００１１】
視線認識カメラ２０は、発話者（即ち、車両の搭乗者）の視線を監視可能な位置に設置されている。視線認識カメラ２０で撮像された画像は、表示制御装置１０の視線認識部１１０に出力される構成となっている。
【００１２】
音声認識マイク３０は、発話者の音声を取得可能な位置に設置されている。音声認識マイク３０によって取得された音声は、表示制御装置１０の音声認識部１２０に出力される構成となっている。
【００１３】
表示ディスプレイ４０は、例えばＨＵＤ（ヘッドアップディスプレイ）やＨＭＤ（ヘッドマウントディスプレイ）等として構成されており、車両の搭乗者の視界に情報を重畳させて表示させることが可能である。
【００１４】
視線認識部１１０は、視線認識カメラ２０で撮像された画像から、発話者の視線位置（例えば、発話者の右目の視線と左目の視線とがクロスする焦点）を認識する。視線位置は、例えば奥行き、高さ、横位置に関する位置情報の他、視線がどれくらいの期間同じ位置に留まっていたかを示す情報（言い換えれば、視線滞留時間に関する情報）を含んでいる。視線認識部１１０で認識された視線位置に関する情報は、視線抽出部１４０に出力される構成となっている。なお、視線認識部１１０は、後述する付記における「視線認識手段」の一具体例である。
【００１５】
音声認識部１２０は、音声認識マイク３０で取得された音声（即ち、発話内容）から、その中に含まれる指示語を認識する。指示語は、例えば、この、ここ、これ、こっち、その、そこ、それ、そっち、あの、あそこ、あれ、あっち等の、位置や場所を示す語である。また、指示語は、赤、青、黄、白、黒等の色を示す語、建物、ビル、車、人、信号等の物体情報を示す語、コンビニ、ファミレス、駐車場等の施設情報を示す語、丸い、四角い等の形情報を示す語など、目印となる対象物などを特定するための語であってもよい。音声認識部１２０で認識された指示語に関する情報は、視線抽出部１４０に出力される構成となっている。なお、音声認識部１２０は、後述する付記における「音声認識手段」の一具体例である。
【００１６】
指示語パターン記憶部１３０は、音声認識部１２０において指示語を認識するために、指示語の各種パターンを予め記憶している。
【００１７】
視線抽出部１４０は、音声認識部１２０で指示語が認識されたタイミングから単位時間Ｔ遡った期間において、視線認識部１１０で認識された複数の視線位置のうち、最も視線滞留時間が長い視線位置を抽出する。即ち、発話者が指示語を発する直前に最も長く見ていた位置に関する情報を抽出する。視線抽出部１４０で抽出された視線位置に関する情報は、変換部１５０に出力される構成となっている。なお、視線抽出部１４０は、後述する付記における「抽出手段」の一具体例である。
【００１８】
変換部１５０は、視線抽出部１４０で抽出された視線位置（即ち、視線滞留時間が最も長い視線位置）に関する情報を、表示ディスプレイ４０における表示位置を示す情報に変換する。具体的には、変換部１５０は、視線位置に含まれる奥行き、高さ、横位置に関する情報を、表示ディスプレイの座標軸に変換する処理を実行する。変換部１５０で変換された表示位置は、重畳表示部１６０に出力される構成となっている。
【００１９】
重畳表示部１６０は、表示ディスプレイ４０に表示された画像（例えば、地図データ等）に、変換部１５０で変換された表示位置を示す重畳データを重畳表示させる。即ち、重畳表示部１６０は、発話者の視線位置が示す対象物を示すデータを、表示ディスプレイ４０に重畳表示させる。なお、重畳表示部１６０は、後述する付記における「重畳表示手段」の一具体例である。
【００２０】
重畳パターン記憶部１７０は、重畳表示部１６０が表示させる重畳データ（例えば、矢印や丸、四角等の図形データ、文字データ（フォント含む）及び色データ等）を予め記憶している。
【００２１】
＜動作説明＞
次に、本実施形態に係る表示制御装置１０の動作について、図２を参照して説明する。図２は、本実施形態に係る表示制御装置の動作の流れを示すフローチャートである。
【００２２】
図２に示すように、本実施形態に係る表示制御装置１０の動作時には、まず視線認識部１１０が視線認識カメラ２０を用いた視線認識を開始し、音声認識部１２０が音声認識マイク３０を用いた音声認識を開始する（ステップＳ１１）。
【００２３】
続いて、音声認識部１２０が指示語を認識したか否かを判定する（ステップＳ１２）。なお、音声認識部１２０で指示語が認識されていない場合は（ステップＳ１２：ＮＯ）、続けて視線認識及び音声認識が行われる。
【００２４】
音声認識部１２０で指示語が認識された場合は（ステップＳ１２：ＹＥＳ）、視線抽出部１４０が、指示語認識直前の単位時間Ｔにおいて認識された複数の視線位置の中から、最も視線滞留時間が長かった視線位置を抽出する（ステップＳ１３）。
【００２５】
ここで、ステップＳ１３における視線位置の抽出方法について、図３及び図４を参照して具体的に説明する。図３は、発話タイミングから単位時間遡った機関における視線位置と滞留時間を示すグラフである。図４は、滞留時間が最も長かった視線位置の抽出方法を示すグラフである。
【００２６】
図３に示すように、視線抽出部１４０は、例えば“あの”という指示語が発話されたタイミングから単位時間Ｔ遡った期間において認識された複数の視線位置（即ち、図中のＡ、Ｂ及びＣ）の各々に対応する視線滞留時間ｔａ、ｔｂ及びｔｃを取得する。
【００２７】
図４に示すように、視線滞留時間ｔａ、ｔｂ及びｔｃを比較すると、視線位置Ｂに対応する視線滞留時間ｔｂが最も長いことが分かる。この場合、視線抽出部１４０は、最も視線滞留時間が長かった視線位置Ｂを抽出する。
【００２８】
図２に戻り、続いて変換部１５０が、視線抽出部１４０で抽出された視線位置を、表示ディスプレイ４０における表示位置に変換する（ステップＳ１４）。そして、重畳表示部１６０が、変換部１５０で変換された表示位置を示す重畳データを表示ディスプレイ４０に重畳表示する（ステップＳ１５）。
【００２９】
上述した一連の処理により、表示ディスプレイ４０には、発話者の指示語が示す対象物の位置を示す情報が重畳表示される。例えば、車両の助手席の搭乗者が、運転者に対して「あそこのコンビニに向かって」と発話した場合、表示ディスレプレイ４０が表示する地図データ上に、発話者の視線の先にあったコンビニの位置を示す重畳データが重畳表示される。
【００３０】
＜技術的効果＞
次に、本実施形態に係る表示制御装置１０によって得られる技術的効果について説明する。
【００３１】
図１から図４を参照して説明したように、本実施形態に係る表示制御装置１０によれば、視線滞留時間に基づいて、発話者が指示語によって示そうとした対象物を好適に判断することが可能である。例えば、指示語を発したタイミングの直前期間に、発話者が複数箇所を見ていた場合（即ち、視線位置が複数存在している場合）、指示後に応じた重畳表示を行うためには、その指示語がどの視線位置に対応した対象物を示すものであるのか判断しなければならない。この時、発話者は、指示語を発話する直前の期間において、意図する対象物（即ち、指示語が示す対象物）を比較的長い時間見ている可能性が高いと考えられる。よって、視線滞留時間が最も長い視線位置を抽出すれば、発話者の意図を正確に反映した重畳表示（具体的には、発話者が意図した対象物を示す重畳表示）を実現することが可能である。
【００３２】
指示語が発話されたタイミングの直前期間に複数の視線位置が存在している場合、例えば複数の視線位置に重み付けをした平均値等を用いて１つの視線位置を算出する方法も考えられる。しかしながら、平均値を用いた方法では、発話者が意図しない対象物に対応する視線位置も少なからず考慮されてしまうため、算出される視線位置と、発話者が意図した対象物の位置との間にずれが生じてしまう。これに対し、本実施形態に係る表示制御装置１０では、視線滞留時間が最も長い１つの視線位置に基づいた表示が行われるため、上述した平均値を用いる場合と比較すると、より正確に発話者の意図を反映した重畳表示を実現できる。
【００３３】
＜付記＞
以上説明した実施形態から導き出される発明の各種態様を以下に説明する。
【００３４】
（付記１）
付記１に記載の表示制御装置は、車両内の表示装置に情報を表示させる表示制御装置において、前記車両内の発話者の視線位置を認識する視線認識手段と、前記発話者の発話内容から少なくとも指示語を認識する音声認識手段と、前記音声認識手段により前記指示語が認識された時点と前記指示語が認識された時点から所定時間遡った時点との間に前記視線認識手段により認識された複数の視線位置のうち、最も視線滞留時間の長い視線位置を抽出する抽出手段と、前記抽出された視線位置を前記表示装置の画面上の表示位置に変換する変換手段と、前記変換された表示位置を示す重畳データを前記表示装置に重畳表示させる重畳表示手段とを備える。
【００３５】
付記１に記載の表示制御装置では、指示語が音声認識された時点から所定時間遡った時点までの間に認識された複数の視線位置の中から、最も視線滞留時間の長い視線位置が抽出される。そして、抽出された視線位置に基づいて表示装置における重畳表示が行われる。ここで特に、指示語を発する直前に視線位置が複数認識されていた場合、その中で最も視線滞留時間の長い視線位置が、発話者の意図する対象物（即ち、指示語が示す対象物）であると考えることができる。よって、付記１に記載の表示制御装置によれば、視線認識によって発話者の意図を正確に認識し、適切な表示を実現することが可能である。
【００３６】
本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う表示制御装置もまた本発明の技術的範囲に含まれるものである。
【符号の説明】
【００３７】
１０  表示制御装置
１１０  視線認識部
１２０  音声認識部
１３０  指示語パターン記憶部
１４０  視線抽出部
１５０  変換部
１６０  重畳表示部
１７０  重畳パターン記憶部
２０  視線認識カメラ
３０  音声認識マイク
４０  表示ディスプレイ
【図１】
2019133317.tif 000003
【図２】
2019133317.tif 000004
【図３】
2019133317.tif 000005
【図４】
2019133317.tif 000006