(57)【要約】【課題】手を使うこと無く、簡単且つ自由な操作を可能とする。【解決手段】視線検出装置は、下方からのドライバの顔の撮影画像に基づき、ドライバの注視点や、該撮影画像上のドライバの左右の目の位置座標を検出し、該位置座標や注視点を車載装置に提供する。また、車載装置は、表示装置にアイコン等のオブジェクトが描かれた操作画面を表示すると共に、視線検出装置から取得した位置座標に基づき、上記撮影画像上の左右の目の上下方向の位置の間隔を算出し、これに基づきドライバが顔の向きを横方向に傾ける挙動を検出する。そして、該挙動がなされた際にドライバが同一のオブジェクトを注視していた場合には、該オブジェクトに対応する操作がなされたものみなす。【選択図】図４
2014126997.tif 000002
【特許請求の範囲】
【請求項１】
表示装置（２０，５１）の画面に画像を表示する表示手段（Ｓ２００）と、
ユーザの顔の撮影画像に基づき、該ユーザが注視している前記画面上の注視点を特定する特定手段（Ｓ２３０，Ｓ２５５）と、
前記撮影画像に基づき、予め定められた前記ユーザの頭部全体を動かす挙動を検出する検出手段（Ｓ２０５〜Ｓ２２５，Ｓ２７５〜Ｓ３００）と、
前記検出手段により前記ユーザの前記挙動が検出されると、該挙動がなされた際に前記特定手段により特定された前記注視点に対応する操作が行われたとみなす操作手段（Ｓ２７０，Ｓ３０５）と、
を備えることを特徴とする操作装置（１０，５０）。
【請求項２】
請求項１に記載の操作装置において、
前記表示手段は、１または複数のオブジェクトが描かれた画像を前記表示装置の画面に表示し、
前記操作手段は、前記検出手段により前記ユーザの前記挙動が検出されると、該挙動がなされた際に前記特定手段により特定された前記注視点が、いずれか一つの前記オブジェクトが描かれた領域にある場合には、該オブジェクトに対応する操作が行われたとみなすこと、
を特徴とする操作装置。
【請求項３】
請求項１または請求項２に記載の操作装置において、
前記挙動とは、顔の向きを横方向に傾ける動きであること、
を特徴とする操作装置。
【請求項４】
請求項１から請求項３のうちのいずれか１項に記載の操作装置において、
前記検出手段は、前記撮影画像に基づき前記ユーザの目の位置を検出し、該目の位置に基づき、前記挙動を検出すること、
を特徴とする操作装置。
【請求項５】
請求項３を引用する請求項４に記載の操作装置において、
前記撮影画像は、前記ユーザの顔を下方から撮影した画像であり、
前記検出手段は、前記撮影画像における前記ユーザの左右の目の上下方向の位置の間隔を検出すると共に、該間隔に基づき、該ユーザが顔の向きを横方向に傾けた度合いを判別し、該度合いに基づき、前記挙動を検出すること、
を特徴とする操作装置。
【請求項６】
請求項１から請求項５のうちのいずれか１項に記載の操作装置において、
前記操作装置は、車両に搭載されていること、
を特徴とする操作装置。
【請求項７】
表示装置（２０，５１）の画面に画像を表示する表示手順（Ｓ２００）と、
ユーザの顔の撮影画像に基づき、該ユーザが注視している前記画面上の注視点を特定する特定手順（Ｓ２３０，Ｓ２５５）と、
前記撮影画像に基づき、予め定められた前記ユーザの頭部全体を動かす挙動を検出する検出手順（Ｓ２０５〜Ｓ２２５，Ｓ２７５〜Ｓ３００）と、
前記検出手順において前記ユーザの前記挙動が検出されると、該挙動がなされた際に前記特定手段において特定された前記注視点に対応する操作が行われたとみなす操作手段（Ｓ２７０，Ｓ３０５）と、
を備えることを特徴とする操作検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
ユーザの視線により操作を受け付ける操作装置等に関する。
【背景技術】
【０００２】
従来、車載装置や携帯機器等の電子装置では、装置とユーザとの間のインターフェースとしてボタン等が用いられていたが、近年では、ディスプレイに配されたタッチパネルを用いたものが多く見受けられる。
【０００３】
このようなタッチパネルを用いることで、ディスプレイに表示されたアイコン等をタッチすることで操作を行うことができ、より直感的な操作が可能となる。しかしながら、指先で操作を行うという身体的な負担が低減されることは無く、例えば運転中等のように、両手が塞がっている状態では自由に操作を行うことができないという問題がある。
【０００４】
これに対し、特許文献１には、ユーザの視線に基づき操作を検出するシステムについて記載されている。該システムは、ユーザの視線上にある画面上の位置の座標（視線座標）を検出すると共に、ユーザから座標確定の指示を受け付け、座標確定の指示を受け付けた際の視線座標に対応する処理を実行する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−１０８２５１号広報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載のシステムによれば、視線により操作を選択することができるため、煩わしいキー操作が不要となるが、操作の選択を確定させるための操作を手で行う必要があり、依然として両手が塞がっている状態では自由に操作を行うことができない。
【０００７】
本願発明は上記課題に鑑みてなされたものであり、手を使うこと無く、簡単且つ自由に操作を行うことができる操作装置等を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するためになされた請求項１に係る操作装置は、表示装置の画面に画像を表示する表示手段と、ユーザの顔の撮影画像に基づき、該ユーザが注視している画面上の注視点を特定する特定手段と、撮影画像に基づき、予め定められたユーザの頭部全体を動かす挙動を検出する検出手段と、検出手段によりユーザの挙動が検出されると、該挙動がなされた際に特定手段により特定された注視点に対応する操作が行われたとみなす操作手段と、を備える。
【０００９】
このような構成によれば、ユーザが表示装置の画面上の特定の位置を注視した状態で、顔の向きを所定方向に向ける等、予め定められた態様で頭部全体を動かすと、ユーザの注視点に対応する操作が検出される。このため、ユーザは、画面の注視により操作を選択した後、頭部全体を動かすという極めて簡単な挙動により該選択を確定させることができ、手を使うこと無く、簡単且つ自由に操作を行うことができる。
【００１０】
また、上述したように、ディスプレイにタッチパネルを配し、画面上に表示されたアイコン等のオブジェクトをタッチすることで各種操作を行うことができる電子装置が知られており、このような電子装置によれば、より直感的な操作が可能となる。
【００１１】
そこで、請求項２に記載の操作装置では、表示手段は、１または複数のオブジェクトが描かれた画像を表示装置の画面に表示し、操作手段は、検出手段によりユーザの挙動が検出されると、該挙動がなされた際に特定手段により特定された注視点が、いずれか一つのオブジェクトが描かれた領域にある場合には、該オブジェクトに対応する操作が行われたとみなす。
【００１２】
このような構成によれば、ユーザが画面上の特定のオブジェクトを目視した状態で、予め定められた態様で頭部全体を動かすと、該オブジェクトに対応する操作が検出される。このため、ユーザは、頭部全体を動かすという極めて簡単な挙動により注視によるオブジェクトの選択を確定させることができ、手を使うこと無く、より直感的に、簡単且つ自由な操作を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態における車載システムの構成を示すブロック図である。
【図２】第１実施形態における車載システムの視線検出装置が備えるカメラの配置位置の説明図である。
【図３】第１実施形態におけるドライバの顔の向きを検出する処理についての説明図である。
【図４】第１実施形態におけるドライバの操作確定挙動に応じて操作を確定させる処理についての説明図である。
【図５】第１実施形態におけるドライバの操作確定挙動の検出方法の一例についての説明図である。
【図６】第１実施形態におけるドライバの操作確定挙動の検出方法の一例についての説明図である。
【図７】第１実施形態におけるドライバの操作確定挙動の検出方法の一例についての説明図である。
【図８】第１実施形態におけるドライバの操作確定挙動の検出方法の一例についての説明図である。
【図９】第１実施形態における操作検出処理のフローチャートである。
【図１０】第１実施形態における操作検出処理のフローチャートである。
【図１１】第２実施形態における携帯機器の構成を示すブロック図である。
【図１２】第２実施形態における携帯機器の外観を示す概略図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
【００１５】
［第１実施形態］
［構成の説明］
図１は、第１実施形態の車載システム１の構成を示すブロック図である。車載システム１は、表示装置２０に各種画像を表示する車載装置１０と、ドライバの顔の撮影画像に基づきドライバが注視している位置等を検出する視線検出装置３０（アイトラッカー）とを有する。
【００１６】
視線検出装置３０は、ドライバの顔に向けて赤外線を投光する投光部や、ドライバの顔を撮影するカメラ３１等から構成されており、撮影画像からドライバの目の位置を特定し、ドライバの目の画像を解析する。そして、解析結果からドライバの視線方向を検出し、該視線方向に基づき、ドライバが注視している表示装置２０の画面上の位置の座標（注視点）を検出する。なお、カメラ３１は、自車両のメータに隣接した位置に、水平方向から所定角度上方に傾けた状態で配されており、ドライバの顔を、顔の正面から下方寄りの視点から撮影する（図２）。
【００１７】
また、車載装置１０は、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ等から構成され、当該車載装置１０を統括制御する制御部１２と、表示装置２０に対し映像信号を出力し、その画面上に各種画像を表示させる映像信号出力部１１とを有する。
【００１８】
制御部１２は、各種画像データを生成するよう構成されており、映像信号出力部１１を介して、表示装置２０に対し、生成した画像データに基づく映像信号を出力することで、表示装置２０の画面に各種画像を表示させる。
【００１９】
［動作の説明］
（１）動作の概要について
次に、車載装置１０の動作の概要について説明する。
【００２０】
車載装置１０は、自装置に対する操作を受け付けるための操作画面の画像データを生成し、表示装置２０に操作画面を表示させる。この操作画面には、１または複数のオブジェクト（アイコン等）が描かれており、車載装置１０は、ドライバがいずれかのオブジェクトを注視しつつ、顔の向きを横方向に傾ける挙動（換言すれば、顔を横方向に振る挙動）をしたことに応じて、該オブジェクトに対応する操作を検出する（以後、該挙動を操作確定挙動とも記載する）。
【００２１】
なお、例えば、ドライバが顔の向きを上方向或いは下方向に傾ける挙動、若しくは、顔を前後させる挙動を、操作確定挙動とすることも考えられる。しかし、このような挙動はドライバが何気なく行ってしまう可能性があり、顔の向きを横方向に傾ける挙動を操作確定挙動とすることで、ドライバの意思をより正確に反映させることができる。また、例えば、頭部全体を左右或いは上下方向に繰り返し振る挙動等のように、他の頭部全体の挙動を操作確定挙動として検出しても良い。
【００２２】
視線検出装置３０は、車載装置１０からの指示に応じて、ドライバの顔の撮影画像に基づき、該撮影画像上におけるドライバの左右の目の位置座標や操作画面上の注視点を検出し、車載装置１０に提供する。
【００２３】
このドライバの顔の撮影画像は、顔の正面から下方寄りの位置を視点とするものであり、ドライバの顔をやや見上げた状態で映し出したものである。このため、ドライバの左目の位置座標をＬ（ｌｘ，ｌｙ）、右目の位置座標をＲ（ｒｘ，ｒｙ）とした場合、ドライバの顔が真正面を向いた状態では、上下方向（ｙ軸方向）の左右の目の位置の間隔である差分Δｄ＝ｒｙ−ｌｙは０付近の値となる（図３参照）。そして、ドライバの顔の向きが横方向に傾くにつれ、該Δｄの絶対値が大きくなる。
【００２４】
そこで、位置座標Ｌ，Ｒを取得した車載装置１０の制御部１２は、これに基づきΔｄを算出すると共に、Δｄに基づきドライバの顔の向きを検出し、さらに、顔の向きに基づき操作確定挙動を検出する。
【００２５】
無論、このほかにも、例えば、正面或いは上方等からのドライバの顔の撮影画像や、頭部全体の撮影画像等を用いて、顔の向きを検出することも考えられる。また、ドライバの目の位置座標以外にも、例えば、ドライバの顔の画像から特徴点を検出し、該特徴点の位置等に基づき、顔の向きを検出することも考えられる。
【００２６】
しかし、ドライバの目の位置に着目することで、より容易にドライバの顔の向きを検出することができる。また、ドライバの顔を下方から撮影した画像を用いると共に、左右の目の上下方向の位置の間隔に着目することで、容易且つ正確に顔の向きを検出することができ、その結果、操作確定挙動を検出する際の処理負荷を低減させることができる。
【００２７】
図４，５を用いて具体的に説明すると、制御部１２は、表示装置２０に操作画面１００を表示させた後、位置座標Ｌ，Ｒに基づき、時刻ｔにおける上記差分の絶対値｜Δｄ（ｔ）｜を算出する。そして、制御部１２は、｜Δｄ（ｔ）｜が予め定められた閾値Ｄ１以上になると、その時点の時刻をＴｓｔａとする。さらに、制御部１２は、視線検出装置３０から取得した注視点に基づき、時刻Ｔｓｔａにおいてドライバが注視している操作画面１００上のオブジェクトを特定し、表示装置２０に対し、該オブジェクト１０１を強調表示させても良い。
【００２８】
その後、制御部１２は、周期的に｜Δｄ（ｔ）｜を算出し、時刻Ｔｅｎｄまでに（時刻Ｔｓｔａから所定時間が経過するまでに）｜Δｄ（ｔ）｜が閾値Ｄ２以上になった場合には、操作確定挙動がなされたものとみなす。
【００２９】
また、操作確定挙動の検出中、制御部１２は、視線検出装置３０から取得した注視点に基づき、ドライバが注視している操作画面上のオブジェクトを特定する。そして、操作確定挙動が検出されるまでの間、ドライバが同一のオブジェクト１０１（強調表示されたオブジェクト１０１）を注視していた場合には、制御部１２は、該オブジェクト１０１に対応する操作がなされたものとみなし、該オブジェクト１０１に対応する処理を実行する。なお、このとき、制御部１２は、該オブジェクト１０１の表示態様をさらに変化させても良い。
【００３０】
このほかにも、以下のようにして操作確定挙動を検出しても良い。すなわち、制御部１２は、時刻Ｔｓｔａ以後、周期的に｜Δｄ（ｔ）｜を算出すると共に、時刻Ｔｓｔａを起点とした｜Δｄ（ｔ）｜の積分値を算出し、時刻Ｔｅｎｄまでに該積分値が閾値Ｄ３以上となった場合に、操作確定挙動がなされたとみなしても良い（図６参照）。
【００３１】
また、この操作確定挙動の検出中、制御部１２は、同様にしてドライバが注視している操作画面上のオブジェクトを特定しても良い。そして、操作確定挙動が検出されるまでの間、ドライバが同一オブジェクト１０１を注視していた場合には、制御部１２は、該オブジェクト１０１に対応する操作がなされたものとみなしても良い。
【００３２】
また、このほかにも、制御部１２は、顔の向きを右方向に傾ける挙動（右側操作確定挙動）と、左方向に傾ける挙動（左側操作確定挙動）を、別の操作確定挙動として検出しても良い。
【００３３】
上述したように、Δｄ（ｔ）＝ｒｙ−ｌｙであるため、ドライバが右方向に顔を傾けた場合には、Δｄ（ｔ）は負の値に、左方向に顔を傾けた場合には、Δｄ（ｔ）は正の値となる。このため、Δｄ（ｔ）の符号によりドライバが顔を傾けた向きを判定することができ、制御部１２は、Δｄ（ｔ）に基づき、右側，左側操作確定挙動を検出することができる。
【００３４】
そこで、制御部１２は、ドライバがいずれかのオブジェクトを注視した状態で、右側操作確定挙動が検出された場合には、該オブジェクトに対応する操作Ｒを検出し、左側操作確定挙動が検出された場合には、該オブジェクトに対応する操作Ｌを検出しても良い。
【００３５】
具体的に説明すると、左側操作確定挙動に関して、制御部１２は、Δｄ（ｔ）が予め定められた閾値ＤＬ１以上になると、視線検出装置３０から取得した注視点に基づき、その時点（時刻Ｔｓｔａ）においてドライバが注視している操作画面上のオブジェクトを特定する（図７参照）。
【００３６】
その後、制御部１２は、周期的に｜Δｄ（ｔ）｜を算出し、時刻Ｔｅｎｄまでに｜Δｄ（ｔ）｜が閾値ＤＬ２以上になった場合には、左側操作確定挙動がなされたものとみなす。そして、この左側操作確定挙動の検出中、ドライバが同一オブジェクトを注視していた場合には、制御部１２は、該オブジェクトに対応する操作Ｌがなされたものとみなし、該オブジェクト及び操作Ｌに対応する処理を実行する。
【００３７】
一方、右側操作確定挙動に関しても、左側操作確定挙動と同様、制御部１２は、Δｄ（ｔ）が予め定められた閾値ＤＲ１以下になると、ドライバが注視しているオブジェクトを特定する（図７参照）。その後、時刻Ｔｅｎｄまでに｜Δｄ（ｔ）｜が閾値ＤＲ２以下になった場合には、制御部１２は、右側操作確定挙動がなされたものとみなす。
【００３８】
そして、この右側操作確定挙動の検出中、ドライバが同一オブジェクトを注視していた場合には、制御部１２は、該オブジェクトに対応する操作Ｒがなされたものとみなし、該オブジェクト及び操作Ｒに対応する処理を実行する。
【００３９】
なお、左側操作確定挙動に関して、制御部１２は、Δｄ（ｔ）が閾値ＤＬ１以上となった時刻Ｔｓｔａ以後、周期的にΔｄ（ｔ）を算出すると共に、時刻Ｔｓｔａを起点としたΔｄ（ｔ）の積分値を算出しても良い。そして、時刻Ｔｅｎｄまでに該積分値が閾値ＤＬ３以上となった場合に、左側操作確定挙動がなされたとみなしても良い（図８参照）。
【００４０】
また、右側操作確定挙動に関しても同様に、制御部１２は、Δｄ（ｔ）が閾値ＤＲ１以下となった時刻Ｔｓｔａ以後、時刻Ｔｓｔａを起点としたΔｄ（ｔ）の積分値を算出しても良い。そして、時刻Ｔｅｎｄまでに該積分値が閾値ＤＲ２以下となった場合に、左側操作確定挙動がなされたとみなしても良い（図８参照）。
【００４１】
無論、上記方法による左側或いは右側操作確定挙動の検出中、制御部１２は、同様にしてドライバが注視している操作画面上のオブジェクトを特定し、検出中にドライバが同一のオブジェクトを注視していた場合には、操作Ｌ或いはＲがなされたものとみなすことは言うまでも無い。
【００４２】
このようにしてドライバの操作を検出することで、ドライバは、運転により両手が塞がった状態であっても、簡単且つ自由に車載装置１０を操作することができる。
（２）操作検出処理について
次に、一例として、時刻Ｔｓｔａ以後、｜Δｄ（ｔ）｜の積分値を算出し、該積分値が閾値Ｄ３以上となったか否かを判定することで、操作確定挙動を検出する操作検出処理について、図９，１０に記載のフローチャートを用いて説明する。本処理は、車載装置１０にて、ドライバ等からの操作の受け付けを開始する際に実行される。
【００４３】
Ｓ２００では、車載装置１０の制御部１２は、表示装置２０に操作画面を表示させ、Ｓ２０５に処理を移行する。
Ｓ２０５では、制御部１２は、視線検出装置３０に対し、ドライバの左右の目の位置座標Ｌ，Ｒの検出を指示する。視線検出装置３０では、該指示に応じて位置座標Ｌ，Ｒの検出がなされ、検出に成功すると、車載装置１０に対し位置座標Ｌ，Ｒが提供される。
【００４４】
続くＳ２１０では、制御部１２は、位置座標Ｌ，Ｒの検出に成功し、これらを取得することができたか否かを判定する。そして、制御部１２は、肯定判定が得られた場合には（Ｓ２１０：Ｙｅｓ）、Ｓ２０５に処理を移行し、否定判定が得られた場合には（Ｓ２１０：Ｎｏ）、Ｓ２１５に処理を移行する。
【００４５】
Ｓ２１５では、制御部１２は、ドライバの左右の目の位置座標を特定すると共に、これらに基づき上述した｜Δｄ（ｔ）｜を算出し（Ｓ２２０）、Ｓ２２５に処理を移行する。
Ｓ２２５では、制御部１２は、｜Δｄ（ｔ）｜が閾値Ｄ１以上か否かを判定し、肯定判定が得られた場合には（Ｓ２２５：Ｙｅｓ）、Ｓ２３０に処理を移行すると共に、否定判定が得られた場合には（Ｓ２２５：Ｎｏ）、Ｓ２０５に処理を移行する。
【００４６】
Ｓ２３０では、制御部１２は、視線検出装置３０に対し、ドライバの注視点の検出を指示する。視線検出装置３０では、該指示に応じて注視点の検出がなされ、検出に成功すると、車載装置１０に対し注視点が提供される。
【００４７】
続くＳ２３５では、制御部１２は、注視点の検出に成功し、該注視点を取得できたか否かを判定する。そして、制御部１２は、肯定判定が得られた場合には（Ｓ２３５：Ｙｅｓ）、Ｓ２４０に処理を移行し、否定判定が得られた場合には（Ｓ２３５：Ｎｏ）、Ｓ２３０に処理を移行する。
【００４８】
Ｓ２４０では、制御部１２は、現在の時刻をＴｓｔａとして設定すると共に、提供された注視点を時刻Ｔｓｔａにおける注視点として確定させ、Ｓ２４５に処理を移行する。
Ｓ２４５では、制御部１２は、表示装置２０に表示された操作画面における上記注視点を含む領域に描かれたオブジェクト（ドライバが注視しているオブジェクト）を特定すると共に、表示装置２０に対し該オブジェクトを強調表示させ、Ｓ２５０に処理を移行する。なお、該当するオブジェクトが存在しない場合には、制御部１２は、再度Ｓ２０５に処理を移行しても良い。
【００４９】
Ｓ２５０では、制御部１２は、現在の時刻ｔがＴｅｎｄに到達する前か否か（時刻Ｔｓｔａから予め定められた時間が経過する前か否か）を判定する。そして、制御部１２は、肯定判定が得られた場合には（Ｓ２５０：Ｙｅｓ）、Ｓ２５５に処理を移行し、否定判定が得られた場合には（Ｓ２５０：Ｎｏ）、Ｓ３１０に処理を移行する。
【００５０】
Ｓ２５５では、制御部１２は、視線検出装置３０に対し、ドライバの注視点の検出を指示し、Ｓ２６０に処理を移行する。
Ｓ２６０では、制御部１２は、注視点の検出に成功し、視線検出装置３０から該注視点を取得できたか否かを判定する。そして、制御部１２は、肯定判定が得られた場合には（Ｓ２６０：Ｙｅｓ）、Ｓ２６５に処理を移行すると共に、否定判定が得られた場合には（Ｓ２６０：Ｎｏ）、Ｓ２５５に処理を移行する。
【００５１】
Ｓ２６５では、制御部１２は、提供された注視点を現在のドライバの注視点として確定させ、Ｓ２７０に処理を移行する。
Ｓ２７０では、制御部１２は、操作画面における上記注視点を含む領域に描かれたオブジェクト（ドライバが注視しているオブジェクト）を特定すると共に、該オブジェクトと、強調表示されているオブジェクト（時刻Ｔｓｔａにて注視されていたオブジェクト）が一致するか否かを判定する。そして、制御部１２は、肯定判定が得られた場合には（Ｓ２７０：Ｙｅｓ）、Ｓ２７５に処理を移行し、否定判定が得られた場合には（Ｓ２７０：Ｎｏ）、Ｓ３１０に処理を移行する。
【００５２】
Ｓ２７５では、制御部１２は、視線検出装置３０に対し、ドライバの左右の目の位置座標Ｌ，Ｒの検出を指示し、Ｓ２８０に処理を移行する。
Ｓ２８０では、制御部１２は、位置座標Ｌ，Ｒの検出に成功し、視線検出装置３０からこれらを取得することができたか否かを判定する。そして、制御部１２は、肯定判定が得られた場合には（Ｓ２８０：Ｙｅｓ）、Ｓ２８５に処理を移行し、否定判定が得られた場合には（Ｓ２８０：Ｎｏ）、Ｓ２７５に処理を移行する。
【００５３】
Ｓ２８５では、制御部１２は、ドライバの左右の目の位置座標を特定すると共に、これらに基づき、上述した｜Δｄ（ｔ）｜を算出し（Ｓ２９０）、Ｓ２９５に処理を移行する。
【００５４】
Ｓ２９５では、制御部１２は、時刻Ｔｓｔａ以後から現時点にかけての｜Δｄ（ｔ）｜の積分値を算出し、Ｓ３００に処理を移行する。
Ｓ３００では、制御部１２は、｜Δｄ（ｔ）｜の積分値が閾値Ｄ３以上であるか否かを判定する。そして、制御部１２は、肯定判定が得られた場合には（Ｓ３００：Ｙｅｓ）、Ｓ３０５に処理を移行し、否定判定が得られた場合には（Ｓ３００：Ｎｏ）、Ｓ２５０に処理を移行する。
【００５５】
Ｓ３０５では、制御部１２は、特定されたオブジェクト（換言すれば、操作確定挙動がなされた間にドライバにより注視されていたオブジェクト）に対応する操作がなされたものとみなすと共に、該操作に対応する処理を実行し、本処理を終了する。
【００５６】
一方、現在の時刻ｔがＴｅｎｄに到達した場合等に移行するＳ３１０では、制御部１２は、表示装置２０に対し、時刻Ｔｓｔａにて注視されていたオブジェクトの強調表示を解除させ、本処理を終了する。
【００５７】
なお、時刻Ｔｓｔａ以後、｜Δｄ（ｔ）｜が閾値Ｄ２以上となったか否かを判定することで、操作確定挙動を検出する場合であれば、制御部１２は、Ｓ３００において、｜Δｄ（ｔ）｜の積分値の判定に替えて、｜Δｄ（ｔ）｜が閾値Ｄ２以上であるか否かを判定しても良い。
【００５８】
また、右側，左側操作確定挙動を別の操作確定挙動として検出する場合であれば、制御部１２は、Ｓ２２０，Ｓ２９０において、｜Δｄ（ｔ）｜に替えてΔｄ（ｔ）を算出すると共に、Ｓ２９５において、｜Δｄ（ｔ）｜の積分値に替えて、Δｄ（ｔ）の積分値を算出しても良い。
【００５９】
また、制御部１２は、Ｓ２２５において、｜Δｄ（ｔ）｜の比較に替えて、Δｄ（ｔ）と閾値ＤＲ１或いはＤＬ１との比較を行っても良い（具体的には、Δｄ（ｔ）が正の値であれば、Δｄ（ｔ）が閾値ＤＬ１以上か否かを判定し、負の値であれば、Δｄ（ｔ）が閾値ＤＲ１以下か否かを判定しても良い）。
【００６０】
また、制御部１２は、Ｓ３００において、｜Δｄ（ｔ）｜の積分値の比較に替えて、Δｄ（ｔ）と閾値ＤＲ２或いはＤＬ２との比較を行っても良い（具体的には、Δｄ（ｔ）が正の値であれば、Δｄ（ｔ）が閾値ＤＬ２以上か否かを判定し、負の値であれば、Δｄ（ｔ）が閾値ＤＲ２以下か否かを判定しても良い）。
【００６１】
また、制御部１２は、Ｓ３００において、｜Δｄ（ｔ）｜の積分値の比較に替えて、Δｄ（ｔ）の積分値と閾値ＤＲ３或いはＤＬ３との比較を行っても良い（具体的には、Δｄ（ｔ）の積分値が正の値であれば、Δｄ（ｔ）の積分値が閾値ＤＬ３以上か否かを判定し、負の値であれば、Δｄ（ｔ）の積分値が閾値ＤＲ３以下か否かを判定しても良い）。
【００６２】
［第２実施形態］
図１１は、第２実施形態の携帯機器５０（例えば、スマートフォン等）の構成を示すブロック図である。携帯機器５０は、各種画像を表示する表示部５１と、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ等から構成され、当該携帯機器５０を統括制御する制御部５２と、ユーザの顔の撮影画像に基づきユーザが注視している位置を検出する視線検出部５３（アイトラッカー）とを有する。
【００６３】
図１２に記載されているように、表示部５１は、略長方形の画面５１ａを有しており、画面５１ａは、矩形の板状の形状を有する携帯機器５０の表面に配されていると共に、画面５１ａにおける短手辺の一方が上側、他方が下側となっている。そして、携帯機器５０は、画面５１ａの上側の短手辺が上方に位置する状態で使用されるよう構成されている。
【００６４】
また、視線検出部５３は、ユーザの顔に向けて赤外線を投光する投光部や、ユーザの顔を撮影するカメラ５３ａ等から構成されており、撮影画像からユーザの目の位置を特定し、ユーザの目の画像を解析する。そして、解析結果からユーザの視線方向を検出し、該視線方向に基づき、ユーザが注視している表示部５１の画面５１ａ上の位置の座標（注視点）を検出する。なお、カメラ５３ａは、画面５１ａの下側に隣接して配されている。
【００６５】
また、制御部１２は、各種画像データを生成するよう構成されており、表示部５１の画面５１ａに各種画像を表示させる。
第２実施形態の携帯機器５０においても、第１実施形態と同様の操作検出処理が行われ、ユーザが操作画面上のオブジェクトを注視しつつ操作確定挙動を行うと、該オブジェクトに対応する操作が検出される。
【００６６】
すなわち、携帯機器５０の制御部５２は、自装置に対する操作を受け付けるための操作画面の画像データを生成し、表示部５１の画面５１ａに操作画面を表示する。また、カメラ５３ａは、画面５１ａの下側の短手辺に隣接して配されているため、通常は、画面５１ａを注視しているユーザの顔を、顔の正面から下方寄りの視点から撮影する状態となる。
【００６７】
このため、カメラ５３ａによるユーザの顔の撮影画像は、第１実施形態と同様、顔をやや見上げた状態で映し出したものとなり、上下方向の左右の目の位置の間隔であるΔｄ（ｔ）に基づき、ユーザの顔の向きを検出することができる。
【００６８】
そこで、視線検出部５３は、制御部５２からの指示に応じて、ユーザの顔の撮影画像に基づき、該撮影画像上におけるドライバの左右の目の位置座標Ｌ，Ｒや注視点を検出し、制御部５２に提供する。
【００６９】
一方、位置座標Ｌ，Ｒを取得した制御部５２は、第１実施形態と同様にしてこれらに基づきΔｄを算出すると共に、Δｄに基づきドライバの顔の向きを検出し、さらに、操作確定挙動を検出する。そして、制御部５２は、操作確定挙動の検出中、ユーザが同一のオブジェクトを注視していた場合には、該オブジェクトに対応する操作がなされたものとみなす。
【００７０】
［他の実施形態］
（１）第１，第２実施形態における操作検出処理では、ドライバやユーザにより操作確定挙動がなされる間に、該ドライバ等により操作画面上の同一のオブジェクトが注視されていた場合に、該オブジェクトに対応する操作が検出される。
【００７１】
しかしながら、このような操作画面を表示した場合に限らず、例えば、操作確定挙動がなされる間、該ドライバ等が、表示装置２０（或いは携帯機器５０の表示部５１）の画面上における予め定められた領域を注視していた場合に、該領域に対応する操作を検出する構成としても良い。このような場合であっても、同様の効果を得ることができる。
【００７２】
（２）また、第１，第２実施形態における操作検出処理では、ドライバ等の顔の向きが、横方向に所定量傾いた状態となった段階でドライバ等が注視しているオブジェクトが特定される。そして、該オブジェクトを注視したまま操作確定挙動がなされた場合には、該オブジェクトに対応する操作が検出される。
【００７３】
しかしながら、これに限定されることは無く、例えば、車載装置１０の制御部１２や、携帯機器５０の制御部５２は、ドライバ等が特定のオブジェクトを注視していることを検出した段階で、該ドライバ等の顔の向きの横方向への傾き度合いを検出しても良い。そして、これらの制御部は、該オブジェクトを注視したまま、該ドライバ等の該傾き度合いが、当初検出したものから所定量変化した場合には、操作確定挙動がなされたものとみなし、該オブジェクトに対応する操作を検出しても良い。このような場合であっても、同様の効果を得ることができる。
【００７４】
［特許請求の範囲との対応］
上記実施形態の説明で用いた用語と、特許請求の範囲の記載に用いた用語との対応を示す。
【００７５】
第１実施形態における車載装置１０，第２実施形態における携帯機器５０が、操作装置に相当し、携帯機器５０の表示部５１が、表示装置に相当する。
また、操作検出処理のＳ２００が表示手段，表示手順に、Ｓ２３０，Ｓ２５５が特定手段，特定手順に、Ｓ２０５〜Ｓ２２５，Ｓ２７５〜Ｓ３００が検出手段，検出手順に、Ｓ２７０，Ｓ３０５が操作手段，操作手順に相当する。
【符号の説明】
【００７６】
１…車載システム、１０…車載装置、１１…映像信号出力部、１２…制御部、２０…表示装置、３０…視線検出装置、３１…カメラ、５０…携帯機器、５１…表示部、５１ａ…画面、５２…制御部、５３…視線検出部、５３ａ…カメラ。
【図１】
2014126997.tif 000003
【図２】
2014126997.tif 000004
【図３】
2014126997.tif 000005
【図４】
2014126997.tif 000006
【図５】
2014126997.tif 000007
【図６】
2014126997.tif 000008
【図７】
2014126997.tif 000009
【図８】
2014126997.tif 000010
【図９】
2014126997.tif 000011
【図１０】
2014126997.tif 000012
【図１１】
2014126997.tif 000013
【図１２】
2014126997.tif 000014