(57)【要約】【課題】運転中に運転者が操作する場合であっても視線の移動を少なくする技術を提供する。【解決手段】センサ５０は、車内における手による操作を検出する。撮像装置５２は、センサ５０の検出対象となる手によって操作される部分が含まれた領域の映像を撮像する。表示制御装置６０は、センサ５０が操作を検出した場合に、撮像装置５２において撮像した映像を出力する。表示装置５４は、表示制御装置６０から出力された映像を表示する。【選択図】図２
2019156134.tif 000002
【特許請求の範囲】
【請求項１】
車内における手による操作を検出するセンサと、
前記センサの検出対象となる手によって操作される部分が含まれた領域の映像を撮像する撮像装置と、
前記センサが操作を検出した場合に、前記撮像装置において撮像した映像を出力する表示制御装置と、
前記表示制御装置から出力された映像を表示する表示装置と、
を備えることを特徴とする表示システム。
【請求項２】
前記撮像装置が撮像すべき領域に含まれる部分であって、かつ手によって操作される部分は、運転中の運転者の視線の方向から外れた位置に配置されていることを特徴とする請求項１に記載の表示システム。
【請求項３】
前記表示制御装置は、前記センサが操作を検出してから所定期間経過後に映像の出力を開始することを特徴とする請求項１または２に記載の表示システム。
【請求項４】
センサから、車内における手による操作の検出結果を取得する第１取得部と、
撮像装置から、手によって操作される部分が含まれた領域を撮像した映像を取得する第２取得部と、
前記第１取得部が取得した検出結果において、車内における手による操作が検出されている場合、前記第２取得部において取得した映像を表示装置に出力する出力部と、
を備えることを特徴とする表示制御装置。
【請求項５】
センサから、車内における手による操作の検出結果を取得するステップと、
撮像装置から、手によって操作される部分が含まれた領域を撮像した映像を取得するステップと、
取得した検出結果において、車内における手による操作が検出されている場合、取得した映像を表示装置に出力するステップと、
を備えることを特徴とする表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示技術に関し、特に車両における表示システム、表示制御装置、表示制御方法に関する。
【背景技術】
【０００２】
車内には、ステアリングの他にボタン、ダイヤルも設置される。運転者は、運転中にステアリングを操作するが、ボタン、ダイヤルを操作することもある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−２１６０２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車内に設置されるボタン、ダイヤルが、運転中の運転者の視線の方向から外れた位置に配置されている場合、運転者は、ボタン、ダイヤルを操作する際に、視線を前方からそらす。
【０００５】
本発明はこうした状況に鑑みなされたものであり、その目的は、運転中に運転者が操作する場合であっても視線の移動を少なくする技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の表示システムは、車内における手による操作を検出するセンサと、センサが操作を検出した場合に、手によって操作される部分が含まれた領域の映像を撮像する撮像装置と、撮像装置において撮像された映像を表示する表示装置と、を備える。
【０００７】
本発明の別の態様は、表示制御装置である。この装置は、センサから、車内における手による操作の検出結果を取得する第１取得部と、撮像装置から、手によって操作される部分が含まれた領域を撮像した映像を取得する第２取得部と、第１取得部が取得した検出結果において、車内における手による操作が検出されている場合、第２取得部において取得した映像を表示装置に出力する出力部と、を備える。
【０００８】
本発明のさらに別の態様は、表示制御方法である。この方法は、センサから、車内における手による操作の検出結果を取得するステップと、撮像装置から、手によって操作される部分が含まれた領域を撮像した映像を取得するステップと、取得した検出結果において、車内における手による操作が検出されている場合、取得した映像を表示装置に出力するステップと、を備える。
【０００９】
なお、以上の構成要素の任意の組合せ、本発明の表現を装置、システム、方法、プログラム、プログラムを記録した記録媒体、本装置を搭載した車両などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、運転中に運転者が操作する場合であっても視線の移動を少なくできる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態に係る車両の室内を模式的に示す図である。
【図２】実施の形態に係る表示システムの構成を示す図である。
【図３】図２の表示装置に表示される映像を示す図である。
【図４】図２の表示システムによる表示手順を示すフローチャートである。
【図５】図２の表示システムによる別の表示手順を示すフローチャートである。
【発明を実施するための形態】
【００１２】
本発明を具体的に説明する前に、概要を述べる。本実施の形態は、車内に搭載される表示システムに関する。運転者が、飲み物を置いたり、飲み物を取ったりする際にドリンクホルダの位置を確認する場合がある。このような確認を運転中に行う場合、運転者は視線を前方からそらす。運転中には視線を前方からそらさない方が好ましいが、そらさずにドリンクホルダの位置が分からなければ、飲み物を転倒させてしまう可能性がある。このようなことは、前述のごとく、運転中の運転者の視線の方向から外れた位置に配置されるボタン、ダイヤルを操作する場合も同様である。そのため、運転中に運転者が操作する場合であっても視線の移動を少なくすることが望まれる。
【００１３】
これに対応するために、本実施の形態に係る表示システムは、センサ、撮像装置、表示制御装置、表示装置を含む。センサは、運転者に操作される部分、例えば、ドリンクホルダ、ボタン、ダイヤルに対する手による操作を検出する。撮像装置は、運転者に操作される部分が含まれた領域の映像を撮像する。表示制御装置は、センサ、撮像装置に接続され、センサにおいて、手による操作が検出された場合に、撮像装置において撮像された映像を表示装置に表示する。表示装置は、運転中の運転者の視線の方向から外れていない位置に配置されるので、運転者は、表示装置に表示される映像を見ながら、手による操作を確認できる。以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、以下に説明する各実施の形態は一例であり、本発明はこれらの実施の形態により限定されるものではない。
【００１４】
図１は、車両１００の室内を模式的に示し、車両１００の車室内を後方から見た構成を示す。車室内の前方には左右に延びるダッシュボード１０が配置され、ダッシュボード１０の上方にはフロントガラス１２が配置され、フロントガラス１２の上方から後方に向かって天井１４が配置される。また、天井１４のフロントガラス１２側の部分から下方に向かってルームミラー１６が設置される。ダッシュボード１０の左側部分にステアリング１８が配置されており、ステアリング１８の後方に運転席３０が配置される。運転席３０には運転者３４が着席する。また、運転席３０とは反対側に助手席３２が配置される。ダッシュボード１０の右側部分にステアリング１８が配置される場合、運転席３０と助手席３２の位置は逆になる。さらに、運転席３０側の車外には左側サイドミラー２２が配置され、助手席３２側の車外に右側サイドミラー２４が配置される。
【００１５】
ダッシュボード１０から、運転席３０と助手席３２との間には、センターコンソール２０が配置される。センターコンソール２０には、第１操作部４０ａ、第２操作部４０ｂ、第３操作部４０ｃ、第４操作部４０ｄと総称される操作部４０が配置される。第１操作部４０ａは、運転席３０と助手席３２との間に設けられ、ボタン、ダイヤルにより構成される。また、第２操作部４０ｂから第４操作部４０ｄは、センターコンソール２０の前方部分に設けられ、ボタン、ダイヤルにより構成される。操作部４０は、運転者の手により操作可能である。さらに、第１操作部４０ａの前方にはドリンクホルダ４２が配置される。
【００１６】
ここでは、説明を明瞭にするために、表示システム２００による表示対象、つまり監視対象が第１操作部４０ａであるとする。第１操作部４０ａの近傍には、手の存在、あるいは手の移動を検出するためのセンサ５０が配置される。また、ルームミラー１６の上側には撮像装置５２が配置される。ステアリング１８側のフロントガラス１２には、ヘッドアップディスプレイである第１表示装置５４ａによる表示光が投影される。第１表示装置５４ａにおいて車室内側に反射された表示光は、運転席３０に着座した運転者３４によって視認される。運転者は、第１表示装置５４ａにおいて投影された画像の虚像を、フロントガラス１２の前景と重ねて視認可能になる。センターコンソール２０には、センターディスプレイである第２表示装置５４ｂが配置される。第２表示装置５４ｂは、例えば、ナビゲーションシステムのディスプレイであってもよい。
【００１７】
ここで、運転中の運転者３４の視線の方向から外れない範囲は視認範囲３００として示される。視認範囲３００は、運転者が運転中に視線を通常配る範囲である。視認範囲３００には、フロントガラス１２、ルームミラー１６、左側サイドミラー２２、右側サイドミラー２４、表示装置５４が含まれる。しかしながら、第１操作部４０ａから第４操作部４０ｄ、ドリンクホルダ４２は視認範囲３００に含まれない。そのため、第１操作部４０ａの位置を確認するために、運転者３４は視認範囲３００の外に視線を向ける必要ある。
【００１８】
図２は、表示システム２００の構成を示す。表示システム２００は、センサ５０、撮像装置５２、表示装置５４、表示制御装置６０を含む。センサ５０は、第１操作部４０ａの近傍をセンシングエリアとし、第１操作部４０ａにおける手による操作を検出する。センサ５０には、例えば、赤外線センサ、超音波センサ、近接センサが使用される。また、センサ５０は、タッチセンサでもよく、第１操作部４０ａに取り付けられていてもよい。さらに、センサ５０は、撮像装置５２と一体化されていてもよく、撮像装置５２において撮像した映像に対して画像認識処理を実行することによって、第１操作部４０ａにおける手による操作が検出されてもよい。これらには公知の技術が使用されればよいので、ここでは説明を省略する。
【００１９】
撮像装置５２は、センサ５０の検出対象となる手によって操作される部分、つまり第１操作部４０ａが含まれた領域の映像を撮像する。前述のごとく、第１操作部４０ａは、運転中の運転者３４の視線の方向から外れた位置に配置されている。撮像装置５２は、撮像した映像を表示制御装置６０に出力する。
【００２０】
表示制御装置６０の第１取得部７０は、センサ５０から検出結果を取得する。第１取得部７０は、車内における手による操作をセンサ５０が検出している期間にわたって検出期間を取得してもよいし、センサ５０における検出結果を常時取得しており、検出結果から、車内における手による操作がなされている期間を抽出してもよい。第１取得部７０は、車内における手による操作がなされている期間にわたって、車内における手による操作がなされていることを制御部７４に通知する。第２取得部７２は、撮像装置５２から映像を取得する。第２取得部７２は、映像を制御部７４に出力する。
【００２１】
制御部７４は、第１取得部７０から通知を受けつけている間、つまりセンサ５０が操作を検出している間、あるいは検出結果において車内における手による操作が検出されている間にわたって、第２取得部７２において取得した映像を出力部７６に出力する。一方、制御部７４は、第１取得部７０から通知を受けつけていなければ、映像を出力部７６に出力しない。出力部７６は、制御部７４から受けつけた映像を表示装置５４に出力する。表示装置５４は、図１の第１表示装置５４ａあるいは第２表示装置５４ｂであり、出力部７６からの映像、つまり撮像装置５２において撮像された映像を表示する。図３は、表示装置５４に表示される映像を示す。例えば、第１操作部４０ａを手でつまむ映像が表示される。図２に戻る。
【００２２】
なお、制御部７４は、第１取得部７０からの通知を受けつけてから所定期間経過した後に映像の出力を開始してもよい。所定期間の一例は１秒である。これは、センサ５０が操作を検出してから所定期間経過後に映像の出力を開始することに相当する。
【００２３】
この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、メモリ、その他のＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）で実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ハードウエアとソフトウエアの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２４】
以上の構成による表示システム２００の動作を説明する。図４は、表示システム２００による表示手順を示すフローチャートである。センサ５０が手による操作を検出した場合（Ｓ１０のＹ）、撮像装置５２は映像を撮像し（Ｓ１２）、表示装置５４は映像を表示して（Ｓ１４）、ステップ１０に戻る。センサ５０が手による操作を検出せず（Ｓ１０のＮ）、表示装置５４が映像を表示している場合（Ｓ１６のＹ）、表示装置５４は映像を消去する（Ｓ１８）。表示装置５４が映像を表示していない場合（Ｓ１６のＮ）、処理は終了される。
【００２５】
図５は、表示システム２００による別の表示手順を示すフローチャートである。センサ５０が手による操作を検出しない場合（Ｓ５０のＮ）、１秒待つ（Ｓ５２）。センサ５０が手による操作を検出した場合（Ｓ５４のＹ）、あるいはセンサ５０が手による操作を検出した場合（Ｓ５０のＹ）、１秒待つ（Ｓ５６）。センサ５０が手による操作を検出した場合（Ｓ５８のＹ）、撮像装置５２は映像を撮像し（Ｓ６０）、表示装置５４は映像を表示して（Ｓ６２）、ステップ５０に戻る。センサ５０が手による操作を検出しない場合（Ｓ５８のＮ）、ステップ５０に戻る。センサ５０が手による操作を検出せず（Ｓ５４のＮ）、表示装置５４が映像を表示している場合（Ｓ６４のＹ）、表示装置５４は映像を消去する（Ｓ６６）。表示装置５４が映像を表示していない場合（Ｓ６４のＮ）、処理は終了される。
【００２６】
本実施の形態によれば、車内における手による操作を検出した場合に映像を表示するので、運転者は表示装置を見ることによって手による操作を確認できる。また、運転者は表示装置を見ることによって手による操作を確認するので、運転中に運転者が操作する場合であっても視線の移動を少なくできる。また、運転中に運転者が操作する場合であっても視線の移動が少なくなるので、安全性を向上できる。また、運転中の運転者の視線の方向から外れた位置に配置されている部分を表示するので、運転者が視線の方向から外れた位置を見る機会を低減できる。また、センサが操作を検出してから所定期間経過後に映像の表示を開始するので、表示されたり、消去されたりの繰り返しの発生を抑制できる。
【００２７】
本発明の一態様の概要は、次の通りである。本発明のある態様の表示システムは、車内における手による操作を検出するセンサと、センサが操作を検出した場合に、手によって操作される部分が含まれた領域の映像を撮像する撮像装置と、撮像装置において撮像された映像を表示する表示装置と、を備える。
【００２８】
この態様によると、車内における手による操作を検出した場合に映像を表示するので、運転中に運転者が操作する場合であっても視線の移動を少なくできる。
【００２９】
撮像装置が撮像すべき領域に含まれる部分であって、かつ手によって操作される部分は、運転中の運転者の視線の方向から外れた位置に配置されていてもよい。この場合、運転中の運転者の視線の方向から外れた位置に配置されている部分を表示するので、運転者が視線の方向から外れた位置を見る機会を低減できる。
【００３０】
表示装置は、センサが操作を検出してから所定期間経過後に映像の表示を開始してもよい。この場合、センサが操作を検出してから所定期間経過後に映像の表示を開始するので、表示されたり、消去されたりの繰り返しの発生を抑制できる。
【００３１】
本発明の別の態様は、表示制御装置である。この装置は、センサから、車内における手による操作の検出結果を取得する第１取得部と、撮像装置から、手によって操作される部分が含まれた領域を撮像した映像を取得する第２取得部と、第１取得部が取得した検出結果において、車内における手による操作が検出されている場合、第２取得部において取得した映像を表示装置に出力する出力部と、を備える。
【００３２】
この態様によると、車内における手による操作を検出した場合に映像を表示するので、運転中に運転者が操作する場合であっても視線の移動を少なくできる。
【００３３】
本発明のさらに別の態様は、表示制御方法である。この方法は、センサから、車内における手による操作の検出結果を取得するステップと、撮像装置から、手によって操作される部分が含まれた領域を撮像した映像を取得するステップと、取得した検出結果において、車内における手による操作が検出されている場合、取得した映像を表示装置に出力するステップと、を備える。
【００３４】
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００３５】
本実施の形態において、表示システム２００による表示対象、つまり監視対象が第１操作部４０ａであるとされている。しかしながらこれに限らず例えば、監視対象が、第２操作部４０ｂから第４操作部４０ｄ、ドリンクホルダ４２のうちの少なくとも１つであってもよい。その場合、センサ５０、撮像装置５２は監視対象に応じた位置に設置されればよい。本変形例によれば、構成の自由度を向上できる。
【産業上の利用可能性】
【００３６】
本発明によれば、運転中に運転者が操作する場合であっても視線の移動を少なくできる。
【符号の説明】
【００３７】
１０  ダッシュボード、  １２  フロントガラス、  １４  天井、  １６  ルームミラー、  １８  ステアリング、  ２０  センターコンソール、  ２２  左側サイドミラー、  ２４  右側サイドミラー、  ３０  運転席、  ３２  助手席、  ３４  運転者、  ４０  操作部、  ４２  ドリンクホルダ、  ５０  センサ、  ５２  撮像装置、  ５４  表示装置、  ６０  表示制御装置、  ７０  第１取得部、  ７２  第２取得部、  ７４  制御部、  ７６  出力部、  １００  車両、  ２００  表示システム。
【図１】
2019156134.tif 000003
【図２】
2019156134.tif 000004
【図３】
2019156134.tif 000005
【図４】
2019156134.tif 000006
【図５】
2019156134.tif 000007