(57)【要約】【課題】ドライバの視認性を向上する。【解決手段】画像表示装置（１００）は、車両の後方領域及び後側方領域の少なくとも一方を撮像した画像を表示する表示部（３０）と、車両のドライバが、表示部を注視しているか否かを判定する第１判定手段（５０）と、ドライバが表示部を注視していると判定されたことを条件に、ドライバの瞳孔径を推定する推定手段（６０）と、推定された瞳孔径の時間変化に基づいて、ドライバの、表示部に表示された画像の拡大意図の有無を判定する第２判定手段（６０）と、第２判定手段により、拡大意図があると判定されたことを条件に、表示部に表示された画像を拡大する制御手段（２０）と、を備える。【選択図】図１
2019129405.tif 000002
【特許請求の範囲】
【請求項１】
車両の後方領域及び後側方領域の少なくとも一方を撮像した画像を表示する表示部と、
前記車両のドライバが、前記表示部を注視しているか否かを判定する第１判定手段と、
前記ドライバが前記表示部を注視していると判定されたことを条件に、前記ドライバの瞳孔径を推定する推定手段と、
前記推定された瞳孔径の時間変化に基づいて、前記ドライバの、前記表示部に表示された画像の拡大意図の有無を判定する第２判定手段と、
前記第２判定手段により、拡大意図があると判定されたことを条件に、前記表示部に表示された画像を拡大する制御手段と、
を備えることを特徴とする画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置の技術分野に関する。
【背景技術】
【０００２】
この種の装置として、従来の車両用ミラー（例えばバックミラー、サイドミラー）に写りこむ領域の少なくとも一部の領域を撮像した画像を表示する所謂電子ミラーが提案されている。従来の車両用ミラーについて、ドライバの視認性を向上するために、ドライバの視線を検出して鏡面角度を自動的に調整する技術が提案されている（特許文献１及び２参照）。電子ミラーにおいてもドライバの視認性を向上するために、例えば表示部に基づいて設定された判定領域にドライバの目線が向かっている場合と、該判定領域からドライバの目線が外れている場合とで、後方視界の範囲を切り替える技術が提案されている（特許文献３参照）。或いは、ドライバの姿勢に基づく視線角度に応じた補正画像を電子ミラーモニタに表示する技術が提案されている（特許文献４参照）。或いは、自車両後方の映像を表示するときに、映像中の煩雑領域に、ドライバの関心の対象を映し出す関心領域の拡大画像を貼り付けて表示する技術が提案されている（特許文献５参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−０４７０１９号公報
【特許文献２】特開２０１５−１６８３６１号公報
【特許文献３】特開２０１７−０４７８６８号公報
【特許文献４】特開２０１６−１７２５２５号公報
【特許文献５】特開２０１６−２２００１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の背景技術には改善する余地がある。
【０００５】
本発明は、上記事情に鑑みてなされたものであり、ドライバの視認性を向上することができる画像表示装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る画像表示装置は、車両の後方領域及び後側方領域の少なくとも一方を撮像した画像を表示する表示部と、前記車両のドライバが、前記表示部を注視しているか否かを判定する第１判定手段と、前記ドライバが前記表示部を注視していると判定されたことを条件に、前記ドライバの瞳孔径を推定する推定手段と、前記推定された瞳孔径の時間変化に基づいて、前記ドライバの、前記表示部に表示された画像の拡大意図の有無を判定する第２判定手段と、前記第２判定手段により、拡大意図があると判定されたことを条件に、前記表示部に表示された画像を拡大する制御手段と、を備えるというものである。
【図面の簡単な説明】
【０００７】
【図１】実施形態に係る画像表示装置の構成を示すブロック図である。
【図２】実施形態に係る表示制御処理を示すフローチャートである。
【図３】実施形態に係る拡大表示決定処理を示すフローチャートである。
【図４】実施形態に係る拡大意図判定処理を示すフローチャートである。
【発明を実施するための形態】
【０００８】
画像表示装置に係る実施形態について図１乃至図４を参照して説明する。実施形態では、画像表示装置の一例として電子ミラーを挙げる。
【０００９】
（構成）
実施形態に係る画像表示装置の構成について図１を参照して説明する。図１は、実施形態に係る画像表示装置の構成を示すブロック図である。
【００１０】
画像表示装置１００は、ここでは図示しない車両に搭載されている。図１において、画像表示装置１００は、カメラＲＣ、ＲＬ及びＲＲ、取得部１０、表示制御部２０、表示部３０、視線検知部４０、注視判定部５０、並びに、拡大意図判定部６０を備えて構成されている。
【００１１】
カメラＲＣは、車両の後方領域を撮像可能なカメラである。カメラＲＣは、車両の車室内に設置されるバックミラーに代わる電子ミラーの一部を構成する。カメラＲＬは、車両の左後側方領域を撮像可能なカメラである。カメラＲＬは、車両の、例えば左ドアに設置されるサイドミラーに代わる電子ミラーの一部を構成する。カメラＲＲは、車両の右後側方領域を撮像可能なカメラである。カメラＲＲは、車両の、例えば右ドアに設置されるサイドミラーに代わる電子ミラーの一部を構成する。
【００１２】
取得部１０は、カメラＲＣ、ＲＬ及びＲＲ各々により撮像された画像を取得する。表示制御部２０は、取得部１０により取得された画像を表示部３０に表示する。尚、表示部３０は、例えばカメラＲＣ、ＲＬ及びＲＲ各々により撮像された画像が夫々表示される複数の表示領域を有していてもよいし、一つの表示領域だけ有していてもよい。表示部３０が一つの表示領域だけ有している場合、表示制御部２０は、例えばカメラＲＣ、ＲＬ及びＲＲ各々により撮像された画像を合成して一つの画像を生成し、該生成された画像を表示部３０に表示する。
【００１３】
表示制御部２０は特に、注視判定部５０及び拡大意図判定部６０の少なくとも一方の判定結果に基づいて、表示部３０に表示される画像の表示態様を変更する。
【００１４】
（表示制御処理）
次に、上述の如く構成された画像表示装置１００における表示制御処理について図２乃至図４のフローチャートを参照して説明する。
【００１５】
図２において、視線検知部４０は、ドライバの顔を撮像可能なカメラ（図示せず）により撮像されたドライバが写っている画像（以降、適宜“ドライバ画像”と称する）を取得する（ステップＳ１０１）。次に、視線検知部４０は、ステップＳ１０１の処理において取得された画像からドライバの視点位置を推定する（ステップＳ１０２）。尚、視点位置の推定方法には、既存の各種態様を適用可能であるので、その詳細な説明は省略する。
【００１６】
次に、注視判定部５０は、視線検知部４０により推定された視点位置に基づいて、ドライバが表示部３０を見ているか否か（即ち、推定された視点位置が表示部３０上にあるか否か）を判定する（ステップＳ１０３）。この判定において、ドライバが表示部３０を見ていないと判定された場合（ステップＳ１０３：Ｎｏ）、表示制御部２０は、予め定められた標準の表示方法で、取得部１０により取得された画像を表示部３０に表示する（ステップＳ１０６）。その後、所定時間（例えば数十ミリ秒から数百ミリ秒）が経過した後に、ステップＳ１０１の処理が再度行われる。
【００１７】
ステップＳ１０３の判定において、ドライバが表示部３０を見ていると判定された場合（ステップＳ１０３：Ｙｅｓ）、表示制御部２０は、視線検知部４０により推定された視点位置に基づいて、取得部１０により取得された画像から、ドライバが注視している表示部３０上の領域である注視領域に相当する画像領域を抽出する（ステップＳ１０４）。次に、拡大意図判定部６０により、上記注視領域に相当する画像領域を拡大表示するか否かが判定される（ステップＳ２）。
【００１８】
ここで、ステップＳ２の処理について図３及び図４のフローチャートを参照して説明を加える。図３において、拡大意図判定部６０は、ドライバに、注視領域に相当する画像領域の拡大意図があるか否かを判定する（ステップＳ２１０）。
【００１９】
ステップＳ２１０の判定は、具体的には次のように行われる。即ち、図４のフローチャートに示すように、拡大意図判定部６０は、先ず、ステップＳ１０４の処理により注視領域に相当する画像領域が抽出された時点における上述のドライバ画像から、ドライバの瞳孔径を推定する（ステップＳ２１１）。ステップＳ２１１の処理により推定された瞳孔径を、便宜上「第１瞳孔径」と称する。尚、瞳孔径の推定方法については、既存の各種態様を適用可能であるので、その詳細な説明は省略する。
【００２０】
次に、拡大意図判定部６０は、ドライバの注視時間が第１閾値以上であるか否かを判定する（ステップＳ２１２）。ここで、注視時間は、例えば上述のステップＳ１０３の判定において、ドライバが表示部３０を見ていると判定された場合の視点位置を基準として、その後視線検知部４０により逐次推定される視点位置が、上記基準の視点位置から許容範囲内に留まっている時間として求めればよい。
【００２１】
ステップＳ２１２の判定において、注視時間が第１閾値未満であると判定された場合（ステップＳ２１２：Ｎｏ）、拡大意図判定部６０は、ドライバに拡大意図はないと判定する（ステップＳ２１６）。
【００２２】
他方、ステップＳ２１２の判定において、注視時間が第１閾値以上であると判定された場合（ステップＳ２１２：Ｙｅｓ）、拡大意図判定部６０は、注視時間が第１閾値以上であると判定された時点における上述のドライバ画像から、ドライバの瞳孔径を推定する（ステップＳ２１３）。ステップＳ２１３の処理により推定された瞳孔径を、便宜上「第２瞳孔径」と処する。
【００２３】
次に、拡大意図判定部６０は、第１瞳孔径と第２瞳孔径との差（即ち、“第２瞳孔径−第１瞳孔径”）が、第２閾値以上であるか否かを判定する（ステップＳ２１４）。この判定において、第１瞳孔径と第２瞳孔径との差が第２閾値以上であると判定された場合（ステップＳ２１４：Ｙｅｓ）、拡大意図判定部６０は、ドライバに拡大意図があると判定する（ステップＳ２１５）。
【００２４】
人が何らかの対象に対して注意を向けている時や集中している時は、生体反応として瞳孔径が拡大することが知られている。このため、第１瞳孔径と第２瞳孔径との差が第２閾値以上である場合、ドライバは注視領域に注意を向けていると推定される。加えて、ドライバは注視領域を第１閾値以上の期間注視している。これらのことに鑑みると、ドライバは、注視領域の詳細がわかるような表示（即ち、拡大表示）を望んでいると推定される。従って、ステップＳ２１４の判定において、第１瞳孔径と第２瞳孔径との差が第２閾値以上であると判定された場合、拡大意図判定部６０は、ドライバに拡大意図があると判定するのである。
【００２５】
他方、ステップＳ２１４の判定において、第１瞳孔径と第２瞳孔径との差が第２閾値未満であると判定された場合（ステップＳ２１４：Ｎｏ）、拡大意図判定部６０は、ドライバに拡大意図はないと判定する（ステップＳ２１６）。
【００２６】
ステップＳ２１０の判定（図３参照）において、拡大意図がないと判定された場合（ステップＳ２１０：Ｎｏ）、拡大意図判定部６０は、拡大意図がない旨を示す判定結果を出力する（ステップＳ２５０）。その後、ステップＳ１０６の処理（図２参照）が行われる。
【００２７】
他方、ステップＳ２１０の判定において、拡大意図があると判定された場合（ステップＳ２１０：Ｙｅｓ）、拡大意図判定部６０は、例えばＨＭＩ（Ｈｕｍａｎ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｒｆａｃｅ）等により、ドライバに対して、拡大意図が検出された旨を報知する（ステップＳ２２０）。
【００２８】
次に、拡大意図判定部６０は、ドライバが拡大表示に合意したか否かを判定する（ステップＳ２３０）。拡大意図判定部６０は、ステップＳ２２０の処理の後、例えばドライバが首を縦に動かしたこと（即ち、ドライバがうなずいたこと）が検知された場合、或いは、ドライバにより、合意を示す所定のボタンが押下された場合等に、ドライバが拡大表示に合意したと判定する。拡大意図判定部６０は、ステップＳ２２０の処理の後、例えばドライバが首を横に動かしたことが検知された場合、或いは、ドライバにより、不合意若しくは拒否を示す所定のボタンが押下された場合等に、ドライバが拡大表示に合意しないと判定してもよい。
【００２９】
ステップＳ２３０の判定において、ドライバが拡大表示に合意したと判定された場合（ステップＳ２３０：Ｙｅｓ）、拡大意図判定部６０は、拡大意図がある旨を示す判定結果を出力する（ステップＳ２４０）。他方、ステップＳ２３０の判定において、ドライバが拡大表示に合意しないと判定された場合（ステップＳ２３０：Ｎｏ）、拡大意図判定部６０は、拡大意図がない旨を示す判定結果を出力する（ステップＳ２５０）。
【００３０】
再び図２に戻り、ステップＳ２の処理において、拡大意図があると判定された場合、表示制御部２０は、ステップＳ１０４の処理において抽出された、注視領域に相当する画像領域が拡大された画像を表示部３０に表示する（ステップＳ１０５）。その後、所定時間が経過した後に、ステップＳ１０１の処理が再度行われる。
【００３１】
他方、ステップＳ２の処理において、拡大意図がないと判定された場合、表示制御部２０は、予め定められた標準の表示方法で、取得部１０により取得された画像を表示部３０に表示する（ステップＳ１０６）。その後、所定時間が経過した後に、ステップＳ１０１の処理が再度行われる。
【００３２】
（技術的効果）
当該画像表示装置１００では、ドライバの拡大意図の有無が判定され、拡大意図があると判定された場合に、ドライバが注視している画像領域が拡大された画像が表示部３０に表示される。このため、当該画像表示装置１００によれば、ドライバの視認性を向上することができる。
【００３３】
当該画像表示装置１００では特に、ドライバの拡大意図の有無は、ドライバの注視時間だけでなく、ドライバの瞳孔径の変化も考慮して判定される。人が何らかの対象に対して注意を向けている時や集中している時に瞳孔径が拡大するという生体反応を考慮して拡大意図の有無が判定されるので、当該画像表示装１００は、ドライバの拡大意図を精度良く判定することができる。この結果、ドライバが意図していないにもかかわらず、拡大表示された画像が表示部３０に表示されることを好適に抑制することができる。
【００３４】
＜変形例＞
画像表示装置１００は、カメラＲＣ、ＲＬ及びＲＲに代えて、車両が後退している場合にドライバが注意を払うべき対象を撮像可能なカメラ（所謂バックカメラ）を備えていてよい。この場合、表示部３０は、ナビゲーション装置の一部を構成するモニタであってよい。つまり、画像表示装置１００は、所謂バックモニタであってよい。尚、画像表示装置１００は、所謂電子ミラーとしての機能と、所謂バックモニタとしての機能との両方を有していてもよい。
【００３５】
以上に説明した実施形態から導き出される発明の各種態様を以下に説明する。
【００３６】
発明の一態様に係る画像表示装置は、車両の後方領域及び後側方領域の少なくとも一方を撮像した画像を表示する表示部と、前記車両のドライバが、前記表示部を注視しているか否かを判定する第１判定手段と、前記ドライバが前記表示部を注視していると判定されたことを条件に、前記ドライバの瞳孔径を推定する推定手段と、前記推定された瞳孔径の時間変化に基づいて、前記ドライバの、前記表示部に表示された画像の拡大意図の有無を判定する第２判定手段と、前記第２判定手段により、拡大意図があると判定されたことを条件に、前記表示部に表示された画像を拡大する制御手段と、を備えるというものである。
【００３７】
上述の実施形態においては、「注視判定部５０」は、「第１判定手段」の一例に相当し、「拡大意図判定部６０」は、「推定手段」及び「第２判定手段」の一例に相当し、「表示制御部２０」は、「制御手段」の一例に相当する。
【００３８】
当該画像表示装置では、ドライバの瞳孔径の時間変化を考慮して、該ドライバの拡大意図の有無が判定され、拡大意図があると判定されたことを条件に、表示部に表示された画像が拡大される。このため、当該画像表示装置によれば、ドライバの視認性を向上することができる。
【００３９】
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像表示装置もまた本発明の技術的範囲に含まれるものである。
【符号の説明】
【００４０】
１０…取得部、２０…表示制御部、３０…表示部、４０…視線検知部、５０…注視判定部、６０…拡大意図判定部、１００…画像表示装置、ＲＣ、ＲＬ、ＲＲ…カメラ
【図１】
2019129405.tif 000003
【図２】
2019129405.tif 000004
【図３】
2019129405.tif 000005
【図４】
2019129405.tif 000006