(57)【要約】【課題】表示装置に表示される映像を適切に調整すること。【解決手段】車両の運転者の顔を撮影するカメラ１１が撮影した撮影データを取得する撮影データ取得部２１と、映像を表示部１３に表示させる制御を実行する表示制御部２９と、撮影データ取得部２１が取得した撮影データに基づいて、表示部１３に表示される映像の明るさを判断する判断部２５と、判断部２５の判断結果に基づいて、表示部１３に表示される映像を調整する調整部２６とを備える。【選択図】図１
2020160201.tif 000002
【特許請求の範囲】
【請求項１】
車両の乗員の顔を撮影する撮影部が撮影した撮影データを取得する撮影データ取得部と、
映像を表示部に表示させる制御を実行する表示制御部と、
前記撮影データ取得部が取得した前記撮影データに基づいて、前記表示部に表示される映像の明るさを判断する判断部と、
前記判断部の判断結果に基づいて、前記表示部に表示される映像を調整する調整部と、
を備えることを特徴とする表示制御装置。
【請求項２】
前記判断部は、前記撮影データ取得部が取得した前記撮影データにおける前記乗員の顔周辺の少なくとも輝度情報と、前記表示部に表示された映像の少なくとも輝度情報とに基づいて、前記撮影データにおける前記乗員の顔周辺の少なくとも輝度情報が、前記表示部に表示された前記映像の少なくとも輝度によるものか否かを判断し、
前記調整部は、前記判断部の判断結果に基づいて、前記表示部に表示される映像の少なくとも輝度を調整する、
請求項１に記載の表示制御装置。
【請求項３】
前記判断部は、前記撮影データ取得部が取得した前記撮影データにおける前記乗員の顔の表情の情報と、前記乗員の顔周辺の少なくとも輝度情報と、前記表示部に表示された前記映像の少なくとも輝度情報とに基づいて、前記撮影データにおける前記乗員の顔の表情の変化が、前記表示部に表示された前記映像の輝度および色差のうち少なくとも輝度によるものか否かを判断し、
前記調整部は、前記判断部の判断結果に基づいて、前記表示部に表示される映像の少なくとも輝度を調整する、
請求項１または２に記載の表示制御装置。
【請求項４】
前記撮影データ取得部が取得した前記撮影データにおける前記乗員の顔の表情の情報と、前記乗員の顔周辺の少なくとも輝度情報と、車両の外部からの外来光の少なくとも輝度情報と、前記表示部に表示された前記映像の少なくとも輝度情報とを機械学習によって学習して、前記外来光と前記表示部に表示された前記映像と、前記乗員の顔の表情の変化との相関関係を判断可能な学習モデルを構築する学習部、
を備える請求項１から３のいずれか一項に記載の表示制御装置。
【請求項５】
前記判断部は、前記学習部が構築した学習済みの前記学習モデルを用いて、前記乗員の顔周辺の少なくと輝度と、前記乗員の顔の表情の変化との相関関係を判断する、
請求項４に記載の表示制御装置。
【請求項６】
前記学習部は、前記表示部の明るさによる人の顔の表情の変化の履歴の情報、外来光による前記人の顔の表情の変化の履歴の情報とを、外部装置とのデータ送受信を行う通信部を通じて外部装置から入手する、
請求項４または５に記載の表示制御装置。
【請求項７】
請求項１から６のいずれか一項に記載の表示制御装置と、
前記表示部と、
を備えることを特徴とする表示装置。
【請求項８】
車両の乗員の顔を撮影する撮影部が撮影した撮影データを取得する撮影データ取得ステップと、
映像を表示部に表示させる制御を実行する表示制御ステップと、
前記撮影データ取得ステップによって取得した前記撮影データに基づいて、前記表示部に表示される映像の明るさを判断する判断ステップと、
前記判断ステップにおける判断結果に基づいて、前記表示部に表示される映像を調整する調整ステップと、
を含む表示制御方法。
【請求項９】
車両の乗員の顔を撮影する撮影部が撮影した撮影データを取得する撮影データ取得ステップと、
映像を表示部に表示させる制御を実行する表示制御ステップと、
前記撮影データ取得ステップによって取得した前記撮影データに基づいて、前記表示部に表示される映像の明るさを判断する判断ステップと、
前記判断ステップにおける判断結果に基づいて、前記表示部に表示される映像を調整する調整ステップと、
を表示制御装置として動作するコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置、表示装置、表示制御方法およびプログラムに関する。
【背景技術】
【０００２】
車載用表示装置において、表示画面に表示されている映像を常に楽に見ることができるように、表示画面の輝度を調整する技術が知られている（例えば、特許文献１参照。）。特許文献１に記載の技術は、瞳孔の大きさを測定して、瞳孔の大きさの測定結果に基づいて、輝度を調整する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１７０７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両の乗員の瞳孔の大きさが変化する原因は、表示装置の映像の映像表示光の他に、車外に設置された照明のような外来光によることが考えられる。このように、表示装置に表示される映像の調整には改善の余地がある。
【０００５】
本発明は、上記に鑑みてなされたものであって、表示装置に表示される映像を適切に調整することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る表示制御装置は、車両の乗員の顔を撮影する撮影部が撮影した撮影データを取得する撮影データ取得部と、映像を表示部に表示させる制御を実行する表示制御部と、前記撮影データ取得部が取得した前記撮影データに基づいて、前記表示部に表示される映像の明るさを判断する判断部と、前記判断部の判断結果に基づいて、前記表示部に表示される映像を調整する調整部とを備えることを特徴とする。
【０００７】
本発明に係る表示装置は、上記の表示制御装置と、前記表示部とを備えることを特徴とする。
【０００８】
本発明に係る表示制御方法は、車両の乗員の顔を撮影する撮影部が撮影した撮影データを取得する撮影データ取得ステップと、映像を表示部に表示させる制御を実行する表示制御ステップと、前記撮影データ取得ステップによって取得した前記撮影データに基づいて、前記表示部に表示される映像の明るさを判断する判断ステップと、前記判断ステップにおける判断結果に基づいて、前記表示部に表示される映像を調整する調整ステップとを含む。
【０００９】
本発明に係るプログラムは、車両の乗員の顔を撮影する撮影部が撮影した撮影データを取得する撮影データ取得ステップと、映像を表示部に表示させる制御を実行する表示制御ステップと、前記撮影データ取得ステップによって取得した前記撮影データに基づいて、前記表示部に表示される映像の明るさを判断する判断ステップと、前記判断ステップにおける判断結果に基づいて、前記表示部に表示される映像を調整する調整ステップとを含む。
【発明の効果】
【００１０】
本発明によれば、表示装置に表示される映像を適切に調整することができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、第一実施形態に係る表示装置の構成例を示すブロック図である。
【図２】図２は、運転者の顔周辺の輝度および色差を説明する概略図である。
【図３】図３は、第一実施形態に係る表示装置における処理の流れを示すフローチャートである。
【図４】図４は、第二実施形態に係る表示装置の構成例を示すブロック図である。
【図５】図５は、第二実施形態に係る表示装置における処理の流れを示すフローチャートである。
【図６】図６は、第三実施形態に係る表示装置の構成例を示すブロック図である。
【図７】図７は、第三実施形態に係る表示装置における処理の流れを示すフローチャートである。
【図８】図８は、第四実施形態に係るサーバ装置と表示装置とを含む表示システムの構成例を示すブロック図である。
【図９】図９は、第四実施形態に係る表示装置の他の構成例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照して、本発明に係る表示制御装置、表示装置、表示制御方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
【００１３】
［第一実施形態］
図１を用いて、制御部２０（表示制御装置）を有する表示装置１０について説明する。図１は、第一実施形態に係る表示装置の構成例を示すブロック図である。表示装置１０は、車両の乗員の顔を撮影した撮影データに基づいて、表示される映像の明るさを判断して、表示される映像の明るさを調整する。本実施形態では、車両の乗員として運転者を例にして説明するがこれに限定されない。本実施形態では、例えば、夜間、または、トンネル内のように車両の周囲が前照灯を点灯する程度に暗い場所において、表示される映像の明るさを調整するものとして説明する。
【００１４】
表示装置１０は、例えば、ＡＶ（Ａｕｄｉｏ  Ｖｉｓｕａｌ）一体型のカーナビゲーションまたはカーオーディオなどである。表示装置１０は、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。表示装置１０は、カメラ（撮影部）１１と、操作部１２と、表示部１３と、記憶部１９と、制御部２０とを有する。
【００１５】
カメラ１１は、車両の運転者の顔を撮影するカメラである。カメラ１１は、エンジンの始動など、車両の動作開始から停止するまでの間、運転者の顔を常時撮影する。カメラ１１は、撮影した映像データを制御部２０の撮影データ取得部２１へ出力する。映像データは、例えば毎秒１０フレームの画像から構成される動画像である。
【００１６】
操作部１２は、表示装置１０に対する種々の操作を受け付ける。表示装置１０は、例えば、表示部１３の明るさを調整する操作を受け付ける。操作部１２は、受け付けた操作に応じた操作信号を操作制御部２３へ出力する。操作部１２は、例えば、物理的なスイッチや、表示部１３に重ねて配置されたタッチパネルである。
【００１７】
表示部１３は、一例としてはナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示部１３は、種々の情報を表示するためのモニタである。表示部１３は、様々な形態をとりうることができる。表示部１３は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。表示部１３は、例えば、電子ルームミラーを用いたり、インストルメントパネルの機能とすることも可能である。表示部１３は、運転者から視認容易な位置に配置されている。例えば、表示部１３は、車両の運転者の前方の、ダッシュボード、インストルメントパネル、センターコンソールなどに配置されている。表示部１３は、制御部２０の表示制御部２９から出力された映像信号に基づき映像を表示する。
【００１８】
記憶部１９は、表示装置１０におけるデータの一時記憶などに用いられる。記憶部１９は、バッファメモリと、メモリとを含む。バッファメモリは、制御部２０の記憶制御部２２の制御に基づいて、カメラ１１が撮影した映像データを一時的に記録する。バッファメモリは、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）である。メモリは、記憶制御部２２の制御に基づいて、カメラ１１が撮影した映像データを記録する。メモリは、例えば、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスクなどである。または、メモリは、図示しない通信部を介して無線接続される外部記憶部であってもよい。
【００１９】
制御部２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などで構成された演算処理装置（制御装置）である。制御部２０は、記憶部１９に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部２０は、撮影データ取得部２１と、記憶制御部２２と、操作制御部２３と、判断部２５と、調整部２６と、表示制御部２９とを有する。制御部２０には図示しない内部メモリが含まれ、内部メモリは制御部２０におけるデータの一時記憶などに用いられる。
【００２０】
撮影データ取得部２１は、車両の運転者の顔の映像データとして、カメラ１１が出力した映像データを取得する。撮影データ取得部２１は、取得した映像データを記憶制御部２２と判断部２５とへ出力する。
【００２１】
記憶制御部２２は、撮影データ取得部２１が取得した映像データを記憶部１９のメモリに記録する。記憶制御部２２は、操作制御部２３によって、表示部１３の明るさを調整する操作が行われたときの操作情報を記憶部１９に記憶する。
【００２２】
操作制御部２３は、操作部１２が運転者から受け付けた、表示装置１０に対する操作信号を受け付ける。操作制御部２３は、例えば、運転者が操作部１２を介して入力した表示部１３の明るさの調整を行う操作信号を調整部２６へ出力する。
【００２３】
判断部２５は、撮影データ取得部２１が取得した撮影データに基づいて、表示部１３に表示される映像の明るさを判断する。
【００２４】
より詳しくは、判断部２５は、撮影データ取得部２１が取得した撮影データにおける運転者の顔周辺の少なくとも輝度情報（以下、「顔部情報」という）と、表示部１３に表示された映像（以下、「表示映像」という。）の少なくとも輝度情報（以下、「表示映像情報」）とに基づいて、撮影データにおける顔部情報が、表示映像情報によるものか否かを判断する。本実施形態では、色差は、１フレームを含む所定フレーム前と比較して得るものとする。言い換えると、判断部２５は、運転者の顔周辺の輝度および色差が、表示映像の映像表示光によるものか否かを判断する。本実施形態では、輝度および色差のどちらの情報も使用するものとして説明するが、これに限定さない。輝度の情報のみ、または、色差の情報のみを使用してもよい。
【００２５】
図２を用いて、顔部情報について説明する。図２は、運転者の顔周辺の輝度および色差を説明する概略図である。なお、図２は、夜間において、運転者を前方から見た状態を模式的に示している。表示装置１０の表示映像の映像表示光が網掛けで示されている。網掛けの色が薄いほど映像表示光が明るく、色が濃いほど映像表示光が暗いことを示す。運転者の顔の図２における右部が、映像表示光によって照らされている。この場合、運転者の顔周辺の輝度および色差は、映像表示光がない場合に比べて、明るくなっている。
【００２６】
例えば、まず、判断部２５は、撮影データに画像処理を行って、運転者の顔を認識して、顔周辺の輝度および色差の情報である顔部情報を取得する。判断部２５は、表示制御部２９を介して、表示映像情報を取得する。そして、判断部２５は、表示映像の輝度および色差と、運転者の顔周辺の輝度および色差とが、相関関係にあるか否かを判断する。例えば、表示映像の輝度が明るくなったとき、運転者の顔周辺の輝度が明るくなっている場合、相関関係にあると判断する。例えば、表示映像の色差が赤くなったとき、運転者の顔周辺の色差が赤くなっている場合、相関関係にあると判断する。判断部２５は、表示映像の輝度および色差の変化に応じて、運転者の顔周辺の輝度および色差が変化している場合、顔部情報が、表示映像の輝度および色差によるものであると判断する。判断部２５は、表示映像の輝度および色差の変化に応じて、運転者の顔周辺の輝度および色差が変化していない場合、顔部情報が、表示映像の輝度および色差によるものではないと判断する。
【００２７】
また、判断部２５は、撮影データ取得部２１が取得した撮影データにおける運転者の顔の表情の情報（以下、「表情情報」）と、顔部情報と、表示映像情報とに基づいて、撮影データにおける運転者の顔の表情の変化が、表示映像の輝度および色差によるものか否かを判断してもよい。言い換えると、判断部２５は、運転者の顔の表情が、表示映像の映像表示光によって変化しているか否かを判断してもよい。
【００２８】
例えば、まず、判断部２５は、撮影データ取得部２１が取得した映像データに画像処理を行って、運転者の表情を検出する。判断部２５は、運転者の眩しい表情を検出する。眩しい表情は、例えば、眼を細めている、眉間にしわが寄っている、表示部１３から目をそらす、表示部１３から顔をそむけるなどの表情である。運転者が眩しい表情をしているとき、運転に支障があると推測される。運転者の表情を検出する方法は限定されず、公知の方法を用いて検出すればよい。そして、判断部２５は、表示映像の輝度および色差と、運転者の表情の情報と、運転者の顔周辺の輝度および色差とが、相関関係にあるか否かを判断する。例えば、表示映像の輝度が明るくなったとき、運転者の眩しい表情を検出して、かつ、運転者の顔周辺の輝度が明るくなっている場合、相関関係にあると判断する。例えば、表示映像の色差が赤くなったとき、運転者の眩しい表情を検出して、かつ、運転者の顔周辺の色差が赤くなっている場合、相関関係にあると判断する。判断部２５は、表示映像の輝度および色差の変化に応じて、運転者の眩しい表情を検出していない、または、運転者の顔周辺の輝度および色差が変化していない場合、運転者の表情の変化が、表示映像の輝度および色差によるものではないと判断する。
【００２９】
調整部２６は、判断部２５の判断結果に基づいて、表示部１３に表示される映像を調整する。調整部２６は、判断部２５の判断結果に基づいて、後述する表示制御部２９を用いて表示部１３に表示される映像の輝度および色差を調整してもよい。例えば、調整部２６は、運転者の顔周辺の輝度が明るくなっている場合、表示制御部２９を用いて表示映像の輝度を暗くする調整を行う。例えば、調整部２６は、運転者の顔周辺の色差が赤くなっている場合、表示制御部２９を用いて表示映像の色差の赤みを低下させる調整を行う。また、調整部２６は、表示制御部２９を用いて表示部１３に表示される映像の輝度および色差を段階的に調整してもよい。
【００３０】
表示制御部２９は、映像を表示部１３に表示させる制御を実行する。
【００３１】
次に、図３を用いて、制御部２０における処理の流れについて説明する。図３は、第一実施形態に係る表示装置における処理の流れを示すフローチャートである。
【００３２】
制御部２０は、撮影データ取得部２１によって、車両の運転者の顔を撮影した撮影データを取得する(ステップＳ１０１)。制御部２０は、ステップＳ１０２に進む。
【００３３】
制御部２０は、表示制御部２９によって、表示部１３に表示している映像の輝度および色差の情報を取得する(ステップＳ１０２)。制御部２０は、ステップＳ１０３へ進む。
【００３４】
制御部２０は、判断部２５によって、判断を実行する（ステップＳ１０３）。判断部２５によって、撮影データ取得部２１が取得した撮影データに基づいて、表示部１３に表示される映像の明るさを判断する。本実施形態では、判断部２５によって、撮影データ取得部２１が取得した撮影データにおける表情情報と、顔部情報と、表示映像情報とに基づいて、撮影データにおける運転者の顔の表情の変化が、表示映像の輝度および色差によるものか否かを判断する。制御部２０は、ステップＳ１０４へ進む。
【００３５】
制御部２０は、判断部２５の判断結果から、映像の調整が必要であるか否かを判断する（ステップＳ１０４）。制御部２０は、判断部２５によって、撮影データにおける運転者の顔の表情の変化が、表示映像の輝度および色差によるものであると判断した場合、映像の調整が必要であると判断して（ステップＳ１０４でＹｅｓ）、ステップＳ１０５へ進む。制御部２０は、判断部２５によって、撮影データにおける運転者の顔の表情の変化が、表示映像の輝度および色差によるものではないと判断した場合、映像の調整が必要ではないと判断して（ステップＳ１０４でＮｏ）、処理を終了する。
【００３６】
制御部２０は、調整部２６によって、表示制御部２９を用いて表示部１３に表示される映像を調整する（ステップＳ１０５）。制御部２０は、ステップＳ１０６へ進む。
【００３７】
制御部２０は、判断部２５によって、映像の明るさが改善されたか否か、調整後の撮影データ取得部２１が取得した撮影データを基に、調整が完了したか否かの判断を行う（ステップＳ１０６）。制御部２０は、判断部２５によって、映像の明るさが改善されたと判定した場合、調整完了であると判断して（ステップＳ１０６でＹｅｓ）、制御部２０は、処理を終了する。制御部２０は、判断部２５によって、映像の明るさが改善されていないと判定した場合、調整完了ではないと判断して（ステップＳ１０６でＮｏ）、再度ステップＳ１０１からの処理を行う。
【００３８】
このようにして、車両の運転者の顔を撮影した撮影データに基づいて、表示部１３に表示される映像の明るさを判断して、表示部１３に表示される映像を調整する。
【００３９】
また、撮影データにおける運転者の顔部情報と、表示映像情報とに基づいて、撮影データにおける運転者の顔部情報が、表示部１３に表示された映像の輝度および色差によるものか否かを判断する。
【００４０】
または、撮影データにおける運転者の表情情報と、運転者の顔部情報と、表示映像情報とに基づいて、撮影データにおける運転者の顔の表情の変化が、表示部１３に表示された映像の輝度および色差によるものか否かを判断する。
【００４１】
上述したように、本実施形態によれば、車両の運転者の顔を撮影した撮影データに基づいて、表示部１３に表示される映像の明るさを判断して、表示部１３に表示される映像を調整することができる。
【００４２】
また、本実施形態は、撮影データにおける運転者の顔部情報と、表示映像情報とに基づいて、撮影データにおける運転者の顔部情報が、表示部１３に表示された映像の輝度および色差によるものか否かを判断することができる。本実施形態によれば、表示映像の輝度および色差と、運転者の顔周辺の輝度および色差とが、相関関係にある場合、表示部１３に表示される映像を調整することができる。
【００４３】
または、本実施形態は、撮影データにおける運転者の表情情報と、運転者の顔部情報と、表示映像情報とに基づいて、撮影データにおける運転者の顔の表情の変化が、表示部１３に表示された映像の輝度および色差によるものか否かを判断することができる。本実施形態によれば、表示映像の輝度および色差と、運転者の表情の情報と、運転者の顔周辺の輝度および色差とが、相関関係にある場合、表示部１３に表示される映像を調整することができる。
【００４４】
このようにして、本実施形態によれば、車両の運転に支障がないように、表示部１３に表示される映像を調整することができる。
【００４５】
［第二実施形態］
図４、図５を参照しながら、本実施形態に係る表示装置１０Ａについて説明する。図４は、第二実施形態に係る表示装置の構成例を示すブロック図である。図５は、第二実施形態に係る表示装置における処理の流れを示すフローチャートである。表示装置１０Ａは、基本的な構成は第一実施形態の表示装置１０と同様である。以下の説明においては、表示装置１０と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。表示装置１０Ａは、学習モデル記憶部１４Ａと学習部２４Ａとを有する点と、判断部２５Ａにおける処理が、第一実施形態と異なる。
【００４６】
表示装置１０Ａは、車両の周囲の照明の光などの車両の外部からの外来光の輝度および色差の情報（以下、「外来光情報」という。）と、表示映像情報とを、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）の機械学習によって学習して、外来光と表示部１３に表示された映像と、運転者の顔の表情との相関関係を判断可能な学習済みモデルとして多層ニューラルネットワーク（以下、「ＤＮＮ」という。）を生成する。機械学習の一例としては、教師データを使用する教師あり学習、または、教師データを使用しない教師なし学習のディープラーニングによって学習させて、学習済みモデルとして多層ニューラルネットワーク（以下、「ＤＮＮ」という。）を生成する。ディープラーニングは、ＤＮＮを使用した判定の精度が向上するように、ＤＮＮの重みの更新を繰り返し実行して、ＤＮＮを使用した判定結果が良好になるようにＤＮＮの重みを導出する機械学習の一手法である。機械学習の手法は限定されない。
【００４７】
学習モデル記憶部１４Ａは、学習部２４Ａが学習した学習済みモデルを記憶する。
【００４８】
学習部２４Ａは、撮影データ取得部２１が取得した撮影データにおける表情情報と、顔部情報と、例えば、車両の周囲の照明の光などの車両の外部からの外来光の輝度および色差の情報（以下、「外来光情報」という。）と、表示映像情報とを機械学習によって学習して、外来光と表示部１３に表示された映像と、運転者の顔の表情との相関関係を判断可能な学習モデルとしてのＤＮＮを生成する。学習部２４Ａは、表情情報と顔部情報との少なくともどちらかと、外来光情報と表示映像情報との少なくともどちらかとを機械学習によって学習して、外来光と表示部１３に表示された映像と、運転者の顔の表情の変化との相関関係を判断可能な学習モデルを構築する。学習部２４Ａにおける学習は、公知のディープラーニングにおける学習と同様の方法で実行すればよい。
【００４９】
運転者の顔の表情は、例えば、眼を細めている、眉間にしわが寄っている、表示部１３から目をそらす、表示部１３から顔をそむけるなどである。
【００５０】
さらに、学習部２４Ａは、対向車のヘッドライトの色差の情報を含んで機械学習によって学習して、学習モデルを構築してもよい。対向車のヘッドライトの色差の情報は、車両の前方が撮影された前方撮影データに画像処理を行って、対向車のヘッドライドの色差の情報を取得すればよい。
【００５１】
さらに、学習部２４Ａは、運転者が操作部１２を介して操作した表示部１３の明るさの調整操作情報を含んで機械学習によって学習して、学習モデルを構築してもよい。
【００５２】
学習部２４Ａが機械学習によって学習する、表情情報、顔部情報、外来光情報、および、表示映像情報は、車両の運転者の情報に限定されず、他車両の運転者の情報を、外部装置とのデータ送受信を行う図示しない通信部を通じて外部装置から入手し機械学習によって学習して、学習モデルを構築してもよい。これにより、より多くの情報に基づいて、高精度の学習モデルを構築することが可能である。
【００５３】
学習部２４Ａは、表示部１３の明るさによる人の顔の表情の変化の履歴の情報、外来光による人の顔の表情の変化の履歴の情報とを、外部装置とのデータ送受信を行う図示しない通信部を通じて外部装置から入手し機械学習によって学習して、学習モデルを構築してもよい。これにより、より多くの情報に基づいて、高精度の学習モデルを構築することが可能である。
【００５４】
学習部２４Ａが生成する学習モデルは、上記の情報の色差の情報に基づいて、運転者の顔を照らす光が外来光によるものか、表示映像の映像表示光によるものかを判断可能である。また、学習モデルは、表示映像の映像表示光によるものであると判断した場合、運転者の表情情報から光を眩しいと感じているか否かを判断可能である。さらに、学習モデルは、光を眩しいと感じていると判断した場合、表示映像の輝度および色差を低減してもよい。さらにまた、学習モデルは、表示映像の輝度および色差を低減させた後に、運転者の表情情報から光を眩しいと感じているか否かを再度判断してもよい。
【００５５】
判断部２５Ａは、学習部２４Ａが構築した学習済みの学習モデルを用いて、運転者の顔周辺の輝度および色差の少なくともいずれかと、運転者の顔の表情の変化との相関関係を判断する。
【００５６】
次に、図５を用いて、制御部２０Ａにおける処理の流れについて説明する。
【００５７】
制御部２０Ａは、学習に使用するデータを取得する(ステップＳ１１１)。撮影データ取得部２１によって、撮影データを取得する。表示制御部２９によって、表示映像情報を取得する。制御部２０Ａは、ステップＳ１１２に進む。
【００５８】
制御部２０Ａは、学習部２４Ａによって、学習する(ステップＳ１１２)。より詳しくは、制御部２０Ａは、学習部２４Ａによって、表示映像情報を機械学習によって学習して、外来光と表示部１３に表示された映像と、運転者の顔の表情の変化との相関関係を判断可能な学習モデルを構築する。制御部２０Ａは、ステップＳ１１３へ進む。
【００５９】
制御部２０Ａは、学習部２４Ａが学習した学習済みモデルを学習モデル記憶部１４Ａに保存する(ステップＳ１１３)。制御部２０Ａは、処理を終了する。
【００６０】
このようにして、撮影データにおける運転者の表情情報と、運転者の顔部情報と、外来光情報と、表示映像情報とを機械学習によって学習して、外来光と表示部１３に表示された映像と、運転者の顔の表情の変化との相関関係を判断可能な学習モデルを構築する。
【００６１】
また、構築した学習済みの学習モデルを用いて、運転者の顔周辺の輝度および色差そして運転者の顔の表情の変化を判断する。
【００６２】
上述したように、本実施形態は、撮影データにおける運転者の表情情報と、運転者の顔部情報と、外来光情報と、表示映像情報とを機械学習によって学習して、外来光と表示部１３に表示された映像と、運転者の顔の表情の変化との相関関係を判断可能な学習モデルを構築することができる。
【００６３】
また、本実施形態によれば、構築した学習済みの学習モデルを用いて、運転者の顔周辺の輝度および色差そして運転者の顔の表情の変化を判断することができる。
【００６４】
［第三実施形態］
図６、図７を参照しながら、本実施形態に係る表示装置１０Ｂについて説明する。図６は、第三実施形態に係る表示装置の構成例を示すブロック図である。図７は、第三実施形態に係る表示装置における処理の流れを示すフローチャートである。表示装置１０Ｂは、視線センサ１４Ｂと視線検出部２７Ｂとを有する点と、判断部２５Ｂにおける処理が、第一実施形態と異なる。
【００６５】
視線センサ１４Ｂは、運転者の視線を示す情報を取得する。視線センサ１４Ｂは、運転者と向かい合って配置される。視線センサ１４Ｂは、例えば、一対の赤外カメラと、赤外ＬＥＤ群で構成された赤外光照射部とを含む。本実施形態では、赤外光照射部が、運転者の顔方向に赤外光を照射し、一対の赤外カメラで撮影する。視線センサ１４Ｂは、赤外カメラで撮影した撮影映像から、運転者の瞳孔と角膜反射の位置とに基づいて、運転者の視線を検出する。視線センサ１４Ｂは、同様の機能を有する他の構成であってもよい。視線センサ１４Ｂは、視線検出データを制御部２０Ｂの視線検出部２７Ｂに視線情報として出力する。また、視線センサ１４Ｂは、可視光カメラを使用して、目頭と虹彩とに基づいて視線を検出するものであってもよい。
【００６６】
視線検出部２７Ｂは、視線センサ１４Ｂから視線情報を取得する。視線検出部２７Ｂは、取得した視線情報から運転者の視線を検出する。
【００６７】
判断部２５Ｂは、撮影データ取得部２１が取得した撮影データにおける運転者の表情情報と、運転者の顔部情報と、視線検出部２７Ｂが検出した視線情報とに基づいて、表示部１３に表示される映像の明るさを判断する。
【００６８】
より詳しくは、判断部２５Ｂは、顔部情報と表情情報と視線情報と表示映像情報とに基づいて、顔部情報と表情情報とが、表示映像の輝度および色差によるものか否かを判断する。
【００６９】
例えば、判断部２５Ｂは、表示映像の輝度が明るくなったとき、運転者の視線が表示部１３を向いていて、かつ、運転者の眩しい表情を検出して、かつ、運転者の顔周辺の輝度が明るくなっている場合、運転者の表情の変化が、表示映像の輝度および色差によるものであると判断する。例えば、判断部２５Ｂは、表示映像の色差が赤くなったとき、運転者の視線が表示部１３を向いていて、かつ、運転者の眩しい表情を検出して、かつ、運転者の顔周辺の色差が赤くなっている場合、運転者の表情の変化が、表示映像の輝度および色差によるものであると判断する。判断部２５は、運転者の視線が表示部１３を向いていない、または、運転者の眩しい表情を検出していない、または、運転者の顔周辺の輝度および色差が変化していない場合、運転者の表情の変化が、表示映像の輝度および色差によるものではないと判断する。
【００７０】
次に、図７を用いて、制御部２０Ｂにおける処理の流れについて説明する。ステップＳ２０１、ステップＳ２０２、ステップＳ２０４ないしステップＳ２０７の処理は、図３に示すフローチャートのステップＳ１０１、ステップＳ１０２、ステップＳ１０３ないしステップＳ１０６と同様の処理を行う。
【００７１】
制御部２０Ｂは、視線検出部２７Ｂによって、運転者の視線を検出する(ステップＳ２０３)。制御部２０は、ステップＳ２０４に進む。
【００７２】
このようにして、撮影データ取得部２１が取得した撮影データと、視線検出部２７Ｂが検出した視線情報とに基づいて、表示部１３に表示される映像の明るさを判断する。
【００７３】
上述したように、本実施形態は、撮影データ取得部２１が取得した撮影データと、視線検出部２７Ｂが検出した視線情報とに基づいて、表示部１３に表示される映像の明るさを判断することができる。本実施形態によれば、撮影データにおける運転者の表情情報と、運転者の顔部情報と、視線検出部２７Ｂが検出した視線情報とに基づいて、撮影データにおける運転者の顔部情報が、表示部１３に表示された映像の輝度および色差によるものか否かをより適切に判断することができる。本実施形態によれば、表示部１３に表示される映像をより適切に調整することができる。
【００７４】
［第四実施形態］
図８、図９を参照しながら、本実施形態に係る表示システム１Ｃについて説明する。図８は、第四実施形態に係るサーバ装置と表示装置とを含む表示システムの構成例を示すブロック図である。図９は、第四実施形態に係る表示装置の他の構成例を示すブロック図である。本実施形態では、学習モデルの構築処理を行うサーバ装置３０Ｃと、サーバ装置３０Ｃから学習モデルを取得する表示装置１０Ｃとを有する点が、第二実施形態と異なる。
【００７５】
表示装置１０Ｃは、学習モデル記憶部１５Ｃと学習モデル取得部２８Ｃとを有する点とが第二実施形態と異なる。
【００７６】
学習モデル記憶部１５Ｃは、学習モデル取得部２８Ｃが取得した学習モデルを記憶する。
【００７７】
学習モデル取得部２８Ｃは、図示しない通信部を介してサーバ装置３０Ｃから学習モデルを取得する。
【００７８】
サーバ装置３０Ｃは、表示装置１０Ｃが使用する学習モデルを構築するサーバ装置である。サーバ装置３０Ｃは、通信部３１Ｃと、記憶部３２Ｃと、制御部４０Ｃとを有する。
【００７９】
通信部３１Ｃは、通信ユニットである。通信部３１Ｃは、表示装置１０Ｃとデータを送受信可能に接続する。
【００８０】
記憶部３２Ｃは、学習部４３Ｃが構築した学習モデルを記憶する。
【００８１】
制御部４０Ｃは、例えば、ＣＰＵなどで構成された演算処理装置（制御装置）である。制御部４０Ｃは、図示しない記憶部に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部４０Ｃは、通信制御部４１Ｃと、データ取得部４２Ｃと、学習部４３Ｃと、記憶制御部４４Ｃとを有する。制御部４０Ｃには図示しない内部メモリが含まれ、内部メモリは制御部４０Ｃにおけるデータの一時記憶などに用いられる。
【００８２】
通信制御部４１Ｃは、通信部３１Ｃを介した通信を制御する。通信制御部４１Ｃは、通信部３１Ｃを介して表示装置１０Ｃと通信する。
【００８３】
データ取得部４２Ｃは、学習部４３Ｃにおける処理で要するデータを表示装置１０Ｃから取得する。
【００８４】
学習部４３Ｃは、第二実施形態の学習部２４Ａと同様の処理を行って、同様の学習モデルを構築する。
【００８５】
記憶制御部４４Ｃは、学習部４３Ｃが学習した学習モデルを記憶部３２Ｃに記憶するよう制御する。
【００８６】
上述したように、本実施形態によれば、学習モデルの構築処理を行うサーバ装置３０Ｃと、サーバ装置３０Ｃから学習モデルを取得する表示装置１０Ｃとに分けても、同様の効果を得ることができる。
【００８７】
さて、これまで本発明に係る表示装置１０について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。
【００８８】
図示した表示装置１０の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
【００８９】
表示装置１０の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
【００９０】
上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
【符号の説明】
【００９１】
１０      表示装置
１１      カメラ（撮影部）
１２      操作部
１３      表示部
１９      記憶部
２０      制御部（表示制御装置）
２１      撮影データ取得部
２２      記憶制御部
２３      操作制御部
２５      判断部
２６      調整部
２９      表示制御部
【図１】
2020160201.tif 000003
【図２】
2020160201.tif 000004
【図３】
2020160201.tif 000005
【図４】
2020160201.tif 000006
【図５】
2020160201.tif 000007
【図６】
2020160201.tif 000008
【図７】
2020160201.tif 000009
【図８】
2020160201.tif 000010
【図９】
2020160201.tif 000011