(57)【要約】【課題】認識し易い画像を表示させることができる輝度制御装置、輝度制御システム及び輝度制御方法を提供する。【解決手段】輝度制御装置１は、測定部１１によって測定された瞳孔径Ｒと瞳孔径推定部１３によって推定された瞳孔径ｒとの差である瞳孔径差を算出し、この瞳孔径差に基づいて暗部を注視していると判定した場合、少なくとも１つの撮像装置によって撮像された車両８の周囲の画像が表示された少なくとも１つの表示領域の輝度が上がるように制御対象を制御する制御情報を出力する輝度制御方法を実行する。【選択図】図５
2018043724.tif 000002
【特許請求の範囲】
【請求項１】
運転者の顔が撮像された画像に基づいて前記運転者の瞳孔径を測定する測定部と、
前記画像に基づいて前記運転者の瞳孔に入射する光の輝度を推定する輝度推定部と、
輝度と瞳孔径が関連付けられた輝度対応関係に従って推定された輝度に対する瞳孔径を推定する瞳孔径推定部と、
前記測定部によって測定された瞳孔径と前記瞳孔径推定部によって推定された瞳孔径との差である瞳孔径差を算出する瞳孔径差算出部と、
前記瞳孔径差に基づいて暗部を注視していると判定した場合、少なくとも１つの撮像装置によって撮像された車両の周囲の画像が表示された少なくとも１つの表示領域の輝度が上がるように制御対象を制御する制御情報を出力する制御部と、
を備えた輝度制御装置。
【請求項２】
前記運転者の視線を算出する視線算出部を備え、
前記制御部は、前記瞳孔径差が暗部を注視していることを表し、かつ前記車両の周囲の画像が表示された前記少なくとも１つの表示領域へと前記運転者の視線が向けられていることによって暗部を注視していると判定する、
請求項１に記載の輝度制御装置。
【請求項３】
前記制御部は、前記瞳孔径差が暗部を見ていることを表さなくなった場合、前記車両の周囲の画像が表示された前記少なくとも１つの表示領域の輝度を初期値に戻す、
請求項１又は２に記載の輝度制御装置。
【請求項４】
前記制御部は、前記視線が交わる表示領域を有する表示装置を制御対象として輝度が上がるように制御する、
請求項２に記載の輝度制御装置。
【請求項５】
前記制御部は、前記視線が交わる表示領域に表示される画像を撮像する撮像装置を制御対象として輝度が上がるように制御する、
請求項２に記載の輝度制御装置。
【請求項６】
前記輝度推定部は、前記運転者の眼の周囲の輝度に基づいて前記運転者の瞳に入射する光の輝度を推定する、
請求項１乃至５のいずれか１項に記載の輝度制御装置。
【請求項７】
前記瞳孔径推定部は、前記運転者ごとに前記輝度対応関係を作成し、前記運転者ごとに瞳孔径を推定する、
請求項１乃至６のいずれか１項に記載の輝度制御装置。
【請求項８】
請求項１乃至７のいずれか１項に記載された輝度制御装置と、
前記運転者の顔を撮像する運転者撮像装置と、
前記車両の周囲を撮像する前記少なくとも１つの撮像装置と、
前記少なくとも１つの撮像装置によって撮像された画像を表示する前記少なくとも１つの表示領域を有する少なくとも１つの表示装置と、
を備えた輝度制御システム。
【請求項９】
運転者の顔が撮像された画像に基づいて前記運転者の瞳孔径を測定し、
前記画像に基づいて前記運転者の瞳孔に入射する光の輝度を推定し、
輝度と瞳孔径が関連付けられた輝度対応関係に従って推定された輝度に対する瞳孔径を推定し、
測定された瞳孔径と推定された瞳孔径との差である瞳孔径差を算出し、
前記瞳孔径差に基づいて暗部を注視していると判定した場合、少なくとも１つの撮像装置によって撮像された車両の周囲の画像が表示された少なくとも１つの表示領域の輝度が上がるように制御対象を制御する制御情報を出力する輝度制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、輝度制御装置、輝度制御システム及び輝度制御方法に関する。
【背景技術】
【０００２】
従来の技術として、車両の周辺を撮像し、撮像された画像を運転者に提示する提示手段と、提示手段を使用時の運転者による運転操作の操作タイミングを取得する取得手段と、取得手段により取得された操作タイミングに応じて提示手段により運転者に提示される画像を補正する補正手段と、を備える周辺監視装置が知られている（例えば、特許文献１参照。）。
【０００３】
この周辺監視装置は、提示手段を使用時の運転者による運転操作の操作タイミングに応じて運転者に提示される画像が補正される。従って周辺監視装置は、運転者の操作タイミングを考慮して運転者が感じる距離感や速度感が修正されるため、距離感や速度感に対する違和感を抑制することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−２２７６０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし従来の周辺監視装置は、撮像された画像の輝度が低い場合、ブラックアウトが発生して運転者が呈示された画像を認識し難くなる可能性がある。
【０００６】
従って本発明の目的は、認識し易い画像を表示させることができる輝度制御装置、輝度制御システム及び輝度制御方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一態様は、運転者の顔が撮像された画像に基づいて運転者の瞳孔径を測定する測定部と、画像に基づいて運転者の瞳孔に入射する光の輝度を推定する輝度推定部と、輝度と瞳孔径が関連付けられた輝度対応関係に従って推定された輝度に対する瞳孔径を推定する瞳孔径推定部と、測定部によって測定された瞳孔径と瞳孔径推定部によって推定された瞳孔径との差である瞳孔径差を算出する瞳孔径差算出部と、瞳孔径差に基づいて暗部を注視していると判定した場合、少なくとも１つの撮像装置によって撮像された車両の周囲の画像が表示された少なくとも１つの表示領域の輝度が上がるように制御対象を制御する制御情報を出力する制御部と、を備えた輝度制御装置を提供する。
【発明の効果】
【０００８】
本発明によれば、認識し易い画像を表示させることができる。
【図面の簡単な説明】
【０００９】
【図１】図１（ａ）は、実施の形態に係る輝度制御装置の一例を示すブロック図であり、図１（ｂ）は、輝度制御装置が含まれる輝度制御システムの一例を示すブロック図である。
【図２】図２（ａ）は、実施の形態に係る輝度制御装置の一例が搭載された車両の概略図であり、図２（ｂ）は、車両内部の一例を示す概略図である。
【図３】図３（ａ）は、実施の形態に係る輝度制御装置の運転者撮像装置などの配置の一例を説明するための概略図であり、図３（ｂ）は、輝度と瞳孔径の対応関係の一例を示すグラフである。
【図４】図４（ａ）は、実施の形態に係る輝度制御装置の視線算出の一例を説明するための眼球周辺の模式図であり、図４（ｂ）は、視線算出の一例を説明するためのシステムの模式図である。
【図５】図５は、実施の形態に係る輝度制御装置の輝度制御方法に基づく動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
（実施の形態の要約）
実施の形態に係る輝度制御装置は、運転者の顔が撮像された画像に基づいて運転者の瞳孔径を測定する測定部と、画像に基づいて運転者の瞳孔に入射する光の輝度を推定する輝度推定部と、輝度と瞳孔径が関連付けられた輝度対応関係に従って推定された輝度に対する瞳孔径を推定する瞳孔径推定部と、測定部によって測定された瞳孔径と瞳孔径推定部によって推定された瞳孔径との差である瞳孔径差を算出する瞳孔径差算出部と、瞳孔径差に基づいて暗部を注視していると判定した場合、少なくとも１つの撮像装置によって撮像された車両の周囲の画像が表示された少なくとも１つの表示領域の輝度が上がるように制御対象を制御する制御情報を出力する制御部と、を備えて概略構成されている。
【００１１】
輝度制御装置は、瞳孔径差が抑制されるように制御対象の輝度を制御するので、この構成を採用しない場合と比べて、運転者が注視している表示領域の輝度が低くても適切な輝度となるように制御して認識し易い画像を表示させることができる。
【００１２】
[実施の形態]
（輝度制御装置１の概要）
図１（ａ）は、実施の形態に係る輝度制御装置の一例を示すブロック図であり、図１（ｂ）は、輝度制御装置が含まれる輝度制御システムの一例を示すブロック図である。図２（ａ）は、実施の形態に係る輝度制御装置の一例が搭載された車両の概略図であり、図２（ｂ）は、車両内部の一例を示す概略図である。図３（ａ）は、実施の形態に係る輝度制御装置の運転者撮像装置などの配置の一例を説明するための概略図であり、図３（ｂ）は、輝度と瞳孔径の対応関係の一例を示すグラフである。図３（ｂ）は、縦軸が瞳孔径、横軸が輝度である。なお、以下に記載する実施の形態に係る各図において、図形間の比率は、実際の比率とは異なる場合がある。また図１（ａ）及び図１（ｂ）では、主な情報の流れを矢印で示している。
【００１３】
輝度制御装置１は、図１（ａ）に示すように、視線算出部１０と、測定部１１と、輝度推定部１２と、瞳孔径推定部１３と、瞳孔径差算出部１４と、制御部１５と、を備えて概略構成されている。この輝度制御装置１は、例えば、図２（ａ）に示すように、主に車両８の左撮像装置２２及び右撮像装置２３が撮像する画像の輝度を制御するように構成されている。この左撮像装置２２及び右撮像装置２３は、車両８の電子ミラー装置の一部を構成している。
【００１４】
また輝度制御装置１は、図１（ｂ）に示すように、左撮像装置２２及び右撮像装置２３と共に輝度制御システム２の一部を構成している。この輝度制御システム２は、電子ミラー装置の一例である。
【００１５】
以下では、まず輝度制御装置１の構成について具体的に説明する。
【００１６】
（視線算出部１０の構成）
図４（ａ）は、実施の形態に係る輝度制御装置の視線算出の一例を説明するための眼球周辺の模式図であり、図４（ｂ）は、視線算出の一例を説明するためのシステムの模式図である。
【００１７】
視線算出部１０は、図３（ａ）、図４（ａ）及び図４（ｂ）に示すように、運転者撮像装置２１から出力された撮像情報Ｓ１に基づいて運転席８６に着座する運転者９の眼９１周辺を撮像した画像２１１を取得し、そしてこの画像２１１に基づいて運転者９の視線９５と表示領域２６０との交点である視認点９６を検出する。なお視認点９６は、一例として、図２（ｂ）に示す左表示装置２６の表示画面としての表示領域２６０と視線９５の交点とする。
【００１８】
視線算出部１０は、例えば、近赤外線を眼球９２に照射し、角膜表面での反射光（プルキニエ像９４）及び瞳孔９３の位置から視線９５と左表示装置２６の表示領域２６０を含む平面２６１との交点である視認点９６を算出するように構成されている。視線算出部１０は、取り込んだ画像２１１を類似輝度の領域別にセグメント化し、セグメント化された各領域の中から瞳孔領域を領域形状からパターンマッチング法などを用いて決定する。
【００１９】
次に視線算出部１０は、瞳孔９３の輪郭集合から楕円中心を求め、この楕円中心から一定範囲内を対象としてプルキニエ像９４の検出を行う。次に視線算出部１０は、得られた瞳孔９３及びプルキニエ像９４から視線９５の算出を行う。
【００２０】
図４（ｂ）に示す画像座標系（ＸｂＹｂ座標系）における座標は、例えば、画像座標系の座標を世界座標系の座標に変換することが可能である。また視線算出部１０は、カメラ座標系（ｘａｙａｚａ座標系）における角膜曲率中心と瞳孔中心の座標を算出し、各座標を世界座標系の座標に座標変換して世界座標系における視線ベクトルを求める。
【００２１】
視線算出部１０は、この視線ベクトルを平面２６１に射影することで、平面２６１上の視認点９６の座標を求めている。なお視線を算出する方法は、上記のプルキニエ像９４を用いた方法に限定されず、瞳孔中心の向きに基づく推定方法、顔向きに基づく推定方法、目じり（又は目頭）と瞳孔中心との位置関係に基づく推定方法やその他の方法であっても良い。
【００２２】
視線算出部１０は、視認点９６の座標に関する視線情報Ｓ２１を生成して制御部１５に出力する。制御部１５は、算出された視認点９６に基づいて運転者９が見ている表示領域を判定する。なお制御部１５は、視認点９６が算出されない場合、いずれの表示領域も見ていないと判定する。
【００２３】
視線算出部１０は、表示領域ごとに点などを表示し、その点を運転者９に見させることによって運転者９ごとにキャリブレーションを行っても良い。このキャリブレーションは、一例として、視線９５の誤差を補正するために行われ、運転者９が乗車して車両８の電源が投入された後、走行前の確認として左表示装置２６及び右表示装置２７を見る際に行われる。
【００２４】
（測定部１１の構成）
測定部１１は、図４（ａ）及び図４（ｂ）に示すように、画像２１１に基づいて運転者９の瞳孔径Ｒを測定するように構成されている。この瞳孔径Ｒは、一例として、瞼の影によって測定誤差が生じる可能性を考慮して図４（ａ）の紙面の横方向の径であることが好ましいがこれに限定されない。
【００２５】
瞳孔径Ｒの測定は、一例として、二値化された画像において瞳孔９３に相当する領域を抽出し、その領域の画素数に基づいて領域の幅を測定することで行われる。測定部１１は、この幅を瞳孔径Ｒとする。なお瞳孔径Ｒの測定方法は、これに限定されず、様々な方法が適用可能である。
【００２６】
測定部１１は、運転者撮像装置２１から取得した撮像情報Ｓ１に基づいて瞳孔径Ｒを測定して測定情報Ｓ２２を生成し、制御部１５に出力する。
【００２７】
（輝度推定部１２の構成）
輝度推定部１２は、画像２１１に基づいて運転者９の瞳孔９３に入射する光の輝度を推定するように構成されている。具体的には、輝度推定部１２は、運転者９の眼９１の周囲の輝度に基づいて運転者９の瞳孔９３に入射する光の輝度αを推定する。この眼９１の周囲は、一例として、図４（ａ）に示すように、眼９１の下に近い涙袋周辺の領域１２１である。
【００２８】
この輝度の測定は、例えば、対応テーブル１２０を用いて行われる。この対応テーブル１２０は、一例として、照明された対象物の輝度を輝度計によって測定すると共に対象物の撮像を行い、測定された輝度と画像の階調とを対応させて予め作成される。輝度推定部１２は、領域１２１の階調と対応テーブル１２０とに基づいて輝度αを推定する。なお輝度αの推定方法は、これに限定されず、関数を用いる方法などであっても良い。
【００２９】
輝度推定部１２は、運転者撮像装置２１から取得した撮像情報Ｓ１に基づいて輝度αを推定し、推定した輝度αに基づいて輝度推定情報Ｓ２３を生成して制御部１５に出力する。
【００３０】
（瞳孔径推定部１３の構成）
瞳孔径推定部１３は、輝度αと瞳孔径ｒが関連付けられた輝度テーブル１３０を有し、推定された輝度αと輝度テーブル１３０とを比較して推定された輝度αに対する瞳孔径ｒを推定するように構成されている。
【００３１】
輝度と瞳孔径は、一例として、図３（ｂ）にグラフで示すように、輝度が大きくなると瞳孔径が小さくなり、輝度が小さいと瞳孔径が大きくなる関係があることが知られている。輝度テーブル１３０は、この輝度と瞳孔径を関連付けた輝度対応関係の一例である。瞳孔径推定部１３は、推定された輝度αに対応する瞳孔径ｒを輝度テーブル１３０から抽出する。そして瞳孔径推定部１３は、推定された瞳孔径ｒに基づいて瞳孔径推定情報Ｓ２４を生成して制御部１５に出力する。なお瞳孔径ｒの推定方法は、例えば、関数を用いた推定方法などであっても良い。
【００３２】
なお変形例として瞳孔径推定部１３は、運転者ごとに瞳孔径を測定して輝度対応関係を作成し、運転者ごとに瞳孔径ｒを推定するように構成されても良い。この場合、運転者の識別は、例えば、生体情報や電子キーを利用して行われる。この生体情報は、例えば、指紋、静脈などである。生体情報は、一例として、ステアリング８４に設けられたセンサによって取得される。また他の変形例として輝度対応関係は、例えば、年齢や人種ごとに作成されても良い。
【００３３】
さらに瞳孔径推定部１３は、運転者の属性ごとに瞳孔径ｒの推定を行っても良い。この属性とは、例えば、年齢や人種によって規定されるものである。
【００３４】
（瞳孔径差算出部１４の構成）
瞳孔径差算出部１４は、測定部１１によって測定された瞳孔径Ｒと瞳孔径推定部１３によって推定された瞳孔径ｒとの差（＝Ｒ−ｒ）である瞳孔径差を算出するように構成されている。
【００３５】
瞳孔径推定部１３によって推定された瞳孔径ｒは、例えば、車両８の外からの光や車両８内の照明などによって照らされた物体を視認している場合の瞳孔径を輝度から推定したものである。一方測定部１１によって測定された瞳孔径Ｒは、撮像された画像２１１から測定された瞳孔径であり、実際の瞳孔径に近い。
【００３６】
運転者９が周囲の明るさに近い明るさの場所を見た場合、測定された瞳孔径Ｒと推定された瞳孔径ｒの瞳孔径差は、小さいものとなる。
【００３７】
しかし運転者９が、例えば、周囲よりも暗い場所を見る場合、少ない光量を捉えようとすることから瞳孔径が大きくなる。つまり瞳孔径は、周囲を見ている場合と比べて、周囲より暗い場所を見ている場合の方が大きくなるので、測定部１１によって測定された瞳孔径Ｒの方が推定される瞳孔径ｒより大きくなる。
【００３８】
運転者９が、例えば、左表示装置２６の表示領域２６０を見る場合、適切な輝度で表示領域２６０に画像が表示されていると、測定された瞳孔径Ｒと推定された瞳孔径ｒの瞳孔径差は、小さい。一方表示された画像が暗い場合、推定された瞳孔径ｒよりも測定された瞳孔径Ｒの方が大きくなる。つまり瞳孔径差が大きい場合、暗い場所を見ている可能性が高くなる。
【００３９】
瞳孔径差算出部１４は、測定された瞳孔径Ｒから推定された瞳孔径ｒを減算して瞳孔径差情報Ｓ２５を生成し、制御部１５に出力する。
【００４０】
（制御部１５の構成）
制御部１５は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部１５が動作するためのプログラム、判定しきい値１５０、及び制御テーブル１５１などが格納されている。また、ＲＡＭは、例えば、一時的に演算結果などを格納する記憶領域として用いられる。
【００４１】
制御部１５は、複数の撮像装置によって撮像された車両８の周囲の画像が表示された複数の表示領域のいずれかの表示領域に視線９５が交わり、かつ瞳孔径差に基づいて視線９５が交わる表示領域を注視していると判定した場合、視線９５が交わる表示領域の輝度を上げて瞳孔径差が抑制されるように制御対象を制御する制御情報を出力するように構成されている。
【００４２】
複数の撮像装置は、電子ミラー装置の場合、左撮像装置２２及び右撮像装置２３である。また複数の表示領域は、一例として、図２（ｂ）に示すように、電子ミラー装置の場合、左表示装置２６の表示領域２６０、及び右表示装置２７の表示領域２７０である。
【００４３】
また制御部１５は、視線９５が交わる表示領域を有する表示装置を制御対象として輝度が上がるように制御しても良いし、視線９５が交わる表示領域に表示される画像を撮像する撮像装置を制御対象として輝度が上がるように制御しても良いし、表示装置及び撮像装置の両方を制御対象としても良い。言い換えるなら制御部１５は、表示領域の輝度が低い場合、表示領域自体の輝度を上げるように制御しても良いし、適切な輝度となるように撮像装置の絞りなどを制御して撮像された画像の輝度が上がるように制御しても良いし、その両方を組み合わせて行っても良い。
【００４４】
判定しきい値１５０は、瞳孔径差に関するしきい値である。この判定しきい値１５０は、一例として、０．５ｍｍである。この判定しきい値１５０は、例えば、周囲を見ている際の瞳孔径と周囲より暗い暗部を見ている際の瞳孔径の瞳孔径差から設定され、実験やシミュレーションによって規定される。制御部１５は、一例として、瞳孔径差が０．５ｍｍ以上である場合、周囲よりも暗い暗部を見ていると判定する。なお暗部は、周囲よりも暗いと認識される空間であり、例えば、照度が周囲の照度よりも予め規定されたしきい値以下となる空間である。
【００４５】
制御テーブル１５１は、制御対象を制御する制御情報を生成するためのテーブルである。制御テーブル１５１は、瞳孔径差と制御対象の制御情報が関連付けて格納されている。制御部１５は、瞳孔径差を得ると共に制御対象を定めた後、この瞳孔径差と制御テーブル１５１に基づいて制御対象の制御情報を抽出する。そして制御部１５は、制御情報を出力する。
【００４６】
制御部１５は、制御対象を視線情報Ｓ２１に基づいて定める。つまり制御部１５は、視認点９６が存在する、つまり視線９５が交わる表示領域が存在する場合、当該表示領域に表示された画像を撮像する撮像装置、及び当該表示領域を有する表示装置の少なくとも一方を制御する。
【００４７】
制御部１５は、左撮像装置２２を制御する場合、制御情報Ｓ１１を出力する。制御部１５は、右撮像装置２３を制御する場合、制御情報Ｓ１２を出力する。また制御部１５は、左表示装置２６を制御する場合、制御情報Ｓ１５を出力する。さらに制御部１５は、右表示装置２７を制御する場合、制御情報Ｓ１６を出力する。
【００４８】
続いて以下に輝度制御システム２について説明する。
【００４９】
（輝度制御システム２の構成）
輝度制御システム２は、一例として、図１（ｂ）に示すように、輝度制御装置１と、運転者９の顔９０を撮像する運転者撮像装置２１と、車両８の周囲を撮像する複数の撮像装置と、複数の撮像装置によって撮像された画像を表示する複数の表示領域を有する少なくとも１つの表示装置と、を備えて概略構成されている。
【００５０】
運転者撮像装置２１は、例えば、図３（ａ）に示すように、ステアリングコラム８５上に配置され、撮像範囲２１０を撮像して撮像情報Ｓ１を出力するように構成されている。この運転者撮像装置２１は、例えば、ＣＣＤイメージセンサ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子を用いた撮像装置である。なお運転者撮像装置２１の配置は、ステアリングコラム８５上に限定されず、運転者の顔が撮像可能な位置であれば良い。
【００５１】
また本実施の形態の複数の撮像装置は、上述のように、左撮像装置２２及び右撮像装置２３である。この左撮像装置２２は、図２（ａ）に示すように、車両８の車体８０の左側面に配置され、車体８０の左後方である撮像範囲２２０を撮像して撮像情報Ｓ２を出力する。また右撮像装置２３は、車体８０の右側面に配置され、車体８０の右後方である撮像範囲２３０を撮像して撮像情報Ｓ３を出力する。
【００５２】
この左撮像装置２２及び右撮像装置２３は、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの固体撮像素子を用いた撮像装置である。
【００５３】
また本実施の形態の複数の表示領域は、図２（ｂ）に示すように、左表示装置２６の表示領域２６０、及び右表示装置２７の表示領域２７０である。左表示装置２６は、一例として、車両８の左側のピラー８１に配置されている。右表示装置２７は、一例として、右側のピラー８２に配置されている。この左表示装置２６及び右表示装置２７は、例えば、液晶モニタである。
【００５４】
左表示装置２６は、例えば、左撮像装置２２から取得した撮像情報Ｓ２に基づいた画像を表示領域２６０に表示させる。また右表示装置２７は、例えば、右撮像装置２３から取得した撮像情報Ｓ３に基づいた画像を表示領域２７０に表示させる。
【００５５】
なお表示領域２６０及び表示領域２７０は、車両８のルームミラー８７が液晶モニタとして構成され、この液晶モニタの表示領域の少なくとも一部を分割して左右の領域に割り当てられても良い。また表示領域２６０及び表示領域２６０は、中央表示装置２８の表示領域２８０を左右に分割した領域であっても良い。
【００５６】
この輝度制御システム２は、信号や情報を交換し合うため、車両ＬＡＮ（Local Area Network）２０を介して輝度制御装置１と運転者撮像装置２１などが電磁気的に接続されている。
【００５７】
以下に、本実施の形態の輝度制御装置１の動作の一例について図５のフローチャートを参照しながら説明する。
【００５８】
（動作）
輝度制御装置１は、運転者９の顔９０が撮像された画像２１１を取得し、取得した画像２１１に基づいて運転者９の視線９５を算出し、画像２１１に基づいて運転者９の瞳孔径Ｒを測定し、画像２１１に基づいて運転者９の瞳孔９３に入射する光の輝度αを推定し、推定された輝度αと、輝度と瞳孔径が関連付けられた輝度テーブル１３０と、を比較して推定された輝度αに対する瞳孔径ｒを推定し、測定部１１によって測定された瞳孔径Ｒと瞳孔径推定部１３によって推定された瞳孔径ｒとの差である瞳孔径差を算出し、複数の撮像装置（左撮像装置２２及び右撮像装置２３）によって撮像された車両８の周囲の画像が表示された複数の表示領域（表示領域２６０及び表示領域２７０）のいずれかの表示領域に視線９５が交わり、かつ瞳孔径差に基づいて視線９５が交わる表示領域を注視していると判定した場合、視線９５が交わる表示領域の輝度を上げて瞳孔径差が抑制されるように制御対象を制御する制御情報を出力する輝度制御方法を実行する。
【００５９】
まず輝度制御装置１の制御部１５は、運転者９の顔９０が撮像された画像２１１を取得する（Ｓｔｅｐ１）。この画像２１１は、運転者撮像装置２１から車両ＬＡＮ２０を介して取得した撮像情報Ｓ１に基づいた画像である。
【００６０】
次に視線算出部１０は、取得した画像２１１に基づいて運転者９の視線９５を算出する（Ｓｔｅｐ２）。視線算出部１０は、制御部１５を介して撮像情報Ｓ１を取得して視線９５を算出する。そして視線算出部１０は、算出した視線９５に基づく視線情報Ｓ２１を制御部１５に出力する。
【００６１】
次に測定部１１は、画像２１１に基づいて運転者９の瞳孔径Ｒを測定する（Ｓｔｅｐ３）。測定部１１は、制御部１５を介して撮像情報Ｓ１を取得して瞳孔径Ｒを測定する。測定部１１は、算出した瞳孔径Ｒに基づく測定情報Ｓ２２を制御部１５に出力する。
【００６２】
次に輝度推定部１２は、画像２１１に基づいて運転者９の瞳孔９３に入射する光の輝度を推定する（Ｓｔｅｐ４）。輝度推定部１２は、制御部１５を介して取得した撮像情報Ｓ１に基づく画像２１１と対応テーブル１２０とに基づいて輝度を推定する。輝度推定部１２は、推定した輝度αに基づく輝度推定情報Ｓ２３を生成して制御部１５に出力する。
【００６３】
次に瞳孔径推定部１３は、推定された輝度αと、輝度と瞳孔径が関連付けられた輝度テーブル１３０と、を比較して推定された輝度αに対する瞳孔径ｒを推定する（Ｓｔｅｐ５）。瞳孔径推定部１３は、制御部１５を介して取得した輝度推定情報Ｓ２３に基づく推定された輝度αと輝度テーブル１３０とを比較して瞳孔径を推定する。そして瞳孔径推定部１３は、推定した瞳孔径ｒに基づく瞳孔径推定情報Ｓ２４を生成して制御部１５出力する。
【００６４】
次に瞳孔径差算出部１４は、測定部１１によって測定された瞳孔径Ｒと瞳孔径推定部１３によって推定された瞳孔径ｒとの差である瞳孔径差を算出する（Ｓｔｅｐ６）。具体的には、瞳孔径差算出部１４は、制御部１５を介して測定情報Ｓ２２及び瞳孔径推定情報Ｓ２４を取得して瞳孔径差を算出する。瞳孔径差算出部１４は、算出した瞳孔径差に基づいて瞳孔径差情報Ｓ２５を生成して制御部１５に出力する。
【００６５】
次に制御部１５は、左撮像装置２２及び右撮像装置２３によって撮像された車両８の周囲の画像が表示された表示領域２６０及び表示領域２７０のいずれかの表示領域に視線９５が交わっているか否かを判定する。制御部１５は、視線情報Ｓ２１に基づいて視線９５が表示領域２６０及び表示領域２７０のいずれかと交差すると判定した場合（Ｓｔｅｐ７：Ｙｅｓ）、続いて瞳孔径差に基づいて視線９５が交わる表示領域を注視しているか否かを判定する。
【００６６】
次に制御部１５は、取得した瞳孔径差情報Ｓ２５に基づく瞳孔径差と判定しきい値１５０とを比較し、瞳孔径差が判定しきい値１５０以上であった場合（Ｓｔｅｐ８：Ｙｅｓ）、視線９５が交わる表示領域を注視していると判定、つまり暗部を注視していると判定する。
【００６７】
次に制御部１５は、視線９５が交わる表示領域の輝度を上げて瞳孔径差が抑制されるように制御対象を制御する制御情報を出力する（Ｓｔｅｐ９）。具体的には、制御部１５は、例えば、左表示装置２６又は右表示装置２７を制御する場合、瞳孔径差と制御テーブル１５１とに基づいて制御情報Ｓ１５又は制御情報Ｓ１６を生成し、車両ＬＡＮ２０を介して対応する左表示装置２６又は右表示装置２７に出力する。左表示装置２６又は右表示装置２７は、取得した制御情報に基づいて輝度の高い画像を表示領域に表示する。
【００６８】
また制御部１５は、例えば、左撮像装置２２又は右撮像装置２３を制御する場合、瞳孔径差と制御テーブル１５１とに基づいて制御情報Ｓ１５又は制御情報Ｓ１６を生成し、車両ＬＡＮ２０を介して対応する左撮像装置２２又は右撮像装置２３に出力する。左撮像装置２２又は右撮像装置２３は、輝度の高い画像を撮像して撮像情報を生成し、車両ＬＡＮ２０を介して対応する左表示装置２６又は右表示装置２７に出力する。
【００６９】
ここで変形例として制御部１５は、左表示装置２６及び右表示装置２７が表示する画像を補正できるように構成された場合、撮像情報Ｓ２及び撮像情報Ｓ３を補正して輝度が高い画像に応じた撮像情報を生成し、対応する表示装置に出力する構成でも良い。表示装置は、補正された撮像情報を取得して輝度の高い画像を表示領域に表示する。
【００７０】
次に制御部１５は、終了条件が満たされた場合（Ｓｔｅｐ１０：Ｙｅｓ）、動作を終了する。この終了条件とは、一例として、車両の８のイグニッションスイッチがオフされたことやこの輝度制御装置１のオン、オフを指示するスイッチが操作されてオフされたことなどである。
【００７１】
ここでステップ７において制御部１５は、視線９５がいずれの表示領域とも交差しないと判定した場合（Ｓｔｅｐ７：Ｎｏ）、輝度の初期化を行う（Ｓｔｅｐ１１）。具体的には、制御部１５は、制御対象である表示装置及び撮像装置の少なくとも一方を制御して輝度を初期値に戻す。なお制御部１５は、例えば、輝度を上げる前の輝度に戻すように制御しても良い。
【００７２】
またステップ８において制御部１５は、瞳孔径差が判定しきい値１５０より小さい場合（Ｓｔｅｐ８：Ｎｏ）、輝度が適切であるとしてステップ１に進んで次の画像２１１を取得する。
【００７３】
またステップ１０において制御部１５は、終了条件が満たされない場合（Ｓｔｅｐ１０：Ｎｏ）、ステップ１に進んで次の画像２１１を取得する。
【００７４】
なお少なくともステップ２〜ステップ５の順番は、異なる順番であっても良い。またステップ７及びステップ８は、順番が逆であっても良い。さらにステップ７は、省略されていても良い。
【００７５】
ここで変形例として制御部１５は、目標とする瞳孔径差となるまでフィードバック制御を行うように構成されても良い。このフィードバック制御は、例えば、目標とする瞳孔径差となるように、瞳孔径差の算出、制御情報の出力などを繰り返す制御である。
【００７６】
（実施の形態の効果）
本実施の形態に係る輝度制御装置１は、認識し易い画像を表示させることができる。具体的には、輝度制御装置１は、測定された瞳孔径Ｒと周囲の輝度から推定される瞳孔径ｒの差である瞳孔径差を算出し、この瞳孔径差が暗部を注視していることを表している場合に表示領域の輝度を上げることができるので、この構成を採用しない場合と比べて、運転者に認識し易い画像を表示させることができる。
【００７７】
輝度制御装置１は、瞳孔径差が抑制されるように制御対象の輝度を制御するので、この構成を採用しない場合と比べて、運転者が注視している表示領域の輝度が低くても適切な輝度となるように制御して認識し易い画像を表示させることができる。
【００７８】
輝度制御装置１は、画像の輝度が上がるため、輝度ダイナミックレンジが広い対象において、運転者にとって暗部の視認が容易となる。
【００７９】
輝度制御装置１は、撮像装置の絞りなどを制御して輝度の高い画像を生成させることができるので、この構成を採用しない場合と比べて、暗い場所を撮像してもＳ／Ｎ比が高い画像を撮像することができる。
【００８０】
輝度制御装置１は、表示装置及び撮像装置を瞳孔径差に応じて制御するので、この構成を採用しない場合と比べて、より適切な輝度の画像を表示させることができる。
【００８１】
ここで他の実施の形態として輝度制御装置１は、運転者９の顔９０が撮像された画像２１１に基づいて運転者９の瞳孔径Ｒを測定し、画像２１１に基づいて運転者９の瞳孔９３に入射する光の輝度を推定し、輝度と瞳孔径が関連付けられた輝度対応関係に従って推定された輝度αに対する瞳孔径ｒを推定し、測定された瞳孔径Ｒと推定された瞳孔径ｒとの差である瞳孔径差を算出し、瞳孔径差に基づいて暗部を注視していると判定した場合、少なくとも１つの撮像装置によって撮像された車両８の周囲の画像が表示された少なくとも１つの表示領域の輝度が上がるように制御対象を制御する制御情報を出力する輝度制御方法を実行するように構成されても良い。
【００８２】
さらに他の実施の形態として輝度制御システム２は、図１（ｂ）に示すように、さらに前方撮像装置２４、後方撮像装置２５、中央表示装置２８を備えていても良い。
【００８３】
前方撮像装置２４及び後方撮像装置２５は、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの固体撮像素子を用いた撮像装置である。前方撮像装置２４は、例えば、図２（ａ）に示すように、車室内に配置され、車両８の前方の撮像範囲２４０を撮像して撮像情報Ｓ４を出力する。後方撮像装置２５は、例えば、車両８の後方に配置され、車両８の後方の撮像範囲２５０を撮像して撮像情報Ｓ５を出力する。
【００８４】
この前方撮像装置２４及び後方撮像装置２５が撮像した画像は、一例として、センターコンソール８３に配置された中央表示装置２８の表示画面（表示領域２８０）に表示される。つまり中央表示装置２８は、取得した撮像情報Ｓ４及び撮像情報Ｓ５に基づいて画像を表示する。従ってこの輝度制御システム２では、例えば、車両８の周囲が左表示装置２６、右表示装置２７及び中央表示装置２８に表示される。この中央表示装置２８は、例えば、液晶モニタである。
【００８５】
制御部１５は、複数の撮像装置（左撮像装置２２、右撮像装置２３、前方撮像装置２４及び後方撮像装置２５）によって撮像された車両８の周囲の画像が表示された複数の表示領域（表示領域２６０、表示領域２７０及び表示領域２８０）のいずれかの表示領域に視線９５が交わり、かつ瞳孔径差に基づいて視線９５が交わる表示領域を注視していると判定した場合、視線９５が交わる表示領域の輝度を上げて瞳孔径差が抑制されるように制御対象を制御する制御情報を出力する。
【００８６】
この制御情報は、例えば、図１（ｂ）に示すように、前方撮像装置２４を制御する場合が制御情報Ｓ１３、後方撮像装置２５を制御する場合が制御情報Ｓ１４、中央表示装置２８を制御する場合が制御情報Ｓ１７である。
【００８７】
ここで変形例として輝度制御装置１は、左撮像装置２２、右撮像装置２３、前方撮像装置２４及び後方撮像装置２５の画像を中央表示装置２８に設定された複数の表示領域に表示させても良い。また表示装置は、例えば、車両８のフロントウインドウに画像を表示させるヘッドアップディスプレイとして構成されても良い。
【００８８】
さらに他の変形例として輝度制御装置１は、図４（ｂ）に示すように、視線９５が交わる視認点９６を含む低輝度領域９７のみの輝度を上げるように構成されても良い。
【００８９】
上述の実施の形態及び変形例に係る輝度制御装置１は、例えば、用途に応じて、その一部が、コンピュータが実行するプログラム、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field Programmable Gate Array）などによって実現されても良い。
【００９０】
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９１】
１…輝度制御装置、２…輝度制御システム、８…車両、９…運転者、１０…視線算出部、１１…測定部、１２…輝度推定部、１３…瞳孔径推定部、１４…瞳孔径差算出部、１５…制御部、２０…車両ＬＡＮ、２１…運転者撮像装置、２２…左撮像装置、２３…右撮像装置、２４…前方撮像装置、２５…後方撮像装置、２６…左表示装置、２７…右表示装置、２８…中央表示装置、８０…車体、８１，８２…ピラー、８３…センターコンソール、８４…ステアリング、８５…ステアリングコラム、８６…運転席、８７…ルームミラー、９０…顔、９１…眼、９２…眼球、９３…瞳孔、９４…プルキニエ像、９５…視線、９６…視認点、９７…低輝度領域、１２０…対応テーブル、１２１…領域、１３０…輝度テーブル、１５０…判定しきい値、１５１…制御テーブル、２１０…撮像範囲、２１１…画像、２２０，２３０，２４０，２５０…撮像範囲、２６０…表示領域、２６１…平面、２７０，２８０…表示領域
【図１】
2018043724.tif 000003
【図２】
2018043724.tif 000004
【図３】
2018043724.tif 000005
【図４】
2018043724.tif 000006
【図５】
2018043724.tif 000007