(57)【要約】【課題】撮像部により撮像された被写体の認識度を向上させることが可能な画像表示装置及び画像表示方法を提供する。【解決手段】画像表示装置１は、被写体を撮像して画像信号を出力する撮像部２と、所定の波長に関する設定波長データ３７０が格納された記憶部３７と、画像信号に所定の波長の信号が含まれるとき、信号の波長を他の波長にシフトする位相オフセット部３３と、位相オフセット部３３から出力される信号に基づいて画像を表示する画像表示部３とを有する。【選択図】図１
2019212937.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して画像信号を出力する撮像部と、
前記画像信号に所定の波長の信号が含まれるとき、前記信号の波長を他の波長にシフトする位相オフセット部と、
前記位相オフセット部から出力される前記信号に基づいて画像を表示する画像表示部と
を有することを特徴とする画像表示装置。
【請求項２】
前記位相オフセット部は、前記画像信号に前記所定の波長未満の波長の前記信号が含まれるとき、前記信号の波長を所定値だけ長波長側にシフトすることを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記位相オフセット部は、前記画像信号に前記所定の波長を超える波長の前記信号が含まれるとき、前記信号の波長を所定値だけ短波長側にシフトすることを特徴とする請求項１に記載の画像表示装置。
【請求項４】
前記撮像部は画素単位の前記画像信号を出力し、さらに、
前記位相オフセット部による前記信号の波長のシフトの結果、第一の前記画素に対応する前記信号と前記第一の画素に隣接する第二の前記画素の前記信号とが同一の色相及び彩度を有するとき、前記第一の画素または前記第二の画素の前記信号の彩度を所定値だけシフトする階調オフセット部を有することを特徴とする請求項１〜３のいずれかに記載の画像表示装置。
【請求項５】
被写体を撮像して画像信号を出力する撮像部と、前記画像信号に基づいて画像を表示する画像表示部とを有する画像表示装置による画像表示方法であって、
前記画像信号に所定の波長の信号が含まれるとき、前記信号の波長を他の波長にシフトすることを特徴とする画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像部から出力される画像信号に基づいて画像表示部により画像を表示する画像表示装置及び画像表示方法に関するものである。
【背景技術】
【０００２】
車両に搭載され、この車両の周辺を撮像する車載カメラを有する車載カメラシステムが提案、実現されている。従来の車載カメラシステムでは、搭乗者が実際に視認する風景等を忠実に再現する観点から、表示される画像に忠実な色再現性が求められていた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−４７９０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
年齢が高くなるにつれて、眼の比視感度は若年齢層の比視感度と異なってくる。特に、波長が短い青色系の比視感度が若年齢層の比視感度より落ちることが知られている。
【０００５】
図４は、ＣＩＥ（国際照明委員会）が規定した比視感度曲線を示す図である。図４に示す比視感度曲線は、主に若年齢層のように色認識が優れた（劣っていない）者の比視感度曲線である。
【０００６】
図５は、高齢者の比視感度曲線の一例を示す図である。図５において高齢者の比視感度曲線は点線で示している。参考のため、図４に示した比視感度曲線も実線で示している。
【０００７】
図５に示すように、高齢者の比視感度曲線において、波長が短い青色系の比視感度が若年齢層の比視感度より落ちていることがわかる。また、波長が長い赤色系の比視感度も若年齢層の比視感度と異なっていることがわかる。従って、若年齢層の比視感度と比較して比視感度が異なる色を多く含む被写体をカメラにより撮像すると、高齢者がこの被写体を認識しづらい現象が生じうる。
【０００８】
従って、比視感度が落ちる色を多く含む被写体を車載カメラにより撮像すると、高齢者がこの被写体を認識しづらい現象が生じうる。また、高齢者に限らず、特定の波長域に対する比視感度が落ちる人も同様な現象が生じうる。加えて、車載カメラシステムに限らず、このような現象はカメラを有する画像表示装置では生じうる。
【０００９】
なお、車両用灯具（いわゆるヘッドライト）において、出射される白色レーザー光の色を運転者の年齢に応じて変化させるものが提案されているが（特許文献１参照）、かかる車両用灯具によっても上述した課題を解決するには至らない。
【００１０】
そこで、本発明は、撮像部により撮像された被写体の認識度を向上させることが可能な画像表示装置及び画像表示方法を提供することを目的としている。
【課題を解決するための手段】
【００１１】
前記目的を達成するために、本発明の画像表示装置は、被写体を撮像して画像信号を出力する撮像部と、画像信号に所定の波長の信号が含まれるとき、信号の波長を他の波長にシフトする位相オフセット部と、位相オフセット部から出力される信号に基づいて画像を表示する画像表示部とを有することを特徴とする。
【発明の効果】
【００１２】
このように構成された本発明の画像表示装置では、位相オフセット部が、画像信号に所定の波長の信号が含まれるとき、信号の波長を他の波長にシフトする。
【００１３】
このようにすることで、撮像部により撮像された被写体の認識度を向上させることが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態である画像表示装置の概略構成を示す機能ブロック図である。
【図２】実施の形態である画像表示装置の動作を説明するためのフローチャートである。
【図３】実施の形態である画像表示装置による位相オフセットの動作を説明するための図である。
【図４】一般的な比視感度曲線の一例を示す図である。
【図５】高齢者の比視感度曲線の一例を示す図である。
【発明を実施するための形態】
【００１５】
以下、この発明の実施の形態を図面に基づいて説明する。図１は、本発明の実施の形態である画像表示装置の概略構成を示すブロック図である。
【００１６】
本実施の形態は、画像表示装置を車載カメラシステムに適用した例である。画像表示装置１は、カメラ（撮像部）２、画像処理部３及び画像表示部４を有する。カメラ２は、画像表示装置１が搭載されている図略の車両の進行方向前方（図１において左方）の被写体を撮像して画像信号を出力する。画像処理部３は、カメラ２から出力される画像信号に対して、後述する位相オフセット及び階調オフセット処理を含む各種信号処理を行う。画像表示部４は、画像処理部３の出力である画像信号に基づいて画像を表示する。
【００１７】
本実施形態に係る画像処理部３は、ＣＰＵ、ＦＰＧＡなどのプログラマブルロジックデバイス、ＡＳＩＣ等の集積回路に代表される演算素子、及び、ハードディスクドライブ等の大容量記憶媒体やＲＯＭ、ＲＡＭ等の半導体記憶媒体などの記憶媒体、さらには外部機器との間のインタフェース回路を有する。ここで、本実施の形態では、画像処理部３は一体の演算素子、記憶媒体及びインタフェース回路を有するものとして説明するが、これらが別体の演算素子等により構成されていてもよい。
【００１８】
画像処理部３の記憶媒体である記憶部３７には図略の制御用プログラムが格納されており、この制御用プログラムが画像表示装置１の起動時に演算素子により実行されて、画像表示装置１は図１に示すような機能構成を備えたものとなる。特に、本実施形態の画像処理部３は、後述するように高速の画像処理を行うので、高速演算可能な演算素子、例えばＦＰＧＡなどを有することが好ましい。
【００１９】
カメラ２は、光学系２０、光学フィルタ２１及びセンサ２２を有する。
【００２０】
光学系２０は、レンズやミラー等の光学素子から構成され、被写体から出射した光または被写体で反射した光を、後述するセンサ２２の図略の撮像面に結像させる。光学系２０は、カメラ２が車載用途に用いられる場合、一般に狭角、広角、魚眼等のパンフォーカスレンズが用いられる。さらに、ズーム機構やオートフォーカス機構を備えたレンズ系が用いられてもよいし、絞りやシャッターを備えたレンズ系が用いられてもよい。また、画質や色再現性の向上のために光学ローパスフィルタや帯域分離フィルタや偏光フィルタ等の各種フィルタ類を備えたレンズ系が用いられてもよい。
【００２１】
センサ２２は複数の画素から構成されており、光学系２０によりその撮像面に結像された被写体の像に基づく入射光を、その輝度に応じた出力電圧信号に光電変換する。光電変換された出力電圧信号は、センサ２２の内部に備えられたアンプ（図示省略）、更に同じくセンサ２２の内部に備えたＡＤコンバータ（図示省略）を通してデジタル化されて、画像信号が生成される。
【００２２】
センサ２２としては、少なくとも可視光に対して感度を有するＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の光電変換素子が用いられる。本実施の形態では、センサ２２は所定のフレームレート（例えば１／３０秒、１／６０秒）で車両の進行方向前方の被写体を撮像し、画像信号を画像処理部３に送出する。
【００２３】
なお、センサ２２を構成する各画素の上には、一例として透過する波長帯域が異なる３種類のフィルタ（赤色フィルタＲ、緑色フィルタＧ、青色フィルタＢ）がそれぞれ規則的に配列され、これら３種類のフィルタにより光学フィルタ２１が構成されている。
【００２４】
画像処理部３は、領域分割部３０、波長出力部３１、波長比較部３２、位相オフセット部３３、階調比較部３４、階調オフセット部３５、合成画像出力部３６及び記憶部３７を有する。
【００２５】
領域分割部３０は、撮像部２から出力される画像信号により表示される画像を複数の領域に分割し、それぞれの領域にどの画素が属するかに関する情報を出力する。領域分割部３０により設定される領域の画像に対する大きさ及び領域数は、後述する位相オフセット部３３及び階調オフセット部３５における各種画像処理に基づいて任意に設定可能である。一例として、領域分割部３０は、画像をｎ×ｎ（ｎは自然数）、例えば３×３画素からなる領域に分割する。
【００２６】
波長出力部３１は、カメラ２からの出力である画像信号を、この画像信号を構成する各色に対応する３つの色信号（Ｒ，Ｇ，Ｂ）に分離する。このとき、信号がない画素は出力を０（空白）とする。次いで、波長出力部３１は、空白の画素において観測されると予想される画素値を、近傍の画素値を用いて線形補間する。そして、全ての画素において、それぞれ３つの色信号（Ｒ，Ｇ，Ｂ）を生成する。さらに、波長出力部３１は、既知のリニアマトリクス演算により色信号補正処理を行う。
【００２７】
加えて、波長出力部３１は、既知のリニアマトリクス演算により、領域分割部３０により分割された領域単位の画像信号に含まれる波長を算出する。波長出力部３１からの出力は、一例として、一定の波長域（例えば可視光の波長域）のそれぞれの波長における強度の値である。波長の値は離散的であってもよいが、できるだけ波長の増分または差分が細かいことが好ましい。なお、波長出力部３１は画素単位の画像信号に含まれる波長を算出してもよい。
【００２８】
波長比較部３２は、波長出力部３１から出力された領域単位等の画像信号に含まれる波長と、記憶部３７に格納された設定波長データ３７０により設定された所定の波長とを比較判定し、その判定結果を出力する。
【００２９】
位相オフセット部３３は、波長比較部３２の判定結果に基づき、領域単位の画像信号に所定の波長の信号が含まれるとき、信号の波長を他の波長にシフトする。ここにいう「位相オフセット」とは、波長を長波長または短波長いずれかの側にシフトすることで色の位相、つまり色相をオフセット（変化）させることである。
【００３０】
より詳しくは、位相オフセット部３３は、画像信号に所定の波長未満の波長の信号が含まれるとき、信号の波長を所定値だけ長波長側にシフトする。一方、位相オフセット部３３は、画像信号に所定の波長を超える波長の信号が含まれるとき、信号の波長を所定値だけ短波長側にシフトする。
【００３１】
階調比較部３４は、位相オフセット部３３から出力される画像信号において、特定の画素（第一の画素）の画像信号及びこの特定の画素に隣接する他の画素（第二の画素）の画像信号の色相及び彩度を比較判定し、その判定結果を出力する。
【００３２】
階調オフセット部３５は、階調比較部３４の判定結果に基づき、第一の画素に対応する画像信号と第二の画素の画像信号とが同一の色相及び彩度を有するとき、第一の画素または第二の画素の信号の彩度を所定値だけシフトする。
【００３３】
合成画像出力部３６は、位相オフセット部３３により波長がシフトされ、また、階調オフセット部３５により彩度がシフトされた画像信号に基づいて、これら波長シフト及び彩度シフトされた結果の画像信号を合成出力する。合成画像出力部３６から出力される画像信号は画像表示部４に出力される。
【００３４】
記憶部３７には、画像処理部３の全体制御を行うための図略の制御プログラム、画像処理部３による各種画像処理に必要なデータ、及び設定波長データ３７０が格納されている。
【００３５】
設定波長データ３７０は、波長比較部３２において判定基準となる波長に関するデータである。また、この設定波長データ３７０は、位相オフセット部３３が波長をオフセットするかどうかの基準となるデータでもある。設定波長データ３７０は任意に設定可能であり、予め記憶部３７に格納されている。なお、本実施の形態である画像表示装置１では、短波長側（青側）及び長波長側（赤側）のそれぞれに対して２種類の設定波長データ３７０が記憶部３７に格納されている。
【００３６】
画像表示部４は、例えば液晶ディスプレイ等の表示装置からなり、画像処理部３から出力された画像信号に基づいて画像を表示する。
【００３７】
次に、本実施の形態である画像表示装置１の動作の詳細を図２のフローチャート及び図４〜図６を参照して説明する。なお、画像表示装置１を構成する各部の動作のうち、既に詳細に説明している動作については適宜省略する。
【００３８】
図３のフローチャートに示す動作は、画像表示装置１の起動時に開始する。まず、ステップＳ１では、撮像部２のセンサ２２が車両前方を撮像し、画像信号を出力する。撮像部２から出力された画像信号は画像処理部３に入力される。
【００３９】
ステップＳ２では、領域分割部３０が、ステップＳ１で画像処理部３に入力された画像信号により表示される画像を複数の領域に分割し、それぞれの領域にどの画素が属するかに関する情報を出力する。一例として、領域分割部３０は、画像を３×３画素からなる領域に分割する。
【００４０】
ステップＳ３では、画像処理部３が、ステップＳ２で分割された複数の領域のうち、一つの（特定の）領域を抽出する。
【００４１】
ステップＳ４では、ステップＳ３で抽出された領域に属する画素の画像信号に基づき、波長出力部３１が抽出された領域単位の画像信号に含まれる波長を算出して出力する。
【００４２】
ステップＳ５〜Ｓ８では、波長比較部３２及び位相オフセット部３３による位相オフセット動作が行われる。
【００４３】
位相オフセット部３３は、若年齢層の比視感度と比較して比視感度が異なる色について、この色の波長を、若年齢層の比視感度と比較して比視感度の異なり方が小さい波長にシフトすることで、被写体の認識度を向上させている。具体的には、位相オフセット部３３は、青色系の色については長波長側に、赤色系の色については短波長側にシフトしている。
【００４４】
上述した設定波長データ３７０は、好ましくは、若年齢層の比視感度と高齢者の比視感度との変化が大きい波長に関するデータとされる。より具体的には、短波長側の設定波長データ３７０の波長λｂは、これより短い波長帯において若年齢層の比視感度と高齢者の比視感度との変化が大きい波長として設定される。同様に、長波長側の設定波長データ３７０の波長λｒは、これより長い波長帯において若年齢層の比視感度と高齢者の比視感度との変化が大きい波長として設定される。
【００４５】
設定波長データ３７０の波長λｂ、λｒは、画像表示装置１が表示する画像を認識する者（運転者など）が固有の比視感度曲線を有することから、任意に設定可能である。また、運転者などがどのような環境下で画像表示装置１の画像を認識するか（例えば街灯が多い街中を主に走行するかなど）によっても設定波長データ３７０の波長λｂ、λｒは異なりうる。従って、この観点からも、設定波長データ３７０の波長λｂ、λｒは任意に設定可能である。
【００４６】
フローチャートの説明に戻って、ステップＳ５では、波長比較部３２が、ステップＳ４で波長出力部３１が出力した特定領域の画像信号に含まれる波長λｘと波長λｂとの大小関係を判定する。そして、判定の結果、λｘ＜λｂであると判定されたら（ステップＳ５においてＹＥＳ）、プログラムはステップＳ６に進む。一方、λｘ≧λｂであると判定されたら（ステップＳ５においてＮＯ）、プログラムはステップＳ７に進む。
【００４７】
ステップＳ７では、同様に波長比較部３２が波長λｘと波長λｒとの大小関係を判定する。そして、判定の結果、λ＜λｒであると判定されたら（ステップＳ７においてＹＥＳ）、プログラムはステップＳ９に進む。一方、λｘ≧λｒであると判定されたら（ステップＳ７においてＮＯ）、プログラムはステップＳ８に進む。
【００４８】
ステップＳ６では、位相オフセット部３３が、波長λｘを長波長側にシフトする処理を行う。
【００４９】
具体的な処理を図３を参照して説明する。図３は、図５においてλｂ付近の比視感度曲線を拡大して示した図である。位相オフセット部３３は、入力波長である波長λｘを、この波長λｘから所定値だけ長波長側にシフトした波長λｙに波長をシフトさせる。
【００５０】
波長λｙは、波長λｘの比視感度をＥｘ、波長λｙの比視感度をＥｙとしたとき、Ｅｙ−Ｅｘが正の定数となるように定められる。被写体の認識度を向上させるという観点から、運転者などが認識可能な比視感度まで比視感度をオフセット（感度上昇）させることが好ましい。このため、比視感度のオフセット値を正の定数にすることで、被写体の認識度を確実に向上させることができる。また、λｙ＞λｂとなるように定める必要がある。
【００５１】
同様に、ステップＳ８では、位相オフセット部３３が、波長λｘを短波長側にシフトする処理を行う。ステップＳ８における動作はステップＳ６とほぼ同様であるが、位相オフセット部３３が波長λｘを短波長側にシフトすることが異なる。また、λｙ＜λｒとなるように波長λｙが定められる。
【００５２】
次に、ステップＳ９では、画像処理部３が、ステップＳ３で抽出された特定領域中の画素のうち、一つの（特定の）画素、すなわち第一の画素を抽出する。
【００５３】
ステップＳ１０では、階調比較部３４が、特定領域内における第一の画素の画像信号及びこの特定の画素に隣接する第二の画素の画像信号の色相及び彩度を比較判定する。そして、判定の結果、第一の画素の画像信号の色相及び彩度と第二の画素の画像信号の色相及び彩度が同一でないと判定されたら（ステップＳ１０において階調差分あり）、プログラムはステップＳ１２に進む。一方、第一の画素の画像信号の色相及び彩度と第二の画素の画像信号の色相及び彩度が同一であると判定されたら（ステップＳ１０において階調差分なし）、プログラムはステップＳ１１に進む。
【００５４】
ステップＳ１１では、階調オフセット部３５が、第一の画素または第二の画素の画像信号の彩度を所定値だけシフトする。人間の眼は色相の差に比較して階調の差に敏感である。そこで、位相オフセット部３３による波長シフトの結果、色相及び彩度が同一になった場合を含み、彩度をシフトすることで階調差を与える。
【００５５】
階調オフセット部３５による彩度シフト処理は、具体的には次のように行えばよい。すなわち、位相オフセット処理前の第一の画素の色相及び彩度と第二の画素の色相及び彩度の大小関係を判定する。さらに、第一の画素の色相及び彩度と第二の画素の色相及び彩度との差の正負を判定する。次いで、上述の差が拡大するように、第一の画素または第二の画素の彩度を所定値だけシフトする。
【００５６】
ステップＳ１２では、画像処理部３が、特定領域内の全ての画素を抽出したか否かを判定する。そして、全ての画素を抽出したと判定したら（ステップＳ１２においてＹＥＳ）、プログラムはステップＳ１４に進む。一方、まだ抽出されていない画素があると判定したら（ステップＳ１２においてＮＯ）、画像処理部３がステップＳ１３において次の画素を抽出する。その後、プログラムはステップＳ１０に戻る。
【００５７】
ステップＳ１４では、画像処理部３が全ての領域を抽出したか否かを判定する。そして、全ての領域を抽出したと判定したら（ステップＳ１４においてＹＥＳ）、プログラムはステップＳ１６に進む。一方、まだ抽出されていない領域があると判定したら（ステップＳ１４においてＮＯ）、画像処理部３がステップＳ１５において次の領域を抽出する。その後、プログラムはステップＳ３に戻る。
【００５８】
ステップＳ１６では、合成画像出力部３６が、波長シフト及び彩度シフトされた結果の画像信号を合成出力する。合成画像出力部３６から出力される画像信号は画像表示部４に出力される。この後、プログラムは終了する。
【００５９】
以上のように構成された本実施の形態である画像表示装置１では、位相オフセット部３３が、画像信号に所定の波長の信号が含まれるとき、信号の波長を他の波長にシフトしている。
【００６０】
これにより、例えば上述の実施の形態における波長λｂ、λｒを適切に設定することで、一般的なの比視感度と比較して比視感度が劣る色について、この色の波長を、比視感度があまり劣らない色の波長にシフトすることができる。従って、本実施の形態である画像表示装置１によれば、撮像部２により撮像された被写体の認識度を向上させることが可能となる。
【００６１】
これにより、例えば本実施の形態である画像表示装置１を車載カメラシステムに適用した場合、車両周辺の対象物（被写体）の認識度を向上させることができる。一例として、暗所の駐車場に車両を駐車する際に、隣の車両のボディーの色が認識しづらいときに、このボディーの色の色相をシフトすることができる。よって、隣の車両の認識度を向上させ、安全に駐車することができる。
【００６２】
特に、本実施の形態である画像表示装置１では、波長λｂ、λｒを比視感度曲線に基づいて設定しているので、色相と比視感度との関係をパラメータ化できる。従って、画像処理部３、特に波長比較部３２、位相オフセット部３３の画像処理動作を定式化、簡略化することができる。
【００６３】
また、本実施の形態である画像表示装置１では、階調オフセット部３５が、第一の画素に対応する信号と第一の画素に隣接する第二の画素の信号とが同一の色相及び彩度を有するとき、第一の画素または第二の画素の信号の彩度を所定値だけシフトしている。これにより、位相オフセット部３３による波長シフトの結果、隣接する画素の色相及び彩度が同一になった場合でも、隣接する画素の階調差を設けることで、被写体の認識度をより向上させることが可能となる。
【００６４】
以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。
【００６５】
一例として、上述の実施の形態では、画像表示装置１を車載カメラシステムに適用した例を説明したが、本発明の画像処理装置が適用される例は車載カメラシステムに限定されない。
【００６６】
また、上述の実施の形態において、設定波長データ３７０を事前に入力する入力部を画像表示装置１に設けてもよい。また、上述したように、年齢によって比視感度曲線が変化するので、代表的な年齢毎の比視感度曲線または設定波長データ３７０を記憶部３７に格納しておくことも好ましい。この場合、年齢を入力する入力部を画像表示装置１に設け、入力された年齢に応じて比視感度曲線または設定波長データ３７０を選択すればよい。さらには、運転者等の画像表示部４に表示される画像を視認する人の顔を撮像し、撮像された顔を画像認識することで年齢を判断してもよい。
【００６７】
さらに、上述の実施の形態は、加齢に伴う比視感度曲線の変化に対応しうる画像表示装置１についてであったが、加齢以外の他の要因により比視感度曲線が変化した場合にも対応可能である。この場合、画像表示部４に表示される画像を視認する人の比視感度曲線を予め取得しておき、この比視感度曲線に基づいて設定波長データ３７０を設定すればよい。あるいは、この人の比視感度曲線に基づいた設定波長データ３７０を記憶部３７に格納しておけばよい。
【符号の説明】
【００６８】
１    画像表示装置
２    撮像部（カメラ）
３    画像処理部
４    画像表示部
３０    領域分割部
３１    波長出力部
３２    波長比較部
３３    位相オフセット部
３４    階調比較部
３５    階調オフセット部
３７    記憶部
３７０  設定波長データ
【図１】
2019212937.tif 000003
【図２】
2019212937.tif 000004
【図３】
2019212937.tif 000005
【図４】
2019212937.tif 000006
【図５】
2019212937.tif 000007