(57)【要約】【課題】  カメラの撮像素子で検知された受像画像を表示する撮像装置において、カメラで取得する画像内の景色の状態に応じて、表示画像を見やすいように切り替えることができるようにする。【解決手段】  カメラで撮影された実画像データをＨＳＶ空間信号に変換し、Ｈ（色相）信号を使用して、表示画面内の空領域４１を特定するとともに、表示画像内で空領域４１が占める面積の比率を計算する。空領域４１が占める面積の比率が所定値よりも高くなったら、表示状態を図４（Ｂ）に示すように、地面領域４２を拡大した強調表示画像に変更する。この表示内容の切り替えにより、明るすぎる空領域４１により画面全体が見えにくくなるのを防止できるようになる。【選択図】図４
2009260514.tif 000002
【特許請求の範囲】
【請求項１】
レンズと、前記レンズで集光された光を検知する撮像素子と、前記撮像素子で検知された実画像データから表示画面に画像を表示させるための表示データを生成する画像処理部と、が設けられた撮像装置において、
前記画像処理部では、
前記実画像データから得られる色相信号または明度信号に基づいて、前記表示データで表示される画像を、色相が相違する２つの領域、または明度が相違する２つの領域に区分し、表示画像内での一方の領域の面積の比が、予め決められた値よりも大きくなったときに、前記一方の領域の表示面積が狭くなるように、２つの領域の境界を移動させた表示データを生成することを特徴とする撮像装置。
【請求項２】
前記画像処理部では、前記実画像データから得られる色相信号から、表示データで表示される画像を、空の領域と空以外の領域とに区分し、表示画像内での前記空の領域の面積の比が、予め決められた値よりも大きくなったときに、前記空の領域の表示面積が狭くなるように前記表示データを生成する請求項１記載の撮像装置。
【請求項３】
前記画像処理部では、前記実画像データから得られる明度信号から、表示データで表示される画像を、明るい領域とそれよりも暗い領域とに区分し、表示画像内での前記明るい領域の面積の比が、予め決められた値よりも大きくなったときに、前記明るい領域の表示面積が狭くなるように前記表示データを生成する請求項１記載の撮像装置。
【請求項４】
前記画像処理部では、実画像データで表示される表示画面の一部を拡大することで、２つの領域の境界を移動させた表示データを生成する請求項１ないし３のいずれかに記載の撮像装置。
【請求項５】
前記画像処理部では、予め設定された変換テーブルに、前記実画像データをマッピングさせることで、２つの領域の境界を移動させた表示データを生成する請求項１ないし３のいずれかに記載の撮像装置。
【請求項６】
前記実画像データは、車両の後方の景色を撮影したものである請求項１ないし５のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、魚眼レンズや広角レンズで集光されて撮像素子で検知された実画像データから、表示画面に動画を表示させるための表示データを生成する撮像装置に関する。
【背景技術】
【０００２】
魚眼レンズや広角レンズなどのレンズと撮像素子とを備えたカメラを使用して、外部の景色を撮影し、その画像を表示装置に表示する撮像装置は、車載用さらに防犯用などとして使用されている。車載用では、魚眼レンズや広角レンズを備えたカメラが車体に取り付けられて、車体の外側の広い範囲の景色が前記カメラで撮影される。
【０００３】
以下の特許文献１および特許文献２に記載されている撮像装置は、魚眼レンズや広角レンズを有するカメラで撮影された実画像データを、変換テーブルで変換して、表示装置に表示するための表示データを生成している。この変換テーブルは、魚眼レンズや広角レンズで得られる三次元的な奥行き有する画像のそれぞれの空間点を、所定の面積の表示画面の平面座標に対応させるものである。この変換テーブルを使用することで、魚眼レンズや広角レンズで得た実画像の歪みを矯正して、所定面積の平面的な画面に動画として表示することが可能となる。
【０００４】
また、以下の特許文献２には、カメラで撮影された実画像データを加工して、任意の視点から見た画像を生成するための視点変換手段が設けられている。
【特許文献１】特開２００２−１１４０９８号公報
【特許文献２】特開２００５−２４２６０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の撮像装置は、表示画面に表示させる表示画像の範囲が変換テーブルによって決められている。そのため、例えば、表示画面内の領域によって明度に極端な差が生じハレーションが発生して見にくい状態となっている場合に、画面全体の輝度を調節することはできても、ハレーションの原因となる画像領域を狭くするなどの処理はできない。また、自動車の後部に設けられたカメラで撮影した画像は、なるべく広い視野で車体の後方の広い範囲を表示できることが好ましいが、カメラで広い領域を撮影しているときに、極端に明るい空の領域の存在により画像が見にくくなることがある。この場合も、画面内で空の領域を狭くするなどの処理はできない。
【０００６】
また、特許文献２に記載された撮像装置には、視点変換手段が設けられているが、この視点変換手段は、カメラで撮影した実画像データから、視点を所定の向きとした画像データを生成するためのものであり、画面に画像を表示している途中で、画像の視点を任意に切り替えるなどの操作はできない。
【０００７】
本発明は、上記従来の課題を解決するものであり、魚眼レンズや広角レンズなどのレンズを備えたカメラで検知した実画像データから表示データを生成する際に、明度の極端な差による見えにくさを解消したり、空の領域が極端に広く映ることによる見えにくさなどを解消できる撮像装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
本発明は、レンズと、前記レンズで集光された光を検知する撮像素子と、前記撮像素子で検知された実画像データから表示画面に画像を表示させるための表示データを生成する画像処理部と、が設けられた撮像装置において、
前記画像処理部では、
前記実画像データから得られる色相信号または明度信号に基づいて、前記表示データで表示される画像を、色相が相違する２つの領域、または明度が相違する２つの領域に区分し、表示画像内での一方の領域の面積の比が、予め決められた値よりも大きくなったときに、前記一方の領域の表示面積が狭くなるように、２つの領域の境界を移動させた表示データを生成することを特徴とするものである。
【０００９】
本発明の撮像装置は、カメラで撮影された実画像データを、色相の相違する２つの領域に区分し、または明度が相違する２つの領域に区分し、一方の領域の面積の比率が所定値よりも広くなったときに、２つの領域の境界を移動させるように表示データを生成している。そのため、前記２つの領域のバランスが極端に崩れたときに、表示データを随時修正することが可能となる。
【００１０】
これにより、例えば、車体に取り付けたカメラで車体の外側の景色を撮影するときに、外部の障害物である建物、壁、歩行者などがカメラに極端に接近しているときは、カメラの視点が比較的上に向くように表示データを生成して、障害物の全体の形状をなるべく把握しやすいようにし、カメラに遠い景色が写されているときは、空の景色が広く表示され過ぎることがなく、むしろ道路やその他の地面の領域が広く映し出されるように、視点を下向きに設定するなどの処理が可能になる。
【００１１】
すなわち、本発明は、前記画像処理部では、前記実画像データから得られる色相信号から、表示データで表示される画像を、空の領域と空以外の領域とに区分し、表示画像内での前記空の領域の面積の比が、予め決められた値よりも大きくなったときに、前記空の領域の表示面積が狭くなるように前記表示データを生成するものである。
【００１２】
あるいは、本発明の撮像装置は、前記画像処理部では、前記実画像データから得られる明度信号から、表示データで表示される画像を、明るい領域とそれよりも暗い領域とに区分し、表示画像内での前記明るい領域の面積の比が、予め決められた値よりも大きくなったときに、前記明るい領域の表示面積が狭くなるように前記表示データを生成するものである。
【００１３】
上記のように、表示画像内を、明度の差に基づく領域に区分することで、表示画像内に極端に明るい領域が広い範囲を占め、ハレーションを起こすなどして画面が見にくくなるのを防止できる。この場合に、前記明るい領域の明度が予め決められた値よりも高く、その高い明度の表示領域の面積の比が、予め決められた値よりも大きくなったときに、前記明るい領域の表示面積が狭くなるように前記表示データを生成することが好ましい。
【００１４】
また、前記画像処理部では、実画像データの明度信号を使用する代わりに輝度信号を使用し、極端に輝度の高い表示領域が所定の面積比を超えたときに、輝度の高い表示領域を狭めるように表示データを生成してもよい。
【００１５】
本発明の前記画像処理部では、実画像データで表示される表示画面の一部を拡大することで、２つの領域の境界を移動させた表示データを生成する。または、前記画像処理部では、予め設定された変換テーブルに、前記実画像データをマッピングさせることで、２つの領域の境界を移動させた表示データを生成することができる。
【００１６】
例えば、本発明は、前記実画像データが、車両の後方の景色を撮影したものである。
【発明の効果】
【００１７】
本発明の撮像装置は、カメラで撮影した実画像データから表示データを生成する際に、色相の相違する領域や明度（輝度）の相違する領域のバランスが極端に崩れて、表示画面が見にくくなる現象を防止しやすくなる。
【発明を実施するための最良の形態】
【００１８】
図１は本発明の実施の形態の撮像装置が取り付けられた車体の側面図、図２は前記撮像装置のブロック図である。図３は、前記撮像装置に設けられた画像処理部の画像処理動作の一例を示すフローチャートである。図４（Ａ）（Ｂ）は、前記図３に示すフローチャートに基づいて、画面に表示されている画像が切り替えられる動作を示す説明図である。
【００１９】
図２のブロック図に示すように、撮像装置１０はカメラ１１を有している。カメラ１１は例えば自動車１の車体に取り付けられる。図１に示す実施の形態では、カメラ１１が自動車１の後部２に取り付けられて、自動車１の後方の景色を撮影できるようになっている。
【００２０】
図２に示すように、カメラ１１は、魚眼レンズ１２と、魚眼レンズ１２で集光された光を検知する複数の検知点を有する撮像素子１３とを有している。撮像素子１３は、ＣＣＤまたはＣＭＯＳである。
【００２１】
図２に示すように、撮像素子１３で検知された実画像データは、Ａ／Ｄ変換器１４によってディジタル信号に変換されて画像処理部２０に与えられる。画像処理部２０は、ＣＰＵと複数のメモリなどで構成される。または、画像処理部２０内の各部の動作が、コンピュータにインストールされたソフトウエアによって実行されるものであってもよい。
【００２２】
画像処理部２０の内部にはビデオレコーダ２１が設けられている。このビデオレコーダ２１には、ディジタル値に変換された実画像データが一時的に保持される。ビデオレコーダ２１に保持される実画像データは、図４（Ａ）に示す表示画像の全体に相当するデータ量のディジタルデータである。画像処理部２０には画像生成部２２が設けられ、ビデオレコーダ２１に一時的に保持されたディジタルデータである実画像データは、画像生成部２２に１フレームずつ順次呼び出されて表示データが生成される。
【００２３】
前記画像生成部２２には、ビデオレコーダ２１に保持されている実画像データから、Ｒ（赤色）信号、Ｇ（緑色）信号、Ｂ（青色）信号の三原色の表示データを生成する変換部、または前記実画像データから、Ｙ（輝度）信号、Ｕ（青の差分）信号、Ｖ（赤の差分）信号の表示データを生成する変換部を有している。
【００２４】
画像処理部２０内には画像判別部２３が設けられている。画像判別部２３には、ビデオレコーダ２１から画像生成部２２に送られた１フレーム分の実画像データを、Ｈ（色相）信号、Ｓ（彩度）信号、Ｖ（明度）信号に変換する変換部を有している。また、画像判別部２３には、前記Ｈ（色相）信号を使用して、表示データで表示されるべき画像を空の領域と空以外の領域とに区分するとともに、空の領域と空以外の領域との境界部を求める画像処理部が設けられている。また、求められた境界部を基に、実際に表示画面に表示される画像の面積に対して空の領域が示している面積の比率を算出する算出部と、算出された比率が予め決められたしきい値よりも高いか否かを判断する判断部を有している。この判断部の判断内容に応じて、画像判別部２３から画像生成部２２に、表示内容を切り替える指示信号が必要に応じて与えられる。
【００２５】
前記画像判別部２３から切り替え指示が与えら得ると、画像生成部２２は、表示画面を、図４（Ａ）に示す標準表示画像から図４（Ｂ）に示す強調表示画像に切り替える。図４（Ａ）（Ｂ）の各表示画像には、表示画面の下側に、自動車１のリアバンパー３の一部が映し出されている。また、各表示画像には、自動車１の後方の景色が映され、この景色には空領域４１、空以外の領域である地面領域４２が含まれている。また、空領域４１と空以外の地面領域との境界部４３が表示されている。
【００２６】
図４（Ｂ）に示す強調表示画像は、図４（Ａ）に示す標準表示画像において空領域４１の面積が占める比率を低くしたものである。図４（Ａ）の標準表示画像から図４（Ｂ）の強調表示画像への切り替えは次のようにして行われる。
【００２７】
まず、画像生成部２２内においてソフトウエアとして保有されている画像ズーム機能を使用して、図４（Ａ）に示す区画Ｐを拡大して図４（Ｂ）に示す強調表示画像へ切り替えることが可能である。または、画像生成部２２内のメモリに、区画Ｐに相当する変換テーブルを用意しておき、図４（Ａ）に示す標準表示画像の区画Ｐ内の各画像単位を、前記変換テーブルにマッピングすることによっても図４（Ｂ）に示す強調表示画像を生成することが可能である。
【００２８】
画像生成部２２で生成された表示データは、１フレームずつメモリ２４に保持されて、さらにメモリ２４から表示ドライバ３１に送られる。表示ドライバ３１で表示データが処理され、自動車のインストルメントパネルに設けられた液晶表示パネルなどの表示装置３２に、車体の後方の景色を動画で表示することが可能になる。
【００２９】
次に、図３に示すフローチャートを使用して、前記画像処理部２０において、実画像データから表示データを生成するための処理動作を説明する。
【００３０】
この実施の形態の撮像装置１０は、カメラ１１が自動車１の後部２に設置されている。そのため、自動車のシフトレバーがＲ（後進）に切り替えられると、その信号が撮像装置１０に与えられて、表示装置３２の画面に後方の景色を映し出すことが可能になる。
【００３１】
図３に示すＳ１（ステップ１）では、ビデオレコーダ２１に保持されているディジタルデータの実画像データが、画像生成部２２に１フレーム分だけ読み出される。この１フレーム分の実画像データは、画像生成部２２に保持されて、ＲＧＢ空間信号やＹＵＶ空間信号などの画像表示用のデータに変換される。これとともに、Ｓ２において、画像生成部２２に読み取られた１フレーム分の実画像データが画像判別部２３に送られ、画像判別部２３において、前記実画像データが、ＲＧＢ空間信号またはＹＵＶ空間信号からＨＳＶ空間信号に変換される。
【００３２】
Ｓ３では、変換されたＨＳＶ空間信号のうちのＨ（色相）信号を使用して、実画像データの色相判別を行う。空領域４１の映像には、青空４１aと雲４１ｂが含まれるが、例えば、１フレーム分の実画像データのうちの、色相がＰ，ＰＢ，Ｂ，ＢＧ，Ｇとなるデータを抽出することによって、画像データから空領域４１を特定することが可能である。具体的には、１フレーム分の実画像データにおいて、Ｐ，ＰＢ，Ｂ，ＢＧ，Ｇのいずれか１つの色相が広がる領域であって、あるいは前記色相が混在している領域であって、その領域が表示画像の上辺４５までまたはその近傍まで連続している場合に、その領域が空領域４１であると判断する。または、前記領域が上辺４５までまたはその近傍まで連続しており、前記領域が、上辺４５に沿って上辺４５の長さの５０以上を占めていたときに、その色相の領域を空領域４１と判別してもよい。
【００３３】
前記ように色相の領域の広がりを判断することで、上側を空領域４１と判別したら、画像内でのその残りの領域を空以外の領域と判断する（Ｓ４）。この空以外の領域とは、前記地面領域４２と、リアバンパー３の画像領域と、さらにビルなどの建物の画像領域４４を含む。
【００３４】
図３のＳ５では、空領域４１と空以外の領域を判定した後に、その２つの領域の境界部４３の位置を確定する。そしてＳ６では、表示装置３２の表示画面に表示される画像の面積に対する空領域４１の面積比率を算出する。
【００３５】
Ｓ６の算出行程において、空領域４１の面積比率が予め設定されている値よりも高くないと判断したときは、Ｓ７において表示状態の切り替えが不要と判断され、その判断結果が画像生成部２２に送られる。このとき、画像生成部２２は、図４（Ａ）に示す標準表示画像の表示データを生成し、１フレームずつ表示ドライバ３１に与える。
【００３６】
Ｓ７において、空領域４１の面積比が予め設定されている値よりも高いと判断したときは、Ｓ８において、強調表示画像を生成する指示信号が画像生成部２２に与えられる。この指示信号を受けた画像生成部２２は、表示画面を図４（Ｂ）に示す強調表示画像に切り替える処理を行い、その表示データを１フレームずつ表示ドライバ３１に与える。
【００３７】
上記のように、空領域４１の面積比に基づいて、図４（Ａ）に示す標準表示画像を維持するか、図４（Ｂ）に示す強調表示画像に切り替えるかを判断することによって、次のような表示上の効果を実現できる。
【００３８】
まず、自動車１の後部に建物や壁が接近しているとき、表示画面の多くの部分を前記建物や壁の画像が占めることになり、表示画像内の空領域４１の面積の占める率が低くなる。よって、表示装置３２には図４（Ａ）に示す標準表示画像が表示される。標準表示画像では、カメラ１１の視点を見かけ上高くでき、建物や壁などの障害物の位置や状態を正確に表示させることができる。これは、自動車１の後部２のすぐ後方に人が立っているときも同じである。このとき、カメラ１１で映された映像内で空領域４１の占める領域が狭くなるため、図４（Ａ）に示す標準表示画像が維持され、カメラ１１の視点を見かけ上高くでき、人の姿を正確に表示することができる。
【００３９】
一方、自動車１が建物や壁などの障害物から遠ざかったり、またはカメラ１１の前に立っていた人が遠ざかったときは、図４（Ａ）に示すように、表示画面内での空領域４１の占める面積の比率が高くなる。この比率が所定値を超えると、図４（Ｂ）に示すように、空領域４１とその他の領域との境界４３が持ち上げられて地面領域４２が強調されるような強調表示画面に切り替えられる。これにより、自動車１の後方の地面の状態や道路の状態を正確に把握でき、自動車の後進や駐車動作を安全で且つ正確に行うことができるようになる。
【００４０】
図３に示す動作では、Ｓ２において、実画像データがＨＳＶ空間信号に変換された後に、Ｈ（色相）信号を使用して、空領域４１を判別しているが、Ｈ（色相）の代わりにＶ（明度）信号を使用して、空領域４１の判断などを行うことが可能である。または、Ｖ（明度）信号の代わりにＹＵＶ空間信号のＹ（輝度）信号を使用して空領域４１を判別してもよい。
【００４１】
画像判別部２３において、前記Ｖ（明度）信号またはＹ（輝度）信号を使用し、表示画像内において明度や輝度が所定値以上となっている極端に明るい領域を特定する。そして、表示画像の面積に対するその領域の面積比率が所定値を超えたら、表示画像内で、極端に明るい領域の表示面積率が所定の比率以下に下がるように表示データを生成する。または、極端に明るい領域が表示画面内に現れないように表示データを生成してもよい。
【００４２】
上記処理により、空領域４１に太陽が存在して極端に明るくなっており、表示状態にハレーションを生じているときに、そのハレーションを解消できる。この場合に、極端に明るい領域が表示画像の上辺４５まで連続しているときに、その極端に明るい領域が空領域４１であると判断して、視点を下げる表示データを生成してもよい。または、前記Ｖ（明度）信号またはＹ（輝度）信号とＨ（色相）信号の双方を使用して、明るすぎる空領域４１を特定し、所定の明度や所定の輝度を超える明るさの空領域４１の面積率が高くなったら、図４（Ｂ）に示す強調表示画像に切り替えてもよい。
【００４３】
また、カメラ１１が自動車１の前方や、自動車の側方の例えばフェンダーミラーに取り付けられて、自動車１の前方の領域や側方の領域を表示装置３２に表示させる場合においても、前記のように極端に明るい領域が表示画面内に広く存在したら強調表示画像に切り替えることにより、眩しくない安定した輝度の表示を実現することができる。
【図面の簡単な説明】
【００４４】
【図１】本発明の実施の形態の撮像装置を搭載した自動車の側面図、
【図２】本発明の実施の形態の撮像装置のブロック図、
【図３】前記撮像装置の画像処理を示すフローチャート、
【図４】表示装置の画面に表示される画像の一例を示すものであり、（Ａ）は標準表示画像を示し、（Ｂ）は強調表示画像を示す、
【符号の説明】
【００４５】
１  自動車
２  後部
３  リアバンパー
１１  カメラ
１２  魚眼レンズ
１３  撮像素子
１４  Ａ／Ｄ変換器
２０  画像処理装置
２１  ビデオレコーダ
２２  画像生成部
２３  画像判別部
２４  メモリ
３１  表示ドライバ
３２  表示装置
【図１】
2009260514.tif 000003
【図２】
2009260514.tif 000004
【図３】
2009260514.tif 000005
【図４】
2009260514.tif 000006