(57)【要約】【課題】簡単な構成で広角画像と距離情報とを得ることのできる広角画像取得装置を得る。【解決手段】ＴＶカメラ１１ａ，１１ｂで撮像された画像をそれぞれ画像メモリ１２ａ，１２ｂに記憶させ、画像の射影変換を行い、ＴＶカメラ１１ａ，１１ｂの画像の同一点を確認し、画像を合成して広角画像を作成する。その後、広角画像の表示視点の変換を行い、所定の視点から見た広角画像にする。広角画像を合成した際、画像の重なり合う部分の情報に基づいてＴＶカメラ１１ａ，１１ｂから広角画像で認識された対象物までの距離を計算し、画像の大きさ、ＴＶカメラ１１ａ，１１ｂから広角画像から認識された対象物までの距離及びＴＶカメラ１１ａ，１１ｂの倍率に基づいて対象物の大きさを特定し、対象物を広角画像とともにモニタ１５に表示する。【選択図】図２
2009044597.tif 000002
【特許請求の範囲】
【請求項１】
それぞれの画角が部分的に重なるように近接配置される複数のカメラで構成される少なくとも１組の撮像装置と、
前記複数のカメラで取得した画像を合成して１つの広角画像として表示する広角画像表示手段と、
前記複数のカメラで取得した画像の重なり合う部分の情報に基づいて前記カメラから前記広角画像で認識された対象物までの距離を求める測距手段と
を備えていることを特徴とする広角画像取得装置。
【請求項２】
前記複数のカメラで取得した画像の重なり合う部分の情報に基づいて前記対象物の大きさを求める大きさ演算手段を備えていることを特徴とする請求項１記載の広角画像取得装置。
【請求項３】
前記広角画像表示手段に前記広角画像とともに前記測距手段で求めた前記距離を表示させることを特徴とする請求項１記載の広角画像取得装置。
【請求項４】
前記広角画像から認識された前記対象物と前記複数のカメラが配置された車両との位置関係を示す画像を作成する位置関係画像作成手段と、前記広角画像から認識された前記対象物と前記車両との位置関係を示す画像を前記広角画像表示手段に表示させる表示制御手段とを備えていることを特徴とする請求項１記載の広角画像取得装置。
【請求項５】
前記複数のカメラは上下方向に所定間隔をおいて配置されていることを特徴とする請求項１〜４記載の広角画像取得装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は広角画像取得装置に関する。
【背景技術】
【０００２】
従来、複数のカメラで撮影された複数の画像を用いて広角画像を生成しモニタに表示させる広角撮像装置が知られている（下記特許公報参照）。
【特許文献１】特開２００６−２５３４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献に開示された発明では、例えば、撮像した画像の中の目標物の大きさを知ることができない。目標物の大きさを知るためには、目標物までの距離を測る必要がある。そのため、上記特許文献に開示された発明では、広角撮像装置とは別に何らかの距離センサを設ける必要がある。すなわち、上記特許文献に開示された発明で距離情報を求めようとすると、広角撮像装置とともに距離センサを設ける必要があり、構成が複雑になる。
【０００４】
この発明はこのような事情に鑑みてなされたもので、その課題は簡単な構成で広角画像と距離情報とを得ることのできる広角画像取得装置を得ることを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため請求項１記載の発明は、それぞれの画角が部分的に重なるように近接配置される複数のカメラで構成される少なくとも１組の撮像装置と、前記複数のカメラで取得した画像を合成して１つの広角画像として表示する広角画像表示手段と、前記複数のカメラで取得した画像の重なり合う部分の情報に基づいて前記カメラから前記広角画像で認識された対象物までの距離を求める測距手段とを備えていることを特徴とする。
【０００６】
請求項２に記載の発明は、請求項１記載の広角画像取得装置において、前記複数のカメラで取得した画像の重なり合う部分の情報に基づいて前記対象物の大きさを求める大きさ演算手段を備えていることを特徴とする。
【０００７】
請求項３に記載の発明は、請求項１記載の広角画像取得装置において、前記広角画像表示手段に前記広角画像とともに前記測距手段で求めた前記距離を表示させることを特徴とする。
【０００８】
請求項４に記載の発明は、請求項１記載の広角画像取得装置において、前記広角画像から認識された前記対象物と前記複数のカメラが配置された車両との位置関係を示す画像を作成する位置関係画像作成手段と、前記広角画像から認識された前記対象物と前記車両との位置関係を示す画像を前記広角画像表示手段に表示させる表示制御手段とを備えていることを特徴とする。
【０００９】
請求項５に記載の発明は、請求項１〜４記載の広角画像取得装置において、前記複数のカメラは上下方向に所定間隔をおいて配置されていることを特徴とする。
【発明の効果】
【００１０】
この発明によれば、簡単な構成で広角画像と距離情報とを得ることのできる広角画像取得装置を得ることができる。
【発明を実施するための最良の形態】
【００１１】
以下、この発明の実施の形態を図面に基づいて説明する。
【００１２】
図１はこの発明の第１実施形態に係る広角画像取得装置の構成を説明するブロック図、図２はＣＰＵによる処理フローの一例を示す図である。図２においてＳ１〜Ｓ８は処理の各ステップを示す。
【００１３】
この広角画像取得装置はＴＶカメラ１１ａ，１１ｂと画像メモリ１２ａ，１２ｂと画像処理部１３と距離計算部（測距手段）１４とモニタ（広角画像表示手段）１５と大きさ演算部（大きさ演算手段）１６とを備えている。画像処理部１３、距離計算部１４及び大きさ演算部１６は例えばＣＰＵで構成される。
【００１４】
ＴＶカメラ１１ａ，１１ｂで撮像装置が構成される。ＴＶカメラ１１ａ，１１ｂは所定の間隔をおいて近接配置されている。ＴＶカメラ１１ａ，１１ｂのそれぞれの画角は１３５°程度である。なお、３台のＴＶカメラを用いる場合にはそれぞれのＴＶカメラの画角は９０°程度であればよい。
【００１５】
画像メモリ１２ａはＴＶカメラ１１ａで撮像され、Ａ／Ｄ変換された画像データを記憶し、画像メモリ１２ｂはＴＶカメラ１１ｂで撮像され、Ａ／Ｄ変換された画像データを記憶する。画像メモリ１２ａ，１２ｂは例えばフラッシュメモリ等の半導体メモリである。
【００１６】
画像処理部１３は画像メモリ１２ａと画像メモリ１２ｂとに記憶された画像データに基いてＴＶカメラ１１ａ，１１ｂで撮像された２つの画像を合成し広角画像を生成する。
【００１７】
距離計算部（測距手段）１４はＴＶカメラ１１ａ，１１ｂで撮像された２つの画像の重なり合う部分の画像データに基づいてＴＶカメラ１１ａ，１１ｂから対象物（図示せず）までの距離を計算する。
【００１８】
モニタ１５は例えばＬＣＤ（液晶ディスプレイ）であり、画像処理部１３で生成された広角画像を表示したり、距離計算部１４で計算されたＴＶカメラ１１ａ，１１ｂから対象物までの距離を表示したりする。
【００１９】
大きさ演算部１６はＴＶカメラ１１ａ，１１ｂで取得した画像の重なり合う部分の後述する情報に基づいて対象物の大きさを求める。
【００２０】
次に、この広角画像取得装置の処理フローを説明する。
【００２１】
まず、ＴＶカメラ１１ａ，１１ｂで撮像され、Ａ／Ｄ変換された画像をそれぞれ画像メモリ１２ａ，１２ｂに記憶させる（Ｓ１）。
【００２２】
次に、画像の射影変換を行い、画像の歪をなくす（Ｓ２）。
【００２３】
その後、ＴＶカメラ１１ａ，１１ｂの画像の同一点を確認し、単一の視点で見たような画像とする（Ｓ３）。
【００２４】
次に、射影変換を行った後の画像を合成し広角画像を作成する（Ｓ４）。
【００２５】
その後、広角画像の表示視点の変換を行い、別の視点から見た広角画像にする（Ｓ５）。
【００２６】
広角画像を合成した際、画像の重なり合う部分の情報に基づいてＴＶカメラ１１ａ，１１ｂから対象物までの距離を計算する（Ｓ６）。
【００２７】
次に、対象物の画像の大きさ、対象物までの距離及びＴＶカメラ１１ａ，１１ｂの倍率に基づき対象物の大きさを求める（Ｓ７）。
【００２８】
その後、広角画像とともに対象物までの距離や大きさをモニタ１５に表示させる（Ｓ８）。
【００２９】
この実施形態によれば、画像の重なり合う部分の情報に基づいてＴＶカメラ１１ａ，１１ｂから対象物までの距離等を求め、それを広角画像とともにモニタ１５に表示させるので、簡単な構成で広角画像と距離情報とを得ることができる。また、設計、製造が難しく、高価な広角レンズを用いず、画角が狭い安価なレンズを用いたので、製造コストの低減を図ることができる。更に、３台のＴＶカメラとすれば、画角の狭い、安価なＴＶカメラを用いることができるので、より製造コストの低減を図ることができる。
【００３０】
図３はこの発明の第２実施形態に係る広角画像取得装置の構成を説明するブロック図、図４は車載カメラの配置例を模式的に示す図、図５はカメラの画角の重なりを説明する図、図６（ａ）、（ｂ）はＴＶカメラ配置例を示す図であり、第１実施形態と共通する部分には同一符号を付してその説明を省略する。
【００３１】
この広角画像取得装置は車載カメラ（撮像装置）２１Ａ〜２１ＤとＡ／Ｄコンバータ２２と画像メモリ２３と画像処理部２４と距離計算部（距離演算部）２５と位置関係画像作成部２６と制御部２７とモニタ（広角画像表示手段）２８とを備えている。
【００３２】
４台の車載カメラ２１Ａ〜２１ＤはそれぞれＴＶカメラ１１ａ，１１ｂ（図６参照）からなる。図４、図６（ａ）ではＴＶカメラ１１ａ，１１ｂは左右方向に並べて配置されているが、ＴＶカメラ１１ａ，１１ｂは図６（ｂ）に示すように上下方向に並べて配置してもよい。図６（ａ）は、左右のレンズの光軸が同一面内にある。図６（ｂ）は一定間隔上下に離れた平行な面内にそれぞれ光軸があり、それぞれの光軸は所定の角度を持っている。特に、上下に離れたレンズの射出一を一致させると左右位置の視差がなくなり、左右の視差の調整が不要になる。
【００３３】
車載カメラ２１Ａ〜２１Ｄは、それぞれ車両Ｖｈの前方、後方、左方及び右方の画像を取得するものであり、車両Ｖｈの前後左右に配置されている。車載カメラ２１Ａは車両Ｖｈの前部に、車載カメラ２１Ｂは車両Ｖｈの後部に、車載カメラ２１Ｃ及び２１Ｄはそれぞれ車両Ｖｈの左側部及び右側部にそれぞれ配置されている。車載カメラ２１Ａ〜２１Ｄの画角は図６に示したようにそれぞれ１８０°（ＴＶカメラ１１ａ，１１ｂの画角はそれぞれ１３０°程度）程度であり、車両Ｖｈの周囲の画像を取得することができる。なお、図４でハッチングを施した部分Ｒ１〜Ｒ８がＴＶカメラ１１ａ，１１ｂの画角の重なり合う部分である。例えば部分Ｒ１が図５のハッチング同士が重なり合う部分Ｓに想到する。
【００３４】
画像メモリ２３は例えばフラッシュメモリ等の半導体メモリである。画像メモリ２３は制御部２７からの指示に基づいて車載カメラ２１Ａ〜２１Ｄで得られた車両Ｖｈの周囲の画像データを記憶する。
【００３５】
画像処理部２４は画像メモリ２３に記憶された画像データに基いて車載カメラ２１Ａ〜２１Ｄで撮像された車両Ｖｈの前後左右方向の画像を合成し広角画像を生成する。
【００３６】
距離計算部２５は車載カメラ２１Ａ〜２１Ｄで撮像された画像の重なり合う部分の画像データに基づいてＴＶカメラ１１ａ，１１ｂから対象物（図示せず）までの距離を計算する。
【００３７】
位置関係画像作成部２６は制御部２７からの指示に基づいて車両Ｖｈの周辺の対象物と車載カメラ２１Ａ〜２１Ｄが配置された車両Ｖｈとの位置関係を示す画像を作成する。なお、車両Ｖｈの画像データは例えば車両画像メモリ２９に予め記憶させておけばよい。
【００３８】
モニタ２８は例えばＬＣＤである。運転席からモニタ２８の画面を見ることができるように例えばセンターコンソールのほぼ中央にモニタ２８を配置する。モニタ２８の画面には車両Ｖｈの周辺の対象物と車両Ｖｈとの位置関係を示す画像が表示される。
【００３９】
制御部２７は例えばマイクロコンピュータで構成される。
【００４０】
図７はモニタの画面上に表示される画像の一例を示す図である。
【００４１】
制御部２７からの指令に基づいて各車載カメラ２１Ａ〜２１Ｄで取得された車両Ｖｈの周辺の画像をＡ／Ｄ変換等した後、画像メモリ２３に所定のタイミングで逐次記憶させる。
【００４２】
制御部２７からの指示に基づいて画像処理部２４は車載カメラ２１Ａ〜２１Ｄで撮像された車両Ｖｈの前後左右方向の画像を合成し広角画像（３６０°）を生成する。また、距離計算部２５は車両Ｖｈの前後左右にある電柱Ｔ１、人間Ｔ２、自転車Ｔ３、他の車両Ｔ４までの距離を計算する。
【００４３】
制御部２７からの指示に基づいて位置関係画像作成部２６は画像処理部２４で生成された広角画像と車両画像メモリ２９に記憶された画像とを合成して車両Ｖｈと電柱Ｔ１等との位置関係を示す画像を生成し、その画像はモニタ２８に表示される（図７参照）。
【００４４】
図７では車両Ｖｈ、電柱Ｔ１、人間Ｔ２、自転車Ｔ３、他の車両Ｔ４は枠Ｆで囲まれている。この画像を見ることで運転者は車両Ｖｈの周辺の障害物や人間を容易に認識することができる。
【００４５】
なお、図示しないが、例えば車両画像メモリ２９に車両Ｖｈの画像データを予め記憶させておき、この画像と視点変換後の車両周辺の俯瞰画像とを合成し、モニタ２８に俯瞰図として表示することもできる。表示の変更は、例えばモニタ２８上に表示される所定項目を指等で選択することで行うことができる。
【００４６】
この実施形態によれば、第１実施形態と同様の効果を奏するとともに、以下の効果を奏する。
【００４７】
車両Ｖｈの周囲３６０°の広角画像を表示することができるので、車両Ｖｈと車両Ｖｈの周辺にある電柱Ｔ１等との位置関係を詳しく把握することができ、車両Ｖｈを運転する際の安全性を向上させることができる。
【００４８】
なお、この実施形態では車両Ｖｈの周囲３６０°の広角画像をモニタ２８に表示したが、例えば車両Ｖｈの前方だけ又は後方だけを拡大して表示するようにしてもよい。
【図面の簡単な説明】
【００４９】
【図１】図１はこの発明の第１実施形態に係る広角画像取得装置の構成を説明するブロック図である。
【図２】図２はＣＰＵによる処理フローの一例を示す図である。
【図３】図３はこの発明の第２実施形態に係る広角画像取得装置の構成を説明するブロック図である。
【図４】図４は車載カメラの配置例を模式的に示す図である。
【図５】図５はカメラの画角の重なりを説明する図である。
【図６】図６（ａ）、（ｂ）はＴＶカメラ配置例を示す図である。
【図７】図７はモニタの画面上に表示される画像の一例を示す図である。
【符号の説明】
【００５０】
１１ａ，１１ｂ：ＴＶカメラ、１３，２４：画像処理部、１４，２５：距離計算部（測距手段）、１５，２８：モニタ（広角画像表示手段）、１６：大きさ演算部（大きさ演算手段）、２１Ａ〜２１Ｄ：車載カメラ（撮像装置）、２６：位置関係画像作成部。
【図１】
2009044597.tif 000003
【図２】
2009044597.tif 000004
【図３】
2009044597.tif 000005
【図４】
2009044597.tif 000006
【図５】
2009044597.tif 000007
【図６】
2009044597.tif 000008
【図７】
2009044597.tif 000009