(57)【要約】【課題】カメラ本体が振れた場合でも表示する画像の振れを補正する画像処理装置を提供する。【解決手段】カメラ本体の振れを算出する機能とカメラが撮影した画像データを記憶する機能を設け、カメラ本体に振れがある場合は、カメラ本体の振れ量に応じて画像データの読み出し範囲を変更して表示する範囲を移動する。【選択図】図１
2010098571.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置から入力された画像データを画像表示装置に出力する画像処理装置において、
前記画像データを記憶する画像記憶手段と、
前記撮像装置から入力された画像データを前記画像記憶手段に書き込む書込手段と、
前記撮像装置の振れ量を算出する振れ算出手段と、
前記振れ算出手段が算出した撮像装置の振れ量に基づいて前記画像記憶手段に記憶された画像データを読み出す範囲を算出する読出範囲算出手段と、
前記読出範囲算出手段が算出した範囲の画像データを前記画像記憶手段から読み出す読出手段と、
前記読出手段が読み出した画像データを前記画像表示装置に出力する画像出力手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記振れ算出手段は、
前記撮像装置に具備された加速度センサーが検出した加速度に基づいて前記撮像装置の振れ量を算出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記振れ算出手段は、
前記画像記憶手段に記憶している画像データから該画像データの特徴部分を検出し、該検出した画像データの特徴部分に基づいて前記撮像装置の振れ量を算出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像出力手段は、
前記画像表示装置が表示可能な解像度に応じて、前記画像記憶手段から読み出した画像データを拡大または縮小して出力する
ことを特徴とする請求項１から請求項３のいずれか１の項に記載の画像処理装置。
【請求項５】
前記撮像装置は、複数フィールドからなる動画像を出力するビデオカメラであり、
前記読出範囲算出手段は、表示中の前記フィールドの画像データを前記画像出力手段が出力し終えてから、次に表示する前記フィールドの画像データを前記画像出力手段が出力し始めるまでの期間中に、画像データを読み出す範囲を算出する
ことを特徴とする請求項１から請求項４のいずれか１の項に記載の画像処理装置。
【請求項６】
撮像装置から入力された画像データを画像表示装置に出力する画像処理方法において、
前記撮像装置から入力された画像データを書き込む書込手順と、
前記撮像装置の振れ量を算出する振れ算出手順と、
前記算出した撮像装置の振れ量に基づいて画像データを読み出す範囲を算出する読出範囲算出手順と、
前記算出した所定範囲の画像データを読み出す読出手順と、
前記読み出した画像データを前記画像表示装置に出力する画像出力手順と、
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影した画像を表示する画像処理装置に関する。
【背景技術】
【０００２】
従来、撮影に使用する画素数に比べて多くの画素数を持ったＣＣＤ（Charge Coupled Device）等の撮像素子を搭載し、該ＣＣＤの全有効画素範囲から検出した振れ量に応じて撮影する画素の範囲を切り出す電子式手振れ補正機能を搭載したカメラがある（特許文献１参照）
【特許文献１】特開２００３−２１９２６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の振れ防止方法は、カメラ本体内で撮影する画像の振れを補正する方法であるため、例えば、カメラを車両等に取り付けてカメラが撮影した画像を後方の視界確認用として使用した場合、走行中の車両等の振れ補正を行うためには、手振れ補正機能を搭載したカメラが必要であった。また、走行中の車両等の振れ量は撮影者が手に持って撮影する場合よりも多いため、上記のような手振れ補正機能を搭載したカメラよりも振れ量が大きい場合でも補正ができる特別なカメラを用意しなくてはならないという問題がある。
【０００４】
本発明は、上記の課題認識に基づいてなされたものであり、手振れ補正機能を搭載したカメラや、特別なカメラを用意することなく、通常使用されるカメラを車両等に取り付けて車両の振れを補正した画像を表示することができる画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００５】
上記の課題を解決するため、本発明の画像処理装置は、撮像装置から入力された画像データを画像表示装置に出力する画像処理装置において、前記画像データを記憶する画像記憶手段と、前記撮像装置から入力された画像データを前記画像記憶手段に書き込む書込手段と、前記撮像装置本体の振れ量を算出する振れ算出手段と、前記振れ算出手段が算出した撮像装置本体の振れ量に基づいて前記画像記憶手段に記憶している画像データを読み出す範囲を算出する読出範囲算出手段と、前記読出範囲算出手段が算出した所定範囲の画像データを前記画像記憶手段から読み出す読出手段と、前記読出手段が読み出した画像データを前記画像表示装置に出力する画像出力手段と、を備えることを特徴とする。
【０００６】
また、本発明の前記振れ算出手段は、前記撮像装置本体に具備された加速度センサーが検出した加速度に基づいて前記撮像装置本体の振れ量を算出することを特徴とする。
【０００７】
また、本発明の前記振れ算出手段は、前記画像記憶手段に記憶している画像データから該画像データの特徴部分を検出し、該検出した画像データの特徴部分に基づいて前記撮像装置本体の振れ量を算出することを特徴とする。
【０００８】
また、本発明の前記画像出力手段は、前記画像表示装置が表示可能な解像度に応じて、前記画像記憶手段から読み出した画像データを拡大または縮小して出力することを特徴とする。
【０００９】
また、本発明の前記撮像装置は、複数フィールドからなる動画像を出力するビデオカメラであり、前記読出範囲算出手段は、表示中の前記フィールドに含まれる最後の画像データの出力から、次に表示する前記フィールドの最初の画像データの出力までの期間中に画像データを読み出す範囲を算出することを特徴とする。
【００１０】
また、本発明の画像処理方法は、撮像装置から入力された画像データを画像表示装置に出力する画像処理方法において、前記撮像装置から入力された画像データを書き込む書込手順と、前記撮像装置本体の振れ量を算出する振れ算出手順と、前記算出した撮像装置本体の振れ量に基づいて画像データを読み出す範囲を算出する読出範囲算出手順と、前記算出した所定範囲の画像データを読み出す読出手順と、前記読み出した画像データを前記画像表示装置に出力する画像出力手順と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、カメラ本体の振れを算出する機能と、カメラが撮影した画像データを記憶する機能を設け、カメラ本体の振れ量に応じて記憶した画像データの読み出し範囲を変更するようにしたので、手振れ補正機能を搭載したカメラや、特別なカメラを用意することなくカメラ本体の振れを補正した画像を表示することができるという効果が得られる。
【発明を実施するための最良の形態】
【００１２】
＜第１実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本実施形態による画像処理装置の構成を示したブロック図である。また、図２は、本実施形態の画像処理装置における画像データの状態を表す概念図である。図１において、本実施形態による画像処理装置１は、ビデオメモリ制御部１０、ビデオメモリ部２０、振れ処理部３０、から構成される。
【００１３】
本実施形態による画像処理装置１には、例えば、車両に取り付けられた外部のカメラ１００が撮影した映像信号と、該カメラ１００に取り付けた水平方向加速度センサー２−１および垂直方向加速度センサー２−２（以下、まとめて表すときには加速度センサー２という）がそれぞれ検出した加速度情報が入力される。画像処理装置１は、カメラ１００から入力された映像信号中の画像データを一時記憶し、加速度センサー２が検出した加速度情報に基づき振れを補正するための表示範囲を算出し、振れが補正された表示範囲の画像データを含む映像信号を外部の表示装置２００に出力する。
なお、本実施形態において使用されている外部のカメラ１００は、撮影した画像を映像信号、例えば、ＮＴＳＣ（National Television System Committee）コンポジット・ビデオ信号（以下、ビデオ信号という）として出力するビデオカメラである。また、表示装置２００は、入力された映像信号、例えば、ＮＴＳＣコンポジット・ビデオ信号の画像を表示するテレビジョンモニターである。
また、本実施形態の画像処理装置１で取り扱う画像データは、１画面すなわち、ビデオ信号の１フィールドの単位で処理され、ビデオ信号の更新周期、例えば、１／６０秒毎に画像データの一時記憶と振れ補正と画像データの出力を繰り返す。
【００１４】
加速度センサー２は、カメラ１００の加速度を検出する加速度センサーである。
水平方向加速度センサー２−１は、カメラ１００の水平方向（カメラ１００の左右方向）の加速度を検出し、垂直方向加速度センサー２−２は、カメラ１００の垂直方向（カメラ１００の上下方向）の加速度を検出することにより、２次元でカメラ１００の動きを検出する。
【００１５】
ビデオメモリ部２０は、画像データを記憶する、例えば、ＳＲＡＭ（Static Random Access Memory）やＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の書き換え可能なメモリである。
ビデオメモリ部２０は、後述するビデオメモリ制御部１０からの制御信号に従って画像データの書き込みおよび読み出しが行われる。
【００１６】
振れ処理部３０は、加速度センサー２から入力された加速度情報に基づいて、カメラ１００の振れ量に応じた画像データの振れ量を算出し、後述するビデオメモリ制御部１０に出力する。
具体的には、振れ処理部３０は、水平方向加速度センサー２−１から入力された加速度情報を、２回の時間積分によって、カメラ１００の画像データ上で被写体が水平方向に動いた移動量を示す水平方向の振れ量を算出する。また、垂直方向加速度センサー２−２から入力された加速度情報を上記と同様に処理し、カメラ１００の画像データ上で被写体が垂直方向に動いた移動量を示す垂直方向の振れ量を算出する。振れ処理部３０は、これら算出した水平方向および垂直方向の振れ量を、カメラ１００が振れたことによって移動した画像データ上の画素数で表し、後述するビデオメモリ制御部１０に出力する。
【００１７】
ビデオメモリ制御部１０は、ビデオメモリ部２０への画像データの書き込み、およびビデオメモリ部２０からの読み出しを制御し、読み出した画像データをビデオ信号として表示装置２００に出力する。以下、詳しく説明する。
ビデオメモリ制御部１０は、カメラ１００から入力されたビデオ信号から画像データを取り出し、図２（Ａ）のように取り出した画像データ１０１を水平方向Ｘ（カメラ１００の左右方向）、垂直方向Ｙ（カメラ１００の上下方向）に展開してビデオメモリ部２０に書き込む。ビデオメモリ部２０に展開される画像データ１０１は、カメラ１００から入力されたビデオ信号が、例えば、ＮＴＳＣコンポジット・ビデオ信号である場合、水平方向Ｘが７２０、垂直方向Ｙが２４０の画素からなる１画面分の画像データとしてビデオメモリ部２０に書き込まれる。
【００１８】
一方、ビデオメモリ制御部１０は、画像処理装置１の外部に接続されている表示装置２００が表示可能な解像度（画素数）に基づいて、図２（Ｂ）に示すような表示起点Ｓの座標を算出する。ビデオメモリ制御部１０は、算出した表示起点Ｓを始点とする表示装置２００が表示可能な表示範囲２０１の画像データ１０１をビデオメモリ部２０から読み出し、該読み出した画像データをビデオ信号に重畳して表示装置２００に出力する。このとき、ビデオメモリ部２０上の画像データは、縦方向につぶされた画となっており、垂直方向Ｙ＝２４０の画素は補間により垂直方向Ｙ＝４８０に拡大され、その後、表示装置２００に出力される。以降、表示に係わる画像データは、補間後の画素数があるものとして説明を行う。
例えば、画像データ１０１の画素数が水平方向Ｘ＝７２０、垂直方向Ｙ＝４８０であり、表示装置２００が表示可能な解像度（画素数）が水平方向Ｘ＝５４０、垂直方向Ｙ＝３６０の画素である場合、画像データ１０１の中心部分を表示するための表示起点Ｓの座標は、水平方向のＸ座標が（７２０画素−５４０画素）／２＝９０画素となり、垂直方向のＹ座標が（４８０画素−３６０画素）／２＝６０画素となる。この表示起点Ｓの座標（９０，６０）から表示装置２００が表示可能な表示範囲２０１の画像データ１０１（水平方向Ｘ＝５４０画素、垂直方向Ｙ＝３６０画素）をビデオ信号に重畳して表示装置２００に出力する。
【００１９】
ここで、振れが発生して画像データ上で被写体が移動し、図２(Ｃ)のような画像データがビデオメモリ部２０に記憶されたとする。このとき、ビデオメモリ制御部１０は、振れ処理部３０から入力された水平方向に振れた画素数と垂直方向に振れた画素数とから図２（Ｃ）に示すような新たな表示起点Ｓ２の座標を算出する。そして、算出した新たな表示起点Ｓ２を始点とした新たな表示範囲２０２の画像データ１０１をビデオメモリ部２０から読み出し、該読み出した画像データをビデオ信号に重畳して表示装置２００に出力する。なお、表示装置２００が表示可能な解像度（画素数）は同じであるため、表示範囲２０２の大きさは、表示範囲２０１の大きさと同じである。
例えば、振れ処理部３０から入力された水平方向に振れた画素数が“１０”すなわち水平方向移動量１１の画素数が１０画素であり、垂直方向に振れた画素数が“１０”すなわち垂直方向移動量１２の画素数が１０画素である場合、新たな表示起点Ｓ２の座標は、水平方向のＸ座標が９０画素＋１０画素＝１００画素となり、垂直方向のＹ座標が６０画素＋１０画素＝７０画素となる。この新たな表示起点Ｓ２の座標（１００，７０）から表示範囲２０２の画像データ１０１（水平方向Ｘ＝５４０画素、垂直方向Ｙ＝３６０画素）をビデオメモリ部２０から読み出し、該読み出した画像データをビデオ信号に重畳して表示装置２００に出力する。このことにより、カメラの振れを補正した画像データの表示が可能となる。
【００２０】
なお、該ビデオ信号に重畳する際に、ビデオメモリ部２０から読み出した画像データ１０１に対して、表示装置２００が表示可能な解像度に応じて拡大または縮小等の処理を行い、表示装置２００の解像度に合わせた画像データを表示装置２００に出力することもできる。例えば、水平方向Ｘと垂直方向Ｙをそれぞれ２倍（画像データとして４倍）に拡大する場合は、表示範囲２０１を水平方向Ｘ＝５４０画素／２＝２７０画素、垂直方向Ｙ＝３６０画素／２＝１８０画素としてビデオメモリ部２０から画像データ１０１を読み出し、水平方向Ｘと垂直方向Ｙをそれぞれ２倍に拡大した後の画像データをビデオ信号に重畳して表示装置２００に出力する。このことにより、カメラ１００から入力された画像データを表示装置２００に表示する範囲が狭くなり、カメラ１００の振れ量が多くなった場合でも振れる前と同じ範囲を表示することができる。
【００２１】
次に、本発明の画像処理装置における画像データの入出力タイミングについて説明する。図３は、本実施形態の画像処理装置における画像データの入出力タイミングを示したタイミングチャートである。
なお、本説明においてビデオメモリ部２０は２つのメモリ領域（第１のメモリ領域ＢＵＦ１および第２のメモリ領域ＢＵＦ２）を具備しており、それぞれのメモリ領域を独立に制御できるものとして説明を行う。
【００２２】
図３に示すように、ビデオメモリ制御部１０は、垂直ブランキング期間ｔ１でカメラ１００から入力されたビデオ信号の同期信号を検出すると、次の映像期間ｔ２において、該ビデオ信号に含まれる映像信号１を画像データ１として取り出し、取り出した画像データ１をビデオメモリ部２０の第１のメモリ領域ＢＵＦ１に書き込む。また、映像期間ｔ２において、振れ処理部３０は、加速度センサー２から入力された加速度情報から、カメラ１００の振れに応じて画像データ１上で被写体が動いた振れ量を算出し、算出した振れ量を画像データ１上の画素数としてビデオメモリ制御部１０に出力する。
【００２３】
次に、ビデオメモリ制御部１０は、垂直ブランキング期間ｔ３でカメラ１００から入力されたビデオ信号の同期信号を検出すると、振れ処理部３０から映像期間ｔ２で入力された画像データ１上の画素数に基づいて、画像データ１を読み出す範囲を算出する。
【００２４】
次に、映像期間ｔ４において、ビデオメモリ制御部１０は、算出した画像データ１の読み出し範囲の画像データ１をビデオメモリ部２０から読み出し、該読み出した画像データ１を表示装置２００に出力する。また、映像期間ｔ４において、ビデオメモリ制御部１０は、カメラ１００から入力されたビデオ信号に含まれる映像信号２を画像データ２として取り出し、取り出した画像データ２をビデオメモリ部２０の第２のメモリ領域ＢＵＦ２に書き込む。また、映像期間ｔ４において、振れ処理部３０は、映像期間ｔ２と同様に、加速度センサー２から入力された加速度情報から、カメラ１００の振れに応じて画像データ２上で被写体が動いた振れ量を算出し、算出した振れ量を画像データ２上の画素数としてビデオメモリ制御部１０に出力する。
【００２５】
以降、垂直ブランキング期間ｔ３および映像期間ｔ４と同様に、垂直ブランキング期間における画像データの読み出し範囲の算出と、映像期間における画像データの読み出しおよび表示装置２００への出力と、映像信号からの画像データの取り出しおよび取り出した画像データのビデオメモリ部２０への書き込みと、カメラ１００の振れ量に応じた画像データ上で被写体が動いた振れ量の算出および算出した振れ量に応じた画像データ上の画素数の出力を繰り返す。
【００２６】
このように、カメラ１００から入力されたビデオ信号から取り出した画像データ１０１のビデオメモリ部２０への書き込みと、ビデオメモリ部２０から読み出した画像データ１０１を重畳したビデオ信号の表示装置２００への出力を、それぞれのビデオ信号に同期して行い、また、加速度センサー２の加速度情報に基づいた表示装置２００の表示範囲の移動を、表示装置２００に出力するビデオ信号の垂直ブランキング期間中に行うことにより、カメラ１００から入力された画像データの表示の即時性を確保し、振れ補正を実施した際に表示装置２００に表示される画像データの切り替えを円滑に行うことができる。
【００２７】
＜第２実施形態＞
次に、本発明の第２の実施形態として、カメラの振れを加速度センサーを使用せずに画像処理することによって検出する構成について説明する。図４は、本実施形態による画像処理装置の構成を示したブロック図である。また、図５は、本実施形態の画像処理装置における画像データの状態を表す概念図である。図４において、本実施形態による画像処理装置３は、ビデオメモリ制御部４０、ビデオメモリ部２０、振れ処理部５０、から構成される。
【００２８】
本実施形態による画像処理装置３には、例えば、車両に取り付けられた外部のカメラ１００が撮影した映像信号が入力される。画像処理装置３は、カメラ１００から入力された映像信号中の画像データを一時記憶し、記憶した画像データから画像の特徴部分を検出する。そして、検出した画像の特徴部分の基準点に基づいて、カメラ１００の振れ量に応じた画像データの振れ量を算出する。その後、画像処理装置３は、算出した画像データの振れ量に基づいて、振れを補正するための表示範囲を算出し、振れが補正された表示範囲の画像データを含む映像信号を外部の表示装置２００に出力する。
なお、本実施形態において使用されている外部のカメラ１００、表示装置２００は、図１に示した第１実施形態と同様である。また、ビデオメモリ部２０は、後述するビデオメモリ制御部４０からの制御信号に従って画像データの書き込みおよび読み出しが行われること以外は同じである。
【００２９】
振れ処理部５０は、ビデオメモリ部２０に記憶している画像データからその画像の特徴となる部分を検出し、検出した特徴部分の基準点を示す座標と大きさを示す座標または範囲の情報を後述するビデオメモリ制御部４０に出力する。また、カメラ１００の振れ量に応じた特徴部分の基準点の振れ量を算出し、算出した振れ量を画像データ上の画素数で表して後述するビデオメモリ制御部４０に出力する。なお、振れ処理部５０は基準座標Ｐ＝（０，０）を基準として検出した特徴部分の情報を出力する。
振れ処理部５０は、例えば、該画像処理装置３を車両等の後方の視界確認用として使用した場合、ビデオメモリ部２０に記憶している画像データから予め定められた１以上の種類、例えば、道路の中央線、車道外側線や後方の車両等の特徴部分を検出し、検出した特徴部分の種類を示す情報と、該検出した特徴部分の画像データ内の位置および大きさを示す情報（以下、特徴データという）を後述するビデオメモリ制御部４０に出力する。
例えば、図５において後方の車両５００を検出する場合、検出した特徴部分の種類とは、車両にはヘッドライトがある等予め定められた車両の特徴を多く含むため車両として検出されたことを示す識別情報である。また、特徴部分の基準点とは、図５（Ｂ）に示す特徴起点Ｔであり、大きさを示す座標または範囲の情報とは、図５（Ｂ）に示す特徴範囲５０１である。
【００３０】
ビデオメモリ制御部４０は、ビデオメモリ部２０への画像データの書き込み、およびビデオメモリ部２０からの読み出しを制御し、読み出した画像データをビデオ信号として表示装置２００に出力する。
ビデオメモリ制御部４０は、振れ処理部５０から入力された特徴起点Ｔの座標と、特徴範囲５０１とから図５（Ｂ）に示すような特徴範囲５０１をその特徴毎に予め定められた表示範囲内の位置に配置するように表示起点Ｓの座標を算出すること以外は、図１に示したビデオメモリ制御部１０と同様の考え方でカメラの振れを補正した画像データを表示する。
【００３１】
すなわち、図５（Ａ）のように１画面分の画像データを展開して、図５（Ｂ）に示すような特徴起点Ｔの座標と、特徴範囲５０１とを含む表示装置２００に表示するための表示起点Ｓの座標を算出し、算出した表示起点Ｓを始点とする表示装置２００が表示可能な表示範囲２０３の画像データ１０２をビデオメモリ部２０から読み出し、該読み出した画像データをビデオ信号に重畳して表示装置２００に出力する。また、振れが発生して画像データ上で特徴起点Ｔが移動した場合は、図５(Ｃ)のように振れ処理部５０から入力された水平方向に振れた画素数（水平方向移動量１１の画素数）と、垂直方向に振れた画素数（垂直方向移動量１２の画素数）から新たな表示起点Ｓ２の座標を算出して、算出した新たな表示起点Ｓ２を始点とした新たな表示範囲２０４の画像データ１０２をビデオメモリ部２０から読み出し、該読み出した画像データをビデオ信号に重畳して表示装置２００に出力する。
このことにより、カメラ１００から入力された画像データの特徴部分を含んだ画像データに対して、該特徴部分に注力した振れ補正を行った画像データを表示することができる。
【００３２】
なお、特徴範囲５０１が変更された場合は、変更された特徴範囲５０１をその特徴毎に予め定められた表示範囲内の位置に配置するような新たな表示起点Ｓ２の座標を算出することにより対応できる。
【００３３】
また、振れ処理部５０による特徴部分の検出と振れ量の算出は、画像データの書き込みが完了した直後の垂直ブランキング期間で行うことにより、図１に示した第１実施形態と同様にカメラ１００から入力された画像データの表示の即時性を確保と、振れ補正を実施した際の画像データの切り替えを円滑することができる。
【００３４】
上記に述べたとおり、本発明を実施するための最良の形態によれば、カメラ本体の振れを検出し、そのカメラ本体の振れを打ち消す方向に表示位置を変更することができ、すでに車両等に取り付けてある既存のカメラを用いて車両の振れを補正した表示をすることが可能となる。
【００３５】
なお、本実施例において、カメラに取り付ける加速度センサー２は、垂直方向加速度センサー２−１と水平方向加速度センサー２−２の２個で構成したが、各加速度センサーを一体化したユニットとしてカメラ１００に取り付ける構成とすることも可能である。また、既存のカメラを用いない場合は、カメラと加速度センサーを一体化したカメラを用意することも可能である。
【００３６】
また、本実施例において、ビデオメモリ部２０のメモリ領域は２つのメモリ領域を具備する構成としたが、この構成とすることによって、ビデオメモリ制御部１０，４０がカメラ１００からのビデオ信号の入力と表示装置２００へのビデオ信号の出力のタイミングが異なる場合でも同じ種類のビデオ信号、例えば、ＮＴＳＣコンポジット・ビデオ信号であれば、それぞれのビデオ信号のタイミングは同じ差の時間で一定となるため、本実施例の画像処理装置１，３の動作開始時点で外部のカメラ１００と、外部の表示装置２００のビデオ信号を同期する必要がないため、タイミング調整が不要になるという効果がある。このように複数のメモリ領域を具備する構成にすることによって、カメラ１００からのビデオ信号の入力と表示装置２００へのビデオ信号の出力が異なる種類のビデオ信号、例えば、ＮＴＳＣコンポジット・ビデオ信号とＰＡＬ（Phase Alternating Line）コンポジット・ビデオ信号で、タイミングに差がある場合においても、この複数のメモリ領域によってそれぞれのビデオ信号のタイミングの差を吸収することができるため、タイミング調整を容易にすることができ、また、振れ処理部３０，５０の処理速度の制約を緩和（本実施例では、垂直ブランキング期間に処理を完了する構成としていた）することもできる。
また、カメラ１００からのビデオ信号の入力と表示装置２００へのビデオ信号の出力が同じ種類のビデオ信号であり、このビデオ信号のタイミングが同期している場合は、１つのメモリ領域に対して画像データの書き込みと読み出しを行う構成とすることによって、全体を容易な構成とすることもできる。
【００３７】
また、本実施例において、カメラが１台の構成としたが、車両の上下方向の振れが大きい場合を想定して、複数台、例えば２台のカメラを縦積みして各カメラから入力されたビデオ信号中の画像データを合わせることにより、表示装置２００に出力するビデオ信号の縦方向の表示移動範囲を広げる構成とすることも可能である。すなわち、２台のカメラを、それぞれの撮影範囲が重ならないように縦積みに設置し、得られた２枚分の画像データを上下に合成して１枚の画像としてビデオメモリ制御部１０，またはビデオメモリ制御部４０が処理を行う。このことにより、車両が縦揺れしたことによって表示装置２００に表示する表示範囲がビデオメモリ部２０に記憶しているカメラが１台分の画像データの範囲を超えてしまい、振れ補正ができない場合においても画像データの範囲、すなわち表示装置２００に表示する表示範囲を動かす移動範囲を広げることができ、振れ補正が可能な振れ量を大きくすることができる。なお、この場合においても、カメラに取り付ける加速度センサー２は、一組で処理を行うことが可能である。
【００３８】
また、加速度センサー２を用いたカメラの振れ検出、または振れ処理部５０を用いた画像処理によるカメラの振れ検出を例えば、カメラを取り付けた車両がカーブを通過した場合における振れ量と、車両が直線路を走行中の振れ量との違いを判別し、処理内容を変更することも可能である。
具体的には、振れ処理部３０、または振れ処理部５０から入力された振れ量が、特定の振れ量で所定の期間連続しており、該連続している振れ量が水平方向である場合は、カーブを通過していると判断して、カーブの通過に伴う水平方向の振れ補正を実施しないようにする。また、該連続している振れ量が垂直方向である場合は、坂道を通過していると判断して、坂道の通過に伴う垂直方向の振れ補正を実施しないようにすることもできる。また、加速度センサー２を用いたカメラの振れ検出、または振れ処理部５０を用いた画像処理によるカメラの振れ検出を平行して行うことにより、車両の走行状況の判別をさらに正確に行うことができる。
【００３９】
なお、上述した実施形態における画像処理装置の一部、例えば、振れ処理部３０の機能をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００４０】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施形態による画像処理装置の構成を示したブロック図である。
【図２】本実施形態の画像処理装置における画像データの状態を表す概念図である。
【図３】本実施形態の画像処理装置における画像データの入出力タイミングを示したタイミングチャートである。
【図４】本発明の実施形態による画像処理装置が画像処理を行う構成を示したブロック図である。
【図５】本実施形態の画像処理装置における画像処理の状態を表す概念図である。
【符号の説明】
【００４２】
１，３  画像処理装置  ２−１  垂直方向加速度センサー  ２−２  水平方向加速度センサー  １０，４０  ビデオメモリ制御部  ２０  ビデオメモリ部  ３０，５０  振れ処理部    １００  カメラ  ２００  表示装置  １０１，１０２  画像データ  １１  水平方向移動量  １２  垂直方向移動量  ２０１，２０２，２０３，２０４  表示範囲  Ｓ，Ｓ２  表示起点  Ｐ  基準座標  Ｔ，Ｔ２  特徴起点  ５００  車両  ５０１  特徴範囲
【図１】
2010098571.tif 000003
【図２】
2010098571.tif 000004
【図３】
2010098571.tif 000005
【図４】
2010098571.tif 000006
【図５】
2010098571.tif 000007