(57)【要約】【課題】  符号化処理における動き検出処理の時間を短縮することが可能な画像符号化装置及び画像符号化方法を得ること。【解決手段】  制御手段３は、撮像手段１によって得られた現時点の画像データの第１のフレーム中に第１の基準ブロックを定めるとともに、記憶手段３２に記憶された前回の画像データである第２のフレーム中に前記第１のフレームと同位置に第２の基準ブロックを定め、前記第２の基準ブロックを基にして探索範囲を設定し、移動方向検出手段２から得られる移動方向情報に基づいて、前記探索範囲内の探索方向を定め、前記第２の基準ブロックを基準として前記第１の基準ブロックと近似する近似画像データを所定の画素数単位で探索し、前記近似画像データの検出に基づいて、前記第２の基準ブロックの基準位置から前記近似画像データの基準位置まで動きを示す動きベクトルと、前記第１の基準ブロックと前記近似画像データとの近似誤差とを求めるとともに、前記動きベクトルと前記近似誤差とに基づいて符号化処理を行う。【選択図】  図１
2006041894.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段によって撮像される画像データを複数の画素からなる複数のブロックに分割し、前記ブロックを符号化処理する画像符号化装置であって、
前記撮像手段が装着される被装着体の移動方向に関する情報を得るための移動方向検出手段と、
前記撮像手段によって撮像された画像データを記憶する記憶手段と、
前記撮像手段によって得られた現時点の画像データの第１のフレーム中に第１の基準ブロックを定めるとともに、前記記憶手段に記憶された前回の画像データである第２のフレーム中に前記第１のフレームと同位置に第２の基準ブロックを定め、前記第２の基準ブロックを基にして探索範囲を設定し、前記移動方向検出手段からの方向情報に基づいて、前記探索範囲内の探索方向を定め、前記第２の基準ブロックを基準として前記第１の基準ブロックと近似する近似画像データを所定の画素数単位で探索し、前記近似画像データの検出に基づいて、前記第２の基準ブロックの基準位置から前記近似画像データの基準位置まで動きを示す動きベクトルと、前記第１の基準ブロックと前記近似画像データとの近似誤差とを求めるとともに、前記動きベクトルと前記近似誤差とに基づいて符号化処理を実行する制御手段と、
を備えてなることを特徴とする画像符号化装置。
【請求項２】
前記被装着体は、車両であることを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記移動方向検出手段は、ステアリングの舵角を検出する舵角センサからなることを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
撮像手段によって撮像される画像データを複数の画素からなる複数のブロックに分割し、前記ブロックを符号化処理する画像符号化方法であって、
前記撮像手段によって得られた現時点の画像データの第１のフレーム中に第１の基準ブロックを定めるとともに、記憶手段に記憶された前回の画像データである第２のフレーム中に前記第１のフレームと同位置に第２の基準ブロックを定め、前記第２の基準ブロックを基にして探索範囲を設定し、移動方向検出手段から得られる方向情報に基づいて、前記探索範囲内の探索方向を定め、前記第２の基準ブロックを基準として前記第１の基準ブロックと近似する近似画像データを所定の画素数単位で探索し、前記近似画像データの検出に基づいて、前記第２の基準ブロックの基準位置から前記近似画像データの基準位置まで動きを示す動きベクトルと、前記第１の基準ブロックと前記近似画像データとの近似誤差とを求めるとともに、前記動きベクトルと前記近似誤差とに基づいて符号化処理を行うことを特徴とする画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置及び画像符号化方法に関し、特に画像符号化の高速処理を行うことが可能な画像符号化装置及び画像符号化方法に関するものである。
【背景技術】
【０００２】
自動車等の車両に全方位センサ（撮像手段）を装着し、前記全方位センサから画像データに基づいて撮像画像を生成し、車両の周囲画像を表示器に表示する車両用撮像装置が開発されている（特許文献１参照）。
【特許文献１】特開２０００−１１８２９８号公報
【０００３】
かかる車両用撮像装置には、前記全方位センサによって撮像された画像データを複数の画素からなる複数のブロックに分割し、前記各ブロックを符号化処理する画像符号化装置が用いられている。この画像符号化装置は、画像データである今回のフレーム画像中から抜き出した符号化しようとする画像ブロックと、前回のフレーム画像から抜き出した前記画像ブロック（今回のフレーム画像から抜き出した画像ブロック）に最も近似する画像ブロックとの近似誤差を求めるとともに、前記近似誤差を求めた各画像ブロック間の動きベクトルを求め、前記近似誤差と前記動きベクトルとに基づく画像の動き情報を符号化してＲＡＭやハードディスク等の外部記憶手段に記憶する動き検出処理を行うものである。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前述の画像符号化装置は、前記フレーム画像中の多くの検索候補に対して動き検出処理を行うために、処理時間が長くなり、画像符号化装置としては改善の余地があった。
【０００５】
そこで本発明は、前述した問題点に着目し、符号化処理における動き検出処理の時間を短縮することが可能な画像符号化装置及び画像符号化方法を提供するものである。
【課題を解決するための手段】
【０００６】
本発明は、前述した課題を解決するため、請求項１に記載の画像符号化装置の通り、撮像手段によって撮像される画像データを複数の画素からなる複数のブロックに分割し、前記ブロックを符号化処理する画像符号化装置であって、前記撮像手段が装着される被装着体の移動方向に関する情報を得るための移動方向検出手段と、前記撮像手段によって撮像された画像データを記憶する記憶手段と、前記撮像手段によって得られた現時点の画像データの第１のフレーム中に第１の基準ブロックを定めるとともに、前記記憶手段に記憶された前回の画像データである第２のフレーム中に前記第１のフレームと同位置に第２の基準ブロックを定め、前記第２の基準ブロックを基にして探索範囲を設定し、前記移動方向検出手段からの方向情報に基づいて、前記探索範囲内の探索方向を定め、前記第２の基準ブロックを基準として前記第１の基準ブロックと近似する近似画像データを所定の画素数単位で探索し、前記近似画像データの検出に基づいて、前記第２の基準ブロックの基準位置から前記近似画像データの基準位置まで動きを示す動きベクトルと、前記第１の基準ブロックと前記近似画像データとの近似誤差とを求めるとともに、前記動きベクトルと前記近似誤差とに基づいて符号化処理を実行する制御手段と、を備えてなることを特徴とするものである。
【０００７】
また、請求項２に記載の画像符号化装置は、請求項１に記載の画像符号化装置において、前記被装着体は、車両であることを特徴とするものである。
【０００８】
また、請求項３に記載の画像符号化装置は、請求項１に記載の画像符号化装置において、前記移動方向検出手段は、ステアリングの舵角を検出する舵角センサからなることを特徴とするものである。
【０００９】
また、本発明は、請求項４に記載の画像符号化方法の通り、撮像手段によって撮像される画像データを複数の画素からなる複数のブロックに分割し、前記ブロックを符号化処理する画像符号化方法であって、前記撮像手段によって得られた現時点の画像データの第１のフレーム中に第１の基準ブロックを定めるとともに、記憶手段に記憶された前回の画像データである第２のフレーム中に前記第１のフレームと同位置に第２の基準ブロックを定め、前記第２の基準ブロックを基にして探索範囲を設定し、移動方向検出手段から得られる方向情報に基づいて、前記探索範囲内の探索方向を定め、前記第２の基準ブロックを基準として前記第１の基準ブロックと近似する近似画像データを所定の画素数単位で探索し、前記近似画像データの検出に基づいて、前記第２の基準ブロックの基準位置から前記近似画像データの基準位置まで動きを示す動きベクトルと、前記第１の基準ブロックと前記近似画像データとの近似誤差とを求めるとともに、前記動きベクトルと前記近似誤差とに基づいて符号化処理を行うものである。
【発明の効果】
【００１０】
本発明は、撮像手段によって撮像された画像データに基づいて動き検出処理を行う画像符号化装置及び画像符号化方法において、符号化処理における動き検出処理の時間を短縮することができる。
【発明を実施するための最良の形態】
【００１１】
以下、添付図面に基づいて本発明の実施形態を説明するが、本発明の画像符号化装置を車両の周囲を撮像する車両用撮像装置に適用した場合を例に挙げ説明する。
【００１２】
図１は、本発明の実施形態における車両用撮像装置Ａを示すブロック図である。車両用撮像装置Ａは、撮像手段１と、舵角センサ２と、制御手段３と、表示手段４とから構成されている。
【００１３】
撮像手段１は、３６０度の広角レンズを備え、前記広角レンズから入射される周囲画像をＣＣＤカメラにて撮像する全方位視覚センサからなるものである。撮像手段１は、全方位画像データを制御手段３へ出力するものである。
【００１４】
移動方向検出手段２は、自動車等の車両に搭載され、ステアリングホイールの回転角（舵角）を検出する舵角センサからなり、前記車両の進行方向を検出するものであり、この舵角センサは、既存の舵角センサを用いても良いし、専用に用意しても良い。
【００１５】
制御手段３は、マイクロコンピュータ（以下、マイコンと記す）３１と記憶手段３２とから主に構成されている。
【００１６】
マイコン３１は、後述する符号化処理や画像表示処理等の所定のプログラムが記憶されたＲＯＭ３１ａと、演算結果を一時的に記憶するＲＡＭ３１ｂと、前記プログラムを実行するためのＣＰＵ３１ｃとから構成されている。
【００１７】
記憶手段３２は、ＲＡＭやハードディスク等の外部記憶手段からなり、後述する符号化処理された符号化ブロック情報が主に記憶される。
【００１８】
表示手段４は、撮像手段１によって撮像された画像データを制御手段３を介して表示するものであり、駆動回路４１と表示器４２とから構成されている。表示器４２はＴＦＴ型液晶表示パネルやドットマトリクス型の有機ＥＬパネル等が用いられる。
【００１９】
次に、図２から図６を用いて、本発明の特徴ポイントである画像符号化処理について説明する。
【００２０】
制御手段３は、撮像手段４からの全方位画像データ（以下、画像データと記す）ａ，ｂであるフレーム画像を複数の画素（例えば１６ピクセル×１６ピクセル）からなる複数のブロック５０ａ，６０ａに分割してなる分割処理を実行する。
【００２１】
制御手段３は、撮像手段４から画像データａを所定周期で入手し、現時点（ｔ）の画像データａと、前回（ｔ−１）の画像データ（記憶手段３２により記憶されている画像データ）ｂとに基づいて、各画像データａ，ｂの各基準ブロック間の近似誤差Ｄを求める（ステップＳ１）。
【００２２】
制御手段３は、 撮像手段１によって得られた現時点の画像データａである第１のフレーム画像５０中に第１の基準ブロック５１を定める（図３参照）。尚、第１の基準ブロック５１は、第１のフレーム５０中において１個所ではなく、全てのブロック５０ａにおいて基準ブロックが定められるものであるが、説明を簡略化するために１個所のみについて説明する。
【００２３】
また、制御手段３は、記憶手段３２に記憶された前回の画像データｂである第２のフレーム画像６０中に第１のフレーム画像５０と同位置に第２の基準ブロック６１を定め、第２の基準ブロック６１を基準として探索範囲６２を設定する（図３参照）。尚、探索範囲６２は、第２の基準ブロック６１と近似する近似画像データを探索する範囲であり、例えば第２の基準ブロック６１の上下及び左右に１ブロックずつ広げた矩形エリアを範囲とする。また、第２の基準ブロック６１は、第１の基準ブロック５１と同様に、第２のフレーム画像６０中において１個所ではなく、全てのブロック６０ａにおいて基準ブロックが定められるものである。
【００２４】
制御手段３は、移動方向検出手段２から車両の移動方向情報ｃを入力し、この移動方情報ｃに基づいて、動きベクトルＶを求めるための動き検出処理を実行する（ステップＳ２）。具体的に制御手段３は、入力される移動方向情報ｃから車両の動き方向Ｘを算出し、この求められた動き方向Ｘから第２のフレーム画像６０中の第２の基準ブロック６１の流れ方向Ｙを推定する。尚、探索範囲５２内における第２の基準ブロック６１の流れ方向Ｙは、動き方向Ｘと反対向きの関係をなす（図４参照）。
【００２５】
制御手段３は、探索範囲６２内の探索方向を流れ方向Ｙと定め、第２の基準ブロック６１を基準位置として第１の基準ブロック５１と近似する近似画像（近似画像データ）６３を検出するべく、第２の基準ブロック６１と同等の大きさからなるブロックを所定画素数分動かしながら探索（所定の画素数単位で探索）し、近似画像６３の検出に基づいて、基準位置Ｐ１から近似画像６３の基準位置Ｐ２まで示す動きベクトルＶ（ｘｖ，ｙｖ）を求めるとともに（図４参照）、この動きベクトルＶを基に、記憶手段３２から前回の画像データｂの第２のフレーム画像６０における第２の基準ブロック６１に相当する大きさのブロックを取得し、次回の処理にて用いられる前回の画像データｂを生成する動き補償処理Ｓ３を実行する。尚、図５は、動き検出処理（ステップＳ２）における探索方法を示すものであり、探索範囲６２中において、特定された方向（流れ方向Ｙ）によって探索される探索領域６４が示されており、この探索領域６４から近似画像６３が求められる。
【００２６】
一方、ステップＳ１にて求められた近似誤差Ｄは、ＤＣＴ（Discrete Cosin Transform：離散コサイン変換）処理によってＤＣＴ係数Ｄ１に変換され（ステップＳ４）、このＤＣＴ係数Ｄ１は、量子化処理される（ステップＳ５）。そして、前記量子化処理によって量子化された値（２進符号）Ｄ２は、エントロピー符号化処理（符号化処理）されて符号化ブロック情報Ｅが得られる（ステップＳ６）。
【００２７】
尚、量子化された値Ｄ２は、逆量子化処理（ステップＳ７）及びＩＤＣＴ（Inverse Discrete Cosin Transform：逆離散コサイン変換）処理（ステップＳ８）されることで、近似度差Ｄに復元化され、この復元化された近似誤差Ｄと動きベクトルＶとは、再構成処理されて（ステップＳ９）、次回の処理にて用いられる前回の画像データｂとして記憶手段３２に記憶されるものである。
【００２８】
前述した処理は、第１，第２フレーム画像５０，６０における複数のブロック５０ａ，６０ａ毎に実行されるものである。図６は、各フレーム画像５０，６０における際部における探索範囲６２を示す図であり、際部における探索範囲６２は、第２の基準ブロック６１の上下及び左右に１ブロックずつ広げた矩形エリアを範囲とするが、第２の基準ブロック６１から右方向はブロックが存在しないため、前述した探索範囲６２により小さな探索範囲となる。
【００２９】
かかる車両用撮像装置Ａに備えられる画像符号化装置は、撮像手段１によって得られた現時点（ｔ）の画像データａの第１のフレーム画像５０中に第１の基準ブロック５１を定めるとともに、記憶手段３２に記憶された前回（ｔ-1）の画像データｂである第２のフレーム画像６０中に第１のフレーム画像５０と同位置に第２の基準ブロック６１を定め、第２の基準ブロック６１を基にして探索範囲６２を設定し、移動方向検出手段２からの移動方向情報ｃに基づいて、探索範囲６２内の探索方向を定め、第２の基準ブロック６１を基準位置として第１の基準ブロック５１と近似する近似画像６３を所定の画素数単位で探索し、近似画像６３の検出に基づいて、第２の基準ブロック６１の基準位置Ｐ１から近似画像の基準位置Ｐ２までを示す動きベクトルＶと、第１の基準ブロック５１と近似画像６３との近似誤差Ｄとを求めるとともに、動きベクトルＶと近似誤差Ｄとに基づいて符号化処理を実行する制御手段３を用いるものである。
【００３０】
従って、撮像手段１が装着される車両（被装着体）の移動方向を検出する移動方向検出手段２からの移動方向情報ｃに基づいて近似画像２３の探索方向を定めて探索を行う、言い換えると、移動方向検出手段２からの移動方向情報ｃに基づいて動き検出の探索範囲を限定することによって、従来のようにフレーム画像中の多くの検索候補に対して動き検出処理を行わなくても良いため、探索処理時間を短縮することが可能となる。
【００３１】
また、被装着体が自動車等の車両である場合に、移動方向検出手段２として舵角センサを用いることで、専用の移動方向検出手段を設ける必要がなく、装置としても構成を簡素化することができる。
【００３２】
尚、本発明の実施形態では、近似誤差ＤをＤＣＴ処理して符号化処理を行うものであったが、本発明にあっては、この符号化処理を行う手段について任意に変更可能であり、例えばＤＣＴの変わりに他の直交変換を適用したり、またベクトル量子化を適用しても良い。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施形態の画像符号化装置を示すブロック図である。
【図２】同上実施形態の符号処理を説明するための説明図である。
【図３】同上実施形態の前記符号個所における近似画像の探索方法を説明する図である。
【図４】同上実施形態の前記探索方法を説明する図である。
【図５】同上実施形態の探索範囲中の探索領域を説明する図である。
【図６】同上実施形態の前記符号個所における近似画像の探索方法を説明する図である。
【符号の説明】
【００３４】
１  撮像手段
２  移動方向検出手段
３  制御手段
３２  記憶手段
５０  第１のフレーム画像（第１のフレーム）
５０ａ  ブロック
５１  第１の基準ブロック
６０  第２のフレーム画像（第２のフレーム）
６０ａ  ブロック
６１  第２の基準ブロック
６２  探索範囲
６３  近似画像
６４  探索領域
Ｐ１  第２の基準ブロックの基準位置
Ｐ２  近似画像の基準位置
Ｖ  動きベクトル
Ｙ  流れ方向
【図１】
2006041894.tif 000003
【図２】
2006041894.tif 000004
【図３】
2006041894.tif 000005
【図４】
2006041894.tif 000006
【図５】
2006041894.tif 000007
【図６】
2006041894.tif 000008