(57)【要約】【課題】低容量のメモリで、歪曲画像を平面正則画像に補正する画像処理装置等を提供する。【解決手段】歪曲画像を所定の大きさに分割した複数のブロック画像２５に分割する手段（１２）と、ブロック画像を圧縮ブロック画像に圧縮する手段（１３）と、圧縮ブロック画像をフレームメモリ４に書き込む手段（１４）と、圧縮ブロック画像のフレームメモリにおける記憶場所を記憶する手段（１４）と、フレームメモリから読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリ１６に格納する手段と、歪曲画像を平面正則画像に変換する際に、平面正則画像の所定の画素に対応する歪曲画像における画素を特定する手段（１８）と、キャッシュメモリから特定された画素を読み出す手段（１８）と、特定された画素がキャッシュメモリに格納されていない場合、特定された画素が含まれる圧縮ブロック画像をフレームメモリから読み出す手段（１４）と、を備える。【選択図】図１
2015128263.tif 000002
【特許請求の範囲】
【請求項１】
広角レンズまたは全方位ミラーからの歪曲画像の画像データを撮像手段から取得する歪曲画像取得手段と、
前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像手段と、
前記ブロック画像を圧縮ブロック画像に圧縮する圧縮手段と、
前記圧縮ブロック画像をフレームメモリに書き込む書込手段と、
前記圧縮ブロック画像の前記フレームメモリにおける記憶場所を記憶するアドレス記憶手段と、
前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張手段と、
前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納手段と、
前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定手段と、
前記キャッシュメモリから前記特定された画素を読み出す第１読出手段と、
前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第２読出手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画素特定手段により特定された画素を含むブロック画像を特定するブロック画像特定手段を更に備え、
前記第２読出手段が、前記特定されたブロック画像が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された前記ブロック画像に対応する前記圧縮ブロック画像を前記フレームメモリから読み出すことを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、
前記圧縮ブロック画像を前記フレームメモリに書き込むか否かを判定する書き込み判定手段を更に備えたことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記書き込み判定手段が、前記フレームメモリの容量を超えているか否かを判定し、
前記フレームメモリの容量を超えている場合、前記圧縮手段における画像の圧縮率を高くすることを特徴とする画像処理装置。
【請求項５】
請求項３または請求項４に記載の画像処理装置において、
前記特定された画素が、前記フレームメモリに書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれるか否かを判定するブロック画像判定手段と、
前記特定された画素が、前記フレームメモリに書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれる画素である場合、前記キャッシュメモリから前記特定された画素を読み出さず、所定の値を出力する出力手段と、
を更に備えたことを特徴とする画像処理装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の画像処理装置において、
画素特定手段が、前記平面正則画像を走査するように前記平面正則画像における前記所定の画素を決めて、当該決められた画素に対応する前記歪曲画像における画素を特定することを特徴とする画像処理装置。
【請求項７】
画像を処理する画像処理装置の画像処理方法において、
広角レンズまたは全方位ミラーからの歪曲画像の画像データを撮像手段から取得する歪曲画像取得ステップと、
前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像ステップと、
前記ブロック画像を圧縮ブロック画像に圧縮する圧縮ステップと、
前記圧縮ブロック画像をフレームメモリに書き込む書込ステップと、
前記圧縮ブロック画像の前記フレームメモリにおける記憶場所をアドレス記憶手段に記憶するアドレス記憶ステップと、
前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張ステップと、
前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納ステップと、
前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定ステップと、
前記キャッシュメモリから前記特定された画素を読み出す第１読出ステップと、
前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第２読出ステップと、
を含むことを特徴とする画像処理方法。
【請求項８】
コンピュータを、
広角レンズまたは全方位ミラーからの歪曲画像の画像データを撮像手段から取得する歪曲画像取得手段、
前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像手段、
前記ブロック画像を圧縮ブロック画像に圧縮する圧縮手段、
前記圧縮ブロック画像をフレームメモリに書き込む書込手段、
前記圧縮ブロック画像の前記フレームメモリにおける記憶場所を記憶するアドレス記憶手段、
前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張手段、
前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納手段、
前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定手段、
前記キャッシュメモリから前記特定された画素を読み出す第１読出手段、および、
前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第２読出手段として機能させることを特徴とする画像処理用プログラム。
【請求項９】
広角レンズまたは全方位ミラーからの歪曲画像を撮像する撮像手段と、
前記歪曲画像の画像データを撮像手段から取得する歪曲画像取得手段と、
前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像手段と、
前記ブロック画像を圧縮ブロック画像に圧縮する圧縮手段と、
前記圧縮ブロック画像をフレームメモリに書き込む書込手段と、
前記圧縮ブロック画像の前記フレームメモリにおける記憶場所を記憶するアドレス記憶手段と、
前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張手段と、
前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納手段と、
前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定手段と、
前記キャッシュメモリから前記特定された画素を読み出す第１読出手段と、
前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第２読出手段と、
を備えたことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ等により撮像された画像を画像処理する画像処理装置、画像処理方法、画像処理用プログラム、および、撮像装置に関する。
【背景技術】
【０００２】
カメラ等により撮像された画像の歪みを補正する際のメモリの削減するための技術が開発されている。例えば、特許文献１では、入力画像の画素のデータを用いて出力画像の画素毎に補正処理を行い、補正処理が完了した画素のデータを出力画像の走査順で１ライン毎に出力するように、入力画像の画素を読み込むことで、出力画像を１ライン得るために必要な入力画像のライン数のみを確保する画像歪曲補正処理方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１４２５３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術では、魚眼レンズ等により動画で撮像された入力画像の歪曲画像を平面正則画像に補正して出力する際には、歪曲補正後の出力画像を１ライン分得るために必要な入力画像は、ほぼ１フレーム分の画像のメモリが必要となっていた。
【０００５】
そこで、本発明は上記の問題点等に鑑みて為されたもので、その課題の一例は、低容量のメモリで、歪曲画像を平面正則画像に補正する画像処理装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、請求項１に記載の発明は、広角レンズまたは全方位ミラーからの歪曲画像の画像データを撮像手段から取得する歪曲画像取得手段と、前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像手段と、前記ブロック画像を圧縮ブロック画像に圧縮する圧縮手段と、前記圧縮ブロック画像をフレームメモリに書き込む書込手段と、前記圧縮ブロック画像の前記フレームメモリにおける記憶場所を記憶するアドレス記憶手段と、前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張手段と、前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納手段と、前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定手段と、前記キャッシュメモリから前記特定された画素を読み出す第１読出手段と、前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第２読出手段と、を備えたことを特徴とする。
【０００７】
また、請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記画素特定手段により特定された画素を含むブロック画像を特定するブロック画像特定手段を更に備え、前記第２読出手段が、前記特定されたブロック画像が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された前記ブロック画像に対応する前記圧縮ブロック画像を前記フレームメモリから読み出すことを特徴とする。
【０００８】
また、請求項３に記載の発明は、請求項１または請求項２に記載の画像処理装置において、前記圧縮ブロック画像を前記フレームメモリに書き込むか否かを判定する書き込み判定手段を更に備えたことを特徴とする。
【０００９】
また、請求項４に記載の発明は、請求項３に記載の画像処理装置において、前記書き込み判定手段が、前記フレームメモリの容量を超えているか否かを判定し、前記フレームメモリの容量を超えている場合、前記圧縮手段における画像の圧縮率を高くすることを特徴とする。
【００１０】
また、請求項５に記載の発明は、請求項３または請求項４に記載の画像処理装置において、前記特定された画素が、前記フレームメモリに書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれるか否かを判定するブロック画像判定手段と、前記特定された画素が、前記フレームメモリに書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれる画素である場合、前記キャッシュメモリから前記特定された画素を読み出さず、所定の値を出力する出力手段と、を更に備えたことを特徴とする。
【００１１】
また、請求項６に記載の発明は、請求項１から請求項５のいずれか１項に記載の画像処理装置において、画素特定手段が、前記平面正則画像を走査するように前記平面正則画像における前記所定の画素を決めて、当該決められた画素に対応する前記歪曲画像における画素を特定することを特徴とする。
【００１２】
また、請求項７に記載の発明は、画像を処理する画像処理装置の画像処理方法において、広角レンズまたは全方位ミラーからの歪曲画像の画像データを撮像手段から取得する歪曲画像取得ステップと、前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像ステップと、前記ブロック画像を圧縮ブロック画像に圧縮する圧縮ステップと、前記圧縮ブロック画像をフレームメモリに書き込む書込ステップと、前記圧縮ブロック画像の前記フレームメモリにおける記憶場所をアドレス記憶手段に記憶するアドレス記憶ステップと、前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張ステップと、前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納ステップと、前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定ステップと、前記キャッシュメモリから前記特定された画素を読み出す第１読出ステップと、前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第２読出ステップと、を含むことを特徴とする。
【００１３】
また、請求項８に記載の発明は、コンピュータを、広角レンズまたは全方位ミラーからの歪曲画像の画像データを撮像手段から取得する歪曲画像取得手段、前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像手段、前記ブロック画像を圧縮ブロック画像に圧縮する圧縮手段、前記圧縮ブロック画像をフレームメモリに書き込む書込手段、前記圧縮ブロック画像の前記フレームメモリにおける記憶場所を記憶するアドレス記憶手段、前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張手段、前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納手段、前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定手段、前記キャッシュメモリから前記特定された画素を読み出す第１読出手段、および、前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第２読出手段として機能させることを特徴とする。
【００１４】
また、請求項９に記載の発明は、広角レンズまたは全方位ミラーからの歪曲画像を撮像する撮像手段と、前記歪曲画像の画像データを撮像手段から取得する歪曲画像取得手段と、前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像手段と、前記ブロック画像を圧縮ブロック画像に圧縮する圧縮手段と、前記圧縮ブロック画像をフレームメモリに書き込む書込手段と、前記圧縮ブロック画像の前記フレームメモリにおける記憶場所を記憶するアドレス記憶手段と、前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張手段と、前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納手段と、前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定手段と、前記キャッシュメモリから前記特定された画素を読み出す第１読出手段と、前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第２読出手段と、を備えたことを特徴とする。
【発明の効果】
【００１５】
本発明によれば、低容量のメモリで、歪曲画像を平面正則画像に補正することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係る画像処理システムの概要構成例を示すブロック図である。
【図２】図１のカメラにより撮像された歪曲画像の一例を示す模式図である。
【図３】図２の歪曲画像の分割の一例を示す模式図である。
【図４】ブロック画像の一例を示す模式図である。
【図５】図１の画像処理装置において圧縮ブロック画像のデータをフレームメモリに書き込む動作例を示すフローチャートである。
【図６】圧縮ブロック画像のデータを格納するフレームメモリのメモリ空間の一例を示す模式図である。
【図７】図１の画像処理装置においてフレームメモリから圧縮ブロック画像のデータを読み出す動作例を示すフローチャートである。
【図８】歪曲画像と平面正則画像との関連の一例を示す模式図である。
【図９】図５の圧縮ブロック画像のデータをフレームメモリに書き込む動作の変形例を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、画像処理システムに対して本発明を適用した場合の実施形態である。
【００１８】
［１．画像処理システムの構成および機能の概要］
（１．１  画像処理システム１の構成および機能）
【００１９】
まず、本発明の一実施形態に係る画像処理システムの構成および概要機能について、図１から図４を用いて説明する。
【００２０】
図１は、本発明の実施形態に係る画像処理システムの概要構成例を示すブロック図である。図２は、カメラにより撮像された歪曲画像の一例を示す模式図である。図３は、歪曲画像の分割の一例を示す模式図である。図４は、ブロック画像の一例を示す模式図である。
【００２１】
図１に示すように、画像処理システム１（画像処理装置の一例）は、広角レンズまたは全方位ミラーを有するカメラ部２と、カメラ部２により撮影された歪曲画像に平面正則画像に画像変換する画像処理を行う画像処理装置１０と、画像処理装置１０の画像変換の処理に必要なパラメータを入力するパラメータ入力部３と、画像処理装置１０において歪曲画像がブロック画像に分割されて圧縮された画像データを記憶するフレームメモリ４と、画像処理装置１０により処理された画像を表示する表示用モニタ５と、を備えている。
【００２２】
なお、カメラ部２と画像処理装置１０とにより撮像装置を形成する。この撮像装置が、例えば、車載のバックカメラとして使用される。
【００２３】
カメラ部２は、例えば、正射影方式の魚眼レンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）またはＣＣＤ（Charge Coupled Device）のようなイメージセンサ（撮像手段の一例）とを有するカメラである。カメラ部２は、動画の歪曲円形画像（歪曲画像の一例）を出力する。また、カメラ部２は、車両の後方等に所定の向きに設置され、運転者の死角をなくすような広範囲な画像を捉える。図２に示すように、カメラ部２により撮像された入力画像２０は、魚眼レンズからの光りがイメージセンサに結像した歪曲円形画像部２１と、歪曲円形画像部２１以外の非歪曲円形画像部２２とを有する。非歪曲円形画像部２２は、魚眼レンズからの光が当たらない部分である。
【００２４】
なお、カメラ部２のレンズは、広角レンズに限らず、全方位ミラーと組み合わせた通常の画角のレンズでもよい。また、広角レンズの画角は１８０°に限らず、１８０°より大きくても、小さくてもよい。また、カメラ部２が撮影する画像は、静止画でもよい。また、カメラ部２が、対角線魚眼レンズを有する場合、矩形の歪曲画像を出力する。カメラ部２は、等距離射影方式のレンズや、等立体角射影方式のレンズ等の非正射影方式のレンズでもよい。
【００２５】
パラメータ入力部３は、歪曲円形画像から平面正則画像への画像変換に必要なパラメータの入力を受け付ける。例えば、パラメータ入力部３は、歪曲円形画像の撮影の視点を基点とした視線ベクトルや、歪曲円形画像から切り出す切出領域に対応する平面正則画像のサイズを示すパラメータや、表示させる平面正則画像の倍率等を設定するために必要なパラメータの入力を、ユーザの指示入力に基づいて受け付ける。ここで、平面正則画像とは、歪曲画像の歪みを軽減させため、ある規則に従って、座標変換された平面正則画像である。
【００２６】
フレームメモリ４は、ＤＤＲ（Double-Data-Rate）方式のようなＲＡＭ（Random Access Memory）等により構成されている。フレームメモリ４は、カメラ部２から出力された動画の少なくとも１フレーム分に対応する画像データを記憶する。例えば、フレームメモリ４は、２フレーム分のメモリ領域を有し、一方が、書き込み用のフレームメモリとなり、他方が、読み出し用のフレームメモリとなる。また、フレームメモリ４における１フレーム分の容量は、カメラ部２から出力された動画のフレーム画像のサイズに対して、所定の圧縮率に対応した容量を有する。例えば、フレームメモリ４の容量は、フレーム画像のサイズに対して９０％の容量を有する。
【００２７】
表示用モニタ５は、表示手段の一例として、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されているモニタ画面(平面画面)である。表示用モニタ５は、カメラ部２により撮影された歪曲円形画像や、画像変換で得られた平面正則画像等を表示する。
【００２８】
画像処理装置１０は、カメラ部２からの入力画像２０を、図３に示すように、所定の大きさに分割した複数のブロック画像に分割する。各ブロック画像には、ブロック番号ｂ０、ｂ１、ｂ２，ｂ３・・・のように、ブロック番号が割り振られる。
【００２９】
ブロック画像の大きさは、例えば、図４に示すように、８×８画素である。ここで、入力画像２０の大きさは、例えば、２０４８×１５３６画素であり、ブロック画像の大きさは８×８画素であるので、図３の分割は模式的である。
【００３０】
次に、画像処理装置１０の構成について図１を用いて詳細に説明する。
【００３１】
図１に示すように、画像処理装置１０は、カメラ部２から出力された歪曲円形画像の画像データ（入力画像２０）の一部を一時的に記憶するラインバッファ１１と、ラインバッファ１１からの歪曲円形画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像部１２と、ブロック画像を圧縮ブロック画像に圧縮する圧縮部１３と、圧縮ブロック画像をフレームメモリ４に書き込むメモリ制御部１４と、フレームメモリ４から読み出された圧縮ブロック画像を伸張する伸張部１５と、読み出された圧縮ブロック画像を伸張したブロック画像を格納するキャッシュメモリ１６と、パラメータ入力部３からのパラメータに基づき、歪曲円形画像と平面正則画像との対応座標を算出する対応座標算出部１７と、対応座標算出部１７により算出された対応座標の画素の情報をキャッシュメモリ１６から読み出す画像変換処理部１８と、画像変換処理部１８からの画素の情報を一時的に記憶するラインバッファ１９と、を有する。
【００３２】
画像処理装置１０は、専用の演算等を行うＬＳＩ（Large Scale Integration）チップを用いたハードウェアにより構成されている。画像処理装置１０の各部の機能は、回路により実現される。
【００３３】
ラインバッファ１１（歪曲画像取得手段の一例）は、ＳＲＡＭ（Static Random Access Memory）等のＲＡＭにより構成されている。ラインバッファ１１は、ブロック画像のサイズに対応したライン数を記憶するメモリを有する。例えば、ブロック画像が８×８画素であるならば、ラインバッファ１１は、入力画像２０に対して、ブロック画像のｙ方向の画素数８に対応した８ラインのバッファを少なくとも有する。図３に示すように、ラインバッファ１１は、入力画像２０をラスタスキャンするようにカメラ部２から順に出力された画像データを１ラインずつ記憶して、８ライン分であるブロック画像２５がｘ方向（走査の主走査方向）に一列に並んだ画像データ（ブロックライン画像２６）を記憶する。なお、ラインバッファ１１は、８ライン×２のバッファを有し、一方が、入力用のラインバッファとなり、他方が、出力用のラインバッファに切り替わる構成でもよい。
【００３４】
ブロック画像部１２（ブロック画像手段の一例）は、ブロックライン画像２６をブロック画像２５に分割する回路を有する。例えば、ブロック画像部１２は、ブロックライン画像２６を記憶できるメモリを有し、このメモリから、ブロック画像２５の８×８画素の範囲をラスタスキャンして読み出して圧縮部１３に出力し、次の隣のブロック画像２５に対応する８×８画素の範囲をラスタスキャンして読み出して圧縮部１３に出力する回路を有する。
【００３５】
圧縮部１３（圧縮手段の一例）は、デジタルデータの圧縮方式を実現する回路を有する。圧縮部１３の画像の圧縮率は可変であってもよい。ここで、デジタルデータの圧縮方式として、ＪＰＥＧ（Joint Photographic Experts Group）等の静止画の圧縮方式が挙げられる。
【００３６】
メモリ制御部１４（書込手段、第２読出手段の一例）は、圧縮ブロック画像のフレームメモリ空間における記憶場所およびブロック画像２５のブロック番号等を記憶するメモリと、圧縮ブロック画像をフレームメモリ４に書き込む動作を実現する回路と、画像変換処理部１８からの情報に基づき、フレームメモリ４から圧縮ブロック画像を読み出す動作を実現する回路等を有する。まは、メモリ制御部１４のメモリ（アドレス記憶手段の一例）は、キャッシュメモリ１６に出力したブロック画像のブロック番号を記憶している。
【００３７】
伸張部１５（伸張手段の一例）は、圧縮部１３の圧縮方式における圧縮変換とは逆変換の動作（画像データを伸張する動作）を実現する回路を有する。
【００３８】
キャッシュメモリ１６は、ＳＲＡＭ（Static Random Access Memory）等のＲＡＭにより構成されている。少なくとも１つのブロック画像が記憶できる容量を有する。通常の容量は、ブロック画像１つ分でよい。なお、最大の容量は、入力画像を所定の大きさに分割した複数のブロック画像のうち、全ブロック数よりも少ない数のブロック画像を格納するできる容量である。
【００３９】
対応座標算出部１７（画素特定手段の一例）は、パラメータ入力部３からのパラメータに基づき、歪曲円形画像と平面正則画像との対応座標を算出する回路を有する。
【００４０】
画像変換処理部１８（画素特定手段、第１読出手段、ブロック画像特定手段の一例）は、対応座標算出部１７により算出された対応座標の画素の情報をキャッシュメモリ１６から読み出す等の動作を実現する回路を有する。
【００４１】
ラインバッファ１９は、ＳＲＡＭ等のＲＡＭにより構成されている。ラインバッファ１９は、入力画像２０に対して、少なくとも１ライン数を記憶するメモリを有する。
【００４２】
ラインバッファ１１は、ブロック画像部１２と接続して、ブロックライン画像２６を出力する。ブロック画像部１２は、圧縮部１３と接続して、ブロック画像２５を出力する。圧縮部１３は、メモリ制御部１４と接続して、ブロック画像２５を圧縮した圧縮ブロック画像を出力する。メモリ制御部１４は、フレームメモリ４と接続し、画像データの読み書きを行う。
【００４３】
伸張部１５は、メモリ制御部１４およびキャッシュメモリ１６に接続し、メモリ制御部１４からの圧縮ブロック画像を伸張し、キャッシュメモリ１６に出力する。キャッシュメモリ１６は、画像変換処理部１８と接続し、画像変換処理部１８から、読み出す画素の位置情報が与えられ、画素情報を画像変換処理部１８に出力する。対応座標算出部１７は、パラメータ入力部３および画像変換処理部１８に接続し、パラメータ入力部３からパラメータに基づき、画像変換処理部１８に対応座標を出力する。
【００４４】
画像変換処理部１８は、メモリ制御部１４とキャッシュメモリ１６とラインバッファ１９に接続して、対応座標算出部１７からの対応座標に基づき、フレームメモリ４から読み出すブロック画像のブロック番号の情報をメモリ制御部１４に出力したり、キャッシュメモリ１６から対応座標の画素の画素情報を読み出したり、読み出した画素情報をラインバッファ１９に出力したりする。
【００４５】
なお、画像処理装置１０は、コンピュータとして、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成されていてもよい。ＣＰＵが、ＲＯＭやＲＡＭに記憶された各種プログラムを読み出し実行する。画像処理用プログラム等の各種プログラムは、記録媒体から読み込み、ＲＡＭ等に記録される。
【００４６】
［２．画像処理システムの動作］
次に、本発明の１実施形態に係る画像処理システムの動作について図を用いて説明する。
【００４７】
（２．１  圧縮ブロック画像のフレームメモリへの書き込み動作）
圧縮ブロック画像のフレームメモリ４への書き込み動作について図５および図６を用いて説明する。
図５は、画像処理装置１０において圧縮ブロック画像のデータをフレームメモリに書き込む動作例を示すフローチャートである。図６は、圧縮ブロック画像のデータを格納するフレームメモリのメモリ空間の一例を示す模式図である。
【００４８】
図５に示すように、画像処理装置１０は、歪曲円形画像を含む入力画像を取得する（ステップＳ１）。具体的には、画像処理装置１０のラインバッファ１１が、カメラ部２が撮像した入力画像２０のうち、１ラインずつ画像データを取得して記憶し、８ライン分のブロックライン画像２６を生成する。そして、ラインバッファ１１は、生成されたブロックライン画像２６をブロック画像部１２に出力して、ｙ方向に次のブロックライン画像２６を生成する。
【００４９】
このように、画像処理装置１０は、広角レンズまたは全方位ミラーからの歪曲画像の画像データを撮像手段から取得する歪曲画像取得手段の一例として機能する。
【００５０】
次に、画像処理装置１０は、入力画像をブロック画像に分割する（ステップＳ２）。具体的には、画像処理装置１０のブロック画像部１２が、ブロックライン画像２６をブロック画像２５に分割する。更に具体的には、ブロック画像部１２が、ブロックライン画像２６に対して、ブロック画像２５の８×８画素の範囲（所定の大きさの一例）をラスタスキャンして読み出して圧縮部１３に出力し、ｘ方向に次の隣のブロック画像２５に対応する８×８画素の範囲をラスタスキャンして読み出して圧縮部１３に出力する。ブロック画像部１２は、ブロックライン画像２６から、ブロック画像部１２のメモリからブロック画像２５をｘ方向に順に取り出して、ブロックライン画像２６をブロック画像２５に分割する。
【００５１】
このように、画像処理装置１０は、前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像手段の一例として機能する。
【００５２】
次に、画像処理装置１０は、ブロック画像を圧縮ブロック画像に圧縮する（ステップＳ３）。具体的には、画像処理装置１０の圧縮部１３が、ブロック画像部１２から出力されたブロック画像２５を、既知のデジタルデータの圧縮方式により圧縮する。圧縮部１３が、圧縮された圧縮ブロック画像の画像データをメモリ制御部１４に出力する。なお、ブロック画像２５の画像によって実際の圧縮率が異なり、圧縮ブロック画像のデータ長が異なってくる。
【００５３】
このように、画像処理装置１０は、前記ブロック画像を圧縮ブロック画像に圧縮する圧縮手段の一例として機能する。
【００５４】
次に、画像処理装置１０は、容量オーバーしているか否かを判定する（ステップＳ４）。具体的には、画像処理装置１０のメモリ制御部１４が、フレームメモリ４に書き込まれていく圧縮ブロック画像の画像データのトータルの容量が、フレームメモリ４のメモリ容量をオーバーしているか否かを判定する。なお、フレームメモリ４のメモリ容量をオーバーした以降のブロック画像は、ラスタスキャンの最後の方に対応するブロック画像である場合、すなわち、非歪曲円形画像部２２に属している場合が多い。
【００５５】
このように、画像処理装置１０は、前記圧縮ブロック画像を前記フレームメモリに書き込むか否かを判定する書き込み判定手段の一例として機能する。
【００５６】
容量オーバーしていない場合（ステップＳ４；ＮＯ）、画像処理装置１０は、圧縮ブロック画像をフレームメモリ４に書き込む（ステップＳ５）。具体的には、画像処理装置１０のメモリ制御部１４が、図６に示すように、フレームメモリ４のフレームメモリ空間に、圧縮ブロック画像の画像データをブロック単位で記憶する。
【００５７】
このように、画像処理装置１０は、前記圧縮ブロック画像をフレームメモリに書き込む書込手段の一例として機能する。
【００５８】
次に、画像処理装置１０は、圧縮ブロック画像のフレームメモリ空間における記憶場所を記憶する（ステップＳ６）。具体的には、画像処理装置１０のメモリ制御部１４が、圧縮ブロック画像のデータ長に応じて、図６に示すように、各圧縮ブロック画像のフレームメモリ空間におけるスタートアドレスと、ブロック画像番号とを、メモリ制御部１４のメモリに記憶する。図６に示すように、ブロック番号ｂ０の場合、スタートアドレスは、(0x000,0x000)、ブロック番号ｂ１の場合、スタートアドレスは、(0x001,0x002)、ブロック番号ｂ２の場合、スタートアドレスは、(0x002,0x003)、ブロック番号ｂ３の場合、スタートアドレスは、(0x001,0x005)となる。このように、画像処理装置１０は、各ブロックのスタートアドレスは別途管理している。なお、読み出す際は、画像処理装置１０は、スタートアドレスを参照して圧縮ブロック画像の画像データのブロックを読み出す。
【００５９】
なお、メモリ制御部１４が、圧縮ブロック画像を圧縮部１３から受け取る際、ブロック番号がカウントされる。
【００６０】
このように、画像処理装置１０は、前記圧縮ブロック画像の前記フレームメモリにおける記憶場所を記憶するアドレス記憶手段の一例として機能する。
【００６１】
次に、画像処理装置１０は、最後のブロック画像か否かを判定する（ステップＳ７）。具体的には、画像処理装置１０のメモリ制御部１４が、処理したブロック数をカウントし、入力画像２０における最後のブロック番号か否かを判定する。なお、入力画像２０の大きさが２０４８×１５３６画素であり、ブロック画像の大きさは８×８画素である場合、最後のブロック番号は、49,152番目のブロック番号となる。
【００６２】
最後のブロック画像でない場合（ステップＳ７；ＮＯ）、ステップＳ３に戻り、画像処理装置１０は、次のブロック画像２５を圧縮する。具体的には、圧縮部１３が、ブロック画像部１２から出力された次のブロック画像２５を圧縮する。ステップＳ３からステップＳ９を繰り返すことにより、ブロック画像部１２から出力されたブロック画像２５が順次圧縮され、圧縮された圧縮ブロック画像がフレームメモリ４に順次書き込まれていく。
【００６３】
最後のブロック画像である場合（ステップＳ７；ＹＥＳ）、画像処理装置１０は、一連の処理を終了する。具体的には、画像処理装置１０は、ステップＳ１のように、次のフレームの画像データをカメラ部２から取得する。そして、画像処理装置１０は、フレームメモリ４の他のフレームメモリ空間に、圧縮ブロック画像の画像データをブロック単位で記憶していく。
【００６４】
また、容量オーバーしている場合（ステップＳ４；ＹＥＳ）、画像処理装置１０は、容量オーバーしたブロック画像２５のブロック番号を記憶して、一連の処理を終了する。具体的には、画像処理装置１０のメモリ制御部１４が、容量オーバーしたブロック画像２５のブロック番号をメモリ制御部１４のメモリに記憶する。そして、画像処理装置１０は、ステップＳ１のように、次のフレームの画像データをカメラ部２から取得する。次に、画像処理装置１０は、フレームメモリ４の他のフレームメモリ空間に、圧縮ブロック画像の画像データをブロック単位で記憶していく。
【００６５】
なお、容量オーバーしたブロック画像２５のブロック番号以降のブロック画像は、破棄のブロック画像として取り扱われる。この破棄されたブロック画像は、入力画像２０の大きさに対して、平均的な画像圧縮率に対応した大きさのフレームメモリ４の大きさに設定されているので、ラスタスキャンした際の入力画像２０の図中右下部分の非歪曲円形画像部２２内のブロック画像であることが多い。すなわち、容量オーバーしたブロック画像２５のブロック番号以降のブロック画像は黒色の情報（例えば、RGBで(0, 0, 0)）であることが多い。
【００６６】
（２．２  フレームメモリからの圧縮ブロック画像のデータの読み出す動作）
次に、フレームメモリ４からの圧縮ブロック画像のデータの読み出す動作について図７および図８に用いて説明する。
図７は、画像処理装置１０においてフレームメモリ４から圧縮ブロック画像のデータを読み出す動作例を示すフローチャートである。図８は、歪曲画像と平面正則画像との関連の一例を示す模式図である。
【００６７】
図７に示すように、画像処理装置１０は、歪曲円形画像における画素を特定する（ステップＳ１０）。具体的には、図８に示すように、画像処理装置１０の画像変換処理部１８が、平面正則画像３０上の画素を特定する。走査の主走査方向（例えば、線３０ａ）に沿って、１画素ずつ画素が特定される。ここで、平面正則画像３０は、歪曲円形画像を画像変換した平面正則画像の一部である。
【００６８】
そして、対応座標算出部１７が、パラメータ入力部３からのパラメータに基づき、平面正則画像３０上で特定された画素に対応する歪曲円形画像における対応座標を算出し、入力画像２０における対応画素を特定する。
【００６９】
ここで、図８に示すように、平面正則画像３０における線３０ａは、歪曲円形画像部２１における線２１ａに対応し、平面正則画像３０における線３０ｂは、歪曲円形画像部２１における線２１ｂに対応する。このように、平面正則画像３０において直線であっても、歪曲円形画像ではほとんど曲線になる。ブロック画像２５を設定することにより、平面正則画像３０を直線の線３０ａでスキャンして行く際、暫く所定のブロック画像２５に属しているが、次のブロック画像２５に属することになる。
【００７０】
また、図８に示すように、線３０ａの画素ｐ０は、線２１ａの一部を含むブロック画像２５の画素ｐ０に対応し、線３０ａの画素ｐ０の隣の画素ｐ０は、ブロック画像２５の画素ｐ０の近接の画素ｐ１に対応する。
【００７１】
このように、画像処理装置１０は、前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定手段の一例として機能する。また、画像処理装置１０は、前記平面正則画像を走査するように前記平面正則画像における前記所定の画素を決めて、当該決められた画素に対応する前記歪曲画像における画素を特定する画素特定手段の一例として機能する。
【００７２】
次に、画像処理装置１０は、ブロック画像を特定する（ステップＳ１１）。具体的には、画像処理装置１０の画像変換処理部１８が、対応画素を含むブロック画像のブロック番号を特定する。なお、入力画像２０における分割数は予め定めておくので、対応画素が決まると、ブロック番号が特定できる。
【００７３】
このように、画像処理装置１０は、前記画素特定手段により特定された画素を含むブロック画像を特定するブロック画像特定手段の一例として機能する。
【００７４】
次に、画像処理装置１０は、破棄のブロック画像か否かを判定する（ステップＳ１２）。具体的には、画像処理装置１０の画像変換処理部１８が、フレームメモリ４が容量オーバーしている場合、容量オーバーしたブロック画像２５のブロック番号以降のブロック番号か否かを判定する。
【００７５】
このように、画像処理装置１０は、前記特定された画素が、前記フレームメモリに書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれるか否かを判定するブロック画像判定手段の一例として機能する。
【００７６】
破棄のブロック画像である場合（ステップＳ１２；ＹＥＳ）、画像処理装置１０は、固定値を出力する（ステップＳ１３）。具体的には、画像処理装置１０の画像変換処理部１８が、例えば、固定値として、RGBで(0, 0, 0)）を、ラインバッファ１９に出力する。
【００７７】
このように、画像処理装置１０は、前記特定された画素が、前記フレームメモリに書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれる画素である場合、前記キャッシュメモリから前記特定された画素を読み出さず、所定の値を出力する出力手段の一例として機能する。
【００７８】
破棄のブロック画像でない場合（ステップＳ１２；ＮＯ）、画像処理装置１０は、キャッシュメモリ１６に該当するブロック画像があるか否かを判定する（ステップＳ１４）。具体的には、画像処理装置１０の画像変換処理部１８が、メモリ制御部１４のメモリを参照して、キャッシュメモリ１６に格納されているブロック画像のブロック番号が、ステップＳ１１で特定したブロック番号と同じであるか否かを判定する。なお、キャッシュメモリ１６にブロック番号が記憶されている場合、画像変換処理部１８は、キャッシュメモリ１６を参照して、特定したブロック番号と同じであるか否かを判定してもよい。
【００７９】
キャッシュメモリ１６に該当するブロック画像がない場合（ステップＳ１４；ＮＯ）、画像処理装置１０は、フレームメモリ４から圧縮ブロック画像を読み出す（ステップＳ１５）。具体的には、キャッシュメモリ１６に格納されているブロック画像のブロック番号が、特定したブロック番号と同じでない場合、画像変換処理部１８が、フレームメモリ４から、特定したブロック番号に対応するブロック画像の圧縮ブロック画像を読み出す指令信号を、メモリ制御部１４に出力する。そして、メモリ制御部１４が、メモリ制御部１４のメモリから、特定したブロック番号のスタートアドレスを読み出す。メモリ制御部１４が、読み出したスタートアドレスに対応する圧縮ブロック画像を、フレームメモリ４から読み出し、伸張部１５に出力する。
【００８０】
このように、画像処理装置１０は、前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第２読出手段の一例として機能する。また、画像処理装置１０は、前記特定されたブロック画像が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された前記ブロック画像に対応する前記圧縮ブロック画像を前記フレームメモリから読み出す第２読出手段の一例として機能する。
【００８１】
次に、画像処理装置１０は、圧縮ブロック画像をブロック画像に伸張する（ステップＳ１６）。具体的には、画像処理装置１０の伸張部１５が、圧縮ブロック画像をブロック画像に伸張する。
【００８２】
このように、画像処理装置１０は、前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張手段の一例として機能する。
【００８３】
次に、画像処理装置１０は、ブロック画像をキャッシュメモリ１６に書き込む（ステップＳ１７）。具体的には、画像処理装置１０の伸張部１５が、伸張したブロック画像をキャッシュメモリ１６に出力し、ブロック画像が、キャッシュメモリ１６に書き込まれる。ここで、キャッシュメモリ１６が１ブロック画像分しかメモリの容量がない場合、伸張部１５から出力されたブロック画像にキャッシュメモリ１６の内容が書き換えられる。
【００８４】
このように、画像処理装置１０は、前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納手段の一例として機能する。
【００８５】
次に、画像処理装置１０は、キャッシュメモリ１６から画素情報を読み出す（ステップＳ１８）。具体的には、画像処理装置１０の画像変換処理部１８が、キャッシュメモリ１６から、ステップＳ１０で特定した画素の画素情報を読み出す。そして画像変換処理部１８が、読み出した画素情報をラインバッファ１９に出力する。ラインバッファ１９において、１ライン分の画素情報を取得したら、１ライン分の画素情報がラインバッファ１９から表示用モニタ５に出力される。
【００８６】
このように、画像処理装置１０は、前記キャッシュメモリから前記特定された画素を読み出す第１読出手段の一例として機能する。
【００８７】
キャッシュメモリ１６に該当するブロック画像がある場合も（ステップＳ１４；ＹＥＳ）、画像処理装置１０は、キャッシュメモリ１６から画素情報を読み出す（ステップＳ１８）。
【００８８】
ここで、図８に示すように、画素ｐ０と画素ｐ１とは、同じブロック画像２５内の画素なので、画像処理装置１０は、キャッシュメモリ１６から画素情報を高速に読み出す。そして、画像処理装置１０は、平面正則画像３０上の線３０ａに沿って、画素を特定していき、同じブロック画像２５内、対応する画素が無い場合、隣接したブロック画像２５に移るため、フレームメモリ４から圧縮ブロック画像を読み出し、伸張してキャッシュメモリ１６に書き込む。
【００８９】
以上、本実施形態によれば、歪曲画像を所定の大きさに分割した複数のブロック画像に分割し、ブロック画像２５を圧縮ブロック画像に圧縮し、圧縮ブロック画像をフレームメモリ４に書き込むので、フレームメモリ４は、入力画像２０に対する圧縮率に対応した低容量のメモリで、歪曲画像を平面正則画像に補正することができる。画像変換処理をするために１画面分の画像データを格納する大容量のフレームメモリが不要になり、コストダウンと、回路規模の縮小を図ることができる。車載のバックカメラを小型化できる。
【００９０】
また、キャッシュメモリ１６には、ブロック画像単位に、圧縮ブロック画像から伸張されたブロック画像が格納されるので、歪曲画像を平面正則画像に変換する際に、平面正則画像の所定の画素に隣接する画素に対応する歪曲画像における画素も、同じブロック画像に含まれていることが多い。従って、フレームメモリ４から圧縮ブロック画像を読み出し、伸張する処理の回数が減り、画像処理が高速になる。また、補正変換の時に１フレーム分の画像を全て伸張する必要がない。
【００９１】
また、特定された画素を含むブロック画像を特定し、特定されたブロック画像がキャッシュメモリ１６に格納されていない場合、圧縮ブロック画像を伸張してキャッシュメモリ１６に格納するために、メモリ制御部１４のメモリを参照して、特定されたブロック画像に対応する圧縮ブロック画像をフレームメモリ４から読み出す場合、効率的にブロック画像を選択できる。
【００９２】
圧縮ブロック画像をフレームメモリ４に書き込むか否かを判定する場合、フレームメモリ４に記憶するブロック画像の量を減少させることができる。すなわち、フレームメモリ４に記憶させる圧縮ブロック画像を削減できる。さらにフレームメモリ４の容量を小さくできるため、画像処理システム１を小型化できる。
【００９３】
例えば、フレームメモリ４に書き込まれていく圧縮ブロック画像の画像データのトータルの容量が、フレームメモリ４のメモリ容量をオーバーした場合、フレームメモリ４のメモリ容量をオーバーした以降のブロック画像は、ラスタスキャンの最後の方に対応するブロック画像である場合、すなわち、非歪曲円形画像部２２に属している場合が多いので、余分なブロック画像がフレームメモリ４に記憶されることが防止できる。
【００９４】
特定された画素が、フレームメモリ４に書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれるか否かを判定し、特定された画素が、フレームメモリ４に書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれる画素である場合、キャッシュメモリ１６から特定された画素を読み出さず、所定の値を出力するとき、歪曲画像から平面正則画像への補正の画像処理をより高速化することができる。
【００９５】
また、平面正則画像を走査するように平面正則画像における所定の画素（例えば、線３０ａ上の画素）を決めて、当該決められた画素に対応する歪曲画像における画素（例えば、線２１ａ上の画素）を特定する場合、線２１ａが曲線であってもブロック画像単位により、キャッシュメモリ１６から、画素情報を読み出せばよいので、フレームメモリ４へのアクセス回数が減少するので、歪曲画像から平面正則画像への補正の画像処理が高速にできる。
【００９６】
なお、フレームメモリ４の容量を超えているか否かを判定し、フレームメモリ４の容量を超えている場合、圧縮部１３における画像の圧縮率を高くしてもよい。この場合、次のフレームの画像データに対する圧縮率を上げることにより、画像データが欠損することを抑制することができる。
【００９７】
ステップＳ４において、容量オーバーしている場合、次のフレームに対しては、ステップＳ３における画像の圧縮率を上げる。
【００９８】
このように、画像処理装置１０は、前記フレームメモリの容量を超えている場合、前記圧縮手段における画像の圧縮率を高くする圧縮手段の一例として機能する。
【００９９】
［３．変形例］
次に、圧縮ブロック画像のデータをフレームメモリに書き込む動作の変形例について、図９を用いて説明する。
【０１００】
この変形例は、非歪曲円形画像部２２に完全に含まれるブロック画像２５を予め取り除き、ブロック画像２５の圧縮を行い、フレームメモリ４に書き込む動作である。入力画像２０における歪曲円形画像部２１の位置は、カメラ部２のレンズとイメージセンサとの位置関係等が変わらない限り、固定されている。従って、図３に示すように、非歪曲円形画像部２２に完全に含まれるブロック画像２５のブロック番号は予め決まっている。このブロック番号を、例えば、パラメータ入力部３から予め入力しておく。なお、画像変換処理部１８は、メモリ制御部１４に、予め破棄するブロック画像のブロック番号を出力しておく。メモリ制御部１４は、破棄するブロック画像のブロック番号をメモリ制御部１４のメモリに記憶しておく。
【０１０１】
図９に示すように、画像処理装置１０は、ステップＳ１からステップＳ４のように、歪曲円形画像を含む入力画像を取得し（ステップＳ２１）、入力画像をブロック画像に分割し（ステップＳ２２）、ブロック画像を圧縮ブロック画像に圧縮し（ステップＳ２３）、容量オーバーしているか否かを判定する（ステップＳ２４）。
【０１０２】
容量オーバーしていない場合（ステップＳ２４；ＮＯ）、画像処理装置１０は、破棄のブロック画像であるか否かを判定する（ステップＳ２５）。具体的には、メモリ制御部１４は、メモリ制御部１４のメモリを参照して、カウントしたブロック番号が、破棄するブロック画像のブロック番号か否かを判定する。このように、画像処理装置１０は、前記圧縮ブロック画像をフレームメモリに書き込むか否かを判定する書き込み判定手段の一例として機能する。
【０１０３】
破棄のブロック画像でない場合（ステップＳ２５；ＮＯ）、画像処理装置１０は、ステップＳ５のように、圧縮ブロック画像をフレームメモリ４に書き込む（ステップＳ２６）。
【０１０４】
破棄のブロック画像である場合（ステップＳ２５；ＹＥＳ）、画像処理装置１０は、ステップＳ２３に戻り、次のブロック画像２５を圧縮する。
【０１０５】
この変形例の場合、フレームメモリ４に記憶させる圧縮ブロック画像を削減でき、さらにフレームメモリ４の容量を小さくできるため、画像処理システム１を小型化できる。
【０１０６】
さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。
【符号の説明】
【０１０７】
１：画像処理システム
２：カメラ部
３：パラメータ入力部
４：フレームメモリ
５：表示用モニタ（表示手段）
１０：画像処理装置
１１：ラインバッファ（歪曲画像取得手段）
１２：ブロック画像部（ブロック画像手段）
１３：圧縮部（圧縮手段）
１４：メモリ制御部（書込手段、アドレス記憶手段、第２読出手段）
１５：伸張部（伸張手段）
１６：キャッシュメモリ
１７：対応座標算出部（画素特定手段）
１８：画像変換処理部（画素特定手段、第１読出手段、ブロック画像特定手段）
２１：歪曲円形画像部（歪曲画像）
２５：ブロック画像
【図１】
2015128263.tif 000003
【図４】
2015128263.tif 000004
【図５】
2015128263.tif 000005
【図６】
2015128263.tif 000006
【図７】
2015128263.tif 000007
【図８】
2015128263.tif 000008
【図９】
2015128263.tif 000009
【図２】
2015128263.tif 000010
【図３】
2015128263.tif 000011