(57)【要約】【課題】必要最小限のメモリアクセス回数でパラメータをパラメータメモリに格納する。【解決手段】画像処理装置１０は、画像を入力する画像入力部１と、画像入力部１により入力された画像を格納する画像メモリ２と、画像メモリ２に格納された画像に施す画像処理に使用されるパラメータを圧縮するパラメータ圧縮部５と、パラメータ圧縮部５により圧縮されたパラメータを格納するパラメータメモリ６と、パラメータメモリ６に格納されたパラメータを復号するパラメータ復号部７と、パラメータ復号部７により復号されたパラメータを使用して、画像メモリ２に格納された画像に画像処理を施す画像処理部４と、画像処理部４により画像処理が施された画像を出力する画像出力部３とを備える。【選択図】図１
2014170986.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力する画像入力部と、
前記画像入力部により入力された画像を格納する画像メモリと、
前記画像メモリに格納された画像に施す画像処理に使用されるパラメータを圧縮するパラメータ圧縮部と、
前記パラメータ圧縮部により圧縮されたパラメータを格納するパラメータメモリと、
前記パラメータメモリに格納されたパラメータを復号するパラメータ復号部と、
前記パラメータ復号部により復号されたパラメータを使用して、前記画像メモリに格納された画像に画像処理を施す画像処理部と、
前記画像処理部により画像処理が施された画像を出力する画像出力部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記パラメータ圧縮部は、絶対値で表わされた２つのパラメータをペアとして差分を取って相対値を求め、その相対値で表わされたパラメータと絶対値で表わされたパラメータのペアを同時に前記パラメータメモリに転送することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記パラメータ圧縮部は、奇数列のパラメータとその隣り合う偶数列のパラメータの差分を取り、偶数列のパラメータを絶対値から相対値に変換することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記パラメータ復号部は、相対値で表わされたパラメータと絶対値で表わされたパラメータのペアを同時に前記パラメータメモリから読み出し、その相対値で表されたパラメータを絶対値に変換することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記パラメータ復号部は、奇数列のパラメータに基づいて、その隣り合う偶数列のパラメータを相対値から絶対値に変換することを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記パラメータは、二次元座標値の情報を持つ数値データであることを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
画像処理装置においてパラメータを格納するパラメータ格納方法であって、
画像を入力するステップと、
前記入力された画像を画像メモリに格納するステップと、
前記画像メモリに格納された画像に施す画像処理に使用されるパラメータを圧縮するステップと、
前記圧縮されたパラメータをパラメータメモリに格納するステップと、
を備えることを特徴とするパラメータ格納方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びそのパラメータ格納方法に関し、特に、入力される静止画および動画の形状を変形させる画像処理装置及びそのパラメータ格納方法に関する。
【背景技術】
【０００２】
従来、プロジェクタやＨＵＤ（Head Up Display）のような投影装置において、画像の形状を変形させることが知られている。例えば、図１０（ａ）に示すように、投影装置１００の設置角度や投射対象となるスクリーン形状やレンズ歪みが原因で、入力画像Ｉiをそのまま投影すると、投影画像Ｉｐが歪む場合がある。そこで、図１０（ｂ）に示すように、入力画像Ｉiに対して電子的な信号処理を施すことで、この歪みを解消する画像処理装置１０が提案されている（特許文献１参照）。
【０００３】
このような画像処理装置１０において画像を変形するには次の手順を踏む。まず、画像入力部１より入力された１画面分の画像を走査線順に画像メモリ２へ格納する。次に、画像メモリ２に格納した画像を読み出す際は、走査線順ではなく変形を考慮した画素データ読み出し制御を行う。この読み出し制御は、変形形状を表す変形処理パラメータＰに沿って行われる。歪みの形状を台形のように数式で表現できる場合は、変形処理パラメータＰを逐次演算して生成することができる。一方、歪みの形状を数式で表現できない場合は、あらかじめ求めておいた変形処理パラメータＰを画素単位で一つのメモリに格納しておき、これを参照する方法がとられている。これを実現する場合、変形処理パラメータＰを格納するパラメータメモリ６が画像メモリ２とは別に必要となる。変形処理を施された画像は、画像出力部３より出力され、投影装置１００に入力される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１９３１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１に記載されるパラメータメモリ６のメモリ領域は４８ビットである。この４８ビットは、パラメータメモリ６にパラメータを格納させるのに必要なメモリ帯域幅を表す。パラメータメモリ６のメモリ領域を４８ビット以上に増やした場合、演算処理速度や処理能力の大幅な向上を期待できる反面、コストが上がる。すなわち、メモリ領域の増加は、コスト上の制約からこれ以上は増やすことができないのが現状である。そのため、特許文献１に記載される画像処理装置１０では、さらに新しい機能を付加した場合、現状のメモリ帯域幅を超えてしまい、パラメータを効率よくパラメータメモリ６に格納することができない。その過剰分は次のメモリアクセスでパラメータメモリ６に格納されるため、結果的にメモリアクセス回数が増加する問題がある。
【０００６】
本発明は前記課題を解決するためになされたものであり、その目的は、必要最小限のメモリアクセス回数でパラメータをパラメータメモリに格納することのできる画像処理装置及びそのパラメータ格納方法を提供することである。
【課題を解決するための手段】
【０００７】
前記課題を解決するために、本発明の実施形態に係る画像処理装置は、画像を入力する画像入力部と、前記画像入力部により入力された画像を格納する画像メモリと、前記画像メモリに格納された画像に施す画像処理に使用されるパラメータを圧縮するパラメータ圧縮部と、前記パラメータ圧縮部により圧縮されたパラメータを格納するパラメータメモリと、前記パラメータメモリに格納されたパラメータを復号するパラメータ復号部と、前記パラメータ復号部により復号されたパラメータを使用して、前記画像メモリに格納された画像に画像処理を施す画像処理部と、前記画像処理部により画像処理が施された画像を出力する画像出力部とを備えることを特徴とする。
【０００８】
ここで、前記パラメータ圧縮部は、絶対値で表わされた２つのパラメータをペアとして差分を取って相対値を求め、その相対値で表わされたパラメータと絶対値で表わされたパラメータのペアを同時に前記パラメータメモリに転送してもよい。
【０００９】
また、前記パラメータ圧縮部は、奇数列のパラメータとその隣り合う偶数列のパラメータの差分を取り、偶数列のパラメータを絶対値から相対値に変換してもよい。
【００１０】
また、前記パラメータ復号部は、相対値で表わされたパラメータと絶対値で表わされたパラメータのペアを同時に前記パラメータメモリから読み出し、その相対値で表されたパラメータを絶対値に変換してもよい。
【００１１】
また、前記パラメータ復号部は、奇数列のパラメータに基づいて、その隣り合う偶数列のパラメータを相対値から絶対値に変換してもよい。
【００１２】
また、前記パラメータは、二次元座標値の情報を持つ数値データであってもよい。
【００１３】
前記課題を解決するために、本発明の実施形態に係るパラメータ格納方法は、画像処理装置においてパラメータを格納するパラメータ格納方法であって、画像を入力するステップと、前記入力された画像を画像メモリに格納するステップと、前記画像メモリに格納された画像に施す画像処理に使用されるパラメータを圧縮するステップと、前記圧縮されたパラメータをパラメータメモリに格納するステップとを備えることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、必要最小限のメモリアクセス回数でパラメータをパラメータメモリに格納することのできる画像処理装置及びそのパラメータ格納方法を提供することが可能である。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る画像処理装置の構成を示す概略ブロック図である。
【図２】本発明の実施形態に係る画像処理装置の構成を示す詳細ブロック図である。
【図３】比較例に係る画像処理装置のパラメータメモリにパラメータを格納する方法の説明図である。
【図４】比較例に係る画像処理装置のパラメータメモリにパラメータを格納する方法の説明図である。
【図５】本発明の実施形態に係る画像処理装置のパラメータメモリにパラメータを格納する方法の説明図であり、（ａ）比較例、（ｂ）圧縮前、（ｃ）圧縮後、（ｄ）格納時、（ｅ）復号後。
【図６】本発明の実施形態に係る画像処理装置における入力画像を符号化したデータの模式的構成図である。
【図７】図６に示される入力画像のパラメータを作成する方法の説明図であり、（ａ）二次元座標グラフ、（ｂ）走査経路。
【図８】図７に示される作成方法により作成されたパラメータを差分圧縮し、２個目のパラメータとしてパラメータメモリに格納する方法の説明図であり、（ａ）相対値に変換する前、（ｂ）相対値に変換した後。
【図９】本発明の実施形態に係る画像処理装置の適用例の説明図であり、飲料ボトルのラベル検査の様子を示す模式的平面図である。
【図１０】従来の投影装置による投影画像の説明図であり、（ａ）画像を変形しない場合、（ｂ）画像を変形する場合。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について図面を参照して詳細に説明する。
【００１７】
（画像処理装置の構成）
図１は、本発明の実施形態に係る画像処理装置１０の構成を示す概略ブロック図である。この画像処理装置１０は、入力された画像（静止画及び動画）に画像処理を施して出力する装置であり、画像入力部１と、画像メモリ２と、画像出力部３と、画像処理部４と、パラメータ圧縮部５と、パラメータメモリ６と、パラメータ復号部７とを備えている。画像入力部１は、画像を入力する入力ポート等である。画像メモリ２は、画像入力部１により入力された画像を格納する。パラメータ圧縮部５は、画像メモリ２に格納された画像に施す画像処理に使用されるパラメータを圧縮する。パラメータメモリ６は、パラメータ圧縮部５により圧縮されたパラメータを格納する。パラメータ復号部７は、パラメータメモリ６に格納されたパラメータを復号する。画像処理部４は、パラメータ復号部７により復号されたパラメータを使用して、画像メモリ２に格納された画像に画像処理を施す。画像出力部３は、画像処理部４により画像処理が施された画像を出力する出力ポート等である。
【００１８】
例えば、パラメータ圧縮部５は、絶対値で表わされた２つのパラメータをペアとして差分を取って相対値を求め、その相対値で表わされたパラメータと絶対値で表わされたパラメータのペアを同時にパラメータメモリ６に転送する。具体的には、奇数列のパラメータとその隣り合う偶数列のパラメータの差分を取り、偶数列のパラメータを絶対値から相対値に変換するようになっている。
【００１９】
また、パラメータ復号部７は、相対値で表わされたパラメータと絶対値で表わされたパラメータのペアを同時にパラメータメモリ６から読み出し、その相対値で表されたパラメータを絶対値に変換する。具体的には、奇数列のパラメータに基づいて、その隣り合う偶数列のパラメータを相対値から絶対値に変換するようになっている。
【００２０】
このように、本発明の実施形態に係る画像処理装置１０では、画像処理に必要なパラメータをパラメータメモリ６に格納する際に差分圧縮を用いる。２つの二次元座標値で表わされた絶対値を相対表現で差分圧縮してパラメータを作成することで、パラメータの転送に必要なメモリ帯域幅を半減させてパラメータメモリ６に格納することができる。
【００２１】
図２は、本発明の実施形態に係る画像処理装置１０の構成を示す詳細ブロック図である。ＦＩＦＯ（First-In First-Out）１１、１２は、格納したデータを転送する機能を持つバスである。Ａｒｂｉｔｅｒ１３は、ＦＩＦＯ１１、１２のうち、作動させるバスを選択する機能を持つ。Ａｒｂｉｔｅｒ１３がＦＩＦＯ１１を選択している場合は、ＦＩＦＯ１１とＦＩＦＯ１４を通って画像入力部１から画像メモリ２へ画像が転送される。一方、Ａｒｂｉｔｅｒ１３がＦＩＦＯ１２を選択している場合は、ＦＩＦＯ１４とＦＩＦＯ１２を通って画像メモリ２から画像出力部３へ画像が転送される。変形回路１５は、外部の変形ソフト等から変形処理に関する指示が入力されると、差分圧縮の機能を含めたパラメータ作成の演算を行い、ＦＩＦＯ１６を通してパラメータメモリ６にパラメータを格納する。画像の変形を開始する際は、パラメータメモリ６からＦＩＦＯ１７を通してパラメータを読み出す。変換回路１８及び変形テーブル生成回路１９は、読み出したパラメータを変形テーブルに変換し、ＦＩＦＯ２０を通してワークメモリ２１へ転送する。変形テーブルは、出力画像の変形具合を決定するテーブルである。ワークメモリ２１は、変形処理を行う際に使用されるメモリである。画像メモリ２からワークメモリ２１へ画像が読み出されるとともに、パラメータメモリ６からワークメモリ２１へ変形テーブルが読み出され、変形処理が行われる。その他の様々な処理もワークメモリ２１を使用して行うことができる。最後は、ＦＩＦＯ１４とＦＩＦＯ１２を通して変形画像を転送し、画像出力部３より出力する。
【００２２】
（比較例：パラメータ格納方法）
図３及び図４は、比較例に係る画像処理装置１０のパラメータメモリ６にパラメータを格納する方法の説明図である。例えば、比較例に係る画像処理装置１０は、画像入力部１から入力された画像を符号化し、パラメータメモリ６のメモリ領域（４８ビット）のうち３２ビットのメモリ帯域幅を使用してパラメータＰ１を格納する。このパラメータＰ１は、Ｘ座標の１６ビットとＹ座標の１６ビットで構成された二次元座標値（Ｘ，Ｙ）に基づく数値の集合である。この図に示すように、比較例では、パラメータＰ１の格納に使われない未使用領域が存在する。そこで、図４に示すように、２個目のパラメータＰ２を作成して未使用領域に格納すると、パラメータＰ２が残りのメモリ帯域幅を超えてしまい、パラメータＰ１、Ｐ２を効率よくパラメータメモリ６に格納することができない。
【００２３】
（本実施形態：パラメータ格納方法）
図５は、本発明の実施形態に係る画像処理装置１０のパラメータメモリ６にパラメータを格納する方法の説明図である。比較例では、図５（ａ）に示すように、１回のメモリアクセスで１つのパラメータＰ１をパラメータメモリ６に格納していた。それに対して、本実施形態では、図５（ｂ）（ｃ）に示すように、１個目のパラメータＰ１に基づいて２個目のパラメータＰ２がパラメータＰ２ａに圧縮される。そのため、図５（ｄ）に示すように、１回のメモリアクセスで２個のパラメータＰ１、Ｐ２ａをパラメータメモリ６に格納することができる。具体的には、１個目のパラメータＰ１は０ビットから３１ビットまでの３２ビットのメモリ領域に格納され、２個目のパラメータＰ２ａは３２ビットから４７ビットまでの１６ビットのメモリ領域に格納される。このように格納された２個のパラメータＰ１、Ｐ２ａは、１回のメモリアクセスでパラメータメモリ６から読み出される。そして、図５（ｅ）に示すように、２個目のパラメータＰ２ａが復号され、元の３２ビットのパラメータＰ２に変換される。
【００２４】
（動作例）
次に、本発明の実施形態に係る画像処理装置１０の変形回路１５が差分圧縮を用いてパラメータを作成し、パラメータメモリ６の未使用領域に格納する動作例を説明する。
【００２５】
図６は、本発明の実施形態に係る画像処理装置１０における入力画像を符号化したデータの模式的構成図である。この図に示すように、入力画像を符号化したデータは、すべて二次元座標グラフで表現される。二次元座標グラフは、入力画像の原点（０，０）からＸ軸方向に１６、Ｙ軸方向に８の（１６，８）までの長方形の範囲で構成される。この範囲を１ブロックとして数え、入力画像の解像度に応じたブロック数分だけ繰り返してパラメータを作成する。
【００２６】
図７は、図６に示される入力画像のパラメータを作成する方法の説明図である。具体的には、図７（ａ）は、１ブロックの座標を絶対値で表現した二次元座標グラフである。この絶対値表現は、変形に必要な座標と座標の間の小数値も補間する。また、図７（ｂ）は、パラメータを作成するときに辿る座標の走査経路である。この図に示すように、まず、原点Ａ１（０，０）、点Ａ２(１，０)、点Ａ３（２，０）・・・とＸ軸の右方向へ走査し、パラメータを作成する。点Ａ１７（１６，０）に到達し、１７番目のパラメータを作成すると、点Ｂ１（０，１）から次の走査を開始する。すなわち、パラメータ作成のための走査は、ブロックの左端からブロックの右端まで移動した後、ブロック下方向へ１ずれて再びブロックの左端からブロックの右端まで移動する、という経路を辿る。このようにブロック最下段、右端まで順に走査し、パラメータを作成する。１ブロックの走査が終わると、次のブロックへ移動し、同様の方法でパラメータを作成する。
【００２７】
図８は、図７に示される作成方法により作成されたパラメータを差分圧縮し、２個目のパラメータとしてパラメータメモリ６に格納する方法の説明図である。まず、図８（ａ）に示すように、入力画像は符号化されて全てが絶対値の二次元座標グラフで表わされる。ここでは、走査順に左から番号を割り当てている。（０，０）（０，１）（０，２）（０，３）（０，４）…からなる列を第１列（奇数列）と呼び、（１，０）（１，１）（１，２）（１，３）（１，４）…からなる列を第２列（偶数列）と呼ぶことにする。以降も同様、第３列（奇数列）、第４列（偶数列）、第５列（奇数列）、…の順に続く。
【００２８】
そこで、本実施形態では、図８（ｂ）に示すように、偶数列の座標を相対表現で相対値に変換する。すなわち、連続する奇数列の絶対値とその隣り合う偶数列の絶対値で差分を取り、偶数列の座標を相対表現による相対値に変換する。奇数列の座標は、絶対値のまま１個目のパラメータ作成に使用し、偶数列の座標は、相対値（＋１，０）に変換して２個目のパラメータ作成に使用するようになっている。相対値（＋１，０）は、絶対値を基準にした相対表現なので、絶対値に戻さずとも絶対値の情報を持つことができる。また、相対値（＋１，０）のＹ座標は常に０であるため、パラメータの転送に必要なメモリ帯域幅を比較例よりも半減させてパラメータメモリ６へ格納することができる。
【００２９】
この２つの効果を持つ差分圧縮により、１回のメモリアクセスで２個のパラメータＰ１、Ｐ２をパラメータメモリ６に格納することができる。すなわち、奇数番目の絶対値で１個目のパラメータＰ１を作成し、３２ビットのメモリ帯域幅を使用してパラメータメモリ６へ格納する。また、偶数番目の相対値で２個目のパラメータＰ２を作成し、未使用領域の１６ビットのメモリ帯域幅を使用してパラメータメモリ６へ格納する。これにより、パラメータメモリ６の４８ビットのメモリ領域に空きが無いようにパラメータを埋めることができるため、メモリの使用率が改善される。この動作を画素数分だけ繰り返し、出力画像のための変形処理パラメータを完成させる。
【００３０】
次に、パラメータメモリ６に格納されたパラメータを変換回路１８及び変形テーブル生成回路１９を通してワークメモリ２１に転送する動作例を説明する。まず、変換回路１８は、パラメータメモリ６からパラメータを読み出し、差分圧縮された１６ビットのパラメータを元の３２ビットのパラメータに変換する。例えば、絶対値座標（０，０）とペアの相対値座標（＋１，０）は、この絶対値座標（０，０）に基づいて絶対値座標（１，０）に変換することができる。次いで、変形テーブル生成回路１９は、変換回路１８により変換されたパラメータに基づいて変形テーブルを作成し、ワークメモリ２１へ転送する。変形テーブルは、復号後のパラメータが格納されるテーブルであるが、そのテーブル構成は特に限定されるものではない。その後、画像メモリ２からワークメモリ２１に画像が読み出され、このように読み出された画像が変形テーブルに基づいて変形され、その変形画像が画像出力部３へ転送される。
【００３１】
（適用例）
本発明の実施形態に係る画像処理装置１０は、レンズ歪みの補正、プロジェクタの台形補正など、入力される静止画および動画の形状を変形する装置に適用することができる。例えば、プロジェクタやＨＵＤのような投影装置に適用してもよいし、あるいは、以下に説明するように、工場などで使用される検査用カメラに適用してもよい。
【００３２】
図９は、飲料ボトル３２のラベル検査の様子を示す模式的平面図である。複数の飲料ボトル３２がベルトコンベア３１により搬送されている。飲料ボトル３２の胴部にはラベルが貼られている。このラベルは、透明基体フィルムにインクで商品表示等を印刷したものである。ベルトコンベア３１の所定位置には複数台の検査用カメラ３３が設置されている。検査用カメラ３３は、飲料ボトル３２の表面に貼られたラベルを撮像し、ラベルの継ぎ目のズレやラベルの表示内容等を撮像画像に基づいて自動的に検査するようになっている。飲料ボトル３２の表面は平坦ではないため、本発明の実施形態に係る画像処理装置１０を検査用カメラ３３に適用し、ラベルを検査する際に撮影画像を変形させるのが望ましい。
【００３３】
以上のように、本実施形態によれば、必要最小限のメモリアクセス回数でパラメータをパラメータメモリに格納することができる。すなわち、メモリ領域の制約を緩和するため、差分圧縮を用いてパラメータを格納するようにしている。差分圧縮は、格納したいパラメータの連続したデータの差分を取って圧縮する効果を有することから、パラメータを格納する際に必要なメモリ帯域幅を半減する作用を生じ、１回のメモリアクセスで比較例の二倍となる量のパラメータをパラメータメモリ６に格納するという効果を奏する。
【００３４】
本実施形態のポイントをまとめると以下のようになる。
【００３５】
（１）パラメータメモリ６には、画像処理を施すためのパラメータが画素単位ごとに格納される。パラメータは、二次元座標値の情報を持つ数値データで表される。この二次元座標値は絶対値である。連続した入力信号であるパラメータは、最初のパラメータから順に１番目、２番目、３番目…というように番号を割り当てることができる。この連続する奇数列と偶数列を１つのペアとして差分を取って相対値を求める。差分を取って求めた相対値は、絶対値と同様の二次元座標値の情報を持っている。
【００３６】
（２）差分を取って求めた相対値を２個目のパラメータとしてパラメータメモリ６に格納する。比較例の場合、パラメータメモリ６には、メモリ領域の制約により１個のパラメータしか格納できなかった。しかし、相対値であるパラメータの容量は絶対値のパラメータの容量の半分であるため、パラメータメモリ６へ格納するのに必要なメモリ領域も比較例の半分になる。こうして圧縮されたパラメータは、１個目のパラメータを格納すると同時にパラメータメモリ６に格納することができる。すなわち、差分圧縮を用いて１回のメモリアクセスで２個のパラメータをパラメータメモリ６に格納することが可能である。
【００３７】
なお、ここでは、画像処理として変形処理を例示したが、本発明は、必要最小限のメモリアクセス回数でパラメータをパラメータメモリに格納することが必要な画像処理全般に適用することができる。もちろん、必要最小限のメモリアクセス回数で複数種類の画像処理を同時に行うことも可能である。
【００３８】
また、本発明は、画像処理装置１０として実現することができるだけでなく、このような画像処理装置１０が備える特徴的な処理部をステップとするパラメータ格納方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。このようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのはいうまでもない。
【符号の説明】
【００３９】
１…画像入力部
２…画像メモリ
３…画像出力部
４…画像処理部
５…パラメータ圧縮部
６…パラメータメモリ
７…パラメータ復号部
１０…画像処理装置
【図１】
2014170986.tif 000003
【図３】
2014170986.tif 000004
【図４】
2014170986.tif 000005
【図５】
2014170986.tif 000006
【図６】
2014170986.tif 000007
【図７】
2014170986.tif 000008
【図９】
2014170986.tif 000009
【図２】
2014170986.tif 000010
【図８】
2014170986.tif 000011
【図１０】
2014170986.tif 000012