(57)【要約】【課題】内部記憶回路の容量が限られている場合でも、効率良く光学歪み補正を行うことが可能な画像処理装置を提供する。【解決手段】歪みを有する入力画像を、複数の参照画像に分割し、一定サイズ毎に読み取り、記憶し、記憶した画像データに対して歪みの補正を行い、画像を出力する画像処理装置であって、読み取られた画像データのうち、１度の処理で処理される画像データの範囲を複数の参照画像とすることができる。【選択図】図１
2015154455.tif 000002
【特許請求の範囲】
【請求項１】
歪みを有する入力画像を複数の大きさからなるエリアに分割した参照画像の画像データを一定サイズ毎に読み取る読取手段と、
前記読取手段によって読み取られた画像データを記憶する記憶手段と、
前記記憶手段に記憶された画像データのうち、１度の処理で処理される画像データの範囲を決定する処理範囲決定手段と、
前記処理範囲決定手段によって決定された処理範囲の画像データに対して歪み補正を行う歪み補正手段と、
を有する画像処理装置であって、
前記処理範囲決定手段は、参照画像１つ分より大きい範囲の画像データを処理範囲に含めることを特徴とする画像処理装置。
【請求項２】
前記処理範囲決定手段は、複数の参照画像を処理範囲に含めることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記処理範囲決定手段は、参照画像を分割したうちの一部を処理範囲に含めることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記読取手段が読み取りを行う前に、入力画像に基づいて、前記読取手段が読み取る位置と、処理範囲として含める範囲を計算し、計算結果をテーブルに格納する処理範囲事前決定手段をさらに有し、
前記処理範囲決定手段は、前記テーブルを参照し取得した計算結果を処理範囲とすることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
歪みを有する入力画像を複数の大きさからなるエリアに分割した参照画像の画像データを一定サイズ毎に読み取る読取ステップと、
前記読取ステップによって読み取られた画像データのうち、複数の参照画像の画像データを１度の処理で処理される画像データの範囲に含める処理範囲決定ステップと、
前記処理範囲決定ステップによって決定された処理範囲の画像データに対して歪み補正を行う歪み補正ステップと、
を有する画像処理方法。
【請求項６】
画像処理装置に、請求項５記載の画像処理方法を用いて画像の処理を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及び画像処理プログラムに関し、特に、入力画像データに対して所定の画像変形処理を施して出力画像得データを出力する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
テレビ会議システム、監視カメラ等の映像機器においては、画角の広い映像を取得することが望ましい。従来から、１枚のレンズで画角の広い映像を取得することができる、魚眼レンズ等の広角レンズが用いられている。
【０００３】
広角のレンズでは、レンズの歪曲収差特性のため、その周辺部に行くほど歪曲率が大きくなるため、画像の歪みを補正するための画像処理を施す必要がある。画像処理方法の１つとして、出力画像の１画素ごとに、対応する入力画像の画素の座標値とサブピクセル値を変形パラメータとして入力し、バイリニア補間、バイキュービック補間等の補間演算処理を行って、出力画像の画素を生成していく方法が知られている。
【０００４】
このような処理を行う画像処理装置においては、画像処理を施す入力画像の一部を内部記憶回路に保存し、保存した画像データに対して画像処理を施す。一般的に、内部記憶回路の容量は、設計時に決定される。そのため、画像処理を行う際は、決められた容量を効率良く使用することが望ましい。
【０００５】
特許文献１には、ズームによって撮影された画像の光学歪み補正を行う際に、画像データを圧縮し内部記憶回路内に格納する際に、内部記憶回路の容量に収まるように圧縮を行う技術について記載されている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
光学歪みを補正する方法として、入力画像を複数のエリアに分割し、入力画像の歪み率を取得し、これらを内部記憶回路に格納し、出力画像のエリア単位で変形処理を行う方法がある。
【０００７】
この場合、出力画像のエリア単位で入力画像をエリア分けするため、出力画像の各エリアでは画像データは同じ大きさになるが、入力画像においてはエリアによって容量の大きさが異なる。この場合も、内部記憶回路の容量は、容量が最大となるエリアに合わせ設計段階で一定となっているため、入力画像のエリアによっては、容量が無駄になってしまう。
【０００８】
また、内部記憶回路に１エリア毎に画像データを保存し、歪み補正処理を行うことを繰り返すため、外部へアクセスする頻度が高くなり、効率が悪い。
【０００９】
特許文献１に記載されている技術は、限られた容量で画像データの光学歪みを補正することを目的としているが、画像のエリアを分割して光学歪みを補正する方法については何ら記載されていない。
【００１０】
本発明の目的は、内部記憶回路の容量が限られている場合でも、効率良く光学歪み補正を行うことが可能な画像処理装置を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の画像処理装置は、歪みを有する入力画像を複数の大きさからなるエリアに分割した参照画像の画像データを一定サイズ毎に読み取る読取手段と、前記読取手段によって読み取られた画像データを記憶する記憶手段と、前記記憶手段に記憶された画像データのうち、１度の処理で処理される画像データの範囲を決定する処理範囲決定手段と、前記処理範囲決定手段によって決定された処理範囲の画像データに対して歪み補正を行う歪み補正手段と、を有する画像処理装置であって、前記処理範囲決定手段は、参照画像１つ分より大きい範囲の画像データを処理範囲に含めることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、内部記憶回路の容量が限られている場合でも、効率良く光学歪み補正を行うことが可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の画像処理装置の実施形態１の動作を示すフローチャート図である。
【図２】本発明の画像処理装置の実施形態１の構成を示すブロック図である。
【図３】本発明の画像処理装置の画像変形回路の実施形態１の構成を示すブロック図である。
【図４】本発明の画像処理装置の実施形態１の入力画像を示す図である。
【図５】本発明の画像処理装置の実施形態１の出力画像を示す図である。
【図６】本発明の画像処理装置の実施形態１の入力画像を示す図である。
【図７】本発明の画像処理装置の実施形態１の入力画像を示す図である。
【図８】従来の画像処理装置の動作を示すフローチャート図である。
【発明を実施するための形態】
【００１４】
＜実施形態１の全体の構成及び動作＞
図２は、実施形態１の画像処理装置１００の構成を示すブロック図である。図２に示すように、画像処理装置１００は、センサインターフェース回路１、ＩＳＰ２、ライトＤＭＡＣ３、インターコネクト回路４、外部記憶回路５、リードＤＭＡＣ６、画像変形回路１０、判断回路２０を有する。ＩＳＰとは画像信号プロセッサを示し、ＤＭＡＣとはダイレクトメモリアクセスコントローラを示している。
【００１５】
センサインターフェース回路１は、例えばカメラなどのＣＣＤセンサからの入力画像データを受信して所定の形式の入力画像データであるＲＡＷデータに変換してＩＳＰ２に出力する。
【００１６】
ＩＳＰ２は入力されるＲＡＷデータに対して所定の画像処理を行った後、処理後の画像データを、ライトＤＭＡＣ３及びインターコネクト回路４を介して外部記憶回路５に出力する。当該ＩＳＰ処理は、レンズなどの光学系の補正処理、イメージセンサのばらつきなどから発生する傷補正などの画素単位での処理を主として含む。
【００１７】
ライトＤＭＡＣ３はＩＳＰ２による画像処理後の画像データを外部記憶回路５に一時的に書き込むための回路である。インターコネクト回路４は外部記憶回路５に接続される各回路間の調停回路として動作し、外部記憶回路５と、画像変形回路１０と、リードＤＭＡＣ６とが接続される。
【００１８】
歪み補正手段である画像変形回路１０は、インターコネクト回路４からの変形パラメータ及び参照画像データに基づいて、参照画像データに対して例えば歪み補正処理などの任意の画像変形処理を行う。その後、画像データを、インターコネクト回路４を介して外部記憶回路５に出力する。リードＤＭＡＣ６は、画像変形処理後の画像データを、インターコネクト回路４を介して外部記憶回路５から読み出し、各種映像表示装置に出力する。
【００１９】
以上のように構成された画像処理装置では、ＩＳＰ処理後の画像データと、任意変形処理後の画像データと、任意の画像変形処理のための変形パラメータを、外部記憶回路５に格納して処理するように構成されている。
【００２０】
ＩＳＰ処理後の画像データは、ＣＣＤセンサからの入力画像データに応じて毎フレーム更新される。また、画像変形処理後の画像データは、画像変形処理の結果である画像データに応じて毎フレーム更新される。ここで、任意の画像変換処理のための変形パラメータは必要に応じて更新する。なお、毎フレーム同じ変形処理を施す場合は更新の必要はない。
【００２１】
図３は図２の画像変形回路１０の構成を示すブロック図である。図２において、画像変形回路１０は、補正演算回路１１と、内部記憶回路１６と、シーケンサ回路１２と、インターフェース回路１３と、設定レジスタ回路１４と、レジスタ制御回路１５とを備えて構成される。
【００２２】
インターフェース回路１３は、インターコネクト回路４を介して外部記憶回路５に接続され、変形パラメータ、参照画像データ及び補正後画像データについて、外部記憶回路５と情報のやり取りを行う。
【００２３】
具体的には、インターフェース回路１３は、外部記憶回路５から、変形パラメータ及び参照画像データを入力する一方、画像変形処理後の画像データを外部記憶回路５に出力する。
【００２４】
レジスタ制御回路１５はＣＰＵ７からの制御信号に基づいて、補正演算回路１１及びシーケンサ回路１２のための設定レジスタ回路１４に対するリード・ライト制御を行う。シーケンサ回路１２は、当該画像変形回路１０の全体の動作を制御する。
【００２５】
なお、画像変形回路１０には、外部回路からクロック信号、リセット信号及び動作制御信号が供給される。補正演算回路１１は、変形パラメータ及び参照画像データを内部記憶回路１６から読み出して出力画素を生成して出力する。補正演算回路１１等が参照画像データを読み取る読取手段として機能している。
【００２６】
＜実施形態１の判断回路２０の動作及び歪み補正方法＞
図２に示す判断回路２０の動作及び歪み補正について説明する。図５に示すように、出力画像はエリアを分割されており、画像変形回路１０ではエリア毎に歪みの補正が行われ、出力画像の対応したエリアの画像データが作成される。
【００２７】
この時、処理範囲決定手段である判断回路２０は画像変形回路１０内にある記憶手段である内部記憶回路１６の容量情報を保持しており、変形パラメータを取得することで内部記憶回路１６に参照画像が複数エリア読み込めるかを判断している。
【００２８】
作成された出力画像の画像データは、エリア毎にインターコネクト回路４を経由して外部記憶回路５へ格納される。参照画像の全エリアについて処理が終わると、外部記憶回路５に格納されている出力画像の画像データは、インターコネクト回路４を経由して出力される。
【００２９】
判断回路２０の動作について、図１を参照しながら説明する。まず、外部記憶回路５に格納されている変形パラメータを取得する（ステップＳ１）。次に、画像変形回路１０が次に処理しようとしている参照画像のエリアの情報を取得する（ステップＳ２）。
【００３０】
判断回路は入力画像の歪みに合わせて生成されている変形パラメータと、任意画像変形回路が現在どのエリアを処理しているのかの情報から、次処理のデータが内部記憶回路の容量内に収まるかを判断する（ステップＳ３）。
【００３１】
複数エリア分の参照画像を保持できる場合（ステップＳ３、Ｙｅｓ）は、後続何エリア分の参照画像データを読み出すのかを伝え、次処理に必要情報を取得し待機しておく。１エリア分しか参照画像データを保持できない場合（ステップＳ３、Ｎｏ）は、１エリア分の参照画像データを読み出す旨を伝え、次処理に必要情報を取得し待機しておく。
【００３２】
ここで、参照画像データの取得時の動作（ステップＳ４及びＳ５）について説明する。図４、図６及び図７は歪み画像の１例を示しており、図５は歪み補正を行った後の状態を示している。図５のエリア３０１の出力画像を得るためには、図６のエリア２０１を含む１０５Ａに示す内部記憶回路の領域の参照画像データが必要となる。
【００３３】
図５のエリア３０２の出力画像を得るためには、図６のエリア２０２の参照画像データが最低限必要となる。ここで、内部記憶回路の容量は設計時に１０５Ａに示す一定サイズに固定されているため、参照画像の取得が一定サイズ毎に行われることになる。図６のエリア２０２参照画像を取得しても、容量は余っているので、さらに読取方向に沿って画像の取得を進める。読み取りは、上の行から下の行に向かって１行ずつ左から右に行われるので、図６の斜線部２０２Ａの参照画像データを取得したところで固定されたサイズに到達し、読み取りが完了する。
【００３４】
なお、図６及び図７の１０５Ａ、１０５Ｂ、１０５Ｃ及び１０５Ｄはいずれも長方形で表されているが、１度の読み取りで読み取られるデータサイズが等しい領域を模式的に表現したものであり、実際に長方形のエリアに区切って読み取りが行われるわけではない。例えば図６の場合は、前述した通り、読み取り方向に沿って所定のデータサイズを越えない範囲で１エリアずつ参照画像データを取得する。
【００３５】
処理が複雑になるが、１０５Ａ、１０５Ｂ、１０５Ｃ及び１０５Ｄを全て同一形状の長方形として、読み取り方向を無視して、長方形の中に入るエリアの参照画像データとして取得していくようにしても良い。
【００３６】
ここで、図１の説明に戻ると、１度の読み込みで６つのエリアの参照画像を取得しているため、取得した参照画像に対して順次歪み補正処理を行い出力する。全てのエリアについて出力が終わったところで処理が完了となる（ステップＳ６、Ｙｅｓ）。
【００３７】
＜実施形態１の作用・効果＞
図８は従来の参照画像取得方法を示すフローチャート図である。図８に示すように、まず、外部記憶回路５に格納されている変形パラメータを取得する（ステップＳ１０１）。次に、画像変形回路１０が次に処理しようとしている参照画像のエリアの情報を取得する（ステップＳ１０２）。
【００３８】
ここまでは本発明の実施形態１の動作と同様である。その後、常に１エリア分の参照画像情報を取得している（ステップＳ１０３）点が異なっている。即ち、従来は１回の読み取りで１エリア分の参照画像しか取得できなかったが、本発明の実施形態１においては、１度の読み取りで１エリア分より大きい範囲の参照画像領域を取得できるため、読み取り回数を減らし、効率良く処理を行うことが可能となる。
【００３９】
＜実施形態２の判断回路２０の動作及び歪み補正方法＞
また、参照画像データを取得する単位は、１エリア単位である必要は無く、実施形態２として、１つのエリアを複数に分割した状態で取得し、歪みの補正を行うようにしても良い。その他の構成及び動作は実施形態１と同様である。また、実施形態１と併せて適用することも可能である。
【００４０】
例えば、図７の１０５Ｃが示す内部記憶回路の領域にエリア２０３の参照画像データを取得する際に、隣接するエリア２０４の参照画像データの左側８０％程度が取得できる。また、１０５Ｄに示す内部記憶回路の領域にエリア２０５の参照画像データを取得する際に、エリア２０４の参照画像データの右側６０％程度が取得できる。
【００４１】
この場合、１回目の参照画像データ取得時には、エリア２０３及びエリア２０４の左側５０％分の参照画像の補正を行い、２回目の参照画像データ取得時にはエリア２０４の右側５０％分及びエリア２０５の参照画像の補正を行うことができる。また、どのエリアまで取得するかは判断回路２０によって判断する。
【００４２】
＜実施形態２の作用・効果＞
実施形態２では、１つのエリアを分割して一部を取得することによって、実施形態１よりもさらに少ない読み取り回数で効率良く処理を行うことが可能となっている。
【００４３】
＜実施形態３の判断回路２０の動作及び歪み補正方法＞
さらに、実施形態３として、判断回路２０による判断を行わず、図示しない処理範囲事前決定手段により、予め読み取り動作の位置と、処理を行う範囲を、テーブル等に格納し、外部記憶回路５等で保持しておく方法が考えられる。変形パラメータが分かっていれば、入力画像に対して最適な読み取り範囲を計算し、その計算結果を保持しておくことが可能である。
【００４４】
＜実施形態３の作用・効果＞
実施形態３では、読み取り毎に判断回路による計算を行う必要がないため、処理の効率がさらに良くなる。
【００４５】
なお、上記の実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。
【００４６】
また、図４等で示している歪み画像は、一例を示しているため、図４等とは逆に中心部の参照画像が大きく、外側の参照画像が小さい場合などもあるが、その場合も本発明は適用することができる。
【００４７】
実施形態１から３で行われる処理を実行させる画像処理プログラムを、画像処理装置や画像形成装置に予めインストールするようにしても良い。また、画像処理装置とネットワークで接続された端末等に、画像形成装置に命令可能なプログラムをインストールしておくようにしても良い。
【符号の説明】
【００４８】
１    センサインターフェース回路
２    ＩＳＰ
３    ライトＤＭＡＣ
４    インターコネクト回路
５    外部記憶回路
６    リードＤＭＡＣ
７    ＣＰＵ
１０    画像変形回路
１１    補正演算回路
１２    シーケンサ回路
１３    インターフェース回路
１４    設定レジスタ回路
１５    レジスタ制御回路
１６    内部記憶回路
２０    判断回路
１００    画像処理装置
【先行技術文献】
【特許文献】
【００４９】
【特許文献１】特開２０１３−１１０６４７号公報
【図１】
2015154455.tif 000003
【図２】
2015154455.tif 000004
【図３】
2015154455.tif 000005
【図４】
2015154455.tif 000006
【図５】
2015154455.tif 000007
【図６】
2015154455.tif 000008
【図７】
2015154455.tif 000009
【図８】
2015154455.tif 000010