(57)【要約】【課題】記憶領域からの画像読出しに係るデータ転送に要する帯域を減少させた歪み補正を行う画像処理装置を提供すること。【解決手段】画像処理装置は、レンズを介して撮像された画像に歪み補正を行った補正画像を生成し、前記補正画像の一部を切り出した領域に関連付けられた、前記撮像された画像のデータの一部である複数の画素を特定する第１のテーブルに基づいて、前記複数の画素のデータを取得する取得部と、前記取得された複数の画素のデータにベイヤー補間を行う補間部と、前記ベイヤー補間された複数の画素のデータに、画素補間による歪み補正を行って前記補正画像を生成する生成部とを有する。【選択図】図５
2018205987.tif 000002
【特許請求の範囲】
【請求項１】
レンズを介して撮像された画像に歪み補正を行った補正画像を生成する画像処理装置であって、
前記補正画像の一部を切り出した領域に関連付けられた、前記撮像された画像のデータの一部である複数の画素を特定する第１のテーブルに基づいて、前記複数の画素のデータを取得する取得部と、
前記取得された複数の画素のデータにベイヤー補間を行う補間部と、
前記ベイヤー補間された複数の画素のデータに、画素補間による歪み補正を行って前記補正画像を生成する生成部とを有する画像処理装置。
【請求項２】
前記第１のテーブルは、前記撮像された画像のデータの一部である複数の画素の周辺領域の画素をさらに特定する請求項１記載の画像処理装置。
【請求項３】
前記画素補間は、前記ベイヤー補間された複数の画素の一部を特定する第２のテーブルに基づいて行われ、前記第２のテーブルが特定する複数の画素は、前記ベイヤー補間された複数の画素が構成する領域の端部に存在する無効画素を含まない請求項１又は２記載の画像処理装置。
【請求項４】
前記補間部は、前記取得された複数の画素のデータが、ベイヤー配列ではない場合にベイヤー補間を行わない請求項１記載の画像処理装置。
【請求項５】
前記画素補間は、バイリニア法又はバイキュービック法に基づく補間である請求項１乃至４いずれか一項記載の画像処理装置。
【請求項６】
前記補正画像の一部を切り出した領域は、矩形である請求項１乃至５いずれか一項記載の画像処理装置。
【請求項７】
レンズを介して撮像された画像に歪み補正を行った補正画像を生成する画像処理方法であって、
前記補正画像の一部を切り出した領域に関連付けられた、前記撮像された画像のデータの一部である複数の画素を特定する第１のテーブルに基づいて、前記複数の画素のデータを取得する取得手順と、
前記取得された複数の画素のデータにベイヤー補間を行う補間手順と、
前記ベイヤー補間された複数の画素のデータに、画素補間による歪み補正を行って前記補正画像を生成する生成手順とを実行する画像処理方法。
【請求項８】
レンズを介して撮像された画像に歪み補正を行った補正画像を生成する画像処理装置が実行可能なプログラムであって、
前記補正画像の一部を切り出した領域に関連付けられた、前記撮像された画像のデータの一部である複数の画素を特定する第１のテーブルに基づいて、前記複数の画素のデータを取得する取得手順と、
前記取得された複数の画素のデータにベイヤー補間を行う補間手順と、
前記ベイヤー補間された複数の画素のデータに、画素補間による歪み補正を行って前記補正画像を生成する生成手順とを前記画像処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
広角レンズ又は魚眼レンズは、車載用カメラ若しくはセキュリティ用監視カメラ等の分野で広く使われており、一つのレンズで広い画角の画像を得ることが特徴であるが、画像周辺部の歪みが大きいため、歪み補正処理により画像を目的に合わせて加工することがある。また、一般に、ＣＣＤ（Charge Coupled Device）センサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等からなる撮像素子は、ベイヤー配列構造で画素が物理的に配列されている。撮像素子がベイヤー配列構造の場合、撮像素子から出力された画像データは、例えば、画像処理装置の記憶装置にベイヤー配列のデータで格納される。
【０００３】
このようなベイヤー配列のデータを、ベイヤー補間しＲＧＢ画像にした後に、外部メモリに格納し、外部メモリに格納された画像に対して、歪み補正処理を行う方法として、出力画像を格子状に分割し、分割された出力画像ごとに歪み補正処理を行う方法が既に知られている（例えば特許文献１）。また、歪み補正処理に係る演算量が多いため、歪み補正処理を外部で行い、当該結果を利用することによって歪み補正処理を行う装置において、歪み補正処理にメッシュモデルを使用する方法が開示されている（例えば特許文献２）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術で歪み補正処理を行う場合、高解像度の撮像素子からの入力画像に対して、フレームレートを維持しながら歪み補正処理を行うためには、歪み補正処理時の記憶領域からの画像読出しに係るデータ転送に要する帯域が不足しているという問題があった。
【０００５】
本発明は上記の点に鑑みてなされたものであって、記憶領域からの画像読出しに係るデータ転送に要する帯域を減少させた歪み補正処理を行う画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
そこで上記課題を解決するため、画像処理装置は、レンズを介して撮像された画像に歪み補正を行った補正画像を生成し、前記補正画像の一部を切り出した領域に関連付けられた、前記撮像された画像のデータの一部である複数の画素を特定する第１のテーブルに基づいて、前記複数の画素のデータを取得する取得部と、前記取得された複数の画素のデータにベイヤー補間を行う補間部と、前記ベイヤー補間された複数の画素のデータに、画素補間による歪み補正を行って前記補正画像を生成する生成部とを有する。
【発明の効果】
【０００７】
記憶領域からの画像読出しに係るデータ転送に要する帯域を減少させた歪み補正処理を行う画像処理装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】従来の歪み補正処理部を備える画像処理装置０を示す図である。
【図２】従来の歪み補正処理部５の入力画像及び出力画像の例を示す図である。
【図３】従来の歪み補正処理部５の線形補間の例を示す図である。
【図４】本発明の実施の形態における画像処理装置１００のハードウェア構成例を示す図である。
【図５】本発明の実施の形態における画像処理装置１００の機能構成例を示す図である。
【図６】本発明の実施の形態における記憶領域部１０２に格納される画素フォーマットの例を示す図である。
【図７】本発明の実施の形態における取り出し制御部１０８の動作の一例を示す図である。
【図８】本発明の実施の形態におけるベイヤー補間（Ｂ色）の一例を示す図である。
【図９】本発明の実施の形態におけるベイヤー補間（Ｒ色）の一例を示す図である。
【図１０】本発明の実施の形態におけるベイヤー補間（Ｇ色）の一例を示す図である。
【図１１】本発明の実施の形態におけるベイヤー補間後の各色ごとの画素データ群の一例を示す図である。
【図１２】従来の構成による画素データ群を示す図である。
【図１３】本発明の実施の形態におけるバイリニア法による画素補間（Ｂ色）の一例を示す図である。
【図１４】本発明の実施の形態におけるバイリニア法による画素補間（Ｒ色）の一例を示す図である。
【図１５】本発明の実施の形態におけるバイリニア法による画素補間（Ｇ色）の一例を示す図である。
【図１６】本発明の実施の形態におけるバイキュービック法による画素補間（Ｂ色）の一例を示す図である。
【図１７】本発明の実施の形態におけるバイキュービック法による画素補間（Ｒ色）の一例を示す図である。
【図１８】エリアパラメータによる画素データ取り出しの一例を示す図である。
【図１９】本発明の実施の形態におけるエリアパラメータの設定例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面に基づいて本発明の実施の形態を説明する。
【００１０】
図１は、従来の歪み補正処理部を備える画像処理装置０を示す図である。図１に示されるように、画像処理装置０は、撮像部１、記憶領域部２、ベイヤー補間部３、制御部４、歪み補正処理部５、元エリアテーブル９及び相対位置テーブル１０を有する。
【００１１】
撮像部１は、レンズ及び撮像素子を介して取得した画像データを出力する。画像データは、撮像素子の物理的配置によるベイヤー配列で構成される。ベイヤー補間部３は、撮像部１から取得したベイヤー配列の画像データにベイヤー補間を行い、ＲＧＢ画像を出力する。記憶領域部２は、当該ＲＧＢ画像を記憶する。制御部４は、相対位置テーブル１０から、出力画素に対応する入力画像の座標を特定する。また、制御部４は、元エリアテーブル９から、入力画像の領域を特定する。歪み補正処理部５は、画素補間部６、補正エリア記憶部７及び取り出し制御部８を有する。画素補間部６は、取り出した入力画像を所定の方式で補間することにより、出力画素を生成する。補正エリア記憶部７は、歪み補正処理に使用する入力画像を記憶する。取り出し制御部８は、元エリアテーブル９に基づいて、記憶領域部２から歪み補正処理に使用する入力画像を取得する。
【００１２】
図２は、従来の従来の歪み補正処理部５の入力画像及び出力画像の例を示す図である。図２に示される表示領域Ｘを含む画像は、出力画像である。当該表示領域Ｘを生成するために参照される入力画像の領域は、入力画像領域Ａである。
【００１３】
図３は、従来の歪み補正処理部５の線形補間の例を示す図である。図３に示される３１は、出力画像を示す。図３に示される３２及び３３は、出力画素ごとに、入力画像の参照画素が対応する座標を線形補間で求める例である。図３に示される３４は、入力画像の参照画素に対応する領域を図示している。
【００１４】
上述のように、従来の歪み補正処理部５において、取り出し制御部８は、ベイヤー補間後のＲＧＢ画像を入力画像として、記憶領域部２から取得する。
【００１５】
図４は、本発明の実施の形態における画像処理装置１００のハードウェア構成例を示す図である。図４に示されるように、画像処理装置１００は、相互に接続されているＣＰＵ（Central Processing Unit）１００１、ネットワークインタフェース１００２、入出力インタフェース１００３、内部メモリ１００４、外部メモリ１００５、撮像素子１００６及び表示デバイス１００７を有する。
【００１６】
画像処理装置１００での処理を実現するプログラムは、内部メモリ１００４又は外部メモリ１００５に格納される。内部メモリ１００４又は外部メモリ１００５は、インストールされたプログラムを格納すると共に、必要なファイル及びデータ等を格納する。内部メモリ１００４又は外部メモリ１００５は、ＳＲＡＭ（Static Random Access Memory）、ＤＤＲ（Double Data Rate）−ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ又は外部記憶媒体であるメモリカード等のいずれであってもよいし、それらの複数を含んでもよい。
【００１７】
ネットワークインタフェース１００２は、ネットワークを介して外部装置と通信を行うためのインタフェースである。当該インタフェースは、有線又は無線ＬＡＮ（Local Area Network）であってもよいし、他の通信方式を使用するものでもよい。
【００１８】
入出力インタフェース１００３は、図４に示されるように、撮像素子１００６及び表示デバイス１００７と接続を行う。また、入出力インタフェース１００３は、スマートフォン、ＵＳＢ（Universal Serial Bus）機器、ハードウェアキー、状態通知用ＬＥＤ（Light Emitting Diode）、液晶ディスプレイ等の様々な入出力装置との接続を行うためのインタフェースである。撮像素子１００６は、レンズを介して、撮像を行う。表示デバイス１００７は、入力される画像を表示する。
【００１９】
図５は、本発明の実施の形態における画像処理装置１００の機能構成例を示す図である。図５に示されるように、画像処理装置１００は、撮像部１０１、記憶領域部１０２、ベイヤー補間部１０３、制御部１０４、歪み補正処理部１０５、元エリアテーブル１０９、相対位置テーブル１１０及びエリアテーブル１１１を有する。
【００２０】
撮像部１０１、記憶領域部１０２、ベイヤー補間部１０３、制御部１０４、歪み補正処理部１０５、元エリアテーブル１０９、相対位置テーブル１１０及びエリアテーブル１１１は、画像処理装置１００にインストールされた１以上のプログラムがＣＰＵ１００１に実行させる処理により実現されてもよい。記憶領域部１０２、元エリアテーブル１０９、相対位置テーブル１１０及びエリアテーブル１１１は、内部メモリ１００４又は外部メモリ１００５により実現されてもよい。撮像部１０１は、撮像素子１００６により実現されてもよい。なお、歪み補正処理部１０５は、図４に示されるハードウェア構成の一部又は全部を個別に有してもよい。
【００２１】
撮像部１０１は、図１に示される撮像部１と同様である。記憶領域部１０２は、撮像部１０１から出力される画像を記憶する。
【００２２】
図６は、本発明の実施の形態における記憶領域部１０２に格納される画素フォーマットの例を示す図である。図６に示されるように、ベイヤー配列の画像データが格納される。すなわち、画像データが、各画素にＲＧＢいずれかを配置する２次元配列として格納される。撮像部１０１から出力される画像データに応じて、画像データのサイズは変更される。
【００２３】
図５に戻る。制御部１０４は、相対位置テーブル１１０から、出力画素に対応する入力画像の座標を特定する。また、制御部１０４は、元エリアテーブル１０９及びエリアテーブル１１１から、入力画像の領域を特定する。
【００２４】
歪み補正処理部１０５は、画素補間部１０６、補正エリア記憶部１０７、取り出し制御部１０８及びベイヤー補間部１０３を有する。画素補間部１０６は、取り出した入力画像を所定の方式で補間することにより、出力画素を生成する。補正エリア記憶部１０７は、歪み補正処理に使用する入力画像を記憶する。取り出し制御部１０８は、エリアテーブル１１１に基づいて、記憶領域部１０２から歪み補正処理に使用する入力画像を取得する。ベイヤー補間部１０３は、図１に示されるベイヤー補間部３と同様である。
【００２５】
図７は、本発明の実施の形態における取り出し制御部１０８の動作の一例を示す図である。取り出し制御部１０８は、エリアテーブル１１１から入力されるデータに基づいて、記憶領域部１０２から画像データを矩形領域で取り出す。エリアテーブル１１１には、領域情報である、記憶領域部１０２における開始アドレスと、取り出す矩形領域の情報とが保持されている。取り出し制御部１０８は、当該矩形領域の情報にしたがって記憶領域部１０２にデータアクセスを行い、画像データを取り出す。
【００２６】
記憶領域部１０２は、ＤＤＲ−ＳＤＲＡＭ等の大容量の記憶装置が使用される。図７に示されるように、データアクセスの効率をあげるために、取り出し制御部１０８は、アドレッシングが連続となるようにライン単位で記憶領域に対してデータアクセスを行う。ライン単位で取り出されたデータは、順次ベイヤー補間部へと転送される。エリアテーブル１１１には、領域情報が、出力画像を格子状に分割した数だけ存在する。取り出し制御部１０８は、エリアテーブル１１１の領域情報を順に取り出し、記憶領域部１０２から当該領域情報で特定される複数の画像データを取り出し、ベイヤー補間部１０３へ転送する。なお、記憶領域部１０２から取り出される画像データは、ベイヤー補間前の画素データである。
【００２７】
図８は、本発明の実施の形態におけるベイヤー補間（Ｂ色）の一例を示す図である。ベイヤー補間部１０３は、取り出し制御部１０８から転送された画像データをバッファに蓄積し、ベイヤー補間を行う。ベイヤー補間処理はＲＧＢそれぞれの色で行われ、欠落している色情報を周辺画素から保管する。ベイヤー補間時の補間式（Ｂ色）を以下に記載する。
Ｂ色が存在するライン：
Ｂ０１  ＝  （Ｂ００＋Ｂ０２）／２
Ｂ０３  ＝  （Ｂ０２＋Ｂ０４）／２
Ｂ色が存在しないライン：
Ｂ１０  ＝  （Ｂ００＋Ｂ２０）／２
Ｂ１１  ＝  （Ｂ００＋Ｂ０２＋Ｂ２０＋Ｂ２２）／４
Ｂ１２  ＝  （Ｂ０２＋Ｂ２２）／２
図９は、本発明の実施の形態におけるベイヤー補間（Ｒ色）の一例を示す図である。図８と同様に、ベイヤー補間時の補間式（Ｒ色）を以下に記載する。Ｒ色の補間時に必要な入力側バッファ量は２ラインとなる。
Ｒ色が存在するライン：
Ｒ１２  ＝  （Ｒ１１＋Ｒ１３）／２
Ｒ１４  ＝  （Ｒ１３＋Ｒ１５）／２
Ｒ色が存在しないライン：
Ｒ２１  ＝  （Ｒ１１＋Ｒ３１）／２
Ｒ２２  ＝  （Ｒ１１＋Ｒ１３＋Ｂ３１＋Ｒ３３）／４
Ｒ２３  ＝  （Ｒ１３＋Ｒ３３）／２
図１０は、本発明の実施の形態におけるベイヤー補間（Ｇ色）の一例を示す図である。図８と同様に、ベイヤー補間時の補間式（Ｇ色）を以下に記載する。Ｇ色の補間時に必要な入力側バッファ量は３ラインとなる。
Ｇ１１  ＝  （Ｇ０１＋Ｇ１０＋Ｇ１２＋Ｇ２１）／４
Ｇ１３  ＝  （Ｇ０３＋Ｇ１２＋Ｇ１４＋Ｇ２３）／４
上記は、一例であり、ベイヤー補間における補間式は、上記の式に限られない。
【００２８】
図１１は、本発明の実施の形態におけるベイヤー補間後の各色ごとの画素データ群の一例を示す図である。図１１に示される「ベイヤー補間部に入力される画素データ群」をベイヤー補間した後のデータが「ベイヤー補間後の画素データ群」である。図８、図９及び図１０に示した補間の方法では、ベイヤー補間後の画素データは、取り出し領域から取り出された領域すべての画素の補間はできない。取り出し領域の上端、左端、右端、下端では、ベイヤー補間時に参照するデータが存在しないためである。図１１に示されるように、取り出された領域のデータにベイヤー補間をかけた後の領域のデータは、Ｂ色は領域の右端が存在せず、Ｒ色は上端、下端、左端のデータが存在せず、Ｇ色は上端、下端、右端、左端の一部の画素データが存在していない。すなわち、ベイヤー補間部１０３は、取り出された領域内のＲＧＢ色の全画素データを生成することはできない。
【００２９】
図１２は、従来の構成による画素データ群を示す図である。図１２に示されるように、従来は、ベイヤー補間後の画素データを記憶領域部１０２から取り出すため、取り出された領域内のＲＧＢの全色が存在する。
【００３０】
なお、ベイヤー補間部１０３は、記憶領域部１０２に記憶されている画像がベイヤー配列以外のデータ形式であった場合、取り出し制御部１０８から取得した画像データにベイヤー補間を行わずに補正エリア記憶部１０７に当該画像データを格納してもよい。
【００３１】
図１３は、本発明の実施の形態におけるバイリニア法による画素補間（Ｂ色）の一例を示す図である。画素補間部１０６は、相対位置テーブル１１０から入力されるデータに従い、ベイヤー補間後の補正エリア記憶部１０７に格納された画像データを取り出し、歪み補正を行う画素補間を行い出力する。相対位置テーブル１１０は、ベイヤー補間後に格納された画像データ（Ｂ色）を二次元配列として扱い、例えば、左上端のＢ００を原点として、行番号０、列番号０とするデータが格納される。また、相対位置テーブル１１０は、列を示す列番号データと、行を示す行番号データとが、出力画素データ１画素に対して、１セット存在する。すなわち、当該セットが、出力画像の画素数分存在する。
【００３２】
図１３は、出力画素データに対応する相対位置テーブルが、行番号２．６、列番号が２．３であった場合の画素補間部１０６の動作を示す。相対位置テーブルの行番号及び列番号の情報に基づき、画素補間部１０６は、補正エリア記憶部１０７に格納されたベイヤー補間後の画素データ群（Ｂ色）から、画素補間に必要な４画素を取り出し次の式にて画素補間演算を行い、歪み補正後の画素データＢ００を生成する。
ＴＥＭＰ００＝Ｂ２２＊０．７＋Ｂ２３＊０．３
ＴＥＭＰ０１＝Ｂ３２＊０．７＋Ｂ３３＊０．３
ＴＥＭＰ００及びＴＥＭＰ０１は、一時的な変数であり、式中の、「０．７」は、（１−列番号の小数部）であり、「０．３」は、列番号の小数部である。
Ｂ００＝ＴＥＭＰ００＊０．４＋ＴＥＭＰ０１＊０．６
式中の「０．４」は（１−行番号の小数部）であり、「０．６」は行番号の小数部である。
【００３３】
上記のように、バイリニア法による画素補間演算で、画素補間部１０６は、出力画素を生成する。
【００３４】
図１４は、本発明の実施の形態におけるバイリニア法による画素補間（Ｒ色）の一例を示す図である。図１３と同様に、出力画素データに対応する相対位置テーブルが、行番号２．６、列番号が２．３であった場合の画素補間部１０６の動作を示す。相対位置テーブルの行番号及び列番号の情報に基づき、画素補間部１０６は、補正エリア記憶部１０７に格納されたベイヤー補間後の画素データ群（Ｒ色）から、画素補間に必要な４画素を取り出し次の式にて画素補間演算を行い、歪み補正後の画素データＲ００を生成する。
ＴＥＭＰ００＝Ｒ２２＊０．７＋Ｒ２３＊０．３
ＴＥＭＰ０１＝Ｒ３２＊０．７＋Ｒ３３＊０．３
Ｒ００＝ＴＥＭＰ００＊０．４＋ＴＥＭＰ０１＊０．６
図１５は、本発明の実施の形態におけるバイリニア法による画素補間（Ｇ色）の一例を示す図である。図１３と同様に、出力画素データに対応する相対位置テーブルが、行番号２．６、列番号が２．３であった場合の画素補間部１０６の動作を示す。相対位置テーブルの行番号及び列番号の情報に基づき、画素補間部１０６は、補正エリア記憶部１０７に格納されたベイヤー補間後の画素データ群（Ｇ色）から、画素補間に必要な４画素を取り出し次の式にて画素補間演算を行い、歪み補正後の画素データＧ００を生成する。
ＴＥＭＰ００＝Ｇ２２＊０．７＋Ｇ２３＊０．３
ＴＥＭＰ０１＝Ｇ３２＊０．７＋Ｇ３３＊０．３
Ｇ００＝ＴＥＭＰ００＊０．４＋ＴＥＭＰ０１＊０．６
図１６は、本発明の実施の形態におけるバイキュービック法による画素補間（Ｂ色）の一例を示す図である。出力画素データに対応する相対位置テーブルが、行番号２．６、列番号が２．３であった場合、画素補間部１０６の動作を記載する。相対位置テーブルの行番号・列番号の情報に基づき、ベイヤー補間後の画素データ群（Ｂ色）から、画素補間に必要な１６画素を取り出しバイキュービック法による画素補間演算を行って歪み補正後の画素データＢ００を生成する。図１３に示されるバイリニア法による画素補間（Ｂ色）と比較して、必要な画素データが行番号の数で２、列番号の数で２増加し、１２画素増加する。
【００３５】
図１７は、本発明の実施の形態におけるバイキュービック法による画素補間（Ｒ色）の一例を示す図である。出力画素データに対応する相対位置テーブルが、行番号２．６、列番号が２．３であった場合、画素補間部１０６の動作を記載する。相対位置テーブルの行番号・列番号の情報に基づき、ベイヤー補間後の画素データ群（Ｒ色）から、画素補間に必要な１６画素を取り出す。ここで、図１７に示されるように、Ｒ４１〜Ｒ４４に対応する必要な画素が存在しない。
【００３６】
すなわち、バイキュービック法による画素補間では、参照画素数が多くなるため、参照する画素が存在しない場合がバイリニア法に比べ多く生じる。そこで、参照画素すべてを取り出せるように、ベイヤー補間部１０３に入力される領域を設定するエリアパラメータを変更する。
【００３７】
図１８は、エリアパラメータによる画素データ取り出しの一例を示す図である。エリアパラメータにより指定されたベイヤー補間部１０３に入力される画素データ群と、当該画素データ群をベイヤー補間後の画素データ群（Ｒ色）を示している。ベイヤー補間後の画素データ群に示されるように、上端、左端、右端の画素は、ベイヤー補間によって欠落する。
【００３８】
図１９は、本発明の実施の形態におけるエリアパラメータの設定例を示す図である。元エリアテーブル１０９は、ベイヤー補間されない場合のエリアテーブルが挿入されている。図１８に示されるように、ベイヤー補間時は、従来と比較して、ベイヤー補間が行われる分、取り出し部によって記憶領域部１０２から取り出されたデータに対して、当該領域内で欠落データが存在する。制御部１０４は、上記の欠落するデータを生じさせないために、元エリアテーブル１０９に対して、左右上下に対して、＋２画素分拡張した領域を取り出せるように、元エリアテーブル１０９を読み込み、エリアテーブル１１１に書き出す。図１９に示されるように、記憶領域部１０２に対するエリアパラメータの変更は、実線の黒枠で囲まれた領域が元エリアテーブル１０９のエリアパラメータが特定する領域を、点線の黒枠で囲まれた領域がエリアテーブル１１１のエリアパラメータが特定する領域に変更することに対応する。
【００３９】
さらに、補間式をバイキュービック法とする場合は、制御部１０４は、補間時に参照される領域を考慮し、元エリアテーブル１０９からエリアパラメータを読み込み、当該エリアパラメータに対して、さらに左右上下に対して＋１画素拡張した領域を取り出せるように、エリアテーブル１１１に書き出す。
【００４０】
上述したように、本発明の実施の形態によれば、画像処理装置１００は、記憶領域部１０２にベイヤー補間前の画像データを記憶させることで、記憶領域部１０２が記憶するデータ量を減少させることができ、取り出し制御部１０８が転送するデータ量を減少させることができる。すなわち、記憶領域からの画像読出しに係るデータ転送に要する帯域を減少させた歪み補正を行う画像処理装置を提供することができる。
【００４１】
なお、本発明の実施の形態において、出力画像は、補正画像の一例である。エリアテーブル１１１は、第１のテーブルの一例である。取り出し制御部１０８は、取得部の一例である。ベイヤー補間部１０３は、補間部の一例である。画素補間部１０６は、生成部の一例である。相対位置テーブル１１０は、第２のテーブルの一例である。
【００４２】
なお、本発明は、プロジェクタ、医療用機器又はテレビ会議システム等の画像処理装置又は画像処理システムに適用可能である。また、本発明は、撮像した画像を処理する装置又はシステムとなり得る、携帯電話、携帯型情報端末、車載機器等の通信端末又は情報処理装置に適用可能である。また、本発明の画像処理装置は、一つの装置にすべての機能を含んで構成されてもよいし、複数の装置によって構成されてもよい。
【００４３】
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００４４】
０、１００      画像処理装置
１、１０１      撮像部
２、１０２      記憶領域部
３、１０３      ベイヤー補間部
４、１０４      制御部
５、１０５      歪み補正処理部
６、１０６      画素補間部
７、１０７      補正エリア記憶部
８、１０８      取り出し制御部
９、１０９      元エリアテーブル
１０、１１０    相対位置テーブル
１１１          エリアテーブル
１００１        ＣＰＵ
１００２        ネットワークインタフェース
１００３        入出力インタフェース
１００４        内部メモリ
１００５        外部メモリ
１００６        撮像素子
１００７        表示デバイス
【先行技術文献】
【特許文献】
【００４５】
【特許文献１】特開２０１６−０９５６６７号公報
【特許文献２】特許第５０６１２２７号公報
【図１】
2018205987.tif 000003
【図２】
2018205987.tif 000004
【図３】
2018205987.tif 000005
【図４】
2018205987.tif 000006
【図５】
2018205987.tif 000007
【図６】
2018205987.tif 000008
【図７】
2018205987.tif 000009
【図８】
2018205987.tif 000010
【図９】
2018205987.tif 000011
【図１０】
2018205987.tif 000012
【図１１】
2018205987.tif 000013
【図１２】
2018205987.tif 000014
【図１３】
2018205987.tif 000015
【図１４】
2018205987.tif 000016
【図１５】
2018205987.tif 000017
【図１６】
2018205987.tif 000018
【図１７】
2018205987.tif 000019
【図１８】
2018205987.tif 000020
【図１９】
2018205987.tif 000021