(57)【要約】 【課題】リファレンス画像に対して位置合わせと逆歪み補正を行うことで、リファレンス画像を有効に利用した画像処理を行うことができ、画質向上をはかることができる画像処理装置を提供すること。  【解決手段】撮像手段と、外部からリファレンス画像を取得する取得手段と、少なくとも、前記撮像手段で得られた撮像画像と前記リファレンス画像の画角の相違、および、前記撮像手段のレンズ収差情報に基づいて前記撮像画像の着目画素または着目領域に対応する、前記リファレンス画像の参照画素または参照領域を特定する特定手段と、前記参照画素または参照領域の画像に基づいて、前記撮像画像の前記着目画素または着目領域を補正する補正手段と、を備えることを特徴とする。【選択図】図１
2016122947.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
外部からリファレンス画像を取得する取得手段と、
少なくとも、前記撮像手段で得られた撮像画像と前記リファレンス画像の画角の相違、および、前記撮像手段のレンズ収差情報に基づいて前記撮像画像の着目画素または着目領域に対応する、前記リファレンス画像の参照画素または参照領域を特定する特定手段と、
前記参照画素または参照領域の画像に基づいて、前記撮像画像の前記着目画素または着目領域を補正する補正手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記特定手段は、
前記撮像画像と前記リファレンス画像の画角の相違に基づいて前記リファレンス画像の参照画素または参照領域を特定して位置合わせを行う位置合わせ手段と、
前記撮像手段のレンズ収差情報に基づいて前記リファレンス画像の参照画素または参照領域を特定して歪補正を行う歪補正手段と、
を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特定手段は、
前記撮像画像と前記リファレンス画像の画角の相違に基づいて前記リファレンス画像の参照画素または参照領域を特定して位置合わせ用の座標を算出する位置合わせ座標算出手段と、
前記撮像手段のレンズ収差情報に基づいて前記リファレンス画像の参照画素または参照領域を特定して歪補正を行うための座標を算出する歪補正座標算出手段と、
を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記取得手段は、
リファレンス画像を撮影した位置姿勢情報と画像処理装置の位置姿勢情報を取得する位置姿勢情報取得手段と
を含むことを特徴とする請求項１乃至請求項３の何れか一項に記載の画像処理装置。
【請求項５】
前記撮像画像と前記リファレンス画像に対して、人物の顔や人体を認識、認証する認識手段と、
前記認識手段により、前記撮像画像と前記リファレンス画像に対して認識を行い、前記撮像画像と前記リファレンス画像の認識結果に差異がある領域を禁止領域とすることを特徴とする請求項１乃至請求項４の何れか一項に記載の画像処理装置。
【請求項６】
前記補正手段は、
撮像素子固有のキズアドレス情報と
前記特定手段で前記リファレンス画像を位置合わして歪補正した補正リファレンス画像を用いて
前記撮像画像のキズ画素あるいはキズ領域を補正するキズ補正手段と、
を含むことを特徴とする請求項１乃至請求項４の何れか一項に記載の画像処理装置。
【請求項７】
前記補正手段は、
前記特定手段で前記リファレンス画像を位置合わして歪補正した補正リファレンス画像のエッジ判定と前記撮像画像のエッジ判定を行うエッジ判定手段と、
前記補正リファレンス画像のエッジを使用するか判定するエッジ使用判定手段とを有し、
エッジ使用判定手段の結果に応じて前記撮像画像に対して前記リファレンス画像のエッジ領域を置き換えてノイズ除去を行うノイズ除去手段と、
を含むことを特徴とする請求項１乃至請求項４の何れか一項に記載の画像処理装置。
【請求項８】
前記補正手段は、
前記特定手段で前記リファレンス画像を位置合わして歪補正した補正リファレンス画像に対して一定の領域の画像の明暗を判別する明暗判別手段と、
前記明暗判別手段の結果に応じて前記撮像画像に対して少なくとも一つの領域に対してガンマ補正を行うガンマ補正手段と、
を含むことを特徴とする請求項１乃至請求項４の何れか一項に記載の画像処理装置。
【請求項９】
前記補正手段は、
撮像素子固有のキズアドレス情報と
前記キズアドレス情報を元に、前記特定手段で算出した位置合わせ座標と歪補正座標から前記リファレンス画像の一部を補正した一部補正リファレンス画像を用いて、
前記撮像画像のキズ画素あるいはキズ領域を補正するキズ補正手段と、
を含むことを特徴とする請求項１乃至請求項４の何れか一項に記載の画像処理装置。
【請求項１０】
前記補正手段は、
一定領域のアドレス情報を元に、前記特定手段で算出した位置合わせ座標と歪補正座標から前記リファレンス画像の一部を補正した一部補正リファレンス画像のエッジ判定と前記撮像画像のエッジ判定を行うエッジ判定手段と、
前記一部補正リファレンス画像のエッジを使用するか判定するエッジ使用判定手段とを有し、
エッジ使用判定手段の結果に応じて前記撮像画像に対して前記リファレンス画像のエッジ領域を置き換えてノイズ除去を行うノイズ除去手段と、
を含むことを特徴とする請求項１乃至請求項４の何れか一項に記載の画像処理装置。
【請求項１１】
前記補正手段は、
一定領域のアドレス情報を元に、前記特定手段で算出した位置合わせ座標と歪補正座標から前記リファレンス画像の一部を補正した一部補正リファレンス画像に対して領域の画像の明暗を判別する明暗判別手段と、
前記明暗判別手段の結果に応じて前記撮像画像に対して少なくとも一つの領域に対してガンマ補正を行うガンマ補正手段と、
を含むことを特徴とする請求項１乃至請求項４の何れか一項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、リファレンス画像を利用して撮像した画像を処理する画像処理装置及びその制御方法に関する。
【背景技術】
【０００２】
ＣＣＤやＣＭＯＳ等の撮像素子を用いて画像を取得する撮像装置であるデジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話、車載カメラ等の画像処理装置において、外部からリファレンス画像を利用して撮像した画像を処理する様々な技術が開発されている（特許文献１参照）。また、撮像レンズの歪曲収差特性の影響により、撮像した画像に歪みが生じることが知られている。
【０００３】
外部からのリファレンス画像を利用するにあたり、画像処理の順番によっては、撮像レンズの歪曲収差特性を加味した歪み補正前の撮像画像を処理することがある。そのため、リファレンス画像に対して、特許文献２、特許文献３などに記載の歪み補正技術を用いて、逆歪み補正を行った後で画像処理に利用することが考えられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３２４８８７号公報
【特許文献２】特開２０１２−６５２６３号公報
【特許文献３】特開２００２−９４８６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献２、特許文献３に開示されている技術では、リファレンス画像が撮像画像とは異なる画角、角度から撮影された画像であった場合に、歪補正だけではリファレンス画像を正しく利用できない可能性があり、それに対する種々の対策が望まれていた。
本発明の目的は、リファレンス画像に対して位置合わせと逆歪み補正を行うことで、リファレンス画像を有効に利用した画像処理を行うことができ、画質向上をはかることができる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、本発明の画像処理装置は、
撮像手段と、
外部からリファレンス画像を取得する取得手段と、
少なくとも、前記撮像手段で得られた撮像画像と前記リファレンス画像の画角の相違、および、前記撮像手段のレンズ収差情報に基づいて、前記撮像画像の着目画素または着目領域に対応する、前記リファレンス画像の参照画素または参照領域を特定する特定手段と、
前記参照画素または参照領域の画像に基づいて、前記撮像画像の前記着目画素または着目領域を補正する補正手段と、
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、リファレンス画像に対して位置合わせと逆歪み補正を行うことで、リファレンス画像を有効に利用した画像処理を行うことができ、画質向上をはかることができる画像処理装置の提供を実現できる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施例における撮像装置のブロック図である。
【図２】本発明の第１の実施例におけるカメラ間通信のイメージ図である。
【図３】本発明の第１の実施例における画像処理部のブロック図である。
【図４】本発明の第１の実施例における歪補正座標演算を説明するための図である。
【図５】本発明の第１の実施例における画像イメージ図である。
【図６】本発明の第１の実施例におけるキズ補正処理のフロー図である。
【図７】本発明の第１の実施例におけるNR処理のフロー図である。
【図８】本発明の第１の実施例におけるガンマ補正処理のフロー図である。
【図９】本発明の第２の実施例における画像処理部のブロック図である。
【図１０】本発明の第２の実施例におけるキズ補正処理のフロー図である。
【図１１】本発明の第２の実施例におけるNR処理のフロー図である。
【図１２】本発明の第２の実施例におけるガンマ補正処理のフロー図である。
【発明を実施するための形態】
【０００９】
［実施例１］
以下、図面を用いて本発明の第１の実施例を説明する。なお本実施例の画像処理装置を、撮像装置の一部として説明する。また撮像装置をデジタルカメラとして説明するが、デジタルビデオカメラ、カメラ付き携帯電話、車載カメラ等の撮像装置を採用することも可能である。
【００１０】
図１は第１の実施例に係るデジタルカメラの構成の一例を示すブロック図である。以下、図１について説明する。撮像素子１００は、受光した被写体像を電気信号に変換して画像データを作成するＣＣＤやＣＭＯＳセンサ等の受光素子である。Ａ／Ｄ変換器１０１は、撮像素子１００のアナログ出力信号をデジタル信号に変換する。
【００１１】
リファレンスデータ１０２は、本実施例の撮像装置で撮影予定の画像データと、同じ被写体、風景などの画像データである。なお、リファレンスデータ１０２は、同一の時間、あるいは異なる時間に撮影された画像データであってもよい。さらには、異なる角度、画角から撮影した画像データであってもよい。画像処理部１０３は、取得部１０４、特定部１０５、補正部１０６、データ転送部１０７、認識部１１６、不図示の複数の画像処理部、画像バッファメモリ、画像データの圧縮処理や伸長処理を行う圧縮伸長部、モニタなどに表示する表示制御部、記録媒体に記憶する記憶処理部などから構成される。
【００１２】
取得部１０４は、リファレンスデータ１０２やデジタルカメラの位置姿勢情報などを取得する取得部である。リファレンスデータ、位置姿勢情報などは、図２に示すように本デジタルカメラ２０１と、外部デジタルカメラ２００あるいは不図示のサーバと通信をして、データを取得する。あるいは、不図示の記録媒体から取得することも可能である。なお、位置姿勢情報は、ＧＰＳによって得られる位置情報とジャイロや慣性航法センサによって得られる姿勢情報をデジタルカメラの位置姿勢情報として扱う。但し、位置姿勢情報は別の手段を用いて取得しても構わない。
【００１３】
特定部１０５は、リファレンスデータ１０２に対して、本デジタルカメラと同じ画角、位置となるように位置合わせを行い、さらに本デジタルカメラのレンズ特性を加味した逆歪み補正を行う。詳細は、後述する。補正部１０６は、キズ補正、ノイズリダクション（以下、ＮＲと記す）、ガンマ補正などの画像処理を行う。詳細は、後述する。
【００１４】
データ転送部１０７は、不図示のデータ転送を行う複数のＤｉｒｅｃｔ  Ｍｅｍｏｒｙ  ＡｃｃｅｓｓコントローラのＷＲＤＭＡＣとＲＤＤＭＡＣで構成される。画像データは、ＷＲＤＭＡＣによってバス１０９に出力し、メモリ制御部１１０を介してメモリ１１１に一時記憶される。メモリ１１１に一時記憶された画像データは、ＲＤＤＭＡＣによってメモリ１１１からバス１０９に出力され、画像処理部１０３にデータを出力する。
【００１５】
認識部１１６は、顔認識、人体認識、さらには不揮発性メモリ１１３あるいは不図示の外部メモリに登録してある人物と被写体の人物を認証する。バス１０８は、システムバスであり、バス１０９は、画像データバスである。なお、本実施例はシステムバスと画像データバスを分けているが、同一バスとしてもよい。
【００１６】
メモリ制御部１１０は、システム制御部（ＣＰＵ）１１４或いはデータ転送部１０７からの指示に応じて、メモリ１１１にデータを書き込んだり、メモリ１１１からデータを読み出したりする。なお、Ａ／Ｄ変換器１０１からの出力データがメモリ１１１に直接書き込まれる場合もある。メモリ１１１は、所定枚数の静止画像や所定時間の動画像、音声等のデータやシステム制御部１１４の動作用の定数、プログラム等を格納するのに十分な記憶容量を備える記憶装置である。
【００１７】
不揮発性メモリ制御部１１２は、システム制御部１１４からの指示に応じて、不揮発性メモリ１１３にデータを書き込んだり、不揮発性メモリ１１３からデータを読み出したりする。不揮発性メモリ１１３は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１１３には、システム制御部１１４の動作用の定数、プログラム等が記憶される。
【００１８】
システム制御部１１４は、デジタルカメラの動作制御を司るマイクロコンピュータなどで構成され、デジタルカメラを構成する各機能ブロックに対して様々な指示を行ったり、各種の制御処理を実行する。システム制御部１１４は、バス１０８を介して接続された画像処理部１０３、データ転送部１０７、メモリ制御部１１０、不揮発性メモリ制御部１１２、及び操作部１１５、撮像素子１００を制御する。マイクロコンピュータの実行は、前述した不揮発性メモリ１１３に記録されたプログラムを実行することで、本実施例の各処理を実現する。操作部１１５は、ユーザーにより操作されるスイッチやボタン等を含み、電源のＯＮ／ＯＦＦ、シャッターのＯＮ／ＯＦＦ等の操作に使用される。
【００１９】
図３は第１の実施例に係る特定部１０５、補正部１０６、データ転送部１０７を示すブロック図である。以下、図３について説明する。なお、図１と同一の部分については、同一の符号を付すなどして詳細な説明を省略する。
【００２０】
位置合わせ部３００は、リファレンスデータ１０２を処理画像３１０と同じ画角となるように変換後（処理画像３１０）の座標を元に、変換前（リファレンスデータ１０２）のアドレスを演算する。アドレスの演算は、取得部１０４より本デジタルカメラ２０１、外部デジタルカメラ２００の位置姿勢情報を取得し、その情報に基づいて射影変換などにより算出する。次に変換座標を元に、リファレンスデータ１０２を補正して位置合わせを行う。なお、位置合わせに関しては、他の方法を用いてもよい。補正には、後述する歪補正と同じ補間を用いる。
【００２１】
歪補正部３０１は、処理画像３１０と同じように歪ませるため、画角に合わせたレンズ情報を加味して逆歪補正座標を演算する。補正座標の演算に関しては図４を用いて説明するが、収差補正が可能であれば他の方法を採用してもよい。
【００２２】
図４は撮像素子１００の出力画素を走査方向に沿って水平軸を、走査方向に直交して垂直軸を規定する、二次元の直交座標系の画像であり、画像の中心４００と補正前画像の画素位置４０２と補正後画像の画素位置４０１を示した図である。補正前画像の画素位置４０２を補正するための補正量Ｃは、画像の中心からの距離を表す像高Ｒと、光学系の特性によって求められることが知られている。画像の中心４００の垂直方向と画像の中心４００から補正後画像の画素位置４０１方向との角度θと、補正量Ｃから座標変換して補正前画像の画素位置を算出する。また、補正前画像の画素位置４０２は必ずしも撮像素子の画素単位ではなく、撮像素子の画素と画素の間に移動される場合があり、小数点までを演算する。
【００２３】
演算した歪補正座標を中心に、不図示の画像バッファメモリを用いて周辺画素を利用して補間して、補正リファレンスデータ３０７を作成する。補間には、バイリニア、バイキュービック補間などを用いるが、その他の方法を採用してもよい。画像データ３０６は、リファレンスデータ１０２のイメージ画像となる。さらに、画像データ３０８は、特定部で位置合わせ、歪補正を行った補正リファレンスデータ３０７のイメージ画像となる。なお、本実施例では、位置合わせ、歪補正の順で説明したが、歪補正部３０１で歪補正を行ったあとに、位置合わせ部３００で位置合わせを行ってもよい。
【００２４】
画像データ３０９は撮像素子１００で撮像したデータをＡ／Ｄ変換器１０１で変換された処理画像３１０のイメージ画像である。また、画像データ３０９は、画像処理部１０２の不図示の画像処理を例えば、ホワイトバランスや黒レベル補正、シェーディング補正を適正に行った後の画像であってもよい。キズ補正部３０２は、補正リファレンスデータ３０７を用いて処理画像３１０を補正し、処理画像３１１を作成する。
【００２５】
ＮＲ部３０３は、補正リファレンスデータ３０７を用いて処理画像３１１を補正し、処理画像３１２を作成する。ガンマ補正部３０４は、補正リファレンスデータ３０７を用いて処理画像３１２を補正し、処理画像３１３を作成する。キズ補正部３０２、キズ補正部３０２、ガンマ補正部３０４はフローチャートを用いて後述する。
【００２６】
歪補正部３０５は、処理画像３１３を歪補正部３０１と同様の方法で補正する。画像データ３１４は、処理画像３１３を歪補正部３０５で補正した後のイメージ画像である。また歪補正部３０１と歪補正部３０５は１つのブロックとして、排他的に使用してもよい。なお、画像処理の順番は問わないものとする。また、画像処理毎に毎回メモリへ読み込みと書き込みを行っているが、画像処理部１０２内の各処理部を直結させて画像処理させてもよい。
【００２７】
図５は特定部１０５で処理したリファレンス画像５００と撮像画像５０１を示したイメージ図である。リファレンス画像５００は人物Ａの腕により人物Ｂの顔が一部遮られている画像である。撮像画像５０１は、後述する画像処理でリファレンス画像の使用を禁止する使用禁止領域５０２と５０３を示したイメージ図でもある。認識部１１６により、撮像画像５０１の人物Ａ、Ｂを認識し、次に、リファレンス画像５００の認識を行う。この時、リファレンス画像５００は人物Ａのみ認識され、人物Ｂは顔認識されず、人体認識までとなる。この撮像画像５０１とリファレンス画像５００の認識情報を元に、使用禁止領域５０２、５０３を決定する。
【００２８】
図６はキズ補正処理フローを示すフローチャートである。ステップ６００にて、システム制御部１１４が、不揮発メモリ１１３に保持されているキズアドレス情報とメモリ１１１に保持されている使用禁止領域アドレスを読み出し、キズ補正部３０２に設定する。ステップ６０１では、キズ補正部３０２が、キズアドレスに対して使用禁止領域か判定する。使用禁止領域であれば、ステップ６０２に進み、キズ補正部３０２がキズ補正を行う。使用禁止領域でなければ、ステップ６０３に進む。ステップ６０３では、キズ補正部３０２が、補正リファレンス画像３０７をメモリ１１１から読み出す。
【００２９】
ステップ６０４では、キズ補正部３０２が、キズアドレス情報を元に、処理画像３１０の該当アドレスの画素を補正リファレンス画像３０７と置き換えを行う。また、置き換え後に、キズアドレスを中心にして、平滑化フィルタや移動平均化フィルタなどの処理を行ってもよい。ステップ６０２あるいはステップ６０４の処理を終えると、ステップ６０５に進む。ステップ６０５では、キズ補正部３０２が、処理画像３１０のキズアドレスに対して全て処理を終えたか判定を行い、処理を終えていない場合は、ステップ６０１に戻る。キズ補正部３０２が、全てのキズ補正を終えたと判定すると、キズ補正処理を終了する。
【００３０】
図７はＮＲ処理フローを示すフローチャートである。ステップ７００にて、システム制御部１１４が、メモリ１１１に保持されている使用禁止領域アドレスを読み出し、ＮＲ部３０３に設定する。ステップ７０１では、ＮＲ部３０３が、処理対象の画素あるいは領域に対して使用禁止領域か判定する。ステップ７０１で、使用禁止領域と判定すると、ステップ７０６に進み、使用禁止領域でないと判定するとステップ７０２に進む。ステップ７０２では、補正リファレンス画像３０７をメモリ１１１から読み出しエッジ判定を行う。エッジなしと判定すると、ステップ７０６に進み、エッジありと判定すると、ステップ７０３に進む。
【００３１】
ステップ７０３では、ＮＲ部３０３が、処理画像３１１をメモリ１１１から読み出し、エッジ判定を行う。エッジなしと判定すると、ステップ７０４に進み、エッジありと判定すると、ステップ７０６に進む。ステップ７０４では、ＮＲ部３０３が、処理画像３１１でエッジなしと判定した領域に対応する画像データを補正リファレンス画像３０７から取得する。ステップ７０５では、ＮＲ部３０３が、ステップ７０４で取得したデータを、処理画像３１１のデータと置き換える。ステップ７０６では、エッジ情報も加味してメディアンフィルタやガウシアンフィルタなどのフィルタ処理を施してＮＲ処理を行う。
【００３２】
また、ＮＲ処理はメディアンフィルタやガウシアンフィルタ以外の処理を適応してもよい。ステップ７０７では、ＮＲ部３０３が、処理の終了判定を行い、終了でないと判定したら、ステップ７００に戻って処理を引き続き行う。終了と判定すると、ＮＲ処理を終了する。
【００３３】
図８はガンマ補正処理フローを示すフローチャートである。ステップ８００にて、システム制御部１１４が、メモリ１１１に保持されている使用禁止領域アドレスを読み出し、ガンマ補正部３０４に設定する。ステップ８０１では、ガンマ補正部３０４が、処理対象の画素あるいは領域に対して使用禁止領域か判定する。ステップ８０１で、使用禁止領域と判定すると、ステップ８０２に進み、使用禁止領域でないと判定するとステップ８０３に進む。ステップ８０２では、ガンマ補正部３０４が、処理画像３１２に対して、ガンマ補正を行う。
【００３４】
ステップ８０３では、ガンマ補正部３０４は、処理対象領域に対応する補正リファレンス画像３０７をメモリ１１１から読み出す。続いて、ステップ８０４では、ガンマ補正部３０４は、ステップ８０３の領域に対して明暗判定を行う。ステップ８０５では、ガンマ補正部３０４は、処理画像３１２に対して、ステップ８０４の明暗結果を元にガンマ補正を行う。ステップ８０６では、ガンマ補正部３０４が、処理の終了判定を行い、終了でないと判定したら、ステップ８００に戻って処理を引き続き行う。終了と判定すると、ガンマ補正処理を終了する。
【００３５】
以上説明したように、本発明の第１の実施例によれば、特定部１０５の位置合わせ部３００と歪み補正部３０１を使用することで、リファレンス画像データに対して、撮像画像と同じ位置となるように位置合わせを行い、レンズ情報に基づいて逆歪み補正をかけることができる。そのため、歪み補正をかける前の画像データを処理する時に、リファレンス画像データを撮像画像データのキズ補正、ＮＲ、ガンマ補正などに利用することが可能となり、高画質化を図ることができる。
【００３６】
以上、本発明を第１の実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることは言うまでもない。
【００３７】
［実施例２］
次に、本発明の第２の実施例について説明する。なお、ここでは、前述した第１の実施例と異なる部分のみを説明し、同一の部分については、同一の符号を付すなどして詳細な説明を省略する。
【００３８】
図９は第２の実施例に係る画像処理部１０３の特定部１０５、補正部１０６、データ転送部１０７を示すブロック図である。以下、図９について説明する。なお、図１、３と同一の部分については、同一の符号を付すなどして詳細な説明を省略する。位置合わせ座標算出部９００は、リファレンスデータ１０２を処理画像３１０と同じ画角となるように変換後（処理画像３１０）の座標を元に、変換前（リファレンスデータ１０２）のアドレスを演算する。アドレスの演算は、取得部１０４より本デジタルカメラ２０１、外部デジタルカメラ２００の位置姿勢情報を取得し、その情報に基づいて射影変換などにより算出する。
【００３９】
歪補正座標算出部９０１は、処理画像３１１と同じように歪ませるため、位置合わせ座標算出部９００の射影変換などにより算出した座標を元に補正座標を演算する。補正座標の演算に関しては、実施例１と同様に算出する。また、歪補正座標算出部９０１は、歪補正部３０１、３０５の一部機能として流用することが可能である。キズ補正部９０２は、リファレンスデータ１０２を用いて処理画像３１０を補正し、処理画像３１１を作成する。ＮＲ部９０３は、補正リファレンスデータ１０２を用いて処理画像３１１を補正し、処理画像３１２を作成する。ガンマ補正部９０４は、リファレンスデータ１０２を用いて処理画像３１２を補正し、処理画像３１３を作成する。
【００４０】
キズ補正部９０２、ＮＲ部９０３、ガンマ補正部９０４はフローチャートを用いて後述する。なお、画像処理の順番は問わないものとする。また、画像処理毎に毎回メモリへ読み込みと書き込みを行っているが、画像処理部１０２内の各処理部を直結させて画像処理させてもよい。
【００４１】
実施例１で説明した図５において、リファレンス画像５００は特定部１０５で処理した後の画像としていた。しかし、本実施例では、リファレンス画像５００は、特定部１０５で処理する前、つまり、リファレンス画像データ１０２をリファレンス画像５００として、使用禁止領域を算出する。あるいは、特定部１０５で求めた座標情報を元に、リファレンス画像データ１０２を歪補正部３０５で補間してリファレンス画像５００とすることも可能である。この場合リファレンス画像５００は実施例１と同等となる。
【００４２】
図１０はキズ補正処理フローを示すフローチャートである。ステップ１０００にて、システム制御部１１４が、不揮発メモリ１１３に保持されているキズアドレス情報とメモリ１１１に保持されている使用禁止領域アドレスを読み出し、キズ補正部９０２に設定する。ステップ１００２では、特定部１０５にキズアドレスを設定してリファレンス画像データ１０２のアドレスを取得する。ステップ１００２では、キズ補正部９０２が、キズアドレスに対して使用禁止領域か判定する。使用禁止領域であれば、ステップ１００３に進み、キズ補正部９０２がキズ補正を行う。
【００４３】
使用禁止領域でなければ、ステップ１００４に進む。ステップ１００４では、キズ補正部９０２がリファレンス画像データ１０２をメモリ１１１から読み出す。ステップ１００５では、キズ補正部９０２が、ステップ１００１で取得したアドレス情報を元に、リファレンス画像データ１０２を補間して、処理画像３１０の該当アドレスの画素の置き換えを行う。また、置き換え後に、キズアドレスを中心にして、平滑化フィルタや移動平均化フィルタなどの処理を行ってもよい。ステップ１００３あるいはステップ１００５の処理を終えると、ステップ１００６に進む。
【００４４】
ステップ１００６では、キズ補正部９０２が、処理画像３１０のキズアドレスに対して全て処理を終えたか判定を行い、処理を終えていない場合は、ステップ１０００に戻る。キズ補正部９０２が、全てのキズ補正を終えたと判定すると、キズ補正処理を終了する。
【００４５】
図１１はＮＲ処理フローを示すフローチャートである。ステップ１１００にて、システム制御部１１４が、メモリ１１１に保持されている使用禁止領域アドレスを読み出し、ＮＲ部９０３に設定する。ステップ１１０１では、ＮＲ部９０３が、処理対象の画素あるいは領域に対して使用禁止領域か判定する。ステップ１１０１で、使用禁止領域と判定すると、ステップ１１０７に進み、使用禁止領域でないと判定するとステップ１１０２に進む。ステップ１１０２では、特定部１０５にエッジ判定領域を設定してリファレンス画像データ１０２のアドレスを取得する。
【００４６】
ステップ１１０３では、リファレンス画像データ１０２をメモリ１１１から読み出し補間後にエッジ判定を行う。エッジなしと判定すると、ステップ１１０７に進み、エッジありと判定すると、ステップ１１０４に進む。ステップ１１０４では、ＮＲ部９０３が、処理画像３１１をメモリ１１１から読み出し、エッジ判定を行う。エッジなしと判定すると、ステップ１１０５に進み、エッジありと判定すると、ステップ１１０７に進む。ステップ１１０５では、ＮＲ部９０３が、処理画像３１１でエッジなしと判定した領域に対応する画像データをリファレンス画像データ１０２から取得する。
【００４７】
ステップ１１０６では、ＮＲ部９０３が、ステップ１１０５で取得したデータを、補間後に処理画像３１１のデータと置き換える。ステップ１１０７では、エッジ情報も加味してメディアンフィルタやガウシアンフィルタなどのフィルタ処理を施してＮＲ処理を行う。また、ＮＲ処理はメディアンフィルタやガウシアンフィルタ以外の処理を適応してもよい。ステップ１１０８では、ＮＲ部９０３が、処理の終了判定を行い、終了でないと判定したら、ステップ１１００に戻って処理を引き続き行う。終了と判定すると、ＮＲ処理を終了する。
【００４８】
図１２はガンマ補正処理フローを示すフローチャートである。ステップ１２００にて、システム制御部１１４が、メモリ１１１に保持されている使用禁止領域アドレスを読み出し、ガンマ補正部９０４に設定する。ステップ１２０１では、ガンマ補正部９０４が、処理対象の画素あるいは領域に対して使用禁止領域か判定する。ステップ１２０１で、使用禁止領域と判定すると、ステップ１２０２に進み、使用禁止領域でないと判定するとステップ１２０３に進む。ステップ１２０２では、ガンマ補正部９０４が、処理画像３１２に対して、ガンマ補正を行う。
【００４９】
ステップ１２０３では、特定部１０５に処理領域を設定してリファレンス画像データ１０２のアドレスを取得する。ステップ１２０４では、ガンマ補正部９０４は、処理対象領域に対応するリファレンス画像データ１０２をメモリ１１１から読み出し、補正する。続いて、ステップ１２０５では、ガンマ補正部９０４は、ステップ１２０４の領域に対して明暗判定を行う。ステップ１２０６では、ガンマ補正部９０４は、処理画像３１２に対して、ステップ１２０５の明暗結果を元にガンマ補正を行う。ステップ１２０７では、ガンマ補正部９０４が、処理の終了判定を行い、終了でないと判定したら、ステップ１２００に戻って処理を引き続き行う。終了と判定すると、ガンマ補正処理を終了する。
【００５０】
以上説明したように、本発明の第２の実施例によれば、特定部１０５の位置合わせ座標算出部９００と歪補正座標算出部９０１を使用することで、リファレンス画像データに対して、撮像画像と同じ位置、レンズ情報に基づいた逆歪み補正座標を得ることができる。そのため、歪み補正をかける前の画像データを処理する時に、リファレンス画像データと特定部１０５で出力したアドレス情報を元に撮像画像データのキズ補正、ＮＲ、ガンマ補正などに利用することが可能となり、高画質化を図ることができる。さらには、リファレンス画像データに対して全画素に対して補正を行うのではなく、撮像画像データで補正が必要な箇所のみとすることができ、メモリアクセスの帯域を節約できる。
【００５１】
以上、本発明を第２の実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることは言うまでもない。
【符号の説明】
【００５２】
１００  撮像素子、１０１  Ａ／Ｄ変換器、１０２  画像処理部、１０３  撮像処理部、
１０４  取得部、１０５  特定部、１０６  補正部、１１６  認識部、
１０７  データ転送部、１０８  システムバス、１０９  データバス、
１１０  メモリ制御部、１１１  メモリ、１１２  不揮発性メモリ制御部、
１１３  不揮発性メモリ、１１４  システム制御部、１１５  操作部、
３００  位置合わせ部、３０１  歪補正部、３０２  キズ補正図、３０３  ＮＲ部、
３０４  ガンマ補正部、３０５  歪補正部、９００  位置合わせ座標算出部、
９０１  歪補正座標算出部、９０２  キズ補正図、９０３  ＮＲ部、
９０４  ガンマ補正部
【図１】
2016122947.tif 000003
【図２】
2016122947.tif 000004
【図３】
2016122947.tif 000005
【図４】
2016122947.tif 000006
【図５】
2016122947.tif 000007
【図６】
2016122947.tif 000008
【図７】
2016122947.tif 000009
【図８】
2016122947.tif 000010
【図９】
2016122947.tif 000011
【図１０】
2016122947.tif 000012
【図１１】
2016122947.tif 000013
【図１２】
2016122947.tif 000014