(57)【要約】      （修正有）【課題】必要な精度に応じてシェーディング補正を切り替え、各画像に適切な精度の補正と、画像処理装置の処理負荷を低減し、ユーザの操作性を向上できる画像処理装置を提供する。【解決手段】視差画像を扱う画像処理装置は、視差画像である複数の視点の画像それぞれに対して、シェーディング補正を行う。視差画像を入力する入力部と、入力されたそれぞれの視差画像からシェーディング係数を検出する検出部と、あらかじめ算出しておいたシェーディング係数を保持しておくシェーディング保持部と、必要な制度に応じて、必要なシェーディング係数を取得するシェーディング係数取得部と、シェーディング係数を用いてシェーディングを補正する、シェーディング補正部と、補正した結果の画像を出力する出力部を備える。【選択図】図１
2018148394.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点画像が入力される入力手段と、
前記複数の視点画像からシェーディング係数を検出する検出手段と、
あらかじめ算出しておいたシェーディング係数を保持しておく保持手段と、
必要な精度に応じて、前記検出手段によって検出された第１のシェーディング係数と前記保持手段に保持された第２のシェーディング係数の中から対応するシェーディング係数を特定する特定手段と、
前記特定手段によって特定されたシェーディング係数を用いて前記複数の視点画像のシェーディングを補正するシェーディング補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記複数の視点画像に基づく画像を生成する生成手段を有し、
前記特定手段は、前記生成手段によって生成される前記複数の視点画像に基づく画像の画像サイズに応じて前記必要な精度を特定し、当該必要な精度に対応するシェーディング係数を特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の視点画像に基づく画像を生成する生成手段を有し、
前記特定手段は、前記生成手段によって生成される前記複数の視点画像に基づく画像の撮影シーンに応じて前記必要な精度を特定し、当該必要な精度に対応するシェーディング係数を特定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記複数の視点画像に基づく画像を生成する生成手段を有し、
前記特定手段は、ユーザの設定に応じて前記必要な精度を特定し、当該必要な精度に対応するシェーディング係数を特定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記検出手段は、前記複数の視点画像間の画像信号を比較することでシェーディング係数を算出することを特徴とする請求項１乃至４のいずれか1項に記載の画像処理装置。
【請求項６】
前記保持手段は、前記第２のシェーディング係数を、絞り値や焦点距離を含む撮影条件に応じて複数保持していることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
入力された複数の視点画像からシェーディング係数を検出する検出ステップと、
あらかじめ算出しておいたシェーディング係数を保持手段に保持しておく保持ステップと、
必要な精度に応じて、前記検出ステップにて検出された第１のシェーディング係数と前記保持手段に保持された第２のシェーディング係数の中から対応するシェーディング係数を特定する特定ステップと、
前記特定ステップにて特定されたシェーディング係数を用いて前記複数の視点画像のシェーディングを補正するシェーディング補正ステップと、
を有することを特徴とする画像処理方法。
【請求項８】
請求項７に記載の画像処理方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項９】
コンピュータに、請求項７に記載の画像処理方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視差画像を用いた画像処理技術に関する発明である。
【背景技術】
【０００２】
一方で、瞳分割を行った複数の画像それぞれに対して、シェーディング補正と呼ばれる補正処理が必要であることも知られている。例えば、特許文献３のように、瞳分割されていない画像と比較した際に、瞳分割されている複数の画像、仮に左右に分割されているA像とB像であるとすると、均一輝度面を撮影した場合に、A像は右側から左側にかけて輝度が落ち、B像は逆の特性を示すことがある。これは先行例で示されている通り、左右で瞳分割を行う際に、光路が左右異なるため、光量が均一にならないためである。この輝度のかたよりをシェーディングと呼び、シェーディングを補正して、輝度が均一になるように補正することをシェーディング補正と呼ぶ。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−９８９１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
シェーディング補正には、シェーディング係数と呼ばれる係数が必要であり、この係数はシェーディングの特性の逆数を用いて算出される。シェーディングの特性は、様々な光学的な要因や、場合によってはセンサの特性なども加味する必要があるため、先行例でも示されているような、撮影画像から検出するような手法が一般的である。色のチャンネルごとにシェーディングの特性は異なり、また補正には高い精度が求められるため、撮影画像から検出をせずに、代表値のようなテーブルを用いて補正を行う場合には、個体ごとの微妙なずれや、撮影条件を制御する際に発生する様々なずれによって、シェーディングが正しく補正できず、結果的に色づきなどの問題が発生してしまう。
【０００５】
一方で、先行例でも言及されているような、撮影画像からシェーディング係数を算出する方法は、精度の高い係数を算出することはできるが、高負荷な処理が必要となるため、処理時間や必要なリソースが増大してしまい、ユーザが多くの画像を操作するようなアプリケーションで利用する場合には、応答性などの使い勝手が低下してしまうという問題がある。
【０００６】
視差画像に対するシェーディング補正に必要な、シェーディング係数を算出するにあたり、色づきを抑制するためには撮影画像から検出する必要があるが、複数の画像に対して適用する場合など、処理負荷が高く、応答性などを低下させてしまい、ユーザの利便性を保つことが難しい。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、複数の視点画像が入力される入力手段と、
前記複数の視点画像からシェーディング係数を検出する検出手段と、
あらかじめ算出しておいたシェーディング係数を保持しておく保持手段と、
必要な精度に応じて、前記検出手段によって検出された第１のシェーディング係数と前記保持手段に保持された第２のシェーディング係数の中から対応するシェーディング係数を特定する特定手段と、
前記特定手段によって特定されたシェーディング係数を用いて前記複数の視点画像のシェーディングを補正するシェーディング補正手段と、
を有することを特徴としている。
【発明の効果】
【０００８】
本発明によれば、各画像に求められる、必要な精度に応じてシェーディング補正を切り替えるため、各画像に適切な精度の補正と、画像処理装置の処理負荷の低減を実現している。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例における画像処理装置のブロック図である。
【図２】本発明の実施例における、入力部の動作を示すフローチャートである。
【図３】本発明の実施例における、検出部の動作を示すフローチャートである。
【図４】本発明の実施例における、シェーディング係数保持部を示すフローチャートである。
【図５】本発明の実施例における、シェーディング係数取得部の動作を示すフローチャートである。
【図６】本発明の実施例における、シェーディング補正部の動作を示すフローチャートである。
【図７】本発明の実施例における、出力部の動作を示すフローチャートである。
【図８】本発明の実施例の検出部に関する、具体的なシェーディング検出方法の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
［実施例１］
本発明を実施する、代表的な例を紹介する。まず、はじめに本発明を実施する代表的な構成を説明する。図１は、本発明の実施例における画像処理装置のブロック図を示す。
【００１１】
以下に説明する各ブロックは、例えば画像処理装置１００が有する不図示の制御部が、ＨＤＤ等の記録装置に記録された対応するアプリケーションプログラムをＲＡＭ等に展開して実行することで実現される、画像処理に係る各モジュールであるものとして説明する。しかしながら、本発明の実施において画像処理はプログラムにより実現されるものに限らず、１以上のモジュールに対応する機能を有する情報処理回路等のハードウェアによって動作が実現されるものであってもよい。
【００１２】
本発明を実施する装置は、複数の視差画像（複数の視点でそれぞれ撮像された複数の視点画像）や視差画像を合成した合成画像を入力する入力部（１０１）と、入力された画像からシェーディング係数を検出する検出部（１０２）と、精度の低い代表値をあらかじめ算出しておき、静的なデータとして保持しておくシェーディング係数保持部（１０３）と、必要とされる精度に応じてシェーディング係数を取得するシェーディング係数取得部（１０４）と、取得したシェーディング係数を元にシェーディングを補正するシェーディング補正部（１０５）と、補正した結果を出力する出力部（１０６）からなる。
【００１３】
まず、入力部（１０１）について説明を行う。図２は入力部１０１の動作を示すフローチャートである。本実施例では左右にのみ瞳分割を行うような視差画像撮影装置で撮像された視差画像が入力されるを想定しており、また瞳分割されていない通常の画像、分割された視差画像を合成した標準画像も同時に読み込むこととする。左右に瞳分割されている２枚の視差画像Aと視差画像Bを読み込み（Ｓ２０１、Ｓ２０２）、その後標準画像を読み込む（Ｓ２０３）。瞳分割については先行例などで一般的に知られている通り、マイクロレンズなどによって光路を制御することにより行う。
【００１４】
次に、検出部（１０２）について説明する。シェーディングの検出についてはいくつかのアイデアがすでに提案されているが、本実施例では１つの代表的な手法を示す。図３は、検出部１０２の動作を示すフローチャートである。まず、視差画像Aを読み込み（Ｓ３０１）、次に標準画像を読み込む（Ｓ３０２）。この２つの画像からシェーディングの特性を検出し、係数を求める（Ｓ３０３）。シェーディングの特性は、本実施例では左右分割であるために、左右一次元方向の特性を解析すれば良い。
【００１５】
さらに、分割の左側の画像を視差画像Aとすると、視差画像Aは画像の左側のゲインが強く、右側が弱い特性を示し、分割の右側の視差画像Bについては、その逆の特性に近い。よって、以下のようにシェーディング検出処理を行う。
【００１６】
図８は、検出部１０２による具体的なシェーディング検出処理を示すフローチャートである。まず各視差画像に対応する各チャンネルごとに分割を行い（Ｓ８０１）、チャンネルごとに繰り返して処理を行う（Ｓ８０２）。視差画像Aを横方向に走査していき、縦方向に輝度を合算し、画像の射影成分を求める（Ｓ８０３）。同様に標準画像についても射影成分を求め（Ｓ８０４）、その２つの射影成分の比を求めることで（Ｓ８０５）シェーディングの特性の離散成分を求めることができる。
【００１７】
実際の撮影画像では飽和部などで使用できない画素もあることから、離散点の配列から多項式近似などを用いることで、全画素で使うことのできるシェーディング特性の近似係数を求め（Ｓ８０６）、それをもってシェーディング係数とする（Ｓ８０７）。多項式近似で用いる次数については、様々なシェーディング係数を十分に近似できる次数が必要であるため、あらかじめ余裕を持った値を設定しておく必要がある。
【００１８】
次に、シェーディング係数保持部（１０３）について説明する。図４は、シェーディング係数保持部１０３を示すフローチャートである。シェーディング係数保持部では、与えられた露出などの撮影条件、すなわち、焦点距離や絞り値、撮影距離などから（Ｓ４０１）、あらかじめ保持しているシェーディング係数のテーブルから検索し（Ｓ４０２）、補間を行い（Ｓ４０３）、結果を出力する（Ｓ４０４）。
【００１９】
あらかじめ保持しているシェーディング係数は、代表的な個体であらかじめ撮影を行い、そこから検出部と同等の処理などを用いて係数を求めておくということが考えられる。理想的には、全ての撮影条件のデータを保持しておくことが望ましいが、データ量などから、現実的には精度を著しく損なわない範囲で離散的な撮影条件のデータのみを保持しておき、撮影時の撮影条件から補間して求めることが一般的である。
【００２０】
また、シェーディング係数取得部（１０４）について説明する。図５は、シェーディング係数取得部１０４の動作を示すフローチャートである。シェーディング係数取得部では、まず必要精度を取得する（Ｓ５０１）。本実施例では出力の画像サイズがあらかじめ設定されるようなソフトウェアを想定しており、画像のサムネイルを出力するか、フルサイズの画像を出力するかをユーザが選択することができる。
【００２１】
これは、画像編集をするアプリケーションなどにおいて、例えば最初は大量のサムネイルを表示して、その後でユーザが１枚の画像を選択した場合に、その画像について等倍での表示を行うようなものを想定している。撮影条件を取得した後に（Ｓ５０２）、もし必要精度がしきい値以下（Ｓ５０３）、例えばサムネイルのような小さい画像の出力であったり、解像度の低いディスプレイであったりしたら、シェーディング係数保持部より精度の低い視差画像A用のシェーディング係数を読み込む（Ｓ５０５）。通常であれば視差画像ごとにシェーディング係数を求める必要があるが、精度が必要ない場合には対称性を利用して視差画像Aのシェーディング係数から、簡易的に視差画像Bのシェーディング係数を算出してもよい（Ｓ５０６）。
【００２２】
別々に保持するような実施例も考えられるが、必要となる精度が低く、かつメモリなどのリソースの節約になるため、視差画像Aのシェーディング係数のみを保持しておき、視差画像Bのシェーディング係数は動的に求めることとする。また、必要な精度がしきい値よりも高い場合には、検出部においてシェーディングの特性を検出し、シェーディング係数を求める（Ｓ５０４）。シェーディング係数は色のチャンネルごとに独立して行うべき処理であるため、それぞれに対して行い、結果の係数を出力とする（Ｓ５０７）。
【００２３】
次にシェーディング補正部（１０５）について説明する。図６は、シェーディング補正部１０５の動作を示すフローチャートである。補正対象となる視差画像を読み込み（Ｓ６０１）、シェーディング係数取得部で求めた視差画像Aのシェーディング係数を取得し（Ｓ６０２）、視差画像Aに対してシェーディング係数を適用したシェーディング補正を施す（Ｓ６０３）。シェーディング係数はシェーディングの特性を示した多項式近似式であるため、補正するためにはゲインの逆数を各画素に掛け合わせる。同様にして、視差画像Bのシェーディング係数を取得し（Ｓ６０４）、視差画像Bに対してシェーディング係数を適用したシェーディング補正を施し（Ｓ６０５）、最後に結果の視差画像Aと視差画像Bを出力する（Ｓ６０６）。
【００２４】
出力部（１０６）について説明する。図７は、出力部１０６の動作を示すフローチャートである。出力部１０６では、シェーディング補正部１０５でシェーディング補正された各画像を取得し（Ｓ７０１）、その他の補正処理、ガンマ補正などを含む現像処理、色変換処理、符号化処理などを施してから処理後の画像を外部に出力する（Ｓ７０２）。このとき、上述したようなユーザが選択した画像サイズに基づくリサイズも行っておく。
【００２５】
出力する先は、装置内の別のモジュールであったり、ネットワークや物理的なケーブルなどを通してディスプレイや別の装置に送信すること、ファイルとしてディスクに記録することなどが考えられる。また、画像処理装置の別の画像処理部に対して、結果の画像を出力し、後続の画像処理を実行するようなことを想定している。
【００２６】
以上のように、本実施形態では、各画像に求められる、必要な精度に応じてシェーディング補正を切り替えるため、各画像に適切な精度の補正と、処理負荷の低減を実現している。
【００２７】
本実施形態では、シェーディング補正に必要な精度を設定するために画像サイズを参照したが、これに限らず、たとえばユーザによる精度設定の直接入力の結果を参照したり、ユーザ設定あるいは公知の自動判定処理によって特定された撮影シーンを参照して決めるなどしてもよい。撮影シーンがポートレートであるときには像高の高い領域の画質がそこまで求められていないので、処理負荷の低い予め記憶されたシェーディング係数を用いたり、風景シーンである場合には画像から検出される精度の高いシェーディング係数を用いたりすることが考えられる。
【００２８】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【００２９】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００３０】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【００３１】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【００３２】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【符号の説明】
【００３３】
１００  画像処理装置
１０１  入力部
１０２  検出部
１０３  係数保持部
１０４  シェーディング係数取得部
【図１】
2018148394.tif 000003
【図２】
2018148394.tif 000004
【図３】
2018148394.tif 000005
【図４】
2018148394.tif 000006
【図５】
2018148394.tif 000007
【図６】
2018148394.tif 000008
【図７】
2018148394.tif 000009
【図８】
2018148394.tif 000010