(57)【要約】      （修正有）【課題】視差画像に対する回復処理について、適用する領域を限定することで、処理時間を短縮する視差画像を扱う画像処理装置を提供する。【解決手段】視差画像を入力する入力部１０１と、視差画像に対応した光学特性を補正可能なフィルタを取得するフィルタ入力部１０２と、調整値に応じて、回復処理を適用するべき領域を判定する判定部１０３と、判定した領域に対して回復処理を適用するフィルタ適用部１０４と、回復処理を適用した視差画像について、視差画像処理を適用する視差画像処理部１０５と、を有することを特徴とする。【選択図】図１
2017102799.tif 000002
【特許請求の範囲】
【請求項１】
視差画像を入力する入力部と、
視差画像に対応した光学特性を補正可能なフィルタを取得するフィルタ入力部と、
調整値に応じて、回復処理を適用するべき領域を判定する判定部と、
判定した領域に対して回復処理を適用する適用部と、
回復処理を適用した視差画像について、視差画像処理を適用する視差画像処理部と、
を有することを特徴とする視差画像を扱う画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視差画像を扱う画像処理装置に関する。
【背景技術】
【０００２】
従来より、視差画像を用いた画像処理は広く行われている。応用例の１つはリフォーカスと呼ばれるもので、多くの先行技術が開示されている。視差画像とは、複数の視点から同一の被写体を撮影した、複数の画像である。撮影する機材として、一般的な光学系を持つ一眼レフカメラのような機材を複数組み合わせて実現する方法や、レンズやマイクロアレイ、センサなどの配置を工夫することで、単一の機材に複数の光学系を含めた形で実現するような例もある。
【０００３】
その１つとして、撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影することができる撮像装置が提案されている。
【０００４】
特許文献１では、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる瞳部分領域を受光するように構成され、瞳分割を行っている。これらの分割された光電変換部で受光したそれぞれの信号から、分割された瞳部分領域に応じた複数の視差画像を生成することができる。
【０００５】
特許文献２では、分割された光電変換部で受光した信号を、全て加算することにより撮像画像を生成することが開示されている。
【０００６】
撮影された複数の視差画像は、光強度の空間分布および角度分布情報であるＬｉｇｈｔ  Ｆｉｅｌｄ（ＬＦ）データと等価である。取得されたＬＦデータを用いて撮像面とは異なる仮想結像面における画像を合成することで、撮影後に撮像画像の合焦位置を変更するリフォーカス技術が知られている。
【０００７】
一方、従来より、光学的な特性から２次元フィルタを生成し、画像に適用することで、光学的な劣化を補正することのできる、回復技術というものが存在する。より具体的には、レンズやセンサを通る光の情報をもとめ、光学伝達関数（ＯＴＦ）を取得することで、光がどのように劣化しているか判別することができる。そのため、光学伝達関数の逆特性を、撮影された画像に対して適用してやることで、元の原画像を後処理として求めることができる。
【０００８】
これらの技術は、どちらも光学的な特性に立脚しているものであり、これらを組み合わせた先行技術もすでに存在している（特許文献３）。視差画像はセンサのレベルで光学特性が変化するものであるので、本来視差画像それぞれに対して別々の光学特性、つまりＯＴＦが存在している。そのため、それぞれの視差画像に対するＯＴＦを求め、それぞれの視差画像に対して逆特性を適用し、結果の画像に対して視差画像に対する処理、例えばリフォーカス処理などを適用することがすでに提案されている。
【０００９】
また、視差画像に対する処理は多く提案されているが、最もシンプルなものの１つに、仮想的な視点移動の機能が存在する。視差画像それぞれの比率を変更し、合成するというものがある。これは、例えば左右の視差がある２枚の画像が存在する場合に、２枚の合成比率を変更しながら画像を出力すると、仮想的に視点を移動しているような画像を出力することができる。この場合には、片側の比率をｘ％とすると、もう片方の画像は（１−ｘ）％とし、比率を適用した画像を加算することで、結果の画像を出力する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平１０−１６０４５６号公報
【特許文献２】国際公開第１２／１１１２２０号公報
【特許文献３】国際公開第１１／１１８０７７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかし、先行例で挙げた視差画像に対する回復処理について、その処理時間が問題になっていた。回復処理のフィルタを適用する処理は、あまり高速な処理ではなく、画像処理の処理時間に占める割合は元々大きい。その上、通常の１枚の画像に対する回復処理に比べて、フィルタを適用する画像が２倍に増えているため、処理時間も２倍に増え、全体の速度に大きく影響してしまう。
【００１２】
一方で、仮想的な視点移動を実現する場合には、適用する比率によっては、結果的に比率の少ない画像をほとんど用いない場合がある。そのため、先行例のように２枚それぞれに回復処理を行っても、実際には部分、あるいは全体の領域について、回復処理の結果が使われないような場合が存在し、処理の無駄となっている。
【００１３】
このように、視差画像に対する回復処理には、処理の無駄があり、処理時間がかかってしまうということが課題となっている。
【００１４】
本発明の目的は、視差画像に対する回復処理について、適用する領域を限定することで、処理時間を短縮することができる、視差画像を扱う画像処理装置を提供することにある。
【課題を解決するための手段】
【００１５】
上記の目的を達成するために、本発明に係る視差画像を扱う画像処理装置は、
視差画像を入力する入力部と、視差画像に対応した光学特性を補正可能なフィルタを取得するフィルタ入力部と、調整値に応じて、回復処理を適用するべき領域を判定する判定部と、判定した領域に対して回復処理を適用する適用部と、回復処理を適用した視差画像について、視差画像処理を適用する視差画像処理部と、を有することを特徴とする。
【発明の効果】
【００１６】
本発明に係る視差画像を扱う画像処理装置によれば、視差画像に対する回復処理について、適用する領域を限定することで、処理時間を短縮することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る、視差画像を扱う画像処理装置の代表図である。
【図２】本発明の実施形態における、入力部の動作を示すフローチャートである。
【図３】本発明の実施形態における、フィルタ入力部の動作を示すフローチャートである。
【図４】本発明の実施形態における、判定部の動作を示すフローチャートである。
【図５】本発明の実施形態における、フィルタ処理部の動作を示すフローチャートである。
【図６】本発明の実施形態における、視差画像処理部の動作を示すフローチャートである。
【図７】本発明の実施形態における、出力部の動作を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明を実施するための形態を図面に基づいて説明する。
【００１９】
（第１の実施形態）
図１は本発明の実施形態に係る、視差画像を扱う画像処理装置の代表図である。
【００２０】
本実施形態に係る装置は、視差画像を取得する入力部（１０１）と、回復処理で用いるフィルタを取得するフィルタ入力部（１０２）と、入力された調整値から適用すべき領域を判定する判定部（１０３）と、判定した領域についてフィルタを適用するフィルタ適用部（１０４）と、回復処理を施した画像について視差画像処理を行う視差画像処理部（１０５）と、結果の画像を出力する出力部（１０６）からなる。
【００２１】
まず、入力部（１０１）について説明を行う。入力部では、視差画像が撮影可能な装置で撮影された視差画像を入力し（Ｓ２０１）、視差画像に対する調整値を取得する（Ｓ２０２）。視差画像の入力については、画像ファイルをメモリーカードやネットワーク経由で取得してもよいし、本画像処理自体が撮影機能を有し、撮影することで取得してもよい。また、調整値についても、ユーザインターフェース（UI）を用いてユーザに調整してもらい、結果の値を取得してもよいし、あらかじめ設定された値を適用してもよい。
【００２２】
次に、フィルタ入力部（１０２）について説明する。
【００２３】
フィルタを取得するために必要な撮影条件の情報を取得する（Ｓ３０１）。これは、例えばカメラやレンズの情報であったり、焦点距離、絞り、撮影距離などの情報であったり、あるいは直接ＯＴＦに関する情報であるかもしれない。通常は、ＯＴＦデータは離散的に保持しているため、元のデータから、撮影条件を用いて必要な離散データを取得し、その中から補間をすることで、画像に対応したフィルタを取得することができる（Ｓ３０２）。また、本実施形態では、左右の視差がある視差画像を想定しているが、その場合にそれぞれの視差画像に対応したフィルタが必要になる。先行技術として、状況によっては片方の視差画像に対するフィルタを、回転処理することでもう片方のフィルタを生成することが可能な場合もあるが、どちらにせよ結果的に視差画像それぞれに対するフィルタが用意できればよい。
【００２４】
判定部（１０３）では、回復処理を適用する領域を判定する。まず、設定や調整に応じた領域判定を行う（Ｓ４０１）。これは、ユーザの調整によって、視差画像調整の効果を部分的に適用する場合には、その領域に限定できるためである。視差画像それぞれを単体で見る場合には、ノイズやボケ味として画質の劣化が発生することがある。そのため、視差画像処理、例えばリフォーカスや視点移動をする場合でも、効果のない領域については処理をせず、効果が必要な領域にのみ処理を適用することで、画質劣化を最低限に抑えることができる場合がある。よって、部分的な領域にのみ視差画像処理を適用する場合にはその領域について、そうでない場合には画像全体について本判定部での処理を適用する。
【００２５】
次に、指定した領域について、調整値に基いて加算比率を求める（Ｓ４０２）。本実施形態では主に視点移動を想定しており、視点移動では各視差画像の合成比率を設定することで、仮想的な視点移動を実現する。この合成比率は、画像全体で一律でもよいし、対象となる領域の中の部分領域ごとに別々の比率であってもよい。
【００２６】
そして、各視差画像について、比率があるしきい値以下の領域が存在するかどうかを調べ（Ｓ４０３）、しきい値以下の比率でしか用いられない領域については、回復処理不要フラグ（Ｓ４０４）を立てる。これにより、回復処理不要フラグをみることで、画像のどの部分に対して回復処理を適用すればよいかを判断することができるようになる。また、回復処理不要フラグの実装についてはいくつか考えられるが、本実施形態では、画像の画素数と同じサイズのマップを用意しておき、回復処理を行う領域は１を、行う必要のない領域については０を記録するようなものを想定するが、開始点と幅高さのような領域の情報を配列のようなデータ構造で保持するなど、他の実現方法も考えられる。
【００２７】
フィルタ処理部（１０４）では、判定部で判定した領域について、回復処理を適用する。視差画像を取得し（Ｓ５０１）、判定部で判定した回復処理適用領域の情報を取得する（Ｓ５０２）。そして、適用すべき領域に対して回復処理を適用する（Ｓ５０３）。フィルタについては、各視差画像ごとに用意されており、また画像中の各画素について、その光学特性の逆特性である２次元フィルタが用意されているため、畳込み演算をしていくことで、回復処理を適用することができる。
【００２８】
次に、視差画像処理部（１０５）について説明する。
【００２９】
視差画像処理部では、回復処理が適用された各視差画像に対して視差画像処理を適用する。前述の通り、本実施形態では視差画像処理として、視点移動の処理を行うことを想定する。まず、回復処理後の視差画像を取得し（Ｓ６０１）、取得したそれぞれの画像に対して設定された比率を掛け、合成することで処理を適用する（Ｓ６０２）。比率は０から１００％までの割合であり、左右差の２枚であれば、２枚それぞれの比率の合計は１００％になるような値である。また、連続的に複数の値が設定された場合には、設定された値それぞれについて適用処理を行う。
【００３０】
出力部では、視差画像処理を適用した画像を取得し（Ｓ７０１）、結果の画像を出力する（Ｓ７０２）。出力については、そのままディスプレイなどの表示装置に表示してもよいし、ファイルなどの形式でディスクなどの装置に保存してもよいし、あるいは、別の画像処理モジュールにメモリ等を介して渡してもよい。
【符号の説明】
【００３１】
１０１  入力部、１０２  フィルタ入力部、１０３  判定部、１０４  フィルタ適用部、
１０５  視差画像処理部
【図１】
2017102799.tif 000003
【図２】
2017102799.tif 000004
【図３】
2017102799.tif 000005
【図４】
2017102799.tif 000006
【図５】
2017102799.tif 000007
【図６】
2017102799.tif 000008
【図７】
2017102799.tif 000009