(57)【特許請求の範囲】
【請求項１】
被写体を異なる視点で撮像することで取得された少なくとも２つの入力画像から視差画像を生成するための視差画像生成手段と、
前記視差画像生成手段によって生成された視差画像に含まれる画素についての信頼度を算出するための信頼度算出手段と、
前記視差画像生成手段によって生成された視差画像を補正して出力するための視差画像補正手段とを備え、
前記視差画像補正手段は、
前記視差画像生成手段によって生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出するための適性算出手段と、
算出された適性に基づいて、当該被補正画素の補正に用いる画素を決定するための決定手段とを含み、
前記色情報は、前記被補正画素の周辺にある画素の各色の周波数情報を含む、画像処理装置。
【請求項２】
前記適性算出手段は、前記色情報と前記被補正画素からの距離とに基づいて、適性を算出する、請求項１に記載の画像処理装置。
【請求項３】
前記適性算出手段は、前記被補正画素の周辺にある画素のうち、対応する信頼度が所定値を超えたものについて適性を算出する、請求項１または２に記載の画像処理装置。
【請求項４】
前記決定手段は、適性が所定値を超える画素が存在しない場合には、適性にかかわらず、前記被補正画素の周辺にある画素を補正に用いる、請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記視差画像生成手段は、前記少なくとも２つの入力画像に対する対応点探索処理の結果に基づいて前記視差画像を生成し、
前記信頼度算出手段は、前記対応点探索処理における評価値に基づいて信頼度を算出する、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記対応点探索処理は、位相限定相関法による対応点探索処理を含む、請求項５に記載の画像処理装置。
【請求項７】
前記適性算出手段は、位相限定相関法による対応点探索処理において算出される周波数情報に基づいて、適性を算出する、請求項６に記載の画像処理装置。
【請求項８】
被写体を異なる視点で撮像することで取得された少なくとも２つの入力画像から視差画像を生成するステップと、
生成された視差画像に含まれる画素についての信頼度を算出するステップと、
生成された視差画像を補正して出力するステップとを備え、
視差画像を補正して出力する前記ステップは、
生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出するステップと、
算出された適性に基づいて、当該被補正画素の補正に用いる画素を決定するステップとを含み、
前記色情報は、前記被補正画素の周辺にある画素の各色の周波数情報を含む、画像処理方法。
【請求項９】
コンピューターに画像処理を実行させる画像処理プログラムであって、前記画像処理プログラムは、前記コンピューターを、
被写体を異なる視点で撮像することで取得された少なくとも２つの入力画像から視差画像を生成するための視差画像生成手段と、
前記視差画像生成手段によって生成された視差画像に含まれる画素についての信頼度を算出するための信頼度算出手段と、
前記視差画像生成手段によって生成された視差画像を補正して出力するための視差画像補正手段として機能させ、
前記視差画像補正手段は、
前記視差画像生成手段によって生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出するための適性算出手段と、
算出された適性に基づいて、当該被補正画素の補正に用いる画素を決定するための決定手段とを含み、
前記色情報は、前記被補正画素の周辺にある画素の各色の周波数情報を含む、画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の立体視表示などに用いられる視差画像を生成するための画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
近年の表示デバイスの開発とも相まって、被写体を立体視表示するための画像処理技術の開発が進められている。このような立体視表示を実現する典型的な方法として、人間が感じる両眼視差を利用する方法がある。このような両眼視差を利用する場合には、被写体を異なる視点で撮像することで取得される少なくとも２つの入力画像の間について、視差を算出する方法が一般的に採用される。算出された各画素位置の視差を表現するために視差画像が用いられることが多い。視差画像は、いずれかの入力画像の画素位置を基準として、各画素の視差をその画素値とするものである。視差画像は、各画素の画素値を濃淡で表現することもできる。
【０００３】
このような視差画像は、入力画像間の視差を算出することで生成されるが、様々な要因によって、この算出される視差には誤差が生じ得る。そのため、このような誤差を補正することが好ましい。誤差を含む視差画像を用いて立体視表示を行なうと、視差が局所的に大きく変動するなどの違和感をユーザーに与える可能性がある。
【０００４】
このような視差画像の補正に関して、以下のような先行技術が知られている。
特開２００１−１１６５１３号公報（特許文献１）は、より密に物体までの距離分布を算出する、ステレオ照合における相関演算装置を開示する。より具体的には、この相関演算装置は、一対の撮像装置で物体を撮像し、その一方の画像データに測定点を設定し、他方の画像とｘ方向に沿ってシティブロック距離による相関演算を行なうことで相関曲線を得る。そして、相関演算装置は、相関曲線の複数の極小値に視差候補を設定し、極小値及び極小部の頂角から視差候補の信頼度を判定する。さらに、相関演算装置は、所定のレベル以上であればその候補を高信頼度測定点とし、以下であれば低信頼度測定点とする。また、相関演算装置は、低信頼度測定点が２方向で高信頼度測定点と連続していれば、低信頼度測定点の視差候補からそれらの視差に最も近い視差を選択する。これにより、物体を構成する高信頼度測定点の数が多くなり、その視差から物体までの距離分布が密に求まる。
【０００５】
特開２００３−２６９９１７号公報（特許文献２）は、信頼度が低い部分を含む画像においても、照度及び対象物に関係なく、高精度に距離情報を取得することができる距離計測方法などを開示する。この距離計測方法では、異なるパラメータで、ステレオカメラにより撮像された複数枚のステレオ画像から、夫々複数の信頼度画像及び距離画像が生成される。これらの画像から、信頼度画像内の所定の閾値より高い高信頼度領域における距離画像の距離データが合成され、低信頼度領域における距離データは高信頼度領域における距離データにより補間し、距離画像が生成される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−１１６５１３号公報
【特許文献２】特開２００３−２６９９１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の相関演算装置では、近くにある信頼度の高い点という条件に基づいて判断するものであり、信頼度の高い点が同一のオブジェクトではない可能性がある。そのため、例えば、隣接した２物体が被写体である場合などには、全く異なる視差を用いて補正してしまう可能性がある。
【０００８】
また、特許文献２に記載の距離計測方法では、信頼度が低い部分が存在した場合には、被写体を再度撮像する必要があり、より多くの処理時間を要するとともに、適用可能な用途が限定される。
【０００９】
そこで、本発明は、かかる問題を解決するためになされたものであり、その目的は、視差画像をより高い精度で補正できる画像処理装置、画像処理方法および画像処理プログラムを提供することである。
【課題を解決するための手段】
【００１０】
本発明のある局面に従う画像処理装置は、被写体を異なる視点で撮像することで取得された少なくとも２つの入力画像から視差画像を生成するための視差画像生成手段と、視差画像生成手段によって生成された視差画像に含まれる画素についての信頼度を算出するための信頼度算出手段と、視差画像生成手段によって生成された視差画像を補正して出力するための視差画像補正手段とを含む。視差画像補正手段は、視差画像生成手段によって生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出するための適性算出手段と、算出された適性に基づいて、当該被補正画素の補正に用いる画素を決定するための決定手段とを含む。
【００１１】
好ましくは、色情報は、被補正画素の周辺にある画素の色の分布を含む。
好ましくは、色情報は、被補正画素の周辺にある画素の各色の周波数情報を含む。
【００１２】
好ましくは、適性算出手段は、色情報と被補正画素からの距離とに基づいて、適性を算出する。
【００１３】
好ましくは、適性算出手段は、被補正画素の周辺にある画素のうち、対応する信頼度が所定値を超えたものについて適性を算出する。
【００１４】
好ましくは、決定手段は、適性が所定値を超える画素が存在しない場合には、適性にかかわらず、被補正画素の周辺にある画素を補正に用いる。
【００１５】
好ましくは、視差画像生成手段は、少なくとも２つの入力画像に対する対応点探索処理の結果に基づいて視差画像を生成し、信頼度算出手段は、対応点探索処理における評価値に基づいて信頼度を算出する。
【００１６】
さらに好ましくは、対応点探索処理は、位相限定相関法による対応点探索処理を含む。
さらに好ましくは、適性算出手段は、位相限定相関法による対応点探索処理において算出される周波数情報に基づいて、適性を算出する。
【００１７】
本発明の別の局面に従う画像処理方法は、被写体を異なる視点で撮像することで取得された少なくとも２つの入力画像から視差画像を生成するステップと、生成された視差画像に含まれる画素についての信頼度を算出するステップと、生成された視差画像を補正して出力するステップとを含む。視差画像を補正して出力するステップは、生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出するステップと、算出された適性に基づいて、当該被補正画素の補正に用いる画素を決定するステップとを含む。
【００１８】
本発明のさらに別の局面に従う画像処理プログラムは、コンピューターに画像処理を実行させる画像処理プログラムであって、コンピューターを、被写体を異なる視点で撮像することで取得された少なくとも２つの入力画像から視差画像を生成するための視差画像生成手段と、視差画像生成手段によって生成された視差画像に含まれる画素についての信頼度を算出するための信頼度算出手段と、視差画像生成手段によって生成された視差画像を補正して出力するための視差画像補正手段として機能させ、視差画像補正手段は、視差画像生成手段によって生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出するための適性算出手段と、算出された適性に基づいて、当該被補正画素の補正に用いる画素を決定するための決定手段とを含む。
【発明の効果】
【００１９】
本発明によれば、視差画像をより高い精度で補正できる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態に従う画像処理装置をパーソナルコンピューターにより実現した場合の構成を示すブロック図である。
【図２】本発明の実施の形態に従う画像処理装置をデジタルカメラ類似の構成により実現した場合の構成を示すブロック図である。
【図３】本発明の実施の形態に従う画像処理装置の機能構成を示すブロック図である。
【図４】本発明の実施の形態に従う画像処理装置における全体処理手順を示すフローチャートである。
【図５】本発明の実施の形態に従う対応点探索処理の内容を説明するための図である。
【図６】本発明の実施の形態に従う対応点探索処理によって生成される視差画像の一例を示す図である。
【図７】本発明の実施の形態に従う補正画素候補の抽出処理の内容を説明するための図である。
【図８】本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。
【図９】本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。
【図１０】本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。
【図１１】本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。
【図１２】本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。
【発明を実施するための形態】
【００２１】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【００２２】
＜Ａ．概要＞
本発明の実施の形態に従う画像処理装置は、被写体を異なる視点で撮像することで取得された少なくとも２つの入力画像から視差画像を生成する。視差画像の生成にあたって、対応点探索処理などの失敗によって、視差画像に誤差が生じる場合がある。そこで、本実施の形態に従う画像処理装置では、画素の信頼度だけではなく、画素の色情報に基づいて、ある被補正画素を補正するために使用されることの適性を周辺の補正画素候補について評価する。そして、それぞれの補正画素候補についての適性に基づいて、当該被補正画素の補正に用いる補正画素候補を決定する。これにより、より補正の精度を高めることができる。
【００２３】
＜Ｂ．システム構成＞
まず、本発明の実施の形態に従う画像処理装置の構成について説明する。
【００２４】
［ｂ１：パーソナルコンピューターによる実現例］
図１は、本発明の実施の形態に従う画像処理装置をパーソナルコンピューターにより実現した場合の構成を示すブロック図である。
【００２５】
図１を参照して、画像処理装置１００は、主として、汎用的なアーキテクチャーを有するコンピューター上に実装される。図１を参照して、画像処理装置１００は、主たるコンポーネントとして、ＣＰＵ（Central Processing Unit）１０２と、ＲＡＭ（Random Access Memory）１０４と、ＲＯＭ（Read Only Memory）１０６と、ネットワークインターフェイス（Ｉ／Ｆ）１０８と、補助記憶装置１１０と、表示部１２０と、入力部１２２と、メモリーカードインターフェイス（Ｉ／Ｆ）１２４とを含む。各コンポーネントは、バス１３０を介して、互いに通信可能に接続されている。
【００２６】
ＣＰＵ１０２は、ＲＯＭ１０６や補助記憶装置１１０などに格納された、オペレーティングシステム（ＯＳ：Operating System）や画像処理プログラムなどの各種プログラムを実行することで、画像処理装置１００の全体を制御する。ＲＡＭ１０４は、ＣＰＵ１０２でプログラムを実行するためのワーキングメモリとして機能し、プログラムの実行に必要な各種データを一次的に格納する。ＲＯＭ１０６は、画像処理装置１００において起動時に実行される初期プログラム（ブートプログラム）などを格納する。
【００２７】
ネットワークインターフェイス１０８は、各種の通信媒体を介して、他の装置（サーバー装置など）とデータを遣り取りする。より具体的には、ネットワークインターフェイス１０８は、イーサネット（登録商標）などの有線回線（ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）など）、および／または、無線ＬＡＮなどの無線回線を介してデータ通信を行なう。
【００２８】
補助記憶装置１１０は、典型的には、ハードディスクなどの大容量磁気記憶媒体などからなり、本実施の形態に従う各種を実現するための画像処理プログラム１１２および処理対象の入力画像１１４などを格納する。さらに、補助記憶装置１１０には、オペレーティングシステムなどのプログラムが格納されてもよい。
【００２９】
入力画像１１４は、被写体を異なる視点で撮像することで取得された少なくとも２つの画像を含む。但し、画像処理装置１００本体が被写体を撮像する機能を有していなくともよい。この場合、後述するようなデジタルカメラに類似した機構を用いて、少なくとも２つの入力画像を取得し、それらの入力画像を任意の方法で画像処理装置１００へ入力するようにしてもよい。より具体的には、上述のネットワークインターフェイス１０８やメモリーカードインターフェイス１２４を介して、入力画像が画像処理装置１００へ入力される。
【００３０】
表示部１２０は、オペレーティングシステムが提供するＧＵＩ（Graphical User Interface）画面や画像処理プログラム１１２の実行によって生成される画像などを表示する。好ましくは、表示部１２０は、画像処理プログラム１１２の実行によって生成される視差画像を用いて生成される立体視画像を用いて、被写体を立体視表示できることが好ましい。この場合、表示部１２０としては、３次元表示方式に対応した任意の表示デバイスによって構成される。このような３次元表示方式としては、パララックスバリア方式などを採用することができる。このパララックスバリア方式では、液晶表示面にパララックスバリアを設けることで、ユーザーの右眼で右眼用画像を視認させ、ユーザーの左眼で左眼用画像を視認させることができる。あるいは、シャッタメガネ方式を採用してもよい。このシャッタメガネ方式では、左眼用画像および右眼用画像を交互に高速で切り替えて表示するとともに、この画像の切り替えに同期して開閉するシャッターが搭載された専用メガネをユーザーが装着することで、立体視表示を楽しむことができる。
【００３１】
入力部１２２は、典型的には、キーボード、マウス、タッチパネルなどからなり、ユーザーから受付けた指示の内容をＣＰＵ１０２などへ出力する。
【００３２】
メモリーカードインターフェイス１２４は、ＳＤ（Secure Digital）カードやＣＦ（Compact Flash（登録商標））カードなどの各種メモリーカード（不揮発性記憶媒体）１２６との間で、データの読み書きを行なう。典型的には、メモリーカードインターフェイス１２４には、何らかの装置で取得した入力画像を格納したメモリーカード１２６が装着され、そのメモリーカード１２６から読み出された入力画像が補助記憶装置１１０へ格納（コピー）される。
【００３３】
補助記憶装置１１０に格納される画像処理プログラム１１２は、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などの記憶媒体に格納されて流通し、あるいは、ネットワークを介してサーバー装置などから配信される。画像処理プログラム１１２は、画像処理装置１００（パーソナルコンピューター）で実行されるオペレーティングシステムの一部として提供されるプログラムモジュールのうち必要なモジュールを、所定のタイミングおよび順序で呼出して処理を実現するようにしてもよい。この場合、画像処理プログラム１１２自体には、オペレーティングシステムによって提供されるモジュールは含まれず、オペレーティングシステムと協働して画像処理が実現される。また、画像処理プログラム１１２は、単体のプログラムではなく、何らかのプログラムの一部に組込まれて提供されてもよい。このような場合にも、画像処理プログラム１１２自体には、当該何らかのプログラムにおいて共通に利用されるようなモジュールは含まれず、当該何らかのプログラムと協働して画像処理が実現される。このような一部のモジュールを含まない画像処理プログラム１１２であっても、本実施の形態に従う画像処理装置１００の趣旨を逸脱するものではない。
【００３４】
さらに、画像処理プログラム１１２によって提供される機能の一部または全部を専用のハードウェアによって実現してもよい。
【００３５】
［ｂ２：デジタルカメラ類似の構成による実現例］
図２は、本発明の実施の形態に従う画像処理装置をデジタルカメラ類似の構成により実現した場合の構成を示すブロック図である。
【００３６】
図２を参照して、画像処理装置２００は、実際に被写体を撮像することで少なくとも２つの入力画像を取得し、この取得した入力画像を用いて視差画像を出力できる。画像処理装置２００は、主たるコンポーネントとして、画像処理エンジン２０２と、入力部２０４と、表示部２０６と、一対のレンズ２１２，２２２と、一対のＣＣＤ（Charge Coupled Device）イメージセンサー２１４，２２４とを含む。
【００３７】
画像処理エンジン２０２は、本実施の形態に従う画像処理を含む各種のデジタル処理を実行する。画像処理エンジン２０２は、典型的には、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＬＳＩ（Large Scale Integration）、ＦＰＧＡ（Field-Programmable Gate Array）などからなる。
【００３８】
入力部２０４は、典型的には、各種キーボタン、タッチパネルなどからなり、ユーザーから受付けた指示の内容を画像処理エンジン２０２へ出力する。
【００３９】
表示部２０６は、被写体の撮像などに関するユーザーインターフェイス画面を表示する。好ましくは、表示部２０６は、画像処理エンジン２０２によって生成される視差画像を用いて生成される立体視画像を用いて、被写体を立体視表示できることが好ましい。この場合、表示部２０６としては、上述の表示部１２０（図１）と同様に、３次元表示方式に対応した任意の表示デバイスによって構成される。
【００４０】
一対のレンズ２１２，２２２は、画像処理装置２００の本体の異なる位置に設けられており、被写体を異なる視点でそれぞれ撮像することできる。すなわち、一対のレンズ２１２，２２２には、被写体からの互いに異なる反射光がそれぞれ入射する。一対のＣＣＤ２１４，２２４は、一対のレンズ２１２，２２２にそれぞれ対応付けられており、レンズ２１２，２２２によって集光された被写体からの光（像）を受光するとともに、その像を示す電気信号を画像処理エンジン２０２へ出力する。
【００４１】
［ｂ３：その他の構成による実現例］
上述したパーソナルコンピューターにより実現する例、および、デジタルカメラ類似の構成による実現する例に加えて、携帯電話上に実装してもよい。さらに、少なくとも１つのサーバー装置が本実施の形態に従う処理を実現する、いわゆるクラウドサービスのような形態であってもよい。この場合、ユーザーは、自身の端末（パーソナルコンピューターやスマートフォンなど）を用いて、少なくとも２つの入力画像をサーバー装置（クラウド側）へ送信し、当該送信された入力画像に対して、サーバー装置側が本実施の形態に従う画像処理を行なうような構成が想定される。さらに、サーバー装置側がすべての機能（処理）を行なう必要はなく、ユーザー側の端末とサーバー装置とが協働して、本実施の形態に従う画像処理を実現するようにしてもよい。
【００４２】
＜Ｃ．機能構成＞
次に、本実施の形態に従う画像処理装置の機能構成について説明する。
【００４３】
図３は、本発明の実施の形態に従う画像処理装置の機能構成を示すブロック図である。図３を参照して、本実施の形態に従う画像処理装置は、その機能構成として、視差画像生成部１０と、信頼度算出部２０と、視差画像補正部３０とを含む。これらの機能構成は、図１に示す画像処理装置１００においては、ＣＰＵ１０２が画像処理プログラムを実行することで実現され、図２に示す画像処理装置２００においては、画像処理エンジン２０２によって実現される。
【００４４】
視差画像生成部１０は、少なくとも２つの入力画像（図３に示す例では、入力画像ＡおよびＢ）から視差画像を生成する。この少なくとも２つの入力画像は、被写体を異なる視点で撮像することで取得される。より具体的には、視差画像生成部１０は、少なくとも２つの入力画像に対する対応点探索処理の結果に基づいて視差画像を生成する。この対応点探索処理およびその結果に基づく視差画像の生成処理の詳細については後述する。
【００４５】
信頼度算出部２０は、視差画像生成部１０によって生成された視差画像に含まれる画素についての信頼度を算出する。より具体的には、信頼度算出部２０は、視差画像生成部１０での対応点探索処理における評価値に基づいて信頼度を算出する。この信頼度の算出処理の詳細については後述する。
【００４６】
視差画像補正部３０は、視差画像生成部１０によって生成された視差画像を補正して出力する。この出力される補正後の視差画像を視差画像（補正後）とも記す。視差画像補正部３０は、視差画像に含まれる画素の単位で視差を補正する。より具体的には、視差画像補正部３０は、被補正画素抽出部３１と、適性算出部３２と、決定部３３と、補正実行部３４とを含む。被補正画素抽出部３１は、視差画像生成部１０によって生成された視差画像に含まれる画素のうち、その視差を補正すべきである対象の画素（以下「被補正画素」とも称す。）を抽出する。適性算出部３２は、視差画像生成部１０によって生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出する。決定部３３は、算出された適性に基づいて、当該被補正画素の補正に用いる画素を決定する。補正実行部３４は、被補正画素を決定部３３によって決定された画素の情報で補正する。視差画像の補正処理の詳細については後述する。
【００４７】
＜Ｄ．全体処理手順＞
次に、本実施の形態に従う画像処理装置における全体処理手順について説明する。
【００４８】
図４は、本発明の実施の形態に従う画像処理装置における全体処理手順を示すフローチャートである。図４を参照して、画像処理装置（視差画像生成部１０）は、少なくとも２つの入力画像を取得する（ステップＳ２）。続いて、画像処理装置（視差画像生成部１０）は、取得した少なくとも２つの入力画像に対して対応点探索処理を実行する（ステップＳ４）。そして、画像処理装置（視差画像生成部１０）は、対応点探索処理の結果に基づいて、視差画像を生成する（ステップＳ６）。
【００４９】
このステップＳ４およびＳ６の処理と並行して、または、連続して、画像処理装置（信頼度算出部２０）は、生成された視差画像に含まれるそれぞれの画素についての信頼度を算出する（ステップＳ８）。
【００５０】
これらの処理が完了すると、以下に示す視差画像の補正処理が実行される。
すなわち、画像処理装置（被補正画素抽出部３１）は、ステップＳ６において生成された視差画像に含まれる画素を注目画素に設定する（ステップＳ１０）。そして、画像処理装置（被補正画素抽出部３１）は、設定した注目画素が被補正画素であるか否かを判断する（ステップＳ１２）。設定した注目画素が被補正画素ではない場合（ステップＳ１２においてＮＯの場合）には、処理は、ステップＳ２０へ進む。
【００５１】
設定した注目画素が被補正画素である場合（ステップＳ１２においてＹＥＳの場合）には、画像処理装置（適性算出部３２）は、注目画素（被補正画素）の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出する（ステップＳ１４）。続いて、画像処理装置（決定部３３）は、ステップＳ１４において算出された適性に基づいて、被補正画素の補正に用いる画素を決定する（ステップＳ１６）。そして、画像処理装置（補正実行部３４）は、ステップＳ１６において決定された画素の情報で被補正画素を補正する（ステップＳ１８）。そして、処理は、ステップＳ２０へ進む。
【００５２】
ステップＳ２０において、画像処理装置（被補正画素抽出部３１）は、ステップＳ６において生成された視差画像に含まれるすべての画素が注目画素に設定済であるか否かを判断する。ステップＳ６において生成された視差画像に含まれる画素のうち注目画素に設定されていない画素が存在する場合（ステップＳ２０においてＮＯの場合）には、画像処理装置（被補正画素抽出部３１）は、注目画素に設定されたことのないいずれかの画素を注目画素に設定する（ステップＳ２２）。そして、ステップＳ１２以下の処理が再度実行される。
【００５３】
ステップＳ６において生成された視差画像に含まれるすべての画素が注目画素に設定済である場合（ステップＳ２０においてＹＥＳの場合）には、画像処理装置は、補正後の視差画像を出力する（ステップＳ２４）。そして、処理は終了する。
【００５４】
以下、各ステップにおける処理の詳細について説明する。
＜Ｅ．視差画像生成処理＞
視差画像生成部１０は、入力画像（入力画像Ａおよび入力画像Ｂ）に対して、対応点探索処理を行なうとともに、その結果に基づいて、視差画像を生成する（図４のステップＳ２〜Ｓ６）。
【００５５】
図５は、本発明の実施の形態に従う対応点探索処理の内容を説明するための図である。図６は、本発明の実施の形態に従う対応点探索処理によって生成される視差画像の一例を示す図である。
【００５６】
図５を参照して、視差画像生成部１０は、入力された入力画像の間で、ある入力画像の任意の点（以下「注目点」とも称す。）に関して、他の入力画像において対応する点（以下「対応点」とも称す。）を探索する。なお、注目点を設定する入力画像を基準画像と称し、対応点を探索する入力画像を参照画像と称す。そして、注目点と対応点との間の位置ずれが視差に相当する。典型的には、一方の入力画像（基準画像）上の注目点の座標と、他方の入力画像（参照画像）上の対応点の座標との差（座標差）が視差として算出される。
【００５７】
視差画像生成部１０は、基準画像に対して注目点を順次設定するとともに、対応する対応点を順次探索する。基本的には、この注目点は、所定の画素単位で設定される。理想的には、基準画像の各画素を注目点に設定するとともに、参照画像上の対応点を探索することが好ましい。処理速度や処理能力の制約から、所定領域（例えば、８画素×８画素）ごとに注目点を設定し、対応する対応点を探索するようにしてもよい。
【００５８】
それぞれ算出される視差は、被写体上の各部分についての距離情報を示す。すなわち、それぞれの視差は、レンズなどの撮像部から、被写体上の注目点に対応する領域までの距離を示す指標値である。視差が大きいほど、撮像部から被写体の注目点に対応する領域までの距離が短い、すなわち撮像部により近接していることを意味する。逆に、視差が小さいほど、撮像部から被写体の注目点に対応する領域までの距離が長い、すなわち撮像部からより離れていることを意味する。なお、この視差が生じる方向は、一対のレンズの位置関係に依存する。
【００５９】
したがって、それぞれ算出される視差の大きさから、撮像部から被写体の各部までの距離（奥行き）を算出することができる。このような被写体の各部の距離を画像として表現したものを視差画像（あるいは、距離画像）と称す。
【００６０】
図６には、視差画像の一例を示す。図６に示す視差画像においては、各領域の視差の大きさ（奥行き方向の位置）は、濃淡を用いて表現される。なお、図６に示す視差画像に対して、スムージング処理を行なってもよい。
【００６１】
図５に示すような対応点探索処理は、典型的には、位相限定相関法（ＰＯＣ：Phase-Only Correlation）演算法、ＳＡＤ（Sum of Absolute Difference）演算法、ＳＳＤ（Sum of Squared Difference）演算法、ＮＣＣ（Normalized Cross Correlation）演算法などを用いることができる。本実施の形態においては、一例として、ＰＯＣによる対応点探索処理を用いる場合について説明する。
【００６２】
ＰＯＣでは、入力画像に含まれる位相成分を用いて対応点探索を行なう。より具体的には、入力画像に設定される処理領域（ウィンドウ）内に含まれる周波数情報（周波数成分）を算出し、この周波数成分の類似度（相関値）から対応点が探索される。本実施の形態においては、このＰＯＣによる対応点探索処理において算出される周波数情報に基づいて、視差補正を行なうための適性が算出される。このような周波数成分を用いることで、適性の算出処理を効率化できる。
【００６３】
＜Ｆ．信頼度算出処理＞
信頼度算出部２０は、視差画像生成部１０によって生成された視差画像に含まれる画素についての信頼度を算出する（図４のステップＳ８）。すなわち、信頼度は、対応点探索処理によって得られた対応点の各々がどの程度確からしいのかを示す指標である。信頼度算出部２０は、典型的には、対応点探索処理によって算出された類似度（相関値）をそのまま信頼度として出力する。
【００６４】
ＰＯＣによる対応点探索処理を用いる場合には、算出されるＰＯＣ値（相関値）の最大値が信頼度に相当し、このＰＯＣ値が大きいほど信頼できると判断できる。
【００６５】
ＳＡＤによる対応点探索処理を用いる場合には、算出されるＳＡＤ値の最小値が信頼度に相当し、このＳＡＤ値が小さいほど信頼できると判断できる。
【００６６】
他の対応点探索処理においても、同様の思想によって信頼度を算出することができる。本発明は、対応点探索処理の種類およびその対応点探索処理の結果に従う信頼度の算出処理について限定されるものではない。
【００６７】
＜Ｇ．視差補正処理＞
本実施の形態においては、被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出することで、視差画像をより適切に補正する。すなわち、視差画像の補正に際して、画素の色情報から補正画素候補としての適性を算出し、この算出された適性がより高いものを優先的に用いて、補正を行なう。
【００６８】
［ｇ１：被補正画素の抽出処理］
被補正画素抽出部３１は、視差画像生成部１０によって生成された視差画像に含まれる画素のうち、その視差を補正すべきである対象の画素（被補正画素）を抽出する（図４のステップＳ１２）。この被補正画素は、各画素についての信頼度の大きさに基づいて抽出される。
【００６９】
典型的には、被補正画素抽出部３１は、視差画像に含まれる画素のうち、その信頼度が低い画素を被補正画素として決定する。「信頼度が低い」という評価方法としては、絶対的評価方法および相対的評価方法のいずれについても採用することができる。前者の方法については、各画素の信頼度を予め設定したしきい値と比較し、当該しきい値より低い信頼度を有する画素を被補正画素として抽出する（例えば、α以下といった基準）。後者の方法については、視差画像に含まれる各画素の信頼度の分布について、下位側の所定範囲（例えば、β％以下といった基準）に含まれる画素を被補正画素として抽出する。
【００７０】
［ｇ２：適性算出処理］
適性算出部３２は、視差画像生成部１０によって生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、被補正画素についての補正画素候補としての適性を算出する（図４のステップＳ１４）。
【００７１】
（ｉ）補正画素候補の抽出処理
すべての画素が補正画素候補とはならないので、適性を算出する前に、補正画素候補になり得る画素を抽出しておくことが好ましい。この補正画素候補を抽出する典型的な方法としては、被補正画素の周辺の所定範囲内に存在する画素のうち、その信頼度が高い画素を補正画素候補として決定する。信頼度が低い画素は、補正「される」側の画素（すなわち、被補正画素）とすべきであり、補正画素候補としては不適切であることは明らかであるためである。
【００７２】
このように、被補正画素の周辺にある画素のうち、対応する信頼度が所定値を超えたものについて適性を算出することが好ましい。
【００７３】
「信頼度が高い」という評価方法としては、上述と同様に、絶対的評価方法および相対的評価方法のいずれについても採用することができる。図７は、本発明の実施の形態に従う補正画素候補の抽出処理の内容を説明するための図である。
【００７４】
前者の方法については、図７（ａ）に示すように、各画素の信頼度を予め設定したしきい値と比較し、当該しきい値より高い信頼度を有する画素を被補正画素として抽出する（例えば、α以上といった基準）。なお、このしきい値をパラメータとして入力できるようにしてもよい。
【００７５】
後者の方法については、図７（ｂ）に示すように、視差画像に含まれる各画素の信頼度の分布について、下位側の所定範囲（例えば、β％以上といった基準）に含まれる画素を被補正画素として抽出する。あるいは、被補正画素の信頼度を基準にしきい値を決定し、あるいは、距離画像に含まれる全画素の信頼度を基準にしきい値を決定（平均値や中央値）してもよい。
【００７６】
（ｉｉ）適性の算出処理（その１）
図８および図９は、本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。
【００７７】
図８（ａ）および図８（ｂ）を参照して、適性算出部３２は、典型的には、被補正画素の色情報と補正画素候補の色情報との差に基づいて適性を算出する。なお、被補正画素の色情報および補正画素候補の色情報は、入力画像の対応する画素における色情報を意味する。このとき、画素間の色情報の差が小さいほど、補正に用いる画素としての適性が高いといえる。すなわち、被補正画素の色情報と似ている色情報を有する画素ほど、補正画素候補としては相応しいと判断される。これは、色情報が近接していれば、被写体の同一部分を示している可能性が高いためである。
【００７８】
図８（ａ）には、ＲＧＢ色空間を用いた例を示し、図８（ｂ）には、ＣＭＹ色空間を用いた例を示す。入力画像の各画素の色情報を定義する方法に応じて、適切な色空間座標を用いればよく、このとき、適性は、当該色空間における距離Ｄｆに応じて算出される。
【００７９】
なお、図８に示すような色情報が３次元の値を有する必要はない。すなわち、一色のみの色情報で適性を算出してもよい。この場合には、図９に示すような、１次元の座標系を用いて、適性が算出される。そのため、本実施の形態に従う方法は、グレイスケール画像に対しても適用可能である。
【００８０】
（ｉｉｉ）適性の算出処理（その２）
さらに、色情報の差分に対して、対応する信頼度を重みとして付加してもよい。このように、色情報と信頼度とを用いることで、色情報の差が同程度の画素が複数ある場合には、より信頼度の高い画素が優先的に補正画素として用いられることになり、視差補正をより安定化させることができる。
【００８１】
この場合には、位相限定相関法（ＰＯＣ）による対応点探索処理において算出される周波数情報に基づいて適性を算出することが好ましい。このように、ＰＯＣから周波数情報を受け取り、適性の算出に用いることで、不要な算出を削減し、高速な適性算出が可能となる。
【００８２】
（ｉｖ）適性の算出処理（その３）
図１０は、本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。図１０を参照して、適性の算出処理の別形態として、被補正画素およびその周辺画素の色の分布（テクスチャー）と補正画素候補およびその周辺画素の色の分布との差分に基づく算出方法を採用してもよい。すなわち、適性を算出するために用いられる色情報は、被補正画素の周辺にある画素の色の分布を含む。
【００８３】
典型的には、被補正画素を中心としてウィンドウを設定するとともに、補正画素候補を中心として同じサイズのウィンドウを設定する。そして、両ウィンドウ内の色の分布を比較して、両者の差が小さいほど補正に用いる画素としての適性が高いと判断する。すなわち、被補正画素の色の分布と情報と似ている色の分布を有するウィンドウほど、補正画素候補としては相応しいと判断される。これは、色の分布が近接していれば、被写体の同一部分を示している可能性が高いためである。この色の分布としては、より具体的には、ヒストグラムや周波数成分の振幅分布が用いられる。すなわち、適性の算出に用いる色情報は、被補正画素の周辺にある画素の各色の周波数情報を含む。
【００８４】
（ｖ）適性の算出処理（その４）
さらに、被補正画素と補正画素候補との間の画素間距離に応じた重みを付加してもよい。すなわち、色情報と被補正画素からの距離とに基づいて適性が算出される。
【００８５】
図１１および図１２は、本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。図１１に示すように、距離画像における被補正画素と補正画素候補との間の画素間距離Ｄに依存した重みが用いられる。一例として、図１２に示すように、画素間距離Ｄがしきい値Ａ以下であれば、重みを「１」に設定し、しきい値Ａを超えてしきい値Ｂに到達するまでの範囲では、重みを漸減させてもよい。この例では、画素間距離Ｄがしきい値Ｂを超えれば、重みは「０」に設定される。言い換えれば、画素間距離Ｄがしきい値Ｂを超えている画素についての適性は「０」となる。そのため、このような画素については、補正対象画素としては選択されない。
【００８６】
図１２に示す重みは、以下のようにまとめることができる。
（ａ）画素間距離Ｄ≦しきい値Ａ：重み＝１
（ｂ）しきい値Ａ＜画素間距離Ｄ≦しきい値Ｂ：重み＝（Ｂ−Ｄ）／（Ｂ−Ａ）
（ｃ）画素間距離Ｄ＞しきい値Ｂ：重み＝０
このような重みを採用するのは、色情報がほぼ同じ複数の画素は、同一のオブジェクトである可能性が高いので、このような場合には、被補正画像に近い画素を優先するためである。
【００８７】
（ｖｉ）適性の算出処理（その５）
上述した適性の算出処理（その１）〜適性の算出処理（その４）については、適宜組み合わせることができる。
【００８８】
［ｇ３：補正画素の決定処理］
決定部３３は、適性算出部３２によって算出された適性に基づいて、被補正画素の補正に用いる画素を決定する（図４のステップＳ１６）。このような被補正画素の補正に用いる画素としては、典型的には、補正画素候補のうち、最も適性の値が大きい画素が補正に用いられる画素として選択される。
【００８９】
あるいは、補正画素候補のうち、その適性の値が所定のしきい値以上の補正画素候補や、適性の値が補正画素候補の全体からみて上位にある補正画素候補を選択して、選択した複数の補正画素候補を用いて、補正を行なってもよい。
【００９０】
［ｇ４：補正実行処理］
補正実行部３４は、決定部３３によって決定された画素の情報で被補正画素を補正する（図４のステップＳ１８）。
【００９１】
（ｉ）補正方法（その１）
典型的な補正方法として、決定部３３が適性の最も高い補正画素候補を決定した場合には、被補正画素の視差を当該決定した補正画素候補に対応する視差に置き換える。
【００９２】
（ｉｉ）補正方法（その２）
決定部３３が統計的な処理などを行なうことで、複数の補正画素候補を決定した場合には、当該決定した複数の補正画素候補のそれぞれが有する視差の平均値または中央値を算出し、この算出された視差の統計値を被補正画素の視差にする。
【００９３】
（ｉｉｉ）補正方法（その３）
補正画素候補に適性の高いものが存在しない場合、すなわち、決定部３３が適切な補正画素候補を決定できなかった場合には、適性に依存することなく、被補正画素の周辺に位置する画素の視差を用いて、当該被補正画素の視差を補正する。言い換えれば、適性が所定値を超える画素が存在しない場合には、適性にかかわらず、被補正画素の周辺にある画素が補正に用いられる。
【００９４】
これは、被補正画素の視差をその周辺に位置する画素の視差と近似させることで、たとえ、適性の高い画素が存在しない場合であっても、視差画像が自然に補正されることを目的とするものである。より具体的な補正方法としては、被補正画素の周辺に位置する複数の画素が有する視差の平均値または中央値が用いられてもよい。
【００９５】
（ｉｖ）補正方法（その４）
視差画像を補正するにあたって、被補正画素の視差だけではなく対応する信頼度についても補正を行なってもよい。より具体的には、被補正画素の視差については、上述したような方法に従って補正を行なうとともに、当該被補正画素の信頼度についても、視差と同様に、信頼度の高い画素の信頼度に置き換えるといった処理を採用してもよい。このような処理を採用することで、視差画像だけではなく、信頼度分布についても、より滑らかな分布を得ることができる。
【００９６】
（ｖ）補正方法（その５）
本実施の形態に従う画像処理方法は、静止画だけではなく、動画像についても同様に適用できる。この場合、動画像を構成するフレーム（時間軸に沿って並んでいる）のうち、被補正画像が含まれるフレームに時間軸において近接したフレームの情報を用いて、被補正画像を補正してもよい。
【００９７】
このような近接したフレームの情報を用いる具体例としては、補正画素候補を探索する際に近接フレームに含まれる領域からも補正画素候補を抽出する。これは、近接フレーム間では被写体の動き量は少なく、ほぼ同じような画が写っていることが期待されるからである。適性の算出などに関しては上述と同様である。但し、フレーム間では画素間距離を算出できないので、代替の方法として、フレーム数に応じた重み付けを行なってもよい。この場合、被補正画素があるフレームにより近接したフレームの方が、より高い適性を有するにように設定されることが好ましい。
【００９８】
（ｖｉ）補正方法（その６）
上述した補正方法（その１）〜補正方法（その５）については、適宜組み合わせることができる。
【００９９】
［ｇ５：変形例］
上述の例では、被補正画素として信頼度が低い画素を対象とする例を示したが、信頼度が高い画素を対象としてもよい。すなわち、信頼度が高い画素に対して、補正を行なってもよい。この場合、適性を算出する際に、信頼度の値を重み付けとして加算することで、被補正画素の信頼度が高いの場合には補正が行われにくくなり、信頼度の低い画素を被補正画素と設定した場合と同様の効果を得ることができる。
【０１００】
＜Ｈ．視差画像（補正後）の出力およびその利用＞
上述のような視差の補正が元の視差画像に対して実行された後、視差画像（補正後）が出力される。上述したように、視差画像は、被写体の距離情報を示すものであり、この視差画像を用いることで、当該被写体を撮像した１枚の入力画像から立体視表示に用いられるステレオ画像を生成することができる。
【０１０１】
より具体的には、視差画像（補正後）に基づいて、入力画像を構成する各画素を対応する距離情報（画素数）だけずらすことで、被写体を立体視表示するためのステレオ画像（左眼用画像および右眼用画像）が生成される。このように、視差画像に基づいて、入力画像から被写体を立体視表示するためのステレオ画像が生成される。
【０１０２】
もちろん、視差画像は、被写体の立体形状を示しているので、この立体形状の情報を取得するという意味において、視差画像をそのまま利用することもできる。
【０１０３】
＜Ｉ．利点＞
本発明の実施の形態によれば、画素の信頼度だけではなく、画素の色情報に基づいて、ある被補正画素を補正するために使用されることの適性を算出するので、より補正の精度を高めることができる。
【０１０４】
＜Ｊ．別形態＞
本発明の実施の形態としては、以下のような態様を含む。
【０１０５】
本発明のある局面に従えば、画像の入力を受けて視差画像を生成するための視差生成手段を有する画像処理装置である。画像処理装置は、視差生成の信頼度を算出するための信頼度算出手段と、生成した視差を補正するための視差補正手段とを有する。視差補正手段は、信頼度と周辺の各点の色情報から、補正候補としての適性を算出し、適性が高い点を優先的に補正に用いる。このように適性を算出することで、適切に視差を補正できる。
【０１０６】
色情報は、対象画素周辺の色の分布であることが好ましい。これにより、周辺画素を含めた形で見ることができ、精度を向上できる。
【０１０７】
色情報は、対象画素周辺の各色の周波数情報であることが好ましい。これにより、周辺画素を含めた形で見ることができ、精度を向上できる。
【０１０８】
適性は、色情報と画素間距離とにより算出されることが好ましい。これにより、同じ色情報の画素の場合には、より近い画素を優先することになり、高精度な補正ができる。
【０１０９】
適性は、色情報と信頼度とにより算出されることが好ましい。これにより。同じ色情報の画素の場合には、信頼度のより高い画素を優先することになり、高精度な補正ができる。
【０１１０】
信頼度を少なくとも高低２段階以上に分割し、低信頼度と判定された画素は適性を算出しないことが好ましい。低信頼度画素は、被補正画素である可能性が高いため、適性の算出対象から除くことで、無駄な処理がなくなり、その結果、高速処理が可能になるとともに、誤判定を抑制できる。
【０１１１】
適性が高い画素が存在しない場合には、適性に依らず周辺画素を補正に用いることが好ましい。これにより、仮に適性の高い画素がなかったとしても、周辺画素を使うことで視聴に違和感の少ない視差補正ができる。
【０１１２】
視差生成手段はステレオカメラ画像の対応点探索の結果を用いて行われ、信頼度算出手段は対応点探索結果の評価値を信頼度として算出することが好ましい。これにより、ステレオカメラを対象とすることで、違和感の少ない立体形状の測定が可能となる。
【０１１３】
視差生成手段は、位相限定相関法（ＰＯＣ）による対応点探索の結果を用いて行われることが好ましい。ＰＯＣにより高精度な視差生成が可能になるとともに、ＰＯＣは画像の位相のみを用いた手法であり色情報は見ていないため、色による適性算出を行なうことで、ＰＯＣの結果のみでは不可能な補正が可能となる。
【０１１４】
視差補正手段は、ＰＯＣから周波数情報を受け取り、適性算出を行なうことが好ましい。ＰＯＣの途中算出で発生する周波数情報を用いることで、不要な算出を削減し、高速な適性算出が可能となる。
【０１１５】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１１６】
１０  視差画像生成部、２０  信頼度算出部、３０  視差画像補正部、３１  被補正画素抽出部、３２  適性算出部、３３  決定部、３４  補正実行部、１００，２００  画像処理装置、１０２  ＣＰＵ、１０４  ＲＡＭ、１０６  ＲＯＭ、１０８  ネットワークインターフェイス、１１０  補助記憶装置、１１２  画像処理プログラム、１１４  入力画像、１２０，２０６  表示部、１２２，２０４  入力部、１２４  メモリーカードインターフェイス、１２６  メモリーカード、１３０  バス、２０２  画像処理エンジン、２１２，２２２  レンズ、２１４，２２４  イメージセンサー。
【図１】
0005747797.tif 000002
【図２】
0005747797.tif 000003
【図３】
0005747797.tif 000004
【図４】
0005747797.tif 000005
【図５】
0005747797.tif 000006
【図７】
0005747797.tif 000007
【図８】
0005747797.tif 000008
【図９】
0005747797.tif 000009
【図１０】
0005747797.tif 000010
【図１１】
0005747797.tif 000011
【図１２】
0005747797.tif 000012
【図６】
0005747797.tif 000013