(57)【要約】【課題】ユーザが、自動的に検出された不要成分を含む領域を確認しながら、画像処理領域を指定することが可能な画像処理装置を提供する。【解決手段】画像処理装置１００では、画像入力部５０１により視差画像が入力され、入力された視差画像は画像表示部５０３により表示部１０５に表示される。視差画像に含まれる不要成分が不要成分検出部５０２により検出され、処理領域指定部５０４が不要成分を低減する低減処理を行う領域の指定を受け付け、低減量指定部５０５が低減処理における不要成分の低減量の指定を受け付けると、低減処理部５０６が指定された領域に対して指定された低減量で低減処理を行う。これにより、視差画像から不要成分が除かれた画像が作成される。【選択図】図５
2017097705.tif 000002
【特許請求の範囲】
【請求項１】
複数の視差画像を入力する入力手段と、
前記複数の視差画像を用いて前記視差画像に含まれる不要成分を検出する検出手段と、
前記視差画像と前記不要成分を含む領域を表示する表示手段と、
前記不要成分を低減する低減処理を行う領域の指定を受け付ける領域指定手段と、
前記低減処理における前記不要成分の低減量を指定する低減量指定手段と、
前記領域指定手段により指定された領域に対して前記低減量指定手段で指定された低減量で前記低減処理を行う処理手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記表示手段は、前記検出手段により前記不要成分が検出された領域を前記視差画像に重畳させると共に強調表示することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、前記複数の視差画像の差分情報から前記不要成分を検出し、または、前記複数の視差画像の類似度から前記不要成分を検出し、或いは、前記複数の視差画像の位置合わせを行うことにより前記不要成分を検出することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記検出手段は、検出した前記不要成分を所定の条件にしたがってグループにまとめることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記領域指定手段は、所定の図形形状により囲まれた範囲、または、選択された画素、または、前記検出手段が前記不要成分として検出した領域、のいずれかを前記低減処理を行う領域として指定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記領域指定手段は、所定の閾値を用いて前記低減処理を行う領域を指定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記領域指定手段は、前記低減処理を行う領域として前記不要成分を有しない領域が指定されている場合に、前記低減処理を実行することができない領域が指定されていることを示すマークを前記表示手段に表示することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記低減量指定手段は、前記視差画像の画素値から前記不要成分の画素値を減算する際のゲイン値、又は、前記複数の視差画像を合成する際の合成比率を、前記不要成分の前記低減量として指定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記検出手段は、前記複数の視差画像から前記不要成分らしさを示す不要成分強度値を算出することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記表示手段に前記視差画像に前記不要成分を含む領域が重畳表示された状態と、前記視差画像のみが表示された状態とを切り替える切り替え手段を備えることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
入力された複数の視差画像から該視差画像に含まれる不要成分を検出する検出ステップと、
前記視差画像と前記検出ステップで検出された前記不要成分を表示手段に表示する表示ステップと、
前記不要成分を低減する低減処理を行う領域の指定を受け付ける領域指定ステップと、
前記低減処理における前記不要成分の低減量を指定する低減量指定ステップと、
前記領域指定ステップで指定された領域に対して前記低減量指定ステップで指定された低減量で前記低減処理を行う処理ステップと、を有すること特徴とする画像処理装置の制御方法。
【請求項１２】
コンピュータを請求項１乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理装置の制御方法及びプログラムに関し、特に、撮影画像の画質を向上させるための画像処理技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置による撮影を行うと、撮像光学系に入射した光の一部がレンズの界面やレンズを保持する部材で反射し、撮像面に不要光として到達する場合がある。撮像面に到達した不要光は、密度の高いスポット像を形成し或いは被写体像の広範囲に被ることにより、所謂、ゴーストやフレアと称される不要成分として撮影画像中に現れる。また、最も被写体側のレンズに軸上色収差や倍率色収差の補正のために回折光学素子を用いた望遠レンズを用いた撮影では、撮像画角外に存在する太陽等からの光が回折光学素子に当たることで、画像全体にぼんやりとした不要光が現れる場合がある。この場合の不要光も、不要成分として撮影画像中に現れる。
【０００３】
そこで、撮影画像中の不要成分をデジタル画像処理によって除去する技術が提案されている。例えば、被写体に対して撮像光学系が合焦状態にあるときの画像（合焦画像）と撮像光学系が非合焦状態にあるときの画像（デフォーカス画像）との差分を示す差分画像から不要成分（ゴースト）を検出する方法が提案されている（特許文献１参照）。また、単眼立体撮像による複数の視点画像を比較することにより不要成分（ゴースト）を検出する方法が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−５４２０６号公報
【特許文献２】特許第５２８４３０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮影画像からのゴースト等の不要成分の自動検出する場合には、誤検出が生じる可能性がある。そのため、不要成分の除去処理等を行う画像処理装置は、ユーザが、不要成分の低減処理を行いたい領域を指定可能な構成となっていることが望ましい。
【０００６】
本発明は、ユーザが撮影画像に対する不要成分の低減処理を行う場合に、自動的に検出された不要成分を含む領域を確認しながら、画像処理領域を指定することが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、複数の視差画像を入力する入力手段と、前記複数の視差画像を用いて前記視差画像に含まれる不要成分を検出する検出手段と、前記視差画像と前記不要成分を含む領域を表示する表示手段と、前記不要成分を低減する低減処理を行う領域の指定を受け付ける領域指定手段と、前記低減処理における前記不要成分の低減量を指定する低減量指定手段と、前記領域指定手段により指定された領域に対して前記低減量指定手段で指定された低減量で前記低減処理を行う処理手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ユーザは、撮影画像に対する不要成分の低減処理において、自動的に検出された不要成分を含む領域を確認しながら、画像処理領域を指定することができ、これにより、所望の画像を作成することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る画像処理装置の概略構成を示すブロック図である。
【図２】瞳分割を行わずに撮影された、不要光の画像成分を有する撮影画像の一例と、これに対応する不要光の画像成分を有さない撮影画像の一例を示す図である。
【図３】瞳分割を行って撮影された不要光の画像成分を有する視差画像の一例と、視差画像からの第１の検出手法による不要成分の検出結果を示す図である。
【図４】瞳分割を行って撮影された不要光の画像成分を有する視差画像の別の例と、視差画像からの第２の検出手法による不要成分の検出結果を示す図である。
【図５】図１の画像処理装置が備える処理部を説明する図である。
【図６】図１の画像処理装置での画像処理ＧＵＩの第１の例を示す図である。
【図７】図１の画像処理装置での画像処理ＧＵＩの第２の例を示す図である。
【図８】図１の画像処理装置での画像処理ＧＵＩの第３の例を示す図である。
【図９】図１の画像処理装置での画像処理ＧＵＩの第４の例を示す図である。
【図１０】図１の画像処理装置による視差画像に対する第１の画像処理のフローチャートである。
【図１１】図１の画像処理装置による視差画像に対する第２の画像処理のフローチャートである。
【図１２】図１１の第２の画像処理のフローチャートの処理を実行するために用いられる画像処理ＧＵＩの一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の実施形態に係る画像処理装置１００の概略構成を示すブロック図である。画像処理装置１００は、ＣＰＵ１０１、入力部１０２、メモリ１０３、記憶部１０４及び表示部１０５を有する。
【００１１】
ＣＰＵ１０１は、記憶部１０４に記憶されたオペレーティングシステム（ＯＳ）や画像処理プログラムをメモリ１０３に展開することにより、画像処理装置１００の全体的な動作を制御しながら各種の処理を実行する。記憶部１０４は、例えば、ハードディスクドライブ（ＨＤＤ）等であり、画像処理装置１００の動作及び制御に必要な各種のプログラムが格納されている。また、記憶部１０４には、視差画像の画像データが格納されている。本実施形態では、記憶部１０４に格納されている画像データは、視差画像を撮像可能なデジタルカメラ等の撮像装置を用いて撮影された画像であるとする。入力部１０２は、例えば、キーボードやマウス、表示部１０５に設けられたタッチパネル等であり、画像処理装置１００に対するユーザからの操作（指示）を受け付ける。メモリ１０３は、例えば、ＲＯＭやＲＡＭである。ＯＳや画像処理プログラムは、記憶部１０４に代えて、メモリ１０３のＲＯＭに格納されていてもよい。表示部１０５は、液晶ディスプレイや有機ＥＬディスプレイ等であり、記憶部１０４から読み出された画像、後述する低減処理部５０６による処理後画像、ＧＵＩ（グラフィカルユーザインタフェース）等の表示に用いられる。
【００１２】
画像処理装置１００により実行される画像処理について説明する前に、記憶部１０４に格納されている視差画像と、視差画像の画像データを生成する撮像装置（不図示）について説明する。視差画像の画像データを生成可能な撮像装置は、撮像光学系の瞳のうちそれぞれ異なる領域を通過した複数の光束を、撮像素子における互いに異なる受光部（画素）に導いて光電変換を行う撮像系を有する。瞳内の互いに異なる領域を通過した光束を互いに異なる受光部により受光することは、瞳分割と呼ばれる。視差画像は、瞳分割を行って撮影され、異なる受光部により生成された互いに視差を有する複数の画像である。
【００１３】
図２（ａ）は、瞳分割を行わずに撮影された撮影画像の一例である画像２００を示す図である。画像２００は、不要光の画像成分を有する画像例である。図２（ｂ）は、画像２００に対応し、不要光の画像成分を有さない画像例である画像２１０を模式的に示す図である。画像２００において、黒く塗り潰して示した四角形の領域は、ゴーストやフレア等の不要光の画像成分である不要成分を含む領域（以下「不要成分領域ＧＳＴ」という）を示している。なお、不要成分は撮影される被写体像に不要光が被った状態であるため、不要成分領域ＧＳＴは、被写体よりも高輝度化する部分である。したがって、画像２００では、説明の便宜上、不要成分領域ＧＳＴを黒く塗り潰して示しているが、不要成分領域ＧＳＴは、実際には被写体が不要光の中に薄く透けて見える領域である。このことは、後述する他の図でも同様である。
【００１４】
図３（ａ），（ｂ）はそれぞれ、瞳分割を行って撮影された一対の視差画像の一例である視差画像３００，３１０を示す図である。不図示であるが、近距離被写体を撮影して得られた一対の視差画像中の被写体成分には、視差に対応した差（以下「被写体視差成分」という）が明確に存在する。これに対して、視差画像３００，３１０のような風景等の遠距離被写体を撮像して得られた一対の視差画像では、被写体視差成分は非常に微量となる。また、一対の視差画像には、黒く塗り潰して示す不要成分領域ＧＳＴが含まれているが、不要成分領域ＧＳＴの位置は視差画像３００，３１０間で異なっている。なお、ここでは、不要成分領域が互いにオーバーラップすることなく分離して存在する例を示しているが、不要成分領域は、オーバーラップしていて輝度差がある状態でもよい。つまり、不要成分領域は、位置や輝度が互いに異なっている領域であればよい。
【００１５】
次に、視差画像から不要成分領域を検出する第１の検出手法について、図３を参照して説明する。図３（ｃ）は、視差画像３００を基準画像とし、基準画像から視差画像３１０を減算画像として差し引くことにより得られた画像３２０を示している。基準画像と減算画像との差分を示す画像（以下「相対差分画像」という）には、一対の視差画像が有する差分の二次元データ（以下「相対差分情報」という）として、上述した被写体視差成分と不要成分とが含まれている。以下の説明では、画像３２０を相対差分画像３２０と言い替える。
【００１６】
前述の通り、風景等の遠距離被写体を撮影して得られた一対の視差画像間の被写体視差成分は非常に微量であるため、その影響を無視することができる。また、基準画像（視差画像３００）から減算画像（視差画像３１０）を差し引く差分計算を行うことにより、視差画像３１０に含まれる不要成分が負値として算出される。ここで、本実施形態では、後段で行われる不要成分の低減処理を簡易化するために、相対差分画像３２０では負値を切り捨てる（負値をゼロ（０）値として扱う）こととする。これにより、相対差分画像３２０中の領域３２１は、視差画像３００に含まれる不要成分のみを示していることになる。
【００１７】
同様に、図３（ｄ）は、視差画像３１０を基準画像とし、基準画像から視差画像３００を減算画像として差し引くことにより得られた二次元データである相対差分情報を示す相対差分画像３３０を示している。相対差分画像３２０と同様に、差分計算によって視差画像３００に含まれる不要成分が負値として算出されるが、不要成分の低減処理を簡易化するために、相対差分画像３３０でも負値を切り捨てることとする。そのため、相対差分画像３３０中の領域３３１は、視差画像３１０に含まれる不要成分のみを示していることになる。
【００１８】
このように、一対の視差画像のうち、一方の画像（基準画像）から他方の画像（減算画像）を差し引くことによって、不要成分のみを残存させた（換言すれば、不要成分のみを分離、抽出した）相対差分画像を得ることができる。そして、相対差分情報の画素値が所定の閾値以上の画素領域を最終的な不要成分の領域であると判定し、本実施形態では、８ｂｉｔデータの画像で６４を閾値とする。
【００１９】
なお、近距離被写体を撮影して得られた視差画像について相対差分情報を求める場合には、被写体視差成分を除去するために、一対の視差画像の位置合わせを行う処理を実行してもよい。一対の視差画像の位置合わせは、一対の視差画像のうち一方の画像に対して他方の画像の位置を相対的にシフトさせながら、画像間の相関が最大となるシフト位置を決定することにより行うことができる。また、一対の視差画像の位置合わせは、視差画像間の差分の二乗和が最小化するシフト位置を決定することによって行ってもよく、更に、視差画像中の合焦領域を位置合わせのためのシフト位置決定の対象としてもよい。また、予めそれぞれの視差画像においてエッジ検出を行い、検出されたエッジを示した画像を用いて位置合わせのためのシフト位置を決定してもよい。この方法によれば、合焦領域はコントラストの高いエッジとして検出され、背景のような非合焦領域はコントラストが低いためにエッジとして検出され難いことから、必然的に合焦領域が重視されてシフト位置が決定される。
【００２０】
続いて、視差画像から不要成分領域を検出する第２の検出手法について説明する。図４（ａ）は、不要成分領域を有する視差画像４００を示している。これに対して、図４（ｂ）は、見かけ上、不要成分領域を有さない視差画像４１０を示している。視差画像４００と視差画像４１０は全体的に似ているため、不要成分領域を検出するために、類似画像分析を行って画像類似度値を求める。「画像類似度値」とは、２つの画像を比較した際に、それら２つの画像がどの程度似ているかを表した評価値であり、例えば、数値で表すことができる。なお、２つの画像は、部分画像であってもよい。ここでは、説明を簡単なものとする観点から、１乃至５の５段階評価を用い、最も似ている場合を「画像類似度値＝５」とし、最も似ていない場合を「画像類似度値＝１」とする。また、視差画像４００，４１０のそれぞれにおいて、縦方向と横方向に同じピッチで領域分割を行い、同じ位置にある領域を比較する。
【００２１】
図４（ｃ），（ｄ）はそれぞれ、図４（ａ），（ｂ）の視差画像４００，４１０を複数領域に分割した結果を示す画像４２０，４３０を示している。「同じ位置にある領域」とは、画像４２０中の領域４２１と画像４３０中の領域４３１の位置関係にあるものを指す。なお、画像分割は、全ての領域で縦横のそれぞれの長さが同じである網目状とする必要はなく、例えば、左から順に領域を等ピッチで分割し、その結果、右端ではその左側と異なる幅（長さ）となっても構わない。つまり、画像類似度値は、２つの視差画像（ここでは、視差画像４００，４１０）間で比較するため、２つの視差画像間において同じ位置と範囲で領域が決まっていればよい。
【００２２】
画像類似度値を算出する方法の１つとして、ヒストグラムを利用する方法がある。最も簡便な計算方法は、領域分割した視差画像を白黒の二値画像、つまり、グレースケールで画素値が０と２５５の２つのみで構成された画像に変換し、白（画素値＝２５５）であるピクセル数を数える方法である。なお、カラー画像から二値画像を得るための手法（変換方法）には、周知の様々な技術を用いることができ、どの手法を用いても構わない。
【００２３】
例えば、縦２０×横２０ピクセルの領域では、ピクセル総数は４００個となり、そのうち白ピクセルが２６０個であるならば、その領域内のヒストグラムは［白，黒］＝［２６０，１４０］となる。このようにして、画像４２０と画像４３０の各領域でヒストグラムを計算する。そして、画像４２０，４３０の同じ位置及び範囲の各領域のヒストグラムを比較する。ヒストグラムが同じであれば画像類似度値を５とし、ヒストグラムの乖離が大きくなるにしたがって画像類似度値を低くする。例えば、画像類似度値を、差分が１０％未満の場合に５、１０〜２０％の場合に４、２０〜３０％の場合に３、３０〜４０％の場合に２、４０％の場合に１とし、例えば、画像類似度値が２以下の領域を不要成分領域であると判定する。なお、ここでの差分とは、白のピクセル数の差（又は黒のピクセル数の差）を全ピクセル数で除した値を百分率で示した値である。
【００２４】
図４（ｅ），（ｆ）は、視差画像４００，４１０から不要成分領域を検出した結果を示しており、斜線で示す領域４４１，４５１が不要成分領域として検出されたことを示している。なお、画像類似度値の計算方法は種々の公知の技術があり、上述した方法に限定されるものではない。また、上記説明では、視差画像からの不要成分領域の検出手法として２つの手法を取り上げて説明したが、視差画像中の不要成分を検出することができれば、別の手法を用いてもよい。
【００２５】
次に、画像処理装置１００による視差画像の画像処理（編集処理）について説明する。図５は、画像処理装置１００が備える各種の処理部を説明する図である。図５に示される各処理部は、ＣＰＵ１０１が記憶部１０４に記憶された所定のプログラム等をメモリ１０３に展開することにより、ＣＰＵ１０１からの指令に基づいて画像処理装置１００を構成する各部が所定の動作を行うことにより実現される。
【００２６】
画像処理装置１００は、画像入力部５０１、不要成分検出部５０２、画像表示部５０３、処理領域指定部５０４、低減量指定部５０５及び低減処理部５０６を有する。画像入力部５０１は、記憶部１０４から複数の視差画像を読み込む。不要成分検出部５０２は、図３及び図４を参照して説明した不要成分領域の検出手法のいずれか一方又は両方を用いて複数の視差画像の不要成分を検出する。画像表示部５０３は、複数の視差画像の表示や不要成分領域の強調表示、不要成分の低減処理を行った結果画像の表示等を行う。なお、強調表示は、色の変更、点滅、明度の変更、不要成分領域のみの表示等、不要成分領域が強調されるものであればよく、特に限定されるものではない。処理領域指定部５０４は、ユーザが入力部１０２を通して処理領域を指定するためのＧＵＩである。処理領域の指定方法は、範囲選択、画素選択、不要成分領域のグループ選択等、視差画像中の一定の領域を選択することができれば、特に限定されるものではない。
【００２７】
図６は、表示部１０５に表示される画像処理ＧＵＩの第１の例を示す図である。第１の例では、画像入力部５０１の機能により、画面左側に視差画像６０１が表示される。また、不要成分検出部５０２の機能により、視差画像６０１から検出された不要成分領域６０２が視差画像６０１に重畳表示されており、画面右上には不要成分領域を表示するか否かを選択するためのチェックボックス６０３が表示されている。チェックボックス６０３のチェックが外されると、視差画像６０１から不要成分領域６０２の表示が消去されて、視差画像６０１のみの表示に切り替えられ、視差画像６０１の確認が可能となる。
【００２８】
チェックボックス６０３の下側には、低減量調整ツール６０４が表示されている。低減量調整ツール６０４は、低減量指定部５０５に関わるツール（アイテム）であり、詳細は後述する。低減量調整ツール６０４の下側には、不要成分の低減処理を実行する領域を指定するための領域指定ツール６０５が表示されており、領域指定ツール６０５は、処理領域指定部５０４に関わるツールである。領域指定ツール６０５は、ここでは、比較的狭い幅で自由に領域を指定するための鉛筆又は比較的広い幅で自由に領域を選択するためのブラシの選択が可能となっており、また、鉛筆とブラシの先端幅をスライダバーによって調整することができるようになっている。なお、図６には、鉛筆が指定されており、視差画像６０１上に鉛筆６０６が重畳表示されている。
【００２９】
図７は、画像処理ＧＵＩの第２の例を示す図である。図８は、画像処理ＧＵＩの第３の例を示す図である。図９は、画像処理ＧＵＩの第４の例を示す図である。第２の例乃至第４の例の説明において、第１の例と共通する構成に対しては、同じ符号を付して説明を省略する。第２の例は、第１の例の領域指定ツール６０５に代えて、領域指定ツール７０１を有する。領域指定ツール７０１は、ポインタ７０３を操作して、所望する図形形状と大きさを有する領域を指定することが可能となっている。図７では、図形形状として矩形、円形、フリーが選択可能となっており、指定された矩形で囲まれた矩形領域７０２が視差画像６０１上に重畳表示された状態が示されている。第３の例は、不要成分領域のグループ選択を行うグループ選択ツール８０２を有する。ここでは、不要成分領域が所定の条件を満たす場合に自動的にグルーピングが行われ、どのようにグルーピングされているかをユーザが確認することができるように破線を用いて視差画像６０１に表示されている。グルーピングの条件としては、予め定められた所定の距離よりも近い位置にある不要成分領域をグルーピングする等が挙げられる。また、グループ選択ツール８０２の上側には、合成比率調整ツール８０１が表示されている。合成比率調整ツール８０１は、低減量指定部５０５に関わるツールであり、詳細は後述する。第４の例は、第１の例の変形例であり、処理領域として選択できない領域（不要成分を有しない領域）が領域指定ツール６０５によって処理領域として指定されていることをマーク９０１によってユーザに提示する機能を有する。
【００３０】
低減量指定部５０５は、入力部１０２を介して不要成分の低減量の指定を受け付ける。第１の例、第２の例及び第４の例（図６，７，９）の画像処理ＧＵＩにおける低減量調整ツール６０４と、第３の例（図８）の画像処理ＧＵＩにおける合成比率調整ツール８０１が、低減量指定部５０５に関わるツールである。本実施形態では、視差画像の画素値から不要成分の画素値を減算する際のゲイン値と視差画像を合成する際の合成比率のそれぞれを不要成分の低減量と称呼し、不要成分の低減量を指定可能な構成としている。なお、不要成分の低減処理の強さ（低減量の大きさ）を調整可能なパラメータは、ゲイン値や合成比率に限定されず、その他のパラメータであってもよい。また、画像処理ＧＵＩの第１乃至第４の例では、スライダバーを用いて不要成分の低減量の調整を行う構成を示したが、これに限らず、数値入力やボタンによる強弱の選択等によるものであっても構わない。低減処理部５０６は、不要成分検出部５０２で検出された不要成分に基づき、画素値の減算や視差画像の合成比率を変更した合成処理により、不要成分を低減する画像処理を行う。
【００３１】
次に、画像処理装置１００が視差画像の画像処理を実行する際の動作手順について説明する。先ず、画像処理装置１００による第１の画像処理について説明する。図１０は、画像処理装置１００による視差画像に対する第１の画像処理のフローチャートである。図１０のフローチャートの各処理は、ＣＰＵ１０１が記憶部１０４に記憶された所定のプログラム等をメモリ１０３に展開することにより、ＣＰＵ１０１からの指令に基づいて画像処理装置１００を構成する各部が所定の動作を行うことにより実現される。
【００３２】
ステップＳ１００１では、画像入力部５０１が、複数の視差画像を記憶部１０４からメモリ１０３へ読み込む。こうしてメモリ１０３に読み込まれた視差画像は、画像表示部５０３により、表示部１０５に表示された画像処理ＧＵＩに表示される。なお、読み込む視差画像の指定は、ユーザによるファイル指定等の周知の方法により行われる。ステップＳ１００２では、不要成分検出部５０２が、ステップＳ１００１でメモリ１０３に読み込まれた複数の視差画像から不要成分を検出する。このとき、検出された不要成分であって、所定のピクセル数（例えば、１０ピクセル）以内に存在するものを１つの領域にまとめる等の処理を行ってもよい。
【００３３】
ステップＳ１００３では、画像表示部５０３が、ステップＳ１００２で検出された不要成分領域を画像処理ＧＵＩに強調表示し、ユーザに提示する。なお、不要成分が検出されなかった場合には、例えば、その旨が画像処理ＧＵＩにポップアップ表示され、画像処理を終了させる構成とすることで、画像処理装置１００の操作性と利便性を向上させることができる。ステップＳ１００４では、ユーザによる領域指定ツール６０５又は領域指定ツール７０１の操作に応じて、処理領域指定部５０４が、不要成分の低減処理を行う画像領域の指定を受け付ける。ステップＳ１００５では、ユーザによる低減量調整ツール６０４又は合成比率調整ツール８０１の操作に応じて、低減量指定部５０５が、不要成分の低減処理で用いる低減量のパラメータの指定を受け付ける。
【００３４】
ステップＳ１００６では、ステップＳ１００４で指定された指定領域に対してステップＳ１００５で指定された低減量を用いて、低減処理部５０６が不要成分の低減処理を行う。画像表示部５０３は、不要成分の低減処理が行われた画像を画像処理ＧＵＩに表示し、これにより本処理は終了となる。なお、ユーザは、所望の画像が得られた場合に、入力部１０２又は画像処理ＧＵＩが有する保存ボタン等（図６乃至図９に不図示）を操作して、処理後画像を記憶部１０４に記憶することができる。
【００３５】
このように、画像処理装置１００による第１の画像処理によれば、ユーザは、不要成分領域の検出結果を確認し、不要成分の低減処理を行う画像領域を指定しながら所望の低減処理を実行することができるため、所望の画像を作成することができる。
【００３６】
次に、画像処理装置１００による第２の画像処理について説明する。図１１は、画像処理装置１００による視差画像に対する第２の画像処理のフローチャートである。第２の画像処理は、第１の画像処理のフローチャートのステップＳ１００４に対応する処理領域の指定ステップを有さない点で、第１の画像処理と異なる。このような第２の画像処理を実現するために、不要成分検出部５０２は、複数の視差画像を用いて不要成分を検出すると共に、不要成分らしさを示す不要成分強度値を同時に算出する。不要成分強度値は、図３を参照して説明した不要成分の検出方法を用いる場合には相対差分情報であり、図４を参照して説明した不要成分の検出方法を用いる場合には画像類似度である。また、低減量指定部５０５は、画像処理ＧＵＩを通して不要成分の低減量を指定する機能を有するが、このときに、例えば、「弱」「中」「強」の３段階での指定が可能な構成とする。
【００３７】
第２の画像処理では、視差画像の画素値から不要成分の画素値を減算する際のゲイン値、視差画像を合成する際の合成比率、処理領域を決定するための閾値を不要成分の低減量と呼び、処理領域を決定するための閾値は不要成分強度値の閾値とする。なお、本実施例では、ゲイン値、合成比率、処理領域を決定するための閾値を低減量としたが、不要成分低減の処理の強さを調整できるパラメータであれば、特に制限されるものではない。
【００３８】
図１２は、第２の画像処理のフローチャートの処理を実行するために用いられる画像処理ＧＵＩの一例を示す図である。この画像処理ＧＵＩは、不要成分の低減処理を行うか否かのユーザによる指示を受けるチェックボックス１２０１と、不要成分の低減量を指定するためのスライダバー１２０２を含む。チェックボックス１２０１がチェックされた状態でスライダバー１２０２が操作されると、低減処理部５０６が、不要成分検出部５０２で検出された不要成分に基づいて画素値を減算し或いは視差画像の合成比率を変更した合成を実行する。これにより不要成分が低減され、画像処理ＧＵＩには、指定された低減量で不要成分が補正された画像が表示される。なお、不要成分の低減量を指定するツールは特に限定されるものではなく、スライダバー１２０２に代えて、例えば、ボタン等を用いてもよい。
【００３９】
ステップＳ１１０１〜Ｓ１１０３の処理は、第１の画像処理（図１０）のフローチャートのステップＳ１００１〜Ｓ１００３の処理と同じであるため、ここでの説明を省略する。ステップＳ１１０４では、画像処理ＧＵＩのチェックボックス１２０１及びスライダバー１２０２に対するユーザの操作に応じて、低減量指定部５０５が、不要成分の低減処理で用いる低減量パラメータ（「弱」「中」「強」）の指定を受け付ける。ステップＳ１１０５では、ステップＳ１１０２で検出された不要成分に対してステップＳ１１０４で指定された低減量を適用して、低減処理部５０６が不要成分の低減処理を実行する。画像表示部５０３は、不要成分の低減処理が行われた画像を画像処理ＧＵＩに表示し、これにより本処理は終了となる。
【００４０】
このように、画像処理装置１００による第２の画像処理では、ユーザは、不要成分領域の検出結果を確認し、不要成分の低減処理を行う画像領域を確認しながら所望の低減処理を実行することができるため、所望の画像を作成することができる。
【００４１】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。例えば、ＧＵＩの第１乃至第４の例において、不要成分検出部５０２によって不要領域が検出された場合に、検出された不要領域及び近傍を拡大し或いは逆に縮小して表示する機能を設けてもよい。また、不要成分強度値が算出された場合に不要成分領域を画像処理ＧＵＩに表示する際には、算出された不要成分強度値の大きさに応じて、不要成分領域の強調表示方法を変えるようにしてもよい。更に、図３を参照して説明したように、上述した画像処理ＧＵＩには、図３（ｃ），（ｄ）に示したような、検出された不要成分領域のみを表示可能な機能を設けてもよい。
【００４２】
本発明は、上述した実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４３】
１００    画像処理装置
１０１    ＣＰＵ
１０２    入力部
１０３    メモリ
１０４    記憶部
１０５    表示部
５０１    画像入力部
５０２    不要成分検出部
５０３    画像表示部
５０４    処理領域指定部
５０５    低減量指定部
５０６    低減処理部
【図１】
2017097705.tif 000003
【図２】
2017097705.tif 000004
【図３】
2017097705.tif 000005
【図４】
2017097705.tif 000006
【図５】
2017097705.tif 000007
【図６】
2017097705.tif 000008
【図７】
2017097705.tif 000009
【図８】
2017097705.tif 000010
【図９】
2017097705.tif 000011
【図１０】
2017097705.tif 000012
【図１１】
2017097705.tif 000013
【図１２】
2017097705.tif 000014