(57)【特許請求の範囲】
【請求項１】
画像の画像情報を取得する画像情報取得部と、
画像の中から画素値を決定したい未知領域を設定する未知領域設定部と、
前記未知領域以外の既知領域に含まれ強さとして複数の既知領域の何れに属するかの可能性の大きさを表す数値を有する画素を起点の画素とし、当該起点の画素の強さおよび当該起点の画素の当該未知領域に含まれる画素に及ぼす加重として当該起点の画素と当該未知領域に含まれる画素との画素値の近さを表す数値に基づいて当該未知領域中の画素の画素値を予測する画素値予測部と、
を備える画像処理装置。
【請求項２】
前記画素値予測部は、前記起点の画素の強さおよび当該起点の画素の前記未知領域に含まれる画素に及ぼす加重に基づいて当該未知領域に含まれる画素の画素値を決定し、画素値が決定した画素を新たな起点の画素としてさらに当該決定を行なうことを繰り返すことで当該未知領域中の画素の画素値を予測することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画素値予測部は、新たに起点となった画素の画素値を前記起点の画素の画素値とすることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記未知領域設定部は、ユーザの指示により未知領域を設定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記未知領域設定部は、本来の画像中にはない欠損領域を未知領域として設定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
画像の画像情報を取得する画像情報取得部と、
画像の中から画素値を決定したい未知領域を設定する未知領域設定部と、
前記未知領域以外の既知領域に含まれ強さとして複数の既知領域の何れに属するかの可能性の大きさを表す数値を有する画素を起点の画素とし、当該起点の画素の強さおよび当該起点の画素の当該未知領域に含まれる画素に及ぼす加重に基づいて当該未知領域中の画素の画素値を予測する画素値予測部と、
を備え、
前記画素値予測部は、前記起点の画素の強さと当該起点の画素の前記未知領域に含まれる画素に及ぼす加重とを乗じた値が最も大きくなる起点の画素の画素値に基づいて当該未知領域中の画素の画素値を予測する画像処理装置。
【請求項７】
画像の画像情報を取得する画像情報取得部と、
画像の中から画素値を決定したい未知領域を設定する未知領域設定部と、
前記未知領域以外の既知領域に含まれ強さとして複数の既知領域の何れに属するかの可能性の大きさを表す数値を有する画素を起点の画素とし、当該起点の画素の強さおよび当該起点の画素の当該未知領域に含まれる画素に及ぼす加重に基づいて当該未知領域中の画素の画素値を予測する画素値予測部と、
二値画像生成部と、多値画像生成部と、を備え、
前記二値画像生成部は、前記画像情報から前景または後景であることを示す二値で表された二値画像を生成し、
前記未知領域設定部は、前記二値画像を使用して、前景および後景の境界部で前記未知領域を設定し、
前記画素値予測部は、前記画像情報を使用して、前記既知領域の中で前景に属する画素と後景に属する画素とでそれぞれ基準画素を設定し、前記未知領域中の画素に対する画素値をそれぞれの場合について予測し、
前記多値画像生成部は、前記画素値予測部により予測された前記未知領域の中の画素に対する画素値から前景度合いを表す多値の画素値を求めることを特徴とする画像処理装置。
【請求項８】
前記未知領域設定部は、前景および後景の境界部の画素を中心として二値の画素値の設定を解除するフィルタを適用することで前記未知領域を設定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
画像の画像情報を取得し、
画像の中から画素値を決定したい未知領域を設定し、
前記未知領域以外の既知領域に含まれ強さとして複数の既知領域の何れに属するかの可能性の大きさを表す数値を有する画素を起点の画素とし、当該起点の画素の強さおよび当該起点の画素の当該未知領域に含まれる画素に及ぼす加重として当該起点の画素と当該未知領域に含まれる画素との画素値の近さを表す数値に基づいて当該未知領域中の画素の画素値を予測する画像処理方法。
【請求項１０】
画像を表示する表示装置と、
前記表示装置に表示される前記画像の画像情報に対し画像処理を行なう画像処理装置と、
を備え、
前記画像処理装置は、
前記画像の画像情報を取得する画像情報取得部と、
画像の中から画素値を決定したい未知領域を設定する未知領域設定部と、
前記未知領域以外の既知領域に含まれ強さとして複数の既知領域の何れに属するかの可能性の大きさを表す数値を有する画素を起点の画素とし、当該起点の画素の強さおよび当該起点の画素の当該未知領域に含まれる画素に及ぼす加重として当該起点の画素と当該未知領域に含まれる画素との画素値の近さを表す数値に基づいて当該未知領域中の画素の画素値を予測する画素値予測部と、
を備える画像処理システム。
【請求項１１】
コンピュータに、
画像の画像情報を取得する画像情報取得機能と、
画像の中から画素値を決定したい未知領域を設定する未知領域設定機能と、
前記未知領域以外の既知領域に含まれ強さとして複数の既知領域の何れに属するかの可能性の大きさを表す数値を有する画素を起点の画素とし、当該起点の画素の強さおよび当該起点の画素の当該未知領域に含まれる画素に及ぼす加重として当該起点の画素と当該未知領域に含まれる画素との画素値の近さを表す数値に基づいて当該未知領域中の画素の画素値を予測する画素値予測機能と、
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理システム、プログラムに関する。
【背景技術】
【０００２】
画像加工の分野では、画像の欠損した領域である未知領域に関して、周囲の領域からあるべき画素値を予測する（Inpainting処理）ことが行われることがある。また切り出し境界の質感を表現するなどの画像処理を行なうことがある。さらに前景と後景に分離された二値画像の境界部において前景度合いを表す画素値を多値で表わすMatting処理を行なうことがある。
【０００３】
非特許文献１には、写真の落書きの除去や、スキャンした古い写真の折り目の領域を指示し、指示した領域の画素値を周囲の画素から予測することが記載されている。
【０００４】
また非特許文献２および非特許文献３には、画像中で前景と後景に分離された領域の境界部に関して、前景と後景のどちらに属する画素かを、２値ではなく多値（度合い）で表す手法（Matting処理）が記載されている。この手法では、境界部の画素は、前景と後景のどちらでもないとみなす未知領域を指定し、この未知領域の画素に対して、前景成分として近似できる画素値と、後景成分として近似できる画素値の両方を求め、それから前景度合いを表す多値の画像（Matting画像）を作成する。
【先行技術文献】
【特許文献】
【０００５】
【非特許文献１】M.Bertalmio, G.Sapiro,V.Caselles and C.Ballester, "Image Inpainting", Proc. of Siggraph 2000, New Orleans, LA, July 2000.
【非特許文献２】J. Sun, J. Jia, C.-K. Tang, and H.-Y. Shum, "Poisson matting," Proc.Siggraph, pp. 315-321, 2004.
【非特許文献３】M. Gong, L. Wang, R. Yang, and Y-H. Yang. Real-Time Video Matting Using MultiChannel Poisson Equations. In Proc. Graphics Interface (GI), 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば、Matting処理を行なうときには、前景と後景との境界部の未知領域に対する前景成分と後景成分を予測する。即ち、Matting処理を行なうときには、前景と後景との境界部において、前景や後景に相当する画素値を予測する処理が必要となる。そして境界付近の画素に対し、前景領域と後景領域の各々から推定した前景成分と後景成分を予測した後、それらを結合係数で結んで、原画像の画素値になるようにする。このとき前景成分への係数が、前景度合いを表す画像（Matting画像）となる。
しかしながら、未知領域の画素に対する前景成分の予測または後景成分の予測は、基本的には位置が最も近い画素を探すといった探索処理が必要となり、１画素につき、周辺で最も近い画素を探す処理を未知領域内の全画素で行なう必要が出てくる。
本発明は、画素値を決定したい未知領域における画素値を予測する処理を、１画素ごとに最も近い周辺画素を探索する探索処理を行う場合よりも、高速に行なうことができる画像処理装置等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明は、画像の画像情報を取得する画像情報取得部と、画像の中から画素値を決定したい未知領域を設定する未知領域設定部と、前記未知領域以外の既知領域に含まれ強さとして複数の既知領域の何れに属するかの可能性の大きさを表す数値を有する画素を起点の画素とし、当該起点の画素の強さおよび当該起点の画素の当該未知領域に含まれる画素に及ぼす加重として当該起点の画素と当該未知領域に含まれる画素との画素値の近さを表す数値に基づいて当該未知領域中の画素の画素値を予測する画素値予測部と、を備える画像処理装置である。
請求項２に記載の発明は、前記画素値予測部は、前記起点の画素の強さおよび当該起点の画素の前記未知領域に含まれる画素に及ぼす加重に基づいて当該未知領域に含まれる画素の画素値を決定し、画素値が決定した画素を新たな起点の画素としてさらに当該決定を行なうことを繰り返すことで当該未知領域中の画素の画素値を予測することを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記画素値予測部は、新たに起点となった画素の画素値を前記起点の画素の画素値とすることを特徴とする請求項２に記載の画像処理装置である。
請求項４に記載の発明は、前記未知領域設定部は、ユーザの指示により未知領域を設定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置である。
請求項５に記載の発明は、前記未知領域設定部は、本来の画像中にはない欠損領域を未知領域として設定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置である。
請求項６に記載の発明は、画像の画像情報を取得する画像情報取得部と、画像の中から画素値を決定したい未知領域を設定する未知領域設定部と、前記未知領域以外の既知領域に含まれ強さとして複数の既知領域の何れに属するかの可能性の大きさを表す数値を有する画素を起点の画素とし、当該起点の画素の強さおよび当該起点の画素の当該未知領域に含まれる画素に及ぼす加重に基づいて当該未知領域中の画素の画素値を予測する画素値予測部と、を備え、前記画素値予測部は、前記起点の画素の強さと当該起点の画素の前記未知領域に含まれる画素に及ぼす加重とを乗じた値が最も大きくなる起点の画素の画素値に基づいて当該未知領域中の画素の画素値を予測する画像処理装置である。
請求項７に記載の発明は、画像の画像情報を取得する画像情報取得部と、画像の中から画素値を決定したい未知領域を設定する未知領域設定部と、前記未知領域以外の既知領域に含まれ強さとして複数の既知領域の何れに属するかの可能性の大きさを表す数値を有する画素を起点の画素とし、当該起点の画素の強さおよび当該起点の画素の当該未知領域に含まれる画素に及ぼす加重に基づいて当該未知領域中の画素の画素値を予測する画素値予測部と、二値画像生成部と、多値画像生成部と、を備え、前記二値画像生成部は、前記画像情報から前景または後景であることを示す二値で表された二値画像を生成し、前記未知領域設定部は、前記二値画像を使用して、前景および後景の境界部で前記未知領域を設定し、前記画素値予測部は、前記画像情報を使用して、前記既知領域の中で前景に属する画素と後景に属する画素とでそれぞれ基準画素を設定し、前記未知領域中の画素に対する画素値をそれぞれの場合について予測し、前記多値画像生成部は、前記画素値予測部により予測された前記未知領域の中の画素に対する画素値から前景度合いを表す多値の画素値を求めることを特徴とする画像処理装置である。
請求項８に記載の発明は、前記未知領域設定部は、前景および後景の境界部の画素を中心として二値の画素値の設定を解除するフィルタを適用することで前記未知領域を設定することを特徴とする請求項７に記載の画像処理装置である。
請求項９に記載の発明は、画像の画像情報を取得し、画像の中から画素値を決定したい未知領域を設定し、前記未知領域以外の既知領域に含まれ強さとして複数の既知領域の何れに属するかの可能性の大きさを表す数値を有する画素を起点の画素とし、当該起点の画素の強さおよび当該起点の画素の当該未知領域に含まれる画素に及ぼす加重として当該起点の画素と当該未知領域に含まれる画素との画素値の近さを表す数値に基づいて当該未知領域中の画素の画素値を予測する画像処理方法である。
請求項１０に記載の発明は、画像を表示する表示装置と、前記表示装置に表示される前記画像の画像情報に対し画像処理を行なう画像処理装置と、を備え、前記画像処理装置は、前記画像の画像情報を取得する画像情報取得部と、画像の中から画素値を決定したい未知領域を設定する未知領域設定部と、前記未知領域以外の既知領域に含まれ強さとして複数の既知領域の何れに属するかの可能性の大きさを表す数値を有する画素を起点の画素とし、当該起点の画素の強さおよび当該起点の画素の当該未知領域に含まれる画素に及ぼす加重として当該起点の画素と当該未知領域に含まれる画素との画素値の近さを表す数値に基づいて当該未知領域中の画素の画素値を予測する画素値予測部と、を備える画像処理システムである。
請求項１１に記載の発明は、コンピュータに、画像の画像情報を取得する画像情報取得機能と、画像の中から画素値を決定したい未知領域を設定する未知領域設定機能と、前記未知領域以外の既知領域に含まれ強さとして複数の既知領域の何れに属するかの可能性の大きさを表す数値を有する画素を起点の画素とし、当該起点の画素の強さおよび当該起点の画素の当該未知領域に含まれる画素に及ぼす加重として当該起点の画素と当該未知領域に含まれる画素との画素値の近さを表す数値に基づいて当該未知領域中の画素の画素値を予測する画素値予測機能と、を実現させるプログラムである。
【発明の効果】
【０００８】
請求項１の発明によれば、画素値を決定したい未知領域における画素値を予測する処理を、１画素ごとに最も近い周辺画素を探索する探索処理を行う場合よりも、高速に行なうことができる画像処理装置を提供できる。
請求項２の発明によれば、画素値を予測する処理をさらに高速化できる。
請求項３の発明によれば、画素値の決定がより容易となる。
請求項４の発明によれば、ユーザが望む箇所を未知領域として設定できる。
請求項５の発明によれば、欠損領域を予測する処理を行なうことができる。
請求項６の発明によれば、未知領域における画素値をより正確に決定することができる。
請求項７の発明によれば、前景と後景に分離された二値画像の境界部において前景度合いを表す画素値を多値で表わすMatting処理を行なうことができる。
請求項８の発明によれば、未知領域の設定がより容易になる。
請求項９の発明によれば、画素値を決定したい未知領域における画素値を予測する処理を、１画素ごとに最も近い周辺画素を探索する探索処理を行う場合よりも、高速に行なうことができる画像処理方法を提供できる。
請求項１０の発明によれば、画像処理がより容易に行える画像処理システムが提供できる。
請求項１１の発明によれば、画素値を決定したい未知領域における画素値を予測する処理を、１画素ごとに最も近い周辺画素を探索する探索処理を行う場合よりも、高速に行なうことができる機能をコンピュータにより実現できる。
【図面の簡単な説明】
【０００９】
【図１】本実施の形態における画像処理システムの構成例を示す図である。
【図２】本実施の形態における画像処理装置の機能構成例を表すブロック図である。
【図３】（ａ）〜（ｂ）は、未知領域を指定する作業をユーザインタラクティブに行なう方法の例を示した図である。
【図４】欠損領域の他の例について示した図である。
【図５−１】（ａ）〜（ｂ）は、加重について説明した図である。
【図５−２】（ａ）〜（ｂ）は、加重を決定する方法について示した図である。
【図５−３】（ａ）は、平滑化を行なう前の画像を示し、（ｂ）は、平滑化を行なった後の画像を示している。
【図５−４】（ａ）〜（ｉ）は、未知領域の画素値を、既知領域の画素値を基に決定する過程を示した図である。
【図５−５】（ａ）は、図５−４（ｉ）と同様の図であり、１ループが終了したときの画素値の様子を示している。（ｂ）は、この処理を複数ループ行い、収束したときの画素値の様子を示している。
【図５−６】（ａ）〜（ｉ）は、他の方法で未知領域の画素値を、既知領域の画素値を基に決定する過程を示した図である。
【図５−７】（ａ）は、図５−６（ｉ）と同様の図であり、１ループが終了したときの画素値の様子を示している。（ｂ）は、この処理を複数ループ行い、収束したときの画素値の様子を示している。
【図６】（ａ）〜（ｂ）は、図３（ｂ）の画像について未知領域中の画素の画素値を決定した例を示している。
【図７】（ａ）〜（ｂ）は、図４の画像について未知領域を入力し、この未知領域中の画素の画素値を決定した例を示している。
【図８】（ａ）〜（ｃ）は、Retinex処理を行い、原画像に対し視認性向上を行なった場合の概念図である。
【図９−１】（ａ）〜（ｂ）は、未知領域設定部が、画像中のノイズが発生している領域に未知領域を設定した例を示している。
【図９−２】（ａ）は、ノイズが発生している領域は、周辺とは著しく値の異なる画素値となることを示した図である。（ｂ）は、（ａ）に示す画素値を平滑化したものである。
【図９−３】（ａ）は、ノイズが発生している領域の画素値を別の画素値へ置き換えた場合を示した図である。（ｂ）は、（ａ）に示す画素値を平滑化したものである。
【図１０】（ａ）〜（ｂ）は、図８（ａ）の原画像について視認性を向上させるとともにノイズを除去した例を示している。
【図１１】第１の実施形態および第２の実施形態における画像処理装置の動作について説明したフローチャートである。
【図１２】第３の実施形態における画像処理装置の機能構成例を表すブロック図である。
【図１３】（ａ）〜（ｂ）は、二値画像生成部が行なう処理について示した図である。
【図１４】（ａ）〜（ｂ）は、未知領域設定部が、未知領域を設定する処理について示した図である。
【図１５】原画像に対し前景および後景の境界部で未知領域を設定した場合を示している。
【図１６−１】画素値予測部が行なう処理の概念図である。
【図１６−２】（ａ）〜（ｄ）は、具体的に画素値予測部が行なう処理の様子を説明するための図である。
【図１６−３】（ａ）〜（ｉ）は、前景領域のみからの画素値を伝搬する場合を示している。
【図１６−４】（ａ）は、図１６−３（ｉ）と同様の図であり、一通り未知領域の画素値が決定したときの画素値の様子を示している。（ｂ）は、さらにループを繰り返し、収束したときの画素値の様子を示している。
【図１６−５】（ａ）〜（ｉ）は、後景領域のみからの画素値を伝搬する場合を示している。
【図１６−６】（ａ）は、図１６−５（ｉ）と同様の図であり、一通り未知領域の画素値が決定したときの画素値の様子を示している。（ｂ）は、さらにループを繰り返し、収束したときの画素値の様子を示している。
【図１７】（ａ）は、シード１を設定して前景から未知領域内の画素の画素値を求めた結果を示す。（ｂ）は、シード２を設定して後景から未知領域内の画素の画素値を求めた結果を示す。
【図１８】多値画像生成部により求められた前景度合いを画像化したものである。
【図１９】第３の実施形態における画像処理装置の動作について説明したフローチャートである。
【図２０】画像処理装置のハードウェア構成を示した図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
【００１１】
＜画像処理システム全体の説明＞
図１は、本実施の形態における画像処理システム１の構成例を示す図である。
図示するように本実施の形態の画像処理システム１は、表示装置２０に表示される画像の画像情報に対し画像処理を行なう画像処理装置１０と、画像処理装置１０により作成された画像情報が入力され、この画像情報に基づき画像を表示する表示装置２０と、画像処理装置１０に対しユーザが種々の情報を入力するための入力装置３０とを備える。
【００１２】
画像処理装置１０は、例えば、所謂汎用のパーソナルコンピュータ（ＰＣ）である。そして、画像処理装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、画像情報の作成等が行われるようになっている。
【００１３】
表示装置２０は、表示画面２１に画像を表示する。表示装置２０は、例えばＰＣ用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置２０における表示方式は、液晶方式に限定されるものではない。なお、図１に示す例では、表示装置２０内に表示画面２１が設けられているが、表示装置２０として例えばプロジェクタを用いる場合、表示画面２１は、表示装置２０の外部に設けられたスクリーン等となる。
【００１４】
入力装置３０は、キーボードやマウス等で構成される。入力装置３０は、画像処理を行なうためのアプリケーションソフトウェアの起動、終了や、詳しくは後述するが、画像処理を行なう際に、ユーザが画像処理装置１０に対し画像処理を行なうための指示を入力するのに使用する。
【００１５】
画像処理装置１０および表示装置２０は、ＤＶＩ（Digital Visual Interface）を介して接続されている。なお、ＤＶＩに代えて、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置１０と入力装置３０とは、例えば、ＵＳＢ（Universal Serial Bus）を介して接続されている。なお、ＵＳＢに代えて、ＩＥＥＥ１３９４やＲＳ−２３２Ｃ等を介して接続されていてもよい。
【００１６】
このような画像処理システム１において、表示装置２０には、まず最初に画像処理を行なう前の画像である原画像が表示される。そしてユーザが入力装置３０を使用して、画像処理装置１０に対し画像処理を行なうための指示を入力すると、画像処理装置１０により原画像の画像情報に対し画像処理がなされる。この画像処理の結果は、表示装置２０に表示される画像に反映され、画像処理後の画像が再描画されて表示装置２０に表示されることになる。この場合、ユーザは、表示装置２０を見ながらインタラクティブに画像処理を行なうことができ、より直感的に、またより容易に画像処理の作業を行える。
【００１７】
なお本実施の形態における画像処理システム１は、図１の形態に限られるものではない。例えば、画像処理システム１としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにユーザの指示が入力される。即ち、タッチパネルが、表示装置２０および入力装置３０として機能する。また同様に表示装置２０および入力装置３０を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置２０の表示画面２１としてタッチパネルを使用したものである。この場合、画像処理装置１０により画像情報が作成され、この画像情報に基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで画像処理を行なうための指示を入力する。
【００１８】
＜画像処理装置の説明＞
［第１の実施形態］
次に画像処理装置１０の第１の実施形態について説明を行なう。
第１の実施形態では、画像処理装置１０を画像中の欠損領域を埋める（Inpainting）処理に適用する例について説明する。
図２は、第１の実施形態における画像処理装置１０の機能構成例を表すブロック図である。なお図２では、画像処理装置１０が有する種々の機能のうち第１の実施形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置１０は、画像情報取得部１１と、ユーザ指示受付部１２と、未知領域設定部１３と、画素値予測部１４と、画像情報出力部１５とを備える。
【００１９】
画像情報取得部１１は、画像処理を行なう画像の画像情報を取得する。即ち、画像情報取得部１１は、画像処理を行なう前の原画像の画像情報を取得する。この画像情報は、表示装置２０で表示を行なうための、例えば、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）のビデオデータ（ＲＧＢデータ）である。
【００２０】
ユーザ指示受付部１２は、入力装置３０により入力された画像処理に関するユーザによる指示を受け付ける。
具体的には、ユーザ指示受付部１２は、表示装置２０で表示している画像の中から、ユーザが画素値を決定したい未知領域を指定する指示をユーザ指示情報として受け付ける。
【００２１】
本実施の形態では、未知領域を指定する作業を下記に説明するユーザインタラクティブに行なう方法を採用する。
図３（ａ）〜（ｂ）は、未知領域を指定する作業をユーザインタラクティブに行なう方法の例を示した図である。
このうち図３（ａ）は、画像処理を行なう前の画像であり、画像情報取得部１１が取得した画像情報に基づき表示装置２０に表示した原画像Ｇ１を示している。この原画像Ｇ１は、前景として写る人物と、人物の背後に写る後景とからなる写真をスキャナ等で読み取った画像である。また元の写真に折り目が付いており、これが原画像Ｇ１でも折り目画像Ｄ１として読み取られている。この場合、折り目画像Ｄ１は、本来の画像中にはないものであり、欠損領域と考えることができる。つまりこの欠損領域は、本来の画素値が不明の領域である。ここでは、欠損領域である折り目画像Ｄ１の箇所を未知領域として設定する。未知領域は、他の画素の画像情報を基に穴埋めの対象となる領域であり、画素値を決定したい領域である。
【００２２】
図３（ｂ）は、ユーザが、折り目画像Ｄ１の部分を未知領域Ｍとして原画像Ｇ１に対し入力した場合を示している。この場合、ユーザは、折り目画像Ｄ１の部分を覆うように未知領域Ｍを入力する。
【００２３】
この未知領域Ｍは、入力装置３０により描くことで入力することができる。例えば、入力装置３０がマウスであった場合は、マウスを操作して表示装置２０の表示画面２１で表示している原画像Ｇ１をドラッグし未知領域Ｍを描く。また入力装置３０がタッチパネルであった場合は、ユーザの指やタッチペン等により原画像Ｇ１をなぞりスワイプすることで同様に未知領域Ｍを描く。
【００２４】
また未知領域Ｍは、同方向で描く場合に限られるものではなく、往復動作を行い描いてもよい。またこの未知領域Ｍは細い線よりもより太い線にて描いた方が、入力はより容易になる。これは例えば、画像加工を行なう画像加工ソフトウェア等で用いられるブラシツールの中でペンサイズが太いサイズのものを実装する方法で実現してもよい。
【００２５】
なお欠損領域を有する画像は、折り目画像Ｄ１を有する場合に限られるものではない。
図４は、欠損領域の他の例について示した図である。
図示する原画像Ｇ２は、前景として写る人物と、人物の背後に写る後景とからなる写真をスキャナ等で読み取った画像である。そして元の写真に落書きがされており、これが原画像Ｇ２でも落書き画像Ｄ２として読み取られている。この場合、落書き画像Ｄ２は、本来の画像中にはないものであり、欠損領域である。
【００２６】
この場合も図３（ｂ）のように、ユーザは、落書き画像Ｄ２の部分を覆うように未知領域Ｍを入力することができる。また落書き画像Ｄ２は、通常は色が単調であるためユーザがこの色を入力することで未知領域Ｍを定めることもできる。
【００２７】
未知領域設定部１３は、画像の中から画素値を決定したい未知領域を設定する。
ここでは、未知領域設定部１３は、上述したような方法でユーザが入力した箇所を未知領域Ｍとして設定する。この場合、未知領域設定部１３は、ユーザの指示により未知領域Ｍを設定する。ただしこれに限られるものではなく、未知領域設定部１３がいわば自動的に未知領域Ｍを設定することもできる。欠損領域が周囲の画像と比較して、明確に区別できるものであれば、未知領域設定部１３が欠損領域を検出し、未知領域Ｍを設定することは困難ではない。例えば、未知領域設定部１３は、周囲と異なる色を有する画像中の領域を未知領域Ｍとして設定してもよい。なおこの場合、ユーザ指示受付部１２は、必ずしも設ける必要はない。
【００２８】
画素値予測部１４は、未知領域Ｍ中の画素の画素値を予測する。具体的には、画素値予測部１４は、未知領域Ｍの周囲の画素の画素値から、未知領域Ｍ内の画素へ画素値を伝搬していくことで、未知領域Ｍ中の画素値を予測する。以下、この画素値の伝搬方法の具体例を説明する。
【００２９】
ここでは、図３（ｂ）や図４で説明した未知領域Ｍに対し、未知領域Ｍ以外の周辺の領域の画素に基づき未知領域Ｍの画素を決定する方法を示す。なお未知領域Ｍ以外の周辺の領域の画素の画素値は確定しているため、以後、この領域を「既知領域」と言うことがある。
前述のように、本発明では、未知領域Ｍ以外の既知領域の画素の画素値を、未知領域Ｍの画素へ画素値の伝搬をすることで未知領域Ｍの画素値を決めることが基本的な方法である。この方法として、画素が持つ強さの伝搬により、領域を拡張していく原理が適用できる。
【００３０】
具体的には、以下の方法を応用することができる。この方法は、特開２０１６−００６６４５号公報に記載された方法である。
例えば、画像の領域を前景と後景に分離する際に、シードと呼ばれるユーザーが指定するラフな曲線などを与え、シードが与えられた画素にラベル（例えば、前景なら１、後景なら０というラベル）を設ける。そしてシードが与えられた画素には強さ１を設定しておき、シードが与えられた画素から、まだシードが与えられていない画素に対して、強さを伝搬していきながら、かつ、強さ同士を比較しながら強い方のラベルが採用されていく方法がある。この方法によれば、前景と後景とのそれぞれに与えられたシードからそれぞれのラベルを有する画素がその領域を拡張していき、最終的に前景と後景に分離される。
このとき１つの画素から隣接する画素への強さの影響度として加重を考える。そして例えば、この１つの画素から隣接する画素へ強さを伝搬する際には、１つの画素の持つ強さと加重を乗じ、乗じた値が隣接画素の強さになるように行なうことを基本とする。このとき「強さ」は、ラベルに対応する前景や後景に属する強さであり、ある画素がラベルに対応する前景や後景に属する可能性の大きさを表す。強さが大きいほどその画素がラベルに対応する前景や後景に属する可能性が高く、強さが小さいほどその画素がラベルに対応する前景や後景に属する可能性が低い。
また「加重」については、次のように考えることができる。
【００３１】
図５−１（ａ）〜（ｂ）は、加重について説明した図である。
図５−１（ａ）では、対象画素Ｔに対して加重を決定する隣接画素Ｒを示している。この場合、隣接画素Ｒは、対象画素Ｔに隣接する８画素である。そして加重は、原画像の画素情報を用いて決定される。つまり対象画素Ｔに対する隣接画素Ｒへの加重は、画素値が近いものほどより大きく、画素値が遠いものほどより小さくなるように決められる。画素値が近いか否かは、例えば、画素値（例えば、ＲＧＢ値）のユークリッド距離などを使用して決めることができる。
【００３２】
例えば、対象画素Ｔの画素値をＰ０＝（Ｒ０、Ｇ０、Ｂ０）とし、隣接画素Ｒの画素値をＰｉ＝（Ｒｉ、Ｇｉ、Ｂｉ）とすると、ＲＧＢ値のユークリッド距離ｄｉは、下記数１式で定義できる。
【００３３】
【数１】
0006711031.tif 000002
【００３４】
またＲＧＢ値のユークリッド距離ｄｉの代わりに下記数２式に示したＹＣｂＣｒ値を使用したユークリッド距離ｄｉｗを考えてもよい。数２式は、対象画素Ｔの画素値が、Ｐ０＝（Ｙ０、Ｃｂ０、Ｃｒ０）であり、隣接画素Ｒの画素値が、Ｐｉ＝（Ｙｉ、Ｃｂｉ、Ｃｒｉ）であったときのユークリッド距離ｄｉｗを示している。また数２式のユークリッド距離ｄｉｗは、重み係数ＷＹ、ＷＣｂ、ＷＣｒを使用した重みづけユークリッド距離となっている。
【００３５】
【数２】
0006711031.tif 000003
【００３６】
さらに画素値は、３成分からなるものに限定されるものではない。例えば、ｎ次元色空間を使用し、ｎ個の色成分によるユークリッド距離ｄｉｗを考えてもよい。
例えば、下記数３式は、色成分が、Ｘ１、Ｘ２、…、Ｘｎである場合である。そして数３式は、対象画素Ｔの画素値が、Ｐ０＝（Ｘ１０、Ｘ２０、…、Ｘｎ０）であり、隣接画素Ｒの画素値が、Ｐｉ＝（Ｘ１ｉ、Ｘ２ｉ、…、Ｘｎｉ）であったときのユークリッド距離ｄｉｗを示している。なお数３式のユークリッド距離ｄｉｗも重み係数ＷＸ１、ＷＸ２、…、ＷＸｎを使用した重みづけユークリッド距離となっている。
【００３７】
【数３】
0006711031.tif 000004
【００３８】
図５−１（ｂ）では、対象画素Ｔに対して決められる加重の大きさを図示している。ここでは、対象画素Ｔに対して決められる加重がより大きい隣接画素Ｒについては、より太い線で示し、対象画素Ｔに対して決められる加重がより小さい隣接画素Ｒについては、より細い線で示している。
【００３９】
なおユークリッド距離ｄｉから加重を決定するのは、具体的には以下の方法で行なっている。
図５−２（ａ）〜（ｂ）は、加重を決定する方法について示した図である。図５−２（ａ）〜（ｂ）において、横軸は、ユークリッド距離ｄｉを表し、縦軸は、加重を表す。
このユークリッド距離ｄｉは、強さを与えられた画素とその画素の周辺に位置する画素との間で決まる画素値のユークリッド距離ｄｉである。そして例えば、図５−２（ａ）に図示するように非線形の単調減少関数を定め、ユークリッド距離ｄｉに対し、この単調減少関数により決まる値を加重とする。
つまりユークリッド距離ｄｉが小さいほど、加重はより大きくなり、ユークリッド距離ｄｉが大きいほど、加重はより小さくなる。
なお単調減少関数は、図５−２（ａ）のような形状のものに限られるものではなく、単調減少関数であれば特に限られるものではない。よって図５−２（ｂ）のような線形の単調減少関数であってもよい。またユークリッド距離ｄｉの特定の範囲で線形であり、他の範囲で非線形であるような区分線形の単調減少関数であってもよい。
【００４０】
以上のように、強さの伝搬と強さの比較により、結果的に「ラベル」が伝搬され領域を分離することができる。この場合、ラベルと強さが伝搬し、領域の切り分けを行なうと考えることができる。
【００４１】
本実施の形態では、この方法をさらに応用し、強さの伝搬と強さの比較により、「画素値」を伝搬することで、未知領域Ｍの画素値を、既知領域の画素値を基に決定することを特徴とする。そしてこの場合、画素値と強さが伝搬し、未知領域Ｍの画素値を決定すると考えることができる。
【００４２】
未知領域Ｍの画素値を、既知領域の画素値を基に決定するのに、前述の画素値の伝搬の原理で行うためには、図５−１（ａ）〜（ｂ）で説明したような加重の算出が必要となる。加重の算出に使用する画素値は、原画像の画素値であるが、欠損領域についても画素値をそのまま使用することができる。欠損領域は、図３に示した折り目画像Ｄ１であれば、ユーザーが指定したペンの色であり、図４に示した落書き画像Ｄ２であれば落書きのペンの色そのものであると解釈できる。なおペンの色は予めわかっているので、処理を行なうのに都合のよい別の色に置き換えてもよい。
【００４３】
また欠損領域の画素が持つ色をそのまま使って、例えば、平滑化を行えば、隣接画素Ｒと関係が滑らかになり、加重を求める計算がしやすくなる。
図５−３（ａ）は、平滑化を行なう前の画像を示し、図５−３（ｂ）は、平滑化を行なった後の画像を示している。
【００４４】
図５−４（ａ）〜（ｉ）は、未知領域Ｍの画素値を、既知領域の画素値を基に決定する過程を示した図である。
図５−４（ａ）は、未知領域Ｍの画素値を決定する前の画像であり、未知領域Ｍが存在している。また未知領域Ｍの周囲は、既知領域である。このとき原画像の画素値を基に加重の算出は既に終了しているものとする。また未知領域Ｍにおける画素の強さは全て０が設定され、未知領域Ｍ以外の既知領域における画素の強さは全て１が設定される。この場合、「強さ」は、現在の画素値を有する可能性を表すと考えることができる。例えば、既知領域において現在の画素値を有する可能性は、１である。また未知領域Ｍにおいて現在の画素値を有する可能性は、０である。
【００４５】
ここで画素値を決定する対象となるのは、、図５−４（ａ）に示した未知領域Ｍの画素である。前述のように既知領域の画素は１という強さを持ち、これら予め強さを持つ既知領域の画素が未知領域Ｍの画素へ画素値を伝搬する。例えば、この例では、最初に更新の対象画素Ｔとなるのは、図５−４（ｂ）に示す枠の中心の画素であり、８近傍の隣接画素のうち、画素の強さと対象画素Ｔとの加重に応じて算出された強さを受け取る。このとき対象画素Ｔに対し、強さを及ぼすのは、既に強さを有している画素であり、この場合、既知領域の画素である。そしてそのうち（強さ×加重（強さと加重とを乗じた値））が最大であったものを受け止め、８近傍の隣接画素のうち、その（強さ×加重）を持った隣接画素の画素値へ更新される。この例では、図５−４（ｂ）に示すように、既知領域に属する右隣りの隣接画素Ｒ１から受けた（強さ×加重）が最も強いとして、対象画素Ｔの画素値が右隣りの画素値へ変更されていることがわかる。例えば、右隣りの隣接画素Ｒ１の強さが１で、対象画素Ｔから隣接画素Ｒ１への加重が０．９だった場合、対象画素Ｔに与えられる強さは、１×０．９＝０．９となる。
【００４６】
つまりこの場合、既に強さを有する既知領域の画素が「起点の画素」となり、起点の画素の強さおよび起点の画素の未知領域Ｍに含まれる画素に及ぼす加重に基づいて未知領域Ｍ中の画素の画素値を予測する。
【００４７】
またこの場合、画素値と強さの伝搬（更新）は、対象画素Ｔと隣接画素Ｒとの（強さ×加重）の比較によりすぐに行なわれる（非同期型）。また対象画素Ｔは、隣接画素Ｒから受ける（強さ×加重）の比較で、自分の強さが更新される（受け身型）。また対象画素Ｔが既に強さを持っている場合は、その時点の対象画素Ｔの（強さ×加重）より隣接画素Ｒの（強さ×加重）が強ければ、強さと画素値とがともに更新される。
【００４８】
対象画素Ｔは、未知領域Ｍの画素から順次選択され、同様の処理が行われる。
次に対象となるのは図５−４（ｃ）の枠の中心の画素であり、これが対象画素Ｔとなる。そして図５−４（ｂ）の場合と同様に画素値が変更される。以降、図５−４（ｄ）〜（ｉ）まで同様の処理が繰り返される。
【００４９】
つまりこの場合、既に強さを有する既知領域の画素とともに画素値が決定した画素を新たな「起点の画素」としてさらに決定を行なうことを繰り返す。
【００５０】
図５−４において実線で図示した矢印は、対象画素Ｔが次の画素に移る場合の矢印で、点線で図示した矢印は対象画素Ｔが次の次以降の画素になる場合の矢印を表す。このとき図５−４（ａ）〜（ｉ）を１ループとし、未知領域Ｍ中の全画素を一通り処理したときの画素値の様子は、図５−４（ｉ）に示すようになる。そして同様の処理をさらに繰り返し、収束するまで行なう。
【００５１】
図５−５（ａ）は、図５−４（ｉ）と同様の図であり、上記１ループが終了したときの画素値の様子を示している。また図５−５（ｂ）は、この処理を複数ループ行い、収束したときの画素値の様子を示している。
図５−４（ａ）の段階では、未知領域Ｍの画素は、強さが０であったが、図５−５（ａ）に図示するように、１ループが終了後は、何かしらの強さと伝搬された画素値を有する。そして２回目以降のループの更新では、その状態からのスタートとなる。そして受け取った強さが、現在の自分の強さより強ければ、強さと画素値とがともに変更される規則で更新される。
【００５２】
また図５−６（ａ）〜（ｉ）は、他の方法で未知領域Ｍの画素値を、既知領域の画素値を基に決定する過程を示した図である。
この場合、画素値と強さの伝搬は、対象画素Ｔと隣接画素Ｒとの（強さ×加重）の比較によりすぐに行なわれる点では、図５−４の場合と同様である（非同期型）。一方、対象画素Ｔは、隣接画素Ｒに対し画素値と強さを伝搬し、隣接画素Ｒの画素値と強さを更新する（攻撃型）。
【００５３】
例えば、図５−６（ｂ）では、対象画素Ｔは、真下の隣接画素Ｒ２に対して強さと画素値を伝搬している。
また図５−６（ｄ）においても、対象画素Ｔが８近傍の隣接画素Ｒに、強さと画素値を伝搬するが、例えば４行３列の位置にある画素は、図５−６（ｂ）において、４行２列に位置する対象画素Ｔだった画素から伝搬された強さを既に持っている。この場合、図５−６（ｄ）では、３行３列に位置する画素から強さが伝搬されるが、このとき、対象画素Ｔからの（強さ×加重）が既に持っている強さを上回っていれば、上回っている方に更新される。
【００５４】
この場合も、既に強さを有する既知領域の画素が「起点の画素」となり（この場合、起点の画素は、対象画素Ｔでもある）、起点の画素の強さおよび起点の画素の未知領域Ｍに含まれる画素に及ぼす加重に基づいて未知領域Ｍ中の画素の画素値を予測する。そして既に強さを有する既知領域の画素とともに画素値が決定した画素を新たな「起点の画素」としてさらに決定を行なうことを繰り返す。
【００５５】
そして図５−６（ａ）〜（ｉ）を１ループとし、未知領域Ｍ中の全画素を一通り処理したときの画素値の様子は、図５−６（ｉ）に示すようになる。そして同様の処理をさらに繰り返し、収束するまで行なう。
【００５６】
図５−７（ａ）は、図５−６（ｉ）と同様の図であり、上記１ループが終了したときの画素値の様子を示している。また図５−７（ｂ）は、この処理を複数ループ行い、収束したときの画素値の様子を示している。
未知領域Ｍの画素は図５−４（ａ）の段階では、未知領域Ｍの画素は、強さが０であったが、図５−７（ａ）に図示するように、１ループが終了後は、何かしらの強さと伝搬された画素値を有する。そして２回目以降のループの更新では、その状態からのスタートとなる。
【００５７】
なお、図５−４や図５−７で示すように、更新の仕方が異なれば、収束状態も変わることがある。ただしどちらが真の状態かが決められているわけではないので、どちらを採用してもよい。
【００５８】
またこの他にも、更新された画素の状態（強さと画素値）をすぐに反映させずに、１ループの処理が終わるまで別メモリに保存しておき、１ループが終わったときに一斉に更新する方法でもよいものとする（同期型）。
【００５９】
以上のように、本実施の形態では、最初の未知領域Ｍの画素の強さは０とし、未知領域Ｍ以外の既知領域の画素に強さは１を設定する。そして未知領域Ｍの画素へ強さと画素値とを伝搬し、更新の過程で強さを比較しながら、強さの大きい方の画素値を伝搬していくことで、未知領域Ｍの画素を予測することを基本的な特徴とする。
【００６０】
これは画素値予測部１４は、未知領域Ｍ以外の既知領域に含まれ強さを有する画素を起点の画素とし、起点の画素の強さおよび起点の画素の未知領域に含まれる画素に及ぼす加重に基づいて未知領域Ｍ中の画素の画素値を予測する、ということもできる。またこのとき画素値予測部１４は、起点の画素の強さおよび起点の画素の未知領域Ｍに含まれる画素に及ぼす加重に基づいて未知領域Ｍに含まれる画素の画素値を決定し、画素値が決定した画素を新たな起点の画素としてさらに決定を行なうことを繰り返すことで未知領域Ｍ中の画素の画素値を予測する、ということもできる。さらにこのとき画素値予測部１４は、起点の画素の強さと起点の画素の未知領域Ｍに含まれる画素に及ぼす加重とを乗じた値が最も大きくなる起点の画素の画素値に基づいて未知領域Ｍ中の画素値を決定する。そして決定される画素値は、起点の画素の画素値であり、画素値がそのまま伝搬する。
【００６１】
画像情報出力部１５は、以上のように画像処理がなされた後の画像情報を出力する。画像処理がなされた後の画像情報は、表示装置２０に送られる。そして表示装置２０にてこの画像情報に基づき画像が表示される。
【００６２】
図６（ａ）〜（ｂ）は、図３（ｂ）の画像について未知領域Ｍ中の画素の画素値を決定した例を示している。
図６（ａ）は、図３（ａ）と同様の図であり、折り目画像Ｄ１が存在している原画像Ｇ１である。そして図３（ｂ）で示したように未知領域Ｍを入力し、画素値予測部１４が未知領域Ｍの画素値を予測すると、図６（ｂ）のような画像Ｇ１’となる。図６（ｂ）の画像Ｇ１’は、折り目画像Ｄ１が消滅している。
【００６３】
また図７（ａ）〜（ｂ）は、図４の画像について未知領域Ｍを入力し、この未知領域Ｍ中の画素の画素値を決定した例を示している。
図７（ａ）は、図４と同様の図であり、落書き画像Ｄ２が存在している原画像Ｇ２である。そして未知領域Ｍを入力し、画素値予測部１４が未知領域Ｍの画素値を予測すると、図７（ｂ）のような画像Ｇ２’となる。図７（ｂ）の画像Ｇ２’は、落書き画像Ｄ２が消滅している。
【００６４】
［第２の実施形態］
次に画像処理装置１０の第２の実施形態について説明を行なう。
第２の実施形態では、画像処理装置１０を画像中のノイズの除去に対して適用する例について説明する。なお第２の実施形態における画像処理装置１０の機能構成例を表すブロック図は、第１の実施形態と同様である。
ノイズは、画像にもともと存在する場合や、コントラスト調整や視認性の向上など、画像処理を行なうことによって発生または目立つことがある。
【００６５】
画像の視認性の向上を図る手段として、例えば、Retinex処理を行なう方法がある。
画像の画素位置（ｘ、ｙ）の画素値（輝度値）をＩ（ｘ、ｙ）として、視認性を高めた画像の画素値Ｉ’（ｘ、ｙ）とすると、Retinex処理によって、以下の数４式を使用して視認性を向上させることができる。
【００６６】
【数４】
0006711031.tif 000005
【００６７】
ｋは、反射率を強調するパラメータ、Ｒ（ｘ、ｙ）は推定反射率成分であり、Retinexモデルでは、反射率成分を強調することで視認性を高めることができる。本実施の形態では、Ｒ（ｘ、ｙ）の算出は、既存のRetinexモデルのいかなる方法でもよいものとする。０≦ｋ≦１とすれば、ｋ＝０のときは原画像を表し、ｋ＝１のときは反射率画像（最大の視認性）を表す。ｋはユーザが調整してもよいし、または画像の暗さに応じて、対応づけておいてもよい。
【００６８】
図８（ａ）〜（ｃ）は、Retinex処理を行い、原画像に対し視認性向上を行なった場合の概念図である。
このうち図８（ａ）は、原画像Ｇ３であり、図８（ｂ）は、Retinex処理を行なった後の画像Ｇ３’である。
【００６９】
Retinex処理などで視認性の向上を図った場合は、明度に関して暗部の視認性を高める処理が行われる。そのためもともと画素の色相や彩度などの色情報がばらついているような暗部領域の画素は、ノイズとなってしまうことがある。
【００７０】
図８（ｃ）は、図８（ｂ）の画像Ｇ３’の一部を拡大した図であり、暗部領域の画素にノイズが生じた場合を示している。
暗部領域は明度が小さいため、色情報を視認することが難しいが、明度以外の色成分である色度成分（例えば、ＨＳＶ色空間では色相Ｈと彩度Ｓ、Ｌ＊ａ＊ｂ＊色空間では色度ａ＊ｂ＊）が大きくばらつくため、カラーノイズとなって表れることがある。または、Retinex処理が原因で、明度そのものも、ばらつきを生じることもある。さらにこれらが複合してノイズとなって表れることもある。
【００７１】
本実施の形態では、未知領域設定部１３は、画像Ｇ３’の中から画素値を決定したい未知領域Ｍとしてノイズと思われる画素または領域を設定する。なおこの場合、ノイズは、本来の画像中にはないものであり、欠損領域と考えることもできる。
【００７２】
未知領域設定部１３が未知領域Ｍを設定するには、ユーザがノイズの領域を入力装置３０により入力し、ユーザ指示受付部１２が、これをユーザ指示情報として受け付けることで行なうことができる。
【００７３】
一方、未知領域設定部１３が、ノイズの領域を検出し、この領域を未知領域Ｍとして設定することもできる。例えば、原画像Ｇ３の状態で、暗部であった領域を未知領域Ｍとする。また暗部であった領域中の画素で、明度、色度などの色情報が周辺とかけ離れている画素や、例えば３×３や５×５などの画素領域の平均が周辺画素の平均から離れている画素領域とすることができる。
【００７４】
図９−１（ａ）〜（ｂ）は、未知領域設定部１３が、画像Ｇ３’中のノイズが発生している領域に未知領域Ｍを設定した例を示している。
このうち図９−１（ａ）は、図８（ｂ）と同様の画像Ｇ３’であり、図示する領域にノイズが発生していることを示している。
また図９−１（ｂ）は、画像Ｇ３’中のノイズが発生している領域に未知領域Ｍを設定した場合を示している。
【００７５】
具体的には、図９−２（ａ）に示すように、ノイズが発生している領域Ｎは、周辺とは著しく値の異なる画素値となる。よって例えば、隣接画素の画素値の差に着目し、閾値を設けて検出することができる。つまり隣接画素に対し、予め定められた閾値を超える場合は、ノイズであると判断する。
【００７６】
また上述した加重を算出する場合、ノイズが発生している領域Ｎの画素値をそのまま用いて行ってもよい。また、図９−２（ｂ）に示すように図９−２（ａ）に示す画素値を平滑化したものを用いて加重を算出してもよい。
または、図９−３（ａ）に示すようにノイズが発生している領域Ｎの画素値を別の画素値へ置き換えた上で（図では黒色の画素で置き換えた場合を示す）、図９−３（ｂ）に示すように平滑化してもよいものとする。
【００７７】
また未知領域Ｍを設定した後は、画素値予測部１４が、未知領域Ｍの画素値を、既知領域の画素値を基に決定することは、第１の実施形態と同様である。
【００７８】
図１０（ａ）〜（ｂ）は、図８（ａ）の原画像Ｇ３について視認性を向上させるとともにノイズを除去した例を示している。
図１０（ａ）は、図８（ａ）と同様の図であり、原画像Ｇ３を示している。そして図１０（ｂ）は、図８（ａ）の原画像Ｇ３について視認性を向上させるとともにノイズを除去した画像Ｇ３”を示している。つまり図１０（ｂ）の画像Ｇ３”は、Retinex処理により視認性を向上させた後に、図９（ｂ）で示したようにノイズが発生している領域に未知領域Ｍを設定し、画素値予測部１４が、未知領域Ｍ中の画素の画素値を決定した後の画像である。
【００７９】
図１１は、第１の実施形態および第２の実施形態における画像処理装置１０の動作について説明したフローチャートである。
以下、図２および図１１を主に使用して、第１の実施形態および第２の実施形態における画像処理装置１０の動作について説明を行なう。
【００８０】
まず画像情報取得部１１が、画像処理を行なう画像の画像情報としてＲＧＢデータを取得する（ステップ１０１）。このＲＧＢデータは、表示装置２０に送られ、画像処理を行なう前の画像が表示される。
【００８１】
そしてユーザが、例えば、折り目画像Ｄ１や落書き画像Ｄ２の欠損領域を未知領域Ｍとして設定する。このユーザ指示情報は、ユーザ指示受付部１２が受け付ける（ステップ１０２）。
【００８２】
次に未知領域設定部１３が、画像の中から画素値を決定したい未知領域Ｍを設定する（ステップ１０３）。これは、ステップ１０２で受け付けたユーザ指示情報に基づき行われる。なお上述したように未知領域設定部１３が、未知領域Ｍを自動的に設定することもできる。この場合、ステップ１０２は不要となる。
【００８３】
また画素値予測部１４が、未知領域Ｍ中の画素の画素値を予測する（ステップ１０４）。本実施の形態では、画素値予測部１４は、未知領域Ｍの周囲の画素値を基にして領域拡張方法により、未知領域Ｍ中の画素の画素値を予測する。
【００８４】
そして画像情報出力部１５が、画像処理がなされた後の画像情報を出力する（ステップ１０５）。この画像情報は、ＲＧＢデータであり、このＲＧＢデータは、表示装置２０に送られ、表示画面２１に画像処理後の画像が表示される。
【００８５】
［第３の実施形態］
次に画像処理装置１０の第３の実施形態について説明を行なう。
第３の実施形態では、画像処理装置１０をMattingに対して適用する例について説明する。
画像加工では、画像から特定の領域を切り抜く場合は、切り抜き対象となる前景とそれ以外の後景の２値に分類されるとともに、境界が曖昧な領域を多値で表すMattingの手法を用いてマスクを生成する場合がある。境界が曖昧な領域を有する画像の例として、フサフサした衣類の毛や人の髪の毛の画像などがある。このような画像は、前景に光が透過して後景が透けるような領域を有する画像とも言い換えることができる。以下、Mattingの手法を用いてマスクを作成する方法について説明を行なう。
【００８６】
図１２は、第３の実施形態における画像処理装置１０の機能構成例を表すブロック図である。
図示するように本実施の形態の画像処理装置１０は、画像情報取得部１１と、二値画像生成部１６と、未知領域設定部１３と、画素値予測部１４と、多値画像生成部１７と、画像情報出力部１５とを備える。
図示する画像処理装置１０は、図２の画像処理装置１０に対し、ユーザ指示受付部１２がなく、二値画像生成部１６および多値画像生成部１７が加わっている。
【００８７】
画像情報取得部１１については、第１の実施形態と同様である。即ち、画像情報取得部１１は、画像処理を行なう画像の画像情報を取得する。
【００８８】
二値画像生成部１６は、画像情報を前景または後景であることを示す二値で表された二値画像を生成する。
図１３（ａ）〜（ｂ）は、二値画像生成部１６が行なう処理について示した図である。
ここで図１３（ａ）は、画像処理を行なう前の画像であり、画像情報取得部１１が取得した画像情報に基づき表示装置２０に表示した原画像Ｇ４を示している。この原画像Ｇ４は、前景である人の髪の毛の画像と後景であるその背後の画像からなる。そして前景と後景との境界は、曖昧である。
また図１３（ｂ）は、二値画像生成部１６で原画像Ｇ４の処理を行った後の二値画像Ｇ４’である。
ここでは、画像情報取得部１１が取得した画像情報を、前景である髪の毛の部分を、例えば、「１」とし、後景の部分を「０」とすることで二値化し、二値画像Ｇ４’としたものである。
【００８９】
二値画像生成部１６が、画像情報を二値化するには、第１の実施形態において画素値予測部１４が行った処理が適用できる。つまり二値画像生成部１６は、前景に属する画素に基準画素であるシード１を設定する。また後景に属する画素に基準画素であるシード２を設定する。そしてこのシード１およびシード２を基にして領域拡張方法により、それぞれの領域を拡張する。その結果、前景であるラベル１が付与された領域の画素値を「１」とし、後景であるラベル２が付与された領域の画素値を「０」とする。
【００９０】
未知領域設定部１３は、二値画像Ｇ４’を使用して、前景および後景の境界部で未知領域Ｍを設定する。これは、前景および後景の境界部で画素に付与されていたラベルをリセットする、と言うこともできる。
【００９１】
本実施の形態では、未知領域設定部１３は、二値画像Ｇ４’の中で隣接画素の画素値が異なる画素に対し、未知領域Ｍを設定するフィルタを適用する。具体的には、前景および後景の境界部の画素を中心として二値の画素値の設定を解除する（ラベルをリセットする）フィルタを適用することで未知領域Ｍを設定する。
【００９２】
図１４（ａ）〜（ｂ）は、未知領域設定部１３が、未知領域Ｍを設定する処理について示した図である。
このうち図１４（ａ）は、未知領域Ｍを設定するフィルタを示している。このフィルタは、隣接画素の画素値が異なる画素を中心として設定される。図１４（ａ）では、この中心となる画素を中心画素とし、この中心画素に対して設定されるフィルタを図示している。中心画素の画素値は、「１」および「０」の何れであってもよい。またフィルタの大きさは、例えば、１０画素×１０画素である。
【００９３】
図１４（ｂ）は、このフィルタを使用して未知領域Ｍを設定した後について示した図である。図１４（ｂ）で示すように図１４（ａ）で図示した画素値が「１」と「０」との境界部において未知領域Ｍが設定される。
【００９４】
図１５は、原画像Ｇ４に対し前景および後景の境界部で未知領域Ｍを設定した場合を示している。
図示するように前景である人の髪の毛の画像と後景であるその背後の画像との境界部に、未知領域設定部１３で設定した未知領域Ｍが適用される。
【００９５】
画素値予測部１４は、画像情報を使用して、既知領域の中で前景に属する画素と後景に属する画素とでそれぞれ基準画素を設定し、未知領域Ｍ中の画素に対する画素値をそれぞれの場合について予測する。
【００９６】
図１６−１は、画素値予測部１４が行なう処理の概念図である。
図示するように未知領域Ｍ内の画素の画素値は、前景から画素値を予測する場合と、後景から画素値を予測する場合について求められ、２通りの結果が得られる。
【００９７】
図１６−２（ａ）〜（ｄ）は、具体的にこの様子を説明するための図である。
例えば、図１６−２（ａ）は、画像の領域を分離する境界を表したものである。また図１６−２（ｂ）は、二値画像生成部１６で領域を分離したもので、前景と後景を表す二値のラベルがついている。さらに図１６−２（ｃ）は、図１４で生成された未知領域Ｍの境界を表し、図１６−２（ｄ）は、未知領域Ｍの画素を黒で表した図を示す。
【００９８】
ここで、本実施の形態が、第１の実施形態や第２の実施形態と異なる点は、前景領域のみからの画素値を伝搬する場合と、後景領域のみから画素値を伝搬する場合の２通りがあることである。
【００９９】
図１６−３（ａ）〜（ｉ）は、前景領域のみからの画素値を伝搬する場合を示している。
この場合、画素値と強さの伝搬は、対象画素Ｔと隣接画素Ｒとの（強さ×加重）の比較によりすぐに行なわれる（非同期型）。また対象画素Ｔは、隣接画素Ｒから受ける（強さ×加重）の比較で、自分の強さが更新される（受け身型）。
【０１００】
この場合の加重の算出は、図１６−２（ａ）に示す原画像で行ってもよく、または図１６−２（ａ）に示す原画像を平滑化してから行ってよい。または、図１６−２（ｄ）の未知領域Ｍに何かしらの画素値を設定して平滑化してもよいものとする。
【０１０１】
図１６−３（ａ）〜（ｉ）では、未知領域Ｍ以外の既知領域の画素で、かつ、前景に属する画素のみが強さ１を持つ。まず、図１６−３（ｂ）に示す枠の中心の対象画素Ｔが、右下の前景の属する隣接画素Ｒ３の影響のみを受け、加重を乗じた強さが伝搬される。同様に、図１６−３（ｃ）では、枠中心の対象画素Ｔは、左隣りの隣接画素Ｒ４と真下の隣接画素Ｒ５から影響を受け、強さが強い方の画素値に更新される。この場合は、まだ対象画素Ｔは、強さを持たないので、この２つの強さの比較でよい。
対象画素Ｔは、未知領域Ｍの画素から順次選択され、図１６−３（ａ）〜（ｉ）の処理が行われる。なおこの例では、何ループかの結果、一通り未知領域Ｍの画素値が決定することになり、図１６−３（ｉ）は、一通り決定した結果を示す。
図１６−３の場合は、後景に属する画素からの影響は受けず、伝搬されるのは前景に属する画素からということになる。
【０１０２】
図１６−４（ａ）は、図１６−３（ｉ）と同様の図であり、一通り未知領域Ｍの画素値が決定したときの画素値の様子を示している。また図１６−４（ｂ）は、さらにループを繰り返し、収束したときの画素値の様子を示している。
以上のように、未知領域Ｍの画素に対して、前景からの画素値を予測することができる。
【０１０３】
また図１６−５（ａ）〜（ｉ）は、後景領域のみからの画素値を伝搬する場合を示している。
図１６−５（ａ）〜（ｉ）で行なう処理は、図１６−３（ａ）〜（ｉ）の場合と同様である。ただしこの場合は、前景に属する画素からの影響は受けず、伝搬されるのは後景に属する画素からということになる。
【０１０４】
図１６−６（ａ）は、図１６−５（ｉ）と同様の図であり、一通り未知領域Ｍの画素値が決定したときの画素値の様子を示している。また図１６−６（ｂ）は、さらにループを繰り返し、収束したときの画素値の様子を示している。
【０１０５】
図１７（ａ）は、前景から未知領域Ｍ内の画素の画素値を求めた結果を示す。また図１７（ｂ）は、後景から未知領域Ｍ内の画素の画素値を求めた結果を示す。
【０１０６】
ここで未知領域Ｍ中の画素における画像情報の画素値（原画像Ｇ４の画素値）をＣとすると、Ｃは、以下の数５式で表すことができる。
【０１０７】
【数５】
0006711031.tif 000006
【０１０８】
ここでＦは、前景から予測された画素値である。またＢは、後景から予測された画素値である。なおＣ、Ｆ、Ｂの画素値は、ＲＧＢ色空間やＬ＊ａ＊ｂ＊色空間では、ベクトルで表すことができ、グレースケールであればスカラーで表すことができる。
【０１０９】
またαは、０≦α≦１であり、前景度合いを表すパラメータである。即ち、αが１のときＣ＝ＦとなりＣの画素値は、前景から予測された画素値と同じになる。またαが０のときＣ＝ＢとなりＣの画素値は、後景から予測された画素値と同じになる。よってαが大きいほど前景の度合いが高まると考えることができる。
【０１１０】
つまり境界部の画素は、前景から予測された画素値と後景から予測された画素値とがある割合で混合した画素値を有すると考え、画素値Ｃを上記数５式のように表す。
【０１１１】
多値画像生成部１７は、画素値予測部１４により予測された未知領域Ｍの中の画素に対する画素値から前景度合いαを表す多値の画素値を求める。即ち、画素値予測部１４により予測された２通りの画素値から前景度合いαを表す多値の画素値を求める。
数５式をαについて解くと、下記数６式が得られる。
【０１１２】
【数６】
0006711031.tif 000007
【０１１３】
多値画像生成部１７は、例えば、数６式を使用して前景度合いαを求めるが、これに限られるものではない。本実施の形態では、既知の画素値から領域拡張法により未知領域Ｍの画素値を高速に算出することにある。よって算出されたＦ、Ｂの画素値と基本の式である数５式に基づけば、前景度合いαはいかなる方法により求めてもよい。最もシンプルな計算としてここでは数６式を例に挙げたが、画素値がベクトルで表される場合は、前景度合いαによってＣの画素値を正確に表現することが難しいことがある。その場合は、ＦやＢの画素値を微調整したり、近似解を算出する方法などを適用してもよい。
また図１７に示す画像で、前景と後景に相当する部分は滑らかであってもよいので、図１６−４（ｂ）や図１６−６（ｂ）で生成された前景や後景の予測結果の画像を平滑化したものを使用してもよいものとする。
【０１１４】
図１８は、多値画像生成部１７により求められた前景度合いαを画像化したものである。
この画像Ｇ４”は、前景である人の髪の毛の画像の画素値は、「１」である。また後景であるその背後の画像の画素値は、「０」である。さらに前景と後景との境界部では、前景度合いαにより表される０〜１の数値となる。この画像Ｇ４”は、前景と後景との境界部における曖昧な領域を多値で表すマスクとして使用することができる。そしてこのマスクにより原画像Ｇ４から前景を切り出すことができる。
【０１１５】
図１９は、第３の実施形態における画像処理装置１０の動作について説明したフローチャートである。
以下、図２および図１９を主に使用して、第３の実施形態における画像処理装置１０の動作について説明を行なう。
【０１１６】
まず画像情報取得部１１が、画像処理を行なう画像の画像情報としてＲＧＢデータを取得する（ステップ２０１）。
【０１１７】
次に二値画像生成部１６が、画像情報を前景または後景であることを示す二値で表された二値画像を生成する（ステップ２０２）。その結果、図１３（ｂ）に示すような二値画像Ｇ４’が生成される。
【０１１８】
次に未知領域設定部１３が、二値画像を使用して、前景および後景の境界部で未知領域Ｍを設定する（ステップ２０３）。この処理は、図１４で示したような未知領域Ｍを設定するフィルタを使用することで行なう。その結果、図１５で示すような未知領域Ｍが設定される。
【０１１９】
さらに画素値予測部１４は、元の画像情報を使用して、前景に属する画素と後景に属する画素とでそれぞれシードを設定し、未知領域Ｍ中の画素に対する画素値をそれぞれの場合について予測する（ステップ２０４）。その結果、図１７に示したような２通りの結果が得られる。
【０１２０】
そして多値画像生成部１７が、画素値予測部１４により予測された未知領域Ｍの中の画素に対する画素値から前景度合いαを表す多値の画素値を求める（ステップ２０５）。前景度合いαは、例えば、数６式を使用することで求めることができる。
【０１２１】
以上説明した画像処理装置１０によれば、画素値を決定したい未知領域における画素値を予測する処理を、より高速に行なうことができる。
【０１２２】
なお以上説明した画素値予測部１４で行われる処理は、画像の画像情報を取得し、画像の中から画素値を決定したい未知領域Ｍを設定し、未知領域Ｍ以外の既知領域に含まれ既知領域に属する強さを有する画素を基準画素とすると共に未知領域Ｍに含まれる画素を対象画素とし、基準画素の強さおよび基準画素の対象画素に及ぼす影響力に基づいて未知領域Ｍ中の画素の画素値を予測する画像処理方法として捉えることもできる。
【０１２３】
＜画像処理装置のハードウェア構成例＞
次に、画像処理装置１０のハードウェア構成について説明する。
図２０は、画像処理装置１０のハードウェア構成を示した図である。
画像処理装置１０は、上述したようにパーソナルコンピュータ等により実現される。そして図示するように、画像処理装置１０は、演算手段であるＣＰＵ（Central Processing Unit）９１と、記憶手段であるメインメモリ９２、およびＨＤＤ（Hard Disk Drive）９３とを備える。ここで、ＣＰＵ９１は、ＯＳ（Operating System）やアプリケーションソフトウェア等の各種プログラムを実行する。また、メインメモリ９２は、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、ＨＤＤ９３は、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。
さらに、画像処理装置１０は、外部との通信を行なうための通信インターフェース（以下、「通信Ｉ／Ｆ」と表記する）９４を備える。
【０１２４】
＜プログラムの説明＞
ここで以上説明を行った本実施の形態における画像処理装置１０が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。
【０１２５】
よって本実施の形態で、画像処理装置１０が行なう処理は、コンピュータに、画像の画像情報を取得する画像情報取得機能と、画像の中から画素値を決定したい未知領域Ｍを設定する未知領域設定機能と、未知領域Ｍ以外の既知領域に含まれ強さを有する画素を起点の画素とし、起点の画素の強さおよび起点の画素の未知領域に含まれる画素に及ぼす加重に基づいて未知領域Ｍ中の画素の画素値を予測する画素値予測機能と、を実現させるプログラムとして捉えることもできる。
【０１２６】
なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。
【０１２７】
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【符号の説明】
【０１２８】
１…画像処理システム、１０…画像処理装置、１１…画像情報取得部、１２…ユーザ指示受付部、１３…未知領域設定部、１４…画素値予測部、１５…画像情報出力部、１６…二値画像生成部、１７…多値画像生成部、２０…表示装置、３０…入力装置
【図１】
0006711031.tif 000008
【図２】
0006711031.tif 000009
【図３】
0006711031.tif 000010
【図４】
0006711031.tif 000011
【図５−１】
0006711031.tif 000012
【図５−２】
0006711031.tif 000013
【図５−３】
0006711031.tif 000014
【図５−４】
0006711031.tif 000015
【図５−５】
0006711031.tif 000016
【図５−６】
0006711031.tif 000017
【図５−７】
0006711031.tif 000018
【図６】
0006711031.tif 000019
【図７】
0006711031.tif 000020
【図８】
0006711031.tif 000021
【図９−１】
0006711031.tif 000022
【図９−２】
0006711031.tif 000023
【図９−３】
0006711031.tif 000024
【図１０】
0006711031.tif 000025
【図１１】
0006711031.tif 000026
【図１２】
0006711031.tif 000027
【図１３】
0006711031.tif 000028
【図１４】
0006711031.tif 000029
【図１５】
0006711031.tif 000030
【図１６−１】
0006711031.tif 000031
【図１６−２】
0006711031.tif 000032
【図１６−３】
0006711031.tif 000033
【図１６−４】
0006711031.tif 000034
【図１６−５】
0006711031.tif 000035
【図１６−６】
0006711031.tif 000036
【図１７】
0006711031.tif 000037
【図１８】
0006711031.tif 000038
【図１９】
0006711031.tif 000039
【図２０】
0006711031.tif 000040