(57)【要約】【課題】立体的に見える出力画像をさらに自然な画像にすることが可能な技術を提供する。【解決手段】入力画像から立体的に見える出力画像に変換する画像処理方法であって、第一モードと第二モードを含む複数の画像処理モードから選ばれた画像処理モードの画像処理により前記入力画像から前記出力画像に変換する変換工程と、前記入力画像のうち前景の部分である前景領域を複数の分割領域に分割する分割工程と、前記分割領域に含まれる複数の画素の画素値に基づいて該画素値の平均値から該画素値の標準偏差に応じた範囲を超えた画素の数を前記複数の分割領域のそれぞれについて求める演算工程と、前記複数の分割領域のそれぞれについて求めた画素の数をまとめた値を用いて前記画像処理モードが前記第一モードであるか否かを判定する判定工程と、を含む、画像処理方法。【選択図】図３
2017126816.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から立体的に見える出力画像に変換する画像処理方法であって、
第一モードと第二モードを含む複数の画像処理モードから選ばれた画像処理モードの画像処理により前記入力画像から前記出力画像に変換する変換工程と、
前記入力画像のうち前景の部分である前景領域を複数の分割領域に分割する分割工程と、
前記分割領域に含まれる複数の画素の画素値に基づいて該画素値の平均値から該画素値の標準偏差に応じた範囲を超えた画素の数を前記複数の分割領域のそれぞれについて求める演算工程と、
前記複数の分割領域のそれぞれについて求めた画素の数をまとめた値を用いて前記画像処理モードが前記第一モードであるか否かを判定する判定工程と、を含む、画像処理方法。
【請求項２】
前記判定工程では、前記前景領域の画素の数に対する、前記複数の分割領域のそれぞれについて求めた画素の数の総和の割合が、閾値を基準として小さい側である場合に前記画像処理モードが前記第一モードであると判定し、前記閾値を基準として大きい側である場合に前記画像処理モードが前記第一モードであるとは判定しない、請求項１に記載の画像処理方法。
【請求項３】
前記変換工程では、
前記第一モードである場合に第一飛び出し量分布で背景から前景が飛び出して見える前記出力画像を前記入力画像に基づいて生成し、
前記第二モードである場合に第二飛び出し量分布で背景から前景が前記第一モードよりも緩やかに飛び出して見える前記出力画像を前記入力画像に基づいて生成する、
請求項１又は請求項２に記載の画像処理方法。
【請求項４】
前記入力画像に顔画像が含まれているか否かを判定する顔認識工程をさらに含み、
前記変換工程では、前記入力画像に顔画像が含まれていると判定された場合に前記第二飛び出し量分布で背景から前景が飛び出して見える前記出力画像を前記入力画像に基づいて生成し、
前記判定工程では、前記入力画像に顔画像が含まれていないと判定された場合において、前記まとめた値を用いて前記画像処理モードが前記第一モードであるか否かを判定する、請求項３に記載の画像処理方法。
【請求項５】
入力画像から立体的に見える出力画像に変換する画像処理方法であって、
複数の画像処理モードに含まれる第一モードである場合に第一飛び出し量分布で背景から前景が飛び出して見える前記出力画像を前記入力画像に基づいて生成し、前記複数の画像処理モードに含まれる第二モードである場合に第二飛び出し量分布で背景から前景が前記第一モードよりも緩やかに飛び出して見える前記出力画像を前記入力画像に基づいて生成する変換工程と、
前記入力画像に顔画像が含まれているか否かを判定する顔認識工程と、
前記入力画像に顔画像が含まれていると判定された場合に前記画像処理モードが前記第二モードであると判定し、前記入力画像に顔画像が含まれていないと判定された場合に前記画像処理モードが前記第二モードであるとは判定しない第二モード判定工程と、を含む、画像処理方法。
【請求項６】
前記変換工程では、前記第二モードである場合、前景のうち幅が所定の幅を基準として狭い側にある部分が広い側にある部分よりも急に飛び出して見える前記出力画像を前記入力画像に基づいて生成する、請求項３〜請求項５のいずれか一項に記載の画像処理方法。
【請求項７】
前記判定工程では、前記画像処理モードが前記第一モードであると判定しなかった場合、前記複数の画像処理モードの中からいずれかの画像処理モードを受け付ける、請求項１〜請求項６のいずれか一項に記載の画像処理方法。
【請求項８】
入力画像から立体的に見える出力画像に変換する機能をコンピューターに実現させる画像処理プログラムであって、
第一モードと第二モードを含む複数の画像処理モードから選ばれた画像処理モードの画像処理により前記入力画像から前記出力画像に変換する変換機能と、
前記入力画像のうち前景の部分である前景領域を複数の分割領域に分割する分割機能と、
前記分割領域に含まれる複数の画素の画素値に基づいて該画素値の平均値から該画素値の標準偏差に応じた範囲を超えた画素の数を前記複数の分割領域のそれぞれについて求める演算機能と、
前記複数の分割領域のそれぞれについて求めた画素の数をまとめた値を用いて前記画像処理モードが前記第一モードであるか否かを判定する判定機能と、を実現させる、画像処理プログラム。
【請求項９】
入力画像から立体的に見える出力画像に変換する機能をコンピューターに実現させる画像処理プログラムであって、
複数の画像処理モードに含まれる第一モードである場合に第一飛び出し量分布で背景から前景が飛び出して見える前記出力画像を前記入力画像に基づいて生成し、前記複数の画像処理モードに含まれる第二モードである場合に第二飛び出し量分布で背景から前景が前記第一モードよりも緩やかに飛び出して見える前記出力画像を前記入力画像に基づいて生成する変換機能と、
前記入力画像に顔画像が含まれているか否かを判定する顔認識機能と、
前記入力画像に顔画像が含まれていると判定された場合に前記画像処理モードが前記第二モードであると判定し、前記入力画像に顔画像が含まれていないと判定された場合に前記画像処理モードが前記第二モードであるとは判定しない第二モード判定機能と、を実現させる、画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像から立体的に見える出力画像に変換する画像処理技術に関する。
【背景技術】
【０００２】
三次元画像は、レンチキュラー方式といった裸眼方式、偏光フィルター方式といったメガネ方式、等の表示方式により観賞することができる。この三次元画像を二次元画像から生成することも行われている。
【０００３】
特許文献１に記載の立体画像形成システムは、被写体画像を取得し、前記被写体画像から被写体領域を取得し、前記被写体領域から被写体の奥行き分布を表す視差マップを抽出し、前記被写体画像及び前記視差マップを基に、複数の視点からの前記被写体に対する多視点画像を生成し、前記多視点画像の各画像における同一座標の画素を、前記視点の配列に応じた隣接画素となるように配列して３次元画像を合成し、前記合成された３次元画像を出力する。前記出力された３次元画像に周期的構造を有する光学部材を重ね合わせることにより、前記被写体の立体像が観察される。
【０００４】
ここで、視差マップを抽出する工程では、２値の被写体領域データに所定のサイズの２次元平均値フィルタを作用させ、２次元実数配列データを生成し、視差マップとしている。この平均値フィルタ処理により、指定した被写体の輪郭がぼけて、被写体が衝立状ではなく背景から徐々に飛び出してくる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−４７０２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、前景が文字や建物等の場合、前景が背景から衝立状とならないように徐々に飛び出してくると、不自然に見える。
【０００７】
以上を鑑み、本発明の目的の一つは、立体的に見える出力画像をさらに自然な画像にすることが可能な技術を提供することが可能な画像処理技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的の一つを達成するため、本発明は、入力画像から立体的に見える出力画像に変換する画像処理方法であって、
第一モードと第二モードを含む複数の画像処理モードから選ばれた画像処理モードの画像処理により前記入力画像から前記出力画像に変換する変換工程と、
前記入力画像のうち前景の部分である前景領域を複数の分割領域に分割する分割工程と、
前記分割領域に含まれる複数の画素の画素値に基づいて該画素値の平均値から該画素値の標準偏差に応じた範囲を超えた画素の数を前記複数の分割領域のそれぞれについて求める演算工程と、
前記複数の分割領域のそれぞれについて求めた画素の数をまとめた値を用いて前記画像処理モードが前記第一モードであるか否かを判定する判定工程と、を含む、態様を有する。
【０００９】
また、本発明は、入力画像から立体的に見える出力画像に変換する機能をコンピューターに実現させる画像処理プログラムであって、
第一モードと第二モードを含む複数の画像処理モードから選ばれた画像処理モードの画像処理により前記入力画像から前記出力画像に変換する変換機能と、
前記入力画像のうち前景の部分である前景領域を複数の分割領域に分割する分割機能と、
前記分割領域に含まれる複数の画素の画素値に基づいて該画素値の平均値から該画素値の標準偏差に応じた範囲を超えた画素の数を前記複数の分割領域のそれぞれについて求める演算機能と、
前記複数の分割領域のそれぞれについて求めた画素の数をまとめた値を用いて前記画像処理モードが前記第一モードであるか否かを判定する判定機能と、を実現させる、態様を有する。
【００１０】
上述した態様は、複数の分割領域のそれぞれについて求めた画素の数をまとめた値に応じた画像処理モードの画像処理により入力画像から出力画像に変換されるので、入力画像の種類に応じた画像処理により出力画像が生成される。従って、上述した態様は、立体的に見える出力画像をさらに自然な画像にすることが可能な技術を提供することができる。
【００１１】
さらに、本発明は、入力画像から立体的に見える出力画像に変換する画像処理方法であって、
複数の画像処理モードに含まれる第一モードである場合に第一飛び出し量分布で背景から前景が飛び出して見える前記出力画像を前記入力画像に基づいて生成し、前記複数の画像処理モードに含まれる第二モードである場合に第二飛び出し量分布で背景から前景が前記第一モードよりも緩やかに飛び出して見える前記出力画像を前記入力画像に基づいて生成する変換工程と、
前記入力画像に顔画像が含まれているか否かを判定する顔認識工程と、
前記入力画像に顔画像が含まれていると判定された場合に前記画像処理モードが前記第二モードであると判定し、前記入力画像に顔画像が含まれていないと判定された場合に前記画像処理モードが前記第二モードであるとは判定しない第二モード判定工程と、を含む、態様を有する。
【００１２】
さらに、本発明は、入力画像から立体的に見える出力画像に変換する機能をコンピューターに実現させる画像処理プログラムであって、
複数の画像処理モードに含まれる第一モードである場合に第一飛び出し量分布で背景から前景が飛び出して見える前記出力画像を前記入力画像に基づいて生成し、前記複数の画像処理モードに含まれる第二モードである場合に第二飛び出し量分布で背景から前景が前記第一モードよりも緩やかに飛び出して見える前記出力画像を前記入力画像に基づいて生成する変換機能と、
前記入力画像に顔画像が含まれているか否かを判定する顔認識機能と、
前記入力画像に顔画像が含まれていると判定された場合に前記画像処理モードが前記第二モードであると判定し、前記入力画像に顔画像が含まれていないと判定された場合に前記画像処理モードが前記第二モードであるとは判定しない第二モード判定機能と、を実現させる、態様を有する。
【００１３】
上述した態様は、入力画像に顔画像が含まれているか否かに応じた画像処理モードの画像処理により入力画像から出力画像に変換されるので、入力画像に顔画像が含まれているか否かに応じて前景が自然な飛び出し量となる。従って、上述した態様は、立体的に見える出力画像をさらに自然な画像にすることが可能な技術を提供することができる。
【００１４】
さらに、本発明は、画像処理方法を実施する画像処理装置、この画像処理装置を含む画像処理システム、画像処理プログラムを記録したコンピューター読み取り可能な媒体、等に適用可能である。前述の装置は、分散した複数の部分で構成されてもよい。
【図面の簡単な説明】
【００１５】
【図１】画像処理装置の構成例を模式的に示すブロック図。
【図２】二次元入力画像から生成される三次元出力画像の例を模式的に示す図。
【図３】画像処理装置で行われる画像処理の例を示すフローチャート。
【図４】二次元入力画像を前景と背景に分離する例を模式的に示す図。
【図５】二次元入力画像の前景領域を複数の分割領域に分割する例を模式的に示す図。
【図６】分割領域のサイズを変える例を模式的に示す図。
【図７】図７Ａは第一飛び出し量分布における前景の飛び出し量の例を模式的に示す図、図７Ｂは第二飛び出し量分布における前景の飛び出し量の例を模式的に示す図、図７Ｃは第二モードにおいて前景の狭い部分の飛び出し量の例を模式的に示す図。
【図８】補完後の背景と三次元化した前景とを合成することにより三次元出力画像を生成する例を模式的に示す図。
【図９】画像処理装置で行われる第二モードの三次元画像化処理の例を示すフローチャート。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態を説明する。むろん、以下の実施形態は本発明を例示するものに過ぎず、実施形態に示す特徴の全てが発明の解決手段に必須になるとは限らない。
【００１７】
（１）本技術の概要：
まず、図１〜９を参照して本技術の概要を説明する。尚、図１〜９は模式的に示す図であり、各図は整合していないことがある。
【００１８】
［態様１］
図３等に例示される画像処理方法は、変換工程ＳＴ６、分割工程ＳＴ３、演算工程ＳＴ４、及び、判定工程（例えば第一モード判定工程ＳＴ５）を含む。前記変換工程ＳＴ６では、第一モードと第二モードを含む複数の画像処理モードから選ばれた画像処理モードの画像処理により前記入力画像ＩＭ１から前記出力画像ＩＭ２に変換する。前記分割工程ＳＴ３では、前記入力画像ＩＭ１のうち前景の部分である前景領域ＩＭ１２を複数の分割領域ＩＭ１３に分割する。前記演算工程ＳＴ４では、前記分割領域ＩＭ１３に含まれる複数の画素ＰＸ１の画素値（例えば輝度Ｌｉ）に基づいて該画素値の平均値Ａｖから該画素値の標準偏差σに応じた範囲を超えた画素の数（例えば範囲外画素数Ｎｊ）を前記複数の分割領域ＩＭ１３のそれぞれについて求める。前記判定工程（ＳＴ５）では、前記複数の分割領域ＩＭ１３のそれぞれについて求めた画素の数（Ｎｊ）をまとめた値（例えばΣＮｊ／Ｎａ）を用いて前記画像処理モードが前記第一モードであるか否かを判定する。
【００１９】
上記態様１では、各分割領域ＩＭ１３について求めた画素の数をまとめた値（ΣＮｊ／Ｎａ）に応じた画像処理モードの画像処理により入力画像ＩＭ１から出力画像ＩＭ２に変換されるので、入力画像ＩＭ１の種類に応じた画像処理により出力画像ＩＭ２が生成される。従って、上述態様は、立体的に見える出力画像をさらに自然な画像にすることが可能な画像処理方法を提供することができる。
【００２０】
ここで、出力画像には、レンチキュラー方式やパララックスバリア方式といった裸眼方式、偏光フィルター方式やアナグリフ方式や時分割方式といったメガネ方式、ステレオスコープ方式やヘッドマウント方式といったビュアー方式、等の表示方式により観賞可能な画像が含まれる。
第一モードは、特に限定されないが、文字と風景の少なくとも一方の画像を含む入力画像を変換する文字風景モード（画像処理モードの例）でもよい。第二モードは、特に限定されないが、人物の画像を含む入力画像を変換する人物モード（画像処理モードの例）でもよい。複数の画像処理モードは、第一モード及び第二モードとは異なる画像処理モードを含んでもよい。
画素値には、画素の明るさ、色の強さ、等を表す値が含まれ、具体的には、画素の輝度（明度を含む。）、画素のＲ（赤）値、画素のＧ（緑）値、画素のＢ（青）値、等が含まれる。
画素値の平均値Ａｖから該画素値の標準偏差σに応じた範囲には、Ａｖ±Ｃ１×σ（Ｃ１は正の係数）等が含まれる。係数Ｃ１は、特に限定されないが、０．５〜２程度でもよい。
複数の分割領域のそれぞれについて求めた画素の数をまとめた値には、複数の分割領域のそれぞれについて求めた画素の数Ｎｊの総和ΣＮｊ、前景領域ＩＭ１２の画素の数Ｎａに対する総和ΣＮｊの割合ΣＮｊ／Ｎａ、等が含まれる。
尚、画像処理モードが第一モードであると判定された後に第一モード以外の画像処理モードに変更されて入力画像が出力画像に変換されることや、画像処理モードが第一モードであると判定されなかった後に第一モードに変更されて入力画像が出力画像に変換されることも、本技術に含まれる。
【００２１】
［態様２］
前記判定工程（ＳＴ５）では、前記前景領域ＩＭ１２の画素の数Ｎａに対する、前記複数の分割領域ＩＭ１３のそれぞれについて求めた画素の数（Ｎｊ）の総和の割合（ΣＮｊ／Ｎａ）が、閾値Ｔ１を基準として小さい側である場合に前記画像処理モードが前記第一モードであると判定してもよく、前記閾値Ｔ１を基準として大きい側である場合に前記画像処理モードが前記第一モードであるとは判定しなくてもよい。この態様は、前景領域ＩＭ１２の画素の数Ｎａに対する、各分割領域ＩＭ１３について求めた画素の数の総和の割合（ΣＮｊ／Ｎａ）と、閾値Ｔ１と、の大小関係に応じた画像処理モードの画像処理により入力画像ＩＭ１から出力画像ＩＭ２に変換されるので、入力画像ＩＭ１の種類に応じた画像処理により出力画像ＩＭ２が生成される。従って、本態様は、立体的に見える出力画像をさらに自然な画像にすることが可能な画像処理方法を提供することができる。
尚、例えば、文字風景モードが第一モードでなく第二モードである場合、前記判定工程（ＳＴ５）では、前記総和の割合（ΣＮｊ／Ｎａ）が、閾値Ｔ１を基準として大きい側である場合に前記画像処理モードが前記第一モードであると判定してもよく、前記閾値Ｔ１を基準として小さい側である場合に前記画像処理モードが前記第一モードであるとは判定しなくてもよい。
【００２２】
［態様３］
前記変換工程ＳＴ６では、前記第一モード（例えば文字風景モード）である場合に第一飛び出し量分布ＤＺ１で背景ＩＭ３から前景ＩＭ４が飛び出して見える前記出力画像ＩＭ２を前記入力画像ＩＭ１に基づいて生成してもよい。また、前記変換工程ＳＴ６では、前記第二モード（例えば人物モード）である場合に第二飛び出し量分布ＤＺ２で背景ＩＭ３から前景ＩＭ４が前記第一モードよりも緩やかに飛び出して見える前記出力画像ＩＭ２を前記入力画像ＩＭ１に基づいて生成してもよい。本態様は、入力画像ＩＭ１の種類に応じて前景が自然な飛び出し量となるので、立体的に見える出力画像をさらに自然な画像にすることが可能な技術を提供することができる。
【００２３】
［態様４］
本画像処理方法は、前記入力画像ＩＭ１に顔画像（例えば図４に示す顔画像ＩＭ５）が含まれているか否かを判定する顔認識工程ＳＴ１をさらに含んでもよい。前記判定工程（ＳＴ５）では、前記入力画像ＩＭ１に顔画像ＩＭ５が含まれていると判定された場合に前記第二飛び出し量分布ＤＺ２で背景ＩＭ３から前景ＩＭ４が飛び出して見える前記出力画像ＩＭ２を前記入力画像ＩＭ１に基づいて生成してもよい。前記判定工程（ＳＴ５）では、前記入力画像ＩＭ１に顔画像ＩＭ５が含まれていないと判定された場合において、前記まとめた値（例えばΣＮｊ／Ｎａ）を用いて前記画像処理モードが前記第一モード（例えば文字風景モード）であるか否かを判定してもよい。本態様は、入力画像ＩＭ１に顔画像ＩＭ５が含まれているか否かに応じて前景が自然な飛び出し量となるので、立体的に見える出力画像をさらに自然な画像にすることが可能な技術を提供することができる。
尚、入力画像を背景領域と前景領域とに分離した後に該前景領域に顔画像が含まれているか否かを判定することは、入力画像に顔画像が含まれているか否かを判定することに含まれる。
【００２４】
［態様５］
図３等に例示される画像処理方法は、変換工程ＳＴ６、顔認識工程ＳＴ１、及び、第二モード判定工程ＳＴ２を含む。前記変換工程ＳＴ６では、複数の画像処理モードに含まれる第一モード（例えば文字風景モード）である場合に第一飛び出し量分布ＤＺ１で背景ＩＭ３から前景ＩＭ４が飛び出して見える前記出力画像ＩＭ２を前記入力画像ＩＭ１に基づいて生成し、前記複数の画像処理モードに含まれる第二モード（例えば人物モード）である場合に第二飛び出し量分布ＤＺ２で背景ＩＭ３から前景ＩＭ４が前記第一モードよりも緩やかに飛び出して見える前記出力画像ＩＭ２を前記入力画像ＩＭ１に基づいて生成する。前記顔認識工程ＳＴ１では、前記入力画像ＩＭ１に顔画像（例えば図４に示す顔画像ＩＭ５）が含まれているか否かを判定する。前記第二モード判定工程ＳＴ２では、前記入力画像ＩＭ１に顔画像ＩＭ５が含まれていると判定された場合に前記画像処理モードが前記第二モードであると判定し、前記入力画像ＩＭ１に顔画像ＩＭ５が含まれていないと判定された場合に前記画像処理モードが前記第二モードであるとは判定しない。
【００２５】
上記態様５では、入力画像ＩＭ１に顔画像ＩＭ５が含まれているか否かに応じた画像処理モードの画像処理により入力画像ＩＭ１から出力画像ＩＭ２に変換されるので、入力画像ＩＭ１に顔画像ＩＭ５が含まれているか否かに応じて前景が自然な飛び出し量となる。従って、上記態様は、立体的に見える出力画像をさらに自然な画像にすることが可能な技術を提供することができる。
【００２６】
［態様６］
図９等に例示するように、前記変換工程ＳＴ６では、前記第二モード（例えば人物モード）である場合、前景ＩＭ４のうち幅が所定の幅Ｗ０を基準として狭い側にある部分ＩＭ４１が広い側にある部分ＩＭ４２よりも急に飛び出して見える前記出力画像ＩＭ２を前記入力画像ＩＭ１に基づいて生成してもよい。この態様は、第二モードである場合に前景の狭い部分がはっきりと見えるので、立体的に見える出力画像をさらに自然な画像にすることが可能な技術を提供することができる。
【００２７】
［態様７］
前記判定工程（ＳＴ５）では、前記画像処理モードが前記第一モード（例えば文字風景モード）であると判定しなかった場合、前記複数の画像処理モードの中からいずれかの画像処理モードを受け付けてもよい。この態様は、立体的に見える出力画像をさらに自然な画像にすることが可能な技術を提供することができる。
【００２８】
［態様８］
図１等に例示される画像処理プログラムＰＲ０は、変換工程ＳＴ６に対応する変換機能ＦＵ６、分割工程ＳＴ３に対応する分割機能ＦＵ３、演算工程ＳＴ４に対応する演算機能ＦＵ４、及び、判定工程（例えば第一モード判定工程ＳＴ５）に対応する判定機能（例えば第一モード判定機能ＦＵ５）をコンピューターに実現させる。本プログラムは、顔認識工程ＳＴ１に対応する顔認識機能ＦＵ１等をコンピューターに実現させてもよい。
【００２９】
［態様９］
図１等に例示される画像処理プログラムＰＲ０は、変換工程ＳＴ６に対応する変換機能ＦＵ６、顔認識工程ＳＴ１に対応する顔認識機能ＦＵ１、及び、第二モード判定工程ＳＴ２に対応する第二モード判定機能ＦＵ２をコンピューターに実現させる。むろん、本プログラムは、さらに異なる機能をコンピューターに実現させてもよい。
【００３０】
（２）画像処理装置の具体例：
図１は、画像処理方法を実施する画像処理装置の構成例を模式的に示している。図１に示す画像処理装置１００は、ＣＰＵ（Central Processing Unit）１１１、ＲＯＭ（Read Only Memory）１１２、ＲＡＭ（Random Access Memory）１１３、記憶装置１１４、入力装置１１６、表示装置１１５、通信Ｉ／Ｆ（インターフェイス）１１８、等が接続されて互いに情報を入出力可能とされている。記憶装置１１４は、画像処理プログラムＰＲ０等を記憶している。記憶装置１１４には、フラッシュメモリー等の不揮発性半導体メモリー、ハードディスク等の磁気記憶装置、等を用いることができる。表示装置１１５には、液晶表示パネル等を用いることができる。入力装置１１６には、表示パネルの表面に貼り付けられたタッチパネル、キーボードを含むハードキー、ポインティングデバイス、等を用いることができる。撮像装置１１７は、被写体を撮影するデジタルスチルカメラの機能を有する。通信Ｉ／Ｆ１１８は、印刷装置２００の通信Ｉ／Ｆ２１０に接続され、印刷装置２００に対して情報を入出力する。通信Ｉ／Ｆ１１８，２１０の規格には、ＵＳＢ（Universal Serial Bus）、近距離無線通信規格、等を用いることができる。通信Ｉ／Ｆ１１８，２１０の通信は、有線でもよいし、無線でもよく、ＬＡＮ（Local Area Network）やインターネット等といったネットワーク通信でもよい。
【００３１】
画像処理装置１００には、タブレット型端末を含むパーソナルコンピューターといったコンピューター、スマートフォンといった携帯電話、デジタルスチルカメラ、デジタルビデオカメラ、等が含まれる。画像処理装置１００は、一つの筐体内に全構成要素１１１〜１１８を有してもよいが、互いに通信可能に分割された複数の装置で構成されてもよい。また、画像処理装置１００に撮像装置１１７等が無くても、外部装置（例えばデジタルスチルカメラやメモリーカード）から画像を入力することにより、本技術を実施可能である。さらに、印刷装置が画像処理装置１００にあっても本技術を実施可能であり、印刷機能を有するプリンター自体が本技術の画像処理を行ってもよい。
【００３２】
図１に示す画像処理プログラムＰＲ０は、顔認識機能ＦＵ１、第二モード判定機能ＦＵ２、分割機能ＦＵ３、演算機能ＦＵ４、第一モード判定機能ＦＵ５、及び、変換機能ＦＵ６を画像処理装置１００に実現させる。
【００３３】
（３）二次元入力画像から生成される三次元出力画像の例：
図２は、二次元入力画像から生成される三次元出力画像の例として、レンチキュラー方式の出力画像ＩＭ２を模式的に示している。図２に示す二次元入力画像ＩＭ１は、互いに直交するｘ方向及びｙ方向へ画素ＰＸ１が整然と並び、各画素にＲＧＢ（赤、緑、青）色空間の座標に対応する画素値Ｒｉ，Ｇｉ，Ｂｉが格納されている。ここでの変数ｉは、入力画像ＩＭ１における画素ＰＸ１を識別する変数である。画素値ＲｉはＲ成分の強さを表す値であり、画素値ＧｉはＧ成分の強さを表す値であり、画素値ＢｉはＢ成分の強さを表す値である。画素値Ｒｉ，Ｇｉ，Ｂｉは、０〜２５５の２５６階調の整数値といった階調値等で表現される。むろん、入力画像の画素値は、ＣＭＹ（シアン、マゼンタ、イエロー）色空間の座標に対応する値等でもよい。この場合、入力画像の画素値をＲＧＢ色空間に対応する画素値Ｒｉ，Ｇｉ，Ｂｉに変換してもよい。また、入力画像ＩＭ１の画素値には、輝度Ｌｉ等、画素値Ｒｉ，Ｇｉ，Ｂｉから変換される値も含まれる。輝度Ｌｉは、画素値Ｒｉ，Ｇｉ，Ｂｉの相加平均（Ｒｉ＋Ｇｉ＋Ｂｉ）／３とするが、ＣＩＥ（国際照明委員会）Ｌ*ａ*ｂ*色空間における明度Ｌ*等でもよい。
【００３４】
図２に示す出力画像ＩＭ２は、左目用画像ＩＭ２Ｌ及び右目用画像ＩＭ２Ｒという、２枚の視差画像を含んでいる。左目用画像ＩＭ２Ｌと右目用画像ＩＭ２Ｒとを細長く切断して交互に並べ、各組の画像ＩＭ２Ｌ，ＩＭ２Ｒに細長いかまぼこ形のレンズＬＥ１を重ね合わせると、出力画像ＩＭ２を見る人において、左目ＬＥに左目用画像ＩＭ２Ｌが見え、右目ＲＥに右目用画像ＩＭ２Ｒが見える。二次元入力画像ＩＭ１から飛び出し量分布に応じた視差を設けた左目用画像ＩＭ２Ｌ及び右目用画像ＩＭ２Ｒを生成すると、出力画像ＩＭ２が立体的に見える。データとしての出力画像ＩＭ２は、互いに直交するｘ方向及びｙ方向へ画素ＰＸ１が整然と並び、各画素にＲＧＢ色空間の座標に対応する画素値が格納されている。出力画像ＩＭ２が印刷装置で印刷される場合、出力画像ＩＭ２の各画素ＰＸ２には、例えば、ＣＭＹＫ（シアン、マゼンタ、イエロー、ブラック）のインク量に対応する画素値Ｃｏ，Ｍｏ，Ｙｏ，Ｋｏが格納される。ここでの変数ｏは、出力画像ＩＭ２における画素ＰＸ２を識別する変数である。出力画像ＩＭ２が表示装置で表示される場合、出力画像ＩＭ２の各画素ＰＸ２には、例えば、ＲＧＢ色空間の座標に対応する画素値Ｒｏ，Ｇｏ，Ｂｏが格納される。
【００３５】
（４）画像処理の具体例：
図３は、画像処理装置で行われる画像処理の例を示している。ここで、ステップＳ１０２は顔認識工程ＳＴ１及び顔認識機能ＦＵ１に対応する例であり、ステップＳ１０４〜Ｓ１０６は第二モード判定工程ＳＴ２及び第二モード判定機能ＦＵ２に対応する例であり、ステップＳ１１２は分割工程ＳＴ３及び分割機能ＦＵ３に対応する例であり、ステップＳ１１４は演算工程ＳＴ４及び演算機能ＦＵ４に対応する例であり、ステップＳ１１６〜Ｓ１１８は第一モード判定工程ＳＴ５及び第一モード判定機能ＦＵ５に対応する例であり、ステップＳ１２２〜Ｓ１２６は変換工程ＳＴ６及び変換機能ＦＵ６に対応する例である。以下、「ステップ」の記載を省略する。本具体例では、画像処理モードに文字風景モード（第一モード）と人物モード（第二モード）の２モードがあるものとする。
【００３６】
画像処理装置１００は、二次元入力画像ＩＭ１を三次元出力画像ＩＭ２に変換するための入力を受け付けると、画像処理を開始し、図４，５に例示するように、入力画像ＩＭ１から、背景ＩＭ３の部分である背景領域ＩＭ１１と、前景ＩＭ４の部分である前景領域ＩＭ１２と、を分離する（Ｓ１００）。領域ＩＭ１１，ＩＭ１２を分離するのは、前景領域ＩＭ１２に飛び出し量ｚ（図７Ａ，７Ｂ参照）を設定するためである。図５には、顔画像ＩＭ５が含まれず文字が含まれる入力画像ＩＭ１（図５の上段）から背景領域ＩＭ１１と前景領域ＩＭ１２とが分離された（図５の中段）例が示されている。領域ＩＭ１１，ＩＭ１２の分離は、例えば、表示装置１１５に表示した入力画像ＩＭ１から前景領域ＩＭ１２にする範囲のユーザーの操作を入力装置１１６により受け付けて入力画像ＩＭ１から背景領域ＩＭ１１と前景領域ＩＭ１２を分離する処理とすることができる。
【００３７】
領域ＩＭ１１，ＩＭ１２の分離後、画像処理装置１００は、図４に例示するような顔画像ＩＭ５が前景領域ＩＭ１２（入力画像ＩＭ１の一部）に含まれているか否かを判定する（Ｓ１０２）。顔認識処理は、画像内に人の顔が含まれているか否か判定して人の顔が含まれている場合に顔を含む領域を顔画像として抽出する処理とする。尚、顔認識の具体的処理は、特に限定されず、肌色領域の検出、パターンマッチングによる顔認識、等、種々の公知の処理を採用可能である。
【００３８】
顔認識処理後、画像処理装置１００は、前景領域ＩＭ１２に顔画像ＩＭ５が含まれているか否かに応じて処理を分岐させる（Ｓ１０４）。前景領域ＩＭ１２に顔画像ＩＭ５が含まれている場合、画像処理装置１００は、画像処理モードが人物モード（第二モード）であると判定し、シーンを人物に設定して（Ｓ１０６）、処理をＳ１２２に進める。
【００３９】
Ｓ１０４の判断時において前景領域ＩＭ１２に顔画像ＩＭ５が含まれていなかった場合、画像処理装置１００は、画像処理モードが人物モードであるとは判定せず、暫定的には画像処理モードが文字風景モード（第一モード）であると判定する。この場合、画像処理装置１００は、前景領域ＩＭ１２の画素ＰＸ１の数Ｎａを取得し（Ｓ１１０）、前景領域ＩＭ１２を複数の分割領域ＩＭ１３に分割する（Ｓ１１２）。図５の下段には、前景領域ＩＭ１２をｘ方向へ５個、ｙ方向へ３個の分割領域ＩＭ１３に分割した例を示している。分割領域ＩＭ１３の大きさは、特に限定されず、図６に示すように変更可能とされてもよい。
【００４０】
図６に示す分割領域ＩＭ１３は、小サイズＳＺ１と中サイズＳＺ２と大サイズＳＺ３とでサイズを変更可能とされている。ここで、分割領域ＩＭ１３はｘ方向とｙ方向とで同じ画素数であるものとし、この画素数をサイズＳＺ１〜ＳＺ３と呼ぶことにする。分割領域ＩＭ１３の全画素数Ｎｂは、サイズの２乗となる。画像処理装置１００は、サイズＳＺ１〜ＳＺ３を選択するユーザーの操作を入力装置１１６により受け付けて分割領域ＩＭ１３のサイズを決定してもよいし、前景領域ＩＭ１２の大きさに応じて分割領域ＩＭ１３のサイズを決定してもよい。同じ大きさの前景領域ＩＭ１２に対しては、小サイズＳＺ１の分割領域ＩＭ１３の数が中サイズＳＺ２の分割領域ＩＭ１３の数よりも多くなり、中サイズＳＺ２の分割領域ＩＭ１３の数が大サイズＳＺ３の分割領域ＩＭ１３の数よりも多くなる。図６に示すサイズＳＺ１〜ＳＺ３は、前景領域ＩＭ１２の大きさに関わらず一定のサイズとされている。従って、小サイズＳＺ１の分割領域ＩＭ１３のように、比較的大きい前景領域ＩＭ１２に対しては分割領域ＩＭ１３の数が多くなり、比較的小さい前景領域ＩＭ１２に対しては分割領域ＩＭ１３の数が少なくなる。
以下、前景領域ＩＭ１２における分割領域ＩＭ１３を識別する変数をｊとする。
【００４１】
前景領域ＩＭ１２の分割後、画像処理装置１００は、各分割領域ＩＭ１３について、分割領域ＩＭ１３に含まれる複数の画素ＰＸ１の輝度Ｌｉに基づいて該輝度Ｌｉの平均値Ａｖから該輝度Ｌｉの標準偏差σに応じた範囲Ａｖ±Ｃ１×σ（Ｃ１は正の係数）を超えた画素の数（範囲外画素数Ｎｊ）を求める（Ｓ１１４）。ここで、平均値Ａｖは輝度Ｌｉの相加平均ΣＬｉ／Ｎｂであり、分散σ2は｛Σ（Ｌｉ−Ａｖ）2｝／Ｎｂであり、標準偏差σは［｛Σ（Ｌｉ−Ａｖ）2｝／Ｎｂ］1/2である。変数ｊに対応する分割領域ＩＭ１３について、例えば、Ｌｉ＜Ａｖ−Ｃ１×σ、又は、Ｌｉ＞Ａｖ＋Ｃ１×σを満たす画素の数が範囲外画素数Ｎｊとなる。判断基準は、Ｌｉ＜Ａｖ−Ｃ１×σの代わりにＬｉ≦Ａｖ−Ｃ１×σでもよいし、Ｌｉ＞Ａｖ＋Ｃ１×σの代わりにＬｉ≧Ａｖ＋Ｃ１×σでもよい。図３のＳ１１４には、Ｃ１＝１の例を示している。すなわち、平均値Ａｖから標準偏差σを引いて得られる下限値Ａｖ−σを基準として輝度Ｌｉが小さい側にある画素と、平均値Ａｖから標準偏差σを加えて得られる上限値Ａｖ＋σを基準として画素値が大きい側にある画素と、を合わせた画素の数が範囲外画素数Ｎｊとされる。
【００４２】
範囲外画素数Ｎｊの算出後、画像処理装置１００は、前景領域ＩＭ１２の画素数Ｎａに対する、各分割領域ＩＭ１３について求めた範囲外画素数Ｎｊの総和ΣＮｊの割合ΣＮｊ／Ｎａを用いて画像処理モードが文字風景モード（第一モード）であるか否かを判断する（Ｓ１１６）。前記割合ΣＮｊ／Ｎａは、範囲外画素数Ｎｊをまとめた値の例であり、前景領域ＩＭ２に含まれるＪ個の分割領域ＩＭ１３のサイズが全て同じであれば各分割領域ＩＭ１３についての全画素数Ｎｂに対する範囲外画素数Ｎｊの割合Ｎｊ／Ｎｂの相加平均｛Σ（Ｎｊ／Ｎｂ）｝／Ｊと同じとなる。この相加平均｛Σ（Ｎｊ／Ｎｂ）｝／Ｊも、範囲外画素数Ｎｊをまとめた値の例である。
Ｓ１１６の判断処理は、例えば、前記割合ΣＮｊ／Ｎａが閾値Ｔ１を基準として小さい側（ΣＮｊ／Ｎａ≦Ｔ１とするが、ΣＮｊ／Ｎａ＜Ｔ１でもよい。）であるか否かに応じて処理を分岐させる処理とすることができる。ΣＮｊ／Ｎａ≦Ｔ１である場合、画像処理装置１００は、画像処理モードが文字風景モードであると判定し、シーンを文字・風景（文字及び風景）に設定して（Ｓ１１８）、処理をＳ１２２に進める。一方、前記割合ΣＮｊ／Ｎａが閾値Ｔ１を基準として大きい側（ΣＮｊ／Ｎａ＞Ｔ１とするが、ΣＮｊ／Ｎａ≧Ｔ１でもよい。）である場合、画像処理装置１００は、画像処理モードが文字風景モードであるとは判定せず、複数の画像処理モードの中からいずれかの画像処理モードを受け付けて（Ｓ１２０）、処理をＳ１２２に進める。Ｓ１２０の処理は、例えば、画像処理モードの選択画面を表示装置１１５に表示して文字風景モードと人物モードのいずれか一方を選択するユーザーの操作を入力装置１１６により受け付ける処理とすることができる。文字風景モードが選択された場合にはシーンが文字・風景に設定され、人物モードが選択された場合にはシーンが人物に設定される。
【００４３】
尚、前景領域ＩＭ１２の全画素の輝度から前景領域全体の平均値及び標準偏差を算出して該平均値から該標準偏差に応じた範囲を超えた画素の数を求めると、精緻な画像処理モード判定を行うことができない。これは、例えば、風景を表現する前景領域ＩＭ１２の或る部分が明るくて別の部分が暗いような場合、平均値から標準偏差に応じた範囲を超えた画素が多くなり、文字風景モードであるとは判定されないためである。前景領域ＩＭ１２を複数の分割領域ＩＭ１３に分割することにより、明るい部分にある分割領域ＩＭ１３は輝度Ｌｉの平均値Ａｖが明るいことを表す値となり、暗い部分にある分割領域ＩＭ１３は輝度Ｌｉの平均値Ａｖが暗いことを表す値となる。そのため、明るい部分にある分割領域ＩＭ１３は明るいことを表す平均値Ａｖを基準として範囲外画素数Ｎｊが求められ、暗い部分にある分割領域ＩＭ１３は暗いことを表す平均値Ａｖを基準として範囲外画素数Ｎｊが求められる。分割領域ＩＭ１３毎の範囲外画素数Ｎｊを用いることにより、より精緻な画像処理モード判定を行うことが可能となる。
【００４４】
より精緻な画像処理モード判定を行う点では、分割領域ＩＭ１３のサイズが小さいほど好ましい。ただ、分割領域ＩＭ１３のサイズが小さいほど、画像処理の時間が増える。分割領域ＩＭ１３のサイズを変更可能としたことにより、ユーザーがより精緻な画像処理モード判定を望む場合には分割領域ＩＭ１３を小さく（例えば小サイズＳＺ１に）設定すればよく、ユーザーが迅速な画像処理モード判定を望む場合には分割領域ＩＭ１３を大きく（例えば大サイズＳＺ３に）設定すればよい。従って、本具体例は、ユーザーの好みに応じた画像処理モード判定を行うことができる。
【００４５】
画像処理モードの判定後、画像処理装置１００は、画像処理モードに応じて処理を分岐させ（Ｓ１２２）、複数の画像処理モードから選ばれた画像処理モードの画像処理により二次元入力画像ＩＭ１から三次元出力画像ＩＭ２に変換して（Ｓ１２４，Ｓ１２６）、画像処理を終了させる。画像処理モードが文字風景モード（第一モード）である場合、画像処理装置１００は、図７Ａに例示するような第一飛び出し量分布ＤＺ１で背景ＩＭ３から前景ＩＭ４が人物モードよりも急に飛び出して見える出力画像ＩＭ２を入力画像ＩＭ１に基づいて生成する（Ｓ１２６）。画像処理モードが人物モード（第二モード）である場合、画像処理装置１００は、図７Ｂに例示するような第二飛び出し量分布ＤＺ２で背景ＩＭ３から前景ＩＭ４が文字風景モードよりも緩やかに飛び出して見える出力画像ＩＭ２を入力画像ＩＭ１に基づいて生成する（Ｓ１２４）。
【００４６】
ここで、図２，４，８を参照して、前景ＩＭ４の飛び出し量分布に従って二次元入力画像ＩＭ１から三次元出力画像ＩＭ２を生成する例を説明する。図８は、補完後の背景ＩＭ６と三次元化した前景ＩＭ７とを合成することにより三次元出力画像ＩＭ２を生成する例を模式的に示している。尚、背景ＩＭ３の概念には補完後の背景ＩＭ６が含まれ、前景ＩＭ４の概念には三次元化した前景ＩＭ７が含まれる。
【００４７】
まず、前景ＩＭ４に隠されている背景を推定するため、分離された背景領域ＩＭ１１にある近隣画素の画素値Ｒｉ，Ｇｉ，Ｂｉに基づいて、隠れている背景の部分である背後領域ＩＭ１４の画素を補完する。図８の上段には、補完後の背景ＩＭ６の例を模式的に示している。次に、飛び出し量分布に基づいて、前景ＩＭ４に飛び出し量ｚを付与する。図８の中段には、図４に示す前景ＩＭ４に対して図７Ｂに示す第二飛び出し量分布ＤＺ２に従った飛び出し量ｚを付与した前景ＩＭ７を模式的に示している。さらに、補完後の背景ＩＭ６と三次元化した前景ＩＭ７とに基づいて、最終的に出力画像ＩＭ２が立体的に見えるように、切断されていない状態の左目用画像ＩＭ２Ｌ及び右目用画像ＩＭ２Ｒを生成する。最後に、細長いかまぼこ形のレンズＬＥ１に合わせて左目用画像ＩＭ２Ｌ及び右目用画像ＩＭ２Ｒを細長く切断して交互に並べると、出力画像ＩＭ２が得られる。図８の下段には、補完後の背景ＩＭ６と三次元化した前景ＩＭ７とを合成した出力画像ＩＭ２を模式的に示している。
【００４８】
得られる出力画像ＩＭ２は、ＲＡＭ１１３に生成され、記憶装置１１４に保存されてもよい。出力画像ＩＭ２を被印刷物に形成する場合、画像処理装置１００は、出力画像ＩＭ２を印刷装置２００に送信すると出力画像ＩＭ２を被印刷物に印刷させることができる。また、画像処理装置１００は、出力画像ＩＭ２を三次元表示装置に送信して三次元出力画像ＩＭ２を表示させてもよい。
【００４９】
図７Ａは、文字風景モードに適用される第一飛び出し量分布ＤＺ１における前景ＩＭ４の飛び出し量ｚの例を模式的に示している。図７Ｂは、人物モードに適用される第二飛び出し量分布ＤＺ２における前景ＩＭ４の飛び出し量ｚの例を模式的に示している。ここで、横軸はｘ方向の位置を示し、縦軸は飛び出し量ｚを示している。また、幅Ｘ１は前景ＩＭ４のｘ方向における長さを示し、最大飛び出し量Ｚ１は前景ＩＭ４の飛び出し量ｚの最大を示している。尚、幅Ｘ１は、図４に示す前景ＩＭ４の幅Ｗ１に相当し、前景ＩＭ４のｙ方向における位置に応じて異なることがある。
【００５０】
図７Ａに示す第一飛び出し量分布ＤＺ１は、前景ＩＭ４の全範囲にわたって一律の最大飛び出し量Ｚ１とされている。この第一飛び出し量分布ＤＺ１と入力画像ＩＭ１に基づいて三次元出力画像ＩＭ２を生成すると、背景ＩＭ３から前景ＩＭ４が直線的に（急に）飛び出して見える。文字風景モードの出力画像ＩＭ２の前景ＩＭ７が文字や建物等の場合、いわゆる衝立状となり、良好な立体像となる。
【００５１】
図７Ｂに示す第二飛び出し量分布ＤＺ２は、前景ＩＭ４のｘ方向における両端部に丸み半径ｒ１の丸みを付けた飛び出し量ｚとされている。丸み半径ｒ１は、例えば、入力画像ＩＭ１のｘ方向における画素数に０よりも大きく０．５よりも小さい所定の係数（例えば数パーセント程度）を乗じた大きさとしている。前景ＩＭ４のｒ１≦ｘ≦Ｘ１−ｒ１の範囲の飛び出し量ｚは、最大飛び出し量Ｚ１とされている。すなわち、前景ＩＭ４のｘ方向における両端部は、ｘ方向において前景ＩＭ４の内側となるにつれ徐々に飛び出し量ｚが増加している。第二飛び出し量分布ＤＺ２と入力画像ＩＭ１に基づいて三次元出力画像ＩＭ２を生成すると、背景ＩＭ３から前景ＩＭ４が徐々に（緩やかに）飛び出して見える。人物モードの出力画像ＩＭ２の前景ＩＭ７が人物等の場合、自然な膨らみとなり、良好な立体像となる。
【００５２】
以上説明したように、本具体例は、人物等の前景ＩＭ４は背景ＩＭ３から急ではなく緩やかに飛び出して見え、文字や建物等の前景ＩＭ７は背景ＩＭ６から緩やかではなく急に飛び出して見えるので、入力画像ＩＭ１の種類に応じて前景が自然な飛び出し量となる。従って、本具体例は、立体的に見える出力画像をさらに自然な画像にすることが可能となる。
また、入力画像ＩＭ１に顔画像ＩＭ５が含まれていると自動的に人物モードに設定されて前景ＩＭ４が背景ＩＭ３から緩やかに飛び出して見え、入力画像ＩＭ１に顔画像ＩＭ５が含まれていないと画像処理モードが文字風景モードであるか否かが判定される。従って、本具体例は、入力画像ＩＭ１に顔画像ＩＭ５が含まれているか否かに応じて前景ＩＭ４が自然な飛び出し量となり、立体的に見える出力画像をさらに自然な画像にすることが可能となる。
さらに、本具体例は、画像処理モードの判定処理が簡潔である。
【００５３】
（５）変形例：
本発明は、種々の変形例が考えられる。
例えば、本技術は、パララックスバリア方式といったレンチキュラー方式以外の裸眼方式の三次元出力画像を生成すること、偏光フィルター方式やアナグリフ方式や時分割方式といったメガネ方式の三次元出力画像を生成すること、ステレオスコープ方式やヘッドマウント方式といったビュアー方式の三次元出力画像を生成すること、等に適用可能である。
画像の画素値は、２５６階調の階調値以外にも、２の１６乗の階調を有する階調値等でもよい。
画像処理モードには、文字風景モード及び人物モードとは異なる第三のモードが有ってもよい。
範囲外画素数Ｎｊを求める対象の分割領域ＩＭ１３は、ｘ方向とｙ方向の画素数が異なってもよい。また、複数の分割領域には、互いに画素数の異なる分割領域が含まれてもよい。
【００５４】
範囲外画素数Ｎｊを求めるための画素値は、輝度Ｌｉ以外にも、Ｒ値Ｒｉ、Ｇ値Ｇｉ、Ｂ値Ｂｉ、等でもよい。また、複数種類の画素値のそれぞれ（例えば画素値Ｒｉ，Ｇｉ，Ｂｉのそれぞれ）について前景領域ＩＭ１２の画素数Ｎａに対する範囲外画素数Ｎｊの総和の割合ΣＮｊ／Ｎａを求め、いずれかの割合ΣＮｊ／Ｎａが閾値を基準として小さい側である場合に画像処理モードが文字風景モードであると判定してもよい。この場合の閾値は、画素値の種類に応じて異なってもよい。
【００５５】
上述した処理は、順番を入れ替えたり、別の処理を追加したり、一部を削除したりする等、適宜、変更可能である。
例えば、図３のＳ１０４の判断処理において前景領域ＩＭ１２に顔画像ＩＭ５が含まれると判断された場合、表示装置１１５に表示した前景領域ＩＭ１２から文字・風景の箇所のユーザーの操作を入力装置１１６により受け付けてもよい。この場合、前景領域ＩＭ１２の内、人物の部分に第二飛び出し量分布ＤＺ２の飛び出し量ｚを付け、文字・風景の部分に第一飛び出し量分布ＤＺ１の飛び出し量ｚを付けてもよい。
また、図３の画像処理において、Ｓ１０２〜Ｓ１０６の処理を行わずにＳ１００，Ｓ１１０〜Ｓ１２６の処理を行ってもよい。顔認識工程ＳＴ１と第二モード判定工程ＳＴ２の少なくとも一方を実施しない場合も、本技術に含まれる。
さらに、図３の画像処理において、Ｓ１１０〜Ｓ１１６，Ｓ１２０の処理を行わずにＳ１００〜Ｓ１０６，Ｓ１１８，Ｓ１２２〜Ｓ１２６の処理を行ってもよい。この場合、前景領域ＩＭ１２に顔画像ＩＭ５が含まれていないときに画像処理モードが文字風景モードに自動設定される。前記Ｓ１１８の処理の代わりにＳ１２０の処理を行ってもよい。この場合、前景領域ＩＭ１２に顔画像ＩＭ５が含まれていないときに複数の画像処理モードの中からいずれかの画像処理モードを受け付けてもよい。分割工程ＳＴ３と演算工程ＳＴ４と第一モード判定工程ＳＴ５の少なくとも一つを実施しない場合も、本技術に含まれる。
【００５６】
ところで、前景ＩＭ４には、図４に示すように、比較的広い側にある部分ＩＭ４２もあれば、指のように比較的狭い側にある部分ＩＭ４１もあり得る。図７Ｂで示したように、第二飛び出し量分布ＤＺ２に丸み半径ｒ１がある場合、前景ＩＭ４の幅Ｗ１が２×ｒ１未満であると、飛び出し量ｚが最大飛び出し量Ｚ１に到達せず、立体感が少なくなる可能性がある。そこで、画像処理モードが人物モード（第二モード）である場合、前景ＩＭ４のうち幅Ｗ１が所定の幅Ｗ０を基準として狭い側にある部分ＩＭ４１が広い側にある部分ＩＭ４２よりも急に飛び出して見える出力画像ＩＭ２を入力画像ＩＭ１に基づいて生成してもよい。
【００５７】
図９は、図３のＳ１２４で実行可能な三次元画像化処理の例を示している。処理が開始されると、画像処理装置１００は、まず、分離された背景領域ＩＭ１１にある近隣画素の画素値Ｒｉ，Ｇｉ，Ｂｉに基づいて、図８の上段に例示するような背後領域ＩＭ１４の画素を補完した背景ＩＭ６を生成する（Ｓ２０２）。次に、画像処理装置１００は、前景ＩＭ４の中でｘ方向に沿った画素列のうち処理対象の画素列を設定する（Ｓ２０４）。さらに、画像処理装置１００は、設定された画素列の長さ（幅Ｗ１）を取得する（Ｓ２０６）。この処理は、前記画素列の画素数を取得する処理とすることができる。
【００５８】
幅Ｗ１の取得後、画像処理装置１００は、幅Ｗ１が所定の幅Ｗ０（例えば０＜Ｗ０＜２×ｒ１）を基準として狭い側（Ｗ１＜Ｗ０とするが、Ｗ１≦Ｗ０でもよい。）であるか否かに応じて処理を分岐させる（Ｓ２０８）。Ｗ１＜Ｗ０でない場合、画像処理装置１００は、前景ＩＭ４に付ける飛び出し量分布を図７Ｂに例示するような丸みを帯びて（緩やかに）飛び出す第二飛び出し量分布ＤＺ２に設定し（Ｓ２１０）、処理をＳ２１４に進める。一方、Ｗ１＜Ｗ０である場合、画像処理装置１００は、前景ＩＭ４に付ける飛び出し量分布を図７Ｃに例示するような直線的に（急に）飛び出す一律の最大飛び出し量Ｚ１に設定し（Ｓ２１２）、処理をＳ２１４に進める。図７Ｃに示す幅Ｘ２は、所定の幅Ｗ０を基準として狭い側にある場合の幅Ｗ１に相当する。
【００５９】
飛び出し量分布の設定後、画像処理装置１００は、前景ＩＭ４に含まれるｘ方向に沿った画素列を全て設定したか否かを判断する（Ｓ２１４）。設定していない画素列が残っている場合、画像処理装置１００は、Ｓ２０４〜Ｓ２１４の処理を繰り返す。全画素列を設定した場合、設定された飛び出し量分布で二次元入力画像ＩＭ１から三次元出力画像ＩＭ２を生成し（Ｓ２１６）、三次元画像化処理を終了させる。
【００６０】
以上の処理により、前景ＩＭ４のうち幅Ｗ１が比較的広い側にある部分ＩＭ４２については、背景ＩＭ３から前景ＩＭ４が徐々に（緩やかに）飛び出して見え、自然な膨らみとなる。一方、前景ＩＭ４のうち幅Ｗ１が比較的狭い側にある部分ＩＭ４１については、背景ＩＭ３から前景ＩＭ４が十分に飛び出し、はっきりと見える。従って、本具体例は、立体的に見える出力画像をさらに自然な画像にすることが可能となる。
【００６１】
尚、上述した処理において、「以上」（≧）を「より大きい」（＞）に変えること、「より大きい」（＞）を「以上」（≧）に変えること、「未満」（＜）を「以下」（≦）に変えること、及び、「以下」（≦）を「未満」（＜）に変えることは、実施可能であり、本技術に含まれる。
【００６２】
（６）結び：
以上説明したように、本発明によると、種々の態様により、立体的に見える出力画像をさらに自然な画像にすることが可能な画像処理技術等を提供することができる。むろん、従属請求項に係る構成要件を有しておらず独立請求項に係る構成要件のみからなる技術等でも、上述した基本的な作用、効果が得られる。
また、上述した例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、公知技術及び上述した例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、等も実施可能である。本発明は、これらの構成等も含まれる。
【符号の説明】
【００６３】
１００…画像処理装置、２００…印刷装置、ＤＺ１…第一飛び出し量分布、ＤＺ２…第二飛び出し量分布、ＦＵ１…顔認識機能、ＦＵ２…第二モード判定機能、ＦＵ３…分割機能、ＦＵ４…演算機能、ＦＵ５…第一モード判定機能、ＦＵ６…変換機能、ＩＭ１…入力画像、ＩＭ２…出力画像、ＩＭ３…背景、ＩＭ４…前景、ＩＭ５…顔画像、ＩＭ６…補完後の背景、ＩＭ７…三次元化した前景、ＩＭ１１…背景領域、ＩＭ１２…前景領域、ＩＭ１３…分割領域、ＩＭ１４…背後領域、ＩＭ４１…狭い側にある部分、ＩＭ４２…広い側にある部分、ＰＲ０…画像処理プログラム、ＰＸ１，ＰＸ２…画素、ＳＴ１…顔認識工程、ＳＴ２…第二モード判定工程、ＳＴ３…分割工程、ＳＴ４…演算工程、ＳＴ５…第一モード判定工程、ＳＴ６…変換工程。
【図１】
2017126816.tif 000003
【図２】
2017126816.tif 000004
【図３】
2017126816.tif 000005
【図４】
2017126816.tif 000006
【図５】
2017126816.tif 000007
【図６】
2017126816.tif 000008
【図７】
2017126816.tif 000009
【図８】
2017126816.tif 000010
【図９】
2017126816.tif 000011