(57)【要約】【課題】元画像の背景領域のコントラストが比較的低くても、立体視画像を立体視したときに背景領域に適度な奥行き感を付与することができ、ひいては立体視した画像の立体感を高めることができる画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】画像処理装置は、複数の視差画像を生成するための元画像を入力画像として入力する（Ｓ１１）。元画像を前景領域と背景領域とに分離し（Ｓ１２）、背景領域のコントラスト情報を取得する（Ｓ１３）。コントラスト情報に基づき、背景領域にコントラストが規定値以下となる低コントラスト領域が存在すれば（Ｓ１４で肯定判定）、低コントラスト領域にコントラストを高くする補正処理を実行する（Ｓ１５）。前景領域と背景領域に深度を付与し（Ｓ１６）、処理後の元画像を基に左目用画像と右目用画像を生成する（Ｓ１９）。左目用と右目用の両画像を用いて立体視画像を生成する（Ｓ２０）。【選択図】図１７
2016134790.tif 000002
【特許請求の範囲】
【請求項１】
複数の視差画像を用いて立体視画像を生成する画像処理装置であって、
複数の視差画像又は複数の視差画像を生成するための元画像を入力画像として入力し、前記入力画像から立体視画像までの生成過程における少なくとも一つの画像に含まれる背景領域のコントラスト情報を取得する取得部と、
前記背景領域に前記コントラスト情報に基づくコントラストが規定値以下の低コントラスト領域がある場合は、当該低コントラスト領域にコントラストを高くする補正処理を施す補正部と、
前記補正処理後の背景領域を含む前記画像を用いて立体視画像を生成する画像生成部と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記取得部は、前記背景領域を複数の領域に分割した分割領域毎にコントラスト情報を取得し、
前記補正部は、前記コントラスト情報に基づき前記コントラストが所定値以下となる分割領域が存在すれば、当該分割領域に前記補正処理を施すことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記取得部は、前記背景領域の空間周波数を取得する空間周波数取得部であり、
前記補正部は、前記背景領域において前記空間周波数が所定値以下となる低コントラスト領域が存在する場合、当該低コントラスト領域に前記補正処理を施す、ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記空間周波数取得部は、前記背景領域を複数の領域に分割した分割領域毎に空間周波数を取得し、
前記補正部は、前記空間周波数が所定値以下となる分割領域が存在すれば、当該分割領域に前記補正処理を施す、ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記取得部は、前記背景領域のヒストグラムを取得するヒストグラム取得部であり、
前記補正部は、前記ヒストグラムの度数が所定値以上となる低コントラスト領域が存在する場合は、当該低コントラスト領域に前記補正処理を施す、ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記取得部は、前記背景領域を複数の領域に分割してなる分割領域毎に、階調値のヒストグラムを取得するヒストグラム取得部であり、
前記補正部は、前記ヒストグラムの度数が所定値以上となる低コントラスト領域が存在する場合は、当該低コントラスト領域に前記補正処理を施す、ことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記空間周波数取得部は、前記立体視画像が印刷されるレンチキュラーレンズの凸レンズの配列方向における空間周波数を取得することを特徴とする請求項３又は４に記載の画像処理装置。
【請求項８】
前記補正部は、前記ヒストグラムの度数に応じてコントラストの補正強度を変えることを特徴とする請求項５又は６に記載の画像処理装置。
【請求項９】
前記補正部は、前記低コントラスト領域の色に応じてコントラストの補正強度を変えることを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記補正部は、前記背景領域の深度が高くなるほど、コントラストの補正強度を高くすることを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記補正部は、前記背景領域のレンチキュラーレンズの凸レンズに対応するレンズ領域における幅方向の端部では、当該端部以外の部分に比べ画像をぼかすことを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記背景領域の解像度を低くする低解像度処理部を更に備え、
前記取得部は、低解像度の前記背景領域に対して低コントラスト領域を取得することを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理装置。
【請求項１３】
前記画像生成部は、
前記入力画像を背景画像と前景画像とを含む複数の画像に分離する分離処理部と、
前記背景画像と前記前景画像のそれぞれに異なる深度を付与する深度付与部と、
深度付与後の前記背景画像と前記前景画像とを含む画像から右目用画像と左目用画像とを含む複数の前画像を生成する前画像生成部と、
前記複数の前画像を合成して立体視画像を生成する立体視画像生成部と、を備え、
前記取得部及び前記補正部は、前記入力画像、前記背景画像及び前記前画像のうちの少なくとも一つを処理の対象とすることを特徴とする請求項１乃至１２のいずれか一項に記載の画像処理装置。
【請求項１４】
前記補正部は、前記補正処理として、トーンカーブ補正処理、シャープネス処理及びエッジ強調処理のうちいずれか一つを行うことを特徴とする請求項１乃至１３のいずれか一項に記載の画像処理装置。
【請求項１５】
複数の視差画像を用いて立体視画像を生成する画像処理方法であって、
複数の視差画像又は複数の視差画像を生成するための元画像を入力画像として入力し、前記入力画像から立体視画像までの生成過程における少なくとも一つの画像に含まれる背景領域のコントラスト情報を取得する取得ステップと、
前記背景領域に前記コントラスト情報に基づくコントラストが規定値以下の低コントラスト領域がある場合は、当該低コントラスト領域にコントラストを高くする補正処理を施す補正ステップと、
前記補正処理後の背景領域を含む前記画像を用いて立体視画像を生成する画像生成ステップと
を備えたことを特徴とする画像処理方法。
【請求項１６】
複数の視差画像を用いて立体視画像をコンピューターが生成する画像処理用のプログラムであって、
コンピューターが、
複数の視差画像又は複数の視差画像を生成するための元画像を入力画像として入力し、前記入力画像から立体視画像までの生成過程における少なくとも一つの画像に含まれる背景領域のコントラスト情報を取得する取得ステップと、
前記背景領域に前記コントラスト情報に基づくコントラストが規定値以下の低コントラスト領域がある場合は、当該低コントラスト領域にコントラストを高くする補正処理を施す補正ステップと、
前記補正処理後の背景領域を含む前記画像を用いて立体視画像を生成する画像生成ステップと
を備えたことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視差画像を用いて立体視画像を生成する画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
例えば特許文献１〜３には、レンチキュラーレンズ等のレンズ層を通して視差を利用して立体視が可能な立体視画像を、複数の視差画像を用いて生成する画像処理装置が開示されている。例えば特許文献１及び２には、一枚の画像から多視点画像（複数の視差画像）を生成し、生成した多視点画像を用いて立体視画像を生成する画像処理装置が開示されている。特許文献１に記載の画像処理装置では、一枚の画像の被写体領域を取得し、被写体領域から被写体の奥行き分布を表す視差マップを生成し、被写体画像及び視差マップを基に複数の視点からの被写体に対する多視点画像を生成する。そして、多視点画像を用いて立体視画像（３次元画像）を合成する。
【０００３】
例えば特許文献２には、一視点の入力非立体画像から視点毎に奥行き情報と背景の奥行き情報との差分に基づいた明るさやコントラストが異なる画像を作り、この異なる画像に視差をつけた画像を生成することによって、曲面のなだらかな奥行き感を持つ多視点画像を作成する。この特許文献２には、コントラストを変化させることは、両眼視差を補う方法として有効であり、立体視の要因は両眼視差だけでなく、コントラストその他の要因を含む複合的なものであることが記載されている。
【０００４】
また、特許文献３には、映像のコントラストの低い領域では、奥行き推定の精度が低下するが、映像のコントラストの低い領域においては、もともと奥行きを知覚できない。そのため、周辺の奥行き値で補間する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−４７０２７号公報
【特許文献２】特開２０１２−６０３４５号公報
【特許文献３】特開２００１−３５９１１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１〜３に記載の画像処理装置では、複数の視差画像（多視点画像）を用いて立体視画像を生成する。このとき、例えば画像において中心となる人物等の対象物の背景が、「空」、「海」、「地面」や「壁」等のベタ一色に近い背景である場合、画像内の背景領域の全体又は一部が、色の変化や濃度の変化が極めて少なくコントラストの低い背景となる。この場合、複数の視差画像を合成して立体視画像を生成しても、その立体視画像中の背景領域に両眼視差や運動視差を起こす手がかりとなる特徴がほとんど無いため、レンチキュラーレンズを通して立体視画像を立体視した際に、背景領域に奥行き感が得られにくくなる。このため、立体視画像中の前景領域内に位置する対象物の立体感が得られにくいという課題がある。
【０００７】
本発明の目的は、元画像の背景領域のコントラストが比較的低くても、立体視画像を立体視したときに背景領域に適度な奥行き感を付与することができ、ひいては立体視した画像の立体感を高めることができる画像処理装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
以下、上記課題を解決するための手段及びその作用効果について記載する。
上記課題を解決する画像処理装置は、複数の視差画像を用いて立体視画像を生成する画像処理装置であって、複数の視差画像又は複数の視差画像を生成するための元画像を入力画像として入力し、前記入力画像から立体視画像までの生成過程における少なくとも一つの画像に含まれる背景領域のコントラスト情報を取得する取得部と、前記背景領域に前記コントラスト情報に基づくコントラストが規定値以下の低コントラスト領域がある場合は、当該低コントラスト領域にコントラストを高くする補正処理を施す補正部と、前記補正処理後の背景領域を含む前記画像を用いて立体視画像を生成する画像生成部とを備えている。
【０００９】
この構成によれば、コントラスト情報に基づき背景領域にコントラストが規定値以下の低コントラスト領域がある場合は、低コントラスト領域にコントラストを高くする補正処理が施される。そして、補正処理後の背景領域を含む画像を用いて立体視画像が生成される。よって、元画像の背景領域にコントラストの比較的低い部分が存在しても、立体視画像を立体視したときに背景領域に適度な奥行き感を付与でき、補正処理をしない場合に比べ画像の立体感を高めることができる。
【００１０】
上記画像処理装置では、前記取得部は、前記背景領域を複数の領域に分割した分割領域毎にコントラスト情報を取得し、前記補正部は、前記コントラスト情報に基づき前記コントラストが所定値以下となる分割領域が存在すれば、当該分割領域に前記補正処理を施すことが好ましい。
【００１１】
この構成によれば、背景領域を複数の領域に分割した分割領域毎のコントラスト情報に基づき前記コントラストが所定値以下となる分割領域が存在すれば、当該分割領域に補正処理が施される。
【００１２】
上記画像処理装置では、前記取得部は、前記背景領域の空間周波数を取得する空間周波数取得部であり、前記補正部は、前記背景領域において前記空間周波数が所定値以下となる低コントラスト領域が存在する場合、当該低コントラスト領域に前記補正処理を施すことが好ましい。
【００１３】
この構成によれば、空間周波数取得部が取得した背景領域の空間周波数が所定値以下となる低コントラスト領域が存在する場合、この低コントラスト領域に補正処理が施される。よって、立体視画像を立体視したときに背景領域に奥行き感が生じ、補正処理をしない場合に比べ一層の立体感を得ることができる。よって、背景領域のうち低コントラスト領域をより適切に抽出することができ、立体視した際に画像の立体感を高めることができる。
【００１４】
上記画像処理装置では、前記空間周波数取得部は、前記背景領域を複数の領域に分割した分割領域毎に空間周波数を取得し、前記補正部は、前記空間周波数が所定値以下となる分割領域が存在すれば、当該分割領域に前記補正処理を施すことが好ましい。
【００１５】
この構成によれば、背景領域を複数の領域に分割した分割領域毎に空間周波数を取得し、空間周波数が所定値以下となる分割領域が存在すれば、当該分割領域に補正処理が施される。よって、背景領域のうち低コントラスト領域をより適切に抽出することができ、立体視した際に画像の立体感を高めることができる。
【００１６】
上記画像処理装置では、前記取得部は、前記背景領域のヒストグラムを取得するヒストグラム取得部であり、前記補正部は、前記ヒストグラムの度数が所定値以上となる低コントラスト領域が存在する場合は、当該低コントラスト領域に前記補正処理を施すことが好ましい。
【００１７】
この構成によれば、ヒストグラム取得部が取得した背景領域のヒストグラムの度数が所定値以上となる低コントラスト領域が存在する場合は、この低コントラスト領域に補正処理が施される。よって、立体視画像を立体視したときに背景領域に奥行き感が生じ、補正処理をしない場合に比べ一層の立体感を得ることができる。
【００１８】
上記画像処理装置では、前記取得部は、前記背景領域を複数の領域に分割してなる分割領域毎に、階調値のヒストグラムを取得するヒストグラム取得部であり、前記補正部は、前記ヒストグラムの度数が所定値以上となる低コントラスト領域が存在する場合は、当該低コントラスト領域に前記補正処理を施すことが好ましい。
【００１９】
この構成によれば、背景領域を複数の領域に分割した分割領域毎に階調値のヒストグラムを取得し、ヒストグラムの度数が所定値以上となる低コントラスト領域が存在する場合は、この低コントラスト領域に補正処理が施される。よって、背景領域のうち低コントラスト領域をより適切に抽出することができ、立体視した際に画像の立体感を高めることができる。
【００２０】
上記画像処理装置では、前記空間周波数取得部は、前記立体視画像が印刷されるレンチキュラーレンズの凸レンズの配列方向における空間周波数を取得することが好ましい。
この構成によれば、立体視画像が印刷されるレンチキュラーレンズの凸レンズの配列方向における空間周波数を取得する。このため、立体視したときに背景領域に奥行き感を付与するうえで効果の低い凸レンズの長手方向にコントラストの低い低コントラスト領域を取得せず、奥行き感を付与するうえで効果の高い凸レンズの配列方向にコントラストの低い低コントラスト領域を取得できる。よって、奥行き感を付与するうえで効果の高い配列方向にコントラストが低い領域が存在すれば、その領域にコントラストを高める補正処理が施され、奥行き感を付与するうえで効果の低い長手方向にはコントラストが低くても、コントラストを高める補正処理が施されない。従って、立体視画像の元画像に不要な加工が加えられることを少なく抑えつつ、凸レンズの配列方向に適度なコントラストを付与できる。
【００２１】
上記画像処理装置では、前記補正部は、前記ヒストグラムの度数に応じてコントラストの補正強度を変えることが好ましい。
この構成によれば、補正部は、ヒストグラムの度数に応じてコントラストの補正強度を変えるので、低コントラスト領域に適切に補正を施すことができる。
【００２２】
上記画像処理装置では、前記補正部は、前記低コントラスト領域の色に応じてコントラストの補正強度を変えることが好ましい。
この構成によれば、補正部は、低コントラスト領域の色に応じてコントラストの補正強度を変えるので、色に影響されず適度な奥行き感を付与し易い。例えば黄色等の第１の色は、青色、緑色、赤色の第２の色に比べ、画素値の差の割に濃度の差が相対的に小さくコントラストが出にくい。このため、例えば黄色等の第１の色の場合は、青色、緑色、赤色等の第２の色に比べ、よりコントラストの補正強度を高くすることが好ましい。
【００２３】
上記画像処理装置では、前記補正部は、前記背景領域の深度が高くなるほど、コントラストの補正強度を高くすることが好ましい。
この構成によれば、補正部は、背景領域の深度が高くなるほど、コントラストの補正強度を高くする。よって、背景領域は設定される深度が高くなるほど、ぼけ易くなるが、深度が高いほど、コントラストの補正強度が高くなるので、付与された深度の割にぼけにくくなる。背景画像のぼけは背景画像の奥行き感の低下に繋がるが、背景画像が深度の割にぼけにくいことから、付与された深度の割に背景画像に適度な奥行き感を付与できる。
【００２４】
上記画像処理装置では、前記補正部は、前記背景領域のレンチキュラーレンズの凸レンズに対応するレンズ領域における幅方向の端部では、当該端部以外の部分に比べ画像をぼかすことが好ましい。
【００２５】
この構成によれば、背景領域のレンチキュラーレンズの凸レンズに対応するレンズ領域における幅方向の端部では、隣のレンズ領域の印刷のドットやにじみがはみ出るなどの虞があるが、端部以外の部分に比べ画像がぼける。よって、立体視した際に右目で右目用画像を見たときに境界部の印刷のはみ出しにより左目用画像の一部が見えても、その見えた一部はぼけるため、目立たなくなる。
【００２６】
上記画像処理装置では、前記背景領域の解像度を低くする低解像度処理部を更に備え、前記取得部は、低解像度の前記背景領域に対して低コントラスト領域を取得することが好ましい。
【００２７】
この構成によれば、低解像度処理部により解像度が低くされた背景領域に対して、取得部が低コントラスト領域を取得する。補正部は、低コントラスト領域に対して補正を施す。よって、取得部が低コントラスト領域を取得する際の処理負担を軽減できる。
【００２８】
上記画像処理装置では、前記画像生成部は、前記入力画像を背景画像と前景画像とを含む複数の画像に分離する分離処理部と、前記背景画像と前記前景画像のそれぞれに異なる深度を付与する深度付与部と、深度付与後の前記背景画像と前記前景画像とを含む画像から右目用画像と左目用画像とを含む複数の前画像を生成する前画像生成部と、前記複数の前画像を合成して立体視画像を生成する立体視画像生成部と、を備え、前記取得部及び前記補正部は、前記入力画像、前記背景画像及び前記前画像のうちの少なくとも一つを処理の対象とすることが好ましい。
【００２９】
この構成によれば、入力画像は、分離処理部によって、前景画像と背景画像とを含む複数の画像に分離される。前景画像と背景画像のそれぞれには、深度付与部により、異なる深度が付与される。前画像生成部によって、深度付与後の背景画像と前景画像とを含む画像から右目用画像と左目用画像とを含む複数の前画像が生成される。立体視画像生成部によって、複数の前画像が合成されることで立体視画像が生成される。取得部及び補正部は、入力画像、背景画像及び前画像のうちの少なくとも一つを処理の対象とし、低コントラスト情報の取得、及び低コントラスト領域に対する補正処理を施す。
【００３０】
上記画像処理装置では、前記補正部は、前記補正処理として、トーンカーブ補正処理、シャープネス処理及びエッジ強調処理のうちいずれか一つを行うことが好ましい。
この構成によれば、補正部は、補正処理として、トーンカーブ補正処理、シャープネス処理及びエッジ強調処理のうちいずれか一つが行われることによって、背景領域における低コントラスト領域のコントラストを比較的簡単な処理で適度に高くすることができる。よって、立体視した際に、背景領域に適度な奥行き感を付与できる。
【００３１】
上記課題を解決する画像処理方法は、複数の視差画像を用いて立体視画像を生成する画像処理方法であって、複数の視差画像又は複数の視差画像を生成するための元画像を入力画像として入力し、前記入力画像から立体視画像までの生成過程における少なくとも一つの画像に含まれる背景領域のコントラスト情報を取得する取得ステップと、前記背景領域に前記コントラスト情報に基づくコントラストが規定値以下の低コントラスト領域がある場合は、当該低コントラスト領域にコントラストを高くする補正処理を施す補正ステップと、前記補正処理後の背景領域を含む前記画像を用いて立体視画像を生成する画像生成ステップとを備えている。この方法によれば、上記画像処理装置と同様の作用効果を得ることができる。
【００３２】
上記課題を解決するプログラムは、複数の視差画像を用いて立体視画像をコンピューターが生成する画像処理用のプログラムであって、コンピューターが、複数の視差画像又は複数の視差画像を生成するための元画像を入力画像として入力し、前記入力画像から立体視画像までの生成過程における少なくとも一つの画像に含まれる背景領域のコントラスト情報を取得する取得ステップと、前記背景領域に前記コントラスト情報に基づくコントラストが規定値以下の低コントラスト領域がある場合は、当該低コントラスト領域にコントラストを高くする補正処理を施す補正ステップと、前記補正処理後の背景領域を含む前記画像を用いて立体視画像を生成する画像生成ステップとを備えている。このプログラムによれば、上記画像処理装置と同様の作用効果を得ることができる。
【図面の簡単な説明】
【００３３】
【図１】第１実施形態における印刷システムを示す模式図。
【図２】印刷システムの電気的構成を示すブロック図。
【図３】レンズシートを示す一部破断した斜視図。
【図４】レンズシートに印刷する印刷エンジンの構成を示す側面図。
【図５】同じく印刷エンジンの構成を示す正面図。
【図６】立体視画像シートを示す正面図。
【図７】立体視画像シートの一部を拡大した模式正面図。
【図８】立体視画像シートにおける線状像の詳細を示す拡大正面図。
【図９】（ａ）〜（ｅ）は元画像に施される各種処理を説明する模式図。
【図１０】（ａ）〜（ｄ）は補正画像を用いて立体視画像を生成する過程を説明する模式図。
【図１１】立体視画像の生成方法を説明する模式図。
【図１２】低コントラスト領域を検出する処理を説明する模式図。
【図１３】（ａ），（ｂ）は分割領域における空間周波数を示すグラフ。
【図１４】（ａ）は空間座標０〜ｘｅの範囲における空間周波数を示すグラフ、（ｂ），（ｃ）は空間周波数に基づいて低コントラスト領域を検出する処理を説明するグラフ。
【図１５】補正処理で用いるトーンカーブ補正を示すマップ図。
【図１６】図１５とは異なるトーンカーブ補正を示すマップ図。
【図１７】立体視画像生成処理を示すフローチャート。
【図１８】補正処理ルーチンを示すフローチャート。
【図１９】第２実施形態における補正処理ルーチンを示すフローチャート。
【図２０】（ａ）〜（ｃ）は第３実施形態においてコントラスト情報として取得されるヒストグラムを示すグラフ。
【図２１】補正処理ルーチンを示すフローチャート。
【図２２】第４実施形態における補正処理ルーチンを示すフローチャート。
【発明を実施するための形態】
【００３４】
（第１実施形態）
以下、画像処理装置、画像処理方法及びプログラムの第１実施形態を、図面を参照して説明する。
【００３５】
図１に示す印刷システム１１は、入力された元画像（元画像データ）を基に立体視画像（立体視画像データ）を生成してレンズシート５０に印刷できるシステムである。印刷システム１１は、立体視画像生成用のプログラムＰＲ１等を提供するサーバー３０と、プログラムＰＲ１を実行して元画像データから立体視画像データを生成するホスト装置の一例としての携帯端末２０と、携帯端末２０から受信した印刷データＰＤに基づく立体視画像をレンズシート５０に印刷する印刷装置４０とを備える。携帯端末２０としては、スマートフォン、携帯電話、タブレットＰＣ、携帯情報端末（ＰＤＡ（Personal Digital Assistants））などが用いられる。なお、ホスト装置は、携帯端末２０のような携帯型のホスト装置に限らず、パーソナルコンピューター等からなる非携帯型のホスト装置であってもよい。
【００３６】
ユーザーはサーバー３０から有料又は無料で立体視画像生成用のプログラムＰＲ１等を含むコンテンツを、携帯端末２０にインターネットＮＷを通じてダウンロードする。携帯端末２０は、表示部２１及び操作部２２を備える。ユーザーは表示部２１の画面をタッチする等の操作により、元画像データの入力又は選択と、立体視画像生成用のプログラムＰＲ１の実行とを指示することが可能である。ユーザーは表示部２１にプレビューされる立体視画像を確認してＯＫであれば、印刷の実行を指示する。この結果、携帯端末２０から立体視画像の印刷データＰＤが印刷条件と共に印刷装置４０に送信される。
【００３７】
印刷装置４０は、略直方体形状を有する本体４１と、用紙等の媒体をセット可能な媒体支持部を有する給送部４２と、操作パネル４３とを備えている。操作パネル４３は、表示部４４及び操作部４５を備えている。レンズシート５０は、給送部４２の媒体支持部に斜めの姿勢でセットされる。なお、本実施形態では、表示部４４のタッチパネル機能も操作部の一部を構成する。印刷装置４０は、印刷データＰＤを受信すると、レンズシート５０を給送しつつ、印刷データＰＤに基づき立体視画像を少なくとも一部に含む画像を印刷する。
【００３８】
本実施形態の画像処理装置は、入力された元画像を基に立体視画像を生成して印刷する装置であり、ホスト装置の一例である携帯端末２０、サーバー３０及び印刷装置４０のうち少なくとも一つが備えるコンピューターと、コンピューターにより実行される立体視画像生成用のプログラムによって構成される。すなわち、画像処理装置は、携帯端末２０、サーバー３０及び印刷装置４０のうち、立体視画像生成用のプログラムを実行する少なくとも一つのコンピューターによって構成される。ここで、画像処理装置を構成するコンピューターは、サーバー、ホスト装置及びプリンターのうちの１つのコンピューターからなる構成、携帯端末２０とサーバー３０と印刷装置４０のうち２つのものの２つのコンピューターからなる構成、及び携帯端末２０とサーバー３０と印刷装置４０との３つのコンピューターからなる構成がある。コンピューターが複数の場合は、複数のコンピューターはプログラムを分担して実行することで、立体視画像生成処理を分担する。
【００３９】
次に図２を用いて携帯端末２０と印刷装置４０の電気的構成を説明する。図２に示すように、携帯端末２０は、コンピューター６１、表示回路６２、通信部６３、マイク、スピーカー及びカメラユニット（いずれも図示せず）等を備えている。コンピューター６１は、ＣＰＵ６５（中央処理装置）、ＲＯＭ６６、ＲＡＭ６７及び記憶部の一例としての不揮発性メモリー６８を備える。ＲＯＭ６６には電話機能やカメラ機能を含む各種機能を実現するためのプログラムが記憶されている。また、不揮発性メモリー６８には、サーバー３０からダウンロードしたプログラムＰＲ１、及びカメラ機能やダウンロードにより取得した入力画像の一例である元画像の画像データＧＤが記憶されている。
【００４０】
携帯端末２０のＣＰＵ６５はプログラムＰＲ１を実行することにより立体視画像生成処理を行って、生成した立体視画像データを印刷データＰＤとして印刷装置４０に送信する。なお、サーバー３０内のコンピューター３１が、不図示のメモリー（例えばハードディスクドライブ）に立体視画像生成処理用のプログラムとして、ダウンロード用の第１プログラムＰＲ１と第２プログラムＰＲ２とを記憶する構成してもよい。この場合、サーバー３０のコンピューター３１は、携帯端末２０内で第１プログラムＰＲ１を実行するコンピューター６１からのインターネットＮＷを通じた要求に応じて、第２プログラムＰＲ２を実行することで、立体視画像生成処理の一部を分担する構成としてもよい。さらに、サーバー３０のコンピューター３１は、携帯端末２０内のコンピューター６１からインターネットＮＷを通じて画像データＧＤと共に受け付けた要求に応じて、プログラムＰＲ１を実行することで立体視画像生成処理の全部を行い、この処理の結果として生成した立体視画像データを携帯端末２０に送信する構成としてもよい。
【００４１】
また、図２に示すように、印刷装置４０は、その全体的な制御を司るコンピューター７１、印刷エンジン７２、表示回路７３及び通信部７４を備えている。携帯端末２０から印刷装置４０への印刷データＰＤの送信は、通信部６３，７４を通じて無線で行われる。
【００４２】
図２に示すコンピューター７１は、ＣＰＵ７５（中央処理装置）、ＡＳＩＣ７６（Application Specific IC（特定用途向けＩＣ））、ＲＯＭ７７、ＲＡＭ７８及び記憶部の一例としての不揮発性メモリー７９を備えている。ＲＯＭ７７及び不揮発性メモリー７９には、印刷装置４０の各種制御に必要な各種のプログラムが記憶されている。そして、ＣＰＵ７５による印刷制御用のプログラムの実行及びＡＳＩＣ７６による画像処理等により、印刷エンジン７２が駆動される。
【００４３】
図２に示す印刷エンジン７２は、印刷ヘッド４８（図４、図５参照）及び不図示の搬送モーター等を備えている。搬送モーターは、レンズシート５０及び媒体を搬送する搬送ローラー対４６（図４参照）等を有する搬送機構の動力源となる。印刷装置４０が立体視画像用の印刷データＰＤを受信した場合、コンピューター７１は、印刷エンジン７２を駆動させ、レンズシート５０を搬送機構の駆動により搬送させつつ印刷ヘッド４８によりレンズシート５０に立体視画像を印刷する。なお、印刷装置４０はサーバー３０と通信可能な構成であり、サーバー３０からダウンロードしたプログラムＰＲ１を不揮発性メモリー７９に記憶することも可能である。この場合、印刷装置４０内のコンピューター７１がプログラムＰＲ１を実行することで、入力した元画像データから立体視画像データを生成することもできる。
【００４４】
図３に示すように、レンズシート５０は、インク吸収層５１とレンズ層５２とを備える。インク吸収層５１は、高インク吸収性材料により成膜されたフィルムからなり、レンズ層５２の凸レンズ５３側と反対側の裏面に接合されている。レンズ層５２には、一方向に沿って延びる複数本の凸レンズ５３が互いに平行かつ隣同士が隣接した状態で形成されている。レンズシート５０は、一例としてレンチキュラーレンズシートであり、そのレンズ層５２は、シリンドリカルレンズからなる複数の凸レンズ５３を有するレンチキュラーレンズにより構成される。凸レンズ５３は、その長手方向と直交する断面の形状が例えば半円形状を有している。なお、以下の説明では、レンズシート５０において、凸レンズ５３の長手方向を指して「レンズ長手方向ＬＹ」と呼び、レンズ長手方向ＬＹと直交する方向を指して「レンズ配列方向ＬＸ」と呼ぶ場合がある。
【００４５】
図４〜図６は、立体視画像シート５５の形成過程を説明する。レンズ層５２から見たときに画像の立体視が可能な図６に示す立体視画像シート５５は、図４に示すように、印刷装置４０によりレンズシート５０の裏面に立体視画像を印刷することで形成される。図４に示すように、印刷装置４０の給送部４２にセットされたレンズシート５０は、給送部４２の駆動により給送され、搬送ローラー対４６を構成する駆動ローラー４６ａと従動ローラー４６ｂとにニップされた状態で搬送される。搬送されたレンズシート５０の支持台４７上に支持された部分の裏面（図４及び図５では上面）に、印刷ヘッド４８のノズルからインク滴が噴射されることで印刷が進められる。
【００４６】
図４及び図５に示す印刷装置４０は、一例としてシリアルプリンターである。印刷ヘッド４８を有するキャリッジ４９は搬送方向Ｙと交差する走査方向Ｘ（図５参照）に往復移動する。そして、キャリッジ４９が走査方向Ｘに移動しその移動途中で印刷ヘッド４８のノズルからインク滴を噴射する印刷動作と、レンズシート５０を搬送方向Ｙへ次の印刷位置まで搬送する搬送動作とが略交互に行われることで、レンズシート５０の裏面に立体視画像が印刷される。図４に示すように、インク吸収層５１の表面（シート裏面）に着弾したインクはインク吸収層５１に吸収され、レンズ層５２との境界面まで浸透する。
【００４７】
こうして図６に示す立体視画像シート５５が作製される。図６に示すように、立体視画像シート５５には、インク吸収層５１とレンズ層５２との間に立体視画像５６が形成されている。立体視画像５６及び立体視画像データは、Ｎ枚（但し、Ｎは２以上の自然数）の視差画像（例えば右目用画像と左目用画像）をレンズ配列方向ＬＸに１／Ｎ倍に圧縮したそれぞれを、レンズ数Ｍと同数で等分割した計Ｎ×Ｍ本の分割圧縮画像（以下「線状像」ともいう。）が凸レンズ５３の配列方向ＬＸに所定の順番で配置されることで構成されている。
【００４８】
図７に示すように、凸レンズ５３のレンズ配列方向ＬＸの幅内の領域（以下、「レンズ領域ＬＡ）（図８参照）という。」には、Ｎ×Ｍ本（但し、Ｎは視差画像の枚数で２以上の自然数、Ｍは凸レンズ数）の線状像（短冊状画像）Ａ１，Ｂ１，Ａ２，Ｂ２，…，ＡＭ，ＢＭのうちＮ本（同図では一例として２本）ずつが、この順番で配置されている。
【００４９】
ここで、Ｎ×Ｍ本の線状像Ａ１，Ｂ１，Ａ２，Ｂ２，…，ＡＭ，ＢＭは、Ｎ枚（一例として２枚）の視差画像Ａ，Ｂ（図１０における右目用画像８３Ａと左目用画像８３Ｂ）のそれぞれをＭ分割して幅方向に１／Ｎ倍に圧縮した各線状像Ａ１〜ＡＭ、線状像Ｂ１〜ＢＭを、図７に示すようにＡ，Ｂの順番でレンズ配列方向ＬＸにＭ列並べたものである。なお、Ｎ＝２の例に限らず、Ｎは３、４、５等の３以上の所定値でもよく、Ｎ本の線状像Ａｉ，Ｂｉ，Ｃｉ，…（但し、ｉ＝１，２，３，…，Ｍ）が、Ｍ個の各レンズ領域ＬＡに配置されてもよい。この場合、立体視できる視差画像だけでなく、見る角度によって画像中の対象物が変化するチェンジング効果や対象物が移動するモーション効果が得られる画像を含む立体視画像であってもよい。
【００５０】
図７において視線Ｋ１で右斜め上方の角度から見ると、各凸レンズ５３を通して線状像Ａ１，Ａ２，…，ＡＭが見え、右目で右目用画像Ａの全体が見える。また、図７において視線Ｋ２で左斜め上方の角度から見ると、各凸レンズ５３を通して線状像Ｂ１，Ｂ２，…，ＢＭが見え、左目で左目用画像Ｂの全体が見える。こうして左右の目の視差を利用して、凸レンズ５３を通して右目で右目用画像Ａを、左目で左目用画像Ｂを見ることで、立体視画像５６中の対象物を立体視できる。
【００５１】
図８は、図７における１つのレンズ領域を拡大したものである。図８に示すように、線状像ＬＧは、レンズ配列方向ＬＸに印刷解像度に応じたドットピッチＰＰで配置された複数の印刷ドットＤにより形成されている。
【００５２】
また、レンズシート５０の製造上の限界や印刷精度の限界等の理由から、凸レンズ５３の境界付近の境界領域には、図８にハッチングを付したドットＨＤのように隣（同図で左端）のレンズ領域ＬＡに印刷されるべきドットが、こちら（同図で中央位置）のレンズ領域ＬＡ内に配置される場合がある。また、隣のレンズ領域ＬＡに印刷されたドットのにじみが、こちら（同図で中央位置）のレンズ領域ＬＡ内に配置される場合もある。これらの場合、左目で画像を見るときに隣の右目用の画像の端（ドット）が見えることがある。このため、本実施形態では、レンズ領域の境界付近に配置される画像の端部をぼかしている。なお、この詳細については後述する。
【００５３】
次に図９を参照して画像生成処理について説明する。まずユーザーは、立体視画像を作製する際に、携帯端末２０に、図９（ａ）に示す元画像８０の画像データを入力するか、予め不揮発性メモリー６８に記憶した元画像８０をタッチパネル操作で選択してその画像データを読み出す。入力又は選択された元画像８０の画像データ（元画像データ）は、例えばＲＡＭ６７に書き込まれる。図９の例では、元画像８０は、人物等の対象物ＴＢからなる前景領域８１と前景領域８１以外の背景領域８２とからなる。背景領域８２は、図９の例では、土又は草原等の地面の領域ＢＡ１と、空の領域ＢＡ２と、木等の物体の領域ＢＡ３とを含む。
【００５４】
そして、ユーザーは携帯端末２０を操作してコンピューター６１に立体視画像生成処理を実行させる。この結果、コンピューター６１（ＣＰＵ６５）は、立体視画像生成用のプログラムＰＲ１を実行する。なお、以下の説明では、元画像データを単に「元画像８０」と呼ぶ場合がある。
【００５５】
立体視画像生成処理では、まず図９（ｂ）に示すように、元画像８０を、前景領域８１と背景領域８２とに分離する分離処理を行う。分離された背景領域８２には、前景領域８１のあった部分が穴ＨＬとなる。
【００５６】
次に図９（ｂ）に示すように、背景領域８２から低コントラスト領域ＬＣＡを検出する処理を行い、低コントラスト領域ＬＣＡが存在すれば、その低コントラスト領域ＬＣＡのコントラストを図９（ｃ）に示すように高くする補正処理を行う。図９（ｂ）において、背景領域８２における例えば領域ＢＡ１，ＢＡ２が低コントラスト領域ＬＣＡとして検出されたとすると、その検出された低コントラスト領域ＬＣＡに対してコントラストを高くする補正処理を施す。この結果、図９（ｃ）に示すように、背景領域８２のうち地面や空等の色調が単調でコントラストの強さが規定値未満の領域ＢＡ１，ＢＡ２、つまり低コントラスト領域ＬＣＡが、補正前よりもコントラストの高い高コントラスト領域ＨＣＡに補正される。なお、低コントラスト領域ＬＣＡの検出処理、及び補正処理の詳細は後述する。
【００５７】
次に図９（ｄ）に示すように、画像に深度を付与する深度付与処理を行う。同図に示すように、前景領域８１に相対的に浅い深度を設定し、背景領域８２には前景領域８１の深度よりも相対的に深い深度を設定する。なお、本実施形態では、インクジェット方式で印刷されるため解像度の関係で、解像度が粗く見える手前へのマイナスの深度は避けて、深度は「０（零）」以下に設定する。但し、スクリーン印刷等を用いる場合やインクジェット方式でも極めて高い印刷解像度で高精細な印刷がなされる場合は、前景領域８１にマイナスの深度を付与して、前景領域８１を深度０（零）の位置よりも視方向で手前の位置に見えるように設定してもよい。
【００５８】
次に図９（ｅ）に示すように画像を整えるための後処理を行う。この後処理では、図９（ｃ）に示す穴ＨＬを埋める穴埋め処理を行う。これは、背景領域に前景領域と異なる深度が付与されると、前景領域８１の真後に位置する穴ＨＬの一部が立体視の際に見えるため、穴ＨＬを埋める処理を行う。例えば穴ＨＬの周辺の画像を用いて穴ＨＬを埋める処理を行う。このため、図９の例では、高コントラスト領域ＨＣＡの画像を用いて穴ＨＬを埋めることになるので、埋められた領域も高コントラスト領域ＨＣＡとなる。また、分離された前景画像８１Ａは平面状であるため、この後処理において、人物等からなる対象物ＴＢの立体形状に合わせて前景画像８１Ａの左右側部に奥行き方向に向かって曲がる丸みを付与して、例えば人物の頭部が顔から側頭部に向かって曲面状の丸みを帯びて見せる曲面化処理を施す（図９（ｅ）参照）。この曲面化処理では、例えば人物の耳の一部が頭部に隠れて見せるような処理が含まれる。そして、立体視画像の生成前に図９の処理が施された元画像８０（以下、「補正画像８０Ａ」ともいう）を用いて、立体視画像を生成する。
【００５９】
次に図１０を参照して、図９に示す処を終えた元画像を用いて生成される立体視画像の生成手順について説明する。
図１０（ａ）は、図９（ｅ）に示す補正処理後の元画像である補正画像８０Ａであり、前景領域と背景領域に異なる深度が付与されるとともに、背景領域中の低コントラスト領域であった部分が高コントラスト領域ＨＣＡに補正されている。
【００６０】
図１０（ｂ）に示すように、一枚の補正画像８０Ａを用いて、ステレオペア生成処理を行って、右目用画像８３Ａと左目用画像８３Ｂとを生成する。次に図１０（ｃ）に示すように、右目用画像８３Ａと左目用画像８３Ｂをそれぞれレンズ配列方向ＬＸにレンズ数「Ｍ」でＭ分割する短冊化処理を行う。ここで、この短冊化処理では、前処理として各画像８３Ａ，８３Ｂをレンズ配列方向ＬＸに１／Ｎ倍に圧縮し、圧縮後の各画像８３Ａ，８３Ｂに対してレンズ配列方向ＬＸにＭ分割する短冊化処理を施す。この短冊化処理により、複数本の線状像Ａ１，Ａ２，…，ＡＭに分割された右目用画像８４Ａと、複数本の線状像Ｂ１，Ｂ２，…，ＢＭに分割された左目用画像８４Ｂとが生成される。
【００６１】
そして、図１０（ｄ）に示すように、右目用画像８４Ａを構成する複数本の線状像Ａ１，Ａ２，…，ＡＭと、左目用画像８４Ｂを構成する複数本の線状像Ｂ１，Ｂ２，…，ＢＭとを、交互に配置して合成する合成処理を行って、立体視画像８５を生成する。このとき、図１１に示すように、右目用画像８４Ａの短冊化された線状像Ａ１，Ａ２，…，ＡＭと、左目用画像８４Ｂの短冊化された線状像Ｂ１，Ｂ２，…，ＢＭとを、Ｎ個（本例では２個）ずつ順番に、つまりＮ＝２の本例では交互に順番に配置する。こうして図１１の下段に示すように、各線状像を、レンズ配列方向ＬＸに、線状像Ａ１，Ｂ１，Ａ２，Ｂ２，…，ＡＭ，ＢＭの順番に配置する。これにより図１０（ｄ）に示す立体視画像８５（立体視画像データ）を生成する。この立体視画像８５には、立体視可能な前景画像８１Ｂと、立体視可能な背景画像８２Ｂとが含まれる。そして、携帯端末２０がこの立体視画像データ８５を印刷装置４０に送信して、印刷装置４０が立体視画像データ８５に基づく立体視画像５６をレンズシート５０に印刷することで、図６に示す立体視画像シート５５が作製される。
【００６２】
次に、図１２〜図１３を参照して補正処理の詳細を説明する。
図１２示す背景画像８２Ａを、グレイスケール化して画素が濃度の値をもつグレイスケール画像である背景画像８２Ｇ（背景濃度画像）とする。そして、グレイスケールの背景領域８２を、横方向（レンズ配列方向ＬＸ）にｐ及び縦方向（レンズ長手方向ＬＹ）にｑ分割し、例えば一辺がΔｘの正方形で区画された複数（ｐ×ｑ；但しｐ，ｑは自然数で、少なくとも一方が２以上）の分割領域８６を取得する。ここで、分割領域８６を、位置を特定できる添字を付して、分割領域Ｄｉｊ（ｉ＝１〜ｐ，ｊ＝１〜ｑ）とする。そして、各分割領域Ｄｉｊについて、レンズ配列方向ＬＸにとった空間座標ｘの範囲ｘi-1〜ｘi（ｉ＝１〜ｐ）毎に、コントラスト情報の一例として、濃度の空間周波数を取得する。例えば図１３（ａ），（ｂ）に示すように、空間座標ｘの範囲ｘi-1〜ｘi毎に、濃度の空間周波数が取得される。このように本例では、立体視画像が印刷されるレンズシート５０を構成するレンズ層５２（レンチキュラーレンズ）の凸レンズ５３の配列方向（レンズ配列方向ＬＸ）における空間周波数を取得する。
【００６３】
そして、取得した濃度の空間周波数の波形から、分割領域Ｄｉｊ毎に周波数及び振幅を取得する。この周波数及び振幅は、例えば分割領域Ｄｉｊ内の平均周波数及び平均振幅とする。周波数及び振幅が共に各々の閾値以下であった場合、その分割領域Ｄｉｊを低コントラストと判定する。例えば図１３（ａ）に示すように、濃度の周波数が閾値（周波数閾値）以下の低周波数で且つ振幅が閾値（振幅閾値）以下の振幅ＡＭ１である場合、その分割領域Ｄｉｊを低コントラストと判定する。
【００６４】
また、図１３（ｂ）に示すように、濃度の周波数が閾値を超える高周波数で且つ振幅が閾値を超える振幅ＡＭ２である場合、その分割領域Ｄｉｊを低コントラストではないと判定する。こうして図１２に示す背景画像８２Ｇの分割領域Ｄｉｊ毎に低コントラストであるか否かを判定し、低コントラストと判定された分割領域Ｄｉｊ（図１２の例ではドット領域）を全て合わせた領域を、前述の低コントラスト領域ＬＣＡとして検出する。
【００６５】
また、低コントラスト領域ＬＣＡの検出方法は、図１４に示す方法でもよい。図１２に示すグレイスケール化後の背景画像８２Ｇを横方向（レンズ配列方向ＬＸ）には分割せず、縦方向（レンズ長手方向ＬＹ）にのみ複数分割する。つまり、背景画像８２Ｇを、レンズ長手方向ＬＹに複数分割することで、背景画像８２Ｇのレンズ配列方向ＬＸの全域（０〜ｘｅ）を一辺とする複数の短冊状の分割領域に分割する。そして、図１４（ａ）に示すように、空間座標ｘの範囲０〜ｘｅで、濃度の空間周波数の波形Ｆ１を取得する。この空間周波数の波形Ｆ１をハイパスフィルターに通すフィルター処理を行って、所定の閾値以下の低周波数成分を除去して、図１４（ｂ）に示す空間周波数の波形Ｆ２を取得する。この空間周波数の波形Ｆ２では、領域ＢＡ３（図１２参照）の範囲に高周波数が残り、他の範囲は値が０（零）となる。この場合、空間周波数の波形Ｆ２において、値が０（零）となる範囲０〜ｘａ，ｘｂ〜ｘｅを低コントラストであると判定し、所定の閾値より大きな高周波数が残る範囲ｘａ〜ｘｂを低コントラストではないと判定する。
【００６６】
また、図１４（ａ）に示す空間周波数の波形Ｆ１をローパスフィルターに通すフィルター処理を行って、所定の閾値よりも高い高周波数成分を除去して空間周波数の波形Ｆ３を取得し、この空間周波数の波形Ｆ３に基づいて低コントラスト領域ＬＣＡを検出することもできる。この空間周波数の波形Ｆ３は、領域ＢＡ３（図１２参照）の範囲ｘａ〜ｘｂで０（零）をとり、他の範囲では低周波数成分が残り、０（零）より大きな値をとる。この場合、空間周波数の波形Ｆ３において、０（零）又は０に近い値の所定閾値未満の値をとる範囲ｘａ〜ｘｂを低コントラストではないと判定し、所定閾値以上の値をとる範囲０〜ｘａ，ｘｂ〜ｘｅを低コントラストであると判定する。
【００６７】
次に、図１５及び図１６を参照して、補正処理に用いる画像用補正マップについて説明する。
図１５に示す画像用補正マップは、画像の背景領域のコントラストを高くするようにＲＧＢ値を補正する補正処理に用いるものである。本例では、補正処理として、トーンカーブ補正処理を行う。図１５に示す補正マップにおいて、横軸は補正前のＲＧＢ入力値（例えば２５６階調）であり、縦軸は補正後のＲＧＢ出力値（例えば２５６階調）である。なお、ＲＧＢ値が小さいほど明度が低くなる。そして、補正マップの図１５における実線及び二点鎖線で示されたトーンカーブＴＬは、図１５に一点鎖線で示すＲＧＢ入力値とＲＧＢ出力値とが等しくなる基準線ＳＬよりも、その接線が大きな傾きでカーブする高コントラスト化領域を有している。この高コントラスト化領域では、ＲＧＢ入力値範囲に対してＲＧＢ出力値がより広い範囲に出力され、コントラストが高く補正される。
【００６８】
図１５に示すトーンカーブＴＬは、予め設定した固定値としてもよいが、背景領域の色や濃度に応じてその都度設定してもよい。例えば背景領域のヒストグラム解析を行って、その解析で得られたピクセル数（度数）の高いＲＧＢ値の範囲を含むように高コントラスト化領域のＲＧＢ入力軸における位置及び範囲を選択してトーンカーブＴＬを設定してもよい。例えば背景として現れる「空の青色」、「海の青色」、「地面の茶色」、「草原の緑色」など背景中の主となる色のＲＧＢ入力値の範囲に高コントラスト化領域が設定される。
【００６９】
背景領域８２中の低コントラスト領域ＬＣＡの各画素のＲＧＢ値を、補正マップのトーンカーブＴＬに従って補正すると、各画素のＲＧＢ値が、ＲＧＢ入力値の入力範囲よりもＲＧＢ出力値の出力範囲の方が広くなるように補正される。この結果、低コントラスト領域ＬＣＡが補正前よりも高いコントラストに補正される。
【００７０】
また、図１６に示す補正マップを使用することもできる。図１６に示す補正マップでは、同図の例でＲＧＢ入力値の範囲の中央領域に設定された高コントラスト化領域において、トーンカーブにおけるＲＧＢ入力値に対するＲＧＢ出力値の変化率、つまりカーブ（曲線）の接線の傾きの変化率の異なる複数（ｎ本）のトーンカーブＴＬ１，ＴＬ２，…，ＴＬｎ（ｎは２以上の自然数）を設定している。複数本のトーンカーブＴＬ１，ＴＬ２，…，ＴＬｎのうち、低コントラスト領域のコントラストが低いほど、ＲＧＢ入力値に対するＲＧＢ出力値の変化率がより大きく（つまりカーブの立ち上がりがより急で）補正強度のより高いトーンカーブを選択する。なお、図１５，図１６に示す補正マップは、ＲＧＢに共通の１つでもよいし、色（赤（Ｒ）、緑（Ｇ）、青（Ｂ））毎に補正マップを用意し、ＲＧＢ各色でトーンカーブＴＬを使い分けてもよい。
【００７１】
また、図８に示す立体視画像において、凸レンズ５３の幅内のレンズ領域ＬＡは既知であり、レンズ領域ＬＡの幅方向の境界付近の端部（境界領域）の画素については補正処理を施さない。このため、レンズ領域ＬＡ内で端部は、補正処理が施される他の領域に比べぼけることになる。図８にハッチングを付したドットＨＤのように隣（同図で左端）のレンズ領域ＬＡに印刷されるべきドットが、こちら（同図で中央位置）のレンズ領域ＬＡ内に配置されたり、隣のレンズ領域ＬＡに印刷されたドットのにじみが、こちら（同図で中央位置）のレンズ領域ＬＡ内に配置されたりする場合がある。これらの場合でも、左目で画像を見るときに隣の右目用の画像の端（ドット）が見えても、その見えた端の部分はぼけるため、目立たなくなる。端部は、本例では図８における境界からドット１個分の範囲としているが、ドット２個分又は３個分の範囲としてもよい。この端部の範囲は、はみ出し量の最大量に少しのマージンを加えた距離に相当するドット数の範囲に設定することが望ましい。
【００７２】
次に図１７及び図１８等を参照して、画像処理装置を備える携帯端末２０の作用を説明する。なお、ユーザーが携帯端末２０のコンピューター６１にプログラムＰＲ１を実行させること、又はユーザーが印刷装置４０のコンピューター７１にプログラムＰＲ１を実行させること、あるいはユーザーが携帯端末２０の操作でサーバー３０にアクセスしてコンピューター３１にプログラムＰＲ１を実行させることで、立体視画像を生成できる。上記３つの方法のうちどれを選択しても、立体視画像生成処理の内容は基本的に同じなので、以下では、ユーザーが携帯端末２０のコンピューター６１にプログラムＰＲ１を実行させる例で、立体視画像生成処理について説明する。
【００７３】
ユーザーは、サーバー３０からダウンロードしたプログラムＰＲ１を予め携帯端末２０の不揮発性メモリー６８に記憶している。また、ユーザーは、立体視画像を生成する際の入力画像となる元画像データ８０を、携帯端末２０に入力又は携帯端末２０のカメラ機能で撮影することで、予め不揮発性メモリー６８に記憶している。立体視画像を生成する際は、ユーザーは、プログラムＰＲ１を起動させる。プログラムＰＲ１が起動されると、元画像の選択を要求されるので、ユーザーは携帯端末２０のタッチパネル操作等により所望の元画像データ８０を選択する。その後、ユーザーが立体視画像生成処理の開始を指示する操作を行うと、携帯端末２０内のコンピューター６１は、プログラムＰＲ１に基づき図１７に示す立体視画像生成処理を開始する。
【００７４】
まずステップＳ１１では、元画像を取得する。すなわち、コンピューター６１は、不揮発性メモリー６８から元画像８０の画像データを読み出して取得する。本例では、複数の視差画像を生成するための元画像８０を、「入力画像」の一例として入力する。
【００７５】
ステップＳ１２では、前景領域と背景領域とに分離する。本例では、コンピューター６１は、表示部２１に人物等の前景画像が存在する領域である前景領域を選択する旨のメッセージを表示する。ユーザーは、メッセージに従って携帯端末２０の画面に表示中の元画像に対して前景領域を選択する操作を行うことで、コンピューター６１に対して前景領域８１を指定する。ユーザーは、例えば図９（ａ）に示す人物等の対象物ＴＢ（前景領域８１）の輪郭に沿ってライン（外形線）を描く入力操作を行うことで、前景領域の輪郭の座標を指定する。この座標の指定により、コンピューター６１は前景領域８１を把握する。そして、コンピューター６１は、元画像８０を、把握した前景領域８１とそれ以外の背景領域８２とに分離する。この結果、元画像８０は、前景画像８１Ａと背景画像８２Ａとに分割される（図９（ｂ）参照）。なお、本例では、ステップＳ１２の処理を実行するコンピューター６１により、「分離処理部」の一例が構成される。
【００７６】
ステップＳ１３では、背景領域のコントラスト情報を取得する。すなわち、コンピューター６１は、背景領域８２における低コントラスト領域ＬＣＡの検出に用いるコントラスト情報を取得する。本例では、コントラスト情報の一例として空間周波数を取得する。なお、本例では、ステップＳ１３の処理を実行するコンピューター６１により「取得部」及び「空間周波数取得部」の一例が構成されるとともに、コンピューター６１が実行するステップＳ１３により「取得ステップ」の一例が構成される。
【００７７】
ステップＳ１４では、背景領域に低コントラスト領域が存在するか否かを判断する。すなわち、コンピューター６１は、コントラスト情報を用いて背景領域に低コントラスト領域が存在するか否かを判断する。例えば図９（ｂ）に示すように、背景領域８２に低コントラスト領域が存在すればステップＳ１５に進み、低コントラスト領域が存在しなければステップＳ１６に進む。なお、本例では、ステップＳ１４の処理を実行するコンピューター６１により「低コントラスト領域検出部」の一例が構成される。
【００７８】
ステップＳ１５では、低コントラスト領域のコントラストを高くする補正処理を実行する。この結果、図９（ｂ）に示す低コントラスト領域ＬＣＡが、図９（ｃ）に示すような高コントラスト領域ＨＣＡに補正される。これらステップＳ１３〜Ｓ１５の処理の詳細は、図１８に示す補正ルーチンとして後述する。なお、本例では、ステップＳ１４及びＳ１５の処理を実行するコンピューター６１により「補正部」の一例が構成されるとともに、コンピューター６１が実行するステップＳ１４及びＳ１５により「補正ステップ」の一例が構成される。
【００７９】
ステップＳ１６では、前景領域と背景領域に深度を付与する。すなわち、コンピューター６１は、図９（ｄ）に示すように、背景領域に前景領域よりも深い深度を設定する。なお、このときの背景領域にはプラスの深度を設定し、この背景領域の深度が前景領域の深度よりも深い（プラス側に大きい）値に設定される限りにおいて、前景領域の深度は、必ずしもプラスに限らず、零でもよいしマイナスでもよい。なお、本例では、ステップＳ１６の処理を実行するコンピューター６１により、「深度付与部」の一例が構成される。
【００８０】
ステップＳ１７では、背景領域の穴埋め処理を行う。すなわち、コンピューター６１は、前景画像と背景画像との分離によりできた穴ＨＬ（図９（ｂ）〜（ｄ）参照）を、図９（ｅ）に示すように埋める穴埋め処理を含む後処理を行う。これは深度を付与することで背景画像の穴ＨＬの部分が立体視した際に斜めから見えるため、この穴ＨＬを埋める穴埋め処理が行われる。ここで、穴埋め処理は、背景画像における穴ＨＬの周辺の画像を用いて複写して埋める処理を行う。このため、穴ＨＬの周辺の画像が高コントラスト領域ＨＣＡであれば、高コントラストの画像で穴埋め処理が行われる。このため、前景画像の周囲及び裏側には高コントラスト領域ＨＣＡが形成される。
【００８１】
ステップＳ１８では、前景領域の曲面化処理を行う。すなわち、コンピューター６１は、後処理の一つとして、人物等からなる対象物ＴＢを表わす前景画像８１Ａの左右側部に奥行き方向に向かって曲がる丸みを付与して、例えば人物の頭部が顔から側頭部に向かって曲面状の丸みを帯びたように見せる曲面化処理を施す（図９（ｅ）参照）。こうして図９（ｅ）に示す補正画像８０Ａ（補正処理後の元画像）が得られる。
【００８２】
ステップＳ１９では、左目用画像と右目用画像を生成する。すなわち、コンピューター６１は、一枚の補正画像８０Ａを用いて、ステレオペア生成処理を行って、右目用画像８３Ａと左目用画像８３Ｂとを生成する（図１０（ｂ）参照）。こうしてコンピューター６１は、右目用画像８３Ａと左目用画像８３Ｂを含む複数の前画像を生成する。なお、本例では、ステップＳ１９の処理を実行するコンピューター６１により、「前画像生成部」の一例が構成される。
【００８３】
ステップＳ２０では、立体視画像を生成する。すなわち、コンピューター６１は、図１０（ｃ）に示すように、右目用画像８３Ａと左目用画像８３Ｂをそれぞれレンズ配列方向ＬＸにレンズ数「Ｍ」でＭ分割する短冊化処理を行う。ここで、この短冊化処理では、前処理として各画像８３Ａ，８３Ｂをレンズ配列方向ＬＸに１／Ｎ倍に圧縮し、圧縮後の各画像８３Ａ，８３Ｂに対してレンズ配列方向ＬＸにＭ分割する短冊化処理を施す。この短冊化処理により、右目用画像８３Ａが複数本の線状像Ａ１，Ａ２，…，ＡＭに分割され、左目用画像８４Ｂが複数本の線状像Ｂ１，Ｂ２，…，ＢＭに分割される。
【００８４】
そして、図１０（ｄ）に示すように、右目用画像８４Ａを構成する複数本の線状像Ａ１，Ａ２，…，ＡＭと、左目用画像８４Ｂを構成する複数本の線状像Ｂ１，Ｂ２，…，ＢＭとを、交互に配置して合成する合成処理を行って、立体視画像８５を生成する。このとき、図１１に示すように、右目用画像８４Ａの短冊化された線状像Ａ１，Ａ２，…，ＡＭと、左目用画像８４Ｂの短冊化された線状像Ｂ１，Ｂ２，…，ＢＭとを、Ｎ個（本例では２個）ずつ順番（Ｎ＝２の本例では交互）に配置する。こうして図１１の下段に示すように、各線状像を、レンズ配列方向ＬＸに、線状像Ａ１，Ｂ１，Ａ２，Ｂ２，…，ＡＭ，ＢＭの順番に配置する。これにより図１０（ｄ）に示す立体視画像８５（立体視画像データ）を生成する。なお、本例では、ステップＳ１６，Ｓ１９及びＳ２０の処理を実行するコンピューター６１により、補正処理後の背景領域を含む少なくとも一つの画像を用いて立体視画像を生成する「画像生成部」及び「立体視画像生成部」の一例が構成される。また、コンピューター６１が実行するステップＳ１４及びＳ１５により「画像生成ステップ」の一例が構成される。
【００８５】
次に図１８を参照して、ステップＳ１３〜Ｓ１５においてコントラスト情報に基づいて行われる補正処理の詳細を説明する。
ステップＳ３１では、背景領域の低解像度化処理を行う。すなわち、コンピューター６１は、背景領域の解像度を所定解像度に低くする低解像度化処理を行う。本例では、低解像度化処理の一例として、背景領域を所定倍率に縮小する縮小処理を行う。また、所定解像度（低解像度）は、印刷モードに応じて決まる印刷解像度と同じであってもよいが、印刷解像度と関係なく、その後のコントラスト情報取得処理等の処理負担を軽減できる所定の解像度とする。なお、本例では、ステップＳ３１の処理を実行するコンピューター６１により、「低解像度処理部」の一例が構成される。
【００８６】
ステップＳ３２では、背景領域のグレイスケール化処理を行う。すなわち、コンピューター６１は、背景領域８２の各画素の例えばＲＧＢ値を既知の演算式を用いて濃度値に変換し、カラーの背景画像８２Ａをグレイスケールの背景画像８２Ｇ（図１２参照）に変換する。なお、本例では、ステップＳ３２の処理を実行するコンピューター６１により、「グレースケール化処理部」の一例が構成される。
【００８７】
ステップＳ３３では、背景領域を複数分割する。すなわち、コンピューター６１は、グレイスケールの背景領域８２を、図１２に示すように、レンズ配列方向ＬＸにｐ分割及びレンズ長手方向ＬＹにｑ分割し、複数（ｐ×ｑ）の分割領域８６（分割領域Ｄｉｊ）を取得する。ここで、分割方法は、ｐ≧２且つｑ≧２（図１２の例）でもよいし、ｐ＝１且つｑ≧２でもよい。なお、本例では、ステップＳ３３の処理を実行するコンピューター６１により、「分割処理部」の一例が構成される。
【００８８】
ステップＳ３４では、分割領域毎に空間周波数を取得する。コンピューター６１は、各分割領域Ｄｉｊについて、空間座標ｘがｘi-1〜ｘi（ｉ＝１〜ｐ）の範囲毎に濃度の空間周波数を取得する。例えば図１３（ａ），（ｂ）に示すように、空間座標ｘがｘi-1〜ｘiの範囲毎に、濃度の空間周波数を取得する。このように本例では、コントラスト情報の一例として空間周波数を取得する。なお、本例では、ステップＳ３４の処理を実行するコンピューター６１により「取得部」及び「空間周波数取得部」の一例が構成され、ステップＳ３４により「取得ステップ」の一例が構成される。
【００８９】
ステップＳ３５では、空間周波数及び振幅が閾値以下の分割領域が存在するか否かを判定する。この判定により、背景領域８２中の低コントラスト領域ＬＣＡを検出する。コンピューター６１は、取得した濃度の空間周波数の波形から、分割領域Ｄｉｊ毎に周波数及び振幅を取得する。そして、例えば図１３（ａ）に示すように、濃度の周波数が閾値以下の低周波数で且つ振幅が閾値以下の振幅ＡＭ１である場合、その分割領域Ｄｉｊを低コントラスト領域と判定する。また、図１３（ｂ）に示すように、濃度の周波数が閾値を超える高周波数で且つ振幅が閾値を超える振幅ＡＭ２である場合、その分割領域Ｄｉｊを低コントラスト領域ではないと判定する。また、背景画像８２Ｇをレンズ長手方向ＬＹにのみ複数分割し、図１４（ａ）に示すように、空間座標ｘが０〜ｘｅの範囲で、濃度の空間周波数の波形Ｆ１を取得する。この空間周波数の波形Ｆ１にハイパスフィルター処理を行って取得した図１４（ｂ）に示す空間周波数の波形Ｆ２において、値が０（零）又は０に近い値の所定閾値未満となる範囲０〜ｘａ，ｘｂ〜ｘｅを低コントラストであると判定する。また、空間周波数の波形Ｆ２において、所定の閾値（周波数閾値）を超える高周波数が残り且つその範囲における空間周波数の波形の振幅が所定の閾値（振幅閾値）よりも大きければ、その範囲ｘａ〜ｘｂを低コントラスト領域ではないと判定する。但し、図１４（ｂ）において、所定の閾値を超える高周波数が残っても、その高周波数が残る範囲における波形の振幅が所定の閾値（振幅閾値）以下であれば、低コントラスト領域であると判定する。
【００９０】
また、図１４（ａ）に示す空間周波数の波形Ｆ１にローパスフィルター処理を行って取得した図１４（ｃ）に示す空間周波数の波形Ｆ３において、値が０（零）又は０に近い値の所定閾値以上となる範囲０〜ｘａ，ｘｂ〜ｘｅを低コントラスト領域であると判定する。また、空間周波数の波形Ｆ３において、所定の閾値を超える高周波数が残り且つその範囲における空間周波数の波形Ｆ３の振幅が所定の閾値（振幅閾値）よりも大きければ、その範囲ｘａ〜ｘｂを低コントラスト領域ではないと判定する。但し、所定の閾値を超える低周波数の波形Ｆ３が残り、且つその波形Ｆ３の振幅が所定の閾値（振幅閾値）を超えれば、低コントラスト領域ではないと判定してもよい。なお、低コントラスト領域の判定（検出）には、空間周波数の波形の周波数と振幅のうち一方のみを用いてもよい。
【００９１】
こうして図１２に示す背景画像８２Ｇの分割領域Ｄｉｊ毎に低コントラストであるか否かを判定し、低コントラストと判定された分割領域Ｄｉｊ（図１２の例ではドット領域）を全て合わせた領域を、低コントラスト領域ＬＣＡ（図９（ｂ）参照）として検出する。また、図１４に示す方法では、分割領域Ｄｉｊ毎に低コントラスト領域であると判定した範囲０〜ｘａ，ｘｂ〜ｘｅの全てを合わせた領域を、低コントラスト領域ＬＣＡとして検出する。なお、低コントラスト領域ＬＣＡの検出は、グレイスケール化した背景領域に対して行うではなく、カラーの背景領域に対して行ってもよい。また、低解像度処理を行わず、低コントラスト領域ＬＣＡを検出してもよい。すなわち、低解像度処理とグレイスケール化処理とのうち一方を選択して実施するのが好ましいが、両処理を共に行わずに、低コントラスト領域ＬＣＡを検出してもよい。なお、本例では、ステップＳ３５の処理を実行するコンピューター６１により、「低コントラスト領域検出部」の一例が構成される。
【００９２】
ステップＳ３６では、空間周波数に応じたコントラストに補正する。すなわち、コンピューター６１は、ＲＡＭ６７から低解像度化及びグレイスケール化が施されていない背景領域８２の画像データを読み出し、例えば図１６に示す画像用補正マップを参照して、その背景領域８２中の低コントラスト領域ＬＣＡの画素のＲＧＢ値を補正する補正処理を行う。このとき、複数のトーンカーブＴＬ１〜ＴＬ４のうち、空間周波数に応じて、空間周波数が小さいほど（つまりコントラストが低いほど）、補正強度のより高い（つまりカーブの立ち上がりのより急な）トーンカーブを選択し、選択したトーンカーブに従って低コントラスト領域ＬＣＡの画素値をＲＧＢ入力値からＲＧＢ出力値に変換する補正処理を行う。この場合、分割領域間で共通のトーンカーブを使用してもよいし、分割領域間で使用するトーンカーブを異ならせてもよい。なお、本例では、ステップＳ３６の処理を実行するコンピューター６１により「補正部」の一例が構成され、ステップＳ３６により「補正ステップ」の一例が構成される。
【００９３】
また、背景領域に合わせて補正マップをその都度設定する場合は、例えば図１５に実線及び二点鎖線で示す高コントラスト化領域の異なる複数のトーンカーブＴＬのうち、背景領域のヒストグラム解析で得られた低コントラスト領域の主たる色に応じた１つを選択する。そして、その選択したトーンカーブＴＬに従って補正処理を行う。
【００９４】
また、図１９に示す補正処理ルーチンを用いることもできる。この補正処理ルーチンでは、ステップＳ４１，Ｓ４２は、図１８におけるステップＳ３１，３２と同様の処理であり、この例では、ステップＳ４３において、背景画像の空間周波数を取得する。なお、本例では、ステップＳ４３の処理を実行するコンピューター６１により「取得部」及び「空間周波数取得部」の一例が構成され、ステップＳ４３により「取得ステップ」の一例が構成される。
【００９５】
次のステップＳ４４では、周波数及び振幅が各々の閾値以下の領域が存在するか否かを判定する。この判定により、低コントラスト領域ＬＣＡの有無を検出する。例えば図１４（ａ）に示すように、空間座標ｘが０〜ｘｅの範囲で、濃度の空間周波数の波形Ｆ１を取得する。この空間周波数の波形Ｆ１に、図１８のステップＳ３５の処理と同様に、ハイパスフィルター処理を行って取得した図１４（ｂ）に示す空間周波数の波形Ｆ２、又は、ローパスフィルター処理を行って取得される図１４（ｃ）に示す空間周波数の波形Ｆ３に基づいて、周波数及び振幅の各々の閾値と比較し、低コントラスト領域ＬＣＡを検出する。この検出方法はステップＳ３５の処理と同様である。
【００９６】
このステップＳ４４において、周波数及び振幅が各々の閾値以下の領域が存在すれば、ステップＳ４５に進む。一方、周波数及び振幅が各々の閾値以下の領域が存在しなければ、当該ルーチンを終了する。なお、本例では、ステップＳ４４の処理を実行するコンピューター６１により、「低コントラスト領域検出部」の一例が構成される。
【００９７】
ステップＳ４５では、空間周波数の波形の振幅に応じてコントラストを補正する。すなわち、コンピューター６１は、ＲＡＭ６７から低解像度化及びグレイスケール化が施されていない背景領域８２の画像データを読み出し、例えば図１６に示す画像用補正マップを参照して、この背景領域８２中の低コントラスト領域ＬＣＡの各画素のＲＧＢ値を補正する補正処理を行う。このとき、複数のトーンカーブＴＬ１〜ＴＬ４のうち、空間周波数の波形の振幅に応じて、振幅が小さいほど（つまりコントラストが低いほど）、補正強度のより高いトーンカーブを選択し、選択したトーンカーブに従って低コントラスト領域ＬＣＡの画素値をＲＧＢ入力値からＲＧＢ出力値に変換する補正処理を行う。この場合、低コントラスト領域ＬＣＡが複数存在する場合、低コントラスト領域ＬＣＡ間で共通のトーンカーブを使用してもよいし、低コントラスト領域ＬＣＡ間で使用するトーンカーブを異ならせてもよい。また、背景領域に合わせて補正マップをその都度設定する場合は、例えば図１５に実線及び二点鎖線で示す高コントラスト化領域の異なる複数のトーンカーブＴＬのうち、背景領域のヒストグラム解析で得られた低コントラスト領域の主たる色に応じた１つを選択する。そして、その選択したトーンカーブＴＬに従って補正処理を行う。なお、本例では、ステップＳ４５の処理を実行するコンピューター６１により「補正部」の一例が構成され、ステップＳ４５により「補正ステップ」の一例が構成される。
【００９８】
このように図１８又は図１９で示される補正処理により、低コントラスト領域ＬＣＡのコントラストが高く補正された背景画像８２Ａを含む１つの画像を用いて立体視画像が生成される。そして、携帯端末２０がこの立体視画像データ８５を印刷装置４０に送信することで、印刷装置４０が立体視画像データ８５に基づく立体視画像５６をレンズシート５０（図６参照）に印刷する。この結果、図６に示す立体視画像シート５５が作製される。
【００９９】
立体視画像シート５５をレンチキュラーレンズからなるレンズ層５２を通して立体視すると、対象物ＴＢに対して深度が深く設定された背景領域８２は、適度なコントラストが確保されていることから、設定どおりの深い深度に位置するように見え、奥行き感が確保される。この結果、レンズシート５０を立体視した際に、対象物ＴＢが立体的に見える。
【０１００】
以上詳述した第１実施形態によれば、以下に示す効果を得ることができる。
（１）取得部が取得した背景領域のコントラスト情報に基づき背景領域にコントラストが規定値以下の低コントラスト領域がある場合は、低コントラスト領域にコントラストを高くする補正処理を施す。そして、補正処理後の背景領域を含む一つの補正画像８０Ａを用いて立体視画像８５が生成される。よって、元画像８０の背景領域８２の全体又は一部にコントラストの比較的低い部分が存在しても、立体視画像を立体視したときに背景領域８２に適度な奥行き感を付与でき、補正処理をしない場合に比べ画像の立体感を高めることができる。
【０１０１】
（２）背景領域８２を複数の領域に分割した分割領域毎のコントラスト情報に基づきコントラストが所定値以下となる分割領域が存在すれば、その分割領域に補正処理が施される。よって、背景領域８２のうちコントラストの低い領域に限定して補正処理が施されるので、背景領域８２においてコントラストが低くない部分に不要な補正処理が施されることを回避できる。
【０１０２】
（３）空間周波数取得部が取得した背景領域の空間周波数が所定値以下となる低コントラスト領域ＬＣＡが存在する場合、この低コントラスト領域ＬＣＡに補正処理が施される。よって、立体視画像を立体視したときに背景領域８２に奥行き感が生じ、補正処理をしない場合に比べ一層の立体感を得ることができる。よって、背景領域８２から低コントラスト領域ＬＣＡをより適切に抽出することができ、立体視した際に画像の立体感を適切に高めることができる。
【０１０３】
（４）背景領域８２を複数の領域に分割した分割領域８６（Ｄｉｊ）毎に空間周波数の波形を取得し、空間周波数が所定値以下となる分割領域８６が存在すれば、分割領域８６に補正処理が施される。よって、背景領域８２から低コントラスト領域をより適切に抽出することができ、立体視した際に画像の立体感を高めることができる。
【０１０４】
（５）立体視画像５６が印刷されるレンズシート５０を構成するレンズ層５２（レンチキュラーレンズ）の凸レンズ５３の配列方向ＬＸにおける空間周波数を取得する。このため、立体視したときに背景領域８２に奥行き感を付与するうえで効果の低い凸レンズ５３の長手方向ＬＹにコントラストの低い低コントラスト領域は取得せず、奥行き感を付与するうえで効果の高い凸レンズ５３の配列方向ＬＸにコントラストの低い低コントラスト領域ＬＣＡを取得できる。よって、奥行き感を付与するうえで効果の高い方向にコントラストが低い領域が存在すれば、その領域にコントラストを高める補正処理が施され、奥行き感を付与するうえで効果の低いレンズ長手方向ＬＹにはコントラストが低くてもコントラストを高める補正処理が施されない。従って、元画像に不要な加工又は効果の少ない加工が加えられることを少なく抑えつつ、レンズ配列方向ＬＸに適度なコントラストを付与できる。
【０１０５】
（６）補正部は、背景領域８２の凸レンズ５３に対応するレンズ領域ＬＡにおける幅方向の端部では、当該端部以外の部分に比べ画像をぼかす。特に、補正部は、背景領域８２のレンズ領域ＬＡにおける幅方向の端部では、補正処理を施さないことにより実現する。背景領域８２におけるレンズ領域ＬＡの幅方向の端部では、隣のレンズ領域ＬＡの印刷のドットやにじみがはみ出るなどの虞があるが、補正処理が施されないので、端部以外のコントラストが高く補正される部分に比べ相対的に画像がぼける。よって、立体視した際に右目で右目用画像を見たときに端部の印刷のはみ出しにより左目用画像の一部が見えても、その見えた一部をぼかすことで相対的に目立たなくさせることができる。
【０１０６】
（７）取得部は、低解像度処理部による処理が施された低解像度の背景領域８２からコントラスト情報（本例では空間周波数）を取得する。よって、取得部がコントラスト情報を取得する際の処理負担の軽減及び処理速度の高速化を実現できる。
【０１０７】
（８）空間周波数の波形の周波数に応じてコントラストを高くする補正強度を変える構成（図１８）とした場合、背景領域８２に適度なコントラストを付与することができる。
（９）空間周波数の波形の振幅に応じてコントラストを高くする補正強度を変える構成（図１９）とした場合、背景領域８２に適度なコントラストを付与することができる。
【０１０８】
（１０）補正部は、補正処理としてトーンカーブ補正処理を行う。よって、比較的簡単な処理で、背景領域８２中の低コントラスト領域ＬＣＡのコントラストを適度に高くすることができる。よって、レンズ層５２（レンチキュラーレンズ）を通して立体視画像５６を立体視した際に、背景領域８２に適度な奥行き感を付与できる。
【０１０９】
（１１）画像生成部は、分離処理部と、深度付与部と、前画像生成部と、立体視画像生成部とを備え、取得部及び補正部は、入力画像、背景画像及び前画像のうちの少なくとも一つを処理の対象とする。特に本例では、背景画像８２Ａを処理の対象とした。このため、背景画像８２Ａのみに補正処理を施すことができる。例えば前景画像８１Ａ中の対象物ＴＢが補正処理により実際と異なる画像に加工されることを回避できる。
【０１１０】
（１２）コンピューター６１が実行する画像処理用のプログラムＰＲ１は、取得ステップと、補正ステップと、画像生成ステップとを備えるので、コンピューター６１がプログラムＰＲ１を実行して立体視画像生成処理を行うことにより、上記（１）〜（１１）の効果を得ることができる。
【０１１１】
（第２実施形態）
次に図２０及び図２１を参照して、第２実施形態について説明する。前記第１実施形態では、低コントラスト領域の検出に用いるコントラスト情報の一例として空間周波数を用いたが、本実施形態では、コントラスト情報の一例としてヒストグラムを用いる。この点が異なるだけなので、第１実施形態と共通の構成については説明を省略し、特に異なる部分のみを説明する。
【０１１２】
図１７に示す立体視画像生成処理は基本的に第１実施形態と同様である。以下では、図２０及び図２１を参照して、本実施形態におけるステップＳ１３〜Ｓ１５（図１７）における取得処理及び補正処理等の詳細を説明する。
【０１１３】
まず図２１におけるステップＳ５１〜Ｓ５３の処理は、図１８におけるステップＳ３１〜Ｓ３３の処理と同様である。すなわち、コンピューター６１は、背景領域の低解像度処理（Ｓ５１）、背景領域のグレイスケール処理（Ｓ５２）、背景領域の複数分割（Ｓ５３）を行う。
【０１１４】
ステップＳ５４では、分割領域毎にヒストグラムを取得する。すなわち、コンピューター６１は、分割領域毎に濃度値毎に画素数（ピクセル数）を計数して、コントラスト情報の一例として、分割領域毎に濃度のヒストグラムを生成し、例えば図２０（ａ）〜（ｃ）に示すようなヒストグラムＨを取得する。図２０に示すように、ヒストグラムＨは、横軸に濃度、縦軸にピクセル数Ｎ（つまり度数）で表わされる。なお、本例では、ステップＳ５６の処理を実行するコンピューター６１により「取得部」及び「ヒストグラム取得部」の一例が構成され、ステップＳ３４により「取得ステップ」の一例が構成される。
【０１１５】
ステップＳ５５では、度数（ピクセル数Ｎ）が閾値Ｎｏ以下の分割領域が存在するか否かを判断する。度数（ピクセル数Ｎ）が閾値Ｎｏ以下の分割領域が存在すれば、ステップＳ５６に進み、度数が閾値Ｎｏ以下の分割領域が存在しなければ、当該ルーチンを終了する。本例では、図２０に示すように、低コントラスト領域の判定のためにピクセル数の閾値Ｎｏを設定する。図２０（ａ），（ｃ）に示すように、ヒストグラムＨの度数（ピクセル数）が閾値Ｎｏを超えれば、低コントラストであると判定する。また、図２０（ｂ）に示すように、ヒストグラムＨの度数が閾値Ｎｏを超えなければ、低コントラストではないと判定する。なお、図２０（ｃ）に示すような濃度の分布する範囲が所定値未満と非常に狭いピークが現れた場合は、補正処理をしても、適度な高さのコントラストを付与できない可能性が高い。この場合、コンピューター６１は、表示部２１に補正不能の旨のメッセージを表示し、元画像の交換を促したり、そのまま続行してよいかどうかの指示を待ったりする。
【０１１６】
ステップＳ５６では、度数に応じたコントラストに補正する。すなわち、コンピューター６１は、ＲＡＭから低解像度化及びグレイスケール化が施されていない背景領域８２の画像データを読み出し、この背景領域８２における低コントラスト領域ＬＣＡに対して、例えば図１６に示す画像用補正マップを参照して、画素のＲＧＢ値を補正する補正処理を行う。このとき、度数が大きいほど（つまりコントラストが低いほど）、複数のトーンカーブＴＬ１〜ＴＬ４のうち補正強度のより高いトーンカーブを選択し、選択したトーンカーブに従ってＲＧＢ画素値を入力値から出力値に変換する補正処理を行う。この場合、分割領域間で共通のトーンカーブを使用してもよいし、分割領域間で使用するトーンカーブを異ならせてもよい。なお、本例では、ステップＳ５６の処理を実行するコンピューター６１により「補正部」の一例が構成され、ステップＳ５６により「補正ステップ」の一例が構成される。
【０１１７】
また、背景領域に合わせて画像用補正マップをその都度設定する場合は、ＲＧＢ入力値に対するコントラストの補正強度の高くなる範囲が異なる例えば図１５に実線及び二点鎖線で示すトーンカーブＴＬのうち、背景領域のヒストグラム解析で得られた低コントラスト領域の主となる色に応じた１つを選択する。そして、その選択したトーンカーブＴＬを参照して補正処理を行う。
【０１１８】
以上詳述した第２実施形態によれば、第１実施形態と同様の効果（１），（２），（４）〜（７），（１０）〜（１２）を得ることができる他、以下に示す効果を更に得ることができる。
【０１１９】
（１３）コントラスト情報としてヒストグラムＨを取得し、ヒストグラムＨを用いるので、低コントラスト領域ＬＣＡを適切に検出できる。
（１４）取得部を、背景領域８２のヒストグラムを取得するヒストグラム取得部とした。そして、補正部は、ヒストグラムの度数が所定値以上となる低コントラスト領域が存在する場合は、この低コントラスト領域に補正処理を施す。よって、立体視画像を立体視したときに背景領域８２に奥行き感が生じ、補正処理をしない場合に比べ一層の立体感を得ることができる。
【０１２０】
（１５）取得部を、背景領域８２を複数の領域に分割してなる分割領域８６毎に、濃度のヒストグラムＨを取得するヒストグラム取得部とした。そして、補正部は、ヒストグラムＨの度数が所定値以上となる低コントラスト領域ＬＣＡが存在する場合は、この低コントラスト領域ＬＣＡに補正処理が施される。よって、背景領域８２から低コントラスト領域ＬＣＡをより適切に抽出することができ、立体視した際に画像の立体感を効果的に高めることができる。
【０１２１】
（第３実施形態）
次に図２２を参照して、第３実施形態について説明する。この実施形態では、低コントラスト領域の色に応じてコントラストの補正強度を変化させる。この点が異なるだけなので、第１及び第２実施形態と共通の構成については説明を省略し、特に異なる部分のみを説明する。
【０１２２】
図１７に示す立体視画像生成処理は基本的に第１実施形態と同様である。以下では、図２２を参照して、本実施形態におけるステップＳ１３〜Ｓ１５（図１７）における取得処理及び補正処理の詳細を説明する。
【０１２３】
まず図２２におけるステップＳ６１，Ｓ６２の処理は、図２１におけるステップＳ５１，Ｓ５３の処理と同様である。すなわち、コンピューター６１は、背景領域の低解像度処理（Ｓ６１）、背景領域の複数分割（Ｓ６２）を行う。つまり、本例では、グレイスケール処理は行われず、ステップＳ６２では、カラーの背景画像を複数の分割領域に分割する。
【０１２４】
ステップＳ６３では、分割領域毎にヒストグラムを取得する。すなわち、コンピューター６１は、分割領域毎に濃度値毎に画素数（ピクセル数）を計数して、コントラスト情報の一例としてヒストグラムを生成し、例えば図２０（ａ）〜（ｃ）に示すようなヒストグラムＨを取得する。なお、本例では、ステップＳ６３の処理を実行するコンピューター６１により「取得部」及び「ヒストグラム取得部」の一例が構成され、ステップＳ６３により「取得ステップ」の一例が構成される。
【０１２５】
ステップＳ６４では、度数（ピクセル数Ｎ）が閾値Ｎｏ以下の分割領域が存在するか否かを判断する。度数が閾値Ｎｏ以下の分割領域が存在すれば、ステップＳ６５に進み、度数が閾値Ｎｏ以下の分割領域が存在しなければ、当該ルーチンを終了する。図２０（ａ），（ｃ）に示すように、ヒストグラムＨの度数（度数分布曲線）が閾値Ｎｏを超えれば、その分割領域８６が低コントラスト領域ＬＣＡであると判定する。また、図２０（ｂ）に示すように、ヒストグラムＨの度数が閾値Ｎｏを超えなければ、その分割領域８６が低コントラスト領域ＬＣＡではないと判定する。なお、図２０（ｃ）に示すように、濃度の分布する範囲が所定値未満と非常に狭くピーク状のヒストグラムＨになる場合、補正処理を施しても、適度なコントラストを付与できない可能性が高い。この場合は、適切な補正ができない旨のメッセージを表示部に表示し、ユーザーに元画像の交換を促したり、そのまま続行してよいかどうかのユーザーからの指示を待ったりする。また、本例では、ステップＳ６４の処理を実行するコンピューター６１により、「低コントラスト領域検出部」の一例が構成される。
【０１２６】
ステップＳ６５では、色に応じたコントラストに補正する。すなわち、コンピューター６１は、ＲＡＭから低解像度化処理が施されていない背景領域８２の画像データを読み出し、この背景領域８２における低コントラスト領域ＬＣＡに対して、例えば図１６に示す画像用補正マップを参照して、画素のＲＧＢ値を補正する補正処理を行う。このとき、ヒストグラム解析により背景領域８２又は低コントラスト領域ＬＣＡ毎の主となる色が把握される。ここで、色には、画素値の差の割に濃度の差（つまりコントラスト）が相対的に小さい第１の色（黄色）と、画素値の差の割に濃度の差が相対的に大きい第２の色（青色、緑色、赤色等）とがある。第１の色であれば、複数のトーンカーブＴＬ１〜ＴＬ４のうち補正強度の高いトーンカーブを選択し、選択したトーンカーブに従ってＲＧＢ画素値を入力値から出力値に変換する補正処理を行う。一方、第２の色であれば、複数のトーンカーブＴＬ１〜ＴＬ４のうち補正強度の低いトーンカーブを選択し、選択したトーンカーブに従ってＲＧＢ画素値を入力値から出力値に変換する補正処理を行う。この場合、分割領域間で共通のトーンカーブを使用してもよいし、分割領域間で使用するトーンカーブを異ならせてもよい。
【０１２７】
また、背景領域に合わせて画像用補正マップをその都度設定する場合は、ＲＧＢ入力値に対するコントラストの補正強度の高くなる範囲が異なる例えば図１５に実線及び二点鎖線で示すトーンカーブＴＬのうち、背景領域のヒストグラム解析で得られた低コントラスト領域の主となる色に応じた１つを選択する。そして、その選択したトーンカーブＴＬを参照して補正処理を行う。例えば第１の色であれば、二点鎖線で示すトーンカーブＴＬを選択し、第２の色であれば、実線で示すトーンカーブＴＬを選択する。なお、本例では、ステップＳ６５の処理を実行するコンピューター６１により「補正部」の一例が構成され、ステップＳ６５により「補正ステップ」の一例が構成される。
【０１２８】
以上詳述した第２実施形態によれば、第１実施形態と同様の効果（１），（２）、（４）〜（７），（１０）〜（１２）、及び第２実施形態と同様の効果（１３）〜（１５）を得ることができる他、以下に示す効果を更に得ることができる。
【０１２９】
（１６）補正部は、低コントラスト領域ＬＣＡの色に応じてコントラストの補正強度を変える。例えば黄色等の第１の色は、青色、緑色、赤色の第２の色に比べ、画素値の差の割に濃度の差が相対的に小さくコントラストが出にくい。このため、黄色等の第１の色の場合は、青色、緑色、赤色等の第２の色に比べ、よりコントラストの補正強度を高くする。よって、色に影響されず低コントラスト領域ＬＣＡを適度なコントラストに高め、背景領域８２の色に関係なく背景領域８２に適度な奥行き感を付与できる。
【０１３０】
なお、上記実施形態は以下のような形態に変更することもできる。
・第１及び第２実施形態においても、第３実施形態と同様に、補正部は、低コントラスト領域の色に応じてコントラストの補正強度を変えてもよい。例えば低コントラスト領域をヒストグラム解析して主となる色を取得し、主となる色に応じてコントラストの補正強度を変える。例えば主となる色が画素値の差の割に濃度の差が相対的に小さい第１の色（黄色等）のときには、画素値の差の割に濃度の差が相対的に大きいな第２の色（青、緑、赤等）に比べ、コントラストの補正強度を高くする。この構成によれば、補正部は、低コントラスト領域の色に応じてコントラストの補正強度を変えるので、背景領域の色に影響されず、立体視した際の画像の背景領域に適度な奥行き感を付与できる。
【０１３１】
・背景領域の背景が何であるかそのシーンを検出するシーン判定を行い、背景領域にシーンに応じた深度を付与してもよい。例えば背景領域中の背景が「空」のように遠方に位置するものであれば、相対的に高い深度を付与し、「壁」等の近くに位置するものであれば、相対的に低めの深度を付与する。また、背景領域に「空」と「壁」等の複数種の背景が検出された場合は、背景毎に異なる深度を付与してもよい。この場合、背景のうち深度が高い領域ほど、コントラストの補正強度をより高くして、ぼけを低減することが好ましい。
【０１３２】
・シーン判定により、前景領域８１と背景領域８２とを分離してもよい。
・各実施形態において、補正部は、背景領域の深度に応じてコントラストの補正強度を変えてもよい。例えば背景領域に付与した深度が高いほど、コントラストの補正強度を高くする。例えばユーザーが操作部を操作して背景領域の深度を選択して付与する構成、あるいはシーン判定で取得した背景のシーンに応じた深度を付与する構成とする。補正部は、背景領域に付与された深度が高くなるほど、低コントラスト領域に施す補正処理の補正強度を高くする。この構成によれば、背景領域は深度が高くなるほど、ぼけ易くなるが、深度が高いほど、コントラストの補正強度が高くされるので、深度の割に背景画像がぼけにくくなる。背景画像のぼけは奥行き感の低下に繋がるが、背景画像に深度の割に適度な奥行き感を付与できる。
【０１３３】
・濃度に替え、ＲＧＢチャネル毎に空間周波数又はヒストグラムを取得してもよい。この場合、ＲＧＢチャネル毎の各空間周波数の波形又は各ヒストグラムの曲線と閾値との比較に基づくコントラストが規定値以下の低コントラスト領域を取得し、低コントラスト領域に補正処理を施す。
【０１３４】
・各実施形態において、コントラスト情報として、レンズ長手方向ＬＹの空間周波数又はヒストグラムを取得してもよい。また、レンズ配列方向ＬＸとレンズ長手方向ＬＹの両方の空間周波数又はヒストグラムを取得してもよい。
【０１３５】
・背景領域におけるレンズ領域の幅方向の端部をぼかす処理は、端部以外の部分と同じ深度を付与したうえで端部には端部以外に施す補正処理を施さない方法に替え、端部以外の部分に比べ高い深度を付与する方法でもよい。
【０１３６】
・取得部がコントラスト情報を取得する画像は、入力画像から立体視画像までの生成過程における少なくとも一つの画像であればよい。背景画像８２Ａに替え、入力画像（元画像８０）及び前画像のうちの少なくとも一つでもよい。また、背景領域に対して処理を行うのではなく、前景領域と背景領域とを含む画像全体を処理対象とし、処理の結果、背景領域の少なくとも一部に補正処理が施されていれば足りる。
【０１３７】
・取得部及び補正部の処理対象を共に背景画像としたが、取得部と補正部の処理対象が異なる画像でもよい。補正処理の処理対象も、入力画像から立体視画像までの生成過程における少なくとも一つの画像であればよい。例えば取得部の処理対象を背景画像とし、一方、補正部の処理対象を、元画像、深度付与後の画像、左目用及び右目用画像、あるいは立体視画像としてもよい。
【０１３８】
・各実施形態では、一枚の画像（入力画像）からレンチキュラーレンズを通して立体視可能な立体視画像を生成したが、入力画像は、右目用画像と左目用画像（視差画像）を含む複数の画像であってもよい。この場合、左目用画像と右目用画像の両方に補正処理を施すことが好ましいが、一方の画像のみに補正処理を施してもよい。
【０１３９】
・補正処理は、トーンカーブ補正処理に限らず、シャープネス処理やエッジ強調処理でもよい。さらに、補正処理を、背景に縞模様の濃淡を付与する処理としてもよい。補正処理をシャープネス処理やエッジ強調処理等としても、低コントラスト領域を比較的簡単な処理で適度に高いコントラストにすることができる。よって、レンチキュラーレンズを通して立体視画像を立体視した際に、背景領域に適度な奥行き感を付与できる。
【０１４０】
・ホスト装置（例えば携帯端末２０）が、元画像から立体視画像を生成する全ての処理を行ったが、一部の処理をサーバー３０が行ってもよい。例えばコントラスト情報の取得、コントラスト情報を用いた低コントラスト領域の検出、及び補正処理のうち少なくとも一つを、サーバー３０内のコンピューター３１が、プログラムＰＲ２を実行することで行ってもよい。
【０１４１】
・空間周波数やヒストグラム等のコントラスト情報から低コントラスト領域を検出する際の閾値として、周波数、振幅や度数の閾値に替え、空間周波数の波形曲線やヒストグラムの度数分布曲線の勾配や急峻さの閾値を用いてもよい。
【０１４２】
・取得部がコントラスト情報を取得する際に対象画像（例えば背景画像）に対して行う低解像度処理を廃止してもよい。
・立体視画像は、立体視効果が得られる画像以外に、チェンジング効果又はモーション効果が得られる画像が含まれていてもよい。
【０１４３】
・レンチキュラーレンズ等のレンズ層５２とインク吸収層５１とを有するレンズシート５０に印刷する構成に替え、フィルム又は用紙からなる媒体に立体視画像を印刷し、その印刷後の媒体の画像印刷面にレンチキュラーレンズのレンズ層５２を、貼り付け、あるいはインクジェット式の印刷装置等の液体吐出装置を用いて形成してもよい。後者の場合、液体吐出装置で光硬化性透明樹脂液（例えば紫外線硬化樹脂）を媒体に吐出してレンズを形成し、その硬化前のレンズを光（例えば紫外線）の照射により硬化させればよい。要するに、最終的にレンズ層を通して立体視が可能な立体視画像シートを作製できれば、立体視画像印刷時の媒体はレンズ層が有っても無くてもよい。
【０１４４】
・印刷装置は、媒体に印刷できる印刷機能と携帯端末２０等のホスト装置と通信可能な通信機能とを少なくとも有していればよい。また、印刷装置は、インクジェット式、ドットインパクト式、レーザー式でもよい。さらに、印刷装置は、シリアルプリンター、ラインプリンター又はページプリンターでもよい。
【０１４５】
・記録装置の制御部内に構築される各機能部は、プログラムを実行するコンピューターによりソフトウェアで実現されたり、例えばＦＰＧＡ（field-programmable gate array）やＡＳＩＣ（Application Specific IC）等の電子回路によりハードウェアで実現されたり、ソフトウェアとハードウェアとの協働により実現されたりしてもよい。
【符号の説明】
【０１４６】
１１…印刷システム、１５…サーバー、１６…コンピューター、２０…携帯端末、２１表示部、２２…操作部、３０…サーバー、３１…コンピューター、４０…印刷装置、５０…レンズシート、５２…レンズ層（レンチキュラーレンズ）、５３…凸レンズ、５５…立体視画像シート、５６…立体視画像、６１…コンピューター、７１…コンピューター、８０…元画像、８１…前景領域、８１Ａ…前景画像、８２…背景領域、８２Ａ…背景画像、８３Ａ…視差画像の一例としての右目用画像、８３Ｂ…視差画像の一例としての左目用画像、８５…立体視画像、８６，Ｄｉｊ…分割領域、ＮＷ…インターネット、ＰＤ…印刷データ、ＰＲ１…プログラム、ＰＲ２…プログラム、ＧＤ…画像データ、ＬＡ…レンズ領域、ＬＣＡ…低コントラスト領域、ＨＣＡ…高コントラスト領域、Ｈ…ヒストグラム。
【図１】
2016134790.tif 000003
【図２】
2016134790.tif 000004
【図３】
2016134790.tif 000005
【図４】
2016134790.tif 000006
【図５】
2016134790.tif 000007
【図６】
2016134790.tif 000008
【図７】
2016134790.tif 000009
【図８】
2016134790.tif 000010
【図９】
2016134790.tif 000011
【図１０】
2016134790.tif 000012
【図１１】
2016134790.tif 000013
【図１２】
2016134790.tif 000014
【図１３】
2016134790.tif 000015
【図１４】
2016134790.tif 000016
【図１５】
2016134790.tif 000017
【図１６】
2016134790.tif 000018
【図１７】
2016134790.tif 000019
【図１８】
2016134790.tif 000020
【図１９】
2016134790.tif 000021
【図２０】
2016134790.tif 000022
【図２１】
2016134790.tif 000023
【図２２】
2016134790.tif 000024