(57)【要約】【課題】立体感のある画像を形成する画像形成装置、プログラム、及び方法を提供する。【解決手段】画像と、該画像のそれぞれの領域の被写体距離情報とを取得する画像取得部と、前記画像取得部が取得した画像に基づいて、輝度階調周波数が所定の周波数以下で、且つ、色差階調変化が所定範囲内にある領域を検出する領域検出部と、画像取得部が取得した被写体距離情報に基づいて、領域検出部が検出した領域に距離の変化があるか否かを判断する距離変化判断部と、画像取得部が取得した画像を印刷するともに、距離変化判断部により距離の変化があると判断された領域に対して質感処理を施す画像形成部とを備える。【選択図】図１
2010225119.tif 000002
【特許請求の範囲】
【請求項１】
画像と、該画像のそれぞれの領域の被写体距離情報とを取得する画像取得部と、
前記画像取得部が取得した画像に基づいて、輝度階調周波数が所定の周波数以下で、且つ、色差階調変化が所定範囲内にある領域検出部と、
前記画像取得部が取得した被写体距離情報に基づいて、前記領域検出部が検出した領域に距離の変化があるか否かを判断する距離変化判断部と、
前記距離変化判断部により距離の変化があると判断された前記領域に対して質感処理を施して、前記画像取得部が取得した画像を印刷する画像形成部と
を備える画像形成装置。
【請求項２】
前記画像形成部は、
質感処理として、前記距離変化判断部により距離の変化があると判断された前記領域に対して、ノイズを付与する
請求項１に記載の画像形成装置。
【請求項３】
前記画像形成部は、
質感処理として、前記距離変化判断部により距離の変化があると判断された前記領域に対して、色階調を変調させる
請求項１又は２に記載の画像形成装置。
【請求項４】
前記画像形成部は、
質感処理として、前記距離変化判断部により距離の変化があると判断された前記領域に対して、インクが盛り上がるように印刷する
請求項１から３の何れかに記載の画像形成装置。
【請求項５】
コンピュータを、
画像と、該画像のそれぞれの領域の被写体距離情報を取得する画像取得部と、
前記画像取得部が取得した画像に基づいて、輝度階調周波数が所定の周波数以下で、且つ、色差階調変化が所定範囲内にある領域を検出する領域検出部と、
前記画像取得部が取得した被写体距離情報に基づいて、前記領域検出部が検出した領域に距離の変化があるか否かを判断する距離変化判断部と、
前記距離変化判断部により距離の変化があると判断された前記領域に対して質感処理を施して、前記画像取得部が取得した画像を印刷する画像形成部
として機能させるプログラム。
【請求項６】
コンピュータが画像を形成する方法であって、
画像と、該画像のそれぞれの領域の被写体距離情報を取得する画像取得工程と、
前記画像取得工程が取得した画像に基づいて、輝度階調周波数が所定の周波数以下で、且つ、色差階調変化が所定範囲内にある領域を検出する検出工程と、
前記画像取得工程が取得した被写体距離情報に基づいて、前記検出工程が検出した領域に距離の変化があるか否かを判断する判断工程と、
前記判断工程により距離の変化があると判断された前記領域に対して質感処理を施して、前記画像取得工程が取得した画像を印刷する画像形成工程と
を備える方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像形成装置、プログラム、及び方法に関する。
【背景技術】
【０００２】
下記特許文献１には、撮影距離に対するエッジの画素数分布を作成して、分布が多いエッジ部分をエッジ強調して、該分布が多いエッジ部分より遠い撮影距離のエッジ部分をエッジ減衰して、立体感を出すことが記載されている。
【特許文献１】特開２００５−３１８０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
単に距離情報に応じてエッジを減衰させて立体感を再現しているが、例えば、球状などのエッジの少ない、被写体に対しては、立体感を再現することはできない。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様においては、画像形成装置であって、画像と、該画像のそれぞれの領域の被写体距離情報とを取得する画像取得部と、画像取得部が取得した画像に基づいて、輝度階調周波数が所定の周波数以下で、且つ、色差階調変化が所定範囲内にある領域を検出する領域検出部と、画像取得部が取得した被写体距離情報に基づいて、領域検出部が検出した領域に距離の変化があるか否かを判断する距離変化判断部と、距離変化判断部により距離の変化があると判断された領域に対して質感処理を施して、画像取得部が取得した画像を印刷する画像形成部とを備える。
【０００５】
画像形成部は、質感処理として、距離変化判断部により距離の変化があると判断された領域に対して、ノイズを付与してよい。
【０００６】
画像形成部は、質感処理として、距離変化判断部により距離の変化があると判断された領域に対して、色階調を変調させてよい。
【０００７】
画像形成部は、質感処理として、距離変化判断部により距離の変化があると判断された領域に対して、インクが盛り上がるように印刷してよい。
【０００８】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【０００９】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１０】
図１は、本実施の形態の画像形成システムを示す。画像形成システムは、撮像装置１００と、画像形成装置２００とを備える。撮像装置１００は、撮像部１０１、測距部１０２、及び記録部１０３を有する。画像形成装置２００は、画像取得部２０１、領域検出部２０２、距離変化判断部２０３、及び画像形成部２０４を備える。
【００１１】
撮像装置１００の撮像部１０１は、レンズ、ＲＧＢ等の色フィルタ、ＣＣＤ等の撮像素子、撮像素子駆動ドライバ、及びＡＤ変換器を少なくとも備える。撮像素子は、レンズ及び色フィルタを介して入射された被写体の光を撮像する。撮像素子駆動ドライバは、撮像素子が撮像した画像データを読み出す。ＡＤ変換器は、読みだされた画像データをデジタル信号の画像データに変換する。この変換された画像データは記録部１０３に出力される。撮像素子駆動ドライバ及びＡＤ変換器は、ＣＰＵ等の情報処理装置によって制御される。撮像部１０１が情報処理装置を備えてもよく、撮像装置１００が情報処理装置を備えてもよい。なお、撮像装置１００は、撮像された画像データに対して画像処理を施す画像処理部を備え、画像処理部が生成した輝度色差信号の画像データを記録部１０３に出力してもよい。また、画像処理部はホワイトバランス等の処理を画像データに施してもよい。
【００１２】
撮像装置１００の測距部１０２は、撮像する画像のそれぞれの領域の被写体までの距離を測る。ここでは、被写体までの距離を被写体距離という。ここで、画像とは、コンベンショナルな撮像装置で取得できる２次元の輝度情報、または、輝度に対応する離散化符号情報である。また、画像のそれぞれの領域とは、画像を構成する各画素領域のことを示す。各画素に入射した光線は、その出射源である被写体上の一点を対応点として有する。測距部１０２は、その一点と撮像装置１００との被写体距離を測る。
【００１３】
測距部１０２は、「"Light Field Photography with a Hand-held Plenoptic Camera"  Stanford Tech Report CTSR 2005-02」に示すプレノプティックカメラである。プレノプティックカメラは、各画素の被写体距離を測距する。また、プレノプティックカメラが撮像部１０１と測距部１０２として機能してもよい。なお、測距部１０２は、「"Thin observation module by bound optics TOMBO:  concept and experimental verification "APPLIED OPTICS 2001 Vol. 40, No. 11  pp1806」に記載される複眼カメラであってもよい。この複眼カメラによりそれぞれの領域の被写体距離を測距してもよい。また、「"距離画像センサの距離分解能の改善"  社団法人映像情報メディア学会技術報告    ITE Technical Report Vol.32,No.44,PP.21〜24」に示すレーザー計測を用いた距離画像センサであってもよい。また、測距部１０２は、位相差方式によりそれぞれの領域の被写体距離を測るようにしてもよく、また、コントラスト検出方式によりそれぞれの領域の被写体距離を測るようにしてもよい。また、赤外線などを用いたパッシブ方式によりそれぞれの領域の被写体距離を測るようにしてもよい。要は、撮像されるそれぞれの領域の被写体距離を測る方法であればよい。この測距されたそれぞれの領域の被写体距離の情報は、記録部１０３に出力される。ここでは、被写体距離の情報を被写体距離情報という。記録部１０３は、撮像部１０１から送られてきた画像データと、測距部１０２から送られてきたそれぞれの領域の被写体距離情報と対応付けて記録する。
【００１４】
画像形成装置２００の画像取得部２０１は、記録部１０３に記録された画像データと、該画像データに対応付けられて記録されているそれぞれの領域の被写体距離情報とを取得する。画像取得部２０１は、ＵＳＢケーブルなどの有線通信により、撮像装置１００から画像データを取得する。なお、無線通信、赤外線通信などの無線通信により画像データを取得してもよい。また、画像取得部２０１は、撮像装置１００以外の電子機器から画像データを取得してもよく、また、インターネットによりダウンロードされた画像データを取得してもよい。この場合は、取得する画像データに対応付けられているそれぞれの領域の被写体距離情報を取得する。画像取得部２０１は、取得した画像データを領域検出部２０２及び画像形成部２０４に出力する。また、画像取得部２０１は、取得したそれぞれの領域の被写体距離情報を距離変化判断部２０３に出力する。
【００１５】
領域検出部２０２は、画像取得部２０１が取得した画像データに基づいて、輝度階調周波数が所定の周波数以下で、且つ、色差階調変化が所定範囲内にある領域を検出する。領域検出部２０２は、該検出した検出領域を距離変化判断部２０３に出力する。
【００１６】
距離変化判断部２０３は、画像取得部２０１が取得した被写体距離情報に基づいて、領域検出部２０２が検出した検出領域に距離の変化があるか否かを判断する。つまり、距離変化判断部２０３は、画像取得部２０１が取得したそれぞれの領域被写体距離情報のうち、領域検出部２０２が検出した検出領域の被写体距離情報を複数抽出して、該抽出した複数の被写体距離情報に基づいて距離の変化があるか否かを判断する。距離の変化とは、ある領域の被写体距離と該ある領域に隣接する領域の被写体距離との差のことをいい、距離の差がある場合は、該ある領域は距離の変化がある領域となる。このようにして、距離変化判断部２０３は、すべての領域に距離の変化があるか否かを判断する。また、距離変化判断部２０３は、ある領域の被写体距離と隣接する領域の被写体距離とが被写体距離が完全に一致していない場合は、該ある領域は距離の変化があると判断してもよく、また、距離の差が所定の範囲内にない場合は、距離の変化があると判断してもよい。距離変化判断部２０３は、距離の変化があると判断した検出領域を画像形成部２０４に出力する。
【００１７】
画像形成部２０４は、印刷画像の距離変化判断部２０３が距離の変化があると判断した検出領域に質感処理を施して、画像取得部２０１が取得した画像データを印刷する。画像形成部２０４は、質感処理として、画像データを印刷した印刷画像の距離変化判断部２０３が距離の変化があると判断した検出領域に対してノイズを付与する。また、質感処理として、距離の変化の度合い、即ち距離の差に応じて、輝度又はカラーの変調ノイズを付与する。例えば、銀塩の粒子、粒状のインクを付与することによりノイズを付与してよい。点描画などの絵画、銀塩フイルムから取得したノイズを用いてもよい。つまり、描画などから取得した絵画のタッチ、銀塩の粒子の粒状のようにノイズを付与してよい。また、付与するノイズ量の多少に差をつけたり、付加する粒状のノイズの空間周波数に差をつけるなどの方法で付与することにより、遠近の差を表現してもよい。テクスチャ情報は用いず外部のノイズを使用してもよい。外部のノイズとは、印刷する画像データから抽出した輝度あるいは色差の周波数変調ではなく、予め取得した別の画像データ、例えば、点描画、銀塩写真から取得した輝度あるいは色差の周波数変調であってよい。ノイズ量で差をつける場合は、被写体距離が長い領域ほどノイズ量を増やしてもよい。輝度ノイズの周波数で変調させる場合は、被写体距離が長い領域ほど輝度のＣＳＦ値が最大となる周波数にしてもよい。また、カラーノイズの周波数で変調させる場合は、被写体距離が長いほど色差のＣＳＦ値が最大となる周波数、即ち、低周波にすることが好ましい。また、距離の差に応じて、シャープネス強度に差をつけてよい。これにより、結果的にS/N比の差でノイズ量の差を感じ、遠近の差を表現できる。
【００１８】
なお、画像形成部２０４は、質感処理として、距離変化判断部２０３により距離の変化があると判断された検出領域に対して、色階調を変調させてよい。つまり、画像形成部２０４は、距離変化判断部２０３が距離の変化があると判断した検出領域の色階調を変化させて、画像取得部２０１が取得した画像データを印刷してよい。色階調は、以下の方法により変調させることができる。事前にＲＧＢグレー信号を有する画像をプリントして、Ｌ＊とａ＊、Ｌ＊とｂ＊のそれぞれ１次元ＬＵＴを作成しておく。ここでは、ｆａ＊（Ｌ＊）、ｆｂ＊（Ｌ＊）とする。この例では、ＣＩＥＬＡＢ空間を用いるが、ＣＩＥＬＡＢ空間の代わりにＣＩＥＬＵＶ等の他の色空間を用いてもかまわない。次に、被写体距離ｘとＬ＊に応じたａ＊、ｂ＊それぞれの比例係数ｇａ＊（ｘ、Ｌ＊）、ｇｂ＊（ｘ、Ｌ＊）を決め、比例係数の1次元ＬＵＴを作成する。そして、３ＤＬＵＴなどを用いて事前に対応値を算出しておくことにより、画像の各画素のプリント上のＬ＊ 、ａ＊、ｂ＊値を算出する。そして、ａ＊´＝ｆａ＊（Ｌ＊）×ｇａ＊（ｘ、Ｌ＊）×ａ＊、  ｂ＊´＝ｆｂ＊（Ｌ＊）×ｇｂ＊（ｘ、Ｌ＊）×ｂ＊により新しいａ＊´及びｂ＊´を算出して、印刷媒体上に表現する。また、ｇａ＊（ｘ、Ｌ＊）、ｇｂ＊（ｘ、Ｌ＊）の関数の形状は、被写体距離ｘについてほとんど到る所微分できるように、距離に対して滑らかに接続される関数であることが好ましく、距離について単調増加あるいは単調減少の関数であることが、さらに好ましい。上記に伴って、Ｌ＊´= ｇＬ＊（ｘ、Ｌ＊）×Ｌ＊の様な式を用いて、Ｌ＊自身を合わせて変化させるように色再現させてもよい。
【００１９】
また、画像形成部２０４は、質感処理として、距離変化判断部２０３により距離の変化があると判断された検出領域に対して、インクが盛り上がるように印刷してよい。つまり、画像形成部２０４は、距離変化判断部２０３が距離の変化があると判断した検出領域を盛り上げるように、画像取得部２０１が取得した画像データを印刷してよい。また、画像形成部２０４は、質感処理として、距離変化判断部２０３により距離の変化があると判断された検出領域に対して、彩度を変化させてよい。つまり、画像形成部２０４は、距離変化判断部２０３が距離の変化があると判断した検出領域の彩度を変化させて、画像取得部２０１が取得した画像データを印刷してよい。彩度の変化は、画像データのＲＧＢを、ＨＳＶ色空間等に変換して、被写体距離が長い領域ほど彩度を低くしてから、ＲＧＢに変換することにより、彩度を変化させてもよい。
【００２０】
また、画像形成部２０４は、質感処理として、距離変化判断部２０３により距離の変化があると判断された検出領域に対して、シャープネスを減衰させて印刷してもよい。画像形成部２０４は、距離変化判断部２０３が距離の変化があると判断した検出領域のシャープネスを減衰させて、画像取得部２０１が取得した画像データを印刷してもよい。
【００２１】
また、画像形成部２０４は、インクジェット方式、ドットインパクト方式、乾式電子写真方式などにより画像データを印刷してもよい。また、画像形成部２０４は、レーザープリンタ、インクジェットプリンタなどの印刷機器を有してよい。また、画像形成部２０４は、ＣＰＵ等の情報処理装置を有してよく、特定のプログラムを読み込んだ該情報処理装置が印刷機器を画像形成部２０４として機能させてもよい。
【００２２】
図２は、人間の視覚特性を表すグラフを示す。図２のグラフの横軸は、空間周波数を示しており、ｃｙｃｌｅ／ｄｅｇｒｅｅ（ｃｐｄ）で表される。縦軸はコントラスト感度（ＣＳＦ）を示す。図２のグラフを見るとわかるように、低周波領域では輝度の感度が低下するので、人間は被写体の形状を認識しにくくなるが、輝度の感度が低下する周波数では、色差の感度が高くなるので、色差の変化があれば被写体の形状の変化を認識できる。輝度変化が低周波の場合であり、且つ、色差の変化がない、若しくは少ない被写体では、被写体の形状の変化の認識は困難となる。このような場合であっても、人間は、両眼の視差情報により、被写体の形状を認識しているが、２次元の画像データ等では、被写体の形状の視差情報が得られないので、輝度情報、色差情報を再現しただけでは、その領域の形状を知覚することができず、のっぺりとした画像となり質感が不足してしまう。つまり、輝度変化が低周波であり、色差階調変化が少ない領域の質感が不足してしまう。
【００２３】
そこで、領域検出部２０２は、輝度階調周波数が所定の周波数以下で、且つ、色差階調変化が所定範囲内にある領域を検出することとなる。また、距離変化判断部２０３は、領域検出部２０２が検出した領域に距離の変化があるか否かを判断することで、形状の変化がない領域を除外する。これにより、形状の変化があるにも関わらず、２次元の画像データ等ではのっぺりとした、形状の変化が表現できていない領域を検出することができる。したがって、画像形成部２０４が、該領域に質感処理を施すことがで、より立体感のある画像を再現することができる。ここで、所定の低周波は、ＣＳＦの低周波領域に対応する画像上の低周波成分を算出して求めることができる。また、画像の色差信号の周波数成分のうち、所定の周波数以下の成分の色差変化を、色差階調変化が所定の範囲内にあるとしてよい。つまり、反対色のC1（r-g）, C2(y-b)方向の成分を算出し、画像の直流成分を除去して、所定の低周波以下の成分を色差階調変化が所定の範囲内にあるとしてよい。
【００２４】
図３は、球状の物体２１０を撮影したときの画像の様子の一例を示す。図３の球状の物体２１０の中に示す円状の点線は、領域検出部２０２が検出した検出領域２１１を示す。つまり、円状の点線内の領域が、領域検出部２０２が検出した検出領域２１１となる。この円状の点線で示される検出領域２１１は、質感が乏しく、形状がうまく再現されていないので、全体的に、球状の物体２１０はのっぺりした印象を受けてしまう。そこで、円状の点線で示される検出領域２１１に質感処理を施すことにより、球状の物体２１０をより立体的に再現することができる。なお、球状の物体２１０の円状の点線で示される検出領域２１１は、被写体距離の変化がある領域である。
【００２５】
このように、領域検出部２０２は、画像データに基づいて、輝度階調周波数が所定の周波数以下で、且つ、色差階調変化が所定範囲内にある領域を検出する。そして、距離変化判断部２０３は、被写体距離情報に基づいて、領域検出部２０２が検出した領域に距離の変化があるか否かを判断して、画像形成部２０４は、距離の変化があると判断された領域に対して質感処理を施して、該画像データを印刷する。これにより、立体の被写体を立体感があるように画像を印刷することができる。また、エッジが少ない被写体であっても立体感があるように画像を印刷することができる。
【００２６】
なお、測距部１０２は、画素領域毎に被写体距離を測距するようにしたが、例えば、１０画素×１０画素の画素ブロック毎に被写体距離を測距してもよい。また、領域検出部２０２及び距離変化判断部２０３は、電気回路又は電子回路によって実現するようにしてもよく、プログラムを読み込んだＣＰＵなどの情報処理装置によって実現してもよい。画像取得部２０１は、少なくともデータを記憶、または記録する媒体を有してよい。また、撮像装置１００を、特定のプログラムを読み込んだ情報処理装置によって実現してもよい。また、画像形成装置２００を、特定のプログラムを読み込んだ情報処理装置によって実現してもよい。また、撮像装置１００は、特定のプログラムを記録する記録媒体を備えてもよい。また、画像形成装置２００とは、特定のプログラムを記録する記録媒体を備えてもよい。
【００２７】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００２８】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【図面の簡単な説明】
【００２９】
【図１】本実施の形態の画像形成システムを示す。
【図２】人間の視覚特性を表すグラフを示す。
【図３】球状の物体２１０を撮影したときの画像の様子の一例を示す。
【符号の説明】
【００３０】
１００      撮像装置、１０１      撮像部、１０２      測距部、１０３      記録部、２００      画像形成装置、２０１      画像取得部、２０２      領域検出部、２０３      距離変化判断部、２０４      画像形成部、２１０      球状の物体、２１１      検出領域
【図１】
2010225119.tif 000003
【図２】
2010225119.tif 000004
【図３】
2010225119.tif 000005