(57)【要約】【課題】  従来の３次元画像入力方法はパッシブ法・アクティブ法ともに小型化が難しい。またパッシブ法は精度が低く、アクティブ法は長い計測時間が必要となる。【解決手段】  撮影対象の画像から擬似的な３次元データを生成する方法を開示する。該方法は、第１の照明状態において撮影した第１の画像と、それより明るい第２の照明状態において撮影した第２の画像とを取得する画像取得過程と、第１の画像の画素値を第２の画像の対応する画素の画素値で除算することにより奥行き比率を算出する奥行き値算出過程とを含む。【選択図】  図３
2006031171.tif 000002
【特許請求の範囲】
【請求項１】
撮影対象の画像から擬似的な３次元データを生成する方法であって、
第１の照明状態において撮影した第１の画像と、前記第１の照明状態より明るい第２の照明状態において撮影した第２の画像とを取得する画像取得過程と、
前記第１の画像の画素値を、前記第２の画像の対応する画素の画素値で除算することにより奥行き値を算出する奥行き値算出過程と
を含むことを特徴とする方法。
【請求項２】
請求項１記載の方法であって、
前記奥行き値算出過程において、前記第１の画像の画素値を前記第２の画像の対応する画素の画素値で除算した結果を奥行き値の比率とすることを特徴とする方法。
【請求項３】
請求項１記載の方法であって、
前記奥行き値算出過程において、前記第１の画像の画素値を前記第２の画像の対応する画素の画素値で除算した結果の補数を奥行き値の比率とすることを特徴とする方法。
【請求項４】
請求項１ないし３いずれか一項記載の方法であって、さらに、前記画像取得過程において取得した前記第１と第２の画像の解像度を下げる解像度低下過程を含むことを特徴とする方法。
【請求項５】
請求項１ないし４いずれか一項記載の方法であって、さらに、前記奥行き値算出過程において算出した奥行き値の分布範囲を調整するコントラスト改善過程を含むことを特徴とする方法。
【請求項６】
請求項５記載の方法であって、前記コントラスト改善過程において、特性曲線を利用して奥行き値の分布範囲を拡大することを特徴とする方法。
【請求項７】
請求項６記載の方法であって、前記特性曲線は、コントラスト改善前の奥行き値のヒストグラムを積分して求めることを特徴とする方法。
【請求項８】
請求項１ないし７いずれか一項記載の方法であって、さらに、前記奥行き値算出過程において算出された奥行き値を平滑化する平滑化過程を含むことを特徴とする方法。
【請求項９】
撮影対象の画像から擬似的な３次元データを生成する装置であって、
第１の照明状態において前記撮影対象を撮影することにより第１の画像を取得し、前記第１の照明状態より明るい第２の照明状態において前記撮影対象を撮影することにより第２の画像を取得する撮影手段と、
前記撮影手段が取得した前記第１と第２の画像を記憶する画像記憶手段と、
前記画像記憶手段が記憶した前記第１の画像の画素値を、前記第２の画像の対応する画素の画素値で除算することにより奥行き値を算出する奥行き値算出手段と
を備えることを特徴とする装置。
【請求項１０】
請求項９記載の装置であって、
前記奥行き値算出手段は、前記第１の画像の画素値を前記第２の画像の対応する画素の画素値で除算した結果を奥行き値の比率とすることを特徴とする装置。
【請求項１１】
請求項９記載の装置であって、
前記奥行き値算出手段は、前記第１の画像の画素値を前記第２の画像の対応する画素の画素値で除算した結果の補数を奥行き値の比率とすることを特徴とする装置。
【請求項１２】
請求項９ないし１１いずれか一項記載の装置であって、さらに、前記画像記憶手段に記憶された前記第１と第２の画像の解像度を下げる解像度低下手段を含むことを特徴とする装置。
【請求項１３】
請求項９ないし１２いずれか一項記載の装置であって、さらに、前記奥行き値算出手段は算出した奥行き値の分布範囲を調整することを特徴とする装置。
【請求項１４】
請求項１３記載の装置であって、前記奥行き値算出手段は、特性曲線を利用して奥行き値の分布範囲を拡大することを特徴とする装置。
【請求項１５】
請求項１４記載の装置であって、前記特性曲線は、分布範囲を調整する前の奥行き値のヒストグラムを積分することにより得られることを特徴とする装置。
【請求項１６】
請求項９ないし１５いずれか一項記載の装置であって、前記奥行き値算出手段が算出した奥行き値を平滑化する平滑化手段を含むことを特徴とする装置。
【請求項１７】
請求項９ないし１６いずれか一項記載の装置であって、さらに、前記撮影対象を照明する照明手段が設けられ、前記第１の照明状態は前記照明手段を点灯しない状態に対応し、前記第２の照明状態は前記照明手段を点灯した状態に対応することを特徴とする装置。
【請求項１８】
コンピュータに請求項１ないし８いずれか一項記載の方法を実行させるためのプログラム。
【請求項１９】
請求項１８記載のプログラムを記録したコンピュータ読取り可能な記録媒体。
【請求項２０】
請求項１ないし８いずれか一項記載の方法により生成された擬似的な３次元データ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影対象の画像から擬似的な３次元データを生成する方法および装置、並びにコンピュータにその方法を実行させるためのプログラム、そのプログラムを記憶したコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
物体の３次元データを入力するために、従来から様々な方法が用いられている。３次元データ入力方法はパッシブ法とアクティブ法に大別することができ、例えばパッシブ法の代表例としてステレオ法、アクティブ法の代表例として光切断法がある。
【０００３】
ステレオ法は２台の撮影装置をある間隔で配置し、同一の撮影対象に対する両者の画像内における投影位置の違い、すなわち対応点の差から三角測量の原理によって撮影対象の位置を求める方法である。光切断法はスリット光投影装置と撮影装置をある間隔で配置し、撮影対象に投影したスリット光が撮影装置の画像内に投影される位置から三角測量の原理によって撮影対象の位置を求める方法である。
【０００４】
一方、被写体に照明光を照射し奥行き値を得る技術としては、被写体に対して少なくとも被写体上の位置によって明るさが変化する照明（例えば、左から右に明るさが増加するような照明）を照射して、各光強度ごとの反射光を検出し、三角測量の原理を用いて奥行き値を求める方法がある。しかし、この技術では、奥行き値の算出に三角測量の原理を用いるため、カメラと照明装置との間に一定の距離を設ける必要があり、装置の小型化は困難である（特許文献１参照）。
【０００５】
また、上記と類似の技術として、被写体に対して光強度が時間とともに変化する強度変調照明光を照射して、その反射光の強度から、光の伝搬時間によって被写体までの距離を算出するいわゆるＴｉｍｅ  ｏｆ  ｆｌｉｇｈｔの原理を用いて奥行き値を求める方法がある。しかし、この技術では、強度変調照明光を投影するための特殊な照明装置と強度変調照明光の変化を捉えるための高速シャッターを備えたカメラとが必要であり、装置の低コスト化には向いていない（特許文献２参照）。
【０００６】
さらに、被写体の擬似奥行き値を得る技術としては、Ｘ線ＣＴ装置などを用いて得られた被写体の離散的な奥行き値ごとの分割画像に対して、分割画像作成に用いた透過画像の濃淡値から隣接する分割画像に滑らかにつながるよう奥行き値を擬似的に算出する方法がある。しかし、この技術では、Ｘ線ＣＴ装置などによって予め被写体の離散的な奥行き値ごとに分割された透過画像が得られていることが前提であり、医療などの特殊な用途以外への適用は困難である（特許文献３参照）。
【特許文献１】特開２０００−３２９５２４号公報
【特許文献２】特開２０００−１２１３３９号公報
【特許文献３】特開平２−０７９１７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
近年、デジタルカメラの普及にともない、撮影対象の２次元画像を取り込み、処理できるようになった。デジタルカメラ等で取得できる画像は奥行きをもたない２次元画像であるが、３次元画像の入力が可能になれば画像の活用の幅が広がり、その利用分野が増大する。しかしながらパッシブ法やアクティブ法はともに三角測量の原理を用いているため、撮影装置やスリット光投影装置などの装置間に距離を設けることが必要であり小型化が難しい。また、特許文献１、２、３に記載された方法によっても、小型化や低コスト化が必要なアプリケーションには適用が困難である。
【０００８】
これらの問題を解決するため、本発明の発明者は、異なる照明状態において撮影した複数の画像の画素値の差分または除算の結果を所定の閾値と比較することにより、撮影対象の各部分の奥行き値を遠近分離する方法および装置を発明した。しかし、差分により遠近分離を行う場合、撮影対象の各部分の反射率に違いがあると正しく遠近分離を行えないという問題がある。また、除算により遠近分離を行う場合、例えば影により撮影対象に当たる光量が一定でなくなると正しく遠近分離を行えないという問題がある。
【課題を解決するための手段】
【０００９】
本発明は上記の課題を鑑みて発明されたものであり、撮影対象の画像から擬似的な３次元データを生成する方法、装置を提供することを目的とする。さらに、これらの方法をコンピュータに実行させるためのプログラム、および該プログラムを記憶した記憶媒体を提供することを目的とする。
【００１０】
本発明の一態様による、撮影対象の画像から擬似的な３次元データを生成する方法は、第１の照明状態において撮影した第１の画像と、前記第１の照明状態より明るい第２の照明状態において撮影した第２の画像とを取得する画像取得過程と、前記第１の画像の画素値を、前記第２の画像の対応する画素の画素値で除算することにより奥行き値を算出する奥行き値算出過程とを含むことを特徴とする。
【００１１】
第１の画像の画素値を、それより明るい照明状態で撮影した第２の画像の除算することにより、０から１の範囲で連続的に変化する奥行き比率を求めることができる。
【００１２】
本発明の他の態様による擬似的３次元データ生成方法は、さらに、奥行き値算出前に画像の解像度を低下させる解像度低下過程を含んでもよい。また、奥行き値算出後に奥行き値の分布範囲を調整するコントラスト改善過程を含んでもよい。
【発明の効果】
【００１３】
本発明の一態様によれば、撮影対象の画像から滑らかな立体感を持ったレリーフ状の奥行きを作成することができる。
【００１４】
本発明の他の態様によれば、奥行き値を算出する前に画像の解像度を下げるので、計算量を削減できる。また、除算におけるS/N比を改善することができる。
【００１５】
本発明のさらに他の態様によれば、奥行き値の分布範囲を調整するので、より強い立体感を与える擬似的な３次元データを作成することができる。
【００１６】
本発明のさらに他の態様によれば、算出した奥行き値を平滑化するので、奥行きを滑らかにし、自然な立体感を与える擬似的な３次元データを作成することができる。
【００１７】
また、本発明のさらに他の態様によれば、撮影手段と照明手段の距離を隣接させても良いため、小型化することが可能な装置を提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施するための最良の形態について、図面を参照しながら詳しく説明する。
【００１９】
図１は、本発明の一実施形態による擬似的3次元データ生成方法を説明するための図である。図１には、３つの画像が示されている。（A）照明無し画像は、撮影対象にフラッシュ等の照明を当てないで撮影した画像である。（B）照明有り画像は、撮影対象にフラッシュ等の照明を当てて撮影した画像である。（C）奥行きマップは、（A）照明無し画像と（B）照明有り画像に、本発明の一態様である擬似的3次元データ生成方法を適用することにより算出した撮影対象の奥行き値の比率（以下、「奥行き比率」とも呼ぶ）を、輝度と対応させることにより画像として示したものである。各画像の対応する画素の画素値には、
１−（照明無し画像÷照明有り画像）＝奥行き比率
という関係がある。
【００２０】
なお、以下の説明において、画像の画素値は、撮影対象の輝度に比例するものと仮定し、撮影対象の輝度が高ければ画像の画素値は大きく、撮影対象の輝度が低ければ画像の画素値は小さいものとする。この仮定は説明を簡潔にするためのものであり、これと異なる仮定をしてもよく、本発明の技術的範囲を限定するものとして捉えてはならない。
【００２１】
撮影対象の画像において、フラッシュ等の照明がまったく届かない部分（すなわち、撮影手段・照明手段（図１４参照）から最も遠い部分）では、（Ａ）照明無し画像の画素値と（Ｂ）照明有り画像の画素値とは等しくなるから、（照明無し画像÷照明有り画像）＝１の関係が成り立つ。したがって、
奥行き比率＝１−（照明無し画像÷照明有り画像）＝１−１
＝０
となる。一方、フラッシュ等の照明がよく届く部分（すなわち、撮影手段・照明手段から最も近い部分）については、（Ａ）照明無し画像の画素値より（Ｂ）照明有り画像の画素値の方が大きくなるから、（照明無し画像÷照明有り画像）≒０の関係が成り立つ。したがって、
奥行き比率＝１−（照明無し画像÷照明有り画像）≒１−０
≒１
となる。したがって、奥行き比率の最大値は１、最小値は０であり、それぞれ撮影対象の撮影手段から最も近い部分と最も遠い部分とに対応する。
【００２２】
奥行き比率は
奥行き比率＝照明無し画像÷照明有り画像
と定義してもよい。この場合も、奥行き値の比率の最大値は１、最小値は０であるが、それぞれ撮影対象の撮影手段から最も遠い部分と最も近い部分とに対応することとなる。
【００２３】
図２は、この場合に照明有り画像の画素値と奥行き値の比率との関係を示すグラフである。照明有り画像の画素値が小さいとき、奥行き値の比率は１に近づき、照明有り画像の画素値が大きいとき、奥行き値の比率は０に近づくことが分かる。
【００２４】
以下の説明では、奥行き比率を
奥行き比率＝１−（照明無し画像÷照明有り画像）
として説明するが、いずれの定義を採用するにしても、本発明の効果が得られることには注意すべきである。この場合、奥行き値の比率が１に近い撮影対象の部分は撮影手段・照明手段に近く、奥行き値の比率が０に近い撮影対象の部分は撮影手段・照明手段から遠いことを示している。
【００２５】
なお、撮影手段・照明手段については、後で説明する（図１４参照）。
【００２６】
図３は、本発明の一実施形態による擬似的３次元データ生成方法を説明するためのフローチャートである。
【００２７】
ステップS110において、撮影手段から照明無し画像（Ａ）と照明有り画像（Ｂ）を入力する。両画像とも（ｘ×ｙ）ピクセルの画素を有するものとする。なお、照明無し画像（Ａ）は、必ずしも照明手段による照明が無い状態で撮影した画像でなくてもよく、照明有り画像（Ｂ）よりも明るくない照明状態で撮影した画像であればよい。
【００２８】
ステップS120において、各画素を指定するパラメータｉと入力された画像の画素数を示すパラメータS´とを初期化する。
【００２９】
ステップS130において、パラメータｉで指定された画素の奥行き比率Ciを
奥行き比率Ci=1-(Ai/Bi)
により算出する。ここでAi、Biは、それぞれ照明無し画像（Ａ）と照明有り画像（Ｂ）のパラメータｉで指定された対応する画素の画素値を示す。なお、他の実施形態においては、奥行き値の比率Ciを
奥行き比率Ci=(Ai/Bi)
により算出してもよいことは、上述のとおりである。ここで、２進法で表現した場合、Ai/Biと1-(Ai/Bi)は補数の関係にあり、ビットごとの反転演算により一方から他方を算出することができる。
【００３０】
ステップS140において、パラメータｉをインクリメントし、ステップS150において、すべての画素について奥行き値の比率Ciが算出されたかどうか（ｉ＜Ｓ´）を判断する。もし奥行き比率Ciがまだ算出されていない画素があるとき（ステップS150においてYES)、ステップS130に戻る。すべての画素について奥行き比率Ciが算出されているとき（ステップS150においてNO）、処理を終了する。
【００３１】
この結果、パラメータCiには対応するピクセルｉの奥行き値の比率が入っている。このパラメータCiを「画像」とみなして表示した結果が、図１に示した（Ｃ）奥行き値の図である。
【００３２】
計算負荷を減少させるため、奥行き比率を算出する前に、画像の解像度を低下させてもよい。解像度を下げることにより、計算量を減らすことができる。また、撮影対象の移動などにより、異なる照明状態で撮影した画像の画素間にずれが生じた場合にも、画像と比べて奥行き比率の解像度を粗くできるので、ずれた領域の奥行きマップの輪郭線をぼかして、ずれを少なく見せる効果がある。
【００３３】
また、画素の平均値をとることにより解像度を低下させれば、ローパスフィルタを適用した場合と同様に、Ｓ／Ｎ比を向上させる効果を得ることができる。
【００３４】
なお、解像度を低下させる処理と画素の平均値をとる処理は、必要に応じて実行すればよい。
【００３５】
図４は、本発明の一実施形態による奥行きマップのコントラストの改善を説明するための図である。図４に示した（Ｃ）奥行きマップは、図１に示した（Ｃ）奥行きマップそのものである。図４（Ｃ）奥行きマップを見ると、全体として暗く、「画像」としてコントラストが悪いことが分かる。この（Ｃ）奥行きマップは、本来、撮影対象の奥行きの比率を表しているので、「画像」としてコントラストが悪いということは、撮影対象の奥行き比率が最大範囲（０〜１）の間で広く分布していないことを意味する。このコントラストが悪い「画像」のコントラストを改善することにより、撮影対象の奥行き比率を最大範囲（０〜１）で広く分布させることができる。この結果得られるのが図４（Ｄ）コントラストを改善した奥行きマップである。奥行き比率のヒストグラムを用いてさらに説明する。
【００３６】
図５（Ａ）には、図４の（Ｃ）奥行きマップと（Ｄ）コントラストを改善した奥行きマップのヒストグラムが示されている。図５（Ａ）から、図４（Ｃ）奥行きマップの奥行き比率は狭い範囲に集中していることが分かる。比率をxで表し、ヒストグラムをf(x)で表す。このヒストグラムf(x)はtminとtmaxの間に分布している。f(x)を0と1の間に広く分布するように、横方向に拡大してやればよい。図５（Ａ）から、図４（Ｄ）コントラストを改善した奥行きマップのヒストグラムにおいて、f(x)がg(x)に変換されることにより、その分布範囲が広がっていることが分かる。ここで、f(x)のtminがg(x)の０に対応するように変換され、f(x)のtmaxがg(x)の１に対応するように変換されている。
【００３７】
上記の変換は、f(x)を変換式
g(x)＝max×（f(x)-tmin）÷(tmax-tmin)                    （１）
により変換することにより達成できる。ここで、maxは奥行き比率の最大値であり、100％の場合1.0である。
【００３８】
図６は、図５（Ａ）を用いて説明した、本発明の一実施形態によるコントラスト改善をともなう擬似的３次元データ生成方法を説明するためのフローチャートである。
【００３９】
ステップS210において、撮影手段から照明無し画像（Ａ）と照明有り画像（Ｂ）を入力する。両画像とも（x×ｙ）ピクセルの画素を有するものとする。なお、図３に関連して説明したように、照明無し画像（Ａ）は、必ずしも照明手段による照明が無い状態で撮影した画像でなくてもよく、照明有り画像（Ｂ）よりも明るくない照明状態で撮影した画像であればよい。
【００４０】
ステップS220において、変換後に最大値に割り当てる比率を表すパラメータtmaxと、同じく最小値に割り当てる比率を示すパラメータtminを初期化する。また、各画素を指定するパラメータｉと入力された画像の画素数を示すパラメータS´を初期化する。
【００４１】
ステップS230において、パラメータｉで指定された画素の奥行き値の比率Ciを
奥行き比率Ci=1-(Ai／Bi)
により算出する。ここでAi、Biは、それぞれ照明無し画像（Ａ）と照明有り画像（Ｂ）のパラメータｉで指定された対応する画素を示す。なお、他の実施形態においては、奥行き比率Ciを
奥行き比率Ci=(Ai/Bi)
により算出してもよいことは、上述のとおりである。ここで、２進法で表現した場合、Ai/Biと1-(Ai/Bi)は補数の関係にあり、ビットごとの反転演算により一方から他方を算出することができる。
【００４２】
ステップS240において、パラメータｉをインクリメントする。
【００４３】
ステップS250において、奥行き比率Ciが現在のtmaxより大きいか判断する。もしCiが現在のtmaxより大きいときは（ステップS250においてYES）、ステップS260において、tmaxをCiで更新してから次のステップS270に進む。もしCiが現在のtmaxより大きくないときは（ステップS250においてNO）、tmaxを更新することなく次のステップS270に進む。
【００４４】
ステップS270において、奥行き値の比率Ciが現在のtminより小さいか判断する。もしCiが現在のtminより小さいときは（ステップS270においてYES）、ステップS280において、tminをCiで更新してから次のステップS290に進む。もしCiが現在のtminより小さくないときは（ステップS270においてNO）、tminを更新することなく次のステップS290に進む。
【００４５】
ステップS290において、すべての画素について奥行き値の比率Ciが算出されたかどうかを判断する。もし奥行き値の比率Ciがまだ算出されていない画素があるとき（ステップS290においてYES)、ステップS230に戻る。全ての画素について奥行き値の比率Ciが算出されているとき（ステップS290においてNO）、次のステップS300に進む。
【００４６】
以上のステップにより、すべての画素について奥行き値の比率Ciが算出されるとともに、パラメータtmaxとtminには、比率Ciの最大値と最小値が入っている。このCiに対して上記の変換式（１）を適用して、コントラストを改善した奥行きマップを得ることができる。
【００４７】
ステップS300において、画素を特定するパラメータｉを再び初期化する。
【００４８】
ステップS310において、Ciに対して上記の変換式（１）を適用し、その結果をCiとする。この操作により、max＝１である場合、各画素ｉの比率Ciは０から１の間に分布するようになる。例えば、tmax=0.6、tmin=0.3であると仮定する。比率Ci＝0.3、0.5、0.6の画素ｉは
Ci=1×(Ci-0.3)÷(0.6-0.3）
により、新しいCi＝０、0.67、１にそれぞれ変換される。
【００４９】
ステップS320において、パラメータｉをインクリメントし、ステップS330において、すべての画素について奥行き値の比率Ciの変換が終了したかどうかを判断する。もし奥行き値の比率Ciがまだ変換されていない画素があるとき（ステップS330においてYES）、ステップS310に戻る。全ての画素について奥行き値の比率Ciが変換されているとき(ステップS330においてNO)、処理を終了する。
【００５０】
なお、図５（Ａ）において、f(x)の最大値tmaxと最小値tminがそれぞれ１と０になるようにヒストグラムf(x)を拡大する例を示した。これ以外にもさまざまな拡大の仕方が考えられる。例えば、図５（Ｂ）に示したように、tmaxとtminがそれぞれ１以上、０以下になるまで拡大し、１以上の部分を１に、０以下の部分を０に丸めてもよい。これにより、奥行き比率の中心部を強調するすることができる。
【００５１】
この奥行きマップのコントラスト改善方法は、図５（Ａ）のf(x)のように、奥行き値の比率が狭い範囲にひとかたまりになっている場合に有効である。しかし、奥行きマップの比率が複数の範囲に分離している場合には、コントラストの改善効果が十分得られないという問題がある。
【００５２】
図７は、奥行きマップのヒストグラムが複数の範囲に分離している場合を説明するための図である。図７（Ａ）に示した奥行きマップにおいて、破線の楕円で囲んだ部分７１だけが白くなり、この部分だけ奥行き比率が１に近い（撮影手段・照明手段に近いことを表す）ことが分かる。この画像の奥行き比率のヒストグラムは、図７（Ｂ）のように、２つの山７３、７５をもっている。
【００５３】
図８は、図７の奥行きマップのコントラストを、図６を参照して説明したコントラスト改善方法で改善した場合のヒストグラムを示す図である。図８（Ａ）は、図７（Ｂ）に示したのと同じヒストグラムである。この奥行きマップに図６を参照して説明したコントラスト改善方法を適用した場合、その結果得られる奥行きマップのヒストグラムは図８（Ｂ）のようになる。図８（Ｂ）を見ると、図８（Ａ）にあった２つの山７３と７５が、図８（Ｂ）の２つの山８３と８５にそれぞれ変換されており、コントラスト改善の効果は多少認められるが、２つの山８３と８５の間には依然としていずれの画素にも割り当てられていない奥行き比率があり、コントラストが十分改善されているとはいえない。この問題を解決するために、特性曲線を利用する。
【００５４】
図９は特性曲線によるコントラスト改善方法について説明するための図である。図９（Ａ）は、コントラスト改善方法の対象となる奥行きマップのヒストグラムf(x)を示す。その下の図９（Ｂ）には、ヒストグラムf(x)を積分した曲線である奥行き比率の特性曲線h(x)が描かれている。図９（Ｂ）の右側の図９（Ｃ）には45°線が描かれている。その上の図９（Ｄ）には、特性曲線によりコントラストが改善された奥行きマップのヒストグラムg(y)を示す。
【００５５】
各図の関係を説明する。変換前の奥行きマップにおいては、奥行き比率x0を有する画素はf(x0)個ある（図９（Ａ）の点P0に対応する）。点P0に対応する特性曲線上の点P1により、変換後の比率y0を決定する。図９（Ｂ）において、点P1の座標は(x0，y0)とする（y0=h(x0)である）。図９（Ｃ）において、点P1に対応する45°線上の点P2により、変換後の比率y0を保ったまま、上方向に折り返す。変換前の画素数f(x0)と変換後の比率y0とにより、図９（Ｄ）において、対応する点P3が決まる。変換前のその他の点も同様に図９（Ｄ）上の点に対応させることにより、変換後の奥行きマップのヒストグラムg(y)が求まる。
【００５６】
ここで、図９（Ｃ）において、原点を通る45°の直線の替わりに、単調増加の連続関数を用いて変換前の比率ｘを変換後の比率ｙに変換してもよい。
【００５７】
図１０は、図９を参照して説明した本発明の一実施形態によるコントラスト改善方法を含む、擬似的３次元データ生成方法を説明するためのフローチャートである。
【００５８】
ステップS410において、撮影手段から照明無し画像（Ａ）と照明有り画像（Ｂ）を入力する。両画像とも（x×ｙ）ピクセルの画素を有するものとする。なお、図３に関連して説明したように、照明無し画像（Ａ）は、必ずしも照明手段による照明が無い状態で撮影した画像でなくてもよく、照明有り画像（Ｂ）よりも明るくない照明状態で撮影した画像であればよい。
【００５９】
ステップS420において、変換後に最大値に割り当てる比率を表すパラメータtmaxと、同じく最小値に割り当てる比率を示すパラメータtminを初期化する。また、各画素を指定するパラメータｉと入力された画像の画素数を示すパラメータS´を初期化する。また、比率ｊを有する画素の数pjを初期化する。
【００６０】
ステップS430において、パラメータｉで指定された画素の奥行き値の比率Ciを
奥行き値の比率Ci=1-(Ai／Bi)
により算出する。ここでAi、Biは、それぞれ照明無し画像（Ａ）と照明有り画像（Ｂ）のパラメータｉで指定された対応する画素を示す。なお、他の実施形態においては、奥行き値の比率Ciを
奥行き値の比率Ci=(Ai/Bi)
により算出してもよいことは、上述のとおりである。ここで、2進法で表現した場合、Ai/Biと1-(Ai/Bi)は補数の関係にあり、ビットごとの反転演算により一方から他方を算出することができる。
【００６１】
ステップS440において、比率Ciを有する画素の数pCiをインクリメントし、ステップS450において画素を特定するパラメータｉをインクリメントする。
【００６２】
ステップS460において、全ての画素のついて奥行き比率Ciが算出されたかどうかを判断する。もし奥行き値の比率Ciがまだ算出されていない画素があるとき（ステップS460においてYES）、ステップS430に戻る。すべての画素について奥行き比率Ciが算出されているとき(ステップS460においてNO)、次のステップS470に進む。
【００６３】
以上のステップにより、すべての画素について奥行き比率が計算されるとともに、比率Ciを有する画素の数（ヒストグラム）がpCiで計算される。
【００６４】
次にステップS470において、奥行き比率ｊ（０≦ｊ≦１）を初期化する。
【００６５】
ステップS480において、０からｊの現在の値までpj（=pCi）を足し合わせ、全画素数S´で除算した結果をpjとする。この操作が、図１１（Ａ）から（Ｂ）においてf(x)を積分し特性曲線h(x)を求める操作に対応する。全画素数S´で除算したのは、最大値が１になるように正規化するためである。pjが変換後の奥行き比率となる。
【００６６】
ステップS490において、パラメータjのすべての範囲についてステップS480が終了したか判断する。もしまだなら(ステップS490においてYES)、ステップS500においてjをΔjだけ増加させてから、ステップS480に戻り、新しいjについてステップS480とS490を繰り返す。もしパラメータjのすべての範囲についてステップS480が終了していれば（ステップS490においてNO）、次のステップS510に進む。
【００６７】
以上のステップS470からS500により、奥行き値０〜ｊについてすべてのｐを足し合わせ、奥行き値ｊまでの画素数を求めている。その結果を全画素数S´で除算することにより、変換後の奥行き比率を求めている。
【００６８】
ステップS510において、画素を特定するためのパラメータiを初期化する。
【００６９】
ステップS520において、比率Ciを変換後の正規化した画素数pCiで置き換える。この操作により、図９（Ｄ）に示した変換後のヒストグラムが求まる。
【００７０】
ステップS530において、パラメータｉをインクリメントし、ステップS540において、すべての画素についてステップS520の置き換えが終了したかどうか（i＜S´）を判断する。もし終了していなければ（ステップS540においてYES）、ステップS520に戻る。もし終了していれば（ステップS540においてNO）、処理は終了する。
【００７１】
図１１は、図７に示した奥行きマップのコントラストを、図１０を参照して説明した特性曲線を用いたコントラスト改善方法を用いて、改善した結果を説明するための図である。図１１（Ａ）は、改善前の奥行きマップのヒストグラムである。図１１（Ｂ）は、改善後の奥行きマップのヒストグラムである。特性曲線を用いたコントラスト改善方法を導入することにより、改善後の奥行きマップは、比率のほぼ全範囲を用いるようにコントラストが改善されていることが分かる。
【００７２】
図１２は、本発明の一実施形態による奥行きマップの平滑化について説明するための図である。図１２（Ａ）は、平滑化前の奥行きマップである。この奥行きマップにおいては、撮影対象であるぬいぐるみの目玉の部分が黒くなり、その奥行き比率が周辺部と比較して急激に変化してしまっていることがわかる。そこで奥行きマップにローパスフィルタを適用して平滑化することにより、この問題を解消することができる。図１２（Ｂ）は、ローパスフィルとを適用して平滑化した奥行きマップである。撮影対象であるぬいぐるみの目玉部分に生じていた奥行き比率の急激な変化が解消されていることがわかる。
【００７３】
図１３は、平滑化処理で用いたローパスフィルタの係数の一例を示す図である。ここでは、ローパスフィルタとして、処理対象の画素を中心としたフィルタサイズ（７×７）の範囲内の全ての画素の画素値に係数としてフィルタサイズの逆数（１／４９）を掛けて足し合わせる、単純移動平均フィルタを適用した。フィルタサイズは任意に変更可能であり、また、平滑化の効果を持つ他のフィルタを適用してもよい。平滑化の効果を持つ他のフィルタの例としては、フィルタ内の各マトリクスに随時重み付けを行う加重移動平均フィルタや、正規分布に従った重み付けを行うガウシアンフィルタなどがある。
【００７４】
図１４は、本発明の一実施形態による擬似的３次元データ生成装置を示すブロック図である。図１４に示した擬似的３次元データ生成装置６００は、処理手段６１０と、撮影手段６５０と、照明手段６６０とを含む。照明手段６６０は撮影手段６５０に接続されており、撮影手段６５０は処理手段６１０に接続されている。
【００７５】
処理手段６１０は、画像記憶手段６２０と、演算手段６３０と、制御手段６４０とを含む。画像記憶手段６２０は、２つのフレームメモリ６２１、６２２を含み、撮影手段６５０が撮影した撮影対象の画像データを取り込み、保持する。演算手段６３０は、画像演算手段６３１と奥行き値算出手段６３２を含み、異なる照明状態において撮影された撮影対象の画像を比較することにより、撮影対象の擬似的な奥行き比率を算出する。制御手段６４０は、上記各手段を制御する。画像演算手段６３１は、例えば、画像記憶手段６２０に記憶されている撮影対象の画像の解像度を下げる処理をして、解像度を下げた画像を奥行き値算出手段６３２に送る。奥行き値算出手段６３２は、画像演算手段６３１から入力された画像に基づき、上に説明した擬似的３次元データ生成方法を適用することにより、撮影対象の擬似的３次元データを生成する。
【００７６】
撮影手段６５０は、撮影対象により反射された光を捉え、電気信号に変換する固体撮像素子６５１と、固体撮像素子６５１が捉えたアナログの電気信号をデジタルの電気信号に変換するＡ／Ｄ変換手段６５２とを含む。
【００７７】
なお、本発明の処理手段６１０は、コンピュータとその上で動作するプログラムによっても実現可能であり、プログラムはコンピュータで読み取ることができる記録媒体に記録することができる。また、コンピュータをネットワークに接続することにより、ネットワーク上のサーバ等から、このプログラムをダウンロードすることも可能である。
【００７８】
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【図面の簡単な説明】
【００７９】
【図１】本発明の一実施形態による擬似的３次元データ生成方法を説明するための図である。
【図２】照明有り画像の画素値と奥行き比率の関係を示すグラフである。
【図３】本発明の一実施形態による擬似的３次元データ生成方法を説明するためのフローチャートである。
【図４】本発明の一実施形態による奥行きマップのコントラスト改善を説明するための図である。
【図５】図４に示した奥行きマップとコントラストを改善した奥行きマップのヒストグラムである。
【図６】本発明の一実施形態によるコントラスト改善をともなう擬似的3次元データ生成方法を説明するためのフローチャートである。
【図７】奥行きマップのヒストグラムが複数の範囲に分離している場合を説明するための図である。
【図８】図７の奥行きマップのコントラストを、図６を参照して説明したコントラスト改善方法で改善した場合の、ヒストグラムを示す図である。
【図９】特性曲線によるコントラスト改善方法について説明するための図である。
【図１０】本発明の一実施形態によるコントラスト改善方法を含む擬似的3次元データ生成方法を説明するためのフローチャートである。
【図１１】図７に示した奥行きマップのコントラストを、図１０を参照して説明した特性曲線を用いたコントラスト改善方法を用いて、改善した結果を説明するための図である。
【図１２】本発明の一実施形態による奥行きマップの平滑化について説明するための図である。
【図１３】平滑化処理で用いたローパスフィルタの係数の一例を示す図である。
【図１４】本発明の一実施形態による擬似的3次元データ生成装置を示すブロック図である。
【符号の説明】
【００８０】
６００…擬似的3次元データ生成装置
６１０…処理手段
６２０…画像記憶手段
６２１、６２２…フレームメモリ
６３０…演算手段
６３１…画像演算手段
６３２…奥行き比率算出手段
６４０…制御手段
６５０…撮影手段
６５１…固体撮像素子
６５２…Ａ／Ｄ変換手段
６６０…照明手段
【図２】
2006031171.tif 000003
【図３】
2006031171.tif 000004
【図５】
2006031171.tif 000005
【図６】
2006031171.tif 000006
【図８】
2006031171.tif 000007
【図９】
2006031171.tif 000008
【図１０】
2006031171.tif 000009
【図１１】
2006031171.tif 000010
【図１３】
2006031171.tif 000011
【図１４】
2006031171.tif 000012
【図１】
2006031171.tif 000013
【図４】
2006031171.tif 000014
【図７】
2006031171.tif 000015
【図１２】
2006031171.tif 000016