(57)【要約】【課題】  ３次元形状生成に必要な補助情報のみを取得し、該補助情報を元に撮影物体の３次元形状を生成することによって実現性の高い３次元画像生成装置を提供する。【解決手段】  撮影手段から水平方向に所定距離離れた位置から照明して撮影した第１画像、及び前記撮影手段から前記水平方向と反対方向に所定距離離れた位置から照明して撮影した第２画像を取得する第１のステップと、前記第１画像と第２画像の差分画像を生成する第２のステップと、前記差分画像上の、ある正の閾値ｋ１以上の画素値を有する領域の右端の画素と、ある負の閾値−ｋ１以下の画素値を有する領域の左端の画素を、水平ライン毎に抽出する第３のステップと、前記右端の画素より右側の領域、及び前記左端の画素より左側の領域にあらかじめ定めた距離関数に従って距離を与える操作を、水平ライン毎に行って距離画像を生成する第４のステップと、前記距離画像を垂直方向に平滑化する第５のステップとを有する３次元画像生成方法である。【選択図】        図１
2005033731.tif 000002
【特許請求の範囲】
【請求項１】
撮影手段から水平方向に所定距離離れた位置から照明して撮影した第１画像、及び前記撮影手段から前記水平方向と反対方向に所定距離離れた位置から照明して撮影した第２画像を取得する第１のステップと、
前記第１画像と第２画像の差分画像を生成する第２のステップと、
前記差分画像上の、ある正の閾値ｋ１以上の画素値を有する領域の右端の画素と、ある負の閾値−ｋ１以下の画素値を有する領域の左端の画素を、水平ライン毎に抽出する第３のステップと、
前記右端の画素より右側の領域、及び前記左端の画素より左側の領域にあらかじめ定めた距離関数に従って距離を与える操作を、水平ライン毎に行って距離画像を生成する第４のステップと、
前記距離画像を垂直方向に平滑化する第５のステップとを有することを特徴とする３次元画像生成方法。
【請求項２】
前記第２のステップと前記第３のステップの間に、前記差分画像の各画素値の絶対値が、あらかじめ定められた閾値ｋ２より大きい場合には、差分量の絶対値を閾値ｋ２と置き換えるステップＡと、
前記差分画像の各水平ライン毎に画素値の分布形状を近似するようにあらかじめ定められた近似式のパラメータを決定するステップＢ１と、
各画素毎に画素値からその画素位置における近似値を減ずるステップＢ２とを有し、
前記ステップＡ，前記ステップＢ１，前記ステップＢ２の順、または前記ステップＢ１，前記ステップＢ２，前記ステップＡの順に、１回または反復の度にｋ２を小さくしていきながら複数回行うことによって新たな差分画像を生成するステップとを有することを特徴とする請求項１に記載の３次元画像生成方法。
【請求項３】
前記第２のステップと前記第３のステップの間に、画素値の絶対値が予め指定された閾値ｋ２より小さい画素の連続する画素列を複数抽出するステップＣと、
差分画像の各水平ライン毎の各画素列毎に、画素値の分布形状を近似するように予め指定された近似式のパラメータを決定するステップＤ１と、
画素列と、右に隣接する画素値の絶対値が予め指定された閾値ｋ２より大きく符号が正である画素が連続する画素列と、左に隣接する画素値の絶対値が予め指定された閾値ｋ２より大きく符合が負である画素が連続する画素列と、を含めた画素列の画素について、各画素毎に画素値からその画素位置における近似値を減ずるステップＤ２とを有し、
前記ステップＣ，前記ステップＤ１，前記ステップＤ２の順、または前記ステップＤ１，前記ステップＤ２，前記ステップＣの順に、１回または反復の度にｋ２を小さくしていきながら複数回行うことによって新たな差分画像を生成するステップとを有することを特徴とする請求項１に記載の３次元画像生成方法。
【請求項４】
前記第３のステップと前記第４のステップの間に、前記第３のステップで求めた画像内の右端の画素と左端の画素の各々について、画素が垂直方向には大局的には連続して存在し局部的に途切れが存在する場合に、途切れた部分を上下の画素より補間して右端の画素または左端の画素とすることによって、途切れを解消するステップを有することを特徴とする請求項１乃至請求項３のいずれか１項に記載の３次元画像生成方法。
【請求項５】
前記第１のステップの後に、前記第１画像と前記第２画像の同位置の画素を比較し、輝度値の大きな画素を選択することによって撮影物体の色画像を生成するステップを有することを特徴とする請求項１乃至請求項４のいずれか１項に記載の３次元画像生成方法。
【請求項６】
撮影手段から水平方向に所定距離離れた位置から照明して撮影した第１画像、及び前記撮影手段から前記水平方向と反対方向に所定距離離れた位置から照明して撮影した第２画像を取得する画像取得手段と、
前記画像取得手段で取得した前記第１画像及び前記第２画像を用いて３次元形状を生成する３次元形状生成手段とを備え、
前記３次元形状生成手段は、前記第１画像と第２画像の差分画像を生成する差分画像生成手段と、前記差分画像上の、ある正の閾値ｋ１以上の画素値を有する領域の右端の画素と、ある負の閾値−ｋ１以下の画素値を有する領域の左端の画素を、水平ライン毎に抽出する画素抽出手段と、前記右端の画素より右側の領域、及び前記左端の画素より左側の領域にあらかじめ定めた距離関数に従って距離を与える操作を、水平ライン毎に行って距離画像を生成する距離画像生成手段と、前記距離画像を垂直方向に平滑化する平滑化手段とを備えることを特徴とする３次元画像生成装置。
【請求項７】
前記３次元形状生成手段は、前記各手段に加え、前記差分画像の各水平ライン毎に画素値の分布形状を変換して新たな差分画像を生成する差分画像変換手段を備えることを特徴とする３次元画像生成装置。
【請求項８】
前記３次元形状生成手段は、前記各手段に加え、画像内の右端の画素と左端の画素の各々について、画素が垂直方向には大局的には連続して存在し局部的に途切れが存在する場合に、途切れた部分を上下の画素より補間する画素補間手段を備えることを特徴とする請求項６または請求項７に記載の３次元画像生成装置。
【請求項９】
前記各手段に加えて、前記第１画像と前記第２画像の同位置の画素を比較し、輝度値の大きな画素を選択することによって撮影物体の色画像を生成する色画像生成手段を備えることを特徴とする請求項６乃至請求項８のいずれか１項に記載の３次元画像生成装置。
【請求項１０】
前記請求項１乃至請求項５のいずれか１項に記載の３次元画像生成方法の各ステップをコンピュータに実行させる３次元画像生成プログラム。
【請求項１１】
前記請求項１０に記載の３次元画像生成プログラムが、コンピュータで読み取り可能な状態で記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元画像生成方法及び３次元画像生成装置、ならびに３次元画像生成プログラム及び記録媒体に関し、特に、映像産業、通信産業等の分野における立体画像通信において使用される３次元画像生成方法及び３次元画像生成装置に適用して有効な技術に関するものである。
【背景技術】
【０００２】
近年、携帯電話やPDA（Personal Digital Assistant）等の携帯器機でも立体画像（３次元画像）の表示が行われるようになってきており、前記立体画像の入カ手段として、小型、低コスト、低消費電カ、計測環境や計測範囲に制限のない３次元形状計測装置が求められている。
【０００３】
ところが、物体の３次元画像の入力方法及び入カ装置は、現在発展途上の技術であり、今のところ、携帯器機に組み込めるような３次元形状入力装置はまだ実用化されていない。
【０００４】
また、前記携帯器機等で立体画像を表示する場合、表示された物体の立体感を得られれば良いことが多く、必ずしも正確な３次元形状を求める必要はない。つまり、何等かの方法で撮影物体の３次元形状を擬似的に生成しても、その形状を立体表示装置で表示したときに、視覚的に自然で、立体感が感じられれば十分実用に供する。
【０００５】
また、立体画像を生成して表示するための３次元画像表示装置が種々提案されているが、奥行き方向の表現能カは必ずしも水平または垂直方向の表現能力と同じではない。ここで、前記奥行き方向の表現能力に関して、３次元画像表示装置の一種であるDFD方式表示装置（例えば、非特許文献１を参照。）を例に挙げて説明する。
【０００６】
前記DFD方式は、２枚の表示画面を重ねて表示することによって３次元画像を表示する方法であり、奥行き方向の表示可能範囲は前面の表示画面から後面の表示画面の間に限られる。そのため、前記携帯器機のように薄型化の要求が高く、前記２枚の表示画面の距離を十分に取れない場合、奥行き方向の表示可能範囲が著しく限定される。
【０００７】
このような表示装置で正確な３次元形状を表示させようとすると、一部の奥行き範囲しか立体表示できない。また、全てを表示させるため奥行き方向に３次元形状を圧縮して表示させることが考えられるが、単純に圧縮すると立体感に乏しい画像となる問題が生じる。そこで、例えば硬貨の表面の絵柄に見られるレリーフ調の立体表現に３次元形状を変換すれば、奥行き方向の表示可能範囲の小さい３次元画像表示装置を用いても立体感ある表示が可能となる。
【０００８】
しかしながら、この方法では、３次元画像を生成する処理に、３次元計測とレリーフ調立体形状変換の２つのステップが必要となり計算コストが増大する。そのため、特に、処理能力の小さい携帯器機組み込みCPUではこの問題が深刻である。
【０００９】
これらの問題を解決する既存の３次元形状入力技術としては、１枚の画像から立体形状を生成する技術が提案されている（例えば、特許文献１を参照。）。しかしながら、前記特許文献１等に記載された技術は、画像中心は遠景、画像周辺は近景であるという前提に基づいて立体形状を生成する。そのため、元々そのような距離分布の画像でない限り、意味のある立体形状を生成できず、適用範囲が限られる欠点があった。
【００１０】
また、この問題を解決する３次元形状入カ技術として、遠景と近景の２値化距離画像から立体形状を擬似的に生成する技術も提案されている（例えば、特願２００２−２７５４７１を参照。）。しかしながら、前記立体形状を擬似的に生成する技術は、近景領域を１つの領域としてカマボコ形状に立体形状を生成するため、奥行き方向の凹凸のディテールがほとんどない形状しか生成できないという問題がある。
【００１１】
【非特許文献１】S. Suyama, M. Date and H. Takeda, "Three-Dimensional Display System with Dual-Frequency Liquid-Crystal Varifocal Lens", Jpn. J. Appl. Phys., 39(Pt. 1, 2A), 480(2000)
【特許文献１】特開平１０−３０７９２６
【発明の開示】
【発明が解決しようとする課題】
【００１２】
前記背景技術の欄で説明したように、従来の３次元画像生成装置は、小型化、低消費電力化、低コスト化等が難しく、小型、薄型の携帯器機に組み込むことが難しいという問題があった。
【００１３】
また、例えば、前記DFD方式を適用した従来の３次元画像生成装置は、２枚の表示画面の間の距離が小さいと奥行き方向の表現能力が低い。そのため、前記携帯器機に適用することが難しいという問題があった。
【００１４】
また、従来の３次元画像生成装置は、高い計算処理能力が要求されるという問題もあり、小型化、薄型化が進んだ携帯器機への適用、組み込みが難しいという問題があった。
【００１５】
また、その他にも、あらかじめ想定している距離分布と異なる場合に正確な立体画像を生成できないという問題や、奥行き方向の表現能力が低いという問題もあった。
【００１６】
本発明は、３次元形状生成に必要な補助情報のみを取得し、該補助情報を元に撮影物体の３次元形状を生成することによって実現性の高い３次元形状入カ手段を提供することを目的とする。補助情報のみの取得であれば、正確な３次元形状を求める場合と比較して、小型、低コストで信頼性の高い３次元画像生成の実現が容易なので、携帯器機に組み込み可能な小型で低コストの３次元画像生成装置を実現することができる。
【００１７】
また、本発明は、正確な３次元形状を求めてからレリーフ調立体形状変換する２ステップの処理ではなく、直接レリーフ調立体形状を生成することによって計算コストの問題を解決することを目的とする。これによって、奥行き方向の表示可能範囲が小さい３次元画像表示装置でも使用可能なレリーフ調の３次元形状を、少ない計算コストで効率的に生成でき、携帯器機に組み込まれる処理性能の低いCPUでも、十分な立体感を得られる画像を容易に生成することができる。
【００１８】
また、本発明は、撮影時の照明によって影のできない画像を同時に生成することによって３次元形状情報生成と同時に高品質な色画像を提供することを目的とする。
【００１９】
本発明の３次元画像生成方法及び３次元画像生成装置では、補助情報を元に立体形状（立体画像）を生成する。そのため、画像内における遠景領域と近景領域の分布に依存することなく、意味のある立体形状を生成することが出来る。また、本発明は近景領域内においても前後関係のある物体は遠近の区別がつけられるため、よりディテールに富んだ立体形状が生成できる。
【００２０】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかになるであろう。
【課題を解決するための手段】
【００２１】
本願において開示される発明の概要を説明すれば、以下の通りである。
（１）  撮影手段から水平方向に所定距離離れた位置から照明して撮影した第１画像、及び前記撮影手段から前記水平方向と反対方向に所定距離離れた位置から照明して撮影した第２画像を取得する第１のステップと、前記第１画像と第２画像の差分画像を生成する第２のステップと、前記差分画像上の、ある正の閾値ｋ１以上の画素値を有する領域の右端の画素と、ある負の閾値−ｋ１以下の画素値を有する領域の左端の画素を、水平ライン毎に抽出する第３のステップと、前記右端の画素より右側の領域、及び前記左端の画素より左側の領域にあらかじめ定めた距離関数に従って距離を与える操作を、水平ライン毎に行って距離画像を生成する第４のステップと、前記距離画像を垂直方向に平滑化する第５のステップとを有する３次元画像生成方法である。
【００２２】
（２）  前記（１）の手段における前記第２のステップと前記第３のステップの間に、前記差分画像の各画素値の絶対値が、あらかじめ定められた閾値ｋ２より大きい場合には、差分量の絶対値を閾値ｋ２と置き換えるステップＡと、前記差分画像の各水平ライン毎に画素値の分布形状を近似するようにあらかじめ定められた近似式のパラメータを決定するステップＢ１と、各画素毎に画素値からその画素位置における近似値を減ずるステップＢ２とを有し、前記ステップＡ，前記ステップＢ１，前記ステップＢ２の順、または前記ステップＢ１，前記ステップＢ２，前記ステップＡの順に、１回または反復の度にｋ２を小さくしていきながら複数回行うことによって新たな差分画像を生成するステップとを有する３次元画像生成方法である。
【００２３】
（３）  前記（１）の手段における前記第２のステップと前記第３のステップの間に、画素値の絶対値が予め指定された閾値ｋ２より小さい画素の連続する画素列を複数抽出するステップＣと、差分画像の各水平ライン毎の各画素列毎に、画素値の分布形状を近似するように予め指定された近似式のパラメータを決定するステップＤ１と、画素列と、右に隣接する画素値の絶対値が予め指定された閾値ｋ２より大きく符号が正である画素が連続する画素列と、左に隣接する画素値の絶対値が予め指定された閾値ｋ２より大きく符合が負である画素が連続する画素列と、を含めた画素列の画素について、各画素毎に画素値からその画素位置における近似値を減ずるステップＤ２と、前記ステップＣ，前記ステップＤ１，前記ステップＤ２の順、または前記ステップＤ１，前記ステップＤ２，前記ステップＣの順に、１回または反復の度にｋ２を小さくしていきながら複数回行うことによって新たな差分画像を生成するステップとを有する３次元画像生成方法である。
【００２４】
（４）  前記（１）から（３）の手段における前記第３のステップと前記第４のステップの間に、前記第３のステップで求めた画像内の右端の画素と左端の画素の各々について、画素が垂直方向には大局的には連続して存在し局部的に途切れが存在する場合に、途切れた部分を上下の画素より補間して右端の画素または左端の画素とすることによって、途切れを解消するステップを有する３次元画像生成方法である。
【００２５】
（５）  前記（１）から（４）の手段における前記第１のステップの後に、前記第１画像と前記第２画像の同位置の画素を比較し、輝度値の大きな画素を選択することによって撮影物体の色画像を生成するステップを有する３次元画像生成方法である。
【００２６】
（６）  撮影手段から水平方向に所定距離離れた位置から照明して撮影した第１画像、及び前記撮影手段から前記水平方向と反対方向に所定距離離れた位置から照明して撮影した第２画像を取得する画像取得手段と、前記画像取得手段で取得した前記第１画像及び前記第２画像を用いて３次元形状を生成する３次元形状生成手段とを備え、前記３次元形状生成手段は、前記第１画像と第２画像の差分画像を生成する差分画像生成手段と、前記差分画像上の、ある正の閾値ｋ１以上の画素値を有する領域の右端の画素と、ある負の閾値−ｋ１以下の画素値を有する領域の左端の画素を、水平ライン毎に抽出する画素抽出手段と、前記右端の画素より右側の領域、及び前記左端の画素より左側の領域にあらかじめ定めた距離関数に従って距離を与える操作を、水平ライン毎に行って距離画像を生成する距離画像生成手段と、前記距離画像を垂直方向に平滑化する平滑化手段とを備える３次元画像生成装置である。
【００２７】
（７）  前記（６）の手段における３次元形状生成手段は、前記各手段に加え、前記差分画像の各水平ライン毎に画素値の分布形状を変換して新たな差分画像を生成する差分画像変換手段を備える３次元画像生成装置である。
【００２８】
（８）  前記（６）または（７）の手段において、画像内の右端の画素と左端の画素の各々について、画素が垂直方向には大局的には連続して存在し局部的に途切れが存在する場合に、途切れた部分を上下の画素より補間する画素補間手段を備える３次元画像生成装置である。
【００２９】
（９）  前記（６）から（８）の手段において、前記第１画像と前記第２画像の同位置の画素を比較し、輝度値の大きな画素を選択することによって撮影物体の色画像を生成する色画像生成手段を備える３次元画像生成装置である。
【００３０】
（１０）  前記（１）から（５）の手段のいずれかの３次元画像生成方法の各ステップをコンピュータに実行させる３次元画像生成プログラムである。
【００３１】
（１１）  前記（１０）の３次元画像生成プログラムが、コンピュータで読み取り可能な状態で記録された記録媒体である。
【発明の効果】
【００３２】
本発明の３次元画像生成方法は、前記（１）の手段のようにすることで、簡潔、低コストで信頼性の高いレリーフ調立体形状入カが可能となる。このとき、従来のように正確な３次元形状を求めてからレリーフ調立体形状に変換する２ステップの処理ではなく、直接レリーフ調立体形状を生成するので、計算コストも小さて済む。そのため、特に、計算処理能力の低い携帯器機に組み込む３次元画像生成方法として優れる。
【００３３】
また、前記（２）の手段を用いることによって、照度ムラのある照明下で撮影された画像からでも、安定したレリーフ調立体形状入力が可能となり、信頼性の高い３次元画像を生成することができる。
【００３４】
また、前記（２）の手段の代わりに、前記（３）の手段を用いることによって、更に、照明の向きが平行状態から多少ずれた場合であっても、安定したレリーフ調立体形状入カが可能となり、信頼性の高い３次元画像を生成することができる。
【００３５】
また、前記（４）の手段を用いることによって、ノイズ等の要因によって画像中の物体（被写体）の輪郭線がきれいに取得できない場合であっても、安定して高品質なレリーフ調立体形状を生成可能となり、信頼性の高い３次元画像を生成することができる。
【００３６】
また、前記（５）の手段を用いることによって、色画像も同時に取得する場合に、照明による影付の起きない高品質の色画像入力が可能となる。
【００３７】
また、前記（６）から（９）の手段の３次元画像生成装置は、前記（１）から（５）の手段の各ステップを実行する手段を有する装置である。そのため、小型、低コストで信頼性にも優れた３次元画像生成装置を提供することができる。
【００３８】
また、前記（１０）の手段のように、前記（１）から（５）の手段の各ステップをコンピュータに実行させるプログラムにすれば、専用の３次元画像生成装置に限らず、既存の携帯電話やPDA等の携帯器機でも、信頼性に優れた３次元画像を容易に生成することができる。
【００３９】
また、前記（１１）の手段のように、前記（１０）の手段の３次元画像生成プログラムを、例えば、CD-ROM等の記録媒体に記録すれば、前記プログラムを容易に提供することができる。また、前記３次元画像生成プログラムは、前記記録媒体に限らず、例えば、ネットワーク上の端末に前記プログラムを記録しておき、インターネット等を利用して提供することも可能である。
【発明を実施するための最良の形態】
【００４０】
本発明の３次元画像生成方法は、撮影手段から水平方向に所定距離離れた位置から照明して撮影した第１画像、及び前記撮影手段から前記水平方向と反対方向に所定距離離れた位置から照明して撮影した第２画像を取得する第１のステップと、前記第１画像と第２画像の差分画像を生成する第２のステップと、前記差分画像上の、ある正の閾値ｋ１以上の画素値を有する領域の右端の画素と、ある負の閾値−ｋ１以下の画素値を有する領域の左端の画素を、水平ライン毎に抽出する第３のステップと、前記右端の画素より右側の領域、及び前記左端の画素より左側の領域にあらかじめ定めた距離関数に従って距離を与える操作を、水平ライン毎に行って距離画像を生成する第４のステップと、前記距離画像を垂直方向に平滑化する第５のステップとを有する。
【００４１】
図１は、本発明の３次元画像生成方法の原理を説明するための模式図である。
【００４２】
本発明の３次元画像生成方法では、まず、前記第１のステップにおいて、図１に示すように、前記第１画像１０１及び前記第２画像１０２の２枚の画像を取得する。このとき、前記第１画像１０１は、撮影手段（カメラ）の右側に配置した照明器具で撮影物体（被写体）を照らして撮影した画像である。そのため、前記第１画像１０１では、図１に示したように、撮影物体１０３の左側に照明の影１０４が生じる。また、前記第２画像１０２は、前記撮影手段（カメラ）の左側に配置した照明器具で撮影物体を照らして撮影した画像である。そのため、前記第２画像１０２は、図１に示したように、撮影物体１０３の右側に照明の影１０４が生じる。
【００４３】
次の前記第２のステップでは、図１に示すように、前記第１画像１０１と前記第２画像１０２の差分画像１０５を生成する。ここでは、前記差分画像１０５の各画素の値（画素値）は、前記第２画像１０２の画素値から前記第１画像１０１の画素値を減じて求めるものとする。このとき、前記差分画像１０５上で、前記第１画像１０１及び前記第２画像１０２ともに照明が当たっている領域に相当する領域１０６は、前記各画像１０１，１０２上の画素がほぼ同じ輝度値である。そのため、差分の画素値はほとんど０（零）である。一方、前記差分画像１０５上で、前記第１画像１０１の影１０４に相当する領域１７は、正の画素値を持つ領域となる。また、前記第２画像１０２の影１０４に相当する領域１０８は、負の画素値を持つ領域となる。つまり、図１に示したように、前記差分画像１０５の水平ライン１０９の各画素の画素値を走査（スキャン）すると、画素値グラフ１１０のようになる。
【００４４】
次の前記第３のステップでは、図１に示すように、前記差分画像１０５上の、ある正の閾値ｋ１以上の画素値を有する領域の右端の画素と、ある負の閾値−ｋ１以下の画素値を有する領域の左端の画素を水平ライン毎に抽出する。このとき、例えば、前記差分画像１０５に示した前記水平ライン１０９の画素値を抽出すると、前記画素値グラフ１１０に示すようになっている。そのため、前記画素値グラフ１１０に示した前記水平ライン１０９では、ある正の閾値ｋ１以上の画素値を有する領域、すなわち前記第１画像１０１の影１０４に相当する領域１０７の右端の画素１１１と、ある負の閾値−ｋ１以下の画素値を有する領域、すなわち前記第２画像１０２の影１０４に相当する領域１０８の左端の画素１１２が抽出される。この処理を、前記差分画像１０５の全水平ラインに対して行い、それらをまとめると、図１に示したような画像１１３が得られる。
【００４５】
次の前記第４のステップでは、前記第３のステップで得られた画像１１３において、前記抽出した右端の画素１１１より右側、及び前記抽出した左端の画素１１２より左側の領域に、あらかじめ定義した距離関数に従って距離を与える操作を、水平ライン毎に行う。この処理により、図１に示したような距離画像１１４が得られる。このとき、例えば、前記右端の画素１１１から右側に、前記左端の画素１１２あるいは他の右端の画素が現れるまでの範囲をあらかじめ定義した距離関数に従って蒲鉾状に盛り上げ、次に、前記左端の画素１１２から左側に、前記右端の画素１１０または他の左端の画素が現れるまでの範囲をあらかじめ定義した距離関数に従って蒲鉾状に重ねて盛り上げることで、前記撮影物体１０３のレリーフ調立体形状１１５を生成する。この距離画像１１４の生成操作の詳細な手続きは後の実施例にて説明する。
【００４６】
なお、前記第４のステップにおける距離関数の定義式や距離関数の適用ルールには様々なバリエーションがあり、前記距離画像１１４の生成方法は、上記の例に限定するものではなく、本発明の趣旨を逸脱しない範囲の処理であるなら全て含まれるものとする。
【００４７】
次の前記第５のステップでは、図１に示したように、前記第４のステップで得られた距離画像１１４を垂直方向に平滑化し、３次元画像１１６を生成する。本発明の３次元画像生成方法では、撮影物体の距離変化が連続的であっても、前記第４のステップで得られた距離画像１１４は、異なる水平ライン間で距離が不連続に変化することがある。これは視覚的に大きな画質劣化を知覚させる要因である。そのため、垂直方向に平滑化することによって不連続な変化をなくし、視覚的な画質劣化を抑えるのが前記第５のステップの作用効果である。一方、前記第５のステップで生成される３次元画像１１６は、撮影物体の垂直方向の距離変化が不連続な部分も、連続的に変化するように生成されるが、この視覚的な影響は本来連続的な距離変化が不連続になってしまう場合と比較して軽微なので、総合的に見ると前記第５のステップは視覚的により品質の高い距離画像に変換する効果をもたらす。
【００４８】
なお、前記第５のステップにおける平滑化の方法には様々な種類バリエーションがあり、本発明は特定の関数を用いた平滑化に限定するものではない。
【００４９】
図２及び図３は、本発明の３次元画像生成方法の原理を説明するための模式図であり、生成する３次元画像の信頼性を向上させるための方法の一例を説明するための図である。また、図２において、２は撮影物体（被写体）、３は撮影手段（カメラ）、４Ａは第１照明手段、４Ｂは第２照明手段、５は背面である。
【００５０】
前記第１のステップで取得する第１画像１０１及び第２画像１０２を撮影するときには、例えば、図２（ａ）に示すように、前記撮影物体２を撮影する撮影手段３の右側に第１照明手段４Ａを配置し、前記撮影手段２の左側に第２照明手段４Ｂを配置しておく。そして、前記第１画像１０１を撮影するときには前記第１照明手段４Ａで前記撮影物体２を照明しておき、前記第２画像１０２を撮影するときは、前記第２照明手段４Ｂで前記撮影物体２を照明しておく。
【００５１】
このとき、前記第１照明手段４Ａ及び第２照明手段４Ｂが、例えば、図２（ｂ）に示すように、照射方向中心の照度が大きく、照射方向が中心から離れるにつれて照度が低下する場合、照射方向中心から離れた部分の照明は暗くなる。そのため、このような照明手段４Ａ，４Ｂを用い、図２（ａ）に示したような配置で撮影して得られる前記第１画像１０１及び第２画像１０２は、前記撮影物体の輪郭部の影の他に、低照度のために暗くなった領域が生じる。このとき、前記暗くなった領域は、互いに反対方向に発生し、例えば、図２（ｃ）に示すように、第１画像１０１は画面左側に暗くなった領域１１７が発生し、第２画像１０２は画面右側に暗くなった領域１１７が発生する。そのため、前記第１画像１０１及び前記第２画像１０２から差分画像１０５を求めると、図２（ｃ）に示したように、前記差分画像１０５は、本来の、本発明の３次元画像生成方法で必要な撮影物体の輪郭部の影に相当する領域１０７，１０８だけでなく、低照度のために暗くなった領域に相当する領域１１８も抽出された画像になってしまう。このように、前記差分画像１０５に、３次元画像の生成に必要な前記撮影物体の輪郭部の影に相当する領域以外の領域が抽出されていると、後のステップで、その領域にも物体があるかのような処理を行ってしまうので、生成した３次元画像の信頼性が低下する。そこで、そのような問題が生じないよう、以下のような処理を行う。
【００５２】
まず、図３に示すように、前記第１のステップにおいて、照度分布が図２（ｂ）に示したような照明手段４Ａ，４Ｂの下で撮影された第１画像１０１と第２画像１０２を取得する。このとき、前記第１画像１０１のある水平ライン１１９ａに沿ってスキャンした画素値は画素値グラフ１２０のようになる。また、前記第２画像１０２の、前記第１画像１０１の水平ライン１０９ａと同じ高さの水平ライン１０９ｂに沿ってスキャンした画素値は画素値グラフ１２１のようになる。このとき、前記第１画像１０１と第２画像１０２から求めた差分画像１０５における、前記水平ライン１０９ａ，１０９ｂと同じ高さの水平ラインの画素の値は、例えば、図３に示した画素値グラフ１２２のようになり、撮影物体の輪郭部の影に相当する領域１０７，１０８を除く領域１２３の画素値が、画面左端から右端に向かって増加していくような変化を示す。
【００５３】
このように、撮影物体の輪郭部の影に相当する領域以外の領域１２３の画素が、大きな画素値を持つと、生成した３次元画像の信頼性が低下する。そのため、前記第３のステップを行う前に、図３に示した画素値グラフ１２２における、撮影物体の輪郭部の影に相当する領域以外の領域１２３の画素の値を、図１に示した画素値グラフ１１０のように、ほぼ０にするような処理を行い、前記差分画像１２２上の不要な成分を除去することが好ましい。
【００５４】
前記差分画像１２２上の不要な成分を除去する処理では、まず、ステップＡとして、差分画像１２２の各画素値の絶対値があらかじめ指定された閾値ｋ２より大きい場合には、差分量の絶対値を閾値ｋ２と置き換えることによって、前記画素値グラフ１２２を画素値グラフ１２４のように置き換える。これは±ｋ２の範囲でクリッピング処理を行うことを意味する。
【００５５】
前記ステップＡの作用の効果を説明する。以降に続くステップＢは、本来差分量が０であるはずの領域を０に近づける処理であるが、閾値を超えた領域は元々差分量が０ではない影である可能性が高い領域なので、この領域まで含めてステップＢの処理を行うと十分な精度で処理ができない。前記ステップＡは、閾値を超えた領域の画素値の大きさを抑えることによってこの悪影響を小さくする効果を有する。
【００５６】
次に、ステップＢとして、差分画像の各水平ラインに対して、以下で述べるステップＢ１及びステップＢ２の２つのステップによる処理を行う。
【００５７】
前記ステップＢ１では、前記差分画像１０５の各水平ラインの画素値の分布形状を近似するように、あらかじめ指定された近似式のパラメータを決定する。このとき、例えば、前記近似式がｙ＝ａｘ＋ｂの直線である場合、パラメータａ，ｂを前記画素値グラフ１２４の画素値の並び（分布形状）から、最小二乗法で求めることによって近似式１２５を生成する。なお、この近似は、直線近似以外にも様々なバリエーションがあり、本発明の３次元画像生成方法で用いる近似は、直線近似または後の実施例で示す移動直線近似に限定するものではない。
【００５８】
また、前記ステップＢ２では、前記水平ラインの画素毎に、画素値からその画素位置における近似値を減ずる。この結果、図３に示したように、３次元画像の生成に不要な領域、すなわち撮影物体の輪郭部の影に相当する領域１０７，１０８以外の領域１２３の画素値が０に近い画素値グラフ１２６が得られる。前記ステップＢ（Ｂ１，Ｂ２）の作用によって、前記照明手段４Ａ，４Ｂの照度ムラの影響を除去することが可能となる。
【００５９】
ここで説明した、前記ステップＡ，前記ステップＢ１，前記ステップＢ２の一連の処理を１ステップとして、前記差分画像１０５の全ての水平ラインに対して処理を行うことによって、低照度のために暗くなった領域１１７がある第１画像１０１及び第２画像１０２から生成した差分画像１０５を、照度ムラの影響を除去した差分画像に置換することができる。この後は、前記第３のステップ以降を実行していけば、信頼性の高い３次元画像を生成することができる。
【００６０】
なお、図３では、１回の処理で前記画素値グラフ１２７が求まるように示しているが、前記照明手段４Ａ，４Ｂの照度ムラが大きく、例えば、前記画素値グラフ１２２における領域１２３の傾斜が大きい場合、または照明の光量が小さく前記画素値グラフ１２２における撮影物体の輪郭部の影に相当する領域１０７，１０８の画素値の大きさが十分でない場合には、あらかじめ大きな閾値ｋ２を与えて前記ステップＡ，前記ステップＢ１，前記ステップＢ２の一連の処理を反復し、反復する毎に閾値ｋ２の値を小さくすることによって前記画素値グラフ１２６のようになる差分画像を求める。また、反復する場合には、１ステップ内での前記各ステップの実行順序は、ステップＡ，ステップＢ１，ステップＢ２の順でも、ステップＢ１，ステップＢ２，ステップＡの順でも構わない。
【００６１】
このような方法によって、照度ムラのある照明下で撮影された画像を取得した場合でも、差分画像１０５の不要な成分を取り除くことができる。そのため、後のステップで信頼性の高い距離画像（３次元画像）を生成することができる。
【００６２】
また、前記差分画像１０５の不要な成分を取り除く処理は、前記ステップＡ，前記ステップＢ１，前記ステップＢ２による処理に限らず、別の処理であってもよい。
【００６３】
図４及び図５は、本発明の３次元画像生成方法の原理を説明するための模式図であり、生成する３次元画像の信頼性を向上させるための方法の他の例を説明するための図である。
【００６４】
前記ステップＡ，前記ステップＢ１，前記ステップＢ２の処理は、図２（ａ）に示したように、前記第１照明手段４Ａの照射方向中心と前記第２照明手段４Ｂの照射方向中心がほぼ平行で、交わらないような場合を前提として説明した。
【００６５】
しかしながら、実際には、例えば、図４（ａ）に示すように、前記第１照明手段４Ａの照射方向中心と前記第２照明手段４Ｂの照射方向中心が、前記撮影物体２と背面５の間で交差するような場合もある。そのような場合も、画像内に低照度のために暗くなった領域が発生するが、この場合、近距離にある物体と遠距離にある物体間では逆方向に発生する。このとき、例えば、図４（ｂ）に示すように、前記第１画像１０１は、画面の左側と、前記撮影物体１０３の右側の輪郭部付近に、低照度のために暗くなった領域１１７が発生する。また、前記第２画像１０２は、画面の右側と、前記撮影物体１０３の左側の輪郭部付近に、低照度のために暗くなった領域１１７が発生する。
【００６６】
これらの画像から差分画像１０５を求めると、例えば、図４（ｂ）に示したように、差分画像１０５上には、撮影物体の輪郭部の影に相当する領域１０７，１０８の外側及び内側に、低照度のために暗くなった領域に相当する領域１１８が生じる。このとき、前記差分画像１０５のある水平ライン上の画素値の分布は、画素値グラフ１２７のようになり、遠距離の領域、すなわち撮影物体の左側の輪郭部の影に相当する領域１０７の左側の領域１２３ａ及び撮影物体の右側の輪郭部の影に相当する領域１０８の右側の領域１２３ｂの画素値の変化の傾きと、近距離の領域、すなわち前記撮影物体の両輪郭部の影に相当する領域１０７，１０８の内側の領域１２３ｂの画素値の変化の傾きが、異なる形状になってしまう。このような差分画像１０５の場合、図３に示したような手順で、不要な成分を除去するのは困難である。そこで、前記差分画像１０５上の不要な成分を除去するために、以下のような処理を行う。
【００６７】
まず、図５に示すように、前記第１のステップにおいて、図４（ａ）に示したような配置の照明手段４Ａ，４Ｂの下で撮影された第１画像１０１と第２画像１０２を取得する。このとき、前記第１画像１０１のある水平ライン１１９ａに沿ってスキャンした画素値は画素値グラフ１２８のようになる。また、前記第２画像１０２の、前記第１画像１０１の水平ライン１０９ａと同じ高さの水平ライン１０９ｂに沿ってスキャンした画素値は画素値グラフ１２９のようになる。このとき、前記第１画像１０１と前記第２画像１０２から求めた差分画像１０５における、前記水平ライン１０９ａ，１０９ｂと同じ高さの水平ラインの画素値は、例えば、図５に示した画素値グラフ１２７のようになる。
【００６８】
このとき、３次元画像を生成するために必要な成分は、前記画素値グラフ１２７上の、前記撮影物体の右側及び左側の輪郭部に相当する領域１０７，１０８のみであり、その他の領域１２３ａ，１２３ｂ，１２３ｃの画素値は、図１に示した画素値グラフ１１０のように、ほぼ０であることが好ましい。そのため、前記撮影物体の輪郭部に相当する領域以外の領域１２３ａ，１２３ｂ，１２３ｃの画素値を、ほぼ０にするような処理を行う。
【００６９】
前記差分画像１０５上の不要な成分を除去するステップでは、まず、ステップＣとして、画素値の絶対値が予め指定された閾値ｋ２より小さい画素の連続する画素列を複数抽出する。この結果、図５に示すように、前記画素値グラフ１２７は、３つの画素列１３０ａ，１３０ｂ，１３０ｃからなる画素値グラフ１３１に変換される。
【００７０】
次に、ステップＤとして、差分画像の各水平ラインに対して、以下で述べるステップＤ１及びステップＤ２の２つのステップによる処理を行う。
【００７１】
前記ステップＤ１では、前記差分画像１０５の各水平ラインに存在する画素列毎に、画素値の分布形状を近似するように、あらかじめ指定された近似式のパラメータを決定する。このとき、例えば、近似式がｙ＝ａｘ＋ｂの直線であるとすれば、パラメータａ，ｂを、前記画素値グラフ１３１中の３つの画素列１３０ａ，１３０ｂ，１３０ｃに対して、それぞれの画素値の並びから最小二乗法で求めることによって、３本の直線１３２，１３３，１３４を生成する。
【００７２】
また、前記ステップＤ２では、例えば、注目する画素列が存在する領域と、前記注目する画素列の左に隣接して画素値の絶対値があらかじめ指定された閾値ｋ２より大きく符合が正である画素が連続する領域と、前記注目する画素列の右に隣接して画素値の絶対値があらかじめ指定された閾値ｋ２より大きく符合が負である画素が連続する領域の３つの領域の画素について、各画素の画素値からその画素位置における近似値を減じ、新たな差分画像（画素値グラフ１３８）を生成する。
【００７３】
このとき、図５に示した例では、前記画素列１３０ａに注目すると、前記画素列１３０ａが存在する領域、及び前記画素列１３０ａの右に隣接して画素値の絶対値が閾値ｋ２より大きく符合が負である画素が連続する領域（区間１３５）の画素の値が、前記直線１３２で減ぜられる。また、前記画素列１３０ｂに注目すると、画素列１３０ｂの右及び左に対象とする領域が隣接していないので、前記画素列１３０ｂが存在する領域（区間１３６）の画素の値のみが、前記直線１３３で減ぜられる。また、前記画素列１３０ｃに注目すると、前記画素列１３０ｃが存在する領域、及び画素列１３０ｃの左に隣接して画素値の絶対値が閾値ｋ２より大きく符号が正である画素が連続する領域（区間１３７）の画素の値が、前記直線１３４で減ぜられる。その結果、図５に示したような画素値グラフ１３８が得られ、新たな差分画像上では不要な成分が除去される。前記ステップＤ（Ｄ１，Ｄ２）の作用によって、図４（ａ）に示したような照明手段４Ａ，４Ｂの配置で撮影した画像１０１，１０２を取得した場合でも、照度ムラの影響を除去することが可能となる。
【００７４】
ここで説明した、前記ステップＣ，前記ステップＤ１，前記ステップＤ２の一連の処理を１ステップとして、前記差分画像１０５の全ての水平ラインに対して処理を行うことによって、照度ムラの影響を除去した差分画像を生成することができる。この後は、前記第３のステップ以降を実行していけば、信頼性の高い３次元画像を生成することができる。
【００７５】
なお、図５では、１回の処理で画素値グラフ１３８が求まるように示しているが、前記照明手段４Ａ，４Ｂの照度ムラが大きく、画素値グラフ１２７における領域１２３ａ，１２３ｂ，１２３ｃの傾斜が大きい場合、または照明の光量が小さく画素値グラフ１２７における撮影物体の輪郭部の影に相当する領域１０７，１０８の画素値の大きさが十分でない場合、あるいは撮影物体２や背面５等の奥行き方向の存在範囲が広い場合には、あらかじめ大きなｋ２を与えて前記ステップＣ，前記ステップＤ１，前記ステップＤ２の一連の処理を反復し、反復する毎に閾値ｋ２の値を小さくすることによって前記画素値グラフ１３７のようになる差分画像を求める。また、反復する場合には、１ステップ内での前記各ステップの実行順序は、ステップＣ，ステップＤ１，ステップＤ２の順でも、ステップＤ１，ステップＤ２，ステップＣの順でも構わない。
【００７６】
このような方法によって、２つの照明手段の照明方向中心が平行でない場合や、撮影物体の奥行き方向の存在範囲が広い場合でも、差分画像の不要な成分を取り除くことができる。そのため、後のステップで信頼性の高い距離画像及び３次元画像を生成することができる。
【００７７】
図６は、本発明の３次元画像生成方法の原理を説明するための模式図であり、ノイズの影響を除去する方法の一例を説明するための図である。
【００７８】
本発明の３次元画像生成方法では、前記第３のステップにおいて生成された画像１１３は、図６（ａ）に示すように、撮影物体の左側の輪郭に相当する領域１１１の画素と右側の輪郭に相当する領域１１２の画素が抽出される。このとき、前記撮影物体の左側の輪郭に相当する領域１１１に抽出された画素は、主に、図６（ｂ）に示すように、画像１３９の撮影物体１０３の左側に生じた影１０４ａに相当する領域の右端の画素である。また、前記撮影物体の右側の輪郭に相当する領域１１２に抽出された画素は、主に、図６（ｂ）に示した画像１３９上の撮影物体１０３の右側に生じた影１０４ｂに相当する領域の左端の画素である。そのため、本来なら、前記各領域１１１，１１２の画素は、垂直方向に連続して並ぶはずであるが、ノイズの影響などによって、例えば、図６（ａ）に示したように、局所的な途切れ１４０が生じ、部分的に欠落することがある。
【００７９】
そこで、部分的な欠落を解消するために、前記第３のステップで求めた画像１１３内の右端の画素と左端の画素の各々について、大局的には垂直方向につながっている画素の集まり１１１と１１２において局部的な途切れ１４０が存在する場合に、途切れた部分を上下の画素により補間して右端の画素または左端の画素とする処理を行う。この結果、ノイズの影響が除去された画像１４１が生成される。そのため、ノイズが存在する場合であっても、品質の高い３次元画像を生成できる。
【００８０】
前記第３のステップで求めた画像内の途切れた部分を補間する方法の詳細は、後の実施例で説明するが、本発明は、途切れた部分を補間する方法を限定するものではなく、途切れた部分を上下の画素より補間する方法であるならば、どのような方法であってもよい。
【００８１】
図７は、本発明の３次元画像生成方法の原理を説明するための模式図であり、色画像の生成方法を説明するための図である。
【００８２】
本発明の３次元画像生成方法では、前記第１のステップにおいて、撮影手段から水平方向に一定距離離れた位置から照明して撮影した第１画像１０１を取得するとともに、撮影手段から前記水平方向と反対方向に一定距離離れた位置から照明して撮影した第２画像１０２を取得する。
【００８３】
一般に、３次元画像を生成する場合、前記第１のステップで、同時に撮影物体の色情報を撮影することが多く、実際に３次元画像を表示するときには、図７（ａ）に示すように、前記撮影物体の色情報を用いた色画像１４２を生成し、それを立体化して表示する。しかしながら、前記第１画像１０１あるいは前記第２画像１０２の色情報をそのまま使うと、撮影物体１０３の右側あるいは左側が、影１０４できつく縁取られた画像になってしまう。また、単に第１画像１０１と第２画像１０２の平均を求める、あるいは二つの照明を同時に使用して撮影する方法では、図７（ｂ）に示すように、影の部分１０４ｃが薄く残った色画像１４３になってしまい、影を完全に除去することが出来ない。また、一般の撮影のように広範囲な位置から複数の間接照明を当てて影を目立たなくする方法では、照明手段の小型化、携帯化を実現することが出来ない。
【００８４】
そこで、前記第１のステップで取得した第１画像１０１と前記第２画像１０２の同位置の画素を比較して、輝度値が大きいほうの画素を選択することによって撮影物体の色画像１４１を生成する。このとき、例えば、どちらかの画像において影となっている位置の画素については、常に輝度値の大きい画素が選択されるので生成される画像１４２は影の映らない画像となる。つまり、例えば、図７（ａ）に示したように、第１画像１０１の領域１４４ａの画素の輝度値と、前記領域１４４ａに相当する第２画像１０２の領域１４４ｂの画素の輝度値を比較した場合、影になっている第１画像１０１の画素の輝度値よりも、照明が当たっている第２画像１０２上の画素の方が輝度値が大きいので、前記色画像１４２の領域１４５の画素の輝度値には、前記第２画像１０２上の画素の輝度値が採用される。そのため、影のない色画像を容易に生成することができる。
【００８５】
なお、この処理は、本発明の３次元画像生成方法と組み合わせると、同じ画像を利用できるので効率が良いが、単独で普通の画像撮影に用いても有用である。
【００８６】
図８は、本発明の３次元画像生成装置の概略構成を示す模式図である。また、図８において、２は撮影物体、３は撮影手段（カメラ）、４Ａは撮影手段の右側水平方向に一定距離離れた位置にある第１照明手段（第１ライト）、４Ｂは第１照明手段とは反対方向（左側水平方向）に一定距離離れた位置にある第２照明手段（第２ライト）、６は３次元画像生成装置、６０１は画像取得手段、６０２は３次元形状生成手段、６０３はカメラ／ライト制御手段、７は画像表示手段である。
【００８７】
本発明の３次元画像生成方法を実現する３次元画像生成装置６は、例えば、図８に示すように、撮影手段（カメラ）３で撮影した画像を取得する画像取得手段６０１と、前記画像取得手段６０１で取得した画像を用いて、画像に写っている撮影物体２の３次元形状を生成する３次元形状生成手段と、前記撮影手段３及び前記撮影手段３の左右に配置された第１照明手段４Ａ及び第２照明手段４Ｂを制御するカメラ／ライト制御手段６０３とを備える。
【００８８】
このとき、前記照明手段は、前記撮影手段の右側に一定距離離れた位置に第１照明手段４Ａ、前記第１照明手段４Ｂとは反対側（左側）に一定距離離れた位置に第２照明手段４Ｂを配置しており、前記カメラ／ライト制御手段６０３によって、どちらか一方が点灯するように制御される。
【００８９】
また、前記撮影手段３は、通常のカメラであり、前記カメラ／ライト制御手段６０３によって前記第１照明手段４Ａまたは第２照明手段４Ｂのどちらかを点灯して撮影物体２を照らした状態で前記撮影物体を撮影し、撮影した画像を前記画像取得手段６０１に転送する。
【００９０】
また、前記３次元形状生成手段６０２は、前記図１乃至図７に沿って説明したような方法で、前記画像取得手段６０１で取得した画像に写っている撮影物体２の３次元形状を求め、３次元画像を生成する手段である。前記３次元形状生成手段６０２で生成した３次元画像は、例えば、液晶ディスプレイ等の画像表示手段７に表示される。
【００９１】
前記３次元画像生成装置６は、撮影手段３、第１照明手段４Ａ、第２照明手段４Ｂの３つの手段を用いて撮影した２枚の画像から３次元画像を生成することができる。そのため、極めて低コストかつ小型に構成することができ、携帯型端末への搭載も容易である利点がある。また、照明もレーザ等の特殊な光源を必要としないため安全性が高い利点も有する。
【００９２】
以下、本発明の３次元画像生成方法及び３次元画像生成装置に関する実施例を説明する。
【実施例１】
【００９３】
図９乃至図１５は、本発明による実施例１の３次元画像生成方法を説明するための模式図であり、図９は全体の処理手順を示すフロー図、図１０は図９のステップ８０３の処理の具体例を示すフロー図、図１１乃至図１３は図９のステップ８０５の処理の具体例を示すフロー図、図１４及び図１５はステップ８０５の作用を説明するための図である。
【００９４】
本実施例１の３次元画像生成方法は、図９に示すように、第１画像Ｐ１及び第２画像Ｐ２を取得するステップ８０１と、前記第１画像Ｐ１（１０１）と前記第２画像Ｐ２（１０２）の差分画像Ｐ３（１０５）を生成するステップ８０２と、前記差分画像Ｐ３の、ある正の閾値ｋ１以上の画素値を有する領域の右端の画素と、ある負の閾値−ｋ１以下の画素値を有する領域の左側の画素を、水平ライン毎に抽出するステップ８０３と、画素値を０に初期化した画像Ｐ４を用意するステップ８０４と、前記ステップ８０３で抽出した前記右端の画素よりも右側の領域、及び前記左端の画素よりも左側の領域に、あらかじめ定義した距離関数に従って距離を与える処理を、水平ライン毎に行って距離画像を生成するステップ８０５と、前記距離画像を垂直方向に平滑化して３次元画像を生成するステップ８０６とを有する。ここで、前記ステップ８０１は前記第１のステップに相当し、前記ステップ８０２は前記第２のステップに相当し、前記ステップ８０３は前記第３のステップに相当し、前記ステップ８０５は前記第４のステップに相当し、前記ステップ８０６は前記第５のステップに相当する。
【００９５】
以下、前記各ステップの処理について、詳細な説明をする。なお、前記各画像のサイズはＸ行Ｙ列とする。また、以下の説明では、各画像Ｐr（r=1,2,3,…,n）上の座標（ｘ，ｙ）の画素値は、Ｐr（ｘ，ｙ）と記述し、画像Ｐｒのある水平方向のライン画像をＬｒ、ライン画像Ｌｒのｘ座標の画素値をＬｒ（ｘ）と記述する。この定義よりｙ列目のライン画像上の画素値Ｌｒ（ｘ）はＰｒ（ｘ，ｙ）に等しい。また、本実施例１では、モノクロ画像を対象とし、画素値はスカラー値であるとする。
【００９６】
まず、前記ステップ８０１において、撮影手段から水平方向に一定距離離れた位置から照明して撮影した第１画像Ｐ１を取得する。このとき、前記撮影手段から取得する第１画像Ｐ１は、モノクロ画像でもＲＧＢ形式のカラー画像でもよいが、前記カラー画像を取得した場合は、下記数式１に従ってモノクロ画像に変換する。
【００９７】
【数１】
2005033731.tif 000003
【００９８】
ここで、Ｐ（ｘ，ｙ）Red，Ｐ（ｘ，ｙ）Green，Ｐ（ｘ，ｙ）Blueはそれぞれ、前記カラー画像の各画素に記録されたカラー情報である。
【００９９】
また、前記第１画像Ｐ１を取得したら、続けて、前記撮影手段から前記水平方向と反対方向に一定距離離れた位置から照明して撮影した第２画像Ｐ２を取得する。取得する前記第２画像Ｐ２も、前記第１画像Ｐ１と同様、モノクロ画像でもカラー画像でもよいが、前記カラー画像を取得した場合は、前記数式１に従ってモノクロ画像に変換する。
【０１００】
次に、ステップ８０２において、前記第１画像Ｐ１と前記第２画像Ｐ２から、下記数式２に従って差分画像Ｐ３を生成する。
【０１０１】
【数２】
2005033731.tif 000004
【０１０２】
次に、前記ステップ８０３において、前記差分画像Ｐ３の各水平ラインに対して、図１０に示すような処理を行う。ここでは、画像Ｐのｙライン目のライン画像Ｌのｘ座標の画素値をＬ（ｘ）と記述する。このとき、Ｌ（ｘ）＝Ｐ（ｘ，ｙ）である。
【０１０３】
前記ステップ８０３の処理では、まず、図１０に示すように、前記差分画像Ｐ３の水平ラインＬ３に関するパラメータ（ｙ）を初期化する（ステップ８０３ａ）。
【０１０４】
次に、水平ラインＬ３の各画素の値を、下記数式３にしたがって変換し、ライン画像Ｌ３１を生成する（ステップ８０３ｂ）。
【０１０５】
【数３】
2005033731.tif 000005
【０１０６】
ここで、ｋ１はあらかじめ与えられた正の値の閾値である。
【０１０７】
次に、前記ステップ８０３ｂで生成したライン画像Ｌ３１の各画素の値を、下記数式４にしたがって変換し、ライン画像Ｌ３２を生成する（ステップ８０３ｃ）。
【０１０８】
【数４】
2005033731.tif 000006
【０１０９】
前記数式４の作用の結果、正の閾値ｋ１以上の画素値を有する画素列の右端の画素が値１、ある負の閾値−ｋ１以下の画素値を有する画素列の左端の画素が値−１として抽出される。
【０１１０】
前記水平ラインＬ３に対するライン画像Ｌ３２を生成したら、水平ラインＬ３のパラメータ（ｙ）を更新し（ステップ８０３ｄ）、全ての水平ラインで前記ライン画像Ｌ３２を生成する処理を行ったかどうかの判定する（ステップ８０３ｅ）。ここで、未処理の水平ラインＬ３があれば、前記ステップ８０３ｂに戻って処理を繰り返す。また、全ての水平ラインＬ３に対する処理が済んでいれば、前記差分画像Ｐ３の各水平ラインＬ３を前記ライン画像Ｌ３２に置き換えて（ステップ８０３ｆ）、前記ステップ８０３の処理を終了する。前記ステップ８０３の処理を行った結果、図１に示した画像１１３のような画像が得られる。
【０１１１】
次に、前記ステップ８０４において、全ての画素値を０とした距離画像Ｐ４を用意する。ここで、画素値０は最も遠い距離を表し、距離が小さくなるにつれて画素値は大きくなるものとする。
【０１１２】
次に、前記ステップ８０５において、ライン画像Ｌ３２に置換した差分画像Ｐ３（以下、画像Ｐ３２とする）の各水平ラインのライン画像Ｌ３２に対して、図１１乃至図１３に示したような処理を行う。
【０１１３】
前記ステップ８０５では、まず、図１１に示すように、前記画像Ｐ３２のライン画像Ｌ３２に関するパラメータ（ｙ）を初期化する（ステップ８０５ａ）。
【０１１４】
次に、前記ライン画像Ｌ３２の左端の画素から順に画素値を調べ、Ｌ３２（ｉ）＝１である画素が現れたら、その座標ｉを記録する（ステップ８０５ｂ）。
【０１１５】
その後、引き続き前記ライン画像Ｌ３２の座標ｉの右側の画素の画素値を調べ、Ｌ３２（ｊ）≠０である画素が現れたら、その座標ｊを記録する（ステップ８０５ｃ）。
【０１１６】
次に、前記距離画像Ｐ４の、前記ライン画像Ｌ３２と同じ高さの水平ライン上のライン画像Ｌ４の座標ｉから座標ｊまでの画素の画素値に、下記数式５で与えられる距離値ｚ（ｘ）を加算する（ステップ８０５ｄ）。
【０１１７】
【数５】
2005033731.tif 000007
【０１１８】
ここで、ｋ（０＜ｋ＜１）とｚ０は、あらかじめ与えられたパラメータである。
【０１１９】
前記数式５によって生成される距離画像Ｐ４のライン画像Ｌ４の画素値の一例を図１４（ａ）に示す。図１４（ａ）は、前記数式５に従って生成される距離画像Ｐ４のライン画像Ｌ４であり、ｚ０は手前へ飛び出す大きさ、ｋは飛び出し中心の位置を表す。なお、距離関数は前記数式５以外にも様々な式を適用することが可能であり、本発明は、前記距離関数を前記数式５に限定するものではない。
【０１２０】
次に、前記ライン画像Ｌ３２の右端の画素まで調べ終わったか判定し（ステップ８０５ｅ）、前記ライン画像Ｌ３２の右端の画素まで調べ終わっていない場合は、Ｌ３２（ｊ）＝１であるか判定し（ステップ８０５ｆ）。ここで、Ｌ３２（ｊ）＝１であるなら、ｉ＝ｊとして（ステップ８０５ｇ）、前記ステップ８０５ｄに戻る。また、前記ステップ８０５ｆの判定でＬ３２（ｊ）≠１であるならステップ８０５ｃに戻る。
【０１２１】
また、前記ステップ８０５ｅで、ライン画像Ｌ３２の右端まで調べたと判定された場合は、図１２に示すステップ８０５ｈに進む。
【０１２２】
前記ステップ８０５ｈでは、前記ライン画像Ｌ３２の右端の画素から順に画素値を調べ、Ｌ３２（ｉ）＝−１である画素が現れたら、その座標ｉを記録する。その後、引き続き前記ライン画像Ｌ３２の座標ｉの左側の画素の画素値を調べ、Ｌ３２（ｊ）≠０である画素が現れたら、座標ｊを記録する（ステップ８０５ｉ）。
【０１２３】
次に、前記距離画像Ｐ４の、前記ライン画像Ｌ３２と同じ高さの水平ライン上のライン画像Ｌ４の座標ｉから座標ｊまでの画素の画素値に、前記数式５で与えられる距離値ｚ（ｘ）を加算する（ステップ８０５ｊ）。このとき、生成される距離画像Ｐ４のライン画像Ｌ４の各画素に加算される距離値ｚ（ｘ）は、例えば、図１４（ｂ）に示すようになる。
【０１２４】
次に、前記ライン画像Ｌ３２の左端の画素まで調べ終わったか判定し（ステップ８０５ｋ）、前記ライン画像Ｌ３２の右端の画素まで調べ終わっていない場合は、Ｌ３２（ｊ）＝１であるか判定し（ステップ８０５ｌ）。ここで、Ｌ３２（ｊ）＝１であるなら、ｉ＝ｊとして（ステップ８０５ｍ）、前記ステップ８０５ｊに戻る。また、前記ステップ８０５ｍの判定でＬ３２（ｊ）≠１であるならステップ８０５ｉに戻る。
【０１２５】
また、前記ステップ８０５ｋで、ライン画像Ｌ３２の右端まで調べたと判定された場合は、図１３に示すステップ８０５ｎに進む。
【０１２６】
前記ステップ８０５ｎでは、前記画像Ｐ３２のライン画像Ｌ３２を更新し、その後、全てのライン画像Ｌ３２で処理を行ったか判定する（ステップ８０５ｏ）。ここで、未処理のライン画像Ｌ３２があれば、ステップ８０５ｂに戻り、前記各ステップの処理を実行する。
【０１２７】
また、前記ステップ８０５ｏで、全てのライン画像Ｌ３２に対する処理を行ったと判定したら、前記距離画像４の各水平ラインのライン画像を、前記ライン画像Ｌ３２から生成したライン画像Ｌ４に置き換え、例えば、図１に示したような距離画像１１４を生成し（ステップ８０５ｐ）、前記ステップ８０５を終了する。
【０１２８】
前記ステップ８０５では、前記ステップ８０５ｂからステップ８０５ｍの処理を全水平ラインに行うことによって距離画像Ｐ４を求め、前記第４のステップの処理が実現することになる。しかしながら、本実施例１で説明した前記各ステップによる処理は、前記第４のステップを実現する具体的な一例に過ぎない。したがって、ここで説明したアルゴリズム（処理手順）以外のアルゴリズムであっても、本実施例１で説明したような、前記右端の画素より右側の領域、及び前記左端の画素より左側の領域に、あらかじめ定義した距離関数に従って距離を与える作用をもたらすアルゴリズムであるならよい。
【０１２９】
前記ステップ８０５によって生成される距離画像Ｐ４について、図１５に示す画像１４６を例に挙げてもう少し詳しく説明する。前記画像１４６の、ある水平ライン１４７上に着目すると、前記ステップ８０３の処理を行うことにより、前記水平ライン１４７におけるライン画像Ｌ３２の各画素の画素値は画素値グラフ１４８のようになる。
【０１３０】
次に、前記ステップ８０５ｂからステップ８０５ｄの処理により、全ての画素値が０の状態の距離画像Ｐ４のライン画像Ｌ４に、図１５のライン画像Ｌ４の距離値グラフ１４９に白領域で示した距離値１５０が加算される。また、前記ステップ８０５ｈからステップ８０５ｊの処理により、前記距離値１５０が加算された画素値グラフ１４９に、ハッチングされた領域で示した距離値１５０が加算される。その結果、太線で示したような距離分布１５２が得られる。前記距離分布１５２は、前記画像１４６をレリーフ調立体形状で表現したときの前記水平ライン１４７における距離画像であることがわかる。
【０１３１】
前記ステップ８０５の処理により、前記距離画像Ｐ４を生成したら、図９あるいは図１３に示したように、前記距離画像Ｐ４を垂直方向に平滑化する（ステップ８０６）。前記ステップ８０６では、距離画像Ｐ５を用意し、下記数式６に従って前記距離画像Ｐ５の各画素の画素値を決定する。そして、それらの画素値からなる距離画像Ｐ５を３次元画像として出力し、液晶ディスプレイ等の画像表示手段７で表示する。
【０１３２】
【数６】
2005033731.tif 000008
【０１３３】
なお、前記数式６では、Ｐ４（ｘ，−２）＝Ｐ４（ｘ，０），Ｐ４（ｘ，−１）＝Ｐ４（ｘ，０），Ｐ４（ｘ，Ｙ）＝Ｐ４（ｘ，Ｙ−１），Ｐ４（ｘ，Ｙ＋１）＝Ｐ４（ｘ，Ｙ−１）とする。また、前記数式６は、５つの画素の単純平均による平滑化フィルタであるが、これは一例であり、本発明は平滑化フィルタの種類や平滑化の範囲を前記数式６に限定するものではない。
【０１３４】
以上説明したように、本実施例１の３次元画像生成方法によれば、撮影手段の右側から照明をあてた第１画像Ｐ１と、前記撮影手段の左側から照明をあてた第２画像Ｐ２の２枚の画像から３次元画像を生成することができる。そのため、視覚的な画像劣化が少ない３次元画像を容易に生成することができる。またこのとき、従来のような正確な３次元形状を求めてからレリーフ調立体形状に変換するような２ステップの処理ではなく、直接レリーフ調立体形状（距離画像Ｐ４）を生成することができるので、計算コストを低減することができる。そのため、特に、計算処理能力の低い携帯器機に組み込む３次元画像生成方法として優れている。
【実施例２】
【０１３５】
図１６は、本発明による実施例２の３次元画像生成方法を説明するためのフロー図である。
【０１３６】
前記実施例１で説明した３次元画像生成方法では、図２（ａ）及び図２（ｂ）に示したような照明手段４Ａ，４Ｂの配置、照度の特性であり、取得した第１画像１０１（Ｐ１）及び第２画像１０２（Ｐ２）に、図２（ｃ）に示したような低照度のために暗くなった領域１１７が生じると、前記差分画像１０５（Ｐ３）に、３次元画像の生成に不要な成分１１８が生じる。本実施例２では、図３に示したような手順で、前記差分画像Ｐ３上の不要な成分を除去する場合の具体的な処理方法の一例を説明する。
【０１３７】
なお、本実施例２で説明する処理は、前記実施例１で説明した３次元画像生成方法において、前記差分画像Ｐ３を生成するステップ８０２と、その次のステップ８０３の間で行う処理である。そのため、以下の説明では、前記実施例１で説明した各ステップと同じ処理を行う部分については説明を省略し、前記差分画像Ｐ３上の不要な部分を除去する処理に関するステップのみを説明をする。
【０１３８】
まず、前記実施例１で説明したように、前記第１画像Ｐ１及び前記第２画像Ｐ２を取得した後、前記第１画像Ｐ１と第２画像Ｐ２の差分画像Ｐ３を生成する（ステップ８０１，８０２）。このとき、前記差分画像Ｐ３は、例えば、図２（ｃ）に示したような画像１０５のようになっているとする。
【０１３９】
次に、図１２に示すような処理により、前記差分画像Ｐ３上の不要な成分を除去する。このとき、まず、あらかじめ指定された閾値ｋ２をＫに代入する（ステップ８０７ａ）。
【０１４０】
次に、前記差分画像Ｐ３の水平ラインに関するパラメータを初期化する（ステップ８０７ｂ）。
【０１４１】
次に、前記差分画像Ｐ３の水平ラインのライン画像Ｌ３に対して、次のステップ８０７ｃからステップ８０７ｅの処理を行う。
【０１４２】
前記ステップ８０７ｃでは、前記ライン画像Ｌ３の各画素Ｌ３（ｘ）に対して、区間ｘ−Ｍ／２から区間ｘ＋Ｍ／２における画素値の分布を線形近似する近似式ｙ＝ａ（ｘ）・ｘ＋ｂ（ｘ）のパラメータａ（ｘ），ｂ（ｘ）を、下記数式７及び数式８を用いて決定する。
【０１４３】
【数７】
2005033731.tif 000009
【０１４４】
【数８】
2005033731.tif 000010
【０１４５】
ここで、前記数式７及び数式８における加算範囲は、以下のように規定する。
【０１４６】
（１）x-M/2＜０であるなら、Σの加算範囲：i＝０からx+M/2：M'＝x+M/2
（２）x-M/2≧０かつx+M/2＜Xであるなら、Σの加算範囲：i＝x-M/2からx+M/2：M'＝M
（３）x+M/2≧Xであるなら、Σの加算範囲：i＝x-M/2からＸ：M'＝X-x-M/2
【０１４７】
なお、いずれの場合も、ｘｉ＝ｉ，ｙｉ＝Ｌ３（ｉ）とする。
【０１４８】
前記ステップ８０７ｃの処理を行うことによって、前記ステップＢ１の処理が実現される。なお、本実施例２では、１次式を用いた移動平均の近似式を用いているが、画素値の分布形状を近似するような近似式であるならばよく、本発明は、そのような近似式の求め方を限定するものではない。
【０１４９】
次に、ステップ８０７ｄにおいて、前記ライン画像Ｌ３の各画素の値を、下記数式９にしたがって変換し、ライン画像Ｌ３１を生成する。
【０１５０】
【数９】
2005033731.tif 000011
【０１５１】
前記ステップ８０７ｄの処理を行うことによって、前記ステップＢ２の処理が実現される。
【０１５２】
次に、ステップ８０７ｅにおいて、前記ライン画像Ｌ３１の各画素の値を、下記数式１０にしたがって変換し、ライン画像Ｌ３２を生成する。
【０１５３】
【数１０】
2005033731.tif 000012
【０１５４】
前記ステップ８０７ｅの処理を行うことによって、前記ステップＡの処理が実現される。
【０１５５】
以上、ステップ８０７ｃからステップ８０７ｅの処理を全水平ラインに行うことによって、図３に示したような処理が実現される。このとき、前記ライン画像Ｌ３２は、図３に示したように、３次元画像の生成には不要な領域、すなわち撮影物体の輪郭部の影の領域に相当する領域以外の画素の値がほぼ０になる。
【０１５６】
次に、前記ライン画像Ｌ３を更新し（ステップ８０７ｆ）、全ての水平ラインのライン画像で処理を行ったか判定する（ステップ８０７ｇ）。このとき、未処理のライン画像Ｌ３があれば、前記ステップ８０７ｃに戻り、処理を繰り返す。全てのライン画像Ｌ３で処理を行っていれば、元の差分画像Ｐ３のライン画像Ｌ３を、前記ライン画像Ｌ３２で置き換えて、新たな差分画像Ｐ３を生成する（ステップ８０７ｈ）。
【０１５７】
その後、反復終了の判定を行い（ステップ８０７ｉ）、反復終了と判定されれば前記ステップ８０３に進む。未終了と判定されれば、下記数式１１を用いてＫの値を更新（ステップ８０７ｊ）した後、前記ステップ８０７ｂに戻る。
【０１５８】
【数１１】
2005033731.tif 000013
【０１５９】
ここで、前記数式１１の演算記号％は、Ｋを２で除算したときに、小数点以下を切り捨てて整数部分のみを取り出す演算を表す。
【０１６０】
なお、前記ステップ８０７ｉ，ステップ８０７ｊは、Ｋを現在の値より小さな値に更新する処理であればよく、前記数式１１に限定するものではない。
【０１６１】
また、前記ステップ８０７ｉの判定では、例えば、以下の条件のいずれか、または、複数の条件の組み合わせを満たしたときに、反復終了と判定する。
【０１６２】
（条件１）ある反復回数を越える。
（条件２）Ｋの値がある値以下になる。
（条件３）ステップ８０７ｅでＬ３１（ｘ）≠Ｌ３２（ｘ）となる画素の数がある値以上になる。
（条件４）ステップ８０７ｅでＬ３１（ｘ）≠Ｌ３２（ｘ）となる画素で、つながっている画素列は画素数１とする数え方において、画素の数がある値以上になる。
【０１６３】
前記ステップ８０７ｂからステップ８０７ｈの処理を反復した場合、反復回数が増す毎に、差分画像の画素値はしだいに０に近づくが、０か否かの判定基準Ｋも小さくなるので、等しくない画素の数は徐々に増えていく。そして、画像のノイズレベルにＫの値が近づくと等しくない画素の数は急激に増え始める。よって、前記反復終了の条件３及び条件４は、Ｋの値が画像のノイズレベルに近づいたら終了とするということを実質的に表している。そのため、前記反復終了の条件３または条件４を用いることにより、事前に画像のノイズレベルを知ることなく、自動的に処理できるという利点がある。
【０１６４】
前記ステップ８０７ｉで、反復終了と判定された場合は、その直前のステップで生成した新たな差分画像Ｐ３を用い、前記実施例１で説明したステップ８０３、すなわち前記第３のステップ以降の処理を行う。
【０１６５】
以上説明したように、本実施例２の３次元画像生成方法によれば、前記第１のステップで取得した第１画像Ｐ１及び第２画像Ｐ２に、照明手段の照度の特性により暗くなった領域が存在した場合でも、差分画像Ｐ３から前記暗くなった領域に相当する領域の成分を除去することができる。そのため、照度ムラのある照明下で撮影した画像からでも、安定した３次元画像の生成が可能となる。
【実施例３】
【０１６６】
図１７乃至図１９は、本発明による実施例３の３次元画像生成方法を説明するための模式図であり、図１７は処理の流れを示すフロー図、図１８は画素列のリストの例を示す図、図１９は図１７のステップ８０８ｅの具体的な処理方法の一例を示すフロー図である。
【０１６７】
前記実施例１で説明した３次元画像生成方法では、図２（ａ）及び図２（ｂ）に示したような照明手段４亜、４Ｂの配置、照度の特性であり、取得した第１画像１０１（Ｐ１）及び第２画像１０２（Ｐ２）に、図２（ｃ）に示したような低照度のため暗くなった領域１１７が生じると、前記差分画像１０５（Ｐ３）に、３次元画像の生成に不要な成分１１８が生じる。そこで、例えば、前記実施例２で説明したような手順で、前記差分画像Ｐ３上の不要な成分１１８を除去する必要がある。
【０１６８】
しかしながら、前記実施例２で説明した処理の場合、図２（ｃ）に示したような画像であれば、前記差分画像Ｐ３上の不要な成分１１８を除去できるが、例えば、図４（ａ）に示したような照明条件で、図４（ｂ）に示したような第１画像１０１（Ｐ１）及び第２画像１０２（Ｐ２）を取得した場合には、処理が困難になる。そこで、本実施例３では、図４（ｂ）に示したような第１画像１０１及び第２画像１０２を取得した場合の前記差分画像Ｐ３上の不要な成分を除去する方法の具体的な例を説明する。
【０１６９】
なお、本実施例３で説明する処理は、前記実施例２で説明した処理と同様に、前記実施例１で説明した３次元画像生成方法において、前記差分画像Ｐ３を生成するステップ８０２と、その次のステップ８０３の間で行う処理である。そのため、以下の説明では、前記実施例１で説明した各ステップと同じ処理を行う部分については説明を省略し、前記差分画像Ｐ３上の不要な部分を除去する処理に関するステップの説明をする。
【０１７０】
まず、前記実施例１で説明したように、前記第１画像Ｐ１及び前記第２画像Ｐ２を取得した後、前記第１画像Ｐ１と第２画像Ｐ２の差分画像Ｐ３を生成する（ステップ８０１，ステップ８０２）。このとき、前記差分画像Ｐ３は、例えば、図４（ｂ）に示した画像１０５のようになる。
【０１７１】
次に、図１３に示すような手順により、前記差分画像Ｐ３上の不要な成分を除去する。このとき、まず、あらかじめ指定された閾値ｋ２をＫに代入する（ステップ８０８ａ）。
【０１７２】
次に、前記差分画像Ｐ３の水平ラインに関するパラメータ（ｙ）を初期化する（ステップ８０８ｂ）。
【０１７３】
次に、差分画像Ｐ３の各水平ラインのライン画像Ｌ３に対して、次のステップ８０８ｃから８０８ｅの処理を行う。
【０１７４】
前記ステップ８０８ｃでは、前記ライン画像Ｌ３の各画素Ｌ３（ｘ）の値を、下記数式１２にしたがってＬ３１（ｘ）に変換し、ライン画像Ｌ３１を生成する。
【０１７５】
【数１２】
2005033731.tif 000014
【０１７６】
次に、ステップ８０８ｄにおいて、前記ライン画像Ｌ３１の左端から、画素値０が連続する画素列を調べ、図１８に示すように、該当する画素列を検出する度に、その画素列の検出番号，画素列の左端の座標ｘｌ及び右端の座標ｘｒを書き込んだ画素列のリストを作成する。このステップ８０８ｄの処理を行うことによって、前記ステップＣの処理が、ある水平ラインの画像に対して実現される。
【０１７７】
次に、ステップ８０８ｄにおいて、前記画素列のリストから順番に画素列の左端の座標ｘｌ及び右端の座標ｘｒを読み出し、図１９に示すような、ステップ８０８１ｅからステップ８０８７ｅの処理を行う。
【０１７８】
前記ステップ８０８ｅでは、まず、前記ライン画像Ｌ３１の画素列に関するパラメータを初期化する（ステップ８０８１ｅ）。
【０１７９】
次に、前記ステップ８０８２ｅにおいて、前記画素列の左端の座標ｘｌから右端の座標ｘｒまでの区間における画素値の分布を線形近似する近似式ｙ＝ａｘ＋ｂのパラメータａ，ｂを、下記数式１３及び数式１４を用いて決定する。
【０１８０】
【数１３】
2005033731.tif 000015
【０１８１】
【数１４】
2005033731.tif 000016
【０１８２】
なお、前記数式１３及び数式１４において、Σの加算範囲はｉ＝ｘｌからｘｒとする。また、ｘｉ＝ｉ，ｙｉ＝Ｌ３（ｉ）とする。前記ステップ８０８２ｅの処理を行うことによって、前記ステップＤ１の処理が、ある水平ラインのライン画像に対して実現される。
【０１８３】
次に、ステップ８０８３ｅにおいて、前記画素列の右端の座標ｘｒより右側の画素値を調べ、画素値１が続いている場合、その連続した画素値１の画素列の右端の画素の座標を新たにｘｒとする。座標ｘｒの右隣の画素値が１でなかった場合には座標ｘｒは変化しない。
【０１８４】
次に、ステップ８０８４ｅにおいて、前記画素列の左端の座標ｘｌより左側の画素値を調べ、画素値−１が続いている場合、その連続した画素値−１の画素列の左端の画素の座標を新たにｘｌとする。座標ｘｌの左隣の画素値が−１でなかった場合には座標ｘｌは変化しない。
【０１８５】
次に、ステップ８０８５ｅにおいて、前記ステップ８０８３ｅ，ステップ８０８４ｅで得られた、新たな座標ｘｌから座標ｘｒまでの区間に含まれる画素Ｌ３（ｘ）の値を、下記数式１５したがって変換し、ライン画像Ｌ３２の座標ｘｌから座標ｘｒまでの区間の画素値Ｌ３２（ｘ）を生成する。
【０１８６】
【数１５】
2005033731.tif 000017
【０１８７】
ただし、ｘはｘｌからｘｒまでとする。
【０１８８】
前記ステップ８０８２ｅからステップ８０８５ｅの処理を行うことによって、前記ステップＤ２の処理がある水平ライン上のライン画像Ｌ３１のある画素列に対して実現される。
【０１８９】
次に、前記画素列を更新し（ステップ８０８６ｅ）、前記ライン画像Ｌ３１上の全ての画素列に関して処理を行ったか判定する（ステップ８０８７ｅ）。このとき、未処理の画素列があれば、前記ステップ８０８２ｅに戻って処理を繰り返す。また、全ての画素列で処理が終わったら、図１９に示したように、次のステップ８０８ｆに進む。
【０１９０】
以上、前記ステップ８０８ｃからステップ８０８ｅの処理により、前記差分画像Ｐ３上の１つの水平ラインのライン画像Ｌ３に対して、前記ステップＣ，ステップＤ１，ステップＤ２の処理が行われたことになる。
【０１９１】
前記ライン画像Ｌ３に対する各ステップの処理が終了したら、前記水平ラインのライン画像Ｌ３を更新し（ステップ８０８ｆ）、前記差分画像Ｐ３上の全てのライン画像で処理を実行したか判定する（ステップ８０８ｇ）。未処理のライン画像があれば、ステップ８０８ｃに戻り、処理を繰り返す。全てのライン画像で処理を行っていれば、前記差分画像Ｐ３のライン画像Ｌ３を、前記各ステップによる処理で求めたライン画像Ｌ３２に置き換えて、新たな差分画像Ｐ３（Ｐ３２）とする（ステップ８０８ｈ）。このとき、前記ライン画像Ｌ３２からなる新たな差分画像Ｐ３のライン画像は、図５に示したように、３次元画像の生成には不要な領域、すなわち撮影物体の輪郭部の影の領域に相当する領域以外の画素の値がほぼ０の画像１３８になる。
【０１９２】
前記新たな差分画像Ｐ３を生成したら、次に、反復終了の判定を行い（ステップ８０８ｉ）、反復終了と判定されれば前記ステップ８０３に進む。未終了と判定されれば、前記数式１１を用いてＫの値を更新（ステップ８０８ｊ）した後にステップ８０８ｂに戻る。
【０１９３】
前記ステップ８０８ｉの判定では、例えば、以下の条件のいずれか、または、複数の終了条件の組み合わせを満たしたときに、反復終了と判定する。
【０１９４】
（条件１）ある反復回数を越える。
（条件２）Ｋの値がある値以下になる。
（条件３）ステップ８０８ｅでＬ３１（ｘ）≠Ｌ３２（ｘ）となる画素の数がある値以上になる。
（条件４）ステップ８０８ｅでＬ３１（ｘ）≠Ｌ３２（ｘ）となる画素で、つながっている画素列は画素数１とする数え方において、画素の数がある値以上になる。
【０１９５】
前記ステップ８０８ｂからステップ８０８ｅの処理を反復した場合、反復回数が増す毎に、差分画像の画素値はしだいに０に近づくが、０か否かの判定基準Ｋも小さくなるので、等しくない画素の数は徐々に増えていく。そして、画像のノイズレベルにＫの値が近づくと等しくない画素の数は急激に増え始める。よって、前記反復終了の条件３及び条件４は、Ｋの値が画像のノイズレベルに近づいたら終了とするということを実質的に表している。そのため、反復終了の条件３または条件４を用いることにより、事前に画像のノイズレベルを知ることなく、自動的に処理できるという利点がある。
前記ステップ８０８ｉで、反復終了と判定された場合は、その直前のステップ８０８ｈで生成した新たな差分画像Ｐ３（Ｐ３２）を用い、前記実施例１で説明したステップ８０３、すなわち前記第３のステップ以降の処理を行う。
【０１９６】
以上説明したように、本実施例３の３次元画像生成方法によれば、２つの照明手段の照明方向中心が撮影物体の後方で交差し、例えば、図４（ｂ）に示したような第１画像１０１（Ｐ１）及び第２画像１０２（Ｐ２）を取得した場合でも、前記差分画像１０５（Ｐ３）から低照度のために暗くなった領域に相当する成分を除去することができる。そのため、照度ムラのある照明下で撮影した画像からでも、安定した３次元画像の生成が可能となる。
【実施例４】
【０１９７】
図２０及び図２１は、本発明による実施例４の３次元画像生成方法を説明するための模式図であり、図２０は局所的な途切れを補間する処理のフロー図、図２１は補間方法を説明するための図である。
【０１９８】
前記実施例１から前記実施例３までで説明した３次元画像生成方法では、前記第３のステップ（ステップ８０３）で生成した画像上の、撮影物体の輪郭部に相当する領域の右端の画素や左端の画素が連続的に抽出されているとして説明している。しかしながら、実際の画像生成処理では、取得した第１画像Ｐ１及び第２画像Ｐ２や、前記差分画像Ｐ３に生じたノイズの影響で、図６（ａ）に示したように、前記第３のステップで生成した画像１１３上で、本来なら連続的である部分に局所的な途切れ１４０が生じることがある。そこで、本実施例４では、図６（ａ）に示したような局所的な途切れ１４０を補間する処理について説明する。
【０１９９】
なお、前記局所的な途切れ１４０を補間する処理は、前記第３のステップ（ステップ８０３）と前記第４のステップ（ステップ８０５）の間で行う処理である。そのため、以下の説明では、前記実施例１や前記実施例２，実施例３で説明した各ステップについては説明を省略し、局所的な途切れ１４０を補間する処理のみを説明する。
【０２００】
また、前記第３のステップで生成された画像は距離画像Ｐ３３と記述する。またこのとき、前記距離画像Ｐ３３のサイズはＸ画素×Ｙ画素であるとする。
【０２０１】
本実施例４の３次元画像生成方法では、前記実施例１から実施例３のいずれかで説明したような手順で前記画像Ｐ３３を生成した後、図１４に示すように、Ｘ画素×Ｙ画素の画像Ｐ３４、及び変数ｘ，ｙを用意する（ステップ８０９ａ）。
【０２０２】
次に、ステップ８０９ｂにおいて、前記距離画像Ｐ３３の四辺に隣接する全ての画素の画素値を、前記画像Ｐ３４の同位置にコピーし、ｙ＝１とする。
【０２０３】
次に、ステップ８０９ｃにおいて、ｘ＝１とする。
【０２０４】
本実施例４で説明する処理は、画像周辺の１画素幅の領域には適用できない。それは、本実施例４で説明する処理が、注目する画素とその近傍の画素を用いて行う処理であるからで、変数ｘまたはｙの座標値が０の画素は、近傍画素の一部がないので処理ができない。そのため、本実施例４の処理では、変数ｘおよびｙの初期値を１としている。
【０２０５】
次に、ステップ８０９ｄにおいて、画像Ｐ３４の各画素Ｐ３４（ｘ，ｙ）の値を、下記数式１６に記載した条件式に基づいて決定する。
【０２０６】
【数１６】
2005033731.tif 000018
【０２０７】
ただし、前記数式１６の各々の条件式において、ｖは全て１か−１のどちらかの値をとるものとする。
【０２０８】
前記数式１６の各々の条件式が示す幾何的な意味は、以下の通りである。まず、１番目の条件式は、例えば、図１５（ａ）に示すように、前記距離画像Ｐ３３の中心画素Ｐ３３（ｘ，ｙ）の下の画素Ｐ３３（ｘ，ｙ＋１）の値と左上の画素Ｐ３３（ｘ−１，ｙ−１）の値がともにｖであるなら、前記画像Ｐ３４の画素Ｐ３４（ｘ，ｙ）の値をｖとすることを表す。同様に、２番目の条件式は、図１５（ｂ）に示すように、距離画像Ｐ３３の中心画素Ｐ３３（ｘ，ｙ）の下の画素Ｐ３３（ｘ，ｙ＋１）の値と上の画素Ｐ３３（ｘ，ｙ−１）の値がともにｖであるなら、前記画像Ｐ３４の画素Ｐ３４（ｘ，ｙ）の値をｖとすることを表す。以下、３番目から５番目の条件式も同様の操作を意味し、前記５つの条件式を満たさない場合は、６番目の条件式Ｐ３４（ｘ，ｙ）＝Ｐ３３（ｘ，ｙ）とする。
【０２０９】
前記数式１６を用いて、前記画像Ｐ３４の画素Ｐ３４（ｘ，ｙ）の画素値を決めれば、前記画像Ｐ３４上では、前記距離画像Ｐ３３上の連続する線分中に存在する１画素の欠けが修復される。
【０２１０】
なお、前記数式１６に挙げた条件式では、図１５（ｃ）のように、前記距離画像Ｐ３３の中心画素Ｐ３３（ｘ，ｙ）の上の画素Ｐ３３（ｘ，ｙ−１）の値と右下の画素Ｐ３３（ｘ＋１，ｙ＋１）の値がｖである場合は、前記中心画素Ｐ３４（ｘ，ｙ）は修復されない。しかしながら、これは、図１５（ｄ）に示すように、隣の画素を中心画素Ｐ３３（ｘ，ｙ）としたときに、図１５（ａ）で示した位置関係になるので必ず処理される。つまり、図１５（ｃ）に示したような配列は、処理の重複を省くため前記数式１６には入れていない。また、前記数式１６に挙げた条件式では、図１５（ｅ）のように、中心画素Ｐ３３（ｘ，ｙ）の右側の画素Ｐ３３（ｘ＋１，ｙ）の値及び左側の画素Ｐ３３（ｘ−１，ｙ）の値がｖの場合も処理されないが、これは、前記第４のステップ（ステップ８０５）において、水平方向は補間処理によって距離を算出するので、傾きが水平に近い線分は連続させる必要性があまりないため行わなくてもよい。しかしながら、計算コストを重視しない場合、図１５（ｃ）や図１５（ｅ）のような場合にも処理する条件式を前記数式１６に加えても構わない。
【０２１１】
また、前記ステップ８０９ｄは、前記数式１６に示した条件式のかわりに、参照テーブルを事前に作成しておき、周辺画素の分布状態から参照アドレスを生成して参照テーブルを引くことによって前記数式１６と同等の処理を行うことも可能である。このステップにおいて、前記距離画像Ｐ３３上の途切れた部分を上下の画素より補間して右端の画素または左端の画素とすることによって、局所的な途切れを解消する作用を与える式であるならば前記数式１６に限定するものではない。
【０２１２】
次に、変数ｘを更新してｘ＝ｘ＋１とし（ステップ８０９ｅ）、ｘ＜Ｘ−１であるか判定する（ステップ８０９ｆ）。ここで、ｘ＜Ｘ−１であるならばステップ８０９ｄに戻る。
【０２１３】
また、ｘ＝Ｘ−１であれば、変数ｙを更新してｙ＝ｙ＋１とし（ステップ８０９ｇ）、ｙ＜Ｙ−１であるか判定する（ステップ８０９ｈ）。ここで、ｙ＜Ｙ−１ならば、ステップ８０９ｃに戻り、処理を繰り返す。
【０２１４】
前記ステップ８０９ｈでｙ＝Ｙ−１と判定されれば、前記距離画像Ｐ３３を、前記ステップ８０９ｄで画素値を決定した画素Ｐ３４（ｘ，ｙ）からなる画像Ｐ３４で置き換え（ステップ８０９ｉ）、処理を終了する。その後は、前記第４のステップ（ステップ８０５）及び第５のステップ（ステップ８０６）を実行する。
【０２１５】
以上説明したように、本実施例４の３次元画像生成方法によれば、前記第３のステップで生成した画像上で、撮影物体の輪郭部を表す画素が連続的である部分に生じた、局所的な途切れを補間することができる。そのため、生成した３次元画像の視覚的な精度の低下を防ぐことができる。
【実施例５】
【０２１６】
図２２は、本発明による実施例５の３次元画像生成方法を説明するためのフロー図である。
【０２１７】
前記実施例１から実施例４まででは、前記第１画像Ｐ１及び第２画像Ｐ２として、モノクロ画像を用いて３次元画像を生成する方法について説明したが、一般に、３次元画像を生成する場合には、前記第１画像Ｐ１及び第２画像Ｐ２を取得するときに、同時に撮影物体の色情報を撮影することが多く、実際に３次元画像を生成し、表示するときには、前記撮影物体の色情報を用いた色画像を立体化して表示する。しかしながら、従来の色画像の生成方法では、前記撮影物体の輪郭部の影が残り、視覚的な精度を劣化させる要因となる。そこで、本実施例５では、視覚的な精度の劣化を防ぐ色画像の生成方法について説明する。
【０２１８】
なお、本実施例５で説明する色画像の生成処理は、前記実施例１で説明した３次元画像生成方法において、前記第１画像Ｐ１及び第２画像Ｐ２を取得するステップ８０１の後に行う処理である。そのため、以下の説明では、前記実施例１から実施例４までで説明した各ステップについては説明を省略し、色画像を生成する処理に関するステップのみを説明する。
【０２１９】
また、本実施例５では、処理対象となる前記第１のステップで取得する画像を、前記第１画像Ｐ１及び第２画像Ｐ２と区別するために、それぞれ第１色画像Ｃ１、第２色画像Ｃ２とする。また、本実施例５の方法で生成される画像を生成色画像Ｃ３とする。なお、前記第１色画像Ｃ１、第２色画像Ｃ２、生成色画像Ｃ３のサイズはそれぞれ、Ｘ画素×Ｙ画素であるとする。
【０２２０】
前記第１色画像Ｃ１及び第２色画像Ｃ２を取得したら、まず、ステップ８１０ａにおいて、ｘ＝０，ｙ＝０とする。
【０２２１】
次に、ステップ８１０ｂにおいて、下記数式１７にしたがって、前記生成色画像Ｃ３上の各画素Ｃ３（ｘ，ｙ）の画素値を算出する。
【０２２２】
【数１７】
2005033731.tif 000019
【０２２３】
ここで、前記数式１７における右辺の関数MAXは、引数のうち大きい方の値を選択する関数を意味するものとする。
【０２２４】
次に、変数ｘを更新してｘ＝ｘ＋１とし（ステップ８１０ｃ）、ｘ＜Ｘであるか判定する（ステップ８１０ｄ）。ここで、ｘ＜Ｘならばステップ８１０ｂに戻り、処理を繰り返す。
【０２２５】
また、ｘ＝Ｘであれば、次に、変数ｙを更新してｙ＝ｙ＋１とし（ステップ８１０ｅ）、ｙ＜Ｙであるか判定する（ステップ８１０ｆ）。ここで、ｙ＜Ｙであるならば、ｘ＝０（ステップ８１０ｇ）としてから前記ステップ８１０ｂに戻り、処理を繰り返す。
【０２２６】
前記ステップ８１０ｆの判定で、ｙ＝Ｙと判定されたら、Ｃ３（ｘ，ｙ）からなる画像Ｃ３を生成して処理を終了する。
【０２２７】
以上の処理によって、図８に示したように、照明によって生じる影の除去された色画像画像１４１（Ｃ３）が生成される。
【０２２８】
なお、前記色画像Ｃ３は、前記実施例１から実施例４までで説明した３次元画像を生成する際には直接必要としない画像である。そのため、図２２に示したような処理は、前記第１のステップが終了した後、どの段階で行ってもよい。またこのとき、本実施例５の処理を、前記第２のステップ以降の処理と並列して行えば、処理時間の増加を防げる。
【０２２９】
以上説明したように、本実施例５の３次元画像生成方法によれば、前記撮影物体の色画像も同時に取得する場合に、照明による影のない、高品質の色画像を生成することができる。
【０２３０】
なお、本実施例５で説明した色画像の生成処理手順は、前記実施例１から実施例４までで説明した３次元画像生成方法と組み合わせるのが最も効果的であるが、これに限らず、単独で、通常の画像撮影に用いても有用である。
【実施例６】
【０２３１】
図２３は、本発明による実施例６の３次元画像生成装置の概略構成を示す模式図である。
【０２３２】
図２３において、２は撮影物体、３は撮影カメラ、４Ａは第１照明手段（右側照明）、４Ｂは第２照明手段（左側照明）、６は３次元画像生成装置、６Ａは画像入力メモリ、６ＢはＣＰＵ、６Ｃは３次元形状記録メモリ、６Ｄは色画像記録メモリである。
【０２３３】
本実施例６の３次元画像生成装置６は、例えば、コンピュータのような装置を用いることが可能であり、図１７に示すように、撮影カメラで撮影した画像を取得して保存する画像入力メモリ６Ａと、前記画像入力メモリ６Ａに保存された画像を用いて３次元画像を生成する処理を行うＣＰＵ６Ｂと、前記ＣＰＵ６Ｂで処理して得られた３次元形状（距離画像）及び色画像を記録、保存する３次元形状記録メモリ６Ｃ及び色画像記録メモリ６Ｄとを備える。このとき、前記画像入力メモリ６Ａ、３次元形状記録メモリ６Ｃ、色画像記録メモリ６Ｄは、例えば、ＤＲＡＭやＥＥＰＲＯＭのような物理的には同一の半導体メモリをソフト的に分割して使うことによって実現しても構わない。
【０２３４】
また、図示は省略するが、前記３次元画像生成装置は、前記実施例１から実施例５までで説明した各ステップを前記ＣＰＵ６Ｂで実行することが可能なプログラムが記録されたメモリを有し、前記ＣＰＵ６Ｂは、前記プログラムに従って前記距離画像及び色画像を生成する。
【０２３５】
また、前記ＣＰＵ６Ｂは、前記撮影カメラ３で撮影するタイミングや、照明手段４Ａ，４Ｂの切り替え等の制御も行うものとする。
【０２３６】
本実施例６の３次元画像生成装置を用いて画像を生成するときには、前記ＣＰＵ６Ｂの制御により第１照明手段４Ａを点灯し、撮影カメラ３で撮影物体２を撮影して画像入カメモリ６Ａに画像を入カする。この画像を第１画像Ｐ１（１０１）とする。
【０２３７】
次に、ＣＰＵ６Ｂは第１照明手段４Ａを消灯し、第２照明手段４Ｂを点灯し、撮影カメラ３で撮影物体２を撮影して画像入カメモリ６Ａに画像を入力する。この画像を第２画像Ｐ２（１０２）とする。以上の動作が、前記実施例１で説明した第１のステップ（ステップ８０１）に相当する。
【０２３８】
次に、ＣＰＵ６Ｂは第１画像Ｐ１と第２画像Ｐ２から、前記実施例１から実施例４までで説明したような方法を用いて距離画像（３次元画像）を生成し、３次元形状記録メモリ６Ｃに記録する。
【０２３９】
また、撮影物体の色画像も同時に取得する場合は、第１画像Ｐ１と第２画像Ｐ２から前記実施例５で説明した方法を用いて色画像Ｃ３を生成し、色画像記録メモリ６Ｄに記録する。
【０２４０】
前記距離画像記録メモリ６Ｃに記録された距離画像（３次元画像）及び色画像記録メモリ６Ｄに記録された色画像は、前記３次元画像生成装置６の利用者の操作等により、読み出され、液晶ディスプレイ等の表示手段（図示しない）に表示される。
【０２４１】
このとき、前記ＣＰＵ６Ｂにて行う前記距離画像（３次元画像）の生成処理は、前記実施例１から実施例４までで説明したように、２枚の画像を用いて生成するので、計算コストが低く、かつ、信頼性の高い３次元画像を生成することができる。そのため、処理能力の高い専用の計算機（コンピュータ）に限らず、汎用型のコンピュータやＰＤＡ、携帯電話等を用いても、視覚的な信頼性が十分に高い３次元画像を生成し、表示させることができる。
【０２４２】
また、本発明の３次元画像生成方法では、前記実施例１で説明したように、撮影手段（カメラ）の右側から照明した第１画像と、前記撮影手段の左側から照明した第２画像の２枚の画像から３次元画像を生成するので、取得する画像を撮影するための撮影手段（カメラ）及び照明手段を前記３次元画像生成装置に組み込むことが容易である。そのため、例えば、携帯電話機やＰＤＡのような小型の携帯器機に、前記撮影手段及び照明手段を組み込めば、小型、低コストであり、かつ、信頼性に優れた３次元画像生成装置を提供することができる。
【０２４３】
また、前記実施例１から実施例５までで説明したような処理をプログラム化することで、専用の装置でなくても、前記プログラムを実行可能な装置であれば、信頼性に優れた３次元画像を容易に生成することができるようになる。またこのとき、前記プログラムを、例えば、ＣＤ−ＲＯＭ等の記録媒体に記録したり、ネットワーク上の端末に記録すれば、特定の利用者の装置に限らず、多くの利用者の装置で利用することが可能となる。
【０２４４】
以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であることはもちろんである。
【図面の簡単な説明】
【０２４５】
【図１】本発明の３次元画像生成方法の原理を説明するための模式図である。
【図２】本発明の３次元画像生成方法の原理を説明するための模式図であり、生成する３次元画像の信頼性を向上させるための方法の一例を説明するための図である。
【図３】本発明の３次元画像生成方法の原理を説明するための模式図であり、生成する３次元画像の信頼性を向上させるための方法の一例を説明するための図である。
【図４】本発明の３次元画像生成方法の原理を説明するための模式図であり、生成する３次元画像の信頼性を向上させるための方法の他の例を説明するための図である。
【図５】本発明の３次元画像生成方法の原理を説明するための模式図であり、生成する３次元画像の信頼性を向上させるための方法の他の例を説明するための図である。
【図６】本発明の３次元画像生成方法の原理を説明するための模式図であり、ノイズの影響を除去する方法の一例を説明するための図である。
【図７】本発明の３次元画像生成方法の原理を説明するための模式図であり、色画像の生成方法を説明するための図である。
【図８】本発明の３次元画像生成装置の概略構成を示す模式図である。
【図９】本発明による実施例１の３次元画像生成方法を説明するための模式図であり、全体の処理手順を示すフロー図である。
【図１０】本発明による実施例１の３次元画像生成方法を説明するための模式図であり、図９のステップ８０３の処理の具体例を示すフロー図である。
【図１１】本発明による実施例１の３次元画像生成方法を説明するための模式図であり、図９のステップ８０５の処理の具体例を示すフロー図である。
【図１２】本発明による実施例１の３次元画像生成方法を説明するための模式図であり、図９のステップ８０５の処理の具体例を示すフロー図である。
【図１３】本発明による実施例１の３次元画像生成方法を説明するための模式図であり、図９のステップ８０５の処理の具体例を示すフロー図である。
【図１４】本発明による実施例１の３次元画像生成方法を説明するための模式図であり、ステップ８０５の作用を説明するための図である。
【図１５】本発明による実施例１の３次元画像生成方法を説明するための模式図であり、ステップ８０５の作用を説明するための図である。
【図１６】本発明による実施例２の３次元画像生成方法を説明するためのフロー図である。
【図１７】本発明による実施例３の３次元画像生成方法を説明するための模式図であり、処理の流れを示すフロー図である。
【図１８】本発明による実施例３の３次元画像生成方法を説明するための模式図であり、画素列のリストの例を示す図である。
【図１９】本発明による実施例３の３次元画像生成方法を説明するための模式図であり、図１７のステップ８０８ｅの具体的な処理方法の一例を示すフロー図である。
【図２０】本発明による実施例４の３次元画像生成方法を説明するための模式図であり、局所的な途切れを補間する処理のフロー図である。
【図２１】本発明による実施例４の３次元画像生成方法を説明するための模式図であり、補間方法を説明するための図である。
【図２２】本発明による実施例５の３次元画像生成方法を説明するためのフロー図である。
【図２３】本発明による実施例６の３次元画像生成装置の概略構成を示す模式図である。
【符号の説明】
【０２４６】
１０１，Ｐ１…第１画像、
１０２，Ｐ２…第２画像、
１０５，Ｐ３…差分画像、
２…撮影物体、
３…撮影手段（カメラ）
４Ａ…第１照明手段、
４Ｂ…第２照明手段、
６…３次元画像生成装置、
６０１…画像取得手段、
６０２…３次元形状生成手段、
６０３…カメラ／ライト制御手段、
６Ａ…画像入力メモリ、
６Ｂ…ＣＰＵ、
６Ｃ…３次元形状記録メモリ、
６Ｄ…色画像記録メモリ、
７…画像表示手段。
【図１】
2005033731.tif 000020
【図２】
2005033731.tif 000021
【図３】
2005033731.tif 000022
【図４】
2005033731.tif 000023
【図５】
2005033731.tif 000024
【図６】
2005033731.tif 000025
【図７】
2005033731.tif 000026
【図８】
2005033731.tif 000027
【図９】
2005033731.tif 000028
【図１０】
2005033731.tif 000029
【図１１】
2005033731.tif 000030
【図１２】
2005033731.tif 000031
【図１３】
2005033731.tif 000032
【図１４】
2005033731.tif 000033
【図１５】
2005033731.tif 000034
【図１６】
2005033731.tif 000035
【図１７】
2005033731.tif 000036
【図１８】
2005033731.tif 000037
【図１９】
2005033731.tif 000038
【図２０】
2005033731.tif 000039
【図２１】
2005033731.tif 000040
【図２２】
2005033731.tif 000041
【図２３】
2005033731.tif 000042