(57)【要約】  入力画像から３次元画像を生成するための奥行き情報を生成する３次元画像撮影装置（１００）であって、撮影により入力画像を取得する撮影部（１３０）と、撮影部（１３０）によって取得された入力画像内の被写体を指定する被写体指定部（１１０）と、入力画像の奥行き方向に平行な方向において、被写体指定部（１１０）によって指定された被写体近傍の奥行き分解能が、当該被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を設定する分解能設定部（１２０）と、入力画像の領域毎に、対応する領域の奥行き位置を示す奥行き値を、分解能設定部（１２０）によって設定された複数の奥行き値の中から決定することで、入力画像に対応する２次元の奥行き情報を生成するデプスマップ生成部（１４０）とを備える。
2012101719.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から３次元画像を生成するための奥行き情報を生成する３次元画像撮影装置であって、
撮影により前記入力画像を取得する撮影部と、
前記撮影部によって取得された入力画像内の第１被写体を指定する指定部と、
前記入力画像の奥行き方向に平行な方向において、前記指定部によって指定された第１被写体近傍の奥行き分解能が、当該第１被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を、複数の初期奥行き値として設定する分解能設定部と、
前記入力画像の２次元の領域毎に、対応する領域の奥行き位置を示す奥行き値を、前記分解能設定部によって設定された複数の奥行き値の中から決定することで、前記入力画像に対応する前記奥行き情報を生成する奥行き情報生成部とを備える
３次元画像撮影装置。
【請求項２】
前記分解能設定部は、互いに異なる予め定められた複数の奥行き位置の少なくとも１つを、前記指定部によって指定された第１被写体の奥行き位置に近づけることで、前記複数の初期奥行き値を設定する
請求項１記載の３次元画像撮影装置。
【請求項３】
前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第１被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、
前記奥行き情報生成部は、前記複数の初期奥行き値と前記追加奥行き値との中から１つの奥行き値を前記入力画像の２次元の領域毎に決定する
請求項１又は２記載の３次元画像撮影装置。
【請求項４】
前記３次元画像撮影装置は、さらに、
前記入力画像と前記奥行き情報とを用いて前記３次元画像を生成した場合の立体効果を示す立体効果画像を表示する表示部と、
ユーザからの指示に基づいて前記立体効果の強弱を調整する立体効果調整部とを備え、
前記分解能設定部は、前記立体効果調整部によって前記立体効果を強める設定がされた場合に、前記追加奥行き値を設定する
請求項３記載の３次元画像撮影装置。
【請求項５】
前記３次元画像撮影装置は、さらに、前記入力画像と前記奥行き情報とを用いて、前記入力画像から前記３次元画像を生成する３次元画像生成部を備え、
前記表示部は、前記立体効果画像として前記３次元画像を表示する
請求項４記載の３次元画像撮影装置。
【請求項６】
前記指定部は、さらに、前記撮影部によって取得された入力画像内の、前記第１被写体とは異なる第２被写体を追加指定し、
前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第２被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、
前記奥行き情報生成部は、前記複数の初期奥行き値と前記追加奥行き値との中から１つの奥行き値を前記入力画像の２次元の領域毎に決定する
請求項１〜５のいずれか１項に記載の３次元画像撮影装置。
【請求項７】
前記指定部は、さらに、前記撮影部によって取得された入力画像内の、前記第１被写体とは異なる第２被写体を追加指定し、
前記分解能設定部は、さらに、前記複数の初期奥行き値が示す複数の奥行き位置の少なくとも１つを、前記指定部によって追加指定された第２被写体の奥行き位置に近づけることで、前記複数の初期奥行き値を更新する
請求項１〜５のいずれか１項に記載の３次元画像撮影装置。
【請求項８】
前記奥行き情報生成部は、前記入力画像の２次元の領域毎に、
（ａ）前記分解能設定部によって設定された複数の奥行き値のそれぞれに対応し、対応する奥行き値の妥当性を表すコスト関数を算出し、
（ｂ）奥行き値が最も妥当であることを示すコスト関数に対応する奥行き値を、対応する領域の奥行き値として決定する
請求項１記載の３次元画像撮影装置。
【請求項９】
前記３次元画像撮影装置は、さらに、前記奥行き情報生成部によって算出されたコスト関数を保持するコスト関数保持部を備える
請求項８記載の３次元画像撮影装置。
【請求項１０】
前記コスト関数保持部は、前記奥行き情報生成部によって算出されたコスト関数を、前記入力画像の２次元の領域毎に、前記複数の奥行き値に対応付けて保持する
請求項９記載の３次元画像撮影装置。
【請求項１１】
前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第１被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、
前記奥行き情報生成部は、さらに、前記入力画像の２次元の領域毎に、
（ａ）前記追加奥行き値に対応するコスト関数を算出し、
（ｂ）算出したコスト関数を前記追加奥行き値に対応付けて前記コスト関数保持部に格納する
請求項１０記載の３次元画像撮影装置。
【請求項１２】
前記コスト関数保持部は、前記入力画像の２次元の領域毎に、奥行き値が最も妥当であることを示すコスト関数のみを、対応する奥行き値に対応付けて保持する
請求項９記載の３次元画像撮影装置。
【請求項１３】
前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第１被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、
前記奥行き情報生成部は、さらに、前記入力画像の２次元の領域毎に、
（ａ）前記追加奥行き値に対応するコスト関数を算出し、
（ｂ）算出したコスト関数と前記コスト関数保持部に格納されているコスト関数とを比較し、
（ｃ）（ｉ）算出したコスト関数が、前記コスト関数保持部に格納されているコスト関数より妥当であることを示している場合に、前記追加奥行き値を、対応する領域の奥行き値として決定するとともに、前記コスト関数保持部に格納されているコスト関数を当該算出したコスト関数に置き換え、（ｉｉ）前記コスト関数保持部に格納されているコスト関数が、算出したコスト関数より妥当であることを示している場合に、前記コスト関数保持部に格納されているコスト関数に対応する奥行き値を、対応する領域の奥行き値として決定する
請求項１２記載の３次元画像撮影装置。
【請求項１４】
前記３次元画像撮影装置は、さらに、前記指定部によって指定された第１被写体を強調して前記入力画像を表示する表示部を備える
請求項１記載の３次元画像撮影装置。
【請求項１５】
入力画像から３次元画像を生成するための奥行き情報を生成する３次元画像撮影方法であって、
撮影により前記入力画像を取得する撮影ステップと、
前記撮影ステップにおいて取得された入力画像内の被写体を指定する指定ステップと、
前記入力画像の奥行き方向に平行な方向において、前記指定ステップにおいて指定された被写体近傍の奥行き分解能が、当該被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を、複数の初期奥行き値として設定する分解能設定ステップと、
前記入力画像の２次元の領域毎に、対応する領域の奥行き位置を示す奥行き値を、前記分解能設定ステップにおいて設定された複数の奥行き値の中から決定することで、前記入力画像に対応する前記奥行き情報を生成する奥行き情報生成ステップとを含む
３次元画像撮影方法。
【請求項１６】
請求項１５記載の３次元画像撮影方法をコンピュータに実行させるためのプログラム。
【請求項１７】
入力画像から３次元画像を生成するための奥行き情報を生成する集積回路であって、
前記入力画像内の被写体を指定する指定部と、
前記入力画像の奥行き方向に平行な方向において、前記指定部によって指定された第１被写体近傍の奥行き分解能が、当該第１被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を、複数の初期奥行き値として設定する分解能設定部と、
前記入力画像の２次元の領域毎に、対応する領域の奥行き位置を示す奥行き値を、前記分解能設定部によって設定された複数の奥行き値の中から決定することで、前記入力画像に対応する前記奥行き情報を生成する奥行き情報生成部とを備える
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元画像撮影装置及び３次元画像撮影方法に関し、特に、入力画像から３次元画像を生成するための奥行き情報を生成する３次元画像撮影装置及び３次元画像撮影方法に関する。
【背景技術】
【０００２】
従来、奥行き値を画像の領域毎に示す奥行き情報（デプスマップ：Ｄｅｐｔｈ  Ｍａｐ）を用いて、２次元画像から３次元画像を生成する技術が開発されている。奥行き値（デプス値：Ｄｅｐｔｈ  Ｖａｌｕｅ）は、画像の深さ方向を示す値であり、例えば、カメラから被写体までの距離に相当する値である。カメラを用いて撮影した画像から奥行き情報を生成する場合、画像の領域毎に、予め定められた複数の奥行き値から１つの奥行き値を決定することで、奥行き情報を生成することができる。【０００３】
例えば、特許文献１には、焦点距離の異なる複数の画像から全焦点画像を作成する技術が開示されている。この技術を利用することで、画素毎の奥行き値を示すデプスマップを生成することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−３３３３２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術では、演算コストの増加の抑制と、立体感の向上とを両立することができないという課題がある。【０００６】
従来は、予め定められた複数の奥行き値を用いている。すなわち、奥行き分解能が固定である。奥行き分解能とは、複数の奥行き値のばらつき具合を示す値であり、複数の奥行き値が密である程、奥行き分解能は高く、複数の奥行き値が疎である程、奥行き分解能は低くなる。【０００７】
図１は、従来の奥行き分解能を示す図である。【０００８】
図１（ａ）では、カメラから遠い側（テレ端）から近い側（ワイド端）までの間に、１０個の奥行き値ｄ１〜ｄ１０が予め定められている。奥行き情報に含まれる奥行き値は、予め定められた１０個の奥行き値ｄ１〜ｄ１０から選択されるので、注目被写体の奥行き値としては、ｄ６又はｄ７が選択される。つまり、注目被写体の奥行き値は、ｄ６及びｄ７の２つの値でしか表現されない。このため、入力画像を３次元画像に変換した場合、注目被写体の立体感はほとんど表現されず、書割的な３次元画像が生成される。【０００９】
一方、図１（ｂ）では、カメラから遠い側から近い側までの間に、１９個の奥行き値ｄ１〜ｄ１９が予め定められている。この場合、注目被写体の奥行き値は、ｄ１１、ｄ１２及びｄ１３の３つの値で表現されるので、図１（ａ）の場合に比べて、立体感を向上させることができる。【００１０】
しかしながら、注目被写体の奥行き値を決定する際に、１９個の奥行き値ｄ１〜ｄ１９のそれぞれに対して奥行き値を決定するための演算を行う必要がある。このため、図１（ａ）の場合に比べて、演算コスト（処理量）が増大してしまう。また、奥行き値ｄ１〜ｄ１９のそれぞれに対する演算結果を保持しておくために使用するメモリ量が大きくなる。【００１１】
そこで、本発明は、上記従来の課題を解決するためになされたものであり、演算コストの増加を抑制しつつ、書割感を減少させ、立体感を向上させることができる３次元画像撮影装置及び３次元画像撮影方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、本発明の一態様に係る３次元画像撮影装置は、入力画像から３次元画像を生成するための奥行き情報を生成する３次元画像撮影装置であって、撮影により前記入力画像を取得する撮影部と、前記撮影部によって取得された入力画像内の第１被写体を指定する指定部と、前記入力画像の奥行き方向に平行な方向において、前記指定部によって指定された第１被写体近傍の奥行き分解能が、当該第１被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を、複数の初期奥行き値として設定する分解能設定部と、前記入力画像の２次元の領域毎に、対応する領域の奥行き位置を示す奥行き値を、前記分解能設定部によって設定された複数の奥行き値の中から決定することで、前記入力画像に対応する前記奥行き情報を生成する奥行き情報生成部とを備える。【００１３】
これにより、指定した被写体近傍の奥行き分解能を高めることで、被写体近傍の奥行き位置を表す奥行き値の候補を増やすことができる。したがって、指定した被写体の書割感を低減し、立体感を向上させることができる。また、このとき、被写体近傍の奥行き分解能が他の領域の分解能より高めればよいので、例えば、全体の奥行き値の候補を増やす必要はなく、演算コストの増加を抑制することができる。【００１４】
また、前記分解能設定部は、互いに異なる予め定められた複数の奥行き位置の少なくとも１つを、前記指定部によって指定された第１被写体の奥行き位置に近づけることで、前記複数の初期奥行き値を設定してもよい。【００１５】
これにより、予め定められた奥行き位置を被写体の奥行き位置に近づけるようにすることで、被写体近傍の奥行き位置を表す奥行き値の候補を増やすことができ、立体感を向上させることができる。また、予め定められた奥行き位置を移動させるだけで、奥行き値の数を増やさないので、演算コストの増加を抑制することができる。【００１６】
また、前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第１被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、前記奥行き情報生成部は、前記複数の初期奥行き値と前記追加奥行き値との中から１つの奥行き値を前記入力画像の２次元の領域毎に決定してもよい。【００１７】
これにより、被写体近傍に追加奥行き値を設定することで、被写体近傍の奥行き位置を表す奥行き値の候補を増やすことができるので、さらに立体感を向上させることができる。【００１８】
また、前記３次元画像撮影装置は、さらに、前記入力画像と前記奥行き情報とを用いて前記３次元画像を生成した場合の立体効果を示す立体効果画像を表示する表示部と、ユーザからの指示に基づいて前記立体効果の強弱を調整する立体効果調整部とを備え、前記分解能設定部は、前記立体効果調整部によって前記立体効果を強める設定がされた場合に、前記追加奥行き値を設定してもよい。【００１９】
これにより、ユーザからの指示があった場合に追加奥行き値を設定するので、ユーザの意図する立体感を表現することができる。よって、ユーザの意図しない立体感の表現を行うことによる演算コストの増加を抑制することができる。【００２０】
また、前記３次元画像撮影装置は、さらに、前記入力画像と前記奥行き情報とを用いて、前記入力画像から前記３次元画像を生成する３次元画像生成部を備え、前記表示部は、前記立体効果画像として前記３次元画像を表示してもよい。【００２１】
これにより、３次元画像を表示するので、ユーザが立体効果を直接的に判断することができる。よって、ユーザは立体効果の調整を容易に行うことができるので、ユーザの意図する立体感を表現することができる。したがって、ユーザの意図しない立体感の表現を行うことによる演算コストの増加を抑制することができる。【００２２】
また、前記指定部は、さらに、前記撮影部によって取得された入力画像内の、前記第１被写体とは異なる第２被写体を追加指定し、前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第２被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、前記奥行き情報生成部は、前記複数の初期奥行き値と前記追加奥行き値との中から１つの奥行き値を前記入力画像の２次元の領域毎に決定してもよい。【００２３】
これにより、被写体を追加指定し、追加指定した被写体近傍の奥行き分解能を高めることで、複数の被写体の立体感を向上させることができる。例えば、１回目に設定した第１被写体の立体感を確かめた後に、他の被写体の立体感を向上させたい場合などに、第２被写体を追加指定することで、第１被写体だけでなく第２被写体の立体感も向上させることができる。【００２４】
また、前記指定部は、さらに、前記撮影部によって取得された入力画像内の、前記第１被写体とは異なる第２被写体を追加指定し、前記分解能設定部は、さらに、前記複数の初期奥行き値が示す複数の奥行き位置の少なくとも１つを、前記指定部によって追加指定された第２被写体の奥行き位置に近づけることで、前記複数の初期奥行き値を更新してもよい。【００２５】
これにより、被写体を追加指定し、追加指定した被写体近傍の奥行き分解能を高めることで、複数の被写体の立体感を向上させることができる。例えば、１回目に設定した第１被写体の立体感を確かめた後に、他の被写体の立体感を向上させたい場合などに、第２被写体を追加指定することで、第１被写体だけでなく第２被写体の立体感も向上させることができる。このとき、１回目に設定された奥行き位置を移動させるだけで、奥行き値の数を増やさないので、演算コストの増加を抑制することができる。【００２６】
また、前記奥行き情報生成部は、前記入力画像の２次元の領域毎に、（ａ）前記分解能設定部によって設定された複数の奥行き値のそれぞれに対応し、対応する奥行き値の妥当性を表すコスト関数を算出し、（ｂ）奥行き値が最も妥当であることを示すコスト関数に対応する奥行き値を、対応する領域の奥行き値として決定してもよい。【００２７】
これにより、奥行き値毎のコスト関数を用いて、最も妥当な奥行き位置を決定するので、奥行き値の候補の中から最適な奥行き値を決定することができ、立体感を向上させることができる。【００２８】
また、前記３次元画像撮影装置は、さらに、前記奥行き情報生成部によって算出されたコスト関数を保持するコスト関数保持部を備えてもよい。【００２９】
これにより、算出したコスト関数を保持するので、再び演算する必要がなくなり、演算コストの増加を抑制することができる。【００３０】
また、前記コスト関数保持部は、前記奥行き情報生成部によって算出されたコスト関数を、前記入力画像の２次元の領域毎に、前記複数の奥行き値に対応付けて保持してもよい。【００３１】
これにより、算出したコスト関数を、領域毎に、かつ、奥行き位置毎に保持するので、例えば、追加奥行き値が設定された場合は、追加奥行き値に対応するコスト関数のみの演算を行い、保持されているコスト関数との比較を行えばよく、演算コストの増加を抑制することができる。【００３２】
また、前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第１被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、前記奥行き情報生成部は、さらに、前記入力画像の２次元の領域毎に、（ａ）前記追加奥行き値に対応するコスト関数を算出し、（ｂ）算出したコスト関数を前記追加奥行き値に対応付けて前記コスト関数保持部に格納してもよい。【００３３】
これにより、追加奥行き値が設定された場合は、追加奥行き値に対応するコスト関数のみの演算を行い、保持されているコスト関数との比較を行えばよく、演算コストの増加を抑制することができる。【００３４】
また、前記コスト関数保持部は、前記入力画像の２次元の領域毎に、奥行き値が最も妥当であることを示すコスト関数のみを、対応する奥行き値に対応付けて保持してもよい。【００３５】
これにより、算出したコスト関数のうち奥行き値が最も妥当なコスト関数のみを保持することで、メモリ資源を有効に利用することができる。【００３６】
また、前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第１被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、前記奥行き情報生成部は、さらに、前記入力画像の２次元の領域毎に、（ａ）前記追加奥行き値に対応するコスト関数を算出し、（ｂ）算出したコスト関数と前記コスト関数保持部に格納されているコスト関数とを比較し、（ｃ）（ｉ）算出したコスト関数が、前記コスト関数保持部に格納されているコスト関数より妥当であることを示している場合に、前記追加奥行き値を、対応する領域の奥行き値として決定するとともに、前記コスト関数保持部に格納されているコスト関数を当該算出したコスト関数に置き換え、（ｉｉ）前記コスト関数保持部に格納されているコスト関数が、算出したコスト関数より妥当であることを示している場合に、前記コスト関数保持部に格納されているコスト関数に対応する奥行き値を、対応する領域の奥行き値として決定してもよい。【００３７】
これにより、追加奥行き値が設定された場合、追加奥行き値に対応するコスト関数のみの演算を行い、保持されている最も妥当なコスト関数との比較を行えばよく、演算コストの増加を抑制することができる。【００３８】
また、前記３次元画像撮影装置は、さらに、前記指定部によって指定された第１被写体を強調して前記入力画像を表示する表示部を備えてもよい。【００３９】
これにより、ユーザに指定された被写体を提示することができる。【００４０】
なお、本発明は、３次元画像撮影装置として実現できるだけではなく、当該３次元画像撮影装置を構成する処理部をステップとする方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。【００４１】
また、上記の各３次元画像撮影装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。
【発明の効果】
【００４２】
本発明によれば、演算コストの増加を抑制しつつ、書割感を減少させ、立体感を向上させることができる。
【図面の簡単な説明】
【００４３】
【図１】図１は、従来の奥行き分解能を示す図である。
【図２】図２は、本発明の実施の形態に係る３次元画像撮影装置の構成の一例を示すブロック図である。
【図３】図３は、本発明の実施の形態に係る奥行き分解能の一例を示す図である。
【図４】図４は、本発明の実施の形態に係る奥行き分解能の別の一例を示す図である。
【図５】図５は、本発明の実施の形態に係る奥行き分解能の別の一例を示す図である。
【図６Ａ】図６Ａは、本発明の実施の形態に係る１つの被写体を指定するためのユーザインタフェースの一例を示す図である。
【図６Ｂ】図６Ｂは、本発明の実施の形態に係る複数の被写体を指定するためのユーザインタフェースの一例を示す図である。
【図７Ａ】図７Ａは、本発明の実施の形態に係る立体効果を調整するためのユーザインタフェースの一例を示す図である。
【図７Ｂ】図７Ｂは、本発明の実施の形態に係る立体効果を調整するためのユーザインタフェースの一例を示す図である。
【図８】図８は、本発明の実施の形態に係る入力画像とデプスマップとの関係の一例を示す図である。
【図９】図９は、本発明の実施の形態に係る複数の奥行き値と識別子との関係の一例を示す図である。
【図１０】図１０は、本発明の実施の形態に係るコスト関数保持部に保持されるデータの一例を示す図である。
【図１１】図１１は、本発明の実施の形態に係るコスト関数保持部に保持されるデータの別の一例を示す図である。
【図１２】図１２は、本発明の実施の形態に係る３次元画像撮影装置の動作の一例を示すフローチャートである。
【図１３】図１３は、本発明の実施の形態に係る奥行き分解能の設定処理の一例を示すフローチャートである。
【図１４】図１４は、本発明の実施の形態に係る３次元画像撮影装置の動作の別の一例を示すフローチャートである。
【図１５】図１５は、本発明の実施の形態に係る３次元画像撮影装置の動作の別の一例を示すフローチャートである。
【図１６】図１６は、本発明の実施の形態の変形例に係る３次元画像撮影装置の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００４４】
以下、本発明の実施の形態に係る３次元画像撮影装置及び３次元画像撮影方法について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
【００４５】
本発明の実施の形態に係る３次元画像撮影装置は、撮影により入力画像を取得する撮影部と、入力画像内の被写体を指定する指定部と、指定された被写体近傍の奥行き分解能が高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を設定する分解能設定部と、入力画像の領域毎に、対応する領域の奥行き位置を示す奥行き値を、設定された複数の奥行き値の中から決定することで、入力画像に対応する奥行き情報を生成する奥行き情報生成部とを備えることを特徴とする。
【００４６】
図２は、本発明の実施の形態に係る３次元画像撮影装置１００の構成の一例を示すブロック図である。３次元画像撮影装置１００は、２次元の入力画像から３次元画像を生成するための奥行き情報（デプスマップ）を生成する。
【００４７】
図２に示すように、３次元画像撮影装置１００は、被写体指定部１１０と、分解能設定部１２０と、撮影部１３０と、デプスマップ生成部１４０と、コスト関数保持部１５０と、３次元画像生成部１６０と、表示部１７０と、立体効果調整部１８０と、記録部１９０とを備える。
【００４８】
被写体指定部１１０は、撮影部１３０によって取得された入力画像内の被写体（注目被写体）を指定する。このとき、被写体指定部１１０は、複数の被写体を指定してもよい。被写体指定部１１０は、例えば、ユーザインタフェースを介して、ユーザによって指定された被写体を指定する。具体的には、被写体指定部１１０は、表示部１７０に表示されるユーザから被写体の指定を受け付けるためのユーザインタフェースを介して、ユーザが指示した被写体を指定する。
【００４９】
あるいは、被写体指定部１１０は、入力画像に画像認識処理を行うことで、指定領域を特定し、特定した指定領域を注目被写体として指定してもよい。画像認識処理は、例えば、顔認識処理及びエッジ検出処理などである。被写体指定部１１０は、入力画像に顔認識処理を行うことで、人物の顔領域を特定し、特定した顔領域を注目被写体として指定してもよい。
【００５０】
また、被写体指定部１１０は、１回目に指定した被写体（第１被写体）とは異なる第２被写体を追加指定してもよい。このとき、被写体指定部１１０は、複数の第２被写体を追加指定してもよい。
【００５１】
なお、ここでは、第１被写体は、第２被写体を指定する際に、既に奥行き分解能を高める処理の対象となっている被写体であり、第２被写体は、奥行き分解能を高める処理の対象にまだなっていない被写体である。具体的には、被写体指定部１１０は、ユーザが第１被写体に対する奥行き分解能を高める処理が行われた後の立体効果を確認した後、つまり、デプスマップが１回生成された後、新たに指定した被写体を第２被写体として追加指定する。
【００５２】
分解能設定部１２０は、被写体指定部１１０によって指定された被写体の奥行き分解能を高める処理を行う。すなわち、分解能設定部１２０は、入力画像の奥行き方向に平行な方向において、被写体指定部１１０によって指定された被写体近傍の奥行き分解能が、当該被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を設定する。
【００５３】
なお、奥行き方向とは、２次元の入力画像に対して直交する方向である。言い換えると、奥行き方向は、２次元の入力画像の前後方向、すなわち、画面からユーザに向かう方向（又は、ユーザから画面に向かう方向）である。また、奥行き方向における被写体近傍の領域は、被写体と、奥行き方向において被写体の周囲（前後）の領域とを含む。
【００５４】
また、奥行き分解能は、互いに異なる複数の奥行き位置のばらつき具合を示す値である。具体的には、複数の奥行き位置が密である程、奥行き分解能は高く、複数の奥行き値が疎である程、奥行き分解能は低くなる。言い換えると、奥行き方向における所定の領域内に含まれる奥行き位置の数が多い程、奥行き分解能は高く、当該領域内に含まれる奥行き位置の数が少ない程、奥行き分解能は低くなる。
【００５５】
なお、分解能設定部１２０の詳細な動作については、図３〜図５を用いて後で説明する。
【００５６】
撮影部１３０は、撮影により入力画像を取得する。撮影部１３０は、例えば、レンズなどの光学系と、入射光を電気信号（入力画像）に変換する撮像素子とを備える。レンズ及び撮像素子の少なくとも一方を動かすことで、レンズと撮像素子との間の距離を変更し、フォーカス（合焦位置）を変更することができる。
【００５７】
なお、デプスマップ生成部１４０が行う奥行き値の決定方法には、ＤＦＤ（Ｄｅｐｔｈ  ｆｒｏｍ  Ｄｅｆｏｃｕｓ）方式やＤＦＦ（Ｄｅｐｔｈ  ｆｒｏｍ  Ｆｏｃｕｓ）方式などがある。この方式に併せて、撮影部１３０は、入力画像の取得方法を変更する。
【００５８】
ＤＦＤ方式では、例えば、撮影部１３０は、フォーカス（合焦位置）を変えながら複数回の撮影を行うことで、合焦位置毎に入力画像を取得する。例えば、テレ端（最遠端）での画像である最遠端画像とワイド端（最近端）での画像である最近端画像との２枚の画像を入力画像として取得する。
【００５９】
ＤＦＦ方式（フォーカルスタック方式）では、例えば、撮影部１３０は、合焦位置を変えながら複数回の撮影を行うことで、合焦位置毎に入力画像を取得する。このとき、撮影部１３０は、奥行き値の個数の入力画像を取得する。つまり、撮影部１３０は、複数の奥行き値が示す複数の奥行き位置のそれぞれを合焦位置として撮影することで、複数の奥行き位置のそれぞれに対応する入力画像を取得する。
【００６０】
なお、デプスマップ生成部１４０行う奥行き値の決定方法は、ＤＦＤ方式又はＤＦＦ方式に限定せず、他のデプス決定方法を利用してもよい。
【００６１】
デプスマップ生成部１４０は、奥行き情報生成部の一例であり、入力画像の２次元の領域毎に、対応する領域の奥行き位置を、分解能設定部１２０によって設定された複数の奥行き値の中から決定することで、入力画像に対応する２次元の奥行き情報（デプスマップ）を生成する。ここで、入力画像の２次元の領域は、例えば、１画素、又は、複数の画素からなる領域である。
【００６２】
例えば、デプスマップ生成部１４０は、入力画像の２次元の領域毎に、分解能設定部１２０によって設定された複数の奥行き値のそれぞれに対応し、対応する奥行き値の妥当性を表すコスト関数を算出する。そして、デプスマップ生成部１４０は、最も妥当であることを表すコスト関数に対応する奥行き値を、対応する領域の奥行き値として決定する。デプスマップ生成部１４０の詳細な動作については、後で説明する。
【００６３】
コスト関数保持部１５０は、デプスマップ生成部１４０によって算出されたコスト関数を保持するためのメモリである。コスト関数保持部１５０に保持されるデータの詳細については、後で説明する。
【００６４】
３次元画像生成部１６０は、入力画像とデプスマップとを用いて、入力画像から３次元画像を生成する。なお、このとき用いる入力画像は、デプスマップの生成に用いた画像と全く同一でなくてもよい。３次元画像は、例えば、視差を有する左眼用画像と右眼用画像とから構成される。視聴者（ユーザ）は、左眼用画像を左眼で、右眼用画像を右眼で見ることで、３次元画像を立体的に感じることができる。
【００６５】
３次元画像生成部１６０は、具体的には、入力画像の２次元の領域毎に、対応する奥行き値を用いて視差情報を生成する。視差情報は、左眼用画像と右眼用画像との視差を示す情報である。例えば、視差情報は、対応する領域を左右方向にシフトさせる量（画素数）を示しており、３次元画像生成部１６０は、対応する領域を左右方向にシフトさせることで、左眼用画像と右眼用画像とを生成する。
【００６６】
表示部１７０は、入力画像とデプスマップとを用いて３次元画像を生成した場合の立体効果を示す立体効果画像を表示する。立体効果画像は、立体効果調整部１８０によって生成される。あるいは、立体効果画像は、例えば、３次元画像生成部１６０によって生成された３次元画像であってもよい。
【００６７】
また、表示部１７０は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を表示する。ＧＵＩは、例えば、ユーザから被写体の指定を受け付けるためのインタフェース、及び、立体効果の強弱を調整するためのインタフェースなどである。ＧＵＩの具体的な例については、後で説明する。
【００６８】
立体効果調整部１８０は、ユーザからの指示に基づいて立体効果の強弱を調整する。具体的には、立体効果調整部１８０は、表示部１７０に表示される立体効果調整用のＧＵＩを介して、ユーザからの指示を受け付ける。このとき、立体効果調整部１８０は、ユーザに立体効果を確認させるために、入力画像から３次元画像を生成した場合の立体効果を表す立体効果画像を生成してもよい。
【００６９】
例えば、立体効果調整部１８０は、ユーザから、どの被写体をどの程度、立体効果を強める、又は、弱めるかという指示を受け付ける。すなわち、立体効果調整部１８０は、立体効果の調整の対象となる被写体と、強弱の程度とを示す指示をユーザから受け付ける。受け付けた指示は、分解能設定部１２０に通知される。
【００７０】
記録部１９０は、３次元画像生成部１６０によって生成された３次元画像、すなわち、左眼用画像と右眼用画像とを記録媒体などに記録する。あるいは、記録部１９０は、撮影部１３０によって取得された入力画像と、デプスマップ生成部１４０によって生成されたデプスマップとを記録してもよい。なお、記録媒体は、例えば、３次元画像撮影装置１００が備える内部メモリ、又は、３次元画像撮影装置１００と接続可能なメモリカードなどである。
【００７１】
続いて、本発明の実施の形態に係る奥行き分解能の設定処理について説明する。
【００７２】
図３は、本発明の実施の形態に係る奥行き分解能の一例を示す図である。
【００７３】
図３（ａ）に示すように、図１（ａ）と同様に、３次元画像撮影装置１００（カメラ）から遠い側（テレ端）から近い側（ワイド端）までの間に、１０個の奥行き値ｄ１〜ｄ１０が予め定められている。つまり、本実施の形態に係る３次元画像撮影装置１００では、奥行き値の個数が予め定められており、図３（ａ）に示す例では、１０個である。
【００７４】
ここで、被写体指定部１１０は、奥行き値ｄ６が示す奥行き位置とｄ７が示す奥行き位置との間に存在する被写体を、注目被写体として指定する。分解能設定部１２０は、１０個の奥行き位置の少なくとも１つを注目被写体近傍の奥行き位置に近づけることで、図３（ｂ）に示すように、１０個の奥行き値ｄ１〜ｄ１０を設定する。
【００７５】
具体的には、分解能設定部１２０は、注目被写体を中心として注目被写体から離れる程、隣り合う奥行き値間の間隔が広くなるように、予め等間隔で定められていた複数の奥行き値を調整する。言い換えると、分解能設定部１２０は、注目被写体近傍の奥行き値の間隔を狭めるように複数の奥行き値を設定することで、注目被写体近傍の奥行き分解能を高める。
【００７６】
要するに、分解能設定部１２０は、注目被写体近傍の領域に含まれる奥行き値の個数が、注目被写体から離れた領域（例えば、テレ端又はワイド端付近の領域）に含まれる奥行き値の個数より多くなるように、複数の奥行き値を設定する。言い換えると、分解能設定部１２０は、注目被写体近傍の奥行き値が密となるように、複数の奥行き値を設定する。
【００７７】
これにより、図３（ａ）に示す例では、注目被写体の奥行き値は、ｄ６及びｄ７の２つの値でしか表現されないのに対して、図３（ｂ）に示す例では、注目被写体の奥行き値は、ｄ５、ｄ６及びｄ７の３つの値で表現される。このため、図３（ａ）の場合に比べて、立体感を向上させることができる。このとき、全体の奥行き値の個数は、１０個のままで変わらないので、奥行き値を決定するための演算コストも変わらない。したがって、演算コストの増加も抑制することができる。
【００７８】
このように、分解能設定部１２０は、互いに異なる予め定められた複数の奥行き位置の少なくとも１つを、被写体指定部１１０によって指定された被写体近傍の奥行き位置に近づけることで、複数の奥行き値を設定する。これにより、被写体近傍の奥行き位置を表す奥行き値の候補を増やすことができ、立体感を向上させることができる。また、予め定められた奥行き位置を移動させるだけで、奥行き値の数を増やさないので、演算コストの増加を抑制することができる。
【００７９】
なお、この処理は、入力画像に対して初めて被写体が指定された場合、つまり、１回目の第１被写体が指定された場合に実行されることが好ましい。言い換えると、分解能設定部１２０は、予め定められた複数の奥行き位置の少なくとも１つを、被写体指定部１１０によって１回目に指定された第１被写体近傍の奥行き位置に近づけることで、複数の初期奥行き値を設定する。複数の初期奥行き値は、図３（ｂ）に示すｄ１〜ｄ１０であり、少なくとも１回は奥行き分解能を高める処理が行われた後の奥行き値である。
【００８０】
図４は、本発明の実施の形態に係る奥行き分解能の別の一例を示す図である。
【００８１】
ここでは、図４（ｂ）に示すように、注目被写体近傍に、新たな奥行き値ｄ１１及びｄ１２が追加されている。つまり、分解能設定部１２０は、図３（ｂ）に示した複数の初期奥行き値ｄ１〜ｄ１０のそれぞれが示す奥行き位置とは異なる奥行き位置であって、注目被写体近傍の奥行き位置を示す新たな奥行き値ｄ１１及びｄ１２を、追加奥行き値として設定する。このとき、デプスマップ生成部１４０は、初期奥行き値ｄ１〜ｄ１０と追加奥行き値ｄ１１及びｄ１２との中から１つの奥行き値を入力画像の２次元の領域毎に決定する。
【００８２】
このように、被写体近傍に追加奥行き値を設定することで、被写体近傍の奥行き位置を表す奥行き値の候補を増やすことができる。これにより、注目被写体の奥行き分解能をさらに高めることができ、注目被写体の立体感をさらに高めることができる。
【００８３】
なお、追加奥行き値の設定は、初期奥行き値の設定及びデプスマップの生成が完了した後に行われることが好ましい。具体的には、初期奥行き値の設定が完了した後、デプスマップ生成部１４０によって、初期奥行き値を用いてデプスマップが生成される。そして、表示部１７０には、生成されたデプスマップと入力画像とを用いて立体効果画像が表示されるとともに、ユーザからの立体効果の強弱を調整するため指示を受け付けるＧＵＩが表示される。
【００８４】
立体効果調整部１８０は、表示部１７０に表示されたＧＵＩを介して、ユーザから立体効果を強める指示を受けた場合、当該指示を分解能設定部１２０に通知する。分解能設定部１２０は、立体効果調整部１８０によって立体効果を強める設定がされた場合に、追加奥行き値を設定する。これにより、例えば、１回目に設定した第１被写体の立体感を確かめた後に、他の被写体の立体感を向上させたい場合などに、第２被写体を追加指定することで、第１被写体だけでなく第２被写体の立体感も向上させることができる。
【００８５】
このとき、デプスマップ生成部１４０は、初期奥行き値に対応するコスト関数は既に算出されているので、追加奥行き値に対応するコスト関数のみを算出すればよい。つまり、既に設定された初期奥行き値に対応するコスト関数を再び算出する必要はない。したがって、立体効果を高めるために必要な演算コストの増加を最小限に抑えることができる。
【００８６】
図５は、本発明の実施の形態に係る奥行き分解能の別の一例を示す図である。
【００８７】
本実施の形態では、上述したように、被写体指定部１１０は、第１被写体とは異なる第２被写体を追加指定することができる。図５は、第２被写体が追加指定された場合における奥行き分解能の一例を示している。
【００８８】
分解能設定部１２０は、複数の初期奥行き値ｄ１〜ｄ１０のそれぞれが示す奥行き位置とは異なる奥行き位置であって、追加被写体近傍の奥行き位置を示す新たな奥行き値（追加奥行き値ｄ１１及びｄ１２）を設定する。このとき、デプスマップ生成部１４０は、初期奥行き値ｄ１〜ｄ１０と追加奥行き値ｄ１１及びｄ１２との中から１つの奥行き値を入力画像の２次元の領域毎に決定する。
【００８９】
これにより、注目被写体だけでなく、新たに指定した追加被写体の奥行き分解能も高めることができ、注目被写体及び追加被写体の立体感を高めることができる。
【００９０】
なお、第２被写体の追加は、初期奥行き値の設定及びデプスマップの生成が完了した後に行われることが好ましい。具体的には、初期奥行き値の設定が完了した後、デプスマップ生成部１４０によって、初期奥行き値を用いてデプスマップが生成される。そして、表示部１７０には、生成されたデプスマップと入力画像とを用いて立体効果画像が表示されるとともに、ユーザからの被写体の追加を受け付けるためのＧＵＩが表示される。
【００９１】
被写体指定部１１０は、表示部１７０に表示されたＧＵＩを介して、ユーザから第２被写体の指定の指示を受けた場合、第２被写体を追加指定する。分解能設定部１２０は、第２被写体が追加指定された場合に、第２被写体の奥行き分解能を高めるように、奥行き値を設定する。これにより、１回目に指定した第１被写体だけでなく、新たに追加指定した第２被写体の奥行き分解能も高めることができ、第１被写体及び第２被写体の立体感を高めることができる。
【００９２】
続いて、本発明の実施の形態に係る表示部１７０が表示するＧＵＩの例について説明する。
【００９３】
図６Ａは、本発明の実施の形態に係る１つの被写体を指定するためのユーザインタフェースの一例を示す図である。
【００９４】
図６Ａに示すように、表示部１７０は、被写体指定部１１０によって指定された被写体を強調して、入力画像を表示する。被写体の強調の方法には、例えば、被写体の輪郭を太くする方法、被写体をハイライト表示する方法、又は、被写体の色を反転表示する方法などがある。
【００９５】
さらに、表示部１７０は、被写体の奥行き位置を表すヒストグラム２００を表示する。ヒストグラム２００の縦軸は、画素数を表している。図６Ａに示す例では、奥行き方向における中央付近に指定された被写体が存在することが表されている。
【００９６】
さらに、表示部１７０は、立体効果を表す立体効果画像２０１を表示する。図６Ａに示す例では、立体効果画像２０１は、濃淡のパターンによって立体効果を表している。具体的には、パターンの濃い領域は立体効果が強く、すなわち、奥行き値が密であり、パターンの薄い領域は立体効果が弱く、すなわち、奥行き値が疎であることを示している。図６Ａに示すように、本実施の形態では、指定された被写体を含む領域の立体効果が高められている。
【００９７】
このとき、表示部１７０は、例えば、カーソルなどを表示させることで、被写体指定部１１０は、ユーザからの被写体の指示を受け付けることができる。例えば、ユーザが表示部１７０に表示されている画像内で所定の領域を囲むような操作を行った場合、被写体指定部１１０は、当該領域に含まれる被写体を抽出し、抽出した被写体を指定する。あるいは、被写体指定部１１０は、当該領域そのものを被写体として指定してもよい。領域に含まれる被写体の抽出は、例えば、領域を対象としたエッジ検出処理、顔認識処理、及び、色検出処理などの画像処理によって行われる。
【００９８】
図６Ｂは、本発明の実施の形態に係る複数の被写体を指定するためのユーザインタフェースの一例を示す図である。
【００９９】
図６Ｂに示すように、表示部１７０は、被写体指定部１１０によって指定された被写体を強調して、入力画像を表示する。これにより、ユーザに指定された被写体を提示することができる。被写体の強調の方法には、例えば、被写体の輪郭を太くする方法、被写体をハイライト表示する方法、又は、被写体の色を反転表示する方法などがある。このとき、１回目に指定された第１被写体と、２回目以降に指定された第２被写体とで、強調の方法を変更してもよい。図６Ｂに示す例では、異なる網掛けによって被写体が異なることを示している。
【０１００】
表示部１７０は、図６Ａと同様に、被写体の奥行き位置を表すヒストグラム２１０を表示する。図６Ｂに示す例では、奥行き方向における中央付近に指定された第１被写体が存在し、かつ、奥行き方向において遠端側に追加指定された第２被写体が存在することが表されている。
【０１０１】
第２被写体が追加指定された場合、分解能設定部１２０は、図５（ｂ）に示すように、追加被写体（第２被写体）近傍に追加奥行き値を設定することで、追加被写体の奥行き分解能を高める。これにより、第１被写体だけでなく、第２被写体近傍の立体効果も高めることができる。
【０１０２】
さらに、表示部１７０は、立体効果を表す立体効果画像２１１を表示する。立体効果画像２１１は、図６Ａに示す立体効果画像２０１と同様に、濃淡のパターンによって立体効果を表している。図６Ｂに示す例では、第１被写体近傍及び第２被写体近傍の立体効果が高められている。
【０１０３】
このように、ユーザからの指示があった場合に追加奥行き値を設定するので、ユーザの意図する立体感を表現することができる。よって、ユーザの意図しない立体感の表現を行うことによる演算コストの増加を抑制することができる。
【０１０４】
図７Ａ及び図７Ｂは、本発明の実施の形態に係る立体効果を調整するためのユーザインタフェースの一例を示す図である。
【０１０５】
図７Ａ及び図７Ｂに示す例では、画面内に立体効果調整バーが表示されている。ユーザは、立体効果調整バーを操作することで、立体効果の強弱を調整することができる。
【０１０６】
例えば、図７Ａに示すように、ユーザが立体効果を弱めた場合、立体効果調整部１８０は、指定被写体の立体効果が弱まるような立体効果画像２２１を生成する。具体的には、立体効果画像は濃淡のパターンで立体効果を表示しているので、立体効果調整部１８０は、指定被写体の濃度が薄くなるような立体効果画像２２１を生成する。
【０１０７】
さらに、立体効果調整部１８０は、ユーザ指示に基づいて立体効果を弱める設定を行う。そして、分解能設定部１２０は、立体効果を弱める設定が行われた場合、例えば、複数の初期奥行き値が示す奥行き位置のうち、注目被写体近傍の奥行き位置間の間隔を広げることで、立体効果を弱めることができる。例えば、分解能設定部１２０は、立体効果が弱められる程、注目被写体近傍の奥行き位置間の間隔を広げるように、複数の奥行き値を更新する。
【０１０８】
あるいは、分解能設定部１２０は、複数の初期奥行き値のうち、注目被写体近傍の奥行き位置を示す初期奥行き値を削除してもよい。例えば、分解能設定部１２０は、立体効果が弱められる程、注目被写体近傍の奥行き値のうち削除する個数を増加させる。これによっても、立体効果を弱めることができる。
【０１０９】
一方で、図７Ｂに示すように、ユーザが立体効果を強めた場合、立体効果調整部１８０は、指定被写体の立体効果が強まるような立体効果画像２２２を生成する。具体的には、立体効果調整部１８０は、指定被写体の濃度が濃くなるような立体効果画像２２２を生成する。
【０１１０】
さらに、立体効果調整部１８０は、ユーザ指示に基づいて立体効果を強める設定を行う。そして、分解能設定部１２０は、立体効果を強める設定が行われた場合、例えば、複数の初期奥行き値が示す奥行き位置のうち、注目被写体近傍の奥行き位置間の間隔を狭めることで、立体効果を強めることができる。例えば、分解能設定部１２０は、立体効果が強められる程、注目被写体近傍の奥行き位置間の間隔を狭めるように、複数の奥行き値を更新する。
【０１１１】
あるいは、図４（ｂ）に示すように、注目被写体近傍に追加奥行き値を設定してもよい。例えば、分解能設定部１２０は、立体効果が強められる程、注目被写体近傍の追加奥行き値の個数を増加させる。これによっても、立体効果を強めることができる。
【０１１２】
続いて、本発明の実施の形態に係るデプスマップの生成処理の一例について説明する。
【０１１３】
図８は、本発明の実施の形態に係る入力画像とデプスマップ（奥行き情報）との関係の一例を示す図である。
【０１１４】
入力画像は、ｍ行×ｎ列のマトリクス状に配列された画素Ａ１１〜Ａｍｎを含んでいる。
【０１１５】
デプスマップは、奥行き情報の一例であり、入力画像の２次元の領域毎に奥行き値を示す画像である。図８に示す例では、デプスマップは、入力画像の画素毎に奥行き値を示している。言い換えると、入力画像に含まれる画素とデプスマップの画素とは１対１に対応している。具体的には、入力画像の画素Ａｉｊに対応する奥行き値は、Ｄｉｊである。ここで、ｉは、１≦ｉ≦ｍを満たし、ｊは、１≦ｊ≦ｎを満たす。
【０１１６】
図９は、本発明の実施の形態に係る複数の奥行き値と識別子との関係の一例を示す図である。
【０１１７】
分解能設定部１２０は、設定した複数の奥行き値のそれぞれに識別子を付与する。図９に示す例では、分解能設定部１２０は、Ｎ個の奥行き値を設定した場合、カメラから最も遠い奥行き値に識別子“１”を付与し、カメラに最も近い奥行き値に識別子“Ｎ”を付与する。
【０１１８】
なお、識別子の付与の仕方はこれに限らず、例えば、カメラから最も遠い奥行き値に識別子“Ｎ”を付与し、カメラに最も近い奥行き値に識別子“１”を付与してもよい。あるいは、識別子を付与することなく、奥行き値の値そのものを識別子として用いてもよい。
【０１１９】
図１０は、本発明の実施の形態に係るコスト関数保持部１５０に保持されるデータの一例を示す図である。
【０１２０】
デプスマップ生成部１４０は、入力画像の２次元の領域毎に、複数の奥行き値のそれぞれに対応するコスト関数を算出し、算出したコスト関数をコスト関数保持部１５０に格納する。具体的には、コスト関数保持部１５０は、デプスマップ生成部１４０によって算出されたコスト関数を、入力画像の２次元の領域毎に複数の奥行き値に対応付けて保持する。このように、コスト関数保持部１５０は、算出されたコスト関数を保持するので、デプスマップ生成部１４０が再び演算する必要がなくなり、演算コストの増加を抑制することができる。
【０１２１】
図１０に示す例では、コスト関数保持部１５０は、分解能設定部１２０によって設定された複数の奥行き値のそれぞれに対応する識別子“１”〜“Ｎ”と、入力画像の画素Ａ１１〜Ａｍｎとに対応するコスト関数を保持する。具体的には、まず、デプスマップ生成部１４０は、識別子“ｄ”と画素Ａｉｊとに対応するコスト関数Ｃｏｓｔ［Ａｉｊ］［ｄ］を算出する。そして、デプスマップ生成部１４０は、算出したコスト関数Ｃｏｓｔ［Ａｉｊ］［ｄ］をコスト関数保持部１５０に格納する。
【０１２２】
ここで、具体的なコスト関数の算出方法について説明する。
【０１２３】
まず、ＤＦＤ方式の場合であり、最遠端画像と最近端画像とが入力画像として取得された場合におけるコスト関数の算出方法について説明する。なお、詳細は、非特許文献１「Ｃｏｄｅｄ  Ａｐｅｒｔｕｒｅ  Ｐａｉｒｓ  ｆｏｒ  Ｄｅｐｔｈ  ｆｒｏｍ  Ｄｅｆｏｃｕｓ」（Ｃｈａｎｇｙｉｎ  Ｚｈｏｕ、Ｓｔｅｐｈｅｎ  Ｌｉｎ、Ｓｈｒｅｅ  Ｎａｙｅｒ）に開示されている。
【０１２４】
コスト関数は、以下の（式１）で表される。
【０１２５】
【数１】
2012101719.tif 000003
【０１２６】
ここで、Ｆ１及びＦ２は、２枚の異なるボケ画像を周波数変換することで得られる周波数係数である。具体的には、Ｆ１は、最近端画像を周波数変換することで得られる周波数係数であり、Ｆ２は、最遠端画像を周波数変換することで得られる周波数係数である。
【０１２７】
また、Ｋｉｄは、ＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）を周波数変換することで得られるＯＴＦ（Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）である。デプスマップ生成部１４０は、合焦位置に対応するＰＳＦ又はＯＴＦを内部メモリなどに保持している。例えば、Ｋ１ｄは、Ｆ１、すなわち、最近端画像に対応するＯＴＦであり、Ｋ２ｄは、Ｆ２、すなわち、最遠端画像に対応するＯＴＦである。
【０１２８】
Ｆ０は、以下の（式２）で表される。なお、Ｃは、主にノイズ対策のための調整用係数である。
【０１２９】
【数２】
2012101719.tif 000004
【０１３０】
ここで、Ｋ￣は、Ｋの複素共役である。デプスマップ生成部１４０は、（式１）の右項を計算した上で、逆周波数変換により計算結果を空間領域に変換する。そして、デプスマップ生成部１４０は、画素毎に、コスト関数が最小となる奥行き値ｄを決定する。なお、（式１）で表されるコスト関数は、値が小さい程、奥行き値が妥当であることを示している。つまり、コスト関数が最小となる奥行き値が、最も妥当な奥行き値であり、対応する画素の奥行き位置を表している。
【０１３１】
また、入力画像として全焦点画像が取得された場合も、デプスマップ生成部１４０は、上記と同様にＰＳＦを用いてコスト関数を算出し、奥行き値が最も妥当であることを示すコスト関数を決定することができる。
【０１３２】
このように、デプスマップ生成部１４０は、奥行き値毎のコスト関数を用いて、最も妥当な奥行き位置を決定するので、奥行き値の候補の中から最適な奥行き値を決定することができ、立体感を向上させることができる。
【０１３３】
次に、ＤＦＦ方式の場合のコスト関数の算出方法について説明する。このとき、それぞれが、分解能設定部１２０によって設定された複数の奥行き値が示す奥行き位置でピントが合った複数の画像が、入力画像として取得される。
【０１３４】
デプスマップ生成部１４０は、入力画像の領域毎にコントラストを算出する。具体的には、デプスマップ生成部１４０は、画素毎に、複数の入力画像のコントラストが最大となる入力画像に対応する奥行き位置を、当該画素の奥行き値として決定する。すなわち、コントラストが最大であることが、最も妥当な奥行き値を示すコスト関数に相当する。
【０１３５】
なお、既に初期奥行き値に対応するコスト関数が算出され、コスト関数保持部１５０に保持されている状態で、分解能設定部１２０によって新たに奥行き値が追加設定された場合、デプスマップ生成部１４０は、新たに追加された奥行き値（追加奥行き値）に対応するコスト関数のみを算出すればよい。そして、デプスマップ生成部１４０は、算出したコスト関数を追加奥行き値に対応付けてコスト関数保持部１５０に格納すればよい。このように、追加奥行き値が設定された場合は、デプスマップ生成部１４０は、追加奥行き値に対応するコスト関数のみの演算を行い、保持されているコスト関数との比較を行えばよい。これにより、演算コストの増加を抑制することができる。
【０１３６】
また、コスト関数保持部１５０は、入力画像の２次元の領域毎に、奥行き値が最も妥当であることを示すコスト関数のみを、対応する奥行き値に対応付けて保持してもよい。具体的な例について、図１１を用いて説明する。
【０１３７】
図１１は、本発明の実施の形態に係るコスト関数保持部１５０に保持されるデータの別の一例を示す図である。例えば、コスト関数保持部１５０は、図１１に示すように、入力画像の画素毎に、図９に示す識別子（奥行きＩＤ）と、コスト関数の最小値Ｃｏｓｔ＿ｍｉｎとを対応付けて保持している。
【０１３８】
なお、既に初期奥行き値に対応するコスト関数が算出され、コスト関数保持部１５０にコスト関数の最小値が保持されている状態で、分解能設定部１２０によって新たに奥行き値が追加設定された場合、デプスマップ生成部１４０は、新たに追加された奥行き値（追加奥行き値）に対応するコスト関数のみを算出すればよい。そして、デプスマップ生成部１４０は、算出したコスト関数と、コスト関数保持部１５０に保持されているコスト関数とを比較する。
【０１３９】
算出したコスト関数が、コスト関数保持部１５０に保持されているコスト関数より妥当であることを示している場合に、デプスマップ生成部１４０は、追加奥行き値を、対応する領域の奥行き値として決定する。さらに、この場合、デプスマップ生成部１４０は、コスト関数保持部１５０に保持されているコスト関数を、算出したコスト関数に置き換える。つまり、算出したコスト関数が、コスト関数の最小値より小さい場合は、デプスマップ生成部１４０は、追加奥行き値を、対応する領域の奥行き値として決定するとともに、算出したコスト関数を、コスト関数保持部１５０に保持されているコスト関数の最小値の代わりに格納する。
【０１４０】
また、コスト関数保持部１５０に保持されているコスト関数が、算出したコスト関数より妥当であることを示している場合に、デプスマップ生成部１４０は、コスト関数保持部１５０に保持されているコスト関数に対応する奥行き値を、対応する領域の奥行き値として決定する。このとき、コスト関数の置き換えは行われない。
【０１４１】
このように、追加奥行き値が設定された場合は、追加奥行き値に対応するコスト関数のみの演算を行い、保持されているコスト関数との比較を行えばよく、演算コストの増加を抑制することができる。また、コスト関数保持部１５０は、算出したコスト関数のうち奥行き値が最も妥当なコスト関数のみを保持すればよいので、メモリ資源を有効に利用することができる。
【０１４２】
続いて、本発明の実施の形態に係る３次元画像撮影装置１００の動作の一例について説明する。
【０１４３】
図１２は、本発明の実施の形態に係る３次元画像撮影装置１００の動作の一例を示すフローチャートである。なお、図１２は、ＤＦＤ方式に基づいてデプスマップを生成する場合の動作を示している。
【０１４４】
まず、被写体指定部１１０は、被写体を指定する（Ｓ１１０）。例えば、被写体指定部１１０は、撮影部１３０によって取得された入力画像に、図６Ａに示すような被写体指定用のＧＵＩを重畳して表示部１７０に表示させ、ユーザからの被写体の指定の指示を受け付ける。そして、受け付けた指示に基づいて、被写体指定部１１０は、被写体を指定する。
【０１４５】
次に、撮影部１３０は、撮影により入力画像を取得する（Ｓ１２０）。ここでは、撮影部１３０は、最遠端画像と最近端画像との２枚の入力画像を取得する。
【０１４６】
次に、分解能設定部１２０は、入力画像の奥行き方向に平行な方向において、被写体指定部１１０によって指定された被写体近傍の奥行き分解能が高くなるように、複数の奥行き値を設定する（Ｓ１３０）。具体的な処理を、図１３に示す。
【０１４７】
図１３は、本発明の実施の形態に係る奥行き分解能の設定処理の一例を示すフローチャートである。
【０１４８】
まず、分解能設定部１２０（又は、３次元画像撮影装置１００の全体を制御する制御部）は、レンズを制御することで、被写体指定部１１０によって指定された被写体にフォーカスを合わせる（Ｓ１３１）。
【０１４９】
そして、分解能設定部１２０は、このときのレンズ情報から被写体までの距離を取得し（Ｓ１３２）、取得した距離を奥行き値に変換する。なお、レンズ情報とは、例えば、指定された被写体にピントが合った場合の合焦距離（１ｃｍ〜∞（無限）など）を示す情報である。これにより、分解能設定部１２０は、被写体指定部１１０によって指定された被写体の奥行き位置を取得することができる。
【０１５０】
そして、分解能設定部１２０は、取得した奥行き位置に基づいて、奥行き分解能を決定する（Ｓ１３３）。つまり、分解能設定部１２０は、被写体近傍の奥行き分解能が、被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を設定する。例えば、分解能設定部１２０は、互いに異なる予め定められた複数の奥行き位置の少なくとも１つを、指定された被写体の奥行き位置に近づけることで、図３（ｂ）に示すように、複数の奥行き値を複数の初期奥行き値として設定する。
【０１５１】
図１２に戻ると、続いて、デプスマップ生成部１４０が、入力画像に対応する奥行き情報（デプスマップ）を生成する（Ｓ１４０）。具体的には、デプスマップ生成部１４０は、入力画像の画素毎に、対応する画素の奥行き位置を示す奥行き値を、分解能設定部１２０によって設定された複数の奥行き値の中から決定することで、デプスマップを生成する。ここでは、デプスマップ生成部１４０は、上述したように、ＤＦＤ方式に基づいて、（式１）及び（式２）に従って、コスト関数を算出し、画素毎にコスト関数が最小となる奥行き値を決定する。
【０１５２】
次に、３次元画像生成部１６０は、入力画像とデプスマップとに基づいて３次元画像を生成する（Ｓ１５０）。そして、表示部１７０は、３次元画像生成部１６０によって生成された３次元画像を表示する（Ｓ１６０）。
【０１５３】
ここで、立体効果調整部１８０は、ユーザから立体効果の調整の指示を受けたか否かを判定する（Ｓ１７０）。具体的には、立体効果調整部１８０は、図７Ａ及び図７Ｂに示す立体効果調整バーなどの立体効果調整用のＧＵＩを、表示部１７０に表示させる。そして、立体効果調整部１８０は、立体効果調整用のＧＵＩを介して、立体効果の調整の指示を受けたか否かを判定する。
【０１５４】
ユーザが立体効果の調整を指示した場合（Ｓ１７０でＹｅｓ）、立体効果調整部１８０は、ユーザ指示に基づいて、被写体の立体効果をどの程度強める又は弱めるかを設定する（Ｓ１８０）。
【０１５５】
例えば、立体効果調整部１８０によって立体効果を強める設定が行われた場合に、分解能設定部１２０は、被写体近傍の奥行き位置を示す新たな奥行き値を設定する（Ｓ１３０）。なお、このとき、図１３に示すフォーカスの制御（Ｓ１３１）及び被写体までの距離の取得（Ｓ１３２）は、行う必要はない。すなわち、分解能設定部１２０は、既に取得した被写体の奥行き位置に基づいて、その近傍に追加奥行き値を設定すればよい。
【０１５６】
そして、デプスマップ生成部１４０は、さらに、追加奥行き値に対応するコスト関数のみを算出する（Ｓ１４０）。つまり、初期奥行き値に対応するコスト関数は、既に算出されているので、ここで再び算出する必要はない。これにより、演算コストの増加を抑制することができる。
【０１５７】
なお、立体効果調整部１８０によって立体効果を弱める設定が行われた場合には、分解能設定部１２０は、被写体近傍の奥行き値の間隔を広げる、あるいは、被写体近傍の奥行き値を除外することで、奥行き値を更新する。
【０１５８】
以降、３次元画像の生成（Ｓ１５０）、表示（Ｓ１６０）、及び、立体効果の調整の判定（Ｓ１７０）が同様に行われる。
【０１５９】
ユーザが立体効果の調整を指示しない場合（Ｓ１７０でＮｏ）、記録部１９０は、３次元画像を記録媒体に記録する（Ｓ１９０）。なお、このとき、記録部１９０は、入力画像とデプスマップとを記録してもよい。
【０１６０】
なお、本実施の形態では、３次元画像を生成しなくてもよい。例えば、３次元画像を生成する代わりに、ステップＳ１５０において、立体効果調整部１８０が、入力画像とデプスマップとを用いて３次元画像を生成した場合の立体効果を表す立体効果画像を生成してもよい。この場合、ステップＳ１６０では、表示部１７０は、図７Ａ及び図７Ｂに示す立体効果画像２２１又は２２２などの立体効果を表す立体効果画像を表示する。
【０１６１】
次に、被写体を追加指定する場合の動作の一例について、図１４を用いて説明する。
【０１６２】
図１４は、本発明の実施の形態に係る３次元画像撮影装置１００の動作の別の一例を示すフローチャートである。なお、図１４に示すフローチャートは、図１２に示すフローチャートとほぼ同じであるので、ここでは、異なる点を中心に説明し、同じ点は説明を省略する。
【０１６３】
ここでは、立体効果の調整の判定（Ｓ１７０）において、新たな被写体の追加指定を受け付けた場合に、立体効果の調整が必要である（Ｓ１７０でＹｅｓ）と判定する。なお、このとき、被写体指定部１１０は、被写体の指定を受け付けるためのＧＵＩを表示部１７０に表示させ、当該ＧＵＩを介して被写体の追加指定をユーザから受け付ける。
【０１６４】
ユーザから被写体が追加指定を受け付けた場合（Ｓ１７０でＹｅｓ）、被写体指定部１１０は、ユーザによって指示された被写体（第２被写体）を追加指定する（Ｓ１７５）。この場合、立体効果調整部１８０は、立体効果調整用のＧＵＩを介して、追加指定された第２被写体の立体効果を調整する（Ｓ１８０）。つまり、立体効果調整部１８０は、ユーザ指示に基づいて、第２被写体の立体効果をどの程度強める又は弱めるかを設定する。
【０１６５】
例えば、立体効果調整部１８０によって立体効果を強める設定が行われた場合に、分解能設定部１２０は、追加被写体近傍の奥行き位置を示す新たな奥行き値を設定する（Ｓ１３０）。なお、このとき、図１３に示すフローチャートに従って、フォーカスを制御して（Ｓ１３１）、新たに追加された被写体までの距離を取得する（Ｓ１３２）。あるいは、既にステップＳ１４０において生成されたデプスマップから、追加被写体を示す画素位置の奥行き値を取得することで、追加被写体までの距離を取得してもよい。
【０１６６】
そして、分解能設定部１２０は、追加被写体近傍の奥行き位置を示す奥行き値を新たに追加することで、奥行き分解能を決定する（Ｓ１３３）。そして、デプスマップ生成部１４０は、さらに、追加奥行き値に対応するコスト関数のみを算出する（Ｓ１４０）。つまり、初期奥行き値に対応するコスト関数は、既に算出されているので、ここで再び算出する必要はない。これにより、演算コストの増加を抑制することができる。
【０１６７】
図１５は、本発明の実施の形態に係る３次元画像撮影装置の動作の別の一例を示すフローチャートである。なお、図１５は、ＤＦＦ方式（例えば、フォーカルスタック）に基づいてデプスマップを生成する場合の動作を示している。なお、図１５に示すフローチャートは、図１２に示すフローチャートとほぼ同じであるので、ここでは、異なる点を中心に説明し、同じ点は説明を省略する。
【０１６８】
ＤＦＦ方式に従う場合、奥行き位置毎に対応する複数の入力画像が必要となる。したがって、奥行き分解能の設定（Ｓ１３０）の後に、撮影（Ｓ１２０）を行うことで、設定された複数の奥行き値が示す複数の奥行き位置と１対１に対応する複数の入力画像を取得する。
【０１６９】
なお、予め多くの合焦位置での入力画像を取得しておくことで、追加の撮影を行わないようにしてもよい。つまり、奥行き値の個数以上に、奥行き値が更新又は追加された場合にとり得る値に相当する合焦位置での入力画像を、予め撮影しておいてもよい。これにより、予め定められた奥行き値を更新する場合、又は、新たに奥行き値を追加する場合には、撮影により取得された複数の入力画像の合焦位置に対応する奥行き値へ更新、又は、当該奥行き値を追加すればよい。
【０１７０】
このように、本発明の実施の形態に係る３次元画像撮影装置１００では、指定した被写体近傍の奥行き分解能が高くなるように、複数の初期奥行き値を設定し、設定した初期奥行き値に基づいてデプスマップを生成する。そして、生成したデプスマップを用いた場合の立体効果をユーザに確認させた後、被写体の追加、及び、立体効果の調整の設定を受け付けることができる。
【０１７１】
以上のように、本発明の実施の形態に係る３次元画像撮影装置１００は、撮影により入力画像を取得する撮影部１３０と、入力画像内の被写体を指定する被写体指定部１１０と、指定された被写体近傍の奥行き分解能が高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を設定する分解能設定部１２０と、入力画像の領域毎に、対応する領域の奥行き位置を示す奥行き値を、設定された複数の奥行き値の中から決定することで、入力画像に対応するデプスマップを生成するデプスマップ生成部１４０とを備える。
【０１７２】
これにより、指定した被写体近傍の奥行き分解能を高めることで、被写体近傍の奥行き位置を表す奥行き値の候補を増やすことができる。したがって、指定した被写体の書割感を低減し、立体感を向上させることができる。また、このとき、被写体近傍の奥行き分解能を他の領域の分解能より高めればよいので、例えば、全体の奥行き値の候補を増やす必要はなく、演算コストの増加を抑制することができる。
【０１７３】
以上、本発明に係る３次元画像撮影装置及び３次元画像撮影方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１７４】
例えば、図５に示す例では、分解能設定部１２０は、第２被写体近傍に新たな奥行き値を設定したが、初期奥行き値を更新することで、第２被写体近傍の奥行き分解能を高めてもよい。具体的には、分解能設定部１２０は、複数の初期奥行き値が示す複数の奥行き値の少なくとも１つを、被写体指定部１１０によって追加指定された第２被写体近傍の奥行き値に近づけることで、複数の初期奥行き値を更新してもよい。
【０１７５】
これにより、例えば、１回目に設定した第１被写体の立体感を確かめた後に、他の被写体の立体感を向上させたい場合などに、被写体指定部１１０が第２被写体を追加指定することで、第１被写体だけでなく第２被写体の立体感も向上させることができる。このとき、分解能設定部１２０は、１回目に設定された奥行き位置を移動させるだけで、奥行き値の数を増やさないので、演算コストの増加を抑制することができる。
【０１７６】
また、図６Ａ及び図６Ｂに示す例では、表示部１７０は、濃淡のパターンで表した立体効果画像２０１及び２１１を示しているが、立体効果画像２０１及び２１１の代わりに、３次元画像生成部１６０によって生成された３次元画像を立体効果画像として表示してもよい。これにより、ユーザは、入力画像から生成された３次元画像を直接見て、立体効果を確認することができるので、より適切な立体効果の調整を行うことができる。
【０１７７】
つまり、表示部１７０が３次元画像を表示するので、ユーザは、立体効果を直接的に判断することができる。よって、ユーザは立体効果の調整を容易に行うことができるので、ユーザの意図する立体感を表現することができる。したがって、ユーザの意図しない立体感の表現を行うことによる演算コストの増加を抑制することができる。
【０１７８】
また、図１３に示す例では、レンズ情報から被写体の奥行き位置を求める例について示したが、例えば、予め定められた複数の奥行き値に対して、ＰＳＦを用いたコスト関数を算出することで、被写体の奥行き値を決定してもよい。この場合、被写体の奥行き値は、おおよその位置が分かればよいので、実際に奥行き値を決定する場合よりも少ない数の奥行き値に対してコスト関数を算出すればよい。すなわち、簡易的なデプスマップの生成（図１２のＳ１４０に相当する処理）を行うことで、被写体の奥行き値を設定してもよい。これにより、演算コストの増大を抑制することができる。
【０１７９】
また、１回目に複数の被写体を指定していた場合、被写体の追加（Ｓ１７５）の代わりに、被写体の指定を除外してもよい。この場合、除外された被写体近傍の奥行き位置を、指定されたままの被写体近傍に近づけ、又は、追加してもよい。
【０１８０】
また、上記実施の形態に係る３次元画像撮影装置に含まれる各処理部は、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。例えば、本実施の形態に係る集積回路は、被写体指定部１１０と、分解能設定部１２０と、デプスマップ生成部１４０とを備える。
【０１８１】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１８２】
また、集積回路化は、ＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブルプロセッサを利用してもよい。
【０１８３】
さらには、半導体技術の進歩又は派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて各処理部の集積化を行ってもよい。バイオ技術の適用等が可能性として考えられる。
【０１８４】
また、本発明の実施の形態に係る３次元画像撮影装置の機能の一部又は全てを、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等のプロセッサがプログラムを実行することにより実現してもよい。
【０１８５】
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【０１８６】
また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係はこれに限定されない。
【０１８７】
さらに、上記の実施の形態は、ハードウェア及び／又はソフトウェアを用いて構成されるが、ハードウェアを用いる構成は、ソフトウェアを用いても構成可能であり、ソフトウェアを用いる構成は、ハードウェアを用いても構成可能である。
【０１８８】
また、上記の実施の形態に係る３次元画像撮影装置の構成は、本発明を具体的に説明するために例示するためのものであり、本発明に係る３次元画像撮影装置は、上記構成の全てを必ずしも備える必要はない。言い換えると、本発明に係る３次元画像撮影装置は、本発明の効果を実現できる最小限の構成のみを備えればよい。
【０１８９】
例えば、図１６は、本発明の実施の形態の変形例に係る３次元画像撮影装置３００の構成の一例を示すブロック図である。図１６に示すように、本発明の実施の形態に係る３次元画像撮影装置３００は、被写体指定部１１０と、分解能設定部１２０と、撮影部１３０と、デプスマップ生成部１４０とを備える。なお、各処理部は、図２に示す同じ参照符号が付された処理部と同じ処理を行うのでここでは説明を省略する。
【０１９０】
このように、本発明に係る３次元画像撮影装置は、図１６に示すような最小限の構成のみを備えている場合であっても、演算コストの増加を抑制しつつ、立体効果を高めることができる。
【０１９１】
同様に、上記の３次元画像撮影装置による３次元画像撮影方法は、本発明を具体的に説明するために例示するためのものであり、本発明に係る３次元画像撮影装置による３次元画像撮影方法は、上記ステップの全てを必ずしも含む必要はない。言い換えると、本発明に係る３次元画像撮影方法は、本発明の効果を実現できる最小限のステップのみを含めばよい。また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【産業上の利用可能性】
【０１９２】
本発明は、演算コストの増加を抑制しつつ、書割感を減少させ、立体感を向上させることができるという効果を奏し、例えば、デジタルカメラなどに利用することができる。
【符号の説明】
【０１９３】
１００、３００  ３次元画像撮影装置
１１０  被写体指定部
１２０  分解能設定部
１３０  撮影部
１４０  デプスマップ生成部
１５０  コスト関数保持部
１６０  ３次元画像生成部
１７０  表示部
１８０  立体効果調整部
１９０  記録部
２００、２１０  ヒストグラム
２０１、２１１、２２１、２２２  立体効果画像
【図１】
2012101719.tif 000005
【図２】
2012101719.tif 000006
【図３】
2012101719.tif 000007
【図４】
2012101719.tif 000008
【図５】
2012101719.tif 000009
【図６Ａ】
2012101719.tif 000010
【図６Ｂ】
2012101719.tif 000011
【図７Ａ】
2012101719.tif 000012
【図７Ｂ】
2012101719.tif 000013
【図８】
2012101719.tif 000014
【図９】
2012101719.tif 000015
【図１０】
2012101719.tif 000016
【図１１】
2012101719.tif 000017
【図１２】
2012101719.tif 000018
【図１３】
2012101719.tif 000019
【図１４】
2012101719.tif 000020
【図１５】
2012101719.tif 000021
【図１６】
2012101719.tif 000022
【国際調査報告】
2012101719.tif 000023
2012101719.tif 000024
2012101719.tif 000025
2012101719.tif 000026