(57)【要約】【課題】  簡易な処理の画像合成のみで、奥行き感を保持した任意視点画像を生成する。【解決手段】  本発明に係る任意視点画像生成装置１は、カメラ１０を用いて撮影対象を撮影することによって取得されたカメラ画像をフレーム画像に分割して、カメラ１０から該撮影対象までの距離情報と共に蓄積するカメラ画像蓄積部１１と、蓄積された各フレーム画像を前記距離情報に基づいて３次元空間内に再配置するカメラ画像空間生成部１３と、再配置された各フレーム画像を合成することによって所望の視点位置からの視点画像を生成する視点画像生成部１２とを具備する。【選択図】  図１
2006309626.tif 000002
【特許請求の範囲】
【請求項１】
カメラを用いて撮影対象を撮影することによって取得されたカメラ画像を、フレーム画像に分割して、該カメラから該撮影対象までの距離情報と共に蓄積するカメラ画像蓄積部と、
蓄積された各フレーム画像を、前記距離情報に基づいて３次元空間内に再配置するカメラ画像空間生成部と、
再配置された各フレーム画像を合成することによって、所望の視点位置又は視線方向からの画像を生成する視点画像生成部とを具備することを特徴とする任意視点画像生成装置。
【請求項２】
前記カメラは、前記距離情報を計測する距離計測部を具備しており、
前記距離計測部は、前記カメラに具備されているオートフォーカス機能から取得した前記カメラの焦点距離に基づいて、前記距離情報を計測することを特徴とする請求項１に記載の任意視点画像生成装置。
【請求項３】
前記カメラは、前記距離情報を計測する距離計測部を具備しており、
前記距離計測部は、距離センサによって前記距離情報を計測することを特徴とする請求項１に記載の任意視点画像生成装置。
【請求項４】
前記カメラ画像に対して画像処理を施すことによって、前記カメラの移動方向を検出して該カメラの位置を決定するカメラ位置決定部を具備しており、
前記カメラ画像空間生成部は、決定された前記カメラの位置に基づいて、各フレーム画像を３次元空間内に再配置することを特徴とする請求項１に記載の任意視点画像生成装置。
【請求項５】
前記カメラの姿勢を検出する姿勢検出部を具備しており、
前記カメラ画像空間生成部は、検出された前記カメラの姿勢に基づいて、各フレーム画像を３次元空間内に再配置することを特徴とする請求項１に記載の任意視点画像生成装置。
【請求項６】
前記カメラ画像空間生成部は、指定されたカメラの前記視線方向とフレーム画像とが垂直になるように、該フレーム画像を回転させて再配置することを特徴とする請求項１に記載の任意視点画像生成装置。
【請求項７】
前記カメラは、
前記撮影対象を撮影する画像取得部と、
前記カメラから前記撮影対象までの距離情報を計測する距離計測部とを具備することを特徴とする請求項１記載の任意視点画像生成装置。
【請求項８】
前記カメラは、手ぶれ補正機能を具備することを特徴とする請求項７に記載の任意視点画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラを用いて撮影対象を撮影することによって取得されたカメラ画像を用いて任意視点画像を生成する任意視点画像生成装置に関する。
【背景技術】
【０００２】
従来、実世界の風景を撮影することによって取得したカメラ画像に基づいて任意視点画像を生成する手法として、複数の画像から撮影対象の３次元モデルそのものを再構成して当該３次元モデルを任意視点から観察する手法が知られている。
【０００３】
かかる方法では、３次元空間に撮影対象のモデル化を行うために、撮影前に高精度のカメラ校正が必要であるとともに、複雑な形状を有する物体について３次元モデルの再構成が困難であるという問題点があった。
【０００４】
かかる問題点を解決するために、３次元モデルを構成せずに任意視点画像を生成・使用する方法が提案されている。
【０００５】
かかる手法は、「イメージベースドレンダリング」と呼ばれる技術であり、一般に、高精度の３次元形状復元は行わず、簡単な３次元モデルに撮影画像を投影することで、擬似的に高品位の任意視点画像を生成する方法である。
【０００６】
また、撮影対象の３次元モデルを用いず、カメラ画像をパノラマ状に合成し直し、所望の視点画像を切り出す方法も提案されている。
【０００７】
一方、カメラは、小型化が進み、機械的制御を用いたオートフォーカス機能だけではなく、電気制御によりレンズの厚み自体を変化させてフォーカス機能を実現できる液体レンズが提案されている（非特許文献１参照）。
【０００８】
かかる液体レンズを使用すると、機械的部分が不要となり、レンズの焦点距離を検出することにより、カメラから撮影対象までの距離情報の計測が容易に実現でき、レンズの大幅な小型化が可能となる。
【０００９】
また、距離情報を直接計測する装置として、超音波等を用いた超小型距離センサ等が開発されている。
【非特許文献１】インターネット、「www.varioptic.com/jp/technology.php」、２００５年４月２８日検索
【非特許文献２】堅田、山下、奥山、三好、加藤、青柳、鈴木、「ＰＺＴ薄膜を用いたアレイ型超音波マイクロセンサ」フィジカルセンサ研究会、ＰＨＳ−００−２１、２７-３０頁、２０００年１２月
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述のような従来の手法では、高品質な任意視点画像を生成することを目的としていることから、処理に時間がかかり、複数のカメラや大型の装置が必要であり、リアルタイム処理が困難であるとともに、装置の小型化が困難であるという問題点があった。
【００１１】
そこで、本発明は、以上の点に鑑みてなされたもので、簡易な処理の画像合成のみで、奥行き感を保持した任意視点画像を生成することができる任意視点画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の第１の特徴は、任意視点画像生成装置であって、カメラを用いて撮影対象を撮影することによって取得されたカメラ画像を、フレーム画像に分割して、該カメラから該撮影対象までの距離情報と共に蓄積するカメラ画像蓄積部と、蓄積された各フレーム画像を、前記距離情報に基づいて３次元空間内に再配置するカメラ画像空間生成部と、再配置された各フレーム画像を合成することによって、所望の視点位置又は視線方向からの画像を生成する視点画像生成部とを具備することを要旨とする。
【００１３】
本発明の第１の特徴において、前記カメラが、前記距離情報を計測する距離計測部を具備しており、前記距離計測部が、前記カメラに具備されているオートフォーカス機能から取得した前記カメラの焦点距離に基づいて、前記距離情報を計測してもよい。
【００１４】
本発明の第１の特徴において、前記カメラが、前記距離情報を計測する距離計測部を具備しており、前記距離計測部が、距離センサによって前記距離情報を計測してもよい。
【００１５】
本発明の第１の特徴において、前記カメラ画像に対して画像処理を施すことによって、前記カメラの移動方向を検出して該カメラの位置を決定するカメラ位置決定部を具備しており、前記カメラ画像空間生成部が、決定された前記カメラの位置に基づいて、各フレーム画像を３次元空間内に再配置してもよい。
【００１６】
本発明の第１の特徴において、前記カメラの姿勢を検出する姿勢検出部を具備しており、前記カメラ画像空間生成部が、検出された前記カメラの姿勢に基づいて、各フレーム画像を３次元空間内に再配置してもよい。
【００１７】
本発明の第１の特徴において、前記カメラ画像空間生成部が、指定されたカメラの視線方向とフレーム画像とが垂直になるように、該フレーム画像を回転させて再配置してもよい。
【００１８】
本発明の第１の特徴において、前記カメラが、前記撮影対象を撮影する画像取得部と、前記カメラから前記撮影対象までの距離情報を計測する距離計測部とを具備してもよい。
【００１９】
本発明の第１の特徴において、前記カメラが、手ぶれ補正機能を具備してもよい。
【発明の効果】
【００２０】
以上説明したように、本発明によれば、簡易な処理の画像合成のみで、奥行き感を保持した任意視点画像を生成することができる任意視点画像生成装置を提供することができる。
【発明を実施するための最良の形態】
【００２１】
（本発明の第１の実施形態に係る任意視点画像生成装置の構成）
図１乃至図３を参照して、本発明の第１の実施形態に係る任意視点画像生成装置の構成について説明する。
【００２２】
図１に示すように、本実施形態に係る任意視点画像生成装置１は、カメラ１０と、カメラ画像蓄積部１１と、視点画像生成部１２と、カメラ画像空間生成部１３と、視点決定部１４とを具備している。
【００２３】
カメラ１０は、内部に、撮影対象を撮影する画像取得部１０１と、カメラ１０から撮影対象までの距離情報を計測する距離計測部（焦点調節部）１０２とを有している。また、カメラ１０は、手ぶれ補正機能を具備する。
【００２４】
画像取得部１０１は、ＣＣＤ等の通常の画像取得装置によって構成されている。
【００２５】
また、カメラ１０には、オートフォーカスレンズが装着されていて、かかるオートフォーカスレンズが、距離計測部１０２に対応する。また、かかるオートフォーカスレンズは、撮影対象に焦点（フォーカス）を合わせると、カメラ１０の焦点距離を同時に検出することができる。
【００２６】
すなわち、距離計測部１０２は、カメラ１０に具備されているオートフォーカス機能から取得したカメラ１０の焦点距離に基づいて距離情報を計測することができる。
【００２７】
また、距離計測部１０２は、上述のように、オートフォーカス機能を用いて距離情報を計測してもよいし、通常のレンズ及び距離センサを用いて距離情報をカメラ画像とは別に計測してもよい。
【００２８】
上述のように、カメラ１０は、撮影対象を撮影することによって、当該カメラ１０から撮影対象までの距離情報、並びに、当該撮影対象のカメラ画像を同時に取得することができる。
【００２９】
カメラ画像蓄積部１１は、カメラ１０を用いて撮影対象を撮影することによって取得されたカメラ画像を、フレーム画像に分割して、当該カメラ１０から撮影対象までの距離情報と共に逐次蓄積するように構成されている。
【００３０】
カメラ画像空間生成部１３は、カメラ画像蓄積部１１に蓄積された各フレーム画像を、距離情報に基づいて３次元空間内に再配置するように構成されている。具体的には、カメラ画像空間生成部１３は、カメラ画像蓄積手段１１から各フレーム画像を読み出して撮影空間（３次元空間）内に再配置する。
【００３１】
例えば、図２に示すように、撮影空間２００は、３次元空間（ｘ，ｙ，ｚ）であり、カメラ画像空間生成部１３は、撮影空間２００内において、各フレーム画像に付属している距離情報に相当する位置に、各フレーム画像を衝立のように立てていく。
【００３２】
例えば、カメラ画像の各フレーム画像（２１０：ｉ〜２１５：ｉ＋５）には、それぞれ、距離情報として「Ｄｉ〜Ｄｉ＋５」の値が付与されていて、カメラ画像空間生成部１３は、かかる距離情報に対応するｚ座標の位置に、各フレーム画像を立てていく。
【００３３】
また、カメラ画像空間生成部１３は、撮影対象を領域分割によって切り出し、切り出した当該撮影対象のみを再位置することも考えられる。
【００３４】
また、カメラ画像空間生成部１３は、姿勢検出部によって検出されたカメラ１０の姿勢に基づいて、各フレーム画像を３次元空間内に再配置するように構成されていてもよい。
【００３５】
ここで、カメラ画像空間生成部１３は、指定されたカメラ視点の方向とフレーム画像が垂直になるように、当該フレーム画像を回転させて再配置するように構成されていてもよい。
【００３６】
上述のように、カメラ１０の姿勢が検出できることで、図２の例では、全てのフレーム画像（例えば、２１０〜２１５）が同じ方向を向いていたが、カメラ画像空間生成部１３は、全てのフレーム画像を、カメラ１０の視線に垂直になるように、３次元空間２００内に再配置することができる。
【００３７】
カメラ画像空間生成部１３は、カメラ位置決定部によって決定されたカメラ１０の位置に基づいて、各フレーム画像を３次元空間内に再配置するように構成されていてもよい。
【００３８】
ここで、カメラ位置決定部は、カメラ画像に対して画像処理を施すことによって、カメラ１０の移動方向を検出して当該カメラの位置を決定するように構成されていてもよい。
【００３９】
ここで、画像処理とは、例えば、フレーム画像毎に、オプティカルフローを算出し、フロー画像全体の移動方向の変化を観察することで、カメラ１０自体の動きを推定することを示す。
【００４０】
また、カメラ位置決定部は、上述の画像処理の代わりに、カメラ１０に取り付けられた加速度センサや地磁気センサ等によって、カメラ１０自体の傾きや移動方向等を、直接計測してもよい。
【００４１】
かかる場合、図３の３００に示すように、各フレーム画像（３０１〜３０５）は、異なる向きに配置され、図３の３１０に示すように、視点Ａから各フレーム画像を観察した場合は、図３の３１１に示すようなフレーム画像の合成結果が得られる。
【００４２】
また、図３の３２０で示すように、視点Ｂから各フレーム画像を観察した場合は、図３の３２１で示すようなフレーム画像の合成結果が得られる。
【００４３】
視点決定部１４は、ユーザからの指示に基づいて、所望の視点位置、すなわち、撮影空間２００内でカメラ２２０を配置する位置を決定するように構成されている。
【００４４】
視点画像生成部１２は、撮影空間２００内に再配置された各フレーム画像２１０〜２１５を合成することによって、所望の視点位置（カメラの配置位置）からの画像を生成するように構成されている。
【００４５】
視点画像生成部１２は、３次元空間２００内に、ユーザから任意に指定された位置にカメラ２２０を配置し、当該カメラ２２０から見た画像を、衝立状に立てられたフレーム画像から切り出して、当該カメラ位置での視点画像或いはカメラの視線方向の画像として出力する。例えば、カメラ２２０によって切り出される画像は、図２（ｂ）の２２１で示すように、２つのフレーム画像（２１２：ｉ＋２、２１３：ｉ＋３）を合成することによって構成される。
【００４６】
（本発明の第１の実施形態に係る任意視点画像生成装置の動作）
図４を参照して、本実施形態に係る任意視点画像生成装置の動作について説明する。
【００４７】
図４に示すように、ステップＳ１０１において、カメラ画像蓄積部１１が、カメラ１０によって取得されたカメラ画像（距離情報を含む）を蓄積する。
【００４８】
ステップＳ１０２において、カメラ画像空間生成部１３が、上述の距離情報に基づいて、各フレーム画像を撮影空間（３次元空間）２００に再配置する。
【００４９】
視点画像生成部１２が、ステップＳ１０３において、撮影空間２００内の視点決定部１４によって決定された視点位置にカメラを配置し、ステップＳ１０４において、配置されたカメラから見た画像に基づいて視点画像又は視線方向の画像を生成し、ステップＳ１０５において、かかる視点画像又は視線方向の画像を表示する。
【００５０】
ここで、図５を参照して、本実施形態に係る任意視点画像生成装置を、小型の携帯通信端末に利用する場合の例について説明する。
【００５１】
第１に、図５（ａ）に示すように、ユーザは、カメラ付き携帯通信端末４１０を用いて、撮影対象４００を撮影する。その際、ユーザが、カメラ付き携帯通信端末４０１を手で持って移動するため、カメラの移動経路４２０は、直線ではないが、手ぶれ補正を行うことによって各フレーム画像の位置合わせにおける誤差を低減することができる。
【００５２】
ここで、カメラ付き携帯通信端末４０１におけるカメラ部４１０は、液体レンズを装着したカメラによって構成されている。かかるカメラ部４１０は、オートフォーカスを行いながら、カメラ中央に写っている撮影対象４００までの距離情報を、フレーム画像毎に計測して、各フレーム画像に当該距離情報を付加した状態で保持する。
【００５３】
次に、図５（ｂ）に示すように、カメラ付き携帯通信端末４０１におけるディスプレイ４１２は、端末装置４１１のメモリに蓄積されているカメラ画像に基づいて、撮影されたカメラ画像の正面視点での画像が表示する（図５（ｂ）の４３１参照）。
【００５４】
かかる端末装置４１１本体をθだけ傾けた場合、カメラ付き携帯通信端末４０１におけるディスプレイ４１２は、θだけ傾いた視点から撮影対象物を観察したときの画像を生成して表示する（図５（ｂ）の４３２参照）。
【００５５】
このように、端末装置４１１本体を自由に傾けることで、カメラ付き携帯通信端末４０１におけるディスプレイ４１２は、任意の視点画像を表示することができ、ユーザは、頭の中で、撮影対象を３次元空間の像として認識することができる。
【００５６】
（本発明の第１の実施形態に係る任意視点画像生成装置の作用・効果）
本実施形態に係る任意視点画像生成装置によれば、カメラにより取得されたカメラ画像自体に距離情報が含まれていないため、レンズのピント調節や距離計測装置（センサ）により、当該カメラから撮影対象までの距離情報を同時に計測し、各フレーム画像に距離情報が付与された形で当該カメラ画像を取得するようにする。そして、距離情報に応じて、３次元空間内に各フレーム画像を再配置することで、書き割り効果ではあるが、擬似的に奥行き情報を保持した３次元空間（シーン）の再構成ができる。その結果、３次元空間に、任意にカメラを配置し、所望のカメラ画像を構成することで、簡易に任意視点画像を生成することができる。
【００５７】
また、本実施形態に係る任意視点画像生成装置によれば、３次元空間内に配置されるものは、あくまで平面のフレーム画像であるが、カメラの視点方向にフレーム画像を回転させることで、違和感を緩和することも可能である。
【００５８】
また、本実施形態に係る任意視点画像生成装置によれば、カメラ画像から簡易に任意視点画像を再生することが可能であるため、リアルタイムに処理が可能となる。この結果、ユーザは、カメラの姿勢情報を用いて、インタラクティブに任意視点画像を指定・観察することで、頭の中で複数の視点画像を補完することができるようになり、書き割り効果等の違和感をより和らげることができ、自然に任意視点画像を観察することができる。
【図面の簡単な説明】
【００５９】
【図１】本発明の第１の実施形態に係る任意視点画像生成装置の機能ブロック図である。
【図２】本発明の第１の実施形態に係る任意視点画像生成装置において、３次元空間に各フレーム画像を再配置する様子を説明するための図である。
【図３】本発明の第１の実施形態に係る任意視点画像生成装置において、視点画像を生成する様子を説明するための図である。
【図４】本発明の第１の実施形態に係る任意視点画像生成装置の動作を示すフローチャートである。
【図５】本発明の第１の実施形態に係る任意視点画像生成装置を小型端末で利用する様子を示す図である。
【符号の説明】
【００６０】
１…任意視点画像生成装置
１０…カメラ
１０１…画像取得部
１０２…距離計測部
１１…カメラ画像蓄積部
１２…視点画像生成部
１３…カメラ画像空間生成部
１４…視点決定部
【図１】
2006309626.tif 000003
【図２】
2006309626.tif 000004
【図３】
2006309626.tif 000005
【図４】
2006309626.tif 000006
【図５】
2006309626.tif 000007