(57)【要約】【課題】デジタルカメラなどを用いて同一の被写体を様々な視点から簡単に撮影し、例えばＱｕｉｃｋＴｉｍｅ（登録商標）ＶＲ形式の画像群を保存して、高画質の３次元的画像を生成できる画像入力技術を提供する。【解決手段】撮像手段により画像を入力する画像入力装置において、同一被写体を複数箇所の視点から撮影して複数枚の画像情報を入力する撮像部１１、前記被写体を撮影した際の撮像装置１の姿勢を示す姿勢情報を検出する姿勢検出部１２、撮像部１１により入力された前記画像情報を前記姿勢情報に基づいて回転変換する画像変換部２１、その画像変換部２１により変換された画像情報に前記姿勢情報を付加して記録する画像記録部２２を備えた。また、撮像装置１の撮像面に投影される前記被写体の中心位置が撮像面の中心位置から外れた場合、撮影された画像情報の中心位置を並進移動させることにより、画像情報の中心位置と被写体の中心位置とを一致させる構成にした。【選択図】        図１
2005049999.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段を用いて画像を入力する画像入力装置において、少なくとも２箇所以上の視点から同一の被写体を撮影して複数枚の画像情報を入力する撮像手段と、前記被写体を撮影した際の前記撮像手段の姿勢を示す姿勢情報を検出する姿勢検出手段と、前記撮像手段により入力された前記画像情報を前記姿勢情報に基づいて回転変換する画像変換手段と、その画像変換手段により変換された画像情報に前記姿勢検出手段により検出された姿勢情報を付加して記録する画像記録手段とを備えたことを特徴とする画像入力装置。
【請求項２】
請求項１記載の画像入力装置において、前記撮像手段の撮像面に投影される被写体の中心位置が撮像面の中心位置から外れた場合、撮影された画像情報の中心位置を並進移動させることにより、画像情報の中心位置と被写体の中心位置とを一致させる構成にしたことを特徴とする画像入力装置。
【請求項３】
請求項１記載の画像入力装置において、前記撮像手段により入力された複数の画像情報を変倍する画像変倍手段を備えたことを特徴とする画像入力装置。
【請求項４】
請求項１記載の画像入力装置において、前記撮像手段が前記被写体を撮像した際の視点位置とは異なる視点から前記被写体を撮影したときに入力される画像情報を生成する任意視点画像生成手段を備えたことを特徴とする画像入力装置。
【請求項５】
撮影した画像を入力する画像入力方法において、少なくとも２箇所以上の視点から同一の被写体を撮影して複数枚の画像情報と前記被写体を撮影した際の撮像素子の姿勢を示す姿勢情報とを取得し、取得した前記画像情報を前記姿勢情報に基づいて回転変換し、回転変換された画像情報に前記姿勢情報を付加して記録することを特徴とする画像入力方法。
【請求項６】
請求項５記載の画像入力方法において、撮影された被写体の中心位置が入力された画像情報の中心位置から外れた場合、その画像情報の中心位置を並進移動させることにより画像情報の中心位置と被写体の中心位置とを一致させることを特徴とする画像入力方法。
【請求項７】
請求項５記載の画像入力方法において、入力された複数の画像情報を変倍することを特徴とする画像入力方法。
【請求項８】
請求項５記載の画像入力方法において、前記被写体を撮像した際の視点位置とは異なる視点から前記被写体を撮影したときに入力される画像情報を生成することを特徴とする画像入力方法。
【請求項９】
情報処理装置上で実行されるプログラムにおいて、請求項５乃至請求項８のいずれか１項に記載の画像入力方法によった画像入力を実行させるようにプログラミングされていることを特徴とするプログラム。
【請求項１０】
プログラムを記憶した記憶媒体において、請求項９記載のプログラムを記憶したことを特徴とする記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラやビデオカメラなどにより同一の被写体を様々な視点で撮影した撮影画像群を表示装置などへ３次元的に表示するための画像処理技術に関する。
【０００２】
【従来の技術】
電子技術の飛躍的な進歩によりデジタルカメラのコストが安価になったことに伴って、デジタルカメラの普及が急速に進んだ。デジタルカメラが小型で持ち運びに便利なこと、様々な機器に容易に備え付けられることなどから、デジタルカメラで撮影した画像情報を利用するアプリケーションの開発がおこなわれている。このようなアプリケーション例の一つに電子商取引の広告が挙げられる。デジタルカメラで商品を撮影した画像をＷｅｂ（多くの利用者がネットワークを介して自分の情報処理装置の画面で見ることができるように提供されている電子化情報源）上に掲載するのである。この際、商品を一方向から撮影した画像だけでは、その方向だけでしか商品の外観を見ることができないので、様々な方向から撮影した複数枚の画像を掲載することが必要となる。
複数枚画像の表現方法としては、画像を単純に並べて表示する方法も可能であるが、複数枚の画像がただ単純に並んでいるだけでは、商品全体のイメージが掴みにくい。これを解決するために、複数枚の画像群から商品の３次元形状を算出し、ポリゴンを生成し、ポリゴン上に画像テクスチャを貼り付けたものを表示することにより商品を３次元画像で表現して商品イメージを掴みやすくさせる手法がある。しかし、デジタルカメラで撮影された画像群から３次元形状を精度良く計測することは困難であり、その結果、計測した３次元形状に画像テクスチャを貼り付けて３次元画像を生成すると画質が劣化するという問題があった。
このような問題の解決方法として、撮影した画像群を利用者の指示に応じて切り替えることにより商品を３次元的に表示するＱｕｉｃｋＴｉｍｅ（登録商標）ＶＲなどの表現方法がある。このような表現方法は、画質を劣化させることなく商品のイメージを掴みやすくさせることができるということで期待されている。しかし、前記したＱｕｉｃｋＴｉｍｅ（登録商標）ＶＲなどの表現方法では、利用者の指示に応じて画像群が切替わるように、商品を撮影した際のデジタルカメラと商品との撮影位置関係を画像群データに保存しなければならない。そのため、デジタルカメラと商品の撮影位置関係を計測する必要があり、一般的にＱｕｉｃｋＴｉｍｅ（登録商標）ＶＲなどの画像群を撮影するときには、ＱｕｉｃｋＴｉｍｅ（登録商標）ＶＲ画像撮影専用装置を使用する。
【０００３】
なお、特開平９−８１７９０号公報記載の従来技術では、加速度センサや角速度センサなどによりカメラの動きを検出し、異なる視点からの光軸が任意の点で交わるように光軸方向を補正して３次元画像を生成する。その際、センサ情報と予め設定した被写体・カメラ間距離から算出した動きベクトルの推定値と、画像処理により求めた動きベクトルとの比較により被写体の検出をおこなう。
また、特開平９−１８６９５７号公報に示された従来技術では、複数の撮像手段の位置ベクトル（Ｘ，Ｙ，Ｚ）と姿勢（θ，φ）を撮影した画像情報に付加して保存することにより、同一の被写体を様々な視点から撮影した画像群を用いて撮影した画像群を３次元的に表示するように記録する。
また、特開平９−２４５１９５号公報に示された従来技術では、異なる視点から撮影された画像群を光線空間に射影し、光線空間全域に光線空間データを作成することにより光線空間データから撮影した視点とは異なる任意視点の画像を生成する。
また、特開平１１−３０６３６３号公報に示された従来技術では、撮影装置に姿勢検出センサを取り付け、撮像装置の位置を移動させた際に変化する姿勢情報をセンサ情報から算出し、並進移動情報は少なくとも２枚以上の画像内にある対応点の位置情報から算出することにより移動した撮像装置の位置情報を精度良く算出し被写体の３次元形状を計測する。
また、特開２００１−１７７８５０公報に示された従来技術では、撮像手段に姿勢センサを取り付けて姿勢情報を検出し、画像信号の変化分から移動速度を求めて並進成分情報を算出する。これにより、姿勢情報と並進成分情報から被写体の３次元空間内の位置を検出し、被写体を３次元空間内の位置から画像平面に投影する。
【特許文献１】特開平９−８１７９０号公報
【特許文献２】特開平９−１８６９５７号公報
【特許文献３】特開平９−２４５１９５号公報
【特許文献４】特開平１１−３０６３６３号公報
【特許文献５】特開２００１−１７７８５０公報
【特許文献６】特開平１１−３７７３６号公報
【０００４】
【発明が解決しようとする課題】
前記したように、ＱｕｉｃｋＴｉｍｅ（登録商標）ＶＲなどの表現方法では、一般的にＱｕｉｃｋＴｉｍｅ（登録商標）ＶＲなどの画像群を撮影する場合、ＱｕｉｃｋＴｉｍｅ（登録商標）ＶＲ画像撮影専用装置を使用するなど特殊な撮影環境でなければＱｕｉｃｋＴｉｍｅ（登録商標）ＶＲの画像群を生成できず、したがって、専用装置を持っていない一般の人々がＱｕｉｃｋＴｉｍｅ（登録商標）ＶＲ形式の画像を生成することは困難であり、そのため、ＱｕｉｃｋＴｉｍｅ（登録商標）ＶＲ形式の表示は商品イメージを掴みやすくする表現方法でありながらも、一部のＷｅｂサイトでしか用いられていないという問題があった。
また、特開平９−８１７９０号公報記載の従来技術では、被写体とカメラの距離が予め設定されているので、特定の撮影条件下でしか３次元画像を生成できないし、光軸の向きを変えるための駆動機構が必要であるので、装置の構造が複雑になる。
また、特開平９−１８６９５７号公報記載の従来技術では、位置ベクトル（Ｘ，Ｙ，Ｚ）と姿勢（θ，φ）が既知である、固定された複数の撮像手段を主に対象にしているので、単眼の撮像手段である場合には、位置ベクトル（Ｘ，Ｙ，Ｚ）と姿勢（θ，φ）を算出することができず、撮影した画像に位置・姿勢情報を付加して保存することができない。また、撮影画像面の中心位置からずれて被写体が投影された場合に関して考慮していないので、撮影時に画像面の中心に被写体が投影されるように撮影しなければ、複数の画像間で被写体の投影されている位置が変化していまい、利用者の指示により画像を切り替えたときに画像面上で被写体が上下左右に平行移動してしまい、３次元的に表示することができない。
【０００５】
また、特開平９−２４５１９５号公報に示された従来技術では、姿勢情報と並進成分情報が既知である場合を対象にしているので、単眼の撮像手段を使用するときなど姿勢情報や並進成分情報が不明である場合には、光線空間データを生成することができない。したがって、複数枚の画像から、撮影した視点とは異なる任意視点の画像を生成することもできなくなる。
また、特開平１１−３０６３６３号公報に示された従来技術では、被写体の３次元的形状を作成するには、画像内の対応点を数多く検出しなければならないので、誤対応点が含まれる可能性が高くなり、３次元形状の計測精度が低下し、画像劣化を生ずる可能性がある。
また、特開２００１−１７７８５０公報に示された従来技術では、ビデオカメラなどで連続的に被写体を撮影する場合を想定して撮影画像信号の変化分から並進成分情報を算出しているので、デジタルカメラなど非連続的に被写体を撮影した場合には、撮影画像信号の変化分が大きくなり、並進成分情報の精度を正確に算出することができない。
本発明の目的は、このような従来技術の問題を解決することにあり、具体的には、専用装置を持っていない一般の人々でもデジタルカメラなど単眼の撮像装置を使用して、同一の被写体を簡単に様々な視点から撮影し、例えばＱｕｉｃｋＴｉｍｅ（登録商標）ＶＲ形式の画像群を保存することにより、高画質の３次元画像を特定の撮影条件下だけでなく生成できる画像入力技術を提供することにある。
【０００６】
【課題を解決するための手段】
前記の課題を解決するために、請求項１記載の発明では、撮像手段を用いて画像を入力する画像入力装置において、少なくとも２箇所以上の視点から同一の被写体を撮影して複数枚の画像情報を入力する撮像手段と、前記被写体を撮影した際の前記撮像手段の姿勢を示す姿勢情報を検出する姿勢検出手段と、前記撮像手段により入力された前記画像情報を前記姿勢情報に基づいて回転変換する画像変換手段と、その画像変換手段により変換された画像情報に前記姿勢検出手段により検出された姿勢情報を付加して記録する画像記録手段とを備えた。
また、請求項２記載の発明では、請求項１記載の発明において、前記撮像手段の撮像面に投影される被写体の中心位置が撮像面の中心位置から外れた場合、撮影された画像情報の中心位置を並進移動させることにより、画像情報の中心位置と被写体の中心位置とを一致させる構成にした。
また、請求項３記載の発明では、請求項１記載の発明において、前記撮像手段により入力された複数の画像情報を変倍する画像変倍手段を備えた。
また、請求項４記載の発明では、請求項１記載の発明において、前記撮像手段が前記被写体を撮像した際の視点位置とは異なる視点から前記被写体を撮影したときに入力される画像情報を生成する任意視点画像生成手段を備えた。
【０００７】
また、請求項５記載の発明では、撮影した画像を入力する画像入力方法において、少なくとも２箇所以上の視点から同一の被写体を撮影して複数枚の画像情報と前記被写体を撮影した際の撮像素子の姿勢を示す姿勢情報とを取得し、取得した前記画像情報を前記姿勢情報に基づいて回転変換し、回転変換された画像情報に前記姿勢情報を付加して記録する構成にした。
また、請求項６記載の発明では、請求項５記載の発明において、撮影された被写体の中心位置が入力された画像情報の中心位置から外れた場合、その画像情報の中心位置を並進移動させることにより画像情報の中心位置と被写体の中心位置とを一致させる構成にした。
また、請求項７記載の発明では、請求項５記載の発明において、入力された複数の画像情報を変倍する構成にした。
また、請求項８記載の発明では、請求項５記載の発明において、前記被写体を撮像した際の視点位置とは異なる視点から前記被写体を撮影したときに入力される画像情報を生成する構成にした。
また、請求項９記載の発明では、情報処理装置上で実行されるプログラムにおいて、請求項５乃至請求項８のいずれか１項に記載の画像入力方法によった画像入力を実行させるようにプログラミングされている構成にした。
また、請求項１０記載の発明では、プログラムを記憶した記憶媒体において、請求項９記載のプログラムを記憶した。
【０００８】
【発明の実施の形態】
以下、図面により本発明の実施の形態を詳細に説明する。
図１は、本発明の第１の実施形態を示す、画像入力装置の構成ブロック図である。図示したように、この実施例の画像入力装置は、撮像装置１および画像処理装置２を備え、撮像装置１は、撮像部１１、姿勢検出部１２、および情報転送部１３を備え、画像処理装置２は、画像変換部２１および画像記録部２２を備える。なお、撮像装置１と画像処理装置２とを一つの装置として同一筐体内に組み込んでもよい。一つの装置とした場合、情報転送部１３は削減可能である。
前記において、撮像部１１は被写体を撮影して画像情報を入力する。一例を挙げれば、デジタルカメラやビデオカメラなどである。また、姿勢検出部１２は撮像装置１の姿勢情報を検出する。この姿勢検出部１２としては、例えば３軸加速度センサと３軸磁気センサを用いる。または、３軸磁気センサの代わりに角速度センサを用いる構成や、磁気センサと角速度センサを併用する構成なども可能である。
情報転送部１３は、撮像部１１により撮影された画像情報と姿勢検出部１２により検出された姿勢情報を画像処理装置２へ転送する。転送方式としては、有線方式（例えばＵＳＢ、ＳＣＳＩ、ＩＥＥＥ１３９４など）や無線方式（例えば無線ＬＡＮ、ＢｌｕｅＴｏｏｔｈなど）、記憶媒体（例えば半導体メモリ、スマートメディア、メモリスティック、フラッシュメモリなど）の移動などを用いる。
画像変換部２１は、姿勢検出部１２により検出された姿勢情報を用いて情報転送部１３により転送される画像情報の画像変換をおこなう。また、画像記録部２２は、例えば半導体メモリ、ハードディスク記憶装置（ＨＤＤ）、磁気テープ、またはＤＶＤ−ＲＷで構成され、画像変換部２１により変換された画像情報、および情報転送部１３により転送された姿勢情報を所定のデータ形式で記録する。
【０００９】
図２に、撮像装置１の詳細な構成を示す。このような構成で、被写体の像は、固定レンズ３１、ズームレンズ３２、絞り機構３３、およびフォーカスレンズ３５を通し、シャッタ３４により露光時間を制御され、撮像素子３６上に形成される。そして、撮像素子３６からの画像信号はＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ：相関二重サンプリング）回路３７においてサンプリングされた後、Ａ／Ｄ変換器３８によりデジタル信号化される。このときのタイミングはＴＧ（Ｔｉｍｉｎｇ  Ｇｅｎｅｒａｔｏｒ）３９により生成される。
画像信号はその後、ＩＰＰ（Ｉｍａｇｅ  Ｐｒｅ−Ｐｒｏｃｅｓｓｏｒ）４０によりアパーチャ補正などの画像処理および圧縮処理などを施され、一時的に画像バッファメモリ４１に保存される。一時的に保存された画像情報は、さらに、ＭＰＵ（主制御部）４２内にある記憶領域に保存される。
このＭＰＵ４２は各ユニットの動作を制御するとともに、入力指示スイッチ４３からの画像撮影開始指示を受け付け、さらに、姿勢検出部１２を構成している３軸加速度センサ４５および３軸磁気センサ４６からのセンサ出力信号を第２のＡ／Ｄ変換器４７を介して検出する。検出されたセンサ出力信号は撮影された画像情報に添付され、ＭＰＵ４２内にある記憶領域に保存される。ＭＰＵ４２の記憶領域に保存されたデータは、情報転送部１３を介して画像処理装置２に渡される。なお、情報転送部１３としては、ＰＣ（パーソナルコンピュータ）用の汎用インターフェース、例えば、ＲＳ−２３２Ｃ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）、ＩＥＥＥ１３９４、ネットワークアダプタ、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ）、無線ＬＡＮ、ＢｌｕｅＴｏｏｔｈなどを用いる。
【００１０】
図３は画像処理装置２のハードウェア構成を示す構成ブロック図である。図示したように、この画像処理装置２は、画像変換部２１などを構成するとともに、各部の制御を実行するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）５１およびＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）５２、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ：ハードディスク記憶装置）５３、マウスなどポインティングデバイスやキーボードやボタンなどからデータや信号を入力させる入力インターフェース部（以下、入力Ｉ／Ｆと略す）５４、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）など表示装置５５、その表示装置５５の表示制御をおこなう表示インターフェース部（以下、表示Ｉ／Ｆと略す）５６、ＣＤ−ＲＷ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅｗｒｉｔａｂｌｅ）ドライブなど記録装置５７、撮像装置１やプリンタなど外部機器およびインターネットなど通信回線と有線または無線接続する外部インターフェース部（以下、外部Ｉ／Ｆと略す）５８などを備え、バスによりそれらが接続された構成である。なお、ＳＤＲＡＭ５２は、ＣＰＵ５１の作業記憶領域として用いられるとともに、本実施形態によった画像変換処理など画像処理を実行するための処理プログラムや制御プログラムなどの記憶領域として用いられる。処理プログラムは、例えば記録装置５７を介してＳＤＲＡＭ５２に格納されるか、ＨＤＤ５３に一旦保存された後に必要なときにＳＤＲＡＭ５２に格納される。または外部Ｉ／Ｆ５８に接続された通信回線を介してＳＤＲＡＭ５２に格納される。また、処理の対象となる画像情報は、記録装置５７または外部Ｉ／Ｆ５８を介して撮像装置１から入力される。
【００１１】
次に、撮像装置１の姿勢検出部１２による姿勢検出の一例として、姿勢検出部１２を３軸加速度センサ４５と３軸磁気センサ４６で構成した例について説明する。なお、姿勢検出部１２は、ワールド座標系（ＸＹＺ座標）の向きと撮影したときの撮像装置１に固有な装置座標系（ｘｙｚ座標）の向きとを比較することにより撮像装置１の姿勢情報を検出する。
まず、装置座標系とワールド座標系を以下のように定義する。
（ａ）装置座標系：ｘｙｚ座標系（図４参照）
ｘ軸：画像面右向きを正
ｙ軸：画像面下向きを正
ｚ軸：光軸方向；対象に向かう向きを正
原点ｏ：撮像装置１の光学中心
ｆ：カメラの焦点距離
ｐ：撮像装置１の光学中心から対応点までのベクトル成分
（ｂ）ワールド座標系：ＸＹＺ座標系（図５参照）
Ｙ軸：重力加速度の向きを正
Ｚ軸：磁気の向きを正
Ｘ軸：ＸＹＺの順に右手直交系をなす向き
簡単化のため、撮像装置１の移動により生じる運動加速度は無視でき、重力加速度と磁場は直交し、かつ磁場は地磁気以外に存在しないと仮定する。この場合、厳密には地磁気の伏角が存在し、地磁気と重力加速度とは直交しないが、伏角が既知ならば地磁気の向きと重力加速度が直交する場合と同様に計算できる。また、３軸で地磁気を検出すれば伏角が未知でも姿勢情報を計算可能である。つまり、Ｘ軸は東向き、Ｚ軸は北向きを正にとる。
ワールド座標系に対する装置座標系の向きを、ワールド座標系を基準とした（１）式の回転行列ベクトルＲで記述する。
2005049999.tif 000003
但し、（１）式において、α、β、γはそれぞれワールド座標系を基準としたＸ軸、Ｙ軸、Ｚ軸回りの回転角であり、このとき撮像装置１を、以下の順に回転させたことに相当する。つまり、ＸＹＺ座標系とｘｙｚ座標系が一致している状態から、次の（１）、（２）、（３）による回転の結果、回転行列ベクトルＲが成立する。
（１）撮像装置１を、Ｚ軸回りにγだけ回転する。
（２）撮像装置１を、Ｘ軸回りにαだけ回転する。
（３）撮像装置１を、Ｙ軸回りにβだけ回転する。
今、重力加速度ベクトルと地磁気ベクトルがワールド座標系においてそれぞれ（２）式で表され、３軸加速度センサ４５および３軸磁気センサ４６により検出された装置座標系を基準とした加速度ベクトルおよび地磁気ベクトルをそれぞれ（３）式で表されるとする。
2005049999.tif 000004
2005049999.tif 000005
そのとき、ベクトルｇとベクトルａ、およびベクトルＭとベクトルｍの関係は、回転行列ベクトルＲを用いて以下の（４）式および（５）式で記述される。以下記号Ｒ、ｇ（なおｇはスカラの場合もある）、Ｍ（なおＭはスカラの場合もある）、ａ、ｍはベクトルを表す。
Ｒａ＝ｇ        （４）
Ｒｍ＝Ｍ        （５）
（４）式からＸ軸回りの回転角αとＺ軸回りの回転角γが（６）式および（７）式のように計算される。
2005049999.tif 000006
また、Ｚ軸回りの回転角γが既知である場合、（５）式より、地磁気ベクトルｍからＸ軸回りの回転角αが（８）式のように、Ｙ軸回りの回転角βが（９）式のように計算される。
2005049999.tif 000007
但し、加速度ベクトルａを用いて求めたＸ軸回りの回転角αを用いるならば、（８）式の計算は不要である。以上の計算により、α、β、γおよび回転行列Ｒを、３軸加速度センサ４５と３軸磁気センサ４６から検出することができ、装置座標系をワールド座標系に変換することができる。
複数枚の画像を撮影した際の姿勢情報の変化量を検出することも可能である。基準画像を撮影したときの姿勢情報を回転行列ＲＡ、相対画像を撮影したときの姿勢情報を回転行列ＲＢとすると、基準画像を撮影した際の撮像装置の姿勢から相対画像を撮影した際の撮像装置の姿勢までの変化量の回転行列ＲＡＢは、
ＲＡＢ＝ＲＢ／ＲＡとなる。
【００１２】
次に、画像変換部２１がおこなう画像変換について説明する。
ＱｕｉｃｋＴｉｍｅ（登録商標）ＶＲなどによった複数の画像を３次元的に表示するための画像群を作成するときには、一般的に画像情報へ前記した姿勢情報としてθ、φの角度情報を付加して記録する。ここで、θおよびφは被写体位置を座標中心としたときに、撮像装置１が移動した際の移動前後の角度である（図６参照）。θおよびφの角度情報を付加した画像情報を図７に示したように複数枚保存し、利用者の指示に応じて画像群を切り替えて表示することにより３次元的に表示するのである。
図８に示したような撮影専用装置３を被写体Ｈと撮像装置１に取り付けて撮影すれば、撮影専用装置３の移動情報からθ、φの角度情報を検出することができる。また、撮影専用装置３を用いると、撮像装置１はθ、φ方向にだけ回転し、ψ方向には回転しないので、画像ごとに被写体Ｈがψ方向に回転して投影されることがない（図９参照．但し、各図にはθの変化の反映を省略している）。それに対して、撮影専用装置３を用いず、撮像装置１を固定しない状態で撮影すると、撮像装置１はθ、φ、ψ方向全部が回転する（図１０参照。但し、各図にはθおよびφの変化の反映を省略している）。つまり、画像群にθ、φの角度情報を付加して表示しても、ψ角度の回転があるので、画像ごとに被写体が回転して投影されてしまうのである。
したがって、画像変換部２１では、回転して投影された画像（図１０参照）を−ψ方向へ回転させることにより、回転していない画像（図９参照）へ変換する。なお、回転変換を実行することにより、画像上に画像情報のない空白部分が生成される（図１１参照）。このような空白部分に、画像背景部分の色を適用して描画してもよい。また、図１２に示したように、隣接する画像情報と空白となる部分の画像情報とが重なっているときには、隣接する画像情報を空白部分に投影して描画してもよい。
【００１３】
次に、画像記録部２２がおこなう画像記録について説明する。
画像記録部２２は、複数の画像を３次元的に表示するために、画像変換部２１により変換された画像情報に姿勢検出部１２により検出された姿勢情報（θ、φの角度情報）を付加して所定のデータ形式で記録・保存する（図１３参照）。このように画像群を記録することにより、利用者の指示に応じて画像群を切り替えて表示することが可能となり、画像群を３次元的に表示することが可能になる。図１４に、撮影専用装置３（図８参照）を用いない場合について動作フローを示す。以下、この動作フローについて説明する。
まず、撮像装置１において２箇所以上の視点から撮影された画像情報と撮像装置１の姿勢情報を取得し、メモリに記憶する（ステップＳ１）。そして、その姿勢情報から撮像装置１の回転角度θ、φ、ψを算出する（ステップＳ２）。このステップＳ２の内訳は次の（Ｓ２−１）（Ｓ２−２）（Ｓ２−３）である。
（Ｓ２−１）３軸加速度センサ４５の出力信号から得られる電圧値の大きさを読み取り、３軸方向の加速度ベクトルの大きさを比較し、重力方向に対する撮像装置１の傾きを検出する。
（Ｓ２−２）３軸磁気センサ４６の出力信号から得られる電圧値の大きさを読み取り、３軸方向の磁気ベクトルの大きさを比較し、地磁気方向に対する撮像装置１の傾きを検出する。
（Ｓ２−３）加速度センサ４５により検出された重力方向に対する傾きと、磁気センサ４６により検出された地磁気方向に対する傾きを合成することにより撮像装置１の回転角度θ、φ、ψを検出する。
【００１４】
次に、画像処理装置２の画像変換部２１が、画像情報を−ψ方向に回転させて画像変換し、画像変換により生じた空白領域を隣接する画像情報で補間する（ステップＳ３）。そして、画像変換部２１は、画像変換した画像情報に回転角度θ、φ情報を付加し、画像記録部２２に記憶する（ステップＳ４）。ＱｕｉｃｋＴｉｍｅ（登録商標）ＶＲ形式の画像を生成するためには、姿勢情報（θ、φ）を用いて複数枚撮影した画像群を図９のように整列させる必要があるので、画像変換した画像情報に回転角度θ、φ情報を付加して記憶するのである。ＱｕｉｃｋＴｉｍｅ（登録商標）ＶＲでは、姿勢情報によって整列された画像の位置情報を用いることにより、利用者のマウス操作に合わせた２次元画像を表示し、３次元的画像に見せるわけである。
こうして、この実施形態によれば、一般の人々でも、デジタルカメラなど単眼の撮像装置１を使用して、撮像装置１の姿勢を気にすることなく、被写体を様々な視点から複数枚簡単に撮影して、３次元的に表示する画像群データを自動的に生成し、例えばＱｕｉｃｋＴｉｍｅ（登録商標）ＶＲ形式で姿勢情報とともに保存することができる。
【００１５】
次に、本発明の第２の実施形態について説明する。
図１５は、本発明の第２の実施形態を示す、画像入力装置の構成ブロック図である。また、図１６はその説明図である。図示したように、この実施例の画像入力装置は、撮像装置１と画像処理装置２ａを備え、撮像装置１は、撮像部１１、姿勢検出部１２、および情報転送部１３を備えている。また、画像処理装置２ａは、画像変換部２１、画像記録部２２を備えると共に、対応検出部２３、並進成分算出部２４、３次元位置算出部２５、および被写体中心位置算出部２６を備えている。なお、撮像装置１と画像処理装置２ａを一体の装置として構成してもよい。一体の装置とすることにより情報転送部１３を削減することも可能である。また、撮像部１１、姿勢検出部１２、および情報転送部１３は、第１の実施形態と同じ構成である。
画像変換部２１は、姿勢検出部１２により検出された姿勢情報と並進成分算出部２４により算出された並進成分情報を用い、情報転送部１３により転送された画像情報の画像変換をおこなう。画像記録部２２は第１の実施形態と同じ構成である。
また、対応検出部２３は情報転送部１３により転送された画像情報から画像間の対応点の装置座標系の位置情報を検出し、並進成分算出部２４は情報転送部１３により転送された姿勢情報と対応検出部２３により検出された対応点の位置情報から並進成分情報を算出する。また、３次元位置算出部２５は対応点の装置座標系の位置情報と姿勢情報と並進成分情報から対応点のワールド座標系の３次元位置を算出し、被写体中心位置算出部２６は、対応点の３次元位置情報より、被写体の中心位置を算出する。
【００１６】
次に、対応検出部２３における画像間の対応点検出の一例として、２箇所の視点から撮影された基準画像と相対画像間の対応点検出を図１７により説明する。
まず、基準画像内にある画像情報から特徴量の抽出をおこなって特徴点を検出する。なお、画像情報から特徴量を抽出して特徴点を検出する方法は従来から多くの研究がされており、例えば徐剛、辻三郎著「３次元ビジョン」（共立出版）の３章「特徴抽出」などに記述されている。
次に、基準画像から抽出した特徴量を元にして検出した基準画像の特徴点に対応する対応点を相対画像から検出する。図１７に、対応点検出の一例として、相互相関によるブロックマッチングにより対応点を検出する手法を示す。つまり、基準画像におけるｉ番目の特徴点（ｘｉ０，ｙｉ０）と、相対画像における点（ｘｉ０＋ｄｘ，ｙｉ０＋ｄｙ）の対応付けを（２Ｎ＋１）（２Ｐ＋１）の相関窓（図１７参照）におけるブロックマッチングでおこなう場合の相互相関値Ｓｉは（１０）式で計算されるのである。
2005049999.tif 000008
なお、Ｎ、Ｐは相関窓の大きさを表す任意に定めた定数である。また、（１０）式における各記号の意味は以下の通りである。における各記号の意味は以下の通りである。
2005049999.tif 000009
2005049999.tif 000010
2005049999.tif 000011
2005049999.tif 000012
Ｋ：定数
この実施形態では、各特徴点に対して、このような相互相関値Ｓｉを最大にする対応点を順次検出することにより基準画像と相対画像との間の対応点を検出るである。
【００１７】
次に、並進成分算出部２４における並進成分算出の一例を説明する（特開平１１−３０６３６３号公報に詳細な例がある）。
並進成分の算出では、姿勢検出部１２から得た姿勢情報と対応検出部２３から得た対応点を用いて簡単な計算により並進成分情報を求める。その一例として、図１８に示した視点Ａで撮影された画像Ａと視点Ｂで撮影された画像Ｂの並進成分情報ｔを算出する方法を以下に説明する。
図１８に示した画像内にある点（ｘＡ，ｉ，ｙＡ，ｉ）と（ｘＢ，ｉ，ｙＢ，ｉ）は、それぞれ画像Ａと画像Ｂに被写体の特徴点ｏｂｊｅｃｔ  ｉを投影した点を示す。ｉは被写体の対応点を識別するための番号を表す。また、画像Ａから画像Ｂまでの姿勢情報の変化を姿勢情報Ｒで表す。また、ｐＡ，ｉは画像Ａ内にある対応点と視点Ａでの光学中心を結ぶベクトルを、ｐＢ，ｉは画像Ｂ内にある対応点と視点Ｂでの光学中心を結ぶベクトルを表す。ｐＡ，ｉとｐＢ，ｉは、それぞれ（ｘ，ｙ，ｚ）座標系と（ｘ’，ｙ’，ｚ’）座標系とで異なるので、ｐＢ，ｉに姿勢情報Ｒを乗ずる（ＲｐＢ，ｉ）ことにより、（ｘ，ｙ，ｚ）座標系でのｐＢ，ｉの向きを記述する。ここで、ｐＡ，ｉとＲｐＢ，ｉとｔのベクトルは、被写体の特徴点Ｏｂｊｅｃｔｊと視点Ａでの光学中心と視点Ｂでの光学中心を結んだ面上に存在する（図１８参照）。よって、ｐＡ，ｉとＲｐＢ，ｉとｔが作るスカラ３重積（立体の体積を表す）は０となるので（１１）式が成り立つ。
2005049999.tif 000013
求める並進成分情報ｔはベクトルの向きを表すので変数は２つとなる。したがって、被写体の特徴点Ｏｂｊｅｃｔｉに対応する対応点を２組以上検出し、対応点の位置情報を（１１）式に代入し、連立方程式を解くことによって並進成分情報ｔを算出することができる。対応点が２組以上検出される場合には、相互相関値Ｓｉが高いものだけを使用して算出してもよいし、画像ノイズによる誤差を考慮して（１１）式のスカラ３重積を最小化する並進成分情報ｔを求めてもよいし、多数の並進成分情報を求めて並進成分情報群を投票空間に投影して最適な並進成分情報ｔを求めてもよい（岡谷貴之、出口光一郎著「３次元向きセンサを取り付けたカメラを用いた投票によるカメラの並進運動の推定」ヒューマンインタフェース・コンピュータビジョンとイメージメディア２００１．９．１３）。
【００１８】
次に、３次元位置算出部２５による対応点の３次元位置算出例を説明する。
対応点の３次元位置を算出するには、画像上の対応点の位置情報と姿勢情報と並進成分情報とを用いて３角測量の原理により算出する。並進成分算出部２４が前記した並進成分算出方法により並進成分情報ｔを算出した場合、算出できるのは並進移動方向だけであり、並進移動した距離は算出できない。それに対して、３角測量の原理では、画像Ａ、Ｂを用いて求めた３次元位置と画像Ｂ、Ｃを用いて求めた３次元位置とのスケールが一致しなくなるという問題を生じるが、図１９に示したように３枚の画像Ａ、Ｂ、Ｃに同じ対応点が取得されている場合においては、画像Ａ、Ｂを用いて求めた３次元的な位置と画像Ｂ、Ｃを用いて求めた３次元的な位置とのスケール比を算出することができる。これは画像Ｂ、Ｃ、Ｄを用いたときにも同様なことが成り立つので、全ての画像間で算出した３次元位置のスケール比を算出することが可能となる。撮像装置１が実際に並進移動した距離を算出することはできないが、全ての画像間でスケール比が算出できるので、画像Ａ、Ｂ間の並進成分情報ｔの距離を１と仮定した、対応点の３次元位置を算出することが可能となるのである。
次に、被写体中心位置算出部２６における被写体中心位置算出例を説明する。
この実施例における被写体の中心位置算出では、３次元位置算出部２５により算出された対応点の３次元位置の平均値を算出してそれを被写体の中心位置とする。なお、検出した対応点の数に画像間で偏りがある場合には、各々の画像間で検出した対応点に重み付けをして平均値を算出してもよい。
【００１９】
次に、画像変換部２１における画像変換の一例を説明する。
図８に示したような撮影専用装置を被写体と撮像装置１に取り付けて撮影を実行する際には、撮影画像の中心位置に被写体が投影されるように撮影することは容易であるが（図２０参照）、撮影専用装置を使用しないで撮影する場合には、撮像装置１が固定されていないので、被写体は撮影画像の中心位置からずれて投影されてしまう（図２１参照）。このように、被写体が中心位置からすれて投影されてしまうと、利用者の指示に応じて画像群を切り替えたときに被写体が画像上で上下左右に移動し、利用者の意図した画像とは異なる画像が表示され、３次元的な表示ができなくなる。そのため、この実施形態では、画像変換部２１が被写体の投影位置を撮影画像の中心位置に移動させる画像変換を実行する。
一般的な撮像装置１は、図４に示したように中心射影で被写体を撮像面に投影するが、このとき、図２２に示したように正射影モデルで被写体が撮像面に投影されると近似した場合の画像変換の一例を以下に示す。
まず、姿勢検出部１２により検出された姿勢情報Ｒと並進成分算出部２４により算出された並進成分情報ｔから撮像装置１の各々の撮影位置を求め、撮像装置１の撮像面（図２３に示した例えばＸ−Ｙ平面）とその撮像面の法線（図２３に示したｚ方向の直線）を算出する。撮像面の法線方程式を（１２）式に、撮像面の平面方程式を（１３）式に示す。
2005049999.tif 000014
ここで、撮像面の法線は点（Ｘ１，Ｙ１，Ｚ１）、（Ｘ２，Ｙ２，Ｚ２）を通る直線であり、撮像面は（Ｘ２，Ｙ２，Ｚ２）を通る平面とする。
前記において、画像Ａの撮影位置をワールド座標系の基準位置とすると、画像Ａの法線と撮像面の方程式は、（Ｘ１，Ｙ１，Ｚ１）＝（０，０，１），（Ｘ２，Ｙ２，Ｚ２）＝（０，０，０）を（１２）、（１３）式へ代入することによって算出される。また、画像Ｂの法線と撮像面の方程式は姿勢情報Ｒと並進成分情報ｔより、点（Ｘ１，Ｙ１，Ｚ１）、（Ｘ２，Ｙ２，Ｚ２）の位置を変換した点（Ｘ’１，Ｙ’１，Ｚ’１）、（Ｘ’２，Ｙ’２，Ｚ’２）（変換式を（１４）（１５）式に示す）を（１２）、（１３）式に代入することによって算出される。同様にして各々の撮影位置における撮像面の法線と平面方程式を算出することが可能である。
【００２０】
次に、被写体中心位置算出部２６により算出された被写体中心位置を通り、法線ベクトルＬ１と平行な直線Ｌ２を算出する（図２４参照）。被写体中心位置を（Ｘ３，Ｙ３，Ｚ３）とすると、画像Ａにおける直線方程式は（１６）式のようになる。同様にして各々の撮影位置で被写体中心位置を通り法線ベクトルＬ１と平行な直線Ｌ２を算出することが可能である（図２４参照）。
続いて、算出した直線Ｌ２と撮像面との交点ｐ４（Ｘ４，Ｙ４，Ｚ４）を算出する（図２４参照）。交点ｐ４は（１３）、（１６）式の連立方程式を解くことによって算出可能である。さらに、撮影画像の中心位置（ＸＣ，ＹＣ，ＺＣ）を交点ｐ４の位置（Ｘ４，Ｙ４，Ｚ４）と一致させるように画像情報を並進移動させるに当たって、画像情報を並進移動させる並進ベクトル（Ｔｘ，Ｔｙ）を算出するため、撮影画像の中心位置（ＸＣ，ＹＣ，ＺＣ）と交点ｐ４の位置（Ｘ４，Ｙ４，Ｚ４）を（１７）、（１８）式より装置座標系（ｘＣ，ｙＣ，ｚＣ）、（ｘ４，ｙ４，ｚ４）に変換する（図２４に矢印で示す）。ここで、撮影画像の中心位置と交点ｐ４の位置は、同じ撮像面内にあるので、装置座標系におけるＺ座標値は同じ値となる。
2005049999.tif 000015
よって、（１９）式のＴｚは、常にＴｚ＝０となり、並進ベクトル（Ｔｘ，Ｔｙ）は（２０）式のようになる。この並進ベクトル方向に撮影画像を並進移動させることにより、被写体の投影位置を撮影画像の中心位置に移動させるのである。
前記において、画像変換部２１では、第１の実施形態のように投影された画像をψ方向へ回転させる画像変換をしてもよい。また、回転移動および並進移動によって画像上に画像情報がなく、空白になる部分が生成されるが、その空白部分には画像背景部分の色を適用して描画してもよいし、隣接する画像情報と空白となる部分の画像情報が重なっているときには、隣接する画像情報を空白部分に投影して描画してもよい。
【００２１】
図２５および図２６に、この実施形態の画像入力動作の動作フローを示す。以下、図２５および図２６に従って、この動作フローを説明する。
まず、撮像装置１において２箇所以上の視点から撮影された画像情報と撮像装置１の姿勢情報を取得しメモリに記憶する（ステップＳ１１）。そして、姿勢情報から撮像装置１の回転角度θ、φ、ψを算出する（ステップＳ１２）。つまり、まず、撮像装置１において、３軸加速度センサ４５の出力信号から得られる電圧値の大きさを読み取り、３軸方向の加速度ベクトルの大きさを比較し、重力方向に対する画像入力装置の傾きを検出するとともに、３軸磁気センサ４６の出力信号から得られる電圧値の大きさを読み取り、３軸方向の磁気ベクトルの大きさを比較し、地磁気方向に対する画像入力装置の傾きを検出する。そして、３軸加速度センサ４５から検出される重力方向に対する傾きと、磁気センサ４６から検出される地磁気方向に対する傾きを合成することにより撮像装置１の回転角度θ、φ、ψが検出する。
【００２２】
続いて、対応検出部２３が基準画像から特徴点を検出し、相対画像から各特徴点に対応する対応点の位置情報を検出する（ステップＳ１３）。具体的にはまず、基準画像を構成する各画素を中心位置にして、特徴量抽出ブロックを作成し、ブロック内の輝度値分布を検出する。さらに、基準画像を領域分割し、分割した領域内で特徴量抽出ブロックの輝度値分布の差が顕著であるブロックを検出し、検出したブロックの中心位置にある画像位置情報と輝度値分布情報をメモリに記憶する（輝度値分布情報の代わりにＲＧＢ値分布情報を用いてもよい）。
続いて、相対画像において、基準画像の場合と同様に特徴量抽出ブロックを作成し、ブロック内の輝度値分布を検出し、記憶されている基準画像の輝度値分布情報と相対画像の特徴量抽出ブロックの輝度値分布情報とのマッチングをおこない、各特徴点に対して最も近い特徴量抽出ブロックの中心位置にある画像位置情報を対応点の位置情報としてメモリに記憶する。但し、特徴点の特徴量抽出ブロックの輝度値分布情報に近い特徴量抽出ブロックが存在しない場合には、記憶した相対画像の特徴点の画像位置情報と輝度値分布情報をメモリから消去する。
次に、対応点の位置情報と姿勢情報から並進成分算出部２４が並進成分情報を算出する（ステップＳ１４）。具体的にはまず、（１１）式に姿勢情報と対応点の位置情報を代入して連立方程式を立てる（一般に３次元空間の中で、剛体の移動を表すベクトルの変数は３個であるが、デジタルカメラを想定した透視投影による撮影なので、画像座標系にある画像情報からワールド座標系にある被写体のスケールは一意に決定されない。よって、並進成分情報は、ベクトルの向きを表し、変数の数は２個となる）。対応点が多数に検出される場合には、並進成分情報の変数の数よりも多く連立方程式が成り立つ。したがって、最小２乗法により多数の連立方程式で誤差が最も小さい解を算出し、並進成分情報としてメモリに記憶する。
【００２３】
次に、姿勢情報、並進成分情報、および対応点の位置情報（装置座標系）から３次元位置算出部２５が対応点の３次元位置情報（ワールド座標系）を算出する（ステップＳ１５）。具体的にはまず、姿勢情報および並進成分情報から基準画像と相対画像との撮影位置関係を求め、３角測量により基準画像と相対画像上にある対応点の位置情報（装置座標系）を求め、その位置関係から対応点の３次元位置情報（ワールド座標系）を算出することにより全画像上の対応点の３次元位置情報を算出する。そして、全ての画像間で算出した３次元位置のスケール比を算出し、初めの画像間で算出した並進成分情報ｔの距離を１と仮定して、全ての画像間のスケール比を一致させ、対応点の３次元位置（ワールド座標系）を算出する。
続いて、被写体中心位置算出部２６が対応点の３次元位置情報（ワールド座標系）から被写体中心位置を算出する（ステップＳ１６）。対応点の３次元位置の平均値を算出し、平均値を被写体中心位置とするのである。さらに、画像変換部２１が、画像情報を並進移動（Ｔｘ，Ｔｙ）させる画像変換をおこなう（ステップＳ１７）。具体的にはまず、姿勢情報と並進成分情報から撮像装置１内にある撮像面と撮像面の法線の方程式を算出し、前記被写体中心位置を通り、法線と平行な直線を算出する。そして、撮像面とその直線との交点を算出し、撮影画像の中心位置をその交点の位置と一致させるように画像情報を並進移動させる。
このあとは、画像変換した画像情報に回転角度θ、φ情報を付加し、その画像情報などを画像記録部２２に保存する（ステップＳ１８）。
こうして、この実施形態によれば、図８に示したような特別な画像撮影専用装置などを使用しなくとも、被写体を撮像装置１により様々な視点から複数枚撮影するだけで３次元的に表示するための画像群データを自動的に生成することが可能になる。
【００２４】
次に、本発明の第３の実施形態について説明する。
第２の実施形態では、被写体中心位置を算出するためにワールド座標上における対応点の３次元位置を算出し、対応点の平均値を被写体中心位置と仮定していたが、第３の実施形態では、各々の画像を撮影した際の撮像装置１の光軸方向を考慮することにより被写体中心位置を算出する。
図２７に、第３の実施形態の画像入力装置の構成ブロック図を示す。図示したように、この画像入力装置は、撮像装置１と画像処理装置２ｂから構成され、撮像装置１は、撮像部１１、姿勢検出部１２、および情報転送部１３を備える。また、画像処理装置２ｂは、画像変換部２１、画像記録部２２、対応検出部２３、並進成分算出部２４、および光軸高密度位置検出部２７などを備える。なお、撮像装置１と画像処理装置２ｂを一つの装置として構成してもよい。一つの装置とすることで、情報転送部１３を削減することも可能である。また、撮像部１１、姿勢検出部１２、情報転送部１３、画像変換部２１、画像記録部２２、対応検出部２３、および並進成分算出部２４は第１の実施形態と同様な構成である。
一方、光軸高密度位置検出部２７は、各々の撮影位置における光軸（ｚ方向）をワールド座標上へ描画したとき、光軸が交わる位置または光軸の密度が最も高い位置を検出する。以下、光軸高密度位置検出部２７が光軸密度の高い位置を検出する動作を説明する。
前記したように、第２の実施形態では、対応点の３次元位置の平均値を被写体中心位置としていたが、第３の実施形態では、撮影者は被写体の中心位置を画像中心に投影されるように撮影しているという仮定のもと、投影された各画像の被写体中心位置を平均すると統計的に被写体中心位置はその平均画像中心位置に一致すると考え、光軸密度の最も高い位置を被写体中心位置とする。
そこで、この実施形態では、姿勢検出部１２により検出された姿勢情報Ｒと並進成分算出部２４により算出された並進成分情報ｔから各々の撮像装置１の撮影位置を求め、（１３）式の（Ｘ２，Ｙ２，Ｚ２）に撮影画像の中心位置（ＸＣ，ＹＣ，ＺＣ）を代入することにより光軸の直線方程式を算出する。図２８は、各々の撮影位置における光軸の直線方程式を算出し、ワールド座標上に投影したものである。このようなワールド座標系の空間を図２９に示したように領域分割し、領域ごとに光軸の通る本数を算出する。そして、各領域の中で最も光軸の通る本数が多かった領域の中心位置を光軸密度の最も高い位置として検出し、検出した位置を被写体中心位置として画像変換部２１が画像変換をおこなう。
【００２５】
図３０に、この実施形態の動作フローを示す。以下、図３０に従ってこの実施形態の動作を説明する。
まず、撮像装置１において、２箇所以上の視点から撮影された画像情報と撮像装置１の姿勢情報を取得し、メモリに記憶する（ステップＳ２１）。そして、その姿勢情報から撮像装置１の回転角度θ、φ、ψを算出する（ステップＳ２２）。具体的にはまず、３軸加速度センサ４５の出力信号から得られる電圧値の大きさを読み取り、３軸方向の加速度ベクトルの大きさを比較し、重力方向に対する画像入力装置の傾きを検出する。さらに、３軸磁気センサ４６の出力信号から得られる電圧値の大きさを読み取り、３軸方向の磁気ベクトルの大きさを比較し、地磁気方向に対する画像入力装置の傾きを検出する。続いて、３軸加速度センサ４５により検出される重力方向に対する傾きと、磁気センサ４６により検出される地磁気方向に対する傾きを合成することにより撮像装置１の回転角度θ、φ、ψを検出する。
次に、対応検出部２３が基準画像から特徴点を検出し、各特徴点に対応する対応点の位置情報を相対画像から検出する（ステップＳ２３）。具体的にはまず、基準画像を構成する各画素を中心位置にして、特徴量抽出ブロックを作成し、ブロック内の輝度値分布を検出する。そして、基準画像を領域分割し、分割した領域内で特徴量抽出ブロックの輝度値分布の差が顕著であるブロックを検出し、検出したブロックの中心位置にある画像位置情報と輝度値分布情報をメモリに記憶する（輝度値分布情報の代わりにＲＧＢ値分布情報を用いてもよい）。
続いて、相対画像において、同様に特徴量抽出ブロックを作成し、ブロック内の輝度値分布を検出し、記憶しておいた基準画像の輝度値分布情報と相対画像の特徴量抽出ブロックの輝度値分布情報とのマッチングをおこない、各特徴点に対して、最も近い特徴量抽出ブロックの中心位置にある画像位置情報を対応点の位置情報としてメモリに記憶する。但し、特徴点の特徴量抽出ブロックの輝度値分布情報に近い特徴量抽出ブロックが存在しない場合には、記憶しておいた特徴点の画像位置情報と輝度値分布情報をメモリから消去する。
【００２６】
次に、並進成分算出部２４が対応点の位置情報と姿勢情報から並進成分情報を算出する（ステップＳ２４）。具体的にはまず、（１１）式に姿勢情報と対応点の位置情報を代入し連立方程式を立てる（一般に３次元空間の中で、剛体の移動を表すベクトルの変数は３個であるが、デジタルカメラを想定した透視投影による撮影なので、ワールド座標系にある被写体のスケールは画像座標系にある画像情報から一意に決定されない。よって、並進成分情報は、ベクトルの向きを表し、変数の数は２個となる）。なお、対応点が多数に検出される場合には、並進成分情報の変数の数よりも多く連立方程式が成り立つ。したがって、最小２乗法を用い、多数の連立方程式により誤差が最も小さい解を算出し、並進成分情報としてメモリに記憶する。
次に、光軸高密度位置検出部２７が姿勢情報および並進成分情報から光軸の直線方程式を算出し、光軸密度の高い位置を検出する（ステップＳ２５）。具体的にはまず、姿勢情報および並進成分情報から各々の画像を撮影したときの光軸方向を算出し、ワールド座標空間を領域分割し、分割した領域ごとに光軸が通る本数を算出する。そして、光軸が最も多く通る領域の中心位置を被写体中心位置と仮定して検出する。
次に、画像変換部２１が画像情報を並進移動（Ｔｘ，Ｔｙ）させる画像変換をおこなう（ステップＳ２６）。具体的にはまず、姿勢情報と並進成分情報から撮像装置１内にある撮像面と撮像面の法線の方程式を算出し、算出した被写体中心位置を通り、法線と平行な直線を算出する。そして、算出した直線と撮像面との交点を算出し、撮影画像の中心位置と算出した交点の位置とを一致させるように画像情報を並進移動させる。
このあとは、画像変換した画像情報に回転角度θ、φ情報を付加し、画像記録部２２にその画像情報などを保存する（ステップＳ２７）。
こうして、この実施形態によれば、図８に示したような特別な画像撮影専用装置などを使用しなくとも、撮像装置１により被写体を様々な視点から複数枚撮影するだけで３次元的に表示するための画像群データを自動的に生成することが可能になる。
【００２７】
次に、本発明の第４の実施形態について説明する。
この実施形態の画像入力装置は、第２または第３の実施形態の画像処理装置に画像変倍手段を追加した構成となる（例えば画像変換部２１内に追加する）。このような構成で、画像変倍手段が各々の撮影画像に投影された被写体の大きさが等しくなるように撮影画像の倍率を変化させるのである。被写体を撮影する際に撮像面から被写体までの距離が異なると、撮像面に投影される被写体の大きさも異なり図３１に示したように投影されるので、画像変倍手段が撮像面から被写体までの距離に応じて撮影した画像を変倍することにより撮像面に投影される被写体の大きさを一定にするのである。以下、その動作を説明する。
まず、画像Ａを撮影した撮像面の位置（Ｘ２，Ｙ２，Ｚ２）から被写体中心位置（Ｘ３，Ｙ３，Ｚ３）までの距離Ｌを（２１）式により算出する。さらに、画像Ｂを撮影した撮像面の位置（Ｘ’２，Ｙ’２，Ｚ’２）から被写体中心位置（Ｘ３，Ｙ３，Ｚ３）までの距離Ｌ’を（２２）式により算出する。そして、画像Ａを基準画像とし、画像Ａの距離Ｌと画像Ｂの距離Ｌ’との比を算出して画像Ｂの変倍率ＨＢ＝Ｌ’／Ｌを算出する。さらに、画像Ｂの撮影画像をＨＢ倍することにより画像Ａと画像Ｂの撮像面に投影される被写体の大きさを一定にする。このような処理を各々の撮影画像に対して実行し、全ての画像面に投影される被写体の大きさを一定にするのである。以下、図３２に示した動作フローを参考にしてこの実施形態の動作フローを説明する。
まず、撮像装置１において２箇所以上の視点から撮影された画像情報と撮像装置１の姿勢情報を取得し、メモリに記憶する（ステップＳ３１）。
続いて、姿勢情報から撮像装置１の回転角度θ、φ、ψを算出する（ステップＳ３２）。具体的にはまず、３軸加速度センサ４５の出力信号から得られる電圧値の大きさを読み取り、３軸方向の加速度ベクトルの大きさを比較し、重力方向に対する画像入力装置の傾きを検出する。さらに、３軸磁気センサ４６の出力信号から得られる電圧値の大きさを読み取り、３軸方向の磁気ベクトルの大きさを比較し、地磁気方向に対する画像入力装置の傾きを検出する。そして、３軸加速度センサ４５から検出される重力方向に対する傾きと、３軸磁気センサ４６から検出される地磁気方向に対する傾きを合成することにより撮像装置１の回転角度θ、φ、ψを検出する。
【００２８】
次に、対応検出部２３が基準画像から特徴点を検出し、各特徴点に対応する対応点の位置情報を相対画像から検出する（ステップＳ３３）。具体的にはまず、基準画像を構成する各画素を中心位置にして特徴量抽出ブロックを作成し、ブロック内の輝度値分布を検出する。続いて、基準画像を領域分割し、分割した領域内で特徴量抽出ブロックの輝度値分布の差が顕著であるブロックを検出し、検出したブロックの中心位置にある画像位置情報と輝度値分布情報をメモリに記憶する。さらに、相対画像において、同様に特徴量抽出ブロックを作成し、ブロック内の輝度値分布を検出する。そして、記憶しておいた基準画像の輝度値分布情報と相対画像の特徴量抽出ブロックの輝度値分布情報とのマッチングをおこない、各特徴点に対して、最も近い特徴量抽出ブロックの中心位置にある画像位置情報を対応点の位置情報としてメモリに記憶する。但し、基準画像の特徴点の特徴量抽出ブロックの輝度値分布情報に近い特徴量抽出ブロックが存在しない場合には、記憶しておいた特徴点の画像位置情報と輝度値分布情報をメモリから消去する。
次に、並進成分算出部２４が、対応点の位置情報と姿勢情報とを（１１）式に代入することにより連立方程式を解き、並進成分情報を算出する（ステップＳ３４）。但し、対応点が多数に検出される場合には、並進成分情報の変数の数よりも多く連立方程式が成り立つので、最小２乗法により多数の連立方程式から誤差の最も小さい解を算出し、並進成分情報としてメモリに記憶する。
次に、光軸高密度位置検出部２７が姿勢情報および並進成分情報から光軸の直線方程式を算出し、光軸密度が高い位置を検出する（ステップＳ３５）。つまり、姿勢情報および並進成分情報から各々の画像を撮影したときの光軸方向を算出し、ワールド座標空間を領域分割し、分割した領域ごとに光軸が通る本数を算出し、光軸が最も多く通る領域の中心位置を被写体中心位置と仮定して検出する。次に、画像変換部２１内の画像変倍手段が、各々の画像を撮影した際の撮像面から被写体中心位置までの距離を算出し、各々の画像間における距離の比を算出する（ステップＳ３６）。具体的にはまず、各々の画像において、撮像面から被写体中心位置までの距離を算出し、算出した距離の比を算出して、画像変倍率Ｈを求める。さらに、得られた距離の比から画像の変倍率を算出し、画像変倍手段が画像情報を変倍して画像変換する（ステップＳ３７）。そして、画像変換した画像情報に回転角度θ、φ情報を付加して保存する（ステップＳ３８）。
【００２９】
次に、本発明の第５の実施形態について説明する。
図３３は、この実施形態の画像入力装置を示す、構成ブロック図である。図示したように、この実施形態の画像入力装置は撮像装置１と画像処理装置２ｃから構成されている。また、撮像装置１は、撮像部１１、姿勢検出部１２、および情報転送部１３から構成され、画像処理装置２ｃは、画像記録部２２、対応検出部２３、並進成分算出部２４、任意視点画像生成部２９などから構成されている。撮像装置１と画像処理装置２ｃを一つの装置として構成してもよい。また、撮像部１１、姿勢検出部１２、情報転送部１３、画像記録部２２、対応検出部２３、および並進成分算出部２４は第１の実施形態と同様の構成である。
このような構成で、この実施例の画像入力装置では、任意視点画像生成部２９が、任意視点画像を生成するために、撮影された画像群、姿勢情報、および並進成分情報から光線空間画像を生成する。姿勢情報と並進成分情報から撮影画像内の各画素値を３次元空間内の光線データに変換し、変換した光線データを光線空間ｆ（Ｘ，Ｙ，Ｚ，θ，φ）に投影し、光線空間上の光線データがない領域に対しては線形補間処理などを実行して光線データを補間合成して、光線空間画像を生成するのである。なお、光線空間画像を生成する手法については、公知の技術であり、柳澤健之、苗村健、金子正秀、原島博「光線空間を用いた３次元物体の操作」（テレビジョン学会誌ｖｏｌ５０，Ｎｏ９，ｐｐ１３４５〜１３５１，１９９６）、苗村健、金子正秀、原島博「光線情報の正投影表現に基づく３次元空間の記述」（テレビジョン学会誌ｖｏｌ５１，Ｎｏ１２，ｐｐ２０８２〜２０９０，１９９７）、苗村健、原島博「３次元画像の符号化技術（後編）」（画像ラボ、ｐｐ５７〜６２，１９９７．４）などに記述されている。
【００３０】
図３４にこの実施例の動作フローを示す。以下、図３４に従ってこの動作フローを説明する。
まず、撮像装置１において、２箇所以上の視点から撮影された画像情報と撮像装置１の姿勢情報を取得し、メモリに記憶する（ステップＳ４１）。さらに、前記した第４の実施形態と同様にして姿勢情報から撮像装置１の回転角度θ、φ、ψを算出する（ステップＳ４２）。
次に、第４の実施形態と同様にして、対応検出部２３が基準画像から特徴点を検出し、各特徴点に対応する対応点の位置情報を相対画像から検出する（ステップＳ４３）。さらに、第４の実施形態と同様にして、並進成分算出部２４が対応点の位置情報と姿勢情報から並進成分情報を算出する（ステップＳ４４）。
次に、任意視点画像生成部２９が姿勢情報および並進成分情報から光線空間画像を生成する（ステップＳ４５）。具体的にはまず、姿勢情報および並進成分情報から撮影画像内の各画素値を３次元空間内の光線データに変換し、その光線データを光線空間上ｆ（Ｘ，Ｙ，Ｚ，θ，φ）に投影する。なお、光線空間上の光線データがない領域に対しては、線形補間処理により光線データを補間合成し、光線空間画像を生成する。
このあとは、生成された光線空間画像を画像記録部２２に記録する（ステップＳ４６）。
【００３１】
以上、図１などに示した実施の形態について説明したが、撮像装置は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）や携帯情報端末装置などを用いて実現させることもできる。近年、各種処理プログラムを読み取ることにより種々の機能を実現可能なデジタルカメラも登場するようになった。また、向きを回動可能なカメラを具備したノート型ＰＣや、カメラを搭載したＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）および携帯電話が普及するようになったが、これらの機器に前記した第１乃至第５の実施形態で説明した画像入力方法を実現する処理プログラムを実行させることによりその機能を実現させることができるのである。
例えば、カメラを具備したノート型ＰＣにおいて、このようなプログラムを実行させる場合について言えば、ＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）などカメラ固有の処理はカメラ内部で実行させ、撮影モードの選択、撮影の開始・終了の制御、焦点検出動作の一時停止、画像および焦点検出領域の表示などは、プログラムを取り込んだ後、ノート型ＰＣの任意のユーザー・インターフェイスを介してそのプログラムを実行させる。以下は、ユーザー・インターフェイスにおける割り付けの一例である。
撮影モードの選択：カーソルキー
撮影の開始・終了の制御：リターンキー
焦点検出動作の一時停止：スペースキー
画像および焦点検出領域の表示：ＬＣＤ（ＰＣが備えている液晶表示装置）に表示
前記において、各実施例で説明した画像入力方法を実現する処理プログラムが書き込まれている記憶媒体からそのプログラムを読み取らせることにより、本発明によった画像入力を実現する実施形態を第６の実施形態として図３５に示す。図３５（ａ）に示したように、そのプログラムが書き込まれているＣＤ−ＲＯＭ６１をカメラ付きノート型ＰＣ６２に装着し、適宜そのプログラムを実行させる。また、図３５（ｂ）に示したように、そのようなプログラムを書き込んだスマートメディア６３を、それを読み取り可能なデジタルスチルカメラ６４に装着し、適宜そのプログラムを実行させることによっても実現させることができる。なお、前記プログラムを書き込んでおく記憶媒体は前記した例に制限されず、例えばＣＤ−ＲＷやＤＶＤ−ＲＯＭなど別の媒体であってもよい。
【００３２】
【発明の効果】
以上説明したように、本発明によれば、請求項１および請求項５記載の発明では、少なくとも２箇所以上の視点から同一の被写体を撮影して複数枚の画像情報とその被写体を撮影した際の撮像素子の姿勢を示す姿勢情報とを取得し、取得した画像情報を姿勢情報に基づいて回転変換し、回転変換させた画像情報に姿勢情報を付加して記録することができるので、専用装置を持っていない一般の人々でもデジタルカメラなど単眼の撮像装置を使用して、同一の被写体を簡単に様々な視点から撮影し、例えばＱｕｉｃｋＴｉｍｅ（登録商標）ＶＲ形式の画像群を保存することができ、したがって、高画質の３次元的画像を特定の撮影条件下だけでなく生成できる。
【００３３】
また、請求項２記載の発明では請求項１記載の発明において、請求項６記載の発明では請求項５記載の発明において、撮影された被写体の中心位置が入力された画像情報の中心位置から外れた場合、その画像情報の中心位置を並進移動させることにより画像情報の中心位置と被写体の中心位置とを一致させることができるので、撮影時に画像情報の中心位置と被写体の中心位置とを一致させる苦労がなくなる。
また、請求項３記載の発明では請求項１記載の発明において、請求項７記載の発明では請求項５記載の発明において、入力された複数の画像情報を変倍することができるので、被写体・撮影位置間の距離のばらつきにより画像面に投影される被写体の大きさが変化しても、画像群データ内の被写体の大きさを同一にすることができる。
また、請求項４記載の発明では請求項１記載の発明において、請求項８記載の発明では請求項５記載の発明において、被写体を撮像した際の視点位置とは異なる視点から被写体を撮影したときに入力される画像情報を生成することができるので、撮影した画像枚数が少ない画像群データでも被写体を３次元的に表示することができる。
また、請求項９記載の発明では、請求項５乃至請求項８のいずれか１項に記載の画像入力方法によった画像入力を実行させるようにプログラミングされているプログラムを情報処理装置上で実行させることができるので、情報処理装置を用いて請求項５乃至請求項８のいずれか１項に記載の発明の効果を得ることができる。
また、請求項１０記載の発明では、請求項９記載のプログラムを着脱可能な記憶媒体に記憶することができるので、その記憶媒体をこれまで請求項５乃至請求項８のいずれか１項に記載の発明によった画像入力をおこなえなかったパーソナルコンピュータなど情報処理装置に装着することにより、そのような情報処理装置においても請求項５乃至請求項８のいずれか１項に記載の発明の効果を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を示す、画像入力装置の構成ブロック図。
【図２】本発明の第１の実施形態を示す、画像入力装置要部の構成ブロック図。
【図３】本発明の第１の実施形態を示す、画像入力装置要部のハードウェア構成図。
【図４】本発明の第１の実施形態を示す、画像入力装置要部の説明図。
【図５】本発明の第１の実施形態を示す、画像入力装置要部の他の説明図。
【図６】本発明の第１の実施形態を示す、画像入力装置要部の他の説明図。
【図７】本発明の第１の実施形態を示す、画像入力装置要部の他の説明図。
【図８】本発明の第１の実施形態を示す、画像入力装置要部の他の説明図。
【図９】本発明の第１の実施形態の画像入力装置に係る説明図。
【図１０】本発明の第１の実施形態の画像入力装置に係る他の説明図。
【図１１】本発明の第１の実施形態を示す、画像入力装置要部の他の説明図。
【図１２】本発明の第１の実施形態を示す、画像入力装置要部の他の説明図。
【図１３】本発明の第１の実施形態を示す、画像入力装置要部のデータ構成図。
【図１４】本発明の第１の実施形態を示す、画像入力方法の動作フロー図。
【図１５】本発明の第２の実施形態を示す、画像入力装置の構成ブロック図。
【図１６】本発明の第２の実施形態を示す、画像入力装置の説明図。
【図１７】本発明の第２の実施形態を示す、画像入力装置要部の説明図。
【図１８】本発明の第２の実施形態を示す、画像入力装置要部の他の説明図。
【図１９】本発明の第２の実施形態を示す、画像入力装置要部の他の説明図。
【図２０】本発明の第２の実施形態の画像入力装置に係る説明図。
【図２１】本発明の第２の実施形態の画像入力装置に係る他の説明図。
【図２２】本発明の第２の実施形態を示す、画像入力装置要部の他の説明図。
【図２３】本発明の第２の実施形態を示す、画像入力装置要部の他の説明図。
【図２４】本発明の第２の実施形態を示す、画像入力装置要部の他の説明図。
【図２５】本発明の第２の実施形態を示す、画像入力方法の動作フロー図。
【図２６】本発明の第２の実施形態を示す、画像入力方法の他の動作フロー図。
【図２７】本発明の第３の実施形態を示す、画像入力装置の構成ブロック図。
【図２８】本発明の第３の実施形態を示す、画像入力装置要部の説明図。
【図２９】本発明の第３の実施形態を示す、画像入力装置要部の他の説明図。
【図３０】本発明の第３の実施形態を示す、画像入力方法の動作フロー図。
【図３１】本発明の第４の実施形態の画像入力装置に係る説明図。
【図３２】本発明の第４の実施形態を示す、画像入力方法の動作フロー図。
【図３３】本発明の第５の実施形態を示す、画像入力装置の構成ブロック図。
【図３４】本発明の第５の実施形態を示す、画像入力方法の動作フロー図。
【図３５】本発明の第６の実施形態を示す、画像入力装置のハードウェア構成図。
【符号の説明】
１  撮像装置、２  画像処理装置、１１  撮像部、１２  姿勢検出部、１３  情報転送部、２１  画像変換部、２２  画像記録部、２３  対応検出部、２４  並進成分算出部、２５  ３次元位置算出部、２６  被写体中心位置算出部、２７  光軸高密度位置検出部、２９  任意視点画像生成部
【図１】
2005049999.tif 000016
【図２】
2005049999.tif 000017
【図３】
2005049999.tif 000018
【図４】
2005049999.tif 000019
【図５】
2005049999.tif 000020
【図６】
2005049999.tif 000021
【図７】
2005049999.tif 000022
【図８】
2005049999.tif 000023
【図９】
2005049999.tif 000024
【図１０】
2005049999.tif 000025
【図１１】
2005049999.tif 000026
【図１２】
2005049999.tif 000027
【図１３】
2005049999.tif 000028
【図１４】
2005049999.tif 000029
【図１５】
2005049999.tif 000030
【図１６】
2005049999.tif 000031
【図１７】
2005049999.tif 000032
【図１８】
2005049999.tif 000033
【図１９】
2005049999.tif 000034
【図２０】
2005049999.tif 000035
【図２１】
2005049999.tif 000036
【図２２】
2005049999.tif 000037
【図２３】
2005049999.tif 000038
【図２４】
2005049999.tif 000039
【図２５】
2005049999.tif 000040
【図２６】
2005049999.tif 000041
【図２７】
2005049999.tif 000042
【図２８】
2005049999.tif 000043
【図２９】
2005049999.tif 000044
【図３０】
2005049999.tif 000045
【図３１】
2005049999.tif 000046
【図３２】
2005049999.tif 000047
【図３３】
2005049999.tif 000048
【図３４】
2005049999.tif 000049
【図３５】
2005049999.tif 000050