(57)【要約】【課題】複数の多視点画像を切り替える際、滑らかで違和感のない中間画像を表示することができる画像生成装置を得ることを目的とする。【解決手段】１以上の物体の平面図上の位置の中から、その平面図上では見かけ上異なる同一物品に係る複数の位置を特定し、複数の位置の中間点を決定する中間点決定手段と、その中間点をマルチビュー画像上の位置に変換し、マルチビュー画像上の位置に応じて床面の画像を生成する床面画像生成手段とを設け、複数のカメラ画像内の床面に置かれている１以上の物体の画像と床面の画像から、複数のマルチビュー画像間の中間画像を生成する。【選択図】図１
2008217243.tif 000002
【特許請求の範囲】
【請求項１】
相互に異なる方向から同一の３次元領域が撮影された複数のカメラ画像のマルチビュー変換を実施して、上記複数のカメラ画像内の床面に置かれているマルチビュー対象の物体の位置及び大きさが一致している複数のマルチビュー画像を生成するマルチビュー画像生成手段と、上記複数のカメラ画像から床面に置かれている１以上の物体の床面上の位置を取得する床面位置取得手段と、上記床面位置取得手段により取得された１以上の物体の床面上の位置を上記床面の平面図上の位置に変換する平面射影変換手段と、上記平面射影変換手段により変換された１以上の物体の平面図上の位置の中から、上記平面図上では見かけ上異なる同一物品に係る複数の位置を特定し、複数の位置の中間点を決定する中間点決定手段と、上記中間点決定手段により決定された中間点をマルチビュー画像上の位置に変換し、上記マルチビュー画像上の位置に応じて床面の画像を生成する床面画像生成手段と、上記複数のカメラ画像内の床面に置かれている１以上の物体の画像と上記床面画像生成手段により生成された床面の画像から、上記マルチビュー画像生成手段により生成された複数のマルチビュー画像間の中間画像を生成する中間画像生成手段とを備えた画像生成装置。
【請求項２】
平面射影変換手段は、マルチビュー画像生成手段によるマルチビュー変換時の画像変換パラメータを用いて、床面位置取得手段により取得された１以上の物体の床面上の位置をマルチビュー画像上の位置に変換してから、上記マルチビュー画像上の位置を任意のカメラ画像上の位置に変換し、上記任意のカメラ画像上の位置を床面の平面図上の位置に変換することを特徴とする請求項１記載の画像生成装置。
【請求項３】
中間点決定手段は、同一物品に係る複数の位置の中間点を決定する際、平面射影変換手段により変換されたマルチビュー対象の物体の平面図上の位置を中心とする円又は楕円の円弧上にある点を中間点として決定することを特徴とする請求項１または請求項２記載の画像生成装置。
【請求項４】
中間点決定手段は、同一物品に係る２つの位置の中間点を決定する際、２つの位置のうちの少なくとも一方を通る円又は楕円を用意し、一方の位置と円又は楕円の中心点を結ぶ線分と、他方の位置と上記中心点を結ぶ線分とのなす角を所定の比率で分割し、分割後のなす角に対応する上記円又は楕円の円弧上の点を中間点として決定することを特徴とする請求項３記載の画像生成装置。
【請求項５】
床面画像生成手段は、マルチビュー画像生成手段によるマルチビュー変換時の画像変換パラメータを用いて、中間点決定手段により決定された中間点をマルチビュー画像上の位置に変換することを特徴とする請求項１から請求項４のうちのいずれか１項記載の画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数のカメラ等で撮影された多視点画像からスポーツ鑑賞や監視などの用途に有用な画像を生成する画像生成装置に関するものである。
【背景技術】
【０００２】
従来の画像生成装置では、ある方向から撮影された３次元空間内のある領域の画像Ｐ１と、別の方向から撮影された同一領域の画像Ｐ２との間で中間視点画像を生成する場合、その画像Ｐ１と画像Ｐ２から３次元空間内の任意の点に対応する点Ｖ１，Ｖ２を見つけ、それらの点Ｖ１，Ｖ２を線形補間することで、中間視点画像を生成するようにしている（例えば、非特許文献１を参照）。
【０００３】
例えば、下記の線形補間式を用いて、点Ｖ１，Ｖ２を線形補間する。
【数１】
2008217243.tif 000003
ただし、Ｖ３は中間点、αは重みを表している。
また、ｖ１，ｖ２，ｖ３は、点Ｖ１，Ｖ２，Ｖ３の位置ベクトルを表している。
【０００４】
【非特許文献１】稲本他、「視点位置の内挿に基づく３次元サッカー映像の自由視点鑑賞システム」映像情報メディア学会  Ｖｏｌ．５８  Ｎｏ．４  ｐｐ５２９−５３９  ２００４
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の画像生成装置は以上のように構成されているので、画像Ｐ１と画像Ｐ２の間で中間視点画像を生成する際、３次元空間内の任意の点に対応する点Ｖ１，Ｖ２を線形補間する。しかし、点Ｖ１，Ｖ２を線形補間する場合、３次元空間内に存在する物体の中間位置が不自然な位置に決定されることがあり、その場合には、不自然な位置に決定された中間位置を基準にして、２つの物体間の距離や床面画像が生成されるため、画像Ｐ１，Ｐ２や中間視点画像間で表示を切り替える際、物体や床などが縮むように見えたり、不自然な位置に物体が移動したりすることがあるなどの課題があった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、複数の多視点画像を切り替える際、滑らかで違和感のない中間画像を表示することができる画像生成装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る画像生成装置は、床面に置かれている１以上の物体の床面上の位置を床面の平面図上の位置に変換する平面射影変換手段と、平面射影変換手段により変換された１以上の物体の平面図上の位置の中から、その平面図上では見かけ上異なる同一物品に係る複数の位置を特定し、複数の位置の中間点を決定する中間点決定手段と、中間点決定手段により決定された中間点をマルチビュー画像上の位置に変換し、マルチビュー画像上の位置に応じて床面の画像を生成する床面画像生成手段とを設け、中間画像生成手段が複数のカメラ画像内の床面に置かれている１以上の物体の画像と床面画像生成手段により生成された床面の画像から、マルチビュー画像生成手段により生成された複数のマルチビュー画像間の中間画像を生成するようにしたものである。
【発明の効果】
【０００８】
この発明によれば、床面に置かれている１以上の物体の床面上の位置を床面の平面図上の位置に変換する平面射影変換手段と、平面射影変換手段により変換された１以上の物体の平面図上の位置の中から、その平面図上では見かけ上異なる同一物品に係る複数の位置を特定し、複数の位置の中間点を決定する中間点決定手段と、中間点決定手段により決定された中間点をマルチビュー画像上の位置に変換し、マルチビュー画像上の位置に応じて床面の画像を生成する床面画像生成手段とを設け、中間画像生成手段が複数のカメラ画像内の床面に置かれている１以上の物体の画像と床面画像生成手段により生成された床面の画像から、マルチビュー画像生成手段により生成された複数のマルチビュー画像間の中間画像を生成するように構成したので、複数の多視点画像を切り替える際、滑らかで違和感のない中間画像を表示することができる効果がある。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
図１はこの発明の実施の形態１による画像生成装置のマルチビュー画像生成手段を示す構成図である。
図１の画像生成装置の場合、Ｎ台のカメラを使用して、ある３次元領域をそれぞれ異なる方向から撮影した複数の画像に対して、上記領域内に存在するある物体が、全ての画像で同じ大きさになるように各画像を拡大または縮小し、かつ、画像内の同じ座標に位置するよう移動し、さらに、水平方向や垂直方向の歪を補正するようにしている。
なお、上記のような画像を、Ｎ台のカメラにより撮影されたＮ枚の画像を用いて生成した後、それらの画像をカメラの並びの順番に表示すると、ある物体を中心に等距離の視点をカメラの並びに沿って順番に移動させたような画像効果を得ることができる。以後、上記のような効果をマルチビュー効果または単にマルチビューと称する。
これ以降の説明では、Ｎ台のカメラで、水平な平面である床面にいくつかの物体が置かれている領域を撮影し、その領域に対してマルチビュー効果を有する画像を生成するものとする。
【００１０】
図において、マルチビュー画像生成手段３０は相互に異なる方向から同一の３次元領域が撮影された複数のカメラ画像のマルチビュー変換を実施して、複数のカメラ画像内の床面に置かれているマルチビュー対象の物体の位置及び大きさが一致している複数のマルチビュー画像を生成する処理を実施する。
【００１１】
カメラ１−１〜１−Ｎは相互に異なる方向から同一の３次元領域を撮影し、その３次元領域の撮影結果であるオリジナル画像ｎ（１≦ｎ≦Ｎ）を出力する。
画像データ一時保存部２はカメラ１−ｎ（１≦ｎ≦Ｎ）から出力されたオリジナル画像ｎ（１≦ｎ≦Ｎ）を一時的に保存するメモリである。
ただし、この実施の形態１では、以降、説明の簡単化のために、Ｎ＝８であるものとして説明する。
【００１２】
マルチビュー位置指定部３は画像データ一時保存部２に保存されている８枚のオリジナル画像ｎの中から任意のオリジナル画像ｎ1（１≦ｎ1≦８）の選択を受け付け、そのオリジナル画像ｎ1に存在するマルチビュー対象の物体（ユーザがマルチビューを希望する物体）の床面上の位置を示す画像座標の指定を受け付ける処理を実施する。
マルチビュー位置指定部３における画像座標の読み取りは、ユーザがオリジナル画像ｎ1を見ながら、例えば、マウスを操作して画像内の位置を指定することにより、その位置の画像座標を読み取るようにしてもよいし、何らかの方法で自動的に指定可能としてもよい。
【００１３】
基準位置指定部４は画像データ一時保存部２に保存されている８枚のオリジナル画像ｎの中から任意のオリジナル画像ｎ2（１≦ｎ2≦８）の選択を受け付け、そのオリジナル画像ｎ2に存在する垂直基準棒が床面に垂直に接している床面上の位置を示す画像座標の指定を受け付ける処理を実施する。
基準位置指定部４における画像座標の読み取りは、ユーザがオリジナル画像ｎ2を見ながら、例えば、マウスを操作して画像内の位置を指定することにより、その位置の画像座標を読み取るようにしてもよいし、何らかの方法で自動的に指定可能としてもよい。
【００１４】
床面座標読取部５は画像データ一時保存部２に保存されているオリジナル画像ｎ（１≦ｎ≦８）の、例えば床面上に共通に存在しているマーキング（図２を参照）の頂点（１）、頂点（２）、頂点（３）、頂点（４）の画像座標を読み取る処理を実施する。ここでは頂点（１）〜（４）は床面にマーキングされた四角形の頂点であるが、四角形でなくてもよく、４点以上であればよい。
水平消失点算出部６は画像データ一時保存部２に保存されているオリジナル画像ｎ（１≦ｎ≦８）毎に、オリジナル画像ｎの水平消失点（例えば、カメラ１−ｎの光軸を床面に垂直な方向に投影した床面上の直線の無限遠点をオリジナル画像に投影した消失点）の画像座標を算出する処理を実施する。
垂直消失点算出部７は画像データ一時保存部２に保存されているオリジナル画像ｎ（１≦ｎ≦８）毎に、オリジナル画像ｎの垂直消失点（床面に垂直な直線の無限遠点を画像に投影した消失点）の画像座標を算出する処理を実施する。
【００１５】
平面射影変換行列算出部８はオリジナル画像ｎ1と他のオリジナル画像ｎ（オリジナル画像ｎ1を除く）におけるマーキングの頂点（１）、頂点（２）、頂点（３）、頂点（４）の画像座標を使用して、オリジナル画像ｎ1と他のオリジナル画像ｎ（オリジナル画像ｎ1を除く）間で、床面を構成する平面の平面射影変換行列Ｈn1-1〜Ｈn1-8（１≦ｎ1≦８の７個）を算出する処理を実施する。
また、平面射影変換行列算出部８はオリジナル画像ｎ2と他のオリジナル画像ｎ（オリジナル画像ｎ2を除く）におけるマーキングの頂点（１）、頂点（２）、頂点（３）、頂点（４）の画像座標を使用して、オリジナル画像ｎ2と他のオリジナル画像ｎ（オリジナル画像ｎ2を除く）間で、床面を構成する平面の平面射影変換行列Ｈn2-1〜Ｈn2-8（１≦ｎ2≦８の７個）を算出する処理を実施する。
平面射影変換行列の算出方法は、例えば、非特許文献「出口光一郎  “ロボットビジョンの基礎”ｐ４７（本文献ではホモグラフィー行列と記載されている）」に記載されている。
【００１６】
マルチビュー位置算出部９は平面射影変換行列算出部８により算出された平面射影変換行列Ｈn1-1〜Ｈn1-8を用いて、オリジナル画像ｎ（オリジナル画像ｎ1を除く）に存在するマルチビュー対象の物体の床面上の位置を示す画像座標を算出する処理を実施する。即ち、平面射影変換行列Ｈn1-1〜Ｈn1-8を用いて、マルチビュー位置指定部３により指定が受け付けられたマルチビュー対象の物体の床面上の位置を示す画像座標（または、マルチビュー画像座標変換部２２により変換された画像座標）を、オリジナル画像ｎ（オリジナル画像ｎ1を除く）の画像座標に変換することにより、オリジナル画像ｎ（オリジナル画像ｎ1を除く）に存在するマルチビュー対象の物体の床面上の位置を示す画像座標を算出する処理を実施する。
【００１７】
基準位置算出部１０は平面射影変換行列算出部８により算出された平面射影変換行列Ｈn2-1〜Ｈn2-8を用いて、オリジナル画像ｎ（オリジナル画像ｎ2を除く）に存在する垂直基準棒の床面上の位置を示す画像座標を算出する処理を実施する。即ち、平面射影変換行列Ｈn2-1〜Ｈn2-8を用いて、基準位置指定部４により指定が受け付けられたオリジナル画像ｎ2内の垂直基準棒の床面位置を示す画像座標を、オリジナル画像ｎ（オリジナル画像ｎ2を除く）の画像座標に変換する処理を実施することにより、オリジナル画像ｎ（オリジナル画像ｎ2を除く）に存在する垂直基準棒の床面上の位置を示す画像座標を算出する処理を実施する。
【００１８】
画像内倍率算出部１１はマルチビュー位置算出部９により算出されたオリジナル画像ｎに存在するマルチビュー対象の床面位置を示す画像座標と、基準位置算出部１０により算出されたオリジナル画像ｎに存在する垂直基準棒の床面位置を示す画像座標と、水平消失点算出部６により算出されたオリジナル画像ｎの水平消失点の画像座標とを用いて、マルチビュー対象の物体を垂直基準棒と同じ奥行きの床面位置まで移動させた場合のマルチビュー対象の物体の画像内倍率（マルチビュー対象の物体の大きさの見え方の変化倍率）を算出する処理を実施する。
【００１９】
カメラ水平軸歪補正パラメータ算出部１２は垂直消失点算出部７により算出されたオリジナル画像ｎの垂直消失点から、オリジナル画像ｎを撮影する際のカメラ１−ｎの傾きに起因する水平軸歪の補正パラメータを算出する処理を実施する。
透視投影歪補正パラメータ算出部１３は垂直消失点算出部７により算出されたオリジナル画像ｎの垂直消失点から、カメラ１−ｎの撮影時に３次元空間を２次元平面に透視投影することに起因する画像の透視投影歪の補正パラメータを算出する処理を実施する。
【００２０】
１次補正画像生成部１４はカメラ水平軸歪補正パラメータ算出部１２により算出された水平軸歪の補正パラメータと、透視投影歪補正パラメータ算出部１３により算出された透視投影歪の補正パラメータとを用いて、オリジナル画像ｎの水平軸歪と透視投影歪を補正し、補正後の画像を１次補正画像ｎ（１≦ｎ≦８）として出力する。
基準長読取部１５は１次補正画像生成部１４から出力された１次補正画像ｎ内の垂直基準棒の見かけの長さを読み取る処理を実施する。
【００２１】
画像間倍率算出部１６は画像内倍率算出部１１により算出されたマルチビュー対象の物体の画像内倍率と、基準長読取部１５により読み取られた１次補正画像ｎ内の垂直基準棒の見かけの長さを用いて、１次補正画像ｎ（１≦ｎ≦８）におけるマルチビュー対象の物体を同じ大きさで表示する場合の画像間倍率を１次補正画像ｎ毎に算出する処理を実施する。
このとき、画像間倍率を用いて、１次補正画像ｎを拡大又は縮小して、大きさを補正するようにしてもよい。
【００２２】
２次補正画像生成部１７はカメラ水平軸歪補正パラメータ算出部１２により算出された水平軸歪の補正パラメータと、透視投影歪補正パラメータ算出部１３により算出された透視投影歪の補正パラメータと、画像間倍率算出部１６により算出された画像間倍率とを用いて、２次透視変換を実施することにより、オリジナル画像ｎ（１≦ｎ≦８）の歪や大きさを補正し、補正後の画像を２次補正画像ｎ（１≦ｎ≦８）として出力する。
【００２３】
２次透視変換座標算出部１８は２次補正画像生成部１７がカメラ水平軸歪補正パラメータ算出部１２により算出された水平軸歪の補正パラメータと、透視投影歪補正パラメータ算出部１３により算出された透視投影歪の補正パラメータと、画像間倍率算出部１６により算出された画像間倍率とを用いて、２次透視変換を実施した場合のマルチビュー対象の物体の画像座標（マルチビュー対象の物体の移動先の画像座標）を算出する処理を実施する。
移動パラメータ算出部１９は２次透視変換座標算出部１８により算出されたマルチビュー対象の物体の移動先の画像座標と、画像中心とのずれを移動パラメータとして算出する処理を実施する。
【００２４】
マルチビュー画像生成部２０は移動パラメータ算出部１９により算出された移動パラメータにしたがって、２次補正画像生成部１７から出力された２次補正画像ｎ（１≦ｎ≦８）を移動させることにより、マルチビュー対象の物体が画像の中心に存在するマルチビュー画像ｎ（１≦ｎ≦８）を生成する処理を実施する。
マルチビュー位置指定部２１はマルチビュー画像生成部２０により生成されたマルチビュー画像ｎ（１≦ｎ≦８）に対して、新たなマルチビューの位置の指定を受け付ける処理を実施する。
【００２５】
マルチビュー画像座標変換部２２は移動パラメータ算出部１９により算出された移動パラメータの逆移動パラメータと、２次透視変換座標算出部１８により算出された２次透視変換の逆変換と、平面射影変換行列算出部８により算出された平面射影変換行列の逆変換行列とを用いて、マルチビュー位置指定部２１により指定が受け付けられたマルチビュー画像ｎ（１≦ｎ≦８）上の座標位置を、オリジナル画像ｎ（１≦ｎ≦８）上の座標位置に変換する処理を実施する。
【００２６】
図１０はこの発明の実施の形態１による画像生成装置の一部（マルチビュー画像生成手段を除く部分）を示す構成図である。
ただし、図１に記述しているカメラ１−１〜１−Ｎ及び画像データ一時保存部２については、図１０でも記述している。
【００２７】
背景画像データ保存部４１は画像データ一時保存部２からカメラ１−ｎ（１≦ｎ≦Ｎ）により撮影された背景画像ｎを取得して、その背景画像ｎをカメラ１−ｎ毎に保存するメモリである。
ここで、「背景画像」は、画面内に動いている物体や、今後動くことが予想される物体が撮影されていない画像である。
この実施の形態１では、背景画像を取得した後は、カメラ１−ｎの移動は行わないものとする。
背景画像は、ユーザが複数の画像の中から選択するようにしてもよいし、ユーザが生成するようにしてもよい。また、後述する方法を実施して、自動的に生成するようにしてもよい。
一般的には、動く物体が何もない状態を撮影して背景画像とすることが多い。
背景画像の自動的な選択方法又は生成方法としては、例えば、動く物体が撮影されている画像からメディアンフィルタなどを用いて背景画像を生成する方法などがある。
背景画像データ保存部４１に保存する背景画像は、周期的又は非周期的に取得しなおしてもよい。また、背景画像毎の差分などを求めて、人物などのオブジェクト抽出に影響を与えないことが判明している変動がある閾値以上あったとき、背景画像を更新するようにしてもよい。
【００２８】
オブジェクト抽出部４２は画像データ一時保存部２からカメラ１−ｎ（１≦ｎ≦Ｎ）により撮影されたオリジナル画像ｎを取得するとともに、背景画像データ保存部４１からカメラ１−ｎにより撮影された背景画像ｎを取得して、そのオリジナル画像ｎと背景画像ｎに対する画像処理を実施して、オリジナル画像ｎ内のオブジェクト（床面に置かれている物体）を抽出する処理を実施する。即ち、オリジナル画像ｎと背景画像ｎにおける同じ位置の画素の差分などを求めて動きのある画素を判定し、動きのある画素の位置を２値画像で表現し、その２値画像に対して収縮処理、拡大処理、ラベリング処理などを実施して、オリジナル画像ｎ内のオブジェクトを抽出する。
収縮処理、拡大処理、ラベリング処理などは、例えば「井上誠喜  Ｃ言語で学ぶ実践画像処理  オーム社」に開示されている。
【００２９】
オブジェクト位置座標算出部４３はオブジェクト抽出部４２がオブジェクトを抽出すると、例えば、そのオブジェクト領域の重心と、平面射影変換行列算出部８により算出された平面射影変換行列と、垂直消失点算出部７により算出された垂直消失点とを用いて、オリジナル画像ｎ内におけるオブジェクトの位置座標を算出する処理を実施する。
床平面図入力部４４はカメラ１−１，１−２，・・・，１−Ｎで共通に撮影される床面の平面図の取り込みを行う。
「床面の平面図」は、例えば、床面にマーキングされている四角形の形状が正方形であれば正方形であり、縦横比がａ：ｂの長方形であればａ：ｂの長方形であり、四角形の４つの頂点が相似形で決定することができればよく、大きさは適当でよい。
また、四角形以外の三角形や、それ以外の多角形や、それ以外の形状であってもよく、平面上の４つ以上の点の位置関係が、幾何学的な相似形であればよい。
【００３０】
画像内床面座標指定部４５は背景画像データ保存部４１に保存されている背景画像ｎにおいて、床平面図入力部４４により取り込まれた床面の頂点に対応する点の座標（床面の位置座標）を指定する処理を実施する。
床面の位置座標の指定方法は、ユーザが画像を見ながら指定してもよいし、何らかの方法で自動的に指定してもよい。
この実施の形態１では、背景画像における床面座標を指定しているが、背景画像以外のオリジナル画像における床面座標を指定するようにしてよい。
【００３１】
入力画像座標取得部４６はオブジェクト位置座標算出部４３により算出されたオリジナル画像ｎ内のオブジェクトの位置座標、または、画像内床面座標指定部４５により指定された背景画像ｎ内の床面の位置座標のいずれか一方を選択する処理を実施する。
なお、オブジェクト抽出部４２、オブジェクト位置座標算出部４３、床平面図入力部４４、画像内床面座標指定部４５及び入力画像座標取得部４６から床面位置取得手段が構成されている。
【００３２】
マルチビュー変換式生成部４７はマルチビュー画像生成手段３０によるマルチビュー変換時の画像変換パラメータとして、カメラ水平軸歪補正パラメータ算出部１２により算出したカメラ水平軸歪補正パラメータと、透視投影歪補正パラメータ算出部１３により算出した透視投影歪補正パラメータと、画像間倍率算出部１６により算出された画像間倍率とを収集し、そのカメラ水平軸歪補正パラメータ、透視投影歪補正パラメータ及び画像間倍率を用いて、オリジナル画像をマルチビュー画像に変換したとき、そのオリジナル画像上のある位置の座標が、マルチビュー画像上のどの座標に変換されるかを算出することができるマルチビュー変換式（例えば、３×３の行列）を生成する処理を実施する。
逆マルチビュー変換式生成部４８はマルチビュー変換式生成部４７により生成されたマルチビュー変換式の逆変換式である逆マルチビュー変換式を生成する処理を実施する。逆マルチビュー変換式により、マルチビュー画像上のある位置の座標がマルチビュー変換される前のオリジナル画像では、どの座標であったのかを算出することができる。
【００３３】
変換画像座標算出部４９はマルチビュー変換式生成部４７により生成されたマルチビュー変換式を用いて、入力画像座標取得部４６により選択されたオリジナル画像ｎ内のオブジェクトの位置座標（または、背景画像ｎ内の床面の位置座標）をマルチビュー画像上の位置座標に変換する処理を実施する。
オリジナル画像座標算出部５０は逆マルチビュー変換式生成部４８により生成された逆マルチビュー変換式を用いて、変換画像座標算出部４９により変換されたマルチビュー画像上の位置座標（各カメラ１−ｎ（１≦ｎ≦Ｎ）のオリジナル画像ｎから変換されたマルチビュー画像上の位置座標）を、ある１つのカメラ（例えば、カメラ１−１）のオリジナル画像上の位置座標に変換する処理を実施する。
ここで、ある１つのカメラのオリジナル画像は、例えば、現在、画像生成装置により表示されているオリジナル画像であってもよいし、マルチビュー画像を撮影したカメラのオリジナル画像であってもよいし、その他のカメラのオリジナル画像であってもよい。
【００３４】
平面射影変換算出部５１は床平面図入力部４４により取り込まれた床面の頂点（平面図上の４点以上の座標値）と、画像内床面座標指定部４５により指定された背景画像ｎ内の床面の位置座標（床面の頂点に対応する４点以上の座標値）とから、床平面図座標算出部５３が床平面図座標を算出する際に使用する平面射影変換行列（例えば、３×３の行列）をカメラ１−ｎ毎に算出する処理を実施する。
平面射影変換算出部５２は床平面図入力部４４により取り込まれた床面の頂点（平面図上の４点以上の座標値）と、画像内床面座標指定部４５により指定された背景画像ｎ内の床面の位置座標（床面の頂点に対応する４点以上の座標値）とから、オリジナル画像座標算出部５５がオリジナル画像上の座標を算出する際に使用する平面射影変換行列（例えば、３×３の行列）をカメラ１−ｎ毎に算出する処理を実施する。
なお、あるカメラで撮影された画像においては、平面射影変換算出部５１により算出される平面射影変換行列と、平面射影変換算出部５２により算出される平面射影変換行列とが、互いに逆行列の関係である場合が多いので、その場合には、どちらか一方の平面射影変換行列を算出してから、その平面射影変換行列の逆行列を数学的に算出して、残る一方の平面射影変換行列を求めるようにしてもよい。
【００３５】
床平面図座標算出部５３は平面射影変換算出部５１により算出された平面射影変換行列を用いて、オリジナル画像座標算出部５０により算出されたオリジナル画像上の位置座標（例えば、カメラ１−１のオリジナル画像上の位置座標）を床面の平面図上の位置座標に変換する処理を実施する。
なお、マルチビュー変換式生成部４７、逆マルチビュー変換式生成部４８、変換画像座標算出部４９、オリジナル画像座標算出部５０、平面射影変換算出部５１及び床平面図座標算出部５３から平面射影変換手段が構成されている。
【００３６】
床平面図中間座標算出部５４は床平面図座標算出部５３により変換された１以上のオブジェクトの平面図上の位置座標の中から、平面図上では、見かけ上異なる同一オブジェクトに係る複数の位置座標を特定し、複数の位置座標の中間点を決定する処理を実施する。
即ち、床平面図中間座標算出部５４は同一オブジェクトに係る複数の位置座標の中間点を決定する際、マルチビュー対象の物体の平面図上の位置を中心とする円又は楕円の円弧上にある点を中間点として決定する。なお、床平面図中間座標算出部５４は中間点決定手段を構成している。
【００３７】
オリジナル画像座標算出部５５は平面射影変換算出部５２により算出された平面射影変換行列を用いて、床平面図中間座標算出部５４により決定された中間点をオリジナル画像上の位置座標に変換する処理を実施する。
このとき、１つのオリジナル画像上の座標に変換してもよいし、カメラが異なるいくつかのオリジナル画像上の座標に変換してもよい。
変換画像座標算出部５６はマルチビュー変換式生成部４７により生成されたマルチビュー変換式を用いて、オリジナル画像座標算出部５５により変換されたオリジナル画像上の位置座標をマルチビュー画像上の位置座標に変換する処理を実施する。
【００３８】
床面中間画像用平面射影変換算出部５７は変換画像座標算出部４９により変換されたマルチビュー画像上の位置座標と、変換画像座標算出部５６により変換されたマルチビュー画像上の位置座標とから、床面中間画像生成部５９が床面の中間画像を生成する際に使用する平面射影変換行列（例えば、３×３の行列）を算出する処理を実施する。
床面領域抽出部５８は画像データ一時保存部２に保存されているカメラ１−ｎ（１≦ｎ≦Ｎ）の背景画像ｎから床面領域を抽出する処理を実施する。
床面領域の抽出方法として、ユーザが背景画像から床面領域を指定する方法がある。
また、例えば、平面射影変換行列算出部８により算出されたカメラ間の平面射影変換行列を用いて、あるカメラにより撮影された背景画像を、別のカメラにより撮影された背景画像に変換し、両者の画素毎の差分を行って、その差分がある閾値以下である画素に対し、例えば、収縮処理、拡大処理などを実施して床面領域を決定するようにしてもよい。
また、背景画像を使用しないで、オブジェクトが撮影されている画像からメディアンフィルタなどを用いて背景画像に相当する画像を生成して利用するようにしてもよい。
【００３９】
床面中間画像生成部５９は床面中間画像用平面射影変換算出部５７により算出された平面射影変換行列を用いて、床面領域抽出部５８により抽出された床面領域を床面の中間画像に変換する処理を実施する。
なお、平面射影変換算出部５２、オリジナル画像座標算出部５５、変換画像座標算出部５６、床面中間画像用平面射影変換算出部５７、床面領域抽出部５８及び床面中間画像生成部５９から床面画像生成手段が構成されている。
【００４０】
中間画像用オブジェクト生成部６０はオブジェクト抽出部４２により抽出されたオブジェクトから中間画像用のオブジェクトを生成する処理を実施する。
中間画像用のオブジェクトの生成方法は、例えば、非特許文献「矢口悟志他  “未校正多視点カメラシステムを用いた任意視点画像生成”情報処理学会論文誌：コンピュータビジョンとイメージメディア  Ｖｏｌ．４２  Ｎｏ．ＳＩＧ  ６（ＣＶＩＭ  ２）  Ｊｕｎｅ  ２００１」に開示されており、特に、「３．２節 式（３）（ｐ１３）」に記述されている任意視点画像を用いて中間画像用のオブジェクトを生成する。
【００４１】
オブジェクトサイズ修正部６１は中間画像オブジェクト生成部６０により生成された中間画像用のオブジェクトがオリジナル画像座標算出部５５により変換されたマルチビュー画像上の位置座標に存在するものとして、マルチビュー変換式生成部４７により生成されたマルチビュー変換式を用いて、中間画像用のオブジェクトのサイズを修正する処理を実施する。
中間画像生成部６２は変換画像座標算出部５６により変換されたマルチビュー画像上の位置座標において、オブジェクトサイズ修正部６１によりサイズが修正された中間画像用のオブジェクトを床面中間画像生成部５９により生成された床面の中間画像に上書きすることにより、中間画像を生成する処理を実施する。
なお、中間画像用オブジェクト生成部６０、オブジェクトサイズ修正部６１及び中間画像生成部６２から中間画像生成手段が構成されている。
【００４２】
次に動作について説明する。
図２は８台のカメラ１−ｎ（１≦ｎ≦８）を使用して画像を撮影している様子を示す説明図であり、図３はカメラ１−１，１−３，１−５，１−７により撮影された画像を示す説明図である。
【００４３】
この実施の形態１では、図２に示すように、水平な平面で構成される床面を考え、その床面に「ぬいぐるみ」や「花瓶」を置き、「ぬいぐるみ」や「花瓶」の周囲を囲むように、ほぼ同じ大きさの三脚に固定された８台のカメラ１−ｎ（１≦ｎ≦８）を並べるものとする。
ただし、８台のカメラ１−ｎ（１≦ｎ≦８）の全てが、図２に示している「全カメラの視野に入る床面領域」を撮影できる位置に設置されているものとする。
図２では、８台のカメラ１−ｎの設置形態や「全カメラの視野に入る床面領域」を、円形又は楕円形の点線で示しているが、実際にはこの点線は存在しなくてよい。
【００４４】
また、図２の例では、「全カメラの視野に入る床面領域」の枠一杯に収まる四角形のマーキングが施されており、８台のカメラ１−ｎ（１≦ｎ≦８）の全てが「ぬいぐるみ」や「花瓶」に邪魔されずにマーキングの４つの角を撮影できる状態にあるものとする。
図２の例では、四角形のマーキングを利用するものについて示しているが、４点以上を撮影できるものであれば、四角形のマーキングに限るものではない。
また、８台のカメラ１−ｎが４点を同時に撮影するものとしているが、少なくとも４つ以上の同じ点が、異なる２つのカメラで同時に撮影できればよく、四角形の４角でなくてもよい。
【００４５】
図２において、垂直基準棒は「全カメラの視野に入る床面領域」の中央付近に垂直に立てられた棒であり、全体の長さの２分の１の位置にマーキングが施されている。
この垂直基準棒の最上位の頂点と、中央のマーキングと、床面と接している接点は、８台のカメラ１−ｎ（１≦ｎ≦８）の全てが「ぬいぐるみ」や「花瓶」に邪魔されずに撮影できる状態にあるものとする。
また、この垂直基準棒は十分細く、カメラ１−ｎ（１≦ｎ≦８）により撮影された場合、直線と見なすことができるものとする。
【００４６】
図２の例では、垂直基準棒は、異なる方向毎に撮影された場合の大きさの読み取りと、平面に垂直な直線の無限遠点を画像に投影した消失点を算出することを目的に利用されるものである。
垂直基準棒は、精度を高めるため、上記のような形態をしているが、垂直基準棒を大きさの読み取りのみに使用し、消失点の算出には、後で述べるような別の方法で算出するようにしてもよい。この場合、垂直基準棒は、上記のような形態でなくてもよく、例えば、実際の人などで代用してもよい。
【００４７】
図２の垂直基準棒は、全体の長さの２分の１の位置にマーキングが施されているが、２分の１の位置でなくてもよく、その比率が分っていればよい。
また、図２の垂直基準棒は、「全カメラの視野に入る床面領域」の中央付近に立てられているが、中央付近でなくてよい。
また、図２の垂直基準棒は、最上位の頂点と、床面と接している接点と、中央のマーキングが、全てのカメラ１−ｎ（１≦ｎ≦８）から撮影可能としているが、必ずしも同じ垂直基準棒が撮影可能でなくてもよい。例えば、カメラ１−１とカメラ１−２で共通に撮影された垂直基準棒Ａと、カメラ１−１とカメラ１−３で共通に撮影された垂直基準棒Ｂとが同じでなくてもよい。この場合は、カメラ１−１において、垂直基準棒Ａの大きさと、垂直基準棒Ｂの大きさが分ればよい。
【００４８】
なお、この実施の形態１では、垂直方向や大きさの基準として、棒である垂直基準棒を利用しているが、この場合、いったん設置してしまえば形が崩れにくく、直線の測定が容易である利点がある。
この実施の形態１では、垂直基準棒を利用しているが、紐などを利用してもよい。この場合、先端に錘などを付け、その錘を垂直に垂らして、先端が床に接するようにすればよい。この場合、垂直方向の精度が高く、また、長さの調整が容易である利点がある。
【００４９】
図２では、カメラ１−７用の水平基準棒が描かれている。
水平基準棒は、例えば、対象とするカメラ（図３の例では、カメラ１−７）の光軸が、床面に垂直な方向に沿って、平面に投影した直線に平行となるように床面に設置されている。
また、水平基準棒の長さの２分の１の箇所にマーキングが施されている。この水平基準棒の両端と中央のマーキングは、カメラ１−７から「ぬいぐるみ」や「花瓶」に邪魔されず、撮影できる状態にあるものとする。
また、この水平基準棒は十分細く、カメラ１−７により撮影された場合、直線と見なすことができるものとする。
【００５０】
また、この水平基準棒は、全体の長さの２分の１の位置にマーキングが施されているが、２分の１の位置でなくてもよく、その比率が分っていればよい。
また、水平基準棒は、例えば「カメラの光軸を床面に垂直な方向に沿って床面に投影した直線に平行になるように床面に設置されている」としているが、この場合、精度が向上しやすいという利点がある。
この他、水平基準棒は、どちらの方向でもよく、その水平基準棒を含む床面上の直線の無限遠点を、画像に投影した消失点を利用すればよい。この場合、カメラ毎に、水平基準棒を移動させなくてよい利点がある。
【００５１】
さらに、図２に示すように「床面にマーキングされた四角形の辺」を利用してもよい。
また、この四角形を正方形や長方形、平行四辺形としておき、その向かい合った２つの辺を用いて床面上の直線の無限遠点を求め、その無限遠点を画像に投影した消失点を利用してもよい。
なお、この実施の形態１では、水平基準棒という棒を水平方向の基準として利用しているが、上記で記載した「垂直基準棒の代わりに紐を用いる例」のように、紐などで代替してもよい。その場合、紐が直線状になるように張力をかけておく必要があるが、垂直基準棒を紐で代替した場合と同じような利点が得られる。
【００５２】
この実施の形態１では、カメラ１−１〜１−８は、外部からの同じ同期タイミングによってシャッターを切り、また、同じ同期タイミングのフレームによって画像を撮影する。
このような同期したタイミングによる撮影は、被写体が動く場合には必須であるが、例えば、「ぬいぐるみ」や「花瓶」、水平基準棒／垂直基準棒、床面のマーキングなどが動かない場合は、同期していなくてもよい。その場合は、カメラ１−１〜１−８を８台用意しないで、１台のカメラで順次撮影してもよい。
また、被写体が動く場合には必須であるとしたが、撮影するフレーム周期が十分短くて、その間に動く量が十分少なければ、必ずしも同期していなくてもよい。
【００５３】
また、この実施の形態１では、「ぬいぐるみ」や「花瓶」などのマルチビューしたい被写体と、マルチビューするために必要なパラメータを得るための水平基準棒／垂直基準棒や床面のマーキングなどを撮影した後、カメラを移動させないまま、水平基準棒／垂直基準棒や床面のマーキングなどを撤去して、「ぬいぐるみ」などのマルチビューしたい被写体を設置して撮影するようにしてもよい。この場合、カメラを動かさないように注意する必要があるが、水平基準棒／垂直基準棒や床面のマーキングが、マルチビューしたい被写体に遮られること無く撮影できるという利点がある。
【００５４】
以下、画像生成装置におけるマルチビュー画像生成手段３０の処理内容を具体的に説明する。
カメラ１−ｎ（１≦ｎ≦８）が相互に異なる方向から同一の３次元領域を撮影すると、画像データ一時保存部２がカメラ１−ｎ（１≦ｎ≦８）により撮影されたオリジナル画像ｎ（１≦ｎ≦８）を一時的に保存する。
【００５５】
マルチビュー位置指定部３は、画像データ一時保存部２がオリジナル画像ｎ（１≦ｎ≦８）を保存すると、そのオリジナル画像ｎ（１≦ｎ≦８）の中から任意のオリジナル画像ｎ1の選択を受け付け、そのオリジナル画像ｎ1に存在するマルチビュー対象の物体（ユーザがマルチビューを希望する物体）の床面上の位置を示す画像座標の指定を受け付ける処理を実施する。
マルチビュー位置指定部３における画像座標の読み取りは、ユーザがオリジナル画像ｎ1を見ながら、例えば、マウスを操作して画像内の位置を指定することにより、その位置の画像座標を読み取るようにしてもよいし、何らかの方法で自動的に指定可能としてもよい。
【００５６】
また、基準位置指定部４は、画像データ一時保存部２がオリジナル画像ｎ（１≦ｎ≦８）を保存すると、そのオリジナル画像ｎ（１≦ｎ≦８）の中から任意のオリジナル画像ｎ2の選択を受け付け、そのオリジナル画像ｎ2に存在する垂直基準棒が床面に垂直に接している床面上の位置を示す画像座標の指定を受け付ける処理を実施する。
基準位置指定部４における画像座標の読み取りは、ユーザがオリジナル画像ｎ2を見ながら、例えば、マウスを操作して画像内の位置を指定することにより、その位置の画像座標を読み取るようにしてもよいし、何らかの方法で自動的に指定可能としてもよい。
床面座標読取部５は、画像データ一時保存部２がオリジナル画像ｎ（１≦ｎ≦８）を保存すると、そのオリジナル画像ｎ（１≦ｎ≦８）の床面上に共通に存在しているマーキングの頂点（１）、頂点（２）、頂点（３）、頂点（４）の画像座標を読み取る処理を実施する。
床面座標読取部５における画像座標の読み取りは、ユーザがオリジナル画像ｎを見ながら、例えば、マウスを操作して画像内の位置を指定することにより、その位置の画像座標を読み取るようにしてもよいし、何らかの方法で自動的に指定可能としてもよい。
【００５７】
また、水平消失点算出部６は、画像データ一時保存部２がオリジナル画像ｎ（１≦ｎ≦８）を保存すると、そのオリジナル画像ｎ（１≦ｎ≦８）毎に、オリジナル画像ｎの水平消失点、即ち、例えば、カメラ１−ｎの光軸を床面に垂直な方向に投影した床面上の直線の無限遠点をオリジナル画像に投影した消失点の画像座標を算出する。
水平消失点の算出方法としては、例えば、上記床面の上記条件を満たす直線上におかれた水平基準棒を使用して求めることができる。
即ち、水平基準棒には、マーキングが施されており、そのマーキングの実際の位置と、画像上の見かけの位置から水平消失点を求めることができる（水平消失点の詳細な求め方は、垂直消失点の求め方と同様であるため、後述する垂直消失点の求め方を参照）。
この他、上記床面上の直線に平行な直線を２つ以上設定して、それらの直線を画像に投影した場合の交点を消失点として利用することもできる。
【００５８】
垂直消失点算出部７は、画像データ一時保存部２がオリジナル画像ｎ（１≦ｎ≦８）を保存すると、そのオリジナル画像ｎ（１≦ｎ≦８）毎に、オリジナル画像ｎの垂直消失点、即ち、床面に垂直な直線の無限遠点を画像に投影した消失点の画像座標を算出する。
以下、垂直消失点の算出方法の一例を説明する。
この実施の形態１では、全てのオリジナル画像ｎ（１≦ｎ≦８）に垂直基準棒が存在しており、垂直基準棒は、図６に示すように、その長さ方向の中央にマーキングが施されている。
垂直基準棒が図６に示すように画像に投影されている場合において、垂直基準棒上の３点Ｘ１、Ｘ２、Ｘ３と、３点Ｘ１、Ｘ２、Ｘ３を通る直線上の無限遠点Ｘ∞が、画像において、それぞれｘ１、ｘ２、ｘ３、ｘ∞に投影されたものとする。
【００５９】
このとき、このような直線上の４点から計算される複比は、投影前後では不変であるので、以下の式（１）が成立する。
【数２】
2008217243.tif 000004
式（１）において、Ｘ∞は無限に遠い点であるから｜Ｘ∞−Ｘ2｜／｜Ｘ∞−Ｘ3｜＝１であり、また、垂直基準棒の実距離の比は｜Ｘ1−Ｘ2｜／｜Ｘ1−Ｘ3｜＝２である。
また、｜ｘ1−ｘ2｜／｜ｘ1−ｘ3｜は、画像座標から得ることができるので、垂直消失点ｘ∞の座標（ｘvin，ｙvin）を算出することができる。
詳細は非特許文献「小島他  “消失点を用いた多視点カメラキャリブレーション”ＦＩＴ２００４」に開示されている。
この他、上記床面に垂直な直線（棒などで代用する）を２つ以上設定して、それらの直線を画像に投影した場合の２つの直線の交点を垂直消失点として利用することもできる。
【００６０】
平面射影変換行列算出部８は、床面座標読取部５がオリジナル画像ｎ（１≦ｎ≦８）の例えば、床面上に共通に存在しているマーキングの頂点（１）、頂点（２）、頂点（３）、頂点（４）の画像座標を読み取ると、オリジナル画像ｎ1と他のオリジナル画像ｎ（オリジナル画像ｎ1を除く）におけるマーキングの頂点（１）、頂点（２）、頂点（３）、頂点（４）の画像座標を使用して、オリジナル画像ｎ1と他のオリジナル画像ｎ（オリジナル画像ｎ1を除く）間で、床面を構成する平面の平面射影変換行列Ｈn1-1〜Ｈn1-8（１≦ｎ1≦８の７個）を算出する。
また、平面射影変換行列算出部８は、オリジナル画像ｎ2と他のオリジナル画像ｎ（オリジナル画像ｎ2を除く）におけるマーキングの頂点（１）、頂点（２）、頂点（３）、頂点（４）の画像座標を使用して、オリジナル画像ｎ2と他のオリジナル画像ｎ（オリジナル画像ｎ2を除く）間で、床面を構成する平面の平面射影変換行列Ｈn2-1〜Ｈn2-8（１≦ｎ2≦８の７個）を算出する。
なお、平面射影変換行列の算出方法は、例えば、非特許文献「出口光一郎  “ロボットビジョンの基礎”ｐ４７（本文献ではホモグラフィー行列と記載されている）」に記載されている。
【００６１】
マルチビュー位置算出部９は、平面射影変換行列算出部８が平面射影変換行列Ｈn1-1〜Ｈn1-8を算出すると、その平面射影変換行列Ｈn1-1〜Ｈn1-8を用いて、オリジナル画像ｎ（オリジナル画像ｎ1を除く）に存在するマルチビュー対象の物体の床面上の位置を示す画像座標を算出する。
即ち、マルチビュー位置算出部９は、平面射影変換行列Ｈn1-1〜Ｈn1-8を用いて、マルチビュー位置指定部３により指定が受け付けられたマルチビュー対象の物体の床面上の位置を示す画像座標、または、マルチビュー画像座標変換部２２により変換された画像座標を、オリジナル画像ｎ（オリジナル画像ｎ1を除く）の画像座標に変換することにより、オリジナル画像ｎ（オリジナル画像ｎ1を除く）に存在するマルチビュー対象の物体の床面上の位置を示す画像座標を算出する。
なお、マルチビュー位置指定部３により指定が受け付けられたマルチビュー対象の物体の床面上の位置を示す画像座標を変換するか、あるいは、マルチビュー画像座標変換部２２により変換された画像座標を変換するかは、例えば、システムの起動時のみ、前者を選択するようにしてもよいし、両者を常に監視しておいて、変化があった方を選択するようにしてもよい。
【００６２】
基準位置算出部１０は、平面射影変換行列算出部８が平面射影変換行列Ｈn2-1〜Ｈn2-8を算出すると、その平面射影変換行列Ｈn2-1〜Ｈn2-8を用いて、オリジナル画像ｎ（オリジナル画像ｎ2を除く）に存在する垂直基準棒の床面上の位置を示す画像座標を算出する。
即ち、基準位置算出部１０は、平面射影変換行列Ｈn2-1〜Ｈn2-8を用いて、基準位置指定部４により指定が受け付けられたオリジナル画像ｎ2内の垂直基準棒の床面位置を示す画像座標を、オリジナル画像ｎ（オリジナル画像ｎ2を除く）の画像座標に変換することにより、オリジナル画像ｎ（オリジナル画像ｎ2を除く）に存在する垂直基準棒の床面上の位置を示す画像座標を算出する。
【００６３】
ここまでは、マルチビュー位置指定部３により選択が受け付けられたオリジナル画像がオリジナル画像ｎ1であり、基準位置指定部４により選択が受け付けられたオリジナル画像がオリジナル画像ｎ2であるものについて示したが、オリジナル画像ｎ1とオリジナル画像ｎ2が別々の画像でも、同一の画像でもよい。
オリジナル画像ｎ1とオリジナル画像ｎ2が同一のオリジナル画像であれば（ｎ1＝ｎ2）、平面射影行列は、Ｈn1-1〜Ｈn1-8（１≦ｎ1≦８）の７個のみでよい。
以後、ｎ1＝ｎ2である場合について説明する。
【００６４】
画像内倍率算出部１１は、マルチビュー位置算出部９がオリジナル画像ｎ（１≦ｎ≦８）に存在するマルチビュー対象の床面位置を示す画像座標を算出し、基準位置算出部１０がオリジナル画像ｎに存在する垂直基準棒の床面上の位置を示す画像座標を算出すると、それらの画像座標と、水平消失点算出部６により算出されたオリジナル画像ｎの水平消失点の画像座標とを用いて、マルチビュー対象の物体を垂直基準棒と同じ奥行きの床面位置まで移動させた場合のマルチビュー対象の物体の画像内倍率ｍn（マルチビュー対象の物体の大きさの見え方の変化倍率）を算出する。
【００６５】
以下、画像内倍率の算出方法を説明する。
図４は水平消失点が画像中心にある場合で、カメラの光軸が床面に平行になるように、かつ、カメラ画像の横軸がほぼ床面に平行になるように設置されている例を示す説明図である。
また、図５は水平消失点が画像の中心より上方にある場合で、カメラ画像の横軸がほぼ床面に平行であるが、カメラの光軸を水平な床面に対して、やや下向きにして撮影している例を示す説明図である。
【００６６】
図４及び図５において、水平消失点の座標を（ｘhin，ｙhin）、マルチビュー対象の物体の位置座標を（ｘmv，ｙmv）、垂直基準棒と同じ奥行きの位置座標を（ｘb，ｙb）とすると、マルチビュー対象の物体を垂直基準棒の位置に移動させた場合、マルチビュー対象の物体の大きさは以下の式（２）のように近似することができる。したがって、以下の式（２）から画像内倍率ｍnを算出することができる。
【数３】
2008217243.tif 000005
また、これらの垂直基準棒の位置や大きさ、および水平消失点の位置を図４や図５に示すように利用することで、被写体である物体の大きさや人物の身長などを精度よく推定することができる。また、それらの物体や人物の大きさがわかっている場合、その物体や人物が存在する床面上の位置を容易に知ることができる。
【００６７】
カメラ水平軸歪補正パラメータ算出部１２は、垂直消失点算出部７がオリジナル画像ｎ（１≦ｎ≦８）の垂直消失点ｘ∞の座標（ｘvin，ｙvin）を算出すると、オリジナル画像ｎの垂直消失点ｘ∞の座標（ｘvin，ｙvin）を用いて、オリジナル画像ｎを撮影する際のカメラ１−ｎの傾きに起因する水平軸歪の補正パラメータを算出する。
即ち、カメラ水平軸歪補正パラメータ算出部１２は、例えば、図６に示すような画像の垂直軸に対して、画像の中心点Ｂ（ｘsize／２，ｙsize／２）と垂直消失点ｘ∞とを結ぶ直線の傾き（角度ｒｚ）をカメラ水平軸歪と近似できると見なして、その角度ｒｚを算出する。
例えば、オリジナル画像の横サイズがｘsize、縦サイズがｙsizeであり、垂直消失点ｘ∞の座標が（ｘvin，ｙvin）であって、ｙvin≫ｘsize、ｙvin≫ｙsizeであるとすると、以下の式（３）が成立する。
【数４】
2008217243.tif 000006
【００６８】
ここでは、画像の垂直軸に対して、画像の中心点Ｂ（ｘsize／２，ｙsize／２）と垂直消失点ｘ∞とを結ぶ直線の傾き（角度ｒｚ）をカメラ水平軸歪と近似できると見なして、その角度ｒｚを算出するものについて示したが、画像の垂直軸に対して、画像の上端の中点（ｘsize／２，０）や、画像の下端の中点（ｘsize／２，ｙsize）とを結ぶ直線の傾きをカメラ水平軸歪と近似できると見なしてもよい。
さらに、近似ではなく、正確な角度を算出して利用してもよい。
また、これ以外の画像の上端の中点（ｘsize／２，０）と、画像の下端の中点（ｘsize／２，ｙsize）を結ぶ直線上の点を用いてもよく、これ以外の画像内部の点を用いてもよい。さらには、画像を含む平面上の点を利用してもよい。
【００６９】
透視投影歪補正パラメータ算出部１３は、垂直消失点算出部７がオリジナル画像ｎ（１≦ｎ≦８）の垂直消失点ｘ∞の座標（ｘvin，ｙvin）を算出すると、垂直消失点ｘ∞の座標（ｘvin，ｙvin）を用いて、カメラ１−ｎの撮影時に３次元空間を２次元平面に透視投影することに起因する画像の透視投影歪の補正パラメータを算出する。
透視投影歪は、カメラで撮影することにより生じたと考えられる歪、即ち、３次元空間内の物体を平面に射影変換したことによって発生したと考えられる歪であり、例えば、３次元空間において、水平な床面に対して垂直な直線が複数ある場合、それらの直線を画像に透視投影した場合、画像上では直線が互いに平行でなくなる現象である。
【００７０】
透視投影歪補正パラメータ算出部１３では、図６に示すように、先にカメラ水平軸歪を補正した画像に対して、画像の中心点Ｂ（ｘsize／２，ｙsize／２）を含む画像の水平ラインの第１画素（０，ｙsize／２）と垂直消失点とを結ぶ直線と、カメラ水平軸歪を補正した後の画像の垂直軸とのなす角（角度ｒｘ）で透視投影歪が近似できると見なして、その角度ｒｘを算出する。
例えば、オリジナル画像の横サイズがｘsize、縦サイズがｙsizeであり、垂直消失点ｘ∞の座標が（ｘvin，ｙvin）であって、ｙvin≫ｘsize、ｙvin≫ｙsizeであるとすると、以下の式（４）が成立する。
【数５】
2008217243.tif 000007
【００７１】
ここでは、水平軸歪の補正角度ｒｚが十分小さいものとして、透視投影歪の補正角度ｒｘを、「画像の中心点Ｂ（ｘsize／２，ｙsize／２）を含む画像の水平ラインの第１画素（０，ｙsize／２）における垂直軸の傾き（角度ｒｘ）で透視投影歪が近似できる」と見なしているが、図６に示すように、直線ＢＸ∞に垂直な画像の中心点を通る直線上の点の座標を利用してもよい。
また、「画像の中心点Ｂ（ｘsize／２，ｙsize／２）を含む画像の水平ラインの第ｘsize画素（ｘsize，ｙsize／２）における垂直軸の傾きで透視投影歪が近似できる」としてもよく、その他の画像の左右両端上の点を結ぶ直線を利用してもよく、これ以外の画像内の点を結ぶ直線を利用してもよい。
さらに、近似ではなく、正確な角度を算出して利用してもよい。
【００７２】
１次補正画像生成部１４は、カメラ水平軸歪補正パラメータ算出部１２が水平軸歪の補正パラメータを算出し、透視投影歪補正パラメータ算出部１３が透視投影歪の補正パラメータを算出すると、その水平軸歪の補正パラメータと透視投影歪の補正パラメータとを用いて、オリジナル画像ｎの水平軸歪と透視投影歪を補正し、補正後の画像を１次補正画像ｎ（１≦ｎ≦８）として出力する。
即ち、１次補正画像生成部１４は、図７に示すように、３次元座標の原点を画像中心とし、かつ、その画像がＸＹ平面に含まれるように３次元座標軸を設定し、透視投影のスクリーンをＺ軸に垂直な平面上に設定し、また、視点をＺ軸上に設定する場合を考える。
このとき、画像をＺ軸の周りにｒｚ回転し、Ｘ軸の周りにｒｘ回転した場合のスクリーンへの透視投影像を算出し、これを１次補正画像として出力する。
このとき、ｒｚはカメラ水平歪補正パラメータ算出部１２により算出された水平軸歪の補正パラメータであり、ｒｘは透視投影歪補正パラメータ算出部１３により算出された透視投影歪の補正パラメータである。
【００７３】
図８は図７の３次元座標をＸ軸の正方向から見た説明図である。
図８の例では、カメラ水平軸歪補正パラメータ算出部１２が画像中心における水平軸歪の補正パラメータを算出し、透視投影歪補正パラメータ算出部１３が画像中心を含む画像の水平軸上の点における透視変換歪補正パラメータを算出し、１次補正画像生成部１４が画像中心を原点とする透視投影変換を実施するが、画像中心でない点の水平軸歪の補正パラメータと透視変換歪の補正パラメータを算出しておき、その画像中心でない点を原点とする透視投影変換を実施してもよい。また、両者を一致させないで、透視変換を行ってもよい。
【００７４】
基準長読取部１５は、１次補正画像生成部１４が１次補正画像ｎ（１≦ｎ≦８）を出力すると、その１次補正画像ｎ内の垂直基準棒の見かけの長さＬnを読み取る。このとき、ユーザが１次補正画像ｎを見ながら読み取ってもよいし、何らかの方法で自動的に読み取ってもよい。
ここでは、１次補正画像ｎ内の垂直基準棒の見かけの長さＬnを読み取るものについて示したが、オリジナル画像ｎ内の垂直基準棒の見かけの長さＬnを読み取るようにしてもよい。
この場合、処理が単純になるため、処理速度の向上を図ることができる効果がある。
画像間倍率算出部１６は、基準長読取部１５が１次補正画像ｎ内の垂直基準棒の見かけの長さＬnを読み取ると、１次補正画像ｎ内の垂直基準棒の見かけの長さＬnと、画像内倍率算出部１１により算出されたマルチビュー対象の物体の画像内倍率ｍnとを用いて、１次補正画像ｎ（１≦ｎ≦８）におけるマルチビュー対象の物体を同じ大きさで表示する場合の画像間倍率ｍo1nを１次補正画像ｎ毎に算出する。
【００７５】
【数６】
2008217243.tif 000008
ただし、Ｌ1はオリジナル画像ｎ1の１次補正画像ｎ1から基準長読取部１５により読み取られ垂直基準棒の長さである。
式（５）のＬ1は、倍率ｍolnを適当な範囲に収めるために使用される定数であるため、実際の基準棒の見かけの長さそのものでなくてもよく、全てのオリジナル画像ｎで同じであればよい。
【００７６】
２次補正画像生成部１７は、画像間倍率算出部１６が画像間倍率ｍo1nを１次補正画像ｎ毎に算出すると、その画像間倍率ｍo1nと、カメラ水平軸歪補正パラメータ算出部１２により算出された水平軸歪の補正パラメータと、透視投影歪補正パラメータ算出部１３により算出された透視投影歪の補正パラメータとを用いて、２次透視変換を実施することにより、オリジナル画像ｎ（１≦ｎ≦８）の歪や大きさを補正し、補正後の画像を２次補正画像ｎ（１≦ｎ≦８）として出力する。
即ち、２次補正画像生成部１７は、１次補正画像生成部１４と同様に、３次元座標軸を設定して、スクリーン上に透視変換画像を生成し、２次補正画像として出力する。
このとき、１次補正画像生成部１４では、Ｚ軸の回転ｒｚとＸ軸の回転ｒｘ以外のパラメータである画像の倍率（スクリーン上に透視変換された画像の倍率）が１倍であるものを示したが、この２次補正画像生成部１７では、上記スクリーン上の倍率をｍo1nとしている。
【００７７】
２次透視変換座標算出部１８は、２次補正画像生成部１７がカメラ水平軸歪補正パラメータ算出部１２により算出された水平軸歪の補正パラメータと、透視投影歪補正パラメータ算出部１３により算出された透視投影歪の補正パラメータと、画像間倍率算出部１６により算出された画像間倍率とを用いて、２次透視変換を実施した場合のマルチビュー対象の物体の画像座標（マルチビュー対象の物体の移動先の画像座標）を算出する。
移動パラメータ算出部１９は、２次透視変換座標算出部１８がマルチビュー対象の物体の移動先の画像座標を算出すると、その移動先の画像座標と、画像中心（例えば、６４０×４８０の画像の場合、画像中心は（３２０，２４０））とのずれを移動パラメータとして算出する。
ここでは、画像中心にマルチビュー対象の物体が移動するように、画像中心とのずれを算出するものについて示したが、画像内の他の位置にマルチビュー対象の物体が移動するように、他の位置とのずれを算出するようにしてもよい。
【００７８】
マルチビュー画像生成部２０は、移動パラメータ算出部１９が移動パラメータを算出すると、その移動パラメータにしたがって、２次補正画像生成部１７から出力された２次補正画像ｎ（１≦ｎ≦８）を移動させることにより、マルチビュー対象の物体が画像の中心に存在するマルチビュー画像ｎ（１≦ｎ≦８）を生成する。
即ち、マルチビュー画像生成部２０は、２次補正画像生成部１７から出力された２次補正画像ｎ（１≦ｎ≦８）を移動パラメータが示す移動量だけ移動することにより、２次補正画像ｎ（１≦ｎ≦８）からマルチビュー画像ｎ（１≦ｎ≦８）を生成する。
【００７９】
図９は「ぬいぐるみ」の大きさが各画像で同じであり、かつ、「ぬいぐるみ」が各画像の中心に位置するように、図３の画像を変換している例を示す説明図である。
ただし、見易くするため、各画像に写っていた水平基準棒と垂直基準棒を省いている。
【００８０】
マルチビュー位置指定部２１は、マルチビュー画像生成部２０により生成されたマルチビュー画像ｎ（１≦ｎ≦８）に対して、新たなマルチビューの位置の指定を受け付ける処理を実施する。
新たなマルチビューの位置の指定は、ユーザがマルチビュー画像を見ながら指定してもよいし、何らかの方法で自動的に指定してもよい。
【００８１】
マルチビュー画像座標変換部２２は、マルチビュー位置指定部２１から新たなマルチビューの位置を受けると、移動パラメータ算出部１９により算出された移動パラメータの逆移動パラメータと、２次透視変換座標算出部１８により算出された２次透視変換の逆変換と、平面射影変換行列算出部８により算出された平面射影変換行列の逆変換行列とを用いて、マルチビュー位置指定部２１により指定が受け付けられたマルチビュー画像ｎ（１≦ｎ≦８）上の座標位置（新たなマルチビューの位置）を、オリジナル画像ｎ（１≦ｎ≦８）上の座標位置に変換する。
ここでは、平面射影変換行列算出部８により算出された平面射影変換行列の逆変換行列を用いて、マルチビュー画像ｎ（１≦ｎ≦８）上の座標位置をオリジナル画像ｎ（１≦ｎ≦８）上の座標位置に変換するものについて示したが、平面射影変換行列の逆変換行列を用いないことでオリジナル画像ｎ（１≦ｎ≦８）上の座標位置に変換された段階の座標位置を、マルチビュー位置算出部９により算出されるオリジナル画像ｎ毎のマルチビュー位置に相当する座標位置の代用としてもよい。
【００８２】
ここまでは、画像生成装置におけるマルチビュー画像生成手段３０の処理内容である。
マルチビュー画像生成手段３０を図１のように構成することにより、下記の効果を奏することができる。
マルチビュー画像生成手段３０では、マルチビュー位置算出部９により算出されたマルチビュー対象の物体の位置と、基準位置算出部１０により算出された垂直基準棒の床面位置と、基準長読取部１５により算出された垂直基準棒の大きさを用いて、オリジナル画像ｎ（１≦ｎ≦８）におけるマルチビュー対象の物体の位置を揃え、かつ、マルチビュー対象の物体の大きさを同じにする画像倍率をオリジナル画像ｎ毎に算出し、その画像倍率にしたがってオリジナル画像ｎを変換するように構成したので、高精度のカメラキャリブレーションを実施することなく、被写体の大きさや位置などが一致している見易い臨場感のある画像を生成することができる効果を奏する。
【００８３】
即ち、この実施の形態１によれば、ある平面に接して置かれている物体がある方向から撮影された画像Ａの変換後のマルチビュー画像と、その物体が別の方向から撮影された画像Ｂの変換後のマルチビュー画像とにおいては、上記物体の位置が同じで、かつ、大きさが等しいものになる。
また、マルチビュー画像を見ながら、平面上の異なる位置に置かれている別の物体の位置を指定することにより、その別の物体の位置が同じで、かつ、大きささが等しい新たなマルチビュー画像を、画像Ａと画像Ｂから容易に生成することができる。
【００８４】
例えば、上記カメラの光軸を床面に対して垂直に投影した直線である平面上の直線の無限遠点をオリジナル画像に投影した点である消失点（水平消失点）の位置と、画像Ａと画像Ｂに写っている同じ物体Ｓの位置及び大きさと、物体Ｔの位置とから、物体Ｔの大きさが変換後の画像で同じになるような倍率を求めるので、物体Ｓと物体Ｔが上記平面内のどこにあっても、大きさを同じにするための倍率を精度良く求めることができる。
画像Ａと画像Ｂのカメラの横方向の傾きに起因する歪と、撮影時の透視投影の原理に起因する歪とを、上記平面に対して垂直な直線の無限遠点を画像に投影した点である消失点（垂直消失点）と画像内部の点を結ぶ直線が画像の垂直軸となす角を、３次元空間に置いた画像の回転角として回転した後の透視投影変換を利用して、画像補正を行っているので、画像補正に伴って生じる物体の歪が少ない画像補正を行うことができる。また、補正に必要なパラメータを容易に決定することができる。
【００８５】
画像Ａ内の物体が置かれている位置ａの座標が分った場合に、画像Ｂ内の物体が置かれている位置ｂの座標を、上記平面に関する平面射影変換行列を用いて算出することで、位置ａと位置ｂが画像内で同じ位置にくるような画像の移動を、平面上のすべての点に対し、精度よく、また効率よく行うことができる。
【００８６】
なお、この実施の形態１では、カメラを“理想的なピンホールカメラモデル”と仮定している。この“理想的なピンホールカメラモデル”では、カメラの内部パラメータであるカメラの光学中心がオリジナル画像の画像中心と一致し、また、その他のカメラの内部パラメータも、カメラ座標のＸＹＺ軸が互いに直交し、かつ、そのカメラ座標とそのカメラによって撮影された画像座標とが一致するような値であると仮定される。
これらの仮定が成立しないときは、上記仮定の誤差を考慮して、上記アルゴリズムを改良する必要がある。ただし、多くの場合、通常のカメラで撮影した画像を用いて、この実施の形態１の処理内容を実施しても問題が生じることは少ない。
“理想的なピンホールカメラモデル”、“カメラの内部パラメータ”については、非特許文献「出口光一郎  ロボットビジョンの基礎  コロナ社」などに開示されている。
【００８７】
また、この実施の形態１では、カメラのオリジナル画像に対して、レンズ歪（歪曲収差）を無視している。
この“レンズ歪”には、たる型歪や糸巻き型歪と呼ばれる歪が含まれるが、この“レンズ歪”は良いレンズを良い条件で使用する限り、無視できるものである。ただし、使用レンズの性能やカメラと被写体の距離、撮影後にカメラで行われる画像処理などによっては、必ずしも無視できない場合がある。
この“レンズ歪”が無視できない場合は、オリジナル画像に対してレンズ歪を補正してから、この実施の形態１のオリジナル画像として使用すればよく、それ以降のアルゴリズムを改良する必要はない。
レンズ収差歪の補正に関しては、非特許文献「出口光一郎  ロボットビジョンの基礎  コロナ社」などに開示されている。
【００８８】
次に、画像生成装置における図１０の処理部の処理内容を具体的に説明する。
図１０の例では、Ｎ台（Ｎ＝８）のカメラが設置されているが、カメラ１−１，１−３，１−５，１−７により撮影されたオリジナル画像のみを使用するものとし、それ以外のカメラ１−２，１−４，１−６，１−８により撮影されたオリジナル画像は使用しないものとする。数多くのカメラを使用すれば、画像生成装置で生成されるマルチビュー画像の中間画像の精度が向上する。
ここで、マルチビュー画像の中間画像は、例えば、カメラ１−１により撮影されたオリジナル画像がマルチビュー変換されたマルチビュー画像と、カメラ１−３により撮影されたオリジナル画像がマルチビュー変換されたマルチビュー画像とがあるとき、２つのマルチビュー画像の中間の位置にある仮想的なカメラで撮影された画像に相当する画像のことである。
【００８９】
背景画像データ保存部４１は、画像データ一時保存部２からカメラ１−ｎ（１≦ｎ≦８）により撮影された背景画像であるオリジナル画像ｎを取得して、その背景画像ｎをカメラ１−ｎ毎に保存する。
ここで、「背景画像」は、画面内に動いている物体や、今後動くことが予想される物体が撮影されていない画像である。
背景画像は、ユーザが複数の画像の中から選択するようにしてもよいし、ユーザが生成するようにしてもよい。また、後述する方法を実施して、自動的に生成するようにしてもよい。
一般的には、動く物体が何もない状態を撮影して背景画像とすることが多い。
背景画像の自動的な選択方法又は生成方法としては、例えば、動く物体が撮影されている画像からメディアンフィルタなどを用いて背景画像を生成する方法などがある。
背景画像データ保存部４１に保存する背景画像は、周期的又は非周期的に取得しなおしてもよい。また、背景画像毎の差分などを求めて、人物などのオブジェクト抽出に影響を与えないことが判明している変動がある閾値以上あったとき、背景画像を更新するようにしてもよい。
【００９０】
オブジェクト抽出部４２は、画像データ一時保存部２からカメラ１−ｎにより撮影されたオリジナル画像ｎを取得するとともに、背景画像データ保存部４１からカメラ１−ｎにより撮影された背景画像ｎを取得する。
次に、オブジェクト抽出部４２は、そのオリジナル画像ｎと背景画像ｎに対する画像処理を実施して、オリジナル画像ｎ内のオブジェクトを抽出する。
即ち、オブジェクト抽出部４２は、オリジナル画像ｎと背景画像ｎにおける同じ位置の画素の差分などを求めて動きのある画素を判定し、動きのある画素の位置を２値画像で表現し、その２値画像に対して収縮処理、拡大処理、ラベリング処理などを実施して、オリジナル画像ｎ内のオブジェクトを抽出する。
収縮処理、拡大処理、ラベリング処理などは、例えば「井上誠喜  Ｃ言語で学ぶ実践画像処理  オーム社」に開示されている。
【００９１】
ここで、オリジナル画像ｎ内のオブジェクトは、例えば、背景画像の撮影後に置かれた「ぬいぐるみ」や、背景画像の領域を通過する「歩行者」などが該当する。
図２８はオブジェクトを説明する説明図であり、（ａ）は背景画像、（ｂ）はオブジェクトを含む画像、（ｃ）は（ｂ）のオブジェクトを含む画像と（ａ）の背景画像の差分を求めることにより抽出されるオブジェクトの像である。
また、図１１はカメラ１−１，１−３，１−５，１−７により撮影された背景画像（図２８（ａ）の背景画像に相当する）を示し、図１２はカメラ１−１，１−３，１−５，１−７により撮影されたオブジェクトを含む画像（図２８（ｂ）のオブジェクトを含む画像に相当する）を示している。このとき、カメラ１−１，１−３，１−５，１−７は移動せずに、図１１及び図１２の画像を撮影している。
【００９２】
ただし、図１１及び図１２では、垂直方向や水平方向の消失点は既に判明しているとして、それらの消失点を計測するための垂直基準棒や水平基準棒を撮影していない。
また、図１１の背景画像には、床面の四角形のマーキングしか書き込んでいない。
図１４はオブジェクト抽出部４２により抽出されるカメラ１−１，１−３，１−５，１−７のオブジェクトの像である。
【００９３】
ここでは、オブジェクト抽出部４２が、例えば、人物などが撮影されていない背景画像と、人物が撮影されている画像との差分を求めてオブジェクトを抽出するものを示しているが、人物が撮影されている画像の画素やブロック毎の動きをフレーム毎に比較することで検出して、オブジェクトを抽出するようにしてもよい。
また、２つ以上のカメラによる画像を画素やブロック毎に比較する（例えば、ステレオマッチングと呼ばれる処理）ことで、オブジェクトまでの距離を求めて、オブジェクトを抽出するようにしてもよい。
それ以外の方法としては、例えば、音波やレーザー光線を用いる３次元的な測定などを実施して、オブジェクトを抽出するようにしてもよい。
【００９４】
オブジェクト位置座標算出部４３は、オブジェクト抽出部４２がオブジェクトを抽出すると、オリジナル画像ｎ内におけるオブジェクトの位置座標を算出する。
即ち、オブジェクト位置座標算出部４３は、オブジェクト抽出部４２により抽出されたオブジェクトの像の重心点や、オブジェクトの像の内部の点であって、最近傍の輪郭までの距離が最大の点などから、画像の下方向の消失点方向、または、画像の垂直方向の消失点方向に引いた垂直線を画像毎に求める。
次に、オブジェクト位置座標算出部４３は、平面射影変換行列算出部８により算出された平面射影変換行列を用いて、画像毎の垂直線のうちのある画像の垂直線を別の画像上に変換し、変換した垂直線と、別の画像の垂直線との交点をオブジェクトの位置として算出する。
【００９５】
図１５はオブジェクト位置座標算出部４３により算出されたオブジェクトの位置を示す説明図である。
図１５において、実線は、あるカメラで撮影されたオリジナル画像（例えば、オリジナル画像１とする）から抽出されたオブジェクト１の重心点などから、その画像の垂直方向の消失点に向かって引かれた垂直線である。
破線は、別のカメラで撮影されたオリジナル画像（例えば、オリジナル画像２とする）内のオブジェクトのうち、オリジナル画像１のオブジェクト１と同じオブジェクトに対し、その重心点などから垂直方向の消失点に引いた直線を、平面射影変換行列算出部８により算出された平面射影変換行列を用いて、オリジナル画像１上に書き込んだ直線である。
このとき、あるオブジェクトが存在する領域をカメラ１−１，１−２，１−３，・・・，１−７で取り囲んで撮影している場合、異なるカメラで撮影された各オリジナル画像内のオブジェクトの位置は異なる。
【００９６】
この例では、全てのオリジナル画像ｎにおいて、オブジェクトの位置を算出しているが、ある１つのカメラにより撮影された画像において、オブジェクトの位置を算出し、平面射影変換行列算出部８により算出された平面射影変換行列を用いて、そのオブジェクトの位置を他のカメラにより撮影されたオリジナル画像上の位置に変換し、その位置を当該オリジナル画像内のオブジェクトの位置としてもよい。
このほか、抽出されたオブジェクトの像の最下位点を単純にオブジェクトの位置座標としてもよいし、オブジェクトの像を縦方向にいくつかに分割し、分割した部分画像毎の最下位点の座標値の平均をオブジェクトの位置座標としてもよい。このとき、位置座標のｘ座標値とｙ座標値を異なる方法で決定してもよい。
【００９７】
また、オブジェクトの像が例えば人物であることや、その人物までの撮影距離をあらかじめ予想することで、オブジェクト位置座標算出部４３により算出されたオブジェクトの位置座標を修正してもよい。
これらの方法は、画像内部に複数のオブジェクトが抽出された場合、精度の高い方法（例えば、図１５で示した方法）でオブジェクトの位置座標を決定する前に、あるカメラのオリジナル画像内のあるオブジェクトが、別のカメラのオリジナル画像内のどのオブジェクトに対応するかを決定するのに使用してもよい。
【００９８】
床平面図入力部４４は、カメラ１−１，１−２，・・・，１−Ｎで共通に撮影される床面の平面図の取り込みを行う。
「床面の平面図」においては、例えば、床面にマーキングされている四角形の形状が正方形であれば、「床面の平面図」内のその四角形は正方形であり、縦横比がａ：ｂの長方形であればａ：ｂの長方形であり、四角形の４つの頂点が相似形で決定することができればよく、大きさは適当でよい。
また、床面にマーキングされている形状が四角形以外の三角形や、それ以外の多角形や、それ以外の形状であってもよく、平面上の４つ以上の点の位置関係が、「床面の平面図」においては幾何学的な相似形であればよい。
この実施の形態１では、正方形の４つ頂点を床面上にマーキングしている例を示すが、部屋の床の４隅や上部が平面である台など、そのマーキングの内側のみに平面が存在するものであってもよい。
図３、図１２及び「床面の平面図」である図１６では、床面にマーキングされた四角形を実線で示している。
なお、これ以降の説明では、四角形の頂点（１）が画像の中心付近に配置されているものとする（図１６を参照）。
【００９９】
画像内床面座標指定部４５は、背景画像データ保存部２に保存されている背景画像ｎにおいて、床平面図入力部４４により取り込まれた床面の頂点（１）〜（４）に対応する点の座標（床面の位置座標）を指定する。
床面の位置座標の指定方法は、ユーザが画像を見ながら指定してもよいし、何らかの方法で自動的に指定してもよい。
この実施の形態１では、背景画像における床面座標を指定しているが、背景画像以外のオリジナル画像における床面座標を指定するようにしてよい。
【０１００】
図１３はカメラ１−１，１−３，１−５，１−７により撮影されたオリジナル画像内において指定された床面の位置座標を示している。破線は見やすいように補助線として記載している。
ここでは、床平面図入力部４４で決定した床面上の位置が、そのオリジナル画像内のどの位置にあたるかを、画像内床面座標指定部４５で座標を指定しているものを示したが、逆に、画像内床面座標指定部４５で指定したオリジナル画像内の床面上の位置を、平面図入力部４４で床面の平面図として入力するようにしてもよい。
また、直接、オリジナル画像上で指定するのではなく、オリジナル画像をマルチビュー変換したマルチビュー画像上で指定し、後述する逆マルチビュー変換でオリジナル画像上の座標に変換してもよい。
また、平面射影変換行列算出部８により算出された平面射影変換行列を用いて、別のカメラにより撮影されたオリジナル画像上の位置から、必要とするカメラで撮影されたオリジナル画像上の座標に変換するようにしてもよい。
【０１０１】
この実施の形態１では、床平面図入力部４４で指定された点に対応する点を、画像内床面座標指定部４５で指定しているが、これは床平面図入力部４４で、正方形や長方形など平面図を作成しやすい図形を指定した上で、その図形を床面にマーキングし、画像内床面座標指定部４５が、その様子を撮影した画像から、そのマーキングした位置の座標を指定している。これには、平面図が作成しやすく、また、床面のマーキングが容易であるという効果がある。
このほか、図１の床面座標読取部５で読み取った床面上の位置を床面上で測定するなどして、床平面図入力部４４で床面の平面図を生成してもよい。この場合は、既に床面座標読取部５で床面の座標を読み取っているので、画像内床面座標指定部４５は不要である。
【０１０２】
入力画像座標取得部４６は、オブジェクト位置座標算出部４３により算出されたオリジナル画像ｎ内のオブジェクトの位置座標、または、画像内床面座標指定部４５により指定された背景画像ｎ内の床面の位置座標のいずれか一方を選択する。
【０１０３】
マルチビュー変換式生成部４７は、マルチビュー画像生成手段３０によるマルチビュー変換時の画像変換パラメータとして、カメラ水平軸歪補正パラメータ算出部１２により算出したカメラ水平軸歪補正パラメータと、透視投影歪補正パラメータ算出部１３により算出した透視投影歪補正パラメータと、画像間倍率算出部１６により算出された画像間倍率とを収集する。
次に、マルチビュー変換式生成部４７は、そのカメラ水平軸歪補正パラメータ、透視投影歪補正パラメータ及び画像間倍率を用いて、カメラ１−１，１−３，１−５，１−７により撮影されたオリジナル画像をマルチビュー画像に変換したとき、それらのオリジナル画像上のある位置の座標が、マルチビュー画像上のどの座標に変換されるかを算出することができるマルチビュー変換式（例えば、３×３の行列）を生成する。
なお、マルチビュー変換式は、カメラ水平軸歪補正パラメータ、透視投影歪補正パラメータ及び画像間倍率を変数とするオリジナル画像とマルチビュー画像間の画像変換式である。
【０１０４】
逆マルチビュー変換式生成部４８は、マルチビュー変換式生成部４７がマルチビュー変換式を生成すると、マルチビュー画像上のある位置の座標が、マルチビュー変換される前のオリジナル画像ではどの座標であったのかを算出することができる逆マルチビュー変換式を生成する。
逆マルチビュー変換式は、マルチビュー変換式生成部４７により生成されたマルチビュー変換式の逆行列を数学的に算出することで求めることができる。
また、それ以外の方法として、例えば、マルチビュー変換を構成する幾つかの変換を、逆に実行することで、逆マルチビュー変換式を求めてもよい。
【０１０５】
変換画像座標算出部４９は、入力画像座標取得部４６がオリジナル画像ｎ内のオブジェクトの位置座標、または、背景画像ｎ内の床面の位置座標を選択し、マルチビュー変換式生成部４７がマルチビュー変換式を生成すると、そのマルチビュー変換式を用いて、入力画像座標取得部４６により選択されたオリジナル画像ｎ内のオブジェクトの位置座標（または、背景画像ｎ内の床面の位置座標）をマルチビュー画像上の位置座標に変換する。
図１８はカメラ１−１，１−３，１−５，１−７により撮影されたオリジナル画像（図３又は図１２の画像を参照）を変換して、図９に示すようなマルチビュー画像が生成されるとき、図１３で示される床面上の位置が変換画像座標算出部４９によって変換されるマルチビュー画像上の位置を示している。
また、図１９は図９に示すようなマルチビュー画像が生成されるとき、図１４で示されるオブジェクトの位置が変換画像座標算出部４９によって変換されるマルチビュー画像上の位置を示している。
なお、図１９では、オブジェクトの位置は×印で示している。図１８の破線は変換後の頂点の位置がイメージしやすいように書き込んだ補助線、図１９の破線は変換後のオブジェクトの形状がイメージしやすいよう書き込んだ補助線である。
【０１０６】
オリジナル画像座標算出部５０は、変換画像座標算出部４９がオリジナル画像ｎ内のオブジェクトの位置座標（または、背景画像ｎ内の床面の位置座標）をマルチビュー画像上の位置座標に変換すると、逆マルチビュー変換式生成部４８により生成された逆マルチビュー変換式を用いて、マルチビュー画像上の位置座標（各カメラ１−ｎ（１≦ｎ≦８）のオリジナル画像ｎから変換されたマルチビュー画像上の位置座標）を、ある１つのカメラ（例えば、カメラ１−１）のオリジナル画像上の位置座標に変換する。
ここで、ある１つのカメラのオリジナル画像は、例えば、現在、画像生成装置により表示されているオリジナル画像であってもよいし、マルチビュー画像を撮影したカメラのオリジナル画像であってもよいし、その他のカメラのオリジナル画像であってもよい。
図２１はカメラ１−１，１−３，１−５，１−７により撮影されたオリジナル画像のマルチビュー変換画像（図２０の画像を参照）内のオブジェクト（ぬいぐるみ、花瓶）の位置を、カメラ１−１で撮影したオリジナル画像のマルチビュー変換画像上に変換している例を示している。
【０１０７】
平面射影変換算出部５１は、床平面図入力部４４により取り込まれた床面の頂点（平面図上の４点以上の座標値）と、画像内床面座標指定部４５により指定された背景画像ｎ内の床面の位置座標（床面の頂点に対応する４点以上の座標値）とから、床平面図座標算出部５３が床平面図座標を算出する際に使用する平面射影変換行列（例えば、３×３の行列）をカメラ１−ｎ毎に算出する。
なお、平面射影変換行列の算出方法は、例えば、非特許文献「出口光一郎  “ロボットビジョンの基礎”ｐ４７（本文献ではホモグラフィー行列と記載されている）」に記載されている。
【０１０８】
平面射影変換算出部５２は、床平面図入力部４４により取り込まれた床面の頂点（平面図上の４点以上の座標値）と、画像内床面座標指定部４５により指定された背景画像ｎ内の床面の位置座標（床面の頂点に対応する４点以上の座標値）とから、オリジナル画像座標算出部５５がオリジナル画像上の座標を算出する際に使用する平面射影変換行列（例えば、３×３の行列）をカメラ１−ｎ毎に算出する。
なお、あるカメラで撮影された画像においては、平面射影変換算出部５１により算出される平面射影変換行列と、平面射影変換算出部５２により算出される平面射影変換行列とが、互いに逆行列の関係である場合が多いので、その場合には、どちらか一方の平面射影変換行列を算出してから、その平面射影変換行列の逆行列を数学的に算出して、残る一方の平面射影変換行列を求めるようにしてもよい。
【０１０９】
床平面図座標算出部５３は、オリジナル画像座標算出部５０がマルチビュー画像上の位置座標（各カメラ１−ｎ（１≦ｎ≦８）のオリジナル画像ｎから変換されたマルチビュー画像上の位置座標）を、ある１つのカメラ（例えば、カメラ１−１）のオリジナル画像上の位置座標に変換すると、平面射影変換算出部５１により算出された平面射影変換行列を用いて、そのオリジナル画像上の位置座標を床面の平面図上の位置座標に変換する。
図１６は床面の平面図を示しており、図１７はカメラ１−１により撮影されたオブジェクト（ぬいぐるみ、花瓶）の平面図上の位置を示している。
また、図２２はカメラ１−１，１−３，１−５，１−７により撮影されたオブジェクト（ぬいぐるみ、花瓶）と、マーキング（図面の記載が煩雑になるため、カメラ１−１により撮影されたマーキングのみ）の平面図上の位置を示している。
【０１１０】
図２２において、Ｋ１はカメラ１−１により撮影された花瓶の平面図上の位置、Ｋ３はカメラ１−３により撮影された花瓶の平面図上の位置、Ｋ５はカメラ１−５により撮影された花瓶の平面図上の位置、Ｋ７はカメラ１−７により撮影された花瓶の平面図上の位置である。
Ｎはカメラ１−１，１−３，１−５，１−７により撮影されたぬいぐるみの平面図上の位置である。ぬいぐるみは、マルチビュー対象の物品であるため、カメラ１−１，１−３，１−５，１−７により撮影されたオリジナル画像の変換画像であるマルチビュー画像において同じ位置である。そのため、床面の平面図上では、見かけ上、１点になっている。
【０１１１】
床平面図中間座標算出部５４は、床平面図座標算出部５３がオリジナル画像上の位置座標を床面の平面図上の位置座標に変換すると、１以上のオブジェクト（ぬいぐるみ、花瓶）の平面図上の位置座標の中から、平面図上では、見かけ上異なる同一オブジェクト（花瓶）の位置を示す点Ｋ１，Ｋ３，Ｋ５，Ｋ７を特定し、点Ｋ１，Ｋ３，Ｋ５，Ｋ７の中間点を決定する。
ここでの中間点は、例えば、点Ｋ１→点Ｋ３に移動する途中の曲線上の点という意味であって、ちょうど、中間（中央）に位置する点という意味ではない。
具体的には、以下のようにして、点Ｋ１，Ｋ３，Ｋ５，Ｋ７の中間点を決定する。
【０１１２】
ここでは、点Ｋ１と点Ｋ３の間に３つの中間点Ｋ１-１，Ｋ１-２，Ｋ１-３を決定する例を説明する。
床平面図中間座標算出部５４は、図２３に示すように、点Ｎと点Ｋ１の距離をｄ１、点Ｎと点Ｋ３の距離をｄ３、点Ｎの座標を（ｎx，ｎy）とし、点Ｎを中心とする点Ｋ１を通る円（図２３の破線を参照）を用意する。
このとき、円周上の点（ｘ、ｙ）は、以下のような式（６）で表現される。
【数７】
2008217243.tif 000009
ただし、ｘは平面図の横方向の座標値、ｙは平面図の縦方向の座標値である。
【０１１３】
次に、床平面図中間座標算出部５４は、平面図上の線分Ｎ−Ｋ１と線分Ｎ−Ｋ３のなす角をα0として、なす角α0を４分割する。
そして、床平面図中間座標算出部５４は、分割後のなす角α1，α2，α3，α4に対応する線分が円周と交わる点をＫ１-１ｐ，Ｋ１-２ｐ，Ｋ１-３ｐとする。以下、Ｋ１-１ｐ，Ｋ１-２ｐ，Ｋ１-３ｐをＫ１-ｍｐのように表記する。ただし、ｍ＝１，２，３である。
【０１１４】
次に、床平面図中間座標算出部５４は、点Ｎと円周上の点Ｋ１-ｍｐを結ぶ直線上で、点Ｎからの距離Ｌｍが以下の式（７）で表現される点を中間点Ｋ１-ｍに決定する。
【数８】
2008217243.tif 000010
ただし、Ｍは点Ｋ１と点Ｋ３を結ぶ中間点の総数、ｍは中間点のうち、点Ｋ１に近い方から順番に数えた番号であり（１≦ｍ≦Ｍ−１）、この例では、Ｍ＝４、ｍ＝１，２，３である。
【０１１５】
ここでは、中間点Ｋ１-１，Ｋ１-２，Ｋ１-３を決定する際、点Ｎを中心とする点Ｋ１を通る円周を決定するものについて示したが、点Ｎを中心とする点Ｋ３を通る円周を決定し、例えば、点Ｎと円周上の点Ｋ１-ｍｐを結ぶ直線上で、点Ｎからの距離Ｌｍが以下の式（８）で表現される点を中間点Ｋ１-１，Ｋ１-２，Ｋ１-３に決定するようにしてもよい。
【数９】
2008217243.tif 000011
また、ここでは、点Ｎを中心とする点Ｋ１（または点Ｋ３）を通る円周を決定してから、点Ｋ１と点Ｋ３の中間点Ｋ１-１，Ｋ１-２，Ｋ１-３を決定するようにしているが、点Ｎを中心として、点Ｋ１と点Ｋ３を通る楕円を決定した上で、線分Ｎ−Ｋ１と線分Ｎ−Ｋ３のなす角α0をＭ分割（この例では、Ｍ＝４）して、中間点Ｋ１-１，Ｋ１-２，Ｋ１-３を求めるようにしてもよい。
【０１１６】
図２４は点Ｋ１と点Ｋ３の中間点Ｋ１-１，Ｋ１-２，Ｋ１-３と同様の方法で、点Ｋ３と点Ｋ５の中間点、点Ｋ５と点Ｋ７の中間点、点Ｋ７と点Ｋ１の中間点を求めた例を示している。
図中、なす角α1〜α4，β1〜β4，γ1〜γ4，δ1〜δ4は、それぞれ線分Ｎ−Ｋ１と線分Ｎ−Ｋ３のなす角α0，線分Ｎ−Ｋ３と線分Ｎ−Ｋ５のなす角β0，線分Ｎ−Ｋ５と線分Ｎ−Ｋ７のなす角γ0，線分Ｎ−Ｋ７と線分Ｎ−Ｋ１のなす角δ0を４等分して中間点を決定しているため、以下の式（９）〜（１２）が成立する。
【０１１７】
【数１０】
2008217243.tif 000012
【０１１８】
ここでは、４等分しているのでχ＝０．２５にしているが、分割数が異なればχは０．２５以外の値であってもよい。
χα，χβ，χγ，χδの値は、点Ｎに対するなす角α0，β0，γ0，δ0を分割する割合に応じて変化する。
【０１１９】
上記の例では、点Ｎを中心とする点Ｋ１（または、Ｋ３，Ｋ５，Ｋ７）を通る円や楕円を用いて中間点を求めているが、点Ｎ（ぬいぐるみが置かれている点）の位置が影響を与えるように、点Ｋ１と点Ｋ３（または、点Ｋ３と点Ｋ５、点Ｋ５と点Ｋ７、点Ｋ７と点Ｋ１）の中間点を決定すればよく、例えば、点Ｋ１（または、Ｋ３，Ｋ５，Ｋ７）を通るスプライン曲線などを用いてもよい。
また、例えば、点Ｋ１と点Ｋ３の中間点を決定する際に、点Ｎの位置のみが影響するのではなく、点Ｋ５や点Ｋ７のいずれか一方、または、点Ｋ５や点Ｋ７の両方が影響を与えるようにしてもよい。
この例では、４台のカメラしか使用していないため、実際の点がＫ１，Ｋ３，Ｋ５，Ｋ７の４点しかないが、さらに、実際の点が多い場合、それらの点の位置に応じて影響の度合いが異なるようにしてもよい（例えば、位置が隣接する度合いが近い点ほど、大きな値を与えるようにする）。
【０１２０】
ここでは、点Ｋ１と点Ｋ３の中間点を決定する際、線分Ｎ−Ｋ１と線分Ｎ−Ｋ３のなす角α0を数値Ｍ（Ｍ＝４）で等しく分割して、３つの中間点Ｋ１-１，Ｋ１-２，Ｋ１-３を決定するものについて示したが、等しく分割しなくてもよい。その場合、それらの点の位置を考慮して、分割比率を変えてもよい。また、実際の点（Ｋ１，Ｋ３，Ｋ５，Ｋ７）に近いほど細かく分割してもよい。
この例では、角度で分割しているが、円や楕円の円周長、それ以外の曲線長（スプライン曲線など）で分割して中間点を決定してもよい。
【０１２１】
図２６はカメラ１−１，１−３により撮影されたオリジナル画像内の花瓶の位置が、床面の平面図上の座標に変換された点Ｋ１，Ｋ３と、同じく、カメラ１−１，１−３により撮影されたオリジナル画像内の四角形の頂点が、床面の平面図上の座標に変換された点を示している。また点Ｎはぬいぐるみの位置を示している。
カメラ１−１により撮影された四角形の頂点は頂点（１）、頂点（２）、頂点（３）、頂点（４）で示し、カメラ１−３により撮影された四角形の頂点は頂点（１）３、頂点（２）３、頂点（３）３、頂点（４）３で示している。
【０１２２】
また、図２６では、カメラ１−１により撮影された四角形の頂点（１）、頂点（２）、頂点（３）、頂点（４）と、カメラ１−３により撮影された四角形の頂点（１）３、頂点（２）３、頂点（３）３、頂点（４）３との中間点（ここでの中間点は、例えば、頂点（１）→頂点（１）３に移動する途中の曲線上の点という意味であり、ちょうど、中間（中央）に位置する点という意味ではない）である頂点（１）−１、頂点（２）−１、頂点（３）−１、頂点（４）−１の決定方法を示している。
【０１２３】
この決定方法は、基本的には図２３や図２４で示している方法と同じである。
例えば、線分（頂点（１）−点Ｎ）と線分（頂点（１）３−点Ｎ）とがなす角度Ａに対する線分（頂点（１）−点Ｎ）と線分（頂点（１）−１  −点Ｎ）とがなす角度ａの割合λは、線分（頂点（２）−点Ｎ）と線分（頂点（２）３−点Ｎ）とがなす角度Ｂに対する線分（頂点（２）−点Ｎ）と線分（頂点（２）−１  −点Ｎ）とがなす角度ｂの割合に等しい。
この割合λは、線分（頂点（３）−点Ｎ）と線分（頂点（３）３−点Ｎ）とがなす角度Ｃに対する線分（頂点（３）−点Ｎ）と線分（頂点（３）−１  −点Ｎ）とがなす角度ｃの割合、および線分（頂点（４）−点Ｎ）と線分（頂点（４）３−点Ｎ）とがなす角度Ｄに対する線分（頂点（４）−点Ｎ）と線分（頂点（４）−１  −点Ｎ）とがなす角度ｄの割合とも等しい。
これらを式で示すと、以下のようになる。
【数１１】
2008217243.tif 000013
【０１２４】
オリジナル画像座標算出部５５は、上記のようにして、床平面図中間座標算出部５４が中間点（例えば、中間点Ｋ１-１，Ｋ１-２，Ｋ１-３など）を決定すると、平面射影変換算出部５２により算出された平面射影変換行列を用いて、その中間点をオリジナル画像上の位置座標に変換する。
このとき、１つのオリジナル画像上の座標に変換してもよいし、カメラが異なるいくつかのオリジナル画像上の座標に変換してもよい。
【０１２５】
変換画像座標算出部５６は、オリジナル画像座標算出部５５が中間点をオリジナル画像上の位置座標に変換すると、マルチビュー変換式生成部４７により生成されたマルチビュー変換式を用いて、そのオリジナル画像上の位置座標をマルチビュー画像上の位置座標に変換する。
図２５（ａ）は図２４におけるオブジェクト位置の中間点をマルチビュー画像上の位置座標に変換している例を示し、図２５（ｂ）は従来方式により決定された中間視点位置の例を示している。また図２７は、床面上の頂点の中間点を、マルチビュー画像上の位置座標に変換している例を示している。
【０１２６】
床面中間画像用平面射影変換算出部５７は、変換画像座標算出部５６がオリジナル画像上の位置座標をマルチビュー画像上の位置座標に変換すると、そのマルチビュー画像上の位置座標と、変換画像座標算出部４９により変換されたマルチビュー画像上の位置座標とから、床面中間画像生成部５９が床面の中間画像を生成する際に使用する平面射影変換行列（例えば、３×３の行列）を算出する。
なお、平面射影変換行列の算出方法は、例えば、非特許文献「出口光一郎  “ロボットビジョンの基礎”ｐ４７（本文献ではホモグラフィー行列と記載されている）」に記載されている。
【０１２７】
床面領域抽出部５８は、画像データ一時保存部２に保存されているカメラ１−ｎ（１≦ｎ≦８）の背景画像ｎから床面領域を抽出する。
床面領域の抽出としては、例えば、ユーザが背景画像から床面領域を指定するようにすればよい。
あるいは、平面射影変換行列算出部８により算出されたカメラ間の平面射影変換行列を用いて、あるカメラにより撮影された背景画像を、別のカメラにより撮影された背景画像に変換し、両者の画素毎の差分を行って、その差分がある閾値以下である画素に対し、例えば、収縮処理、拡大処理などを実施して床面領域を決定するようにしてもよい。
また、背景画像を使用しないで、オブジェクトが撮影されている画像からメディアンフィルタなどを用いて背景画像に相当する画像を生成して利用するようにしてもよい。
例えば、図２８（ｄ）はユーザにより指定された床面領域を示し、図２８（ｅ）は床面領域の抽出結果を示している。
なお、図２８（ｄ）では、ユーザが背景画像の床面のうち、机などの立体物で床面が隠されている領域を除く領域を床面として指定している様子を示している。
【０１２８】
床面中間画像生成部５９は、床面領域抽出部５８が背景画像から床面領域を抽出すると、床面中間画像用平面射影変換算出部５７により算出された平面射影変換行列を用いて、その床面領域を床面の中間画像に変換する。
この例では、カメラ１−１とカメラ１−３の中間であれば、カメラ１−１又はカメラ１−３により撮影された背景画像のみから床面の中間画像を生成するが、カメラ１−１により撮影された背景画像とカメラ１−３により撮影された背景画像の両方から中間画像をそれぞれ生成し、２つの中間画像に例えば中間位置の度合いに応じた重みを付けて平均化するようにしてもよい。
【０１２９】
中間画像用オブジェクト生成部６０は、オブジェクト抽出部４２がオリジナル画像からオブジェクトを抽出すると、そのオブジェクトから中間画像用のオブジェクトを生成する。
中間画像用のオブジェクトの生成方法は、例えば、非特許文献「矢口悟志他  “未校正多視点カメラシステムを用いた任意視点画像生成”情報処理学会論文誌：コンピュータビジョンとイメージメディア  Ｖｏｌ．４２  Ｎｏ．ＳＩＧ  ６（ＣＶＩＭ  ２）  Ｊｕｎｅ  ２００１」に開示されており、特に、「３．２節 式（３）（ｐ１３）」に記述されている任意視点画像を用いて中間画像用のオブジェクトを生成する。
床平面図中間座標算出部５４により算出された中間点Ｋ１-１，Ｋ１-２，Ｋ１-３が、線分Ｎ−Ｋ１と線分Ｎ−Ｋ３のなす角α0を４等分することで決定された点である場合、上記「３．２節 式（３）（ｐ１３）」のωの値は、例えば、０．２５、０．５、０．７５であるとする。
【０１３０】
ここでは、任意視点画像を用いて中間画像用のオブジェクトを生成するものについて示したが、例えば、カメラ１−１のオリジナル画像から抽出されたオブジェクトや、カメラ１−３のオリジナル画像から抽出されたオブジェクトをそのまま中間画像用のオブジェクトとして利用するようにしてもよいし、カメラ１−１のオリジナル画像から抽出されたオブジェクトとカメラ１−３のオリジナル画像から抽出されたオブジェクトとに重みを付けて平均化したオブジェクトを中間画像用のオブジェクトとして利用するようにしてもよい。
【０１３１】
オブジェクトサイズ修正部６１は、中間画像オブジェクト生成部６０が中間画像用のオブジェクトを生成すると、その中間画像用のオブジェクトがオリジナル画像座標算出部５５により変換されたマルチビュー画像上の位置座標に存在するものとして、マルチビュー変換式生成部４７により生成されたマルチビュー変換式を用いて、中間画像用のオブジェクトのサイズを修正する。
中間画像用のオブジェクトのサイズを修正するに際して、例えば、カメラ１−１のマルチビュー画像におけるオブジェクトの大きさと、カメラ１−３のマルチビュー画像におけるオブジェクトの大きさを測定して、両者の大きさが線形に変化するように、中間位置のオブジェクトの大きさを修正するようにしてもよい。
【０１３２】
中間画像生成部６２は、床面中間画像生成部５９が床面の中間画像を生成し、オブジェクトサイズ修正部６１が中間画像用のオブジェクトのサイズを修正すると、変換画像座標算出部５６により変換された中間画像上のオブジェクト位置座標において、オブジェクトサイズ修正部６１によりサイズが修正された中間画像用のオブジェクトを床面の中間画像に上書きすることにより、中間画像を生成する。この様子を図27に示す。図27においては、
このとき、図２３又は図２４において、対応するオブジェクト位置の中間点を決定する比率λと、図２６において、対応する床面上の頂点の中間点を決定する比率χとを同じにすることで、生成した中間画像のオブジェクト位置と、床面の中間画像とを組み合わせることで、精度が高くて違和感のない中間画像を生成することができる。このとき、以下の式が成立する。
【０１３３】
図２３又は図２４においては、下記の式（１４）が成立する。
【数１２】
2008217243.tif 000014
また、図２６において、下記の式（１５）が成立する場合、下記の式（１６）が成立する。
【数１３】
2008217243.tif 000015
【０１３４】
なお、αn（ｎ＝１，２，３，４など）は、カメラ１−１からカメラ１−３に関する角度α0を分割する中間点による角度であるが、必ずしも、α1＝α2＝α3＝α4・・・・ではない。
これを言い換えれば、例えば、点Ｋ１−１に由来する中間位置にオブジェクトを上書きする場合は、点Ｋ１−１の決定方法である「カメラ１−１とカメラ１−３の中間点にオブジェクトを上書きする際、カメラ１−１→カメラ１−３のオブジェクト位置の曲線を決定する角度分割比率が、そのオブジェクトを書き込む床面の中間画像の生成に使用する床面の中間点を決定する際の比率に等しい」ということができる。
【０１３５】
以上で明らかなように、この実施の形態１によれば、床面に置かれている１以上の物体の床面上の位置を床面の平面図上の位置に変換する平面射影変換手段と、平面射影変換手段により変換された１以上の物体の平面図上の位置の中から、その平面図上では見かけ上異なる同一物品に係る複数の位置を特定し、複数の位置の中間点を決定する中間点決定手段と、中間点決定手段により決定された中間点をマルチビュー画像上の位置に変換し、マルチビュー画像上の位置に応じて床面の画像を生成する床面画像生成手段とを設け、中間画像生成手段が複数のカメラ画像内の床面に置かれている１以上の物体の画像と床面画像生成手段により生成された床面の画像から、マルチビュー画像生成手段により生成された複数のマルチビュー画像の間の中間画像を生成するように構成したので、複数の多視点画像を切り替える際、滑らかで違和感のない中間画像を表示することができる効果を奏する。
【０１３６】
また、この実施の形態１では、例えば、カメラ１−１とカメラ１−３の中間点を平面図における中心角を４等分した３つの中間点で決定しているので、カメラ１−１のマルチビュー画像、３つの中間画像、カメラ１−３の中間画像を順に表示すると、マルチビュー対象のオブジェクト（ぬいぐるみ）を中心にして、撮影カメラをカメラ１−１の撮影位置から、カメラ１−３の撮影位置に３次元的に一定の速度で移動したかのような画像効果が得られる。
【０１３７】
また、床面の平面図において、円や楕円を用いて中間位置を決定しているため、マルチビュー対象のオブジェクト（ぬいぐるみ）からカメラまでの３次元的な距離を等しく保ったまま、カメラ１−１の位置からカメラ１−３の位置にカメラを移動したかのような画像効果を得ることができる。
また、例えば、カメラ１−１からカメラ１−３、カメラ１−５を経由して、カメラ１−１に戻るような中間画像を生成した場合、オブジェクトの位置及び大きさや、前後の移動方向の違和感を招くことなく、実際の画像であるカメラ１−１，１−３，１−５，１−７のオリジナル画像と、その前後の中間画像とを切り替えることができる。また、床面の位置及び大きさや、前後の移動方向の違和感を招くことなく、実際の画像であるカメラ１−１，１−３，１−５，１−７のオリジナル画像と、その前後の中間画像とを切り替えることができる。
【０１３８】
なお、この実施の形態１では、例えば、隣接するカメラ１−１と１−３、１−３と１−５、１−５と１−７、１−７と１−１の間を、平面図上の中心角に対して４分割することで、カメラ１−１→カメラ１−３、カメラ１−３→カメラ１−５、カメラ１−５→カメラ１−７、カメラ１−７→カメラ１−１への切り替えの際に、カメラが３次元的に等速度で移動しているかのような画像効果を得ているが、もし、カメラを１−１→１−３→１−５→１−７→１−１のように連続的に切り替える場合、これらのカメラ１−１，１−３，１−５，１−７がマルチビュー対象のオブジェクト（ぬいぐるみ）に対するなす角度が等しくないので、一連の連続的な切り替え操作としては、実際のカメラ位置毎に速度が変化するような画像効果になる場合がある。
このような画像効果が好ましくない場合は、一連の連続的な切り替えを行う最初と最後のカメラ位置がなす中心角度をある数値で等分割するように中間位置を決定すればよい。
【０１３９】
また、この実施の形態１では、図２４に示すように、いったん床面の平面図上で中間位置を決定してから、図２５に示すようにマルチビュー画像上の中間点を決定しているが、例えば、変換画像座標算出部４９がオリジナル画像ｎ内のオブジェクトの位置座標をマルチビュー画像上の位置座標に変換すると、直接、マルチビュー変換画像上で、円又は楕円や、それ以外の曲線を利用して中間点を決定するようにしてもよい。
このとき、中間画像において、３次元的な移動速度や大きさに違和感が生じないように、３次元的に遠い位置ほど見かけ上の移動速度が遅くなるようにしてもよい。また、３次元的に遠い位置ほど表示サイズが小さくなるように表示してもよい。
【０１４０】
また、この実施の形態１では、マルチビュー画像の中間画像を生成するものについて示しているが、マルチビュー変換以外の変換画像の中間画像を生成するようにしてもよい。
例えば、カメラの位置や光軸の方向、床面や床面上のオブジェクト（ぬいぐるみ、花瓶）の位置などを３次元空間の座標で表現することで、各カメラで撮影した画像から、ぬいぐるみや花瓶の画像内の位置と大きさが同じである変換画像を生成し、その変換画像の中間画像を生成するようにしてもよい。
【図面の簡単な説明】
【０１４１】
【図１】この発明の実施の形態１による画像生成装置のマルチビュー画像生成手段を示す構成図である。
【図２】８台のカメラ１−ｎ（１≦ｎ≦８）を使用して画像を撮影している様子を示す説明図である。
【図３】カメラ１−１，１−３，１−５，１−７により撮影された画像を示す説明図である。
【図４】水平消失点が画像中心にあり、カメラの光軸が床面に平行になるように、かつ、カメラ画像の横軸がほぼ床面に並行になるように設置されている例を示す説明図である。
【図５】カメラ画像の横軸がほぼ床面に並行であるが、カメラの光軸を水平な床面に対して、やや下向きにして撮影している例を示す説明図である。
【図６】カメラの水平軸歪と透視投影歪の補正パラメータの算出を説明する説明図である。
【図７】オリジナル画像ｎの水平軸歪と透視投影歪の補正を説明する説明図である。
【図８】図７の３次元座標をＸ軸の正方向から見た説明図である。
【図９】図３の画像の変換例を示す説明図である。
【図１０】この発明の実施の形態１による画像生成装置の一部（マルチビュー画像生成手段を除く部分）を示す構成図である。
【図１１】カメラ１−１，１−３，１−５，１−７により撮影された背景画像を示す説明図である。
【図１２】カメラ１−１，１−３，１−５，１−７により撮影されたオブジェクトを含む画像を示す説明図である。
【図１３】カメラ１−１，１−３，１−５，１−７により撮影されたオリジナル画像内において指定された床面の位置座標を示す説明図である。
【図１４】オブジェクト抽出部４２により抽出されるカメラ１−１，１−３，１−５，１−７のオブジェクトの像を示す説明図である。
【図１５】オブジェクト位置座標算出部４３により算出されたオブジェクトの位置を示す説明図である。
【図１６】マーキングされた床面の平面図を示す説明図である。
【図１７】カメラ１−１により撮影されたオブジェクト（ぬいぐるみ、花瓶）の平面図上の位置を示す説明図である。
【図１８】図１３で示される床面上の位置が変換画像座標算出部４９によって変換されるマルチビュー画像上の位置を示す説明図である。
【図１９】図１３で示されるオブジェクトの位置が変換画像座標算出部４９によって変換されるマルチビュー画像上の位置を示す説明図である。
【図２０】カメラ１−１，１−３，１−５，１−７により撮影されたオリジナル画像内のオブジェクト（ぬいぐるみ、花瓶）の位置を示す説明図である。
【図２１】カメラ１−１，１−３，１−５，１−７により撮影されたオリジナル画像内のオブジェクト（ぬいぐるみ、花瓶）の位置をカメラ１−１のオリジナル画像上の位置座標に変換している例を示す説明図である。
【図２２】カメラ１−１，１−３，１−５，１−７により撮影されたオブジェクト（ぬいぐるみ、花瓶）と、マーキング（図面の記載が煩雑になるため、カメラ１−１により撮影されたマーキングのみ）の平面図上の位置を示す説明図である。
【図２３】中間点の決定方法を示す説明図である。
【図２４】中間点の決定方法を示す説明図である。
【図２５】図２４における中間点をオリジナル画像上の位置座標に変換している例を示す説明図である。
【図２６】カメラ１−１，１−３により撮影されたオリジナル画像内の花瓶の位置が、床面の平面図上の座標に変換された点Ｋ１，Ｋ３と、同じく、カメラ１−１，１−３により撮影されたオリジナル画像内の四角形の頂点が、床面の平面図上の座標に変換された点を示す説明図である。
【図２７】図２６の中間点をマルチビュー画像上の位置に変換した例を示す説明図である。
【図２８】オブジェクトを説明する説明図であり、（ａ）は背景画像、（ｂ）はオブジェクトを含む画像、（ｃ）は（ｂ）のオブジェクトを含む画像と（ａ）の背景画像の差分を求めることにより抽出されるオブジェクトの像である。
【符号の説明】
【０１４２】
１−１〜１−Ｎ  カメラ、２  画像データ一時保存部、３  マルチビュー位置指定部、４  基準位置指定部、５  床面座標読取部、６  水平消失点算出部、７  垂直消失点算出部、８  平面射影変換行列算出部、９  マルチビュー位置算出部、１０  基準位置算出部、１１  画像内倍率算出部、１２  カメラ水平軸歪補正パラメータ算出部、１３  透視投影歪補正パラメータ算出部、１４  １次補正画像生成部、１５  基準長読取部、１６  画像間倍率算出部、１７  ２次補正画像生成部、１８  ２次透視変換座標算出部、１９  移動パラメータ算出部、２０  マルチビュー画像生成部、２１  マルチビュー位置指定部、２２  マルチビュー画像座標変換部、３０  マルチビュー画像生成手段、４１  背景画像データ保存部、４２  オブジェクト抽出部（床面位置取得手段）、４３  オブジェクト位置座標算出部（床面位置取得手段）、４４  床平面図入力部（床面位置取得手段）、４５  画像内床面座標指定部（床面位置取得手段）、４６  入力画像座標取得部（床面位置取得手段）、４７  マルチビュー変換式生成部（平面射影変換手段）、４８  逆マルチビュー変換式生成部（平面射影変換手段）、４９  変換画像座標算出部（平面射影変換手段）、５０  オリジナル画像座標算出部（平面射影変換手段）、５１  平面射影変換算出部（平面射影変換手段）、５２  平面射影変換算出部（床面画像生成手段）、５３  床平面図座標算出部（平面射影変換手段）、５４  床平面図中間座標算出部（中間点決定手段）、５５  オリジナル画像座標算出部（床面画像生成手段）、５６  変換画像座標算出部（床面画像生成手段）、５７  床面中間画像用平面射影変換算出部（床面画像生成手段）、５８  床面領域抽出部（床面画像生成手段）、５９  床面中間画像生成部（床面画像生成手段）、６０  中間画像用オブジェクト生成部（中間画像生成手段）、６１  オブジェクトサイズ修正部（中間画像生成手段）、６２  中間画像生成部（中間画像生成手段）。
【図１】
2008217243.tif 000016
【図２】
2008217243.tif 000017
【図３】
2008217243.tif 000018
【図４】
2008217243.tif 000019
【図５】
2008217243.tif 000020
【図６】
2008217243.tif 000021
【図７】
2008217243.tif 000022
【図８】
2008217243.tif 000023
【図９】
2008217243.tif 000024
【図１０】
2008217243.tif 000025
【図１１】
2008217243.tif 000026
【図１２】
2008217243.tif 000027
【図１３】
2008217243.tif 000028
【図１４】
2008217243.tif 000029
【図１５】
2008217243.tif 000030
【図１６】
2008217243.tif 000031
【図１７】
2008217243.tif 000032
【図１８】
2008217243.tif 000033
【図１９】
2008217243.tif 000034
【図２０】
2008217243.tif 000035
【図２１】
2008217243.tif 000036
【図２２】
2008217243.tif 000037
【図２３】
2008217243.tif 000038
【図２４】
2008217243.tif 000039
【図２５】
2008217243.tif 000040
【図２６】
2008217243.tif 000041
【図２７】
2008217243.tif 000042
【図２８】
2008217243.tif 000043