(57)【要約】【課題】  この発明は、カメラを回転させて撮影した画像から、任意の視点位置および視線方向（実施例でいう狭義の視線方向）に対応した画像を生成することができるようになる画像生成装置を提供することを目的とする。【解決手段】  カメラを回転させて撮影した画像から、指定された視点位置および視線方向に対応した画像を生成する画像生成装置であって、カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１手段、各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２手段、ならびに記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された視点位置および視線方向に対応する画像を生成する第３手段を備えている。【選択図】  図６
2005250741.tif 000002
【特許請求の範囲】
【請求項１】
カメラを回転させて撮影した画像から、指定された視点位置および視線方向に対応した画像を生成する画像生成装置であって、
カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１手段、
各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２手段、ならびに
記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された視点位置および視線方向に対応する画像を生成する第３手段、
を備えていることを特徴とする画像生成装置。
【請求項２】
第１手段は、水平回転の中心と垂直回転の中心を一致させ、この回転中心とカメラの投影中心との距離を一定に保持したまま、カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるものであることを特徴とする請求項１に記載の画像生成装置。
【請求項３】
第３手段は、
各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、ならびに
選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段、
を備えていることを特徴とする請求項１および２のいずれかに記載の画像生成装置。
【請求項４】
第３手段は、
各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、
選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段、ならびに
選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得する手段、
を備えていることを特徴とする請求項１および２のいずれかに記載の画像生成装置。
【請求項５】
第３手段は、
各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、
選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段、ならびに
選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、上記視点位置からの上記視線方向を、上記視点位置からの上記視線方向に平行な光線であってかつ選択された画像データが撮影されたときのカメラの投影中心を通る光線の方向に補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得する手段、
を備えていることを特徴とする請求項１および２のいずれかに記載の画像生成装置。
【請求項６】
カメラを回転させて撮影した画像から、指定された視点位置および視線方向に対応した画像を生成する画像生成方法であって、
カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１ステップ、
各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２ステップ、ならびに
記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された視点位置および視線方向に対応する画像を生成する第３ステップ、
を備えていることを特徴とする画像生成方法。
【請求項７】
第３ステップは、
各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、ならびに
選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、
を備えていることを特徴とする請求項６に記載の画像生成方法。
【請求項８】
第３ステップは、
各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、
選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、ならびに
選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得するステップ、
を備えていることを特徴とする請求項６に記載の画像生成方法。
【請求項９】
カメラを回転させて撮影した画像から、指定された視点位置および視線方向に対応した画像を生成するための画像生成プログラムを記録した記録媒体であって、
カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１ステップ、
各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２ステップ、ならびに
記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された視点位置および視線方向に対応する画像を生成する第３ステップ、
を実行するための画像生成プログラムを記録した記録媒体。
【請求項１０】
第３ステップは、
各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、ならびに
選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、
を備えていることを特徴とする請求項９に記載の画像生成プログラムを記録した記録媒体。
【請求項１１】
第３ステップは、
各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、
選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、ならびに
選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得するステップ、
を備えていることを特徴とする請求項９に記載の画像生成プログラムを記録した記録媒体。
【請求項１２】
カメラを回転させて撮影した画像から、指定された左目用および右目用の視点位置および視線方向に対応したステレオ視用画像を生成するステレオ視用画像生成装置であって、
カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１手段、
各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２手段、
記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された左目用の視点位置および視線方向に対応する左目用画像を生成する第３手段、ならびに
記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された右目用の視点位置および視線方向に対応する右目用画像を生成する第４手段、
を備えていることを特徴とするステレオ視用画像生成装置。
【請求項１３】
第３手段は、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された左目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、ならびに選択した画像データから左目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段を備えており、
第４手段は、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された右目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、ならびに選択した画像データから右目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段を備えていることを特徴とする請求項１２に記載のステレオ視用画像生成装置。
【請求項１４】
第３手段は、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された左目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、選択した画像データの撮像位置が、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから左目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段、ならびに選択した画像データの撮像位置が、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、左目用の上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面１の幾何学的関係から左目用の上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得する手段を備えており、
第４手段は、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された右目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、選択した画像データの撮像位置が、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから右目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段、ならびに選択した画像データの撮像位置が、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、右目用の上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から右目用の上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得する手段を備えていることを特徴とする請求項１２に記載のステレオ視用画像生成装置。
【請求項１５】
カメラを回転させて撮影した画像から、指定された左目用および右目用の視点位置および視線方向に対応したステレオ視用画像を生成するステレオ視用画像生成方法であって、
カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１ステップ、
各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２ステップ、
記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された左目用の視点位置および視線方向に対応する左目用画像を生成する第３ステップ、ならびに
記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された右目用の視点位置および視線方向に対応する右目用画像を生成する第４ステップ、
を備えていることを特徴とするステレオ視用画像生成方法。
【請求項１６】
第３ステップは、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された左目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、ならびに選択した画像データから左目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップを備えており、
第４ステップは、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された右目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、ならびに選択した画像データから右目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップを備えていることを特徴とする請求項１５に記載のステレオ視用画像生成方法。
【請求項１７】
第３ステップは、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された左目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、選択した画像データの撮像位置が、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから左目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、ならびに選択した画像データの撮像位置が、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、左目用の上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から左目用の上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得するステップを備えており、
第４ステップは、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された右目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、選択した画像データの撮像位置が、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから右目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、ならびに選択した画像データの撮像位置が、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、右目用の上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から右目用の上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得するステップを備えていることを特徴とする請求項１５に記載のステレオ視用画像生成方法。
【請求項１８】
カメラを回転させて撮影した画像から、指定された左目用および右目用の視点位置および視線方向に対応したステレオ視用画像を生成するためのステレオ視用画像生成プログラムを記録した記録媒体であって、
カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１ステップ、
各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２ステップ、
記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された左目用の視点位置および視線方向に対応する左目用画像を生成する第３ステップ、ならびに
記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された右目用の視点位置および視線方向に対応する右目用画像を生成する第４ステップ、
を実行するためのステレオ視用画像生成プログラムを記録した記録媒体。
【請求項１９】
第３ステップは、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された左目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、ならびに選択した画像データから左目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップを備えており、
第４ステップは、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された右目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、ならびに選択した画像データから右目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップを備えていることを特徴とする請求項１８に記載のステレオ視用画像生成プログラムを記録した記録媒体。
【請求項２０】
第３ステップは、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された左目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、選択した画像データの撮像位置が、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから左目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、ならびに選択した画像データの撮像位置が、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、左目用の上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から左目用の上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得するステップを備えており、
第４ステップは、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された右目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、選択した画像データの撮像位置が、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから右目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、ならびに選択した画像データの撮像位置が、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、右目用の上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から右目用の上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得するステップを備えていることを特徴とする請求項１８に記載のステレオ視用画像生成プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラを回転させて撮影した画像から指定された視点位置および視線方向に対応した画像を生成するための画像生成装置、画像生成方法および記録媒体ならびにカメラを回転させて撮影した画像から、指定された左目用および右目用の視点位置および視線方向に対応したステレオ視用画像を生成するためのステレオ視用画像生成装置、ステレオ視用画像生成方法および記録媒体に関する。
【背景技術】
【０００２】
従来から、１台のカメラを回転して撮像した各画像から、垂直スリット状の部分画像を切り出し、それらの部分画像を利用して、ステレオ視用の画像（左目用画像と右目用画像）を生成する技術が開発されている。
【０００３】
例えば、特開平１１−１６４３２６号公報に記載されている発明では、回転軸に半径方向に距離Ｌだけ離れた位置にカメラの焦点が位置するようにカメラを設置し、回転軸を中心としてカメラを回転させて画像を撮像する。そして、各撮像画像から左目用のスリット画像と右目用のスリット画像とを切り出す。ある撮像画像から切り出されるスリット画像の幅は、その撮像画像とその次に連続する撮像画像との間のオプティカルフローの大きさに基づいて算出される。次に、各撮像画像から切り出された左目用のスリット画像を結合して左目用の全方位画像を生成するとともに、各撮像画像から切り出された右目用のスリット画像を結合して右目用の全方位画像を生成する。
【０００４】
上記従来方法では、カメラの回転は水平回転（もしくは１自由度の回転）しか考慮されておらず、天井や床などの鉛直方向の立体画像を生成することができない。また、光軸回りの回転も考慮されてない。
【０００５】
また、カメラを回転させて撮影した画像から、任意の視点位置および視線方向（実施例でいう狭義の視線方向）に対応した画像を生成する方法は未だ開発されていない。
【特許文献１】特開平１１−１６４３２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
この発明は、カメラを回転させて撮影した画像から、任意の視点位置および視線方向（実施例でいう狭義の視線方向）に対応した画像を生成することができるようになる画像生成装置、画像生成方法および記録媒体方法を提供することを目的とする。
【０００７】
また、この発明は、カメラを回転させて撮影した画像から、任意の視点位置および視線方向（実施例でいう狭義の視線方向）に対応したステレオ視用画像を生成することができるようになるステレオ視用画像生成装置、ステレオ視用画像生成方法およびステレオ視用画像生成プログラムを記録した記録媒体方法を提供することを目的とする。
【０００８】
この発明は、水平方向だけでなく垂直方向やカメラの光軸まわりの回転を含む全方位のステレオ視用画像を生成することが可能となるステレオ視用画像生成装置、ステレオ視用画像生成方法およびステレオ視用画像生成プログラムを記録した記録媒体方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明による画像生成装置は、カメラを回転させて撮影した画像から、指定された視点位置および視線方向に対応した画像を生成する画像生成装置であって、カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１手段、各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２手段、ならびに記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された視点位置および視線方向に対応する画像を生成する第３手段を備えていることを特徴とする。
【００１０】
第１手段としては、例えば、水平回転の中心と垂直回転の中心を一致させ、この回転中心とカメラの投影中心との距離を一定に保持したまま、カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるものが用いられる。
【００１１】
上記第３手段としては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、ならびに選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段を備えているものが用いられる。
【００１２】
上記第３手段としては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段、ならびに選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得する手段を備えているものが用いられる。
【００１３】
第３手段としては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段、ならびに選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、上記視点位置からの上記視線方向を、上記視点位置からの上記視線方向に平行な光線であってかつ選択された画像データが撮影されたときのカメラの投影中心を通る光線の方向に補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得する手段を備えているものが用いられる。
【００１４】
この発明による画像生成方法は、カメラを回転させて撮影した画像から、指定された視点位置および視線方向に対応した画像を生成する画像生成方法であって、カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１ステップ、各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２ステップ、ならびに記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された視点位置および視線方向に対応する画像を生成する第３ステップを備えていることを特徴とする。
【００１５】
上記第３ステップとしては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、ならびに選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップを備えているものが用いられる。
【００１６】
上記第３ステップとしては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、ならびに選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得するステップを備えていることを特徴とする。
【００１７】
この発明による画像生成プログラムを記録した記録媒体は、カメラを回転させて撮影した画像から、指定された視点位置および視線方向に対応した画像を生成するための画像生成プログラムを記録した記録媒体であって、カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１ステップ、各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２ステップ、ならびに記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された視点位置および視線方向に対応する画像を生成する第３ステップを実行するための画像生成プログラムが記録されていることを特徴とする。
【００１８】
上記第３ステップとしては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、ならびに選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップを備えているものが用いられる。
【００１９】
上記第３ステップとしては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、ならびに選択した画像データの撮像位置が、上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得するステップを備えているものが用いられる。
【００２０】
この発明によるステレオ視用画像生成装置は、カメラを回転させて撮影した画像から、指定された左目用および右目用の視点位置および視線方向に対応したステレオ視用画像を生成するステレオ視用画像生成装置であって、カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１手段、各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２手段、記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された左目用の視点位置および視線方向に対応する左目用画像を生成する第３手段、ならびに記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された右目用の視点位置および視線方向に対応する右目用画像を生成する第４手段を備えていることを特徴とする。
【００２１】
上記第３手段としては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された左目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、ならびに選択した画像データから左目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段を備えているものが用いられ、上記第４手段としては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された右目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、ならびに選択した画像データから右目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段を備えているものが用いられる。
【００２２】
上記第３手段としては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された左目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、選択した画像データの撮像位置が、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから左目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段、ならびに選択した画像データの撮像位置が、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、左目用の上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から左目用の上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得する手段を備えているものが用いられ、第４手段としては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された右目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択する手段、選択した画像データの撮像位置が、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから右目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得する手段、ならびに選択した画像データの撮像位置が、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、右目用の上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から右目用の上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得する手段を備えているものが用いられる。
【００２３】
この発明によるステレオ視用画像生成方法は、カメラを回転させて撮影した画像から、指定された左目用および右目用の視点位置および視線方向に対応したステレオ視用画像を生成するステレオ視用画像生成方法であって、カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１ステップ、各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２ステップ、記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された左目用の視点位置および視線方向に対応する左目用画像を生成する第３ステップ、ならびに記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された右目用の視点位置および視線方向に対応する右目用画像を生成する第４ステップを備えていることを特徴とする。
【００２４】
上記第３ステップとしては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された左目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、ならびに選択した画像データから左目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップを備えているものが用いられ、第４ステップとしては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された右目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、ならびに選択した画像データから右目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップを備えているものが用いられる。
【００２５】
上記第３ステップとしては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された左目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、選択した画像データの撮像位置が、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから左目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、ならびに選択した画像データの撮像位置が、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、左目用の上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から左目用の上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得するステップを備えているものが用いられ、上記第４ステップとしては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された右目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、選択した画像データの撮像位置が、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから右目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、ならびに選択した画像データの撮像位置が、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、右目用の上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から右目用の上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得するステップを備えているものが用いられる。
【００２６】
この発明によるステレオ視用画像生成プログラムを記録した記録媒体は、カメラを回転させて撮影した画像から、指定された左目用および右目用の視点位置および視線方向に対応したステレオ視用画像を生成するためのステレオ視用画像生成プログラムを記録した記録媒体であって、カメラを水平回転および／または垂直回転させて、カメラの回転角度位置が異なる複数の撮像位置において、カメラによって画像を撮影させるための第１ステップ、各撮像位置でカメラによって撮影された画像データを、その撮像位置でのカメラの回転角度位置情報とともに記憶手段に記憶させる第２ステップ、記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された左目用の視点位置および視線方向に対応する左目用画像を生成する第３ステップ、ならびに記憶手段に記憶された画像データおよび回転角度情報に基づいて、指定された右目用の視点位置および視線方向に対応する右目用画像を生成する第４ステップを実行するためのステレオ視用画像生成プログラムが記録されていることを特徴とする。
【００２７】
上記第３ステップとしては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された左目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、ならびに選択した画像データから左目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップを備えているものが用いられ、第４ステップとしては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された右目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、ならびに選択した画像データから右目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップを備えているものが用いられる。
【００２８】
上記第３ステップとしては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された左目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、選択した画像データの撮像位置が、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから左目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、ならびに選択した画像データの撮像位置が、左目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、左目用の上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から左目用の上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得するステップを備えているものが用いられ、上記第４ステップとしては、例えば、各撮像位置で撮影された画像データに対応する回転角度情報と、指定された右目用の視点位置および視線方向とに基づいて、各撮像位置で撮影された画像データのうち、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置に、撮像位置が最も近い画像データを選択するステップ、選択した画像データの撮像位置が、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致している場合には、選択した画像データから右目用の上記視点位置からの上記視線方向に対応する画素の画素値を取得するステップ、ならびに選択した画像データの撮像位置が、右目用の上記視点位置からの上記視線方向と合致する光線が撮影されるべきカメラ回転角度位置と一致していない場合には、右目用の上記視点位置からの上記視線方向と選択された画像データが撮影されたときのカメラの撮像面との幾何学的関係から右目用の上記視点位置からの上記視線方向を補正し、選択した画像データから補正後の視線方向に対応する画素の画素値を取得するステップを備えているものが用いられる。
【００２９】
課題を解決するための手段の欄で使用されている「視線方向」は、後述する実施例の欄でいう「狭義の視線方向」を表している。
【発明の効果】
【００３０】
この発明によれば、カメラを回転させて撮影した画像から、任意の視点位置および視線方向（実施例でいう狭義の視線方向）に対応した画像を生成することができるようになる。
【００３１】
また、この発明によれば、カメラを回転させて撮影した画像から、任意の視点位置および視線方向（実施例でいう狭義の視線方向）に対応したステレオ視用画像を生成することができるようになる。
【００３２】
また、この発明によれば、水平方向だけでなく垂直方向やカメラの光軸まわりの回転を含む全方位のステレオ視用画像を生成することが可能となる。
【発明を実施するための最良の形態】
【００３３】
以下、図面を参照して、この発明の実施例について説明する。
【実施例１】
【００３４】
〔１〕全方位ステレオ画像生成装置の構成を示している。
図１は、全方位ステレオ画像生成装置の構成を示している。
【００３５】
図１において、２００はカメラ、２０１は三脚、２０２は垂直回転部、２０３は水平回転部、２０４はコンピュータ（ＰＣ）、２０５はステレオ表示装置である。
【００３６】
カメラ２００は、その投影中心が水平回転と垂直回転の両方の中心から距離Ｌだけ離れた位置に位置するように、設置されている。カメラ２００は、コンピュータ２０４に接続されている。垂直回転部２０２および水平回転部２０３は、コンピュータ制御可能な雲台であり、コンピュータ２０４によって制御される。
【００３７】
ここで、カメラ２００は、水平回転と垂直回転の両方の中心から距離が一定に保たれるように設置されている。したがって、カメラ２００を水平回転および垂直回転させることにより、仮想的に球面上に多数のカメラを配置した撮像システムと同等の撮像システムを実現できる。
【００３８】
ステレオ表示装置２０５としては、立体的なステレオ表示が可能なヘッドマウントディスプレイまたは眼鏡なし立体表示ディスプレイが用いられる。
【００３９】
〔２〕全方位ステレオ画像生成装置による処理手順の説明
図２は、全方位ステレオ画像生成装置による処理手順を示している。
【００４０】
まず、カメラ２００によって撮像された画像を記録する（ステップＳ１０１）。次に、ステップＳ１０１で画像が記録されたときのカメラ２００の回転角度（基準位置からの水平回転角度および垂直回転角度）を記録する（ステップＳ１０２）。
【００４１】
次に、撮影すべき次の画像があるか否かを判別する（ステップＳ１０３）。撮像すべき次の画像がある場合には、次の画像を撮像するために、カメラ２００を回転させた後（ステップＳ１０４）、ステップＳ１０１に戻る。
【００４２】
ステップＳ１０３において、撮像すべき次の画像がないと判別した場合には、記録された撮像画像とカメラ２００の回転角度とに基づいて、ステレオ視用画像を生成するためのステレオ視用画像の生成処理を行う（ステップＳ１０５）。この後において、表示指令があった場合には、生成されたステレオ視用画像を表示するためのステレオ視用画像の表示処理を行う（ステップＳ１０６）。
【００４３】
〔３〕カメラ２００による撮影方法の説明
図３は、画像データを取得する際（図２のステップＳ１０１〜Ｓ１０４）に、カメラを回転させる様子を平面から見た図を示している。以下においては、説明を簡単にするために、カメラ２００を水平方向にのみ回転させる場合について説明する。
【００４４】
カメラ２００は、その投影中心Ｏｃが回転中心Ｏから一定の距離Ｌを保持した状態で、回転中心Ｏを中心として回転する。このとき、カメラ２００の撮像中心（撮像面Ｉｃの中心）、投影中心Ｏｃおよび回転中心Ｏが一直線上に並ぶようにカメラ２００が設置されている。このような関係は、カメラ２００を水平方向に回転させるときのみならず、カメラ２００を垂直方向に回転させるときにも維持されるので、撮像面Ｉｃは距離Ｌと焦点距離ｆｃとの和を半径とする球面に接することになる。
【００４５】
〔４〕ステレオ視用画像の生成処理についての説明
図２のステップＳ１０５のステレオ視用画像の生成処理について詳しく説明する。ステレオ視用画像の生成処理では、設定された視点位置、視線方向（広義の視線方向）、視線姿勢および視野角度毎に、ステレオ視用画像（左目用画像と右目用画像）とが生成される。
【００４６】
図４は、取得された画像データからステレオ視用の画像のうち、左目用画像を生成する方法を説明するための説明図である。
【００４７】
まず、図４に示すように、左目用の仮想カメラと右目用の仮想カメラとからなる両眼用の仮想カメラを配置する。この例では、左目用の仮想カメラと右目用の仮想カメラとは、それらの投影中心ＯL ，ＯR が回転中心Ｏから距離ｂだけ離れた位置に位置するようにして配置されている。ｂは、左右の目の間隔の１／２に設定されている。また、この例では、左目用の仮想カメラと右目用の仮想カメラは、前向き（正面向き）に配置されている。左目用の仮想カメラの撮像面をＩL ，右目用の仮想カメラの撮像面をＩR とする。
【００４８】
この場合の左目の視点位置、視線方向（広義の視線方向）、視線姿勢および視野角度について説明する。左目の視点位置は左目用の仮想カメラの投影中心ＯL となる。また、左目の視線方向（広義の視線方向）は、投影中心ＯL から撮像面ＩL の中心に向かう方向となる。左目の視線姿勢は、視線方向（広義の視線方向）を軸とした撮像面ＩL の軸回りの回転角度位置を表している。左目の視野角度は、左目用の仮想カメラの撮像面ＩL の解像度がカメラ２００の撮像面Ｉｃの解像度と同じであるとすると、左目用の仮想カメラの焦点距離（投影中心ＯL と撮像面ＩL との間の距離に相当する）によって定まる。
【００４９】
図５は、図４に示されている左目用の仮想カメラの位置、姿勢および視野角度、つまり、左目の視線位置Ｖ（ｘ，ｙ，ｚ）、視線方向Ｄ（θ，ρ）および視野角度ηに対応して生成される視野範囲Ｓを示している。θは水平方向の角度、ρは垂直方向の角度である。      
【００５０】
図４の左目用の仮想カメラの撮像面ＩL によって撮像される画像が、当該仮想カメラの位置、姿勢および視野角度によって規定される左目の視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度に対応する左目用画像となる。撮像面ＩL 上の画素ＰL の画素値を生成する方法について説明する。
【００５１】
撮像面ＩL 上の画素ＰL には、左目用の仮想カメラの投影中心ＯL と画素ＰL とを結ぶ光線上の物体Ａが写っているはずである。そこで、既に撮影されたカメラ２００の画像データから、左目用の仮想カメラの投影中心ＯL と画素ＰL とを結ぶ光線上の画素値を、選択して、画素ＰL の値とする。
【００５２】
左目用の仮想カメラの投影中心ＯL と画素ＰL とを結ぶ光線の方向（狭義の視線方向）に基づいて、当該光線と回転中心Ｏを中心としかつ半径Ｌの球面との交点ＱL の位置を算出する。なお、特許請求の範囲の欄の各請求項でいう視線方向とは、狭義の視線方向を意味している。カメラ２００によって撮像された１画面単位の各画像データのうち、カメラ２００の投影中心Ｏｃが算出した交点ＱL に最も近い位置に配置されたときに、カメラ２００によって撮像された画像データを選択する。
【００５３】
つまり、図４において、回転中心Ｏと交点ＱL とを結ぶ直線の角度と、カメラ２００によって撮像された１画面単位の各画像データに対応するカメラ２００の回転角度との差が最小となるような画像データを選択する。例えば、回転中心Ｏを原点とする世界座標系での球面上の交点ＱL の座標から得られる回転中心Ｏから交点ＱL へ向かう直線の正規化ベクトルと、当該世界座標系での撮像済の１画面単位の各画像データに対応する撮像面Ｉｃの法線方向（すなわち、カメラ２００の回転角度）の正規化ベクトルとの内積が１に近い画像データを選択する。
【００５４】
そして、左目用の仮想カメラの投影中心ＯL と画素ＰL とを結ぶ光線が、選択された画像データに対応する撮像面Ｉｃに交わる点Ｐ1 の画素値を取得する。取得した画素値を、図４の左目用の仮想カメラの位置、姿勢および視野角度によって規定される左目の視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度において、撮像面ＩL 上の画素ＰL の画素値（着目している光線方向（狭義の視線方向）に対応する画像の画素値）として描画する。このような処理を、撮像面ＩL 上のすべての画素、すなわち、すべての光線方向について繰り返す。
【００５５】
図６は、設定された視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度に対応する左目用画像を生成するための処理手順を示している。
【００５６】
まず、視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度を決定する（ステップＳ２０１）。図４の両眼用の仮想カメラの位置、姿勢および視野角度を決定することを意味する。次に、左目用の仮想カメラの撮像面ＩL 上の注目画素（画素値を生成しようとする画素）に対応した、視線位置ＯL からの光線方向（狭義の視線方向）を決定する（ステップＳ２０２）。図４の左目用の仮想カメラの撮像面ＩL 上の画素ＰL が注目画素であるとすると、左目用の仮想カメラの投影中心ＯL と画素ＰL とを結ぶ方向が、視線位置ＯL からの注目画素ＰL に対応した光線方向となる。
【００５７】
次に、視線位置ＯL からの注目画素ＰL に対応した光線と、回転中心Ｏを中心としかつ半径Ｌの球面との交点ＱL の位置を算出する（ステップＳ２０３）。カメラ２００によって撮像された１画面単位の各画像データのうち、カメラ２００の投影中心Ｏｃが算出した交点ＱL に最も近い位置に配置されたときに、カメラ２００によって撮像された画像データを選択する（ステップＳ２０４）。
【００５８】
次に、注目画素に対応した視点位置ＯL からの光線が、選択された画像データに対応する撮像面Ｉｃに交わる点を算出する（ステップＳ２０５）。そして、算出された撮像面Ｉｃ上の交点の画素値を、上記ステップＳ２０１で設定された視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度において、上記ステップＳ２０２で決定された光線方向（狭義の視線方向）に対応する画像の画素値（仮想撮像面ＩL 上の注目画素での画素値）として描画する（ステップＳ２０６）。
【００５９】
この後、次の光線方向があるか否かを判別する（ステップＳ２０７）。つまり、仮想撮像面ＩL 上の全ての画素のうち、上記ステップＳ２０２〜Ｓ２０６の処理（画素値取得処理）が行われてないものがあるか否かを判別する。次の光線方向がある場合には、つまり、撮像面ＩL 上の全ての画素に対して画素値取得処理が行なわれていない場合には、画素値取得処理が行なわれていない画素のうちの１つの画素を注目画素に設定した後（ステップＳ２０８）、ステップＳ２０２に戻る。上記ステップＳ２０７において、次の光線方向がない場合には、今回の処理を終了する。
【００６０】
設定された視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度に対応する右目用画像も左目用画像と同様な方法で生成される。
【００６１】
図７は、取得された画像データからステレオ視用の画像のうち、右目用画像を生成する方法を説明するための説明図である。
【００６２】
右目用の仮想カメラの投影中心ＯR と画素ＰR とを結ぶ光線の方向（狭義の視線方向）に基づいて、当該光線と回転中心Ｏを中心としかつ半径Ｌの球面との交点ＱR の位置を算出する。カメラ２００によって撮像された１画面単位の各画像データのうち、カメラ２００の投影中心Ｏｃが算出した交点ＱR に最も近い位置に配置されたときに、カメラ２００によって撮像された画像データを選択する。
【００６３】
そして、右目用の仮想カメラの投影中心ＯR と画素ＰR とを結ぶ光線が、選択された画像データに対応する撮像面Ｉｃに交わる点Ｐ2 の画素値を取得する。取得した画素値を、図７の右目用の仮想カメラの位置、姿勢および視野角度によって規定される右目の視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度において、撮像面ＩR 上の画素ＰR の画素値（着目している光線方向（狭義の視線方向）に対応する画像の画素値）として描画する。このような処理を、撮像面ＩR 上のすべての画素、すなわち、すべての光線方向について繰り返す。
【００６４】
図８は、生成された左右のステレオ視用画像において、視差が再現されていることを説明するための説明図である。
【００６５】
物体Ａに対する左目用画像は左目用の仮想カメラの撮像面ＩL 上の画素ＰL で撮影された画像と等価となり、同じ物体Ａに対する右目用画像は右目用の仮想カメラの撮像面ＩR 上の画素ＰR で撮像された画像と等価となる。
【００６６】
左目用の仮想カメラの撮像面ＩL 上の画素ＰL の撮像面ＩL 上での水平方向座標をｈL とし、右目用の仮想カメラの撮像面ＩR 上の画素ＰR の撮像面ＩR 上での水平方向座標をｈR とすると、これらの差分に応じた両眼視差が発生するため、画素ＰL の画像を左目で見るとともに、画素ＰR の画像を右目で見ると、物体Ａが立体的に見えるようになる。
【００６７】
上記実施例では、両眼用の仮想カメラは、それを構成する左目用の仮想カメラと右目用の仮想カメラの投影中心ＯL ，ＯR の中間点が回転中心Ｏに位置するようにして配置されているとともに、前向き（正面向き）に配置されている。しかしながら、全方位方向に画像を撮影しておけば、任意の位置、姿勢で両眼用の仮想カメラを配置することが可能であるとともに視野角度を任意に設定することが可能である。言い換えれば、任意の視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度でのステレオ視用画像を生成することが可能である。つまり、視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度に対応した視野の範囲（図５参照）を変更することによって、視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度に対応したステレオ視用画像を生成することが可能である。
【００６８】
なお、図２のステップＳ１０６のステレオ視用画像の表示処理では、ユーザによって指定された視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度に対応したステレオ視用画像が表示される。より具体的には、図２のステップＳ１０５のステレオ視用画像の生成処理において、視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度の組合せが異なる複数のステレオ視用画像を予め生成しておき、図２のステップＳ１０６のステレオ視用画像の表示処理においては、それらの画像がユーザの操作に応じて切り換えて表示される。
【００６９】
なお、ユーザによって視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度が指定される都度、それに対応したステレオ視用画像を生成して表示するようにしてもよい。
【００７０】
ところで、上記左目用画像（右目用画像も同様）の生成方法では、左目用の仮想カメラの投影中心ＯL と画素ＰL とを結ぶ光線と、回転中心Ｏを中心としかつ半径Ｌの球面との交点ＱL の位置を算出し、カメラ２００によって撮像された１画面単位の各画像データのうち、カメラ２００の投影中心Ｏｃが算出した交点ＱL に最も近い位置に配置されたときに、カメラ２００によって撮像された画像データを選択している。
【００７１】
しかしながら、取得した画像枚数が少ないために、算出した交点ＱL に投影中心Ｏｃがほぼ一致するような位置で、カメラ２００によって撮像された画像データが存在しない場合がある。このような場合の画素値の生成方法について図９を参照して説明する。
【００７２】
図９において、左目用の仮想カメラの投影中心ＯL と撮像面ＩL 上の画素ＰL とを結ぶ光線と、回転中心Ｏを中心としかつ半径Ｌの球面との交点ＱL に、投影中心Ｏｃがほぼ一致するような位置で、カメラ２００によって撮像された画像データが存在しないとする。      
【００７３】
このような場合には、投影中心Ｏｃが交点ＱL に最も近い位置にあるときにカメラ２００によって撮像された画像データを利用する。この例では、投影中心Ｏｃが交点ＱL の近くの位置ＱL1にある位置で、カメラ２００によって撮像された画像データ（撮像面が図９のＩｃである）を利用する。
【００７４】
このカメラ２００の撮像面Ｉｃに、左目用の仮想カメラの投影中心ＯL と撮像面ＩL 上の画素ＰL とを結ぶ光線が交わる点Ｐ1 の画素値を、画素ＰL の画素値として用いると、視線方向の誤差が生じる。つまり、本来、対象物Ａを向いていた視線（光線）が、対象物Ｂを向いてしまう。そこで、撮像面Ｉｃ上の光線が交わる点Ｐ1 の座標を以下の式（１）に基づいて補正する。
【００７５】
ｈ’＝｛ｆｃ／（ｆｃ＋ｄ）｝×ｈ      …（１）
【００７６】
上記式（１）において、ｈは撮像面Ｉｃ上の座標である。ｆｃは撮像したカメラ２００の焦点距離である。ｄはカメラ２００の投影中心Ｏｃと回転中心Ｏとを結んだ直線と左目用の仮想的なカメラの投影中心ＯL と画素ＰL とを結ぶ光線との交点Ｘと、投影中心Ｏｃとの間の距離である。ｈ’は補正後の座標である。これにより、撮像面Ｉｃ上の点Ｐ1 の座標が図９の点Ｐ2 の座標に補正される。
【００７７】
すなわち、左目用の仮想カメラの投影中心ＯL と撮像面ＩL 上の画素ＰL とを結ぶ光線を、カメラ２００の投影中心Ｏｃが通るように平行移動させ、平行移動させた光線とカメラ２００の撮像面Ｉｃとの交点Ｐ2 の画素値を、画素ＰL の画素値とする。図９に示すように、このような補正を行っても、本来の対象物Ａを向く視線（光線）ではなく、対象物Ｃを向く視線（光線）となるが、回転半径Ｌに対して対象物が十分離れていれば、視覚上、問題とならない。
【００７８】
上記は、２次元空間における視線の補正方法であるが、三次元空間における視線の補正方法を図１０（ａ）および図１０（ｂ）を用いて説明する。
【００７９】
図１０（ａ）において、左目用の仮想カメラの投影中心ＯL と撮像面ＩL 上の画素ＰL とを結ぶ光線ＯL Ａと、回転中心Ｏを中心としかつ半径Ｌの球面との交点ＱL に、投影中心Ｏｃがほぼ一致するような位置で、カメラ２００によって撮像された画像データが存在しないとする。
【００８０】
このような場合には、投影中心Ｏｃが交点ＱL に最も近い位置にあるときにカメラ２００によって撮像された画像データを利用する。この例では、投影中心Ｏｃが交点ＱL の近くの位置ＱL1にある位置で、カメラ２００によって撮像された画像データ（撮像面が図１０（ａ）のＩｃである）を利用する。
【００８１】
カメラ２００の撮像面Ｉｃに、左目用の仮想カメラの投影中心ＯL と撮像面ＩL 上の画素ＰL とを結ぶ光線ＯL Ａが交わる点Ｐ1 の画素値を、画素ＰL の画素値として用いると、視線方向の誤差が生じる。そこで、この光線ＯL Ａと平行で、かつ撮像面Ｉｃの投影中心Ｏｃを通る光線ＯｃＣを用いて補正する。これは、光線ＯｃＣと撮像面Ｉｃとの交点を計算することで、補正後の座標Ｐ2 を計算することができる。あるいは、２次元に簡略化した方法を用いて、光線ＯL Ａが撮像面Ｉｃと交わる点Ｐ1 の座標から、上記式（１）にもとづいて補正することもできる。
【００８２】
ただし、上記式（１）において、ｈは撮像面Ｉｃ上の座標である。ｆｃは撮像したカメラ２００の焦点距離である。ｄは、３次元空間では上記式（１）で説明したｄとは異なる。図１０（ｂ）は、図１０（ａ）を、カメラの回転中心Ｏと撮像面Ｉｃの座標軸Ｐｃ・ｖとを含む平面で切った図である。ｄは、この平面と光線ＯL Ａとの交点Ｘと、撮像面Ｉｃの投影中心Ｏｃとの距離であるが、撮像面Ｉｃの法線に照射した距離である。ｈ’は補正後の座標である。これにより、撮像面Ｉｃ上の点Ｐ1 の座標が図１０（ａ）の点Ｐ2 の座標に補正される。
【実施例２】
【００８３】
上記実施例１では、カメラ２００で撮影された画像に基づいて、ステレオ視用画像を生成する場合について説明したが、カメラ２００で撮影された画像に基づいて、単眼カメラの任意の位置、姿勢および視野角度での画像、つまり任意の視点位置、視線方向（広義の視線方向）、視線姿勢および視野角度に対応する画像を生成することができる。
【００８４】
図１１は、カメラ２００で撮影された画像に基づいて、単眼カメラの任意の位置、姿勢および視野角度での画像を生成する方法を説明するための説明図である。
【００８５】
図１１に示すように、回転中心Ｏを中心とした半径Ｌの球面内に、単眼の仮想カメラを任意の位置および任意の姿勢で配置する。仮想的な単眼カメラのと投影中心（視点位置）をＯT 、その画像面をＩT とする。
【００８６】
単眼の仮想カメラの投影中心ＯT と画像面ＩT 上の画素ＰT とを結ぶ光線の方向（狭義の視線方向）に基づいて、当該光線と回転中心Ｏを中心としかつ半径Ｌの球面との交点ＱT の位置を算出する。カメラ２００によって撮像された１画面単位の各画像データのうち、カメラ２００の投影中心Ｏｃが算出した交点ＱT に最も近い位置に配置されたときに、カメラ２００によって撮像された画像データを選択する。
【００８７】
そして、仮想的な単眼カメラの投影中心ＯT と画素ＰT とを結ぶ光線が、選択された画像データに対応する撮像面Ｉｃに交わる点Ｐ1 の画素値を取得する。そして、取得した画素値を、設定された視点位置、視線方向（広義の視線方向）、視線姿勢および視野角度において、着目している光線（狭義の視線方向）に対応する撮像面ＩT 上の画素ＰT の画素値として描画する。このような処理を、撮像面ＩT 上のすべての画素ＰT 、すなわち、すべての光線方向について繰り返す。
【００８８】
なお、取得した画像枚数が少ないために、算出した交点ＱT に投影中心Ｏｃがほぼ一致するような位置で、カメラ２００によって撮像された画像データが存在しない場合には、第１実施例（ステレオ視用画像の生成）において、図９または図１０を用いて説明したような補正を行うことが好ましい。
【図面の簡単な説明】
【００８９】
【図１】全方位ステレオ画像生成装置の構成を示すブロック図である。
【図２】全方位ステレオ画像生成装置による処理手順を示すフローチャートである。
【図３】画像データを取得する際に、カメラを回転させる様子を平面から見た図を示す平面図である。
【図４】取得された画像データからステレオ視用の画像のうち、左目用画像を生成する方法を説明するための平面図である。
【図５】図４に示されている左目用の仮想カメラの位置、姿勢および視野角度、つまり、左目の視線位置Ｖ（ｘ，ｙ，ｚ）、視線方向Ｄ（θ，ρ）および視野角度ηに対応して生成される視野範囲Ｓを示す模式図である。
【図６】設定された視線位置、視線方向（広義の視線方向）、視線姿勢および視野角度に対応する左目用画像を生成するための処理手順を示すフローチャートである。
【図７】取得された画像データからステレオ視用の画像のうち、右目用画像を生成する方法を説明するための平面図である。
【図８】生成された左右のステレオ視用画像において、視差が再現されていることを説明するための平面図である。
【図９】算出した交点ＱL に投影中心Ｏｃがほぼ一致ような位置で、カメラ２００によって撮像された画像データが存在しない場合の画素値の生成方法を説明するための平面図である。
【図１０】３次元空間における視線の補正方法を説明するための模式図である。
【図１１】カメラ２００で撮影された画像に基づいて、単眼カメラの任意の位置、姿勢および視野角度での画像を生成する方法を説明するための平面図である。
【符号の説明】
【００９０】
２００  カメラ
２０１  三脚
２０２  垂直回転部
２０３  水平回転部
２０４  コンピュータ（ＰＣ）
２０５  ステレオ表示装置
【図１】
2005250741.tif 000003
【図２】
2005250741.tif 000004
【図３】
2005250741.tif 000005
【図４】
2005250741.tif 000006
【図５】
2005250741.tif 000007
【図６】
2005250741.tif 000008
【図７】
2005250741.tif 000009
【図８】
2005250741.tif 000010
【図９】
2005250741.tif 000011
【図１０】
2005250741.tif 000012
【図１１】
2005250741.tif 000013