(57)【要約】【課題】  ステレオ画像や全方位画像の撮影法は、これまでにない画期的な映像システムや映像サービスを生み出す可能性を秘めている。【解決手段】  撮影補助器１２は、輪状の円形部材にて構成される回転体１４と、その上面に設けられた第１撮像部２０および第２撮像部２２と、支持台１８と、を有する。第１撮像部２０および第２撮像部２２は一対の視差画像を撮影するとともに、中心１６を回転中心にして回転体１４を回転させながら第１撮像部２０および第２撮像部２２で連写することにより、全方位の視差画像を得る。さらに、回転体１４を連続回転させながら第１撮像部２０および第２撮像部２２で連写することにより、全方位の視差画像をフレームとする動画を撮影する。【選択図】  図１
2005092121.tif 000002
【特許請求の範囲】
【請求項１】
回転面が略水平となるよう支持される部材からなる回転体と、
前記回転面においてその回転中心から離れた位置に設けられ、その位置から被写体を撮像する撮像部と、を有し、
前記撮像部は、前記回転面に対して略平行に撮影方向を保つことを特徴とする撮影補助器。
【請求項２】
回転自在に支持される部材からなる回転体と、
前記回転面においてその回転中心から離れた位置に設けられ、その位置から被写体を撮像する撮像部と、を有し、
前記撮像部は、その撮影方向が前記回転体の回転に応じて略全周囲を撮影できる角度に保たれることを特徴とする撮影補助器。
【請求項３】
前記回転体は、略輪状の部材からなるとともにその輪の中心を前記回転中心とし、
前記撮像部は、前記略輪状の部材における外周近傍位置に設けられ、前記回転体が回転するときに前記回転中心からの距離を半径として円運動することを特徴とする請求項１または２に記載の撮影補助器。
【請求項４】
前記撮像部は、その撮影方向を略全周囲の方向へ転回できるよう前記回転体の回転から独立して自転するとともに、前記自転の回転中心は該撮像部の位置であり、前記自転の回転面は前記回転体の回転面と略平行であることを特徴とする請求項１から３のいずれかに記載の撮影補助器。
【請求項５】
前記撮像部は、前記回転体の回転面において複数の位置に設けられ、それぞれの撮影方向が互いに略平行に保たれることを特徴とする請求項１から４のいずれかに記載の撮影補助器。
【請求項６】
前記撮像部は、該撮像部を中心とした略全周囲を一度に撮影可能な全周撮像機構を備えることを特徴とする請求項１から５のいずれかに記載の撮影補助器。
【請求項７】
前記撮像部は、カメラを取り付けるためのカメラ固定部を含み、前記撮影に際して前記カメラ固定部にカメラが取り付けられることにより前記撮像部に撮像機能が備わることを特徴とする請求項１から６のいずれかに記載の撮影補助器。
【請求項８】
略水平方向に回転面を持つ回転自在な所定の部材に設けられた撮像部により、前記部材が回転する間に前記回転面に対して略平行となる撮影方向にて連続して撮影するステップと、
前記部材が回転する間の連写画像を読み込むステップと、
を有することを特徴とする画像処理方法。
【請求項９】
略水平方向に回転面を持つ回転自在な所定の部材に設けられた撮像部により、前記部材が繰り返し回転する間に前記回転面に対して略平行となる撮影方向にて連写することによって動画像を撮影するステップと、
前記部材が回転する間の動画像を読み込むステップと、
を有することを特徴とする画像処理方法。
【請求項１０】
前記所定の部材は、略輪状の回転体であるとともにその円形面を前記回転面とし、前記回転面の外周近傍位置に設けられた前記撮像部は、前記回転体が回転するときにその回転中心からの距離を半径として円運動し、前記撮影するステップは、前記円運動の軌道上にある一つ以上の位置にて撮影することを特徴とする請求項８または９に記載の画像処理方法。
【請求項１１】
前記撮像部の撮影方向を略全周囲の方向へ転回できるよう前記撮像部の位置を中心に前記回転体の回転から独立して自転するステップと、
前記撮像部が自転する間に複数の画像を連写するステップと、
前記撮像部が自転する間の連写画像を読み込むステップと、をさらに有し、
前記撮像部が自転する間の連写画像を読み込むステップは、その連写画像を略全周囲の画像として記憶し、
前記部材が回転する間の撮影画像を読み込むステップは、その撮影画像を視差画像として記憶することを特徴とする請求項８から１０のいずれかに記載の画像処理方法。
【請求項１２】
前記撮像部は前記部材の回転面において複数の位置に設けられ、それぞれの撮影方向が互いに略平行に保たれており、前記撮影するステップは、１回の撮影で得られる前記複数の位置からの画像を視差画像として取得し、
前記読み込むステップは、前記撮影した複数の画像を略全周囲の視差画像として記憶することを特徴とする請求項８から１０のいずれかに記載の画像処理方法。
【請求項１３】
前記撮像部は、該撮像部を中心とした略全周囲を一度に撮影可能な全周撮像機構を備えており、前記撮影するステップは、１回の撮影で得られる画像を略全周囲の画像として取得するとともに、前記略全周囲の画像を連写して視差画像として記憶することを特徴とする請求項８から１０のいずれかに記載の画像処理方法。
【請求項１４】
円筒内側面のような湾曲形状を有する全周囲スクリーンに前記略全周囲の画像を出力するステップをさらに有することを特徴とする請求項１１から１３のいずれかに記載の画像処理方法。
【請求項１５】
画像を鑑賞する者により指示された方向に関する情報を取得するステップと、
前記取得した方向に関する情報に基づいて表示すべき画像を決定するステップと、
前記決定された画像を出力するステップと、
をさらに有することを特徴とする請求項９から１４のいずれかに記載の画像処理方法。
【請求項１６】
画像を鑑賞する者により指示された方向に関する情報を取得するステップと、
前記取得した方向の画像が撮影されるよう撮影タイミングを制御するステップと、
前記制御により定められた撮影タイミングで撮影された画像を出力するステップと、
をさらに有することを特徴とする請求項９から１４のいずれかに記載の画像処理方法。
【請求項１７】
略水平方向に回転面を持つ回転自在な所定の部材に設けられた撮像部により、前記部材が回転する間に前記回転面に対して略平行となる撮影方向にて連続して撮影された複数の画像を読み込む画像入力部と、
前記複数の画像をそれらの撮影タイミングと対応させて記憶する画像保持部と、
前記記憶した複数の画像を出力する出力処理部と、
を有することを特徴とする画像処理装置。
【請求項１８】
略水平方向に回転面を持つ回転自在な所定の部材に設けられた撮像部により、前記部材が繰り返し回転する間に前記回転面に対して略平行となる撮影方向にて連続して撮影された動画像を読み込む画像入力部と、
前記動画像を構成する複数の画像をそれらの撮影タイミングと対応させて記憶する画像保持部と、
前記記憶した複数の画像を出力する出力処理部と、
を有することを特徴とする画像処理装置。
【請求項１９】
前記所定の部材は、略輪状の回転体であるとともにその円形面を前記回転面とし、前記回転面の外周近傍位置に設けられた前記撮像部は、前記回転体が回転するときにその回転中心からの距離を半径として円運動し、前記画像入力部は、前記円運動の軌道上にある一つ以上の位置にて撮影された前記複数の画像を読み込むことを特徴とする請求項１７または１８に記載の画像処理装置。
【請求項２０】
前記画像入力部は、前記部材が回転する間に連写されるとともに、前記撮像部がその位置を中心に前記部材の回転から独立して自転する間にも連写されて得られる複数の画像を読み込み、
前記画像保持部は、前記撮像部が自転する間に連写された画像を略全周囲の画像として記憶するとともに、前記部材が回転する間に連写された画像を視差画像として記憶し、
前記出力処理部は、前記略全周囲の画像と前記視差画像のうち少なくともいずれかを出力することを特徴とする請求項１７から１９のいずれかに記載の画像処理装置。
【請求項２１】
前記撮像部は前記部材の回転面において複数の位置に設けられ、それぞれの撮影方向が互いに略平行に保たれており、前記画像入力部は、前記複数の撮像部により一度に撮影された複数の画像を読み込み、
前記画像保持部は、前記複数の撮像部により一度に撮影された複数の画像を視差画像として記憶するとともに、前記部材が回転する間に撮影された複数の画像を略全周囲の画像として記憶し、
前記出力処理部は、前記視差画像と前記略全周囲の画像のうち少なくともいずれか出力することを特徴とする請求項１７から１９のいずれかに記載の画像処理装置。
【請求項２２】
前記撮像部がその位置を中心とした略全周囲を一度に撮影可能な全周撮像機構を備える場合に、前記画像入力部は前記略全周囲の画像が連写された複数の画像を読み込み、
前記画像保持部は、前記連写された複数の画像を前記略全周囲の視差画像として記憶し、
前記出力処理部は、前記略全周囲の視差画像を出力することを特徴とする請求項１７から１９のいずれかに記載の画像処理装置。
【請求項２３】
前記出力処理部は、円筒内側面のような湾曲形状を有する全周囲スクリーンに前記略全周囲の画像を出力することを特徴とする請求項２０から２２のいずれかに記載の画像処理装置。
【請求項２４】
画像を鑑賞する者の頭部に装着された所定のセンサから現在顔が向いている方向に関する情報を取得する指示受付部をさらに有し、
前記出力処理部は、前記取得した方向に関する情報に基づいて出力すべき画像を決定することを特徴とする請求項２０から２２のいずれかに記載の画像処理装置。
【請求項２５】
回転自在に支持された所定の部材に設けられた撮像部により、前記部材が回転する間に前記回転面に対して略平行となる撮影方向にて連続して撮影された複数の画像を読み込むステップと、
前記複数の画像をそれらの撮影タイミングと対応させて記憶するステップと、
前記記憶した複数の画像を出力するステップと、
を有することを特徴とする画像処理方法。
【請求項２６】
略水平方向に回転面を持つ回転自在な所定の部材に設けられた撮像部により、前記部材が回転する間に前記回転面に対して略平行となる撮影方向にて連続して撮影された複数の画像を読み込むステップと、
前記複数の画像をそれらの撮影タイミングと対応させて記憶するステップと、
前記記憶した複数の画像を出力するステップと、
をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項２７】
略水平方向に回転面を持つ回転自在な所定の部材に設けられた撮像部により、前記部材が回転する間に前記回転面に対して略平行となる撮影方向にて連続して撮影された複数の画像を読み込むステップと、
前記複数の画像をそれらの撮影タイミングと対応させて記憶するステップと、
前記記憶した複数の画像を出力するステップと、
をコンピュータに実行させることを特徴とするコンピュータプログラムを格納したコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮影補助器および画像処理装置に関する。この発明は特に、ステレオ撮影や全方位画像撮影を実現する技術に関する。
【背景技術】
【０００２】
ステレオ画像は、異なる視点から同じ被写体を撮影するステレオ撮影によって得られる。このステレオ画像に生じる視差によって奥行き感を表現でき、両眼立体視が実現される。両眼立体視は、液晶シャッターグラスなどの専用器具を用いる方法や、こうした特別な器具を用いない交差法や平行法による裸眼立体視などによって実現できる。また、３６０度の全方位画像は、いわゆる全方位カメラでの撮影によって得られる。この全方位画像は、画像処理で歪みを除去することによりパノラマ画像に変換することもできる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来、ステレオ画像や全方位画像を得るためにはステレオカメラや全方位カメラといったそれぞれの撮影に特化した特殊なカメラを用いる必要があったため、そうした撮影手法は必ずしも一般的とは言えず、その活用方法は限定的であった。しかし、これら特殊なカメラや撮影手法は、これまでにない画期的な映像システムや映像サービスを生み出す可能性を秘めており、そうした未知のシステムを本発明者は開発するに至った。
【０００４】
本発明者は以上の認識に基づき本発明をなしたもので、その目的は、ステレオ撮影や全方位画像撮影を用いた画期的な撮影手法を実現することにある。
【課題を解決するための手段】
【０００５】
本発明のある態様は、撮影補助器である。この撮影補助器は、回転面が略水平となるよう支持される部材からなる回転体と、回転面においてその回転中心から離れた位置に設けられ、その位置から被写体を撮像する撮像部と、を有する。撮像部は、回転面に対して略平行に撮影方向を保つ。但し、回転体は回転自在に支持されている限り水平に対してある程度の傾きをもって支持されてもよいし、水平の範囲を超えて略垂直の方向で支持されてもよい。撮像部は、その撮影方向が回転体の回転に応じて略全周囲を撮影できる角度に保たれる限り、回転体に対して略平行の範囲を超えて傾きをもってもよい。
【０００６】
回転体は、輪状、円盤状、または皿状に形成されてもよいし、その中心を回転中心とする長尺状または棒状の部材にて形成してもよい。支障なく回転自在である限り必ずしもその形状は問わない。その底面中央に三脚などの支持台が取り付けられてもよい。撮像部は、デジタル画像の撮影機能または銀塩フィルムによる撮影機能をもち、独立したカメラとして分離可能であるか否かを問わない。
【０００７】
撮像部は、回転体に一体化または内蔵させたカメラであってもよい。撮像部はデジタルカメラでもよいし、銀塩フィルムカメラでもよい。撮像部としてカメラを回転体に取り付け、そのカメラに連写実行の設定および必要に応じてタイマの設定をして回転体を手動、またはモータなどを利用して自動で回してもよい。回転体が回る間に２回以上連写すれば、異なる視点から撮影された複数の画像が得られる。連写の間隔は、回転体が１回転する間に２回程度以上撮影されるのが好ましいが、その間隔によっては視点間の距離すなわち撮影位置間の距離が近くなることもあり、視差が小さくなり得る。したがって、連写の撮影回数を多くして後の画像選択の余地を広げてもよい。連写でなくとも、回転角度を変えるたびに回転体の動きを停止させた状態で１枚ずつ撮影してもよい。回転体を高速に回転させて高速連写することにより多方向の複数画像を撮影してもよい。回転体の半径、すなわち撮像部の回転半径が既知なので、回転角度と回転半径から複数の視点間の距離を算出できる。したがって、被写体までの距離を算出したり、画像補間処理によって補間画像や３次元モデルを生成することも可能となる。
【０００８】
本態様によれば、回転体の回転により視差画像や全方位画像を得ることができる。また撮像部そのものを自転させることによって全方位画像を得ることもできる。これにより、両眼立体視が可能な全方位画像を得ることもでき、一つの機材でこれまでにない様々な特殊撮影を実現できる。
【０００９】
本発明の別の態様は、画像処理方法である。この方法は、略水平方向に回転面を持つ回転自在な所定の部材に設けられた撮像部により、部材が回転する間に回転面に対して略平行となる撮影方向にて連続して撮影するステップと、部材が回転する間の連写画像を読み込むステップと、を有する。
【００１０】
「所定の部材」は、略輪状、略円盤形状、または略皿状の回転体であってもよい。この画像処理方法は、上述の撮影補助器と後述の画像処理装置を組み合わせて実現されてもよいし、画像処理機能を併せ持つ撮影補助器の利用により実現されてもよいなど、実現するための構成は限定されない。
【００１１】
本態様によれば、視差画像や全方位画像を得ることができるだけでなく、両眼立体視が可能な全方位画像など、従来にない画期的な画像を得ることができる。
【００１２】
本発明のさらに別の態様は、画像処理装置である。この装置は、略水平方向に回転面を持つ回転自在な所定の部材に設けられた撮像部により、部材が回転する間に回転面に対して略平行となる撮影方向にて連続して撮影された複数の画像を読み込む画像入力部と、複数の画像をそれらの撮影タイミングと対応させて記憶する画像保持部と、記憶した複数の画像を出力する出力処理部と、を有する。
【００１３】
本態様によれば、特殊な機材を利用した撮影で得られた画像から視差画像や全方位画像を生成して、これをプロジェクタやモニタなどの画面に出力できる。このとき、両眼立体視が可能な全方位画像など、従来にない画期的な画像を得ることができる。
【００１４】
本発明のさらに別の態様は、画像処理方法である。この方法は、回転自在に支持された所定の部材に設けられた撮像部により、部材が回転する間に回転面に対して略平行となる撮影方向にて連続して撮影された複数の画像を読み込むステップと、複数の画像をそれらの撮影タイミングと対応させて記憶するステップと、記憶した複数の画像を出力するステップと、を有する。
【００１５】
本態様によれば、特殊な機材を利用した撮影で得られた画像から視差画像や全方位画像を得ることができるだけでなく、両眼立体視が可能な全方位画像など、従来にない画期的な画像を得ることができる。
【００１６】
なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体、データ構造などの間で相互に置換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１７】
本発明によれば、画期的な特殊撮影を実現できる。
【発明を実施するための最良の形態】
【００１８】
（実施の形態１）
本発明の実施の形態１における撮影システムは、視差画像撮影用に複数の撮像部を備えた撮影補助器を用い、その撮像部が設けられた回転体を回転させながらステレオ撮影することにより、全方位の視差画像撮影とそうした画像の両眼立体視を実現する。
【００１９】
図１は、撮影システムにおける撮影補助器の外観を示す。撮影システム１０を構成する撮影補助器１２は、主に回転体１４、複数の撮像部２０、２２、および支持台１８を有する。回転体１４は、輪状の部材にて形成され、その輪の中心１６を回転中心として底面側から回転自在に支持される。回転体１４は支持台１８に支持されるとともに、図示しない制御部により回転体１４の回転が制御される。回転体１４の回転面は略水平となる。回転体１４および支持台１８は、回転体１４の回転運動を円滑にするために必要な自重を有する。回転体１４の上面における外周近傍位置、すなわち回転体１４の回転面における中心１６から所定の距離を隔てた複数の位置に第１撮像部２０および第２撮像部２２が設けられる。第１撮像部２０および第２撮像部２２は、それらが設けられた位置から被写体を撮影するとともに、撮影方向が略水平、かつ、それぞれの撮影方向が同じ方角、すなわち互いに略平行に保たれる。
【００２０】
第１撮像部２０および第２撮像部２２は、回転体１４の回転とともに、回転体１４の中心１６から第１撮像部２０または第２撮像部２２までの距離を回転半径として円運動する。その円運動の間に円運動の軌道上にある第１撮像部２０および第２撮像部２２を連写させることにより、複数の視点から被写体を捉えた視差画像を撮影しつつ、その視差画像を周囲各方向について得られるので、全方位画像としての視差画像を撮影することができる。特に、回転体１４を高速に連続回転しつつ、高速に連写することにより、精細な全方位動画が得られる。
【００２１】
図２は、回転体１４を上方から見たときの外観を示す。回転体１４は、輪状の円形部材からなるとともに、その輪の内側には中心１６から十字状に放射するスポークを有する。このスポークの交差位置となる中心１６が回転体１４の回転中心であり、またその底面側が支持台１８との接続位置となる。図に向かって回転体１４の左右両側の略中央位置に第１撮像部２０および第２撮像部２２が設けられる。第１撮像部２０および第２撮像部２２の撮影方向は、図において下方向を向いており、互いに略平行に保たれている。ただし、変形例においては被写体までの距離に応じて、第１撮像部２０および第２撮像部２２のそれぞれの撮影方向が遠方で交差するよう調整してもよい。
【００２２】
回転体１４の中心１６から第１撮像部２０または第２撮像部２２までの距離、すなわち第１撮像部２０と第２撮像部２２の円運動の回転半径をｒとすると第１撮像部２０と第２撮像部２２の間の距離は２ｒとなる。回転体１４の回転周期をＴ０（sec）とするとその回転の角速度ωは２π／Ｔ０（rad/sec）となる。第１撮像部２０および第２撮像部２２の撮影フレームレートをσ（frame/sec）とすると、フレーム間隔の回転角度Δθはω／σ（rad）となり、Δθごとに左右それぞれ１枚ずつの画像を撮影することになる。したがって、回転体１４が１周回転する間に撮影する画像枚数は、２π／Δθ＝σＴ０（枚）となる。
【００２３】
図３は、撮影補助器１２を側方から見たときの外観を示す。第２撮像部２２は、回転体１４の上面に載置される形で設けられている。第１撮像部２０は本図に示されていないが、以下、第２撮像部２２と同様である。第２撮像部２２の第２撮影方向２６は、回転体１４の回転面２８と略平行、かつ、略水平に保たれる。支持台１８は、折り畳み自在の三脚を含み、例えば汎用のカメラ三脚を用いてもよい。変形例としては、回転体１４および支持台１８を一体的に構成してもよい。
【００２４】
回転体１４は、制御部３０を介して支持台１８と連結されている。制御部３０は、その内部にモータなどの動力発生機構とその制御および撮影の制御を担当する電子的構成を有する。すなわち、制御部３０は、回転体１４の回転を制御するとともに、第１撮像部２０および第２撮像部２２と電子的に接続されてそれらの撮影を制御する。制御部３０には図示しない端子が設けられており、第１撮像部２０および第２撮像部２２で撮影した画像を外部へ出力する。
【００２５】
図４は、支持台１８における制御部３０の内部構成を示す機能ブロック図である。制御部３０は、モータ３２、モータ制御部３４、撮影制御部３６、および出力部３８を含む。モータ３２は、モータ制御部３４による制御の下で動力を発生し、回転体１４を回転させる。モータ３２として、例えば回転角度を精密に制御できるステッピングモータを用いてもよいし、ＤＣモータなど、よりトルクの大きなモータを用いてもよい。モータ制御部３４は、モータ３２を制御することにより回転体１４の回転速度を一定に保つ。回転体１４の回転速度、回転タイミング、回転数は、撮影条件として外部から設定可能である。撮影制御部３６は、モータ３２により回転体１４が回転される間、第１撮像部２０および第２撮像部２２を制御して連続的に撮影させる。その撮影間隔は一定に保たれる。撮影間隔、撮影タイミング、撮影回数もまた撮影条件として外部から設定可能である。出力部３８は、第１撮像部２０および第２撮像部２２により撮影された画像を第１撮像部２０および第２撮像部２２から受け取り、これらを外部の画像処理装置へ出力する。出力部３８は、第１撮像部２０および第２撮像部２２によって撮影が行われるたびにその撮影画像を外部へ出力してもよいし、撮影画像をいったん内部に蓄積し、それら蓄積された複数の撮影画像を適当なタイミングで一括して外部へ出力してもよい。
【００２６】
図５は、画像処理装置の機能ブロック図である。画像処理装置５０は、主に画像入力部５２、画像保持部５８、画像調整部６０、出力処理部７０、および指示受付部７６を有する。画像処理装置５０は、ハードウェア的には、コンピュータのＣＰＵをはじめとする素子で実現でき、ソフトウェア的には画像処理機能のあるプログラムなどによって実現されるが、以下説明する図５ではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できる。
【００２７】
画像入力部５２は、第１撮像部２０および第２撮像部２２によって回転角度が異なるタイミングにて撮影された複数の画像を撮影補助器１２から読み込む画像取得部５４と、それら複数の画像の各撮影タイミングにおける回転体１４の回転角度を取得する角度取得部５６と、を含む。例えば角度取得部５６は、制御部３０の撮影制御部３６から得られる撮影タイミングとモータ制御部３４から得られる回転角度に基づいて、撮影時の回転角度を検出してもよい。また例えば、回転体１４の回転の角速度が一定で、撮影間隔も一定であることを前提とする場合は、最初の画像を基準とした撮影枚数に基づいて撮影時の回転角度を算出してもよい。
【００２８】
画像取得部５４は、第１撮像部２０および第２撮像部２２から読み込んだ複数の画像を画像保持部５８に格納する。ここで、第１撮像部２０および第２撮像部２２が一度に撮影した一対の画像は視差画像を形成する。すなわち、第１撮像部２０による撮影画像を右目用画像とし、第２撮像部２２による撮影画像を左目用画像とした上で、これらを視差画像として画像保持部５８に格納する。この格納処理を画像が読み込まれるたびに繰り返すとともに、回転体１４の１周分に相当する連続撮影画像を１組のフレーム群で形成される全方位画像として位置づける。さらに回転体１４を複数周にわたって回転させながら、全方位の視差画像の組を周回数ごとのフレーム群として繰り返し格納することにより、全方位の視差画像の動画を得ることができる。このように、画像保持部５８には複数の画像がそれらの撮影タイミングと対応させた状態で格納される。
【００２９】
画像保持部５８は、画像入力部５２によって撮影補助器１２から読み出された複数の画像を、少なくとも出力処理部７０によって出力指示されるまで保持する。画像保持部５８は、例えば一時蓄積に適したバッファメモリであってもよいし、長期保持に適したハードディスクなどの磁気記録媒体やＤＶＤなどの光記録媒体およびそれらのドライブであってもよい。画像調整部６０は、画像取得部５４から画像保持部５８へ格納された画像について、必要に応じた調整処理を施す。画像調整部６０は、歪み除去部６２、補間部６４、結合部６６、および圧縮部６８を含む。
【００３０】
歪み除去部６２は、例えば画像に生じた歪みや回転体１４の高速回転にともなって生じる画像の「ずれ」や「ぶれ」を除去する。補間部６４は、内挿補間や外挿補間によりフレームとフレームの間に中間フレームを生成する。これにより、撮影回数より多くのフレームを得ることができる。結合部６６は、複数の画像を結合して一つの画像を得る。例えば結合部６６は、全方位にわたって撮影された複数の画像を部分重複させながら結合して一つのパノラマ画像を生成する。また結合部６６は、一つのパノラマ画像を生成した後、任意の画角に対応した画像を抽出してもよい。例えば、１周６枚の画像から１周分のパノラマ画像を生成した後、これを１０度ずつ画角がずれた３６枚の画像を抽出してもよい。この場合、表示する画像を１０度単位の画角で指定して選択できる。圧縮部６８は、画像保持部５８に格納された複数の画像をＪＰＥＧ形式やＭＰＥＧ形式などの所定フォーマットに圧縮処理する。
【００３１】
出力処理部７０は、指示受付部７６を介して受け取るユーザの指示または外部表示装置からの指示に基づいて、画像保持部５８に格納された画像を外部の表示装置へ出力する。出力処理部７０は、接続された外部の表示装置の表示能力に応じて全方位画像と視差画像のいずれかまたは双方を出力する。出力処理部７０は、出力すべき画像を選択する画像選択部７２と、選択された画像を外部へ送出する送出部７４と、を含む。外部の表示装置は、円筒内側面のような湾曲形状を有する全方位スクリーンをもつ表示装置またはそのような全方位スクリーンに画像を投影する液晶プロジェクタであってもよい。この場合、表示装置は指示受付部７６に対して全方位画像の送出指示を入力する。送出部７４は、右目用の全方位画像と左目用の全方位画像を高速で交互に切り替えて送出する。画像を鑑賞する者は、円筒の中心軸位置にて液晶シャッター付き眼鏡を装着する。液晶シャッターは送出部７４による右目用画像と左目用画像の切替に同期して、左右のシャッターの開閉を繰り返す。これにより、全方位にわたって視差画像を両眼立体視することができる。また変形例として、表示装置は全方位球面ディスプレイに画像を投影してもよい。
【００３２】
表示装置は、他の例として画像を鑑賞する者の頭部に装着するヘッドマウントディスプレイ（Head Mounted Display。以下、「ＨＭＤ」という）であってもよい。この場合、ＨＭＤに内蔵された方位センサが現在顔が向いている方向を検出して、これを画像を鑑賞する者により指示された方向に関する情報として指示受付部７６へ送信する。指示受付部７６は、取得した方向に関する情報に基づいてどの方位の画像を送出すべきかを画像選択部７２に指示する。ＨＭＤの方位センサは、絶対的な方位を検出してもよいし、所定の方向を基準とした回転角度を相対的な方位として検出してもよい。ＨＭＤの方位センサが絶対的な方位を検出するとともに、画像処理装置５０の角度取得部５６が撮影画像ごとに絶対的な方位を検出してその方位と対応づけて画像が画像保持部５８に保存される場合、例えば遠隔地にある特定の建造物の３次元画像を撮影補助器１２が撮影し、これをＨＭＤにおいて鑑賞者が向いている実際の方位と正確に対応づけた形で３次元画像を表示させることもできる。変形例として、指示受付部７６は取得した方向に関する情報に基づいてどの方位の画像を撮影すべきかを第１撮像部２０、第２撮像部２２等の撮像部へフィードバックしてもよい。その場合、第１撮像部２０、第２撮像部２２は、どの方位の画像を撮影すべきかのフィードバック情報に基づいて撮影方向を制御する。これにより、画像を鑑賞する者の顔が向いている方向の画像だけを撮影してＨＭＤに表示させることができる。
【００３３】
表示装置は、他の例として、液晶ディスプレイなどの通常のモニタであってもよい。画像処理装置５０は撮影補助器１２とインターネットなどのネットワークと映像配信装置を介して接続され、画像処理装置５０は映像配信装置による映像配信を遠隔から要求してもよい。
【００３４】
図６は、撮影補助器１２により撮影された動画のフレーム構成を模式的に示す。図の左側に並べられたフレーム群は、第２撮像部２２により撮影された左目用の画像群であり、図の右側に並べられたフレーム群は、第１撮像部２０により撮影された右目用の画像群である。図の奥側が時間的に前に撮影されたフレームで、図の手前側が時間的に後に撮影されたフレームである。例えば、３６０度全方位の画像を１組とし、毎秒３０組の画像を撮影したい場合、１秒間に回転体１４を３０回転させることになるのでその回転周期Ｔ０は１／３０ secとなり、角速度ωは６０π rad/secとなる。フレーム間隔の回転角度Δθを例えばπ／３ radにしたい場合、第１撮像部２０および第２撮像部２２の撮影フレームレートσは、少なくとも１８０ frame/secの高速撮影をする必要がある。また、全方位の画像１組に含まれるフレーム数は６枚となる。この場合、フレーム間隔の回転角度Δθはπ／３であり、少なくとも６０度分の画角で撮影された画像を得られれば、それらを連結して切れ目のない全方位画像を生成できる。図では右目用と左目用にそれぞれ３組ずつのフレーム群が示されている。第１組のフレーム群は回転体１４の１回転目に撮影された画像群であり、第２組のフレーム群は２回転目、第３組のフレーム群は３回転目に撮影される。
【００３５】
図７は、フレーム群とフレーム番号の関係を模式的に示す。画像処理装置５０が表示装置としてＨＭＤなど特定方向の限定的な画角で画像を表示する装置に画像を出力する場合、出力処理部７０は図に示した各組のフレーム群から１枚だけ選択して出力する。１組のフレーム群におけるフレーム番号をｎとし、フレーム群の組番号をｆとした場合、１組のフレーム枚数がσＴ０（枚）なので、複数のフレーム群全体におけるフレーム番号Ｎは、ｎ＋ｆ×σＴ０となる。指示受付部７６がＨＭＤから方向に関する情報として角度Ｖ（rad）を取得した場合、表示すべき画像として画像選択部７２が選択する画像のフレーム番号ｎは、Ｖ／Δθとなる。Ｖ／θが整数でない場合、画像選択部７２はこれを四捨五入などで整数化してもよいし、結合部６６に対してＶに基づく適切な画角の画像を生成させてもよいし、補間部６４に対して前後のフレームをキーフレームとした補間による中間フレームを生成させてもよい。なお、右目用画像と左目用画像でフレーム番号ｎは共通である。動画を構成するフレームとしての表示順序をｉ［０，１，２・・・］とすると、画像選択部７２が選択すべきフレーム番号Ｎ［ｉ］は、ｎ＋ｉσＴ０＝Ｖ／Δθ＋ｉσＴ０＝ＶσＴ０／２π＋ｉσＴ０（式１）となる。
【００３６】
図８は、撮影補助器１２の動作を示すフローチャートである。まず、回転速度や撮影タイミングなどの撮影条件が制御部３０において設定され（Ｓ１０）、制御部３０は回転体１４の回転を開始するとともに（Ｓ１２）、第１撮像部２０および第２撮像部２２による連写を開始する（Ｓ１４）。制御部３０は、第１撮像部２０および第２撮像部２２により連続的に撮影された画像を読み込んで外部への連続的な画像出力を開始する（Ｓ１６）。回転体１４の回転数や撮影回数などが設定値に達したり、あるいはユーザにより停止が指示されるなど、停止条件を満たすまで回転体１４の回転、第１撮像部２０および第２撮像部２２による連写、制御部３０による画像出力を繰り返し（Ｓ１８Ｎ）、停止条件を満たしたときに制御部３０は動作を終了させる（Ｓ１８Ｙ）。
【００３７】
図９は、画像処理装置５０の処理過程を示すフローチャートである。まず画像入力部５２が撮影補助器１２から一対の画像を読み込み（Ｓ３０）、それらが撮影されたときの回転体１４の回転角度を検出する（Ｓ３２）。画像入力部５２は画像保持部５８へ画像を保存し（Ｓ３４）、画像調整部６０は画像保持部５８に格納された画像を調整する（Ｓ３６）。撮影補助器１２から次の画像出力がある場合（Ｓ３８Ｙ）、Ｓ３０〜Ｓ３６の処理を繰り返す。撮影補助器１２から次の画像出力がなければ（Ｓ３８Ｎ）、画像処理装置５０は処理を終了させる。なお、出力処理部７０は、撮影補助器１２による撮影と同時に表示装置へ画像を出力する場合にはＳ３０〜Ｓ３８の処理と並行して画像保持部５８に格納された画像の出力を処理する。
【００３８】
（実施の形態２）
本発明の実施の形態２における撮影補助器１２は、その回転体１４に設けられる撮像部が一つである点で本発明の実施の形態１と異なる。また、視差画像を取得する手法や全方位画像を取得する手法も実施の形態１と異なる。
【００３９】
図１０は、実施の形態２における回転体１４を上方から見た外観を示す。本実施の形態では、図において回転体１４の上面右側の略中央位置に一つの撮像部４０が設けられている。撮像部４０は、回転体１４の回転とは独立に自転する。撮像部４０が自転する間に連写することにより、全方位画像が得られる。また、撮像部４０の自転とは別に回転体１４全体もまた回転する。ただし、本実施の形態における回転体１４の回転は、実施の形態１のような連続的な回転ではなく、視差画像を得るための２つの視点位置間で撮像部４０を移動させるための回転であり、そうした２位置間移動を前提とした間欠的な回転制御が制御部３０によりなされる。これにより、全方位画像の視差画像が得られるとともに、回転体１４の間欠的な回転と撮像部４０による連写を高速で繰り返すことにより、全方位の視差画像をフレームとする動画を撮影することもできる。
【００４０】
撮像部４０が１周自転する間に撮影される画像群を１組の全方位画像とした場合、制御部３０が回転体１４を１８０度ずつ間欠的に回転させると１周の回転で２組の全方位画像が得られる。これら２組の全方位画像は、それぞれ右目用の全方位画像と左目の全方位画像となり、一対の全方位視差画像となる。また例えば制御部３０が回転体１４を９０度ずつ間欠的に回転させる場合、１周の回転で４組の全方位画像が得られる。これら４組の全方位画像は、二つの視線方向に対応する二対の全方位視差画像となる。このように１周の間に回転体１４が停止する回数を増やせば全方位視差画像の組数も増加し、より高精細な全方位視差画像が得られる。
【００４１】
図１１は、撮像部４０の外観を示す。撮像部４０の自転の回転中心は撮像部４０が設けられた位置の中心であり、自転の回転軸４６は撮影方向と直交し、自転の回転面は回転体１４の回転面と略平行である。撮像部４０の内部には自転するためのモータとその制御部が内蔵される。ただし、変形例としては回転体１４の内部に撮像部４０を回転させるためのモータとその制御部を内蔵させてもよい。
【００４２】
図１２は、実施の形態２における撮影補助器１２の動作を示すフローチャートである。ここでは、回転体１４を１周させる間に撮像部４０を２回自転させる例を説明する。まず、回転速度や撮影タイミングなど撮影条件が制御部３０において設定され（Ｓ６０）、制御部３０は撮像部４０の自転を開始させるとともに（Ｓ６２）、撮像部４０は自転する間に連写し（Ｓ６４）、撮像部４０が１周自転し終わったところで自転および連写を停止させる（Ｓ６６）。これが第１の視点における全方位画像撮影であり、制御部３０はこれらの画像を外部に出力する（Ｓ６７）。次に、制御部３０は回転体１４を所定角度だけ回転させ（Ｓ６８）、その位置で再び撮像部４０の自転を開始させるとともに（Ｓ７０）、撮像部４０は自転する間に連写し（Ｓ７２）、撮像部４０が１周自転し終わったところで自転および連写を停止させる（Ｓ７４）。これが第２の視点における全方位画像撮影であり、制御部３０はこれらの画像を外部に出力する（Ｓ７６）。また、第１の視点における画像と第２の視点における画像は、一対の全方位視差画像となる。撮影条件として回転体１４の周回数が複数周回に設定されているなど動作を継続させる場合は（Ｓ７７Ｎ）、回転体１４を元の回転開始位置まで回転させ（Ｓ７８）、Ｓ６２〜Ｓ７６の撮影動作を繰り返し、停止条件を満たしたときに制御部３０は動作を終了させる（Ｓ７７Ｙ）。
【００４３】
（実施の形態３）
本発明の実施の形態３においては、撮影補助器１２の回転体１４に二つの撮像部が設けられている点では実施の形態１と共通するも、それら二つの撮像部の撮影方向が互いに異なる点で実施の形態１と相違する。
【００４４】
図１３は、実施の形態３における回転体１４を上方から見た外観を示す。回転体１４の上面には、本発明の実施の形態１と同様に、複数の撮像部として第１撮像部２０および第２撮像部２２が設けられている。ただし、実施の形態１とは異なり、第１撮像部２０および第２撮像部２２がいずれも図において右側に設けられており、それぞれの撮影方向２４、２６が互いに正反対の方角を向いている。本実施の形態の撮影補助器１２は、主に三つの動作モードを有する。
【００４５】
第１のモードでは、図の状態で２方向の画像を撮影した後、制御部３０は回転体１４を１８０度回転させ、その状態でさらに２方向の画像を撮影する。これにより、２方向の視差画像を同時撮影できる。変形例として回転体１４を９０度回転させるごとに２方向の撮影を行えば、計４方向の視差画像を撮影することができる。回転角度をより小さくすれば、多方向の視差画像を同時撮影することも可能である。
【００４６】
第２のモードでは、制御部３０は回転体１４を連続回転させつつ、第１撮像部２０および第２撮像部２２に連写をさせる。これにより、全方位の視差画像を得ることができる。ただし、一対の視差画像を形成すべき二つの画像は、その撮影タイミングにおける回転体１４の回転角度に１８０度の位相ズレがある。したがって、例えば左目用画像のフレーム番号Ｎを図７で説明した式１で表す場合、右目用画像のフレーム番号Ｎ’［ｉ］は、ｎ＋ｉσＴ０＋π／Δθ＝Ｖ／Δθ＋π／Δθ＋ｉσＴ０＝（Ｖ＋π）σＴ０／２π＋ｉσＴ０となる。
【００４７】
第３のモードでは、制御部３０は第１撮像部２０および第２撮像部２２からなるブロックを自転させつつ、連写をさせる。この場合、実施の形態２と異なり、半周自転する間に全方位画像を得ることができる。また、図の状態で第１撮像部２０および第２撮像部２２を半周だけ自転させて連写した後、回転体１４を１８０度回転させて再び第１撮像部２０および第２撮像部２２を半周自転させて連写する。これにより、全方位の視差画像を得ることができる。変形例として回転体１４を高速で連続回転させつつ第１撮像部２０および第２撮像部２２を自転させて連写することにより、全方位の視差画像で構成される動画を撮影してもよい。
【００４８】
（実施の形態４）
本発明の実施の形態４においては、撮像部として全方位カメラを用いる点で他の実施の形態と異なる。全方位カメラとしての撮像部は、その撮像部が設けられた位置を中心とした略全方位を一度に撮影可能な全周撮像機構を備える。全周撮像機構は、例えば内部に設けられた曲面反射鏡などの光学的機構を利用して３６０度の周囲を撮像できる。このような全方位カメラを例えば実施の形態２や実施の形態３に応用した場合、撮像部を自転させなくとも全方位画像を得ることができる。
【００４９】
（実施の形態５）
本発明の実施の形態５においては、撮像部として一般のカメラを用いる点で他の実施の形態と異なる。
【００５０】
図１４は、一般のカメラを用いた撮像部の外観を示す。この撮像部はカメラ４２を取り付けるためのカメラ固定部４４で構成されており、撮影に際してカメラ固定部４４にカメラが取り付けられることによりこの撮像部に撮像機能が備わることとなる。カメラ固定部４４は、側面がＬ字形状を有し、回転面に平行な部分と垂直な部分がある。平行な部分はカメラ４２の背面に接する。垂直な部分はカメラ４２を載置できる台であり、カメラ４２の底部と接する位置にカメラ４２を取り付け固定するための雲台機構を有する。その雲台機構がもつネジがカメラ４２底部のネジ孔に止められ、カメラ４２がカメラ固定部４４の上にネジ固定される。カメラ４２は、固定されたときにその撮影方向が回転体１４の回転面に対して略平行となる。これにより、一般のカメラを用いたより簡易な構成により撮影補助器１２を実現することができる。
【００５１】
本実施の形態における撮像部の自転動作や回転体１４の回転動作、撮影方法などに関しては実施の形態１〜３とほぼ同様であるが、カメラ４２の機能如何により画像の取得方法が異なる場合がある。例えばカメラ４２がデジタルカメラの場合は、カメラ４２の画像出力端子が撮影補助器１２の制御部３０と接続されて画像が出力されるか、またはカメラ４２に装着された記録媒体から画像処理装置５０の画像入力部５２により画像が読み出される必要がある。例えばカメラ４２が銀塩フィルムカメラの場合、画像入力部５２はプリント写真を光学的に走査する外部接続機器から複数のデジタル画像を取得する機能を有してもよい。
【００５２】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、変形例を挙げる。
【００５３】
実施の形態においては、回転体１４を自動で回転させて連写する構成であったが、変形例においては回転体１４を手動で回転させる構成であってもよい。その場合、撮影補助器１２の制御部３０にモータ３２およびモータ制御部３４を設ける必要がなく、より簡易な構成とすることができる。その場合、制御部３０の内部に回転角度センサを別途設けてもよい。
【００５４】
実施の形態において、第１撮像部２０、第２撮像部２２、撮像部４０、カメラ４２などの撮像部を回転体１４の上面に設けた構成としたが、変形例においては回転体１４の下面や回転体１４の内部に撮像部を設けた構成としてもよい。
【００５５】
実施の形態において、回転体１４および支持台１８は回転を円滑化させるための自重を有する構成としたが、変形例においては回転運動を円滑にするための重りを、回転体１４の外周近傍位置に取り付けてもよい。その重りを例えば外周近傍の９０度おきに数カ所取り付けてもよい。重りの重さは第１撮像部２０、第２撮像部２２、撮像部４０、またはカメラ４２の重さに応じて設定されてもよい。回転体１４は、９０度おき数カ所に重りを取り付けるための重り固定部を有してもよい。
【００５６】
実施の形態において、第１撮像部２０、第２撮像部２２、撮像部４０、カメラ４２などの撮像部を自転させる場合、これら撮像部自体が回転する構造とした。変形例における各撮像部は、所定の形状をもつ反射鏡を介して被写体の像を取り込む構造としてもよい。その上で、撮像部の自転においては撮像部自体を回転させずに反射鏡を移動または回転させることにより、その撮影方向が自転するよう構成してもよい。
【００５７】
実施の形態において、画像を鑑賞する者の向いている方向をＨＭＤの方向センサが検出して、これを指示受付部７６へ送信する構成を説明した。変形例においては、指示受付部７６をゲーム機やマルチメディア機器で使用されるコントローラの形で構成させてもよく、その場合の指示受付部７６はコントローラ上のボタン操作を通じて鑑賞者による方向の指示を取得してもよい。
【図面の簡単な説明】
【００５８】
【図１】撮影システムにおける撮影補助器の外観を示す図である。
【図２】回転体を上方から見たときの外観を示す図である。
【図３】撮影補助器を側方から見たときの外観を示す図である。
【図４】支持台における制御部の内部構成を示す機能ブロック図である。
【図５】画像処理装置の機能ブロック図である。
【図６】撮影補助器により撮影された動画のフレーム構成を模式的に示す図である。
【図７】フレーム群とフレーム番号の関係を模式的に示す図である。
【図８】撮影補助器の動作を示すフローチャートである。
【図９】画像処理装置の処理過程を示すフローチャートである。
【図１０】実施の形態２における回転体を上方から見た外観を示す図である。
【図１１】撮像部の外観を示す図である。
【図１２】実施の形態２における撮影補助器の動作を示すフローチャートである。
【図１３】実施の形態３における回転体を上方から見た外観を示す図である。
【図１４】一般のカメラを用いた撮像部の外観を示す図である。
【符号の説明】
【００５９】
１０  撮影システム、  １２  撮影補助器、  ２０  第１撮像部、  ２２  第２撮像部、  １４  回転体、  ２８  回転面、  ４０  撮像部、  ４２  カメラ、  ４４  カメラ固定部、  ５０  画像処理装置、  ５２  画像入力部、  ５８  画像保持部、  ７０  出力処理部、  ７６  指示受付部。
【図１】
2005092121.tif 000003
【図２】
2005092121.tif 000004
【図３】
2005092121.tif 000005
【図４】
2005092121.tif 000006
【図５】
2005092121.tif 000007
【図６】
2005092121.tif 000008
【図７】
2005092121.tif 000009
【図８】
2005092121.tif 000010
【図９】
2005092121.tif 000011
【図１０】
2005092121.tif 000012
【図１１】
2005092121.tif 000013
【図１２】
2005092121.tif 000014
【図１３】
2005092121.tif 000015
【図１４】
2005092121.tif 000016