(57)【要約】  【課題】  超広角カメラの利便性を損なうことのない適切なモニタ画像を生成する。また、記録した超広角画像の中から所望の被写体範囲を検索しやすくする。  【解決手段】  超広角画像を撮影する撮像手段、撮影された画像データを記録する記録手段、前記撮像手段の姿勢変化を検出する検出手段、前記撮影画像の一部を切り出す画像切り出し手段、前記検出手段の検出結果に応じて、前記画像切り出し位置ないし領域を変更する切り出し画像変更手段、該切り出し画像を表示する表示手段、を備える。前記検出結果の情報を前記画像データに付加して記録する。あるいは、前記画像切り出し位置ないし領域の情報を前記画像データに付加して記録する。【選択図】  図３
2012119804.tif 000002
【特許請求の範囲】
【請求項１】
超広角画像を撮影する撮像手段と、
前記撮像手段の姿勢変化を検出する検出手段と、
前記超広角画像から一部を切り出すモニタ画像切り出し手段と、
前記検出手段の検出結果に応じて、前記モニタ画像切り出し位置ないし領域を変更する切り出し画像変更手段と、
該切り出し画像を表示する表示手段と、
を備える画像記録装置。
【請求項２】
撮影された前記超広角画像を記録する画像記録手段を備える請求項１に記載の画像記録装置。
【請求項３】
撮像手段に含む光学素子の歪曲収差情報を記憶する記憶手段と、
該歪曲収差情報に応じて、前記超広角画像から生成した画像を記録する画像記録手段と、
を備える請求項１又は請求項２に記載の画像記録装置。
【請求項４】
前記検出情報を前記画像データに付加して記録する画像記録手段を備える請求項２又は請求項３に記載の画像記録装置。
【請求項５】
前記モニタ画像切り出し位置ないし領域の情報を前記画像データに付加して記録する画像記録手段を備える請求項２乃至請求項４のいずれか１項に記載の画像記録装置。
【請求項６】
前記画像データに付加された前記情報を読み出す情報読み出し手段と、
該情報に応じて、前記画像データを加工し再生画像を生成する再生画像生成手段と、
該再生画像を表示する表示手段、ないし外部表示手段へ出力する出力手段と、
を備える請求項２乃至請求項５のいずれか１項に記載の画像記録装置。
【請求項７】
前記画像データに付加された前記情報を読み出す情報読み出し手段と、
該情報に応じて、前記画像データから所定の位置ないし領域を切り出して画像を生成する再生画像生成手段と、
該再生画像を表示する表示手段と
外部表示手段へ出力する出力手段と、
を備える請求項２乃至請求項５のいずれか１項に記載の画像記録装置。
【請求項８】
撮像手段に含む光学素子の歪曲収差情報を記憶する記憶手段と、
該歪曲収差情報と前記情報に応じて、前記画像データを加工し再生画像を生成する再生画像生成手段と、
を備える請求項２乃至請求項７のいずれか１項に記載の画像記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像記録装置ないし画像記録再生装置に関し、特に超広角撮像系を備えた画像記録ないし記録再生装置、さらにその画像記録方法および画像再生方法、に関するものである。
【背景技術】
【０００２】
デジタルカメラやビデオカメラなどの撮像装置には、光学情報を電子データに変換する手段としてＣＣＤやＣＭＯＳなどの撮像素子が用いられている。また、変倍機構によりユーザが撮影画角を自由に変更できるように撮像光学系を構成し、様々な撮影シーンに対応できるようになっている。
【０００３】
昨今、撮像素子の多画素化が進み、テレビモニタなどのモニタ装置で再生できる画素数より十分に多画素の撮像素子が得られるようになっている。これにより、いわゆる電子ズームや電子式手ブレ補正機能が実現されている。
【０００４】
図１３から図１７を参照して、従来のビデオカメラの例を説明する。
【０００５】
図１３は、従来のビデオカメラ１３０１の撮影時の様子を模式的に表している。変倍機構により撮影画角１３０２が設定され、その画角内にある被写体１３０３が撮影できる。ビデオカメラなど手持ちの撮像装置は撮影中に静止させておくことが難しく、カメラ本体が動いてしまうことで撮影した映像がブレてしまうことがある。いわゆる手ブレである。この手ブレを補正して、安定した映像を記録できるようにするための機能が手ブレ補正である。手ブレ補正機能には、一つには、変倍機構を構成するレンズなどの一部の光学素子を物理的に動かしてブレを打ち消す、いわゆる光学式手ブレ補正がある。または、以下に説明する電子式手ブレ補正がある。図１４は、ビデオカメラの電子式手ブレ補正機能に関わる構成を表したブロック図である。図１５は、撮像素子１４０１上の撮像領域を模式的に表す図である。
【０００６】
電子式手ブレ補正は、映像信号を生成するのに必要な画素数より多い撮像素子１４０１を利用し、撮像素子１４０１により取得した全撮像領域から、後に説明するブレ情報に応じて所定範囲の撮像データを抽出（切り出しとも言う）して映像信号を生成するものである。
【０００７】
図１５に示すように、所定の映像信号を生成するのに必要な撮像領域１５０１に対して、撮像素子１４０１の全撮像領域１５０３は大きい。黒破線で示す範囲１５０１が映像信号を生成するために必要な範囲であり、通常は黒破線範囲１５０１の撮像データを抽出して映像信号を生成する。手ブレを検知すると、映像信号を生成するために抽出する撮像領域をブレを打ち消す方向に移動させる。図１５の灰破線１５０２は、ブレを打ち消す方向に移動した撮像領域を表す。
【０００８】
電子式手ブレにおいてブレを検知する方法には、代表的には二通りある。
【０００９】
図１４（Ａ）は、ビデオカメラ１３０１の手ブレによる姿勢変化をジャイロセンサ１４０２、１４０３を用いて検出する構成を示している。一般には、ビデオカメラのヨー角とピッチ角の変化をそれぞれジャイロセンサで検知する。ジャイロセンサ１４０２、１４０３による検知結果に応じて、制御部１４０４にてビデオカメラ１３０１の姿勢変化を相殺するために必要な抽出領域の移動量を算出する。信号処理回路１４０５にて、撮像領域の抽出と所定の映像信号への変換が行われる。
【００１０】
または、図１４（Ｂ）は、撮像データを用いて被写体像の移動を検知する構成を示している。現在の撮像データと、フレームメモリなどに格納された直前の撮像データとを動きベクトル検出器１４０７にて比較評価し、その比較データから撮像領域内での特徴点の移動方向および移動量を算出する。信号処理回路１４０６では、動きベクトルを相殺する方向および量だけ抽出領域を移動する。
【００１１】
以上のような構成により、信号処理回路１４０５、１４０６から記録再生回路１４０８に伝送される映像信号はブレ成分が相殺されて安定した映像（図１６）となり、記録メモリ１４０９に記録される。
【００１２】
図１７は、以上に説明したビデオカメラ１３０１の動作を説明するフローチャートである。
【００１３】
図１７（Ａ）は撮影時の動作フローである。ユーザによる録画ボタンの操作に応じて、撮像素子から信号処理回路へ撮像データが取り込まれる（Ｓｔｅｐ１７０１）。先述した手ブレ検知手段による手ブレ情報に応じて、撮像領域の抽出が行われる（Ｓｔｅｐ１７０２）。結果、手ブレ成分が除去されて安定した映像が記録される。
【００１４】
図１７（Ｂ）は上記の記録された映像を再生する時の動作フローである。ユーザによる再生ボタンの操作に応じて、記録されている映像データが読み出される（Ｓｔｅｐ１７０３）。記録された映像データは、既に手ブレ成分が除去された映像であるので、そのままモニタ装置で再生して鑑賞できる。
【００１５】
さて、画像処理ＩＣの高速化、画像生成アルゴリズムの改善などによって、撮像素子によって得た撮像データからリアルタイムで様々な画像が生成できるようになってきている。また、撮像素子の多画素化によって画像の高精彩化が実現されたため、画像の一部を拡大表示しても鑑賞画質を維持することができる。例えば、電子ズームや再生時ズームといった機能として商品化されている。
【００１６】
以上のように、十分に高精彩な画像を得ることができ、また、撮像データをリアルタイム処理または後処理することで所望の映像を得ることができるようになり、新たな形態の電子カメラが提案されている。一例として、魚眼レンズなどによる超広角画像を高精彩で撮影するカメラがある。得られた撮像データの一部を使って後処理により所望の画像を得るので、撮影画角を操作する必要が無く、従って変倍機構が不要であり、機器の小型化、低コスト化が期待できる。さらには、超広角画像でカメラ周囲の状況を一度に記録することができるので、被写体がカメラ周囲にありさえすれば撮影でき、再生時の操作によって見たい被写体像を拡大すれば良い。常に被写体にカメラを向けて構え、被写体の動きを注視して撮影していた従来に対し、撮影者の負担が減って利便性が向上する。
【００１７】
従来のカメラより広角画像を撮影でき、後処理によって所望の画像を得るカメラ装置としては、例えば特許文献１、特許文献２を挙げる提案がある。
【００１８】
特許文献１には、広角カメラを備えるテレビインターホンが開示されている。来訪者の画像をモニターテレビに表示させるに当たって、画面内での来訪者の表示位置を指定する。その後は、指定した位置に常に来訪者を表示するように、来訪者の動きに追従して表示範囲を変化させる。
【００１９】
特許文献２には、魚眼またはその他の超広角カメラを備えるテレビカメラ装置が開示されている。マイクロフォンを備え、音源方向を判別し、音源方向を追尾し、音源方向の画面を抽出して映像信号を生成する。
【００２０】
いずれも、カメラの姿勢が固定された状態の中で、外部情報に応じて広角画像の中から表示する範囲を変化させるものである。
【先行技術文献】
【特許文献】
【００２１】
【特許文献１】特開平６−３８２１４号公報
【特許文献２】特開平１１−３３１８２７号公報
【発明の概要】
【発明が解決しようとする課題】
【００２２】
さて、ビデオカメラのようなモバイル機器に超広角カメラを備えた場合、その撮影中のモニタ画像の表示方法には工夫が必要である。モバイル機器は小型軽量が求められており、従って、液晶ディスプレイ（ＬＣＤ）など表示装置の大きさには制約がある。超広角カメラで撮影した画像全体は主被写体を含む非常に広い画角の画像であるので、小型ＬＣＤでは全体画像の中から所望の主被写体の様子を確認することが困難である。そのため、参考文献に挙げたように、広角画像の中から所定の範囲のみを切り出してモニタ表示することが考えられる。しかしながら、ビデオカメラのようなモバイル機器においては、機器の姿勢自体が常に変化し得ること、さらに先述の手ブレが発生するため、表示範囲を決定する条件を考慮しなければならない。先述した超広角カメラの特徴である、後処理によって所望の画像を得るため撮影中のカメラ姿勢に注意を払う必要が無い、という利便性を損なわないために、撮影中のモニタ画像も適切に生成しなければならない。
【００２３】
また、超広角画像を再生鑑賞する際には、全体画像の中から所望の被写体像を探して拡大し、さらに、全体画像内での被写体像の動きに追従させて表示範囲を移動することが必要である。モバイル機器のカメラで撮影した超広角画像においては、被写体自身の移動に加えてカメラ自身の姿勢変化や手ブレがあり、主被写体は全体画像の中で複雑な移動をする。再生時に被写体像を安定して鑑賞するために、工夫が必要である。
【００２４】
以上のことを鑑み、本発明の目的は、超広角カメラの利便性を損なうことのない適切なモニタ画像を生成し、使い勝手の良い撮像装置を提供することにある。
【００２５】
また、記録した超広角画像の中から所望の被写体範囲を検索しやすくし、再生鑑賞時における利便性を向上することにある。
【課題を解決するための手段】
【００２６】
本発明の画像記録装置は、
超広角画像を撮影する撮像手段、前記撮像手段の姿勢変化を検出する検出手段、前記超広角画像の一部を切り出すモニタ画像切り出し手段、前記検出結果に応じて、前記モニタ画像切り出し位置ないし領域を変更する切り出し画像変更手段、該切り出し画像を表示する表示手段、を備える。
また、前記超広角画像を記録する画像記録手段を備える。
あるいは、撮像手段に含む光学素子の歪曲収差情報を記憶する記憶手段を備え、該歪曲収差情報に応じて前記超広角画像から生成した画像を記録する画像記録手段を備える。
また、前記検出情報を前記画像データに付加して記録する。
あるいは、前記画像切り出し位置ないし領域の情報を前記画像データに付加して記録する。
さらに、前記画像データに付加された読み出した前記情報に応じて、前記画像データ全体を加工し再生画像を生成する。そして該再生画像を表示する表示手段、ないし外部表示手段へ出力する出力手段、を備える。
または、読み出した前記情報に応じて、前記画像データから所定の範囲ないし領域を切り出して再生画像を生成する。そして該再生画像を表示する表示手段、ないし外部表示手段へ出力する出力手段を備える。
【００２７】
さらには、撮像手段に含む光学素子の歪曲収差情報を記憶する記憶手段を備え、該歪曲収差情報と前記情報に応じて、前記画像データを加工し再生画像を生成する。
【発明の効果】
【００２８】
以上説明したように、本発明の画像記録装置によれば、
撮像手段により超広角画像を撮像し、該撮像手段の姿勢変化を検出して、その検出結果に応じて、超広角画像の一部を位置ないし領域を変更して切り出して画像を生成し、表示手段に表示する。
【００２９】
さらに、前記超広角画像を記録する。または、記憶した撮像手段に含む光学素子の歪曲収差情報に応じて、前記超広角画像から生成した画像を記録する。
【００３０】
また、前記撮像手段の姿勢変化情報を画像データに付加して記録する。あるいは、前記撮像手段の姿勢変化情報により変更された前記画像切り出し位置ないし領域の情報を、画像データに付加して記録する。
【００３１】
さらに、画像データに付加された前記情報を読み出し、該情報に応じて前記画像データ全体を加工し再生画像を生成する。または、記録された画像データから所定の範囲ないし領域を切り出して再生画像を生成する。生成した再生画像は、表示手段に表示するか、あるいは外部表示手段へ出力する。さらには、撮像手段に含む光学素子の歪曲収差情報を記憶しており、該歪曲収差情報と前記情報に応じて再生画像を生成する。
【図面の簡単な説明】
【００３２】
【図１】第一の実施形態である、魚眼レンズを備えたビデオカメラの外観図である。
【図２】第一の実施形態のビデオカメラを装着した図である。
【図３】第一の実施形態のビデオカメラのブロック図である。
【図４】第一の実施形態のビデオカメラで撮影できる全体画像を表す図である。
【図５】第一の実施形態のビデオカメラにおけるモニタ画像領域の移動の様子を表す。
【図６】第一の実施形態のビデオカメラの動作を説明するフローチャートである。
【図７】第二の実施形態である、全方位カメラを備えたビデオカメラの外観図である。
【図８】第二の実施形態のビデオカメラのブロック図である。
【図９】第二の実施形態のビデオカメラで撮影できる全方位画像を表す図である。
【図１０】第二の実施形態のビデオカメラにおけるモニタ画像領域の移動の様子を表す。
【図１１】第二の実施形態のビデオカメラにおける再生画像領域の移動の様子を表す。
【図１２】第二の実施形態のビデオカメラの動作を説明するフローチャートである。
【図１３】従来のビデオカメラでの撮影時の様子を表す図である。
【図１４】従来のビデオカメラにおける電子式手ブレ補正機能を説明するブロック図である。
【図１５】従来のビデオカメラにおける撮像素子上の撮像領域を表す図である。
【図１６】従来のビデオカメラにおける手ブレ補正が適用された画像の例である。
【図１７】従来のビデオカメラの手ブレ補正機能に関するフローチャートである。
【発明を実施するための形態】
【００３３】
以下、本発明の実施形態について説明する。
【００３４】
実施例１では、魚眼レンズを用いた超広角カメラにおいて、撮影中のモニタ画像の生成方法、および再生画像の生成方法について説明する。
【００３５】
実施例２では、ミラーを用いてカメラの全周囲画像を撮影可能なカメラ（全方位カメラ）において、撮影中のモニタ画像の生成方法、および再生画像の生成方法について説明する。
【００３６】
［実施例１］
図１は、本実施形態におけるビデオカメラ１０１の外観を表し、図２は本ビデオカメラ１０１の使用時の様子を表す。図３は本ビデオカメラ１０１の構成を表すブロック図である。
【００３７】
本ビデオカメラ１０１は、魚眼レンズ３０１を用いた略１８０°の超広角画像を撮影可能なビデオカメラであり、カメラ部１０２は記録部１０３から分離され伝送ケーブル１０４で接続している。また、図２のように、ヘッドバンド１０５によりカメラ部１０２を撮影者の頭部に装着して使用する。先述の通り、超広角カメラは撮影方向や画角を意識する必要が少ない。そのため、手で持って構えずとも頭部に装着しておけば、撮影者が注目した被写体およびその周囲の状況を含む、撮影者の顔正面方向の略１８０°の範囲全体を撮影することができる。
【００３８】
記録部１０３は、表示装置としてＬＣＤモニタ３０２を備えている。カメラ部１０２で撮影された超広角の全体画像から、後述するモニタ画像をＬＣＤモニタ３０２に表示し、被写体像を確認できる。また、記録部１０３には本ビデオカメラ１０１の電源をＯＮ／ＯＦＦする電源スイッチ３０３と、録画開始／停止を操作する録画ボタン３０４、記録されている画像を再生する再生ボタン３０５、後述するモニタ画像の切り出し範囲を操作する方向レバー３０６を備えている。
【００３９】
図４は、本ビデオカメラ１０１で撮影できる画像と、その後処理について説明する模式図である。
【００４０】
図５は、全体画像の中でのモニタ画像の切り出し範囲を表している。
【００４１】
さらに図６は、本ビデオカメラ１０１の動作を説明するフローチャートである。
【００４２】
以上を参照して、本ビデオカメラ１０１の動作を説明する。
【００４３】
図４は本ビデオカメラ１０１で撮影できる全体画像を模式的に表す。魚眼レンズでは被写体像を球面として捉えるため、図４（Ａ）のように周辺に向かうほど実像が歪曲した画像が得られる。なお、図４（Ａ）に示す破線は、実像の垂直線および水平線がどのように投射されるかを模式的に表している。こうして得られた像が撮像素子３０７に投射され、信号処理回路３０８を経て記録部１０３に伝送する。記録部１０３に備えた画像処理部３０９にて、記憶されている魚眼レンズ３０１の歪曲収差情報を参照して演算を行い、図４（Ｂ）に示すような歪曲を補正し矩形に整形した全体画像４０１を得る。例えば、図４（Ａ）に示す破線丸４０２の領域は、撮影画角の中心にあり歪曲が少ないので、歪みの補正量は少ない。一方、破線丸４０３の領域は撮影画角の周辺にあって歪曲が強く、補正後の全体画像４０１においては破線丸４０４のように周辺に向かって伸長した画像に補正される。
【００４４】
歪曲補正された全体画像４０１は、録画ボタン３０４の操作に応じ、メモリ制御部３１０を介して記録媒体たるメモリーカード３１１に記録する。また、モニタ画像処理部３１２にて、歪曲補正された全体画像４０１からＬＣＤモニタ３０２に表示するモニタ画像を切り出す。モニタ画像には、キャラクタジェネレータ３１３にて生成されたキャラクタ情報（ビデオカメラの動作モード情報など）を重畳し、ＬＣＤモニタ３０２に表示する。
【００４５】
さて、本ビデオカメラ１０１は、カメラ部１０２の姿勢を検知するジャイロセンサ３１４、３１５を搭載している。ジャイロセンサ３１４、３１５は、それぞれカメラ部１０２のヨー角とピッチ角の変化を検出し、その検出結果を演算器３１６で演算し、カメラ部１０２の姿勢変化情報として記録部１０３に備える制御部３１７に伝送する。カメラ部１０２から伝送される姿勢変化情報は、所定間隔で検出された差分情報である。また、姿勢変化情報の伝送は電源スイッチ３０３を操作して電源がＯＮとなった時点から開始される（図６、Ｓｔｅｐ６０１）。制御部３１７にて該姿勢変化情報を積分することで、電源ＯＮの時点を基準として、カメラ部１０２の姿勢が現在どうなっているかを知ることができる。
【００４６】
なお、カメラ部１０２の動き成分は、撮影者の頭部の動きなどによる振幅の大きい比較的ゆっくりとした低周波成分と、背景技術にて説明した手ブレのような、振幅の小さい、速い振動による高周波成分とがある。本実施形態においては、後に説明するモニタ画像の切り出し位置の算出を簡易にするため、演算器３１６において、検出されたカメラ部１０２の姿勢変化情報から前記高周波成分を除去する。従って、カメラ部１０２の姿勢変化情報のうち低周波成分、すなわち、撮影者が頭部の向きを変えた時などの比較的大きな動き情報のみが、制御部３１７へ伝送される。この高周波成分と低周波成分との切り分けは、カメラ部１０２への振動伝達特性などによって適切に定めれば良い。例えば、カメラ部１０２をヘッドバンド１０５にゴムなどのダンパー部材を介して取り付ける場合と、リジットに取り付ける場合とでは、カメラ部１０２へ伝達する振動特性が異なる。
【００４７】
以上の構成により、カメラ部１０２の姿勢がどう変化したかを監視する。カメラ部１０２の姿勢変化に対応して、制御部３１７にて、カメラ部１０２の姿勢変化を打ち消すようにモニタ画像の切り出し位置の移動方向と移動量を算出し、モニタ画像処理部３１２へモニタ画像の切り出し位置座標を送出する。先述の通り、全体画像４０１は魚眼レンズ３０１で得られた周辺歪曲の強い画像を補正して得たものであるから、カメラ部１０２の移動量と、全体画像４０１の中の被写体像の移動量とは一定の関係には無い。そのため、魚眼レンズ３０１の歪曲収差情報を参照した演算によって、カメラ部１０２の移動量を歪曲補正された全体画像４０１の中での移動量に変換する。
【００４８】
図５は、全体画像４０１の中でのモニタ画像の移動の様子を表している。図５（Ａ）にて、全体画像４０１の中の左下のある領域５０１がモニタ画像として切り出されている。この時、カメラ部１０２を装着した撮影者が左下方向へ顔を向けたとすると、当初に領域５０１中にあった被写体像は、図５（Ｂ）に示すように全体画像４０１の右上の領域５０２に移動することとなる。カメラ部１０２の光軸方向が左下方向へ姿勢変化したことを検出し、全体画像４０１から切り出すモニタ画像の位置は、カメラ部１０２の移動量を全体画像４０１中の移動量に変換した量で、カメラ部１０２の移動方向とは逆の方向へ移動する。つまり、領域５０１から領域５０２へ、モニタ画像として切り出す範囲を変更する。これによりカメラ部１０２の姿勢変化を打ち消して、カメラ部１０２の姿勢に因らず、常に一定の方角、一定の範囲の被写体像をモニタ画像として切り出すことができる。
【００４９】
さて、初期におけるモニタ画像の切り出し範囲は、撮影者の操作に因って設定する（図６、Ｓｔｅｐ６０２）。操作者がＬＣＤモニタ３０２を見ながら方向レバー３０６を操作すると、歪曲補正された全体画像４０１から切り出し範囲を順次移動し、従ってＬＣＤモニタ３０２上では画像がスクロールしていく。他の操作ボタンによって拡大縮小を行っても良いし、アスペクト比を変更しても良い。
【００５０】
撮影者が録画ボタン３０４を押す（図６、Ｓｔｅｐ６０３）と、制御部３１７は、歪曲補正された全体画像４０１をメモリ制御部３１０を介してメモリーカード３１１へ記録する。
【００５１】
撮影中に撮影者が頭部を動かしても、先述の通り、カメラ部１０２の姿勢変化として撮影者の頭部の動きを監視し、モニタ画像の切り出し位置を順次変更していく。従って、ＬＣＤモニタ３０２上には、撮影者が設定した初期切り出し範囲と同じ方角の画像が、同じ拡大率やアスペクト比で表示されることととなる（図６、Ｓｔｅｐ６０４）。
【００５２】
また、録画中は、カメラ部１０２の姿勢変化情報を、画像のタイムコードと関連付けて画像データに付与する。
【００５３】
さて、全体画像４０１からモニタ画像を切り出す領域は、先述の通り、カメラ部１０２の姿勢変化から高周波成分を除いた情報を元に算出されている。従って、カメラ部１０２の姿勢変化の内、高周波成分の揺れが残った状態のモニタ画像となる。そこで、全体画像４０１から切り出されたモニタ画像を、動きベクトル検出器３１８にてフレームメモリ３１９に記憶された直前のモニタ画像と比較評価し、動きベクトルを検出してモニタ画像処理部３１２へフィードバックする。動きベクトルを元に、モニタ画像処理部３１２はモニタ画像切り出し範囲を微調整して高周波成分の画像揺れを相殺除去し、安定した画像としてＬＣＤモニタ３０２に表示を行う（図６、Ｓｔｅｐ６０５）。
【００５４】
次に、メモリーカード３１１に記録された画像の再生について説明する。
【００５５】
メモリーカード３１１には、歪曲補正された全体画像４０１が記録されている。再生ボタン３０５の操作によって、メモリ制御部３１０により全体画像４０１が読み出され（図６（Ｂ）、Ｓｔｅｐ６０６）、モニタ画像処理部３１２へ送られる。鑑賞者は、方向レバー３０６を操作して切り出し範囲を移動し、所望の範囲をＬＣＤモニタ３０２に表示させて鑑賞する（図６（Ｂ）、Ｓｔｅｐ６０７）。もちろん、他の操作に応じて、拡大縮小やアスペクト比の変更、さらには解像度の変更を行ってもよい。
【００５６】
さて、記録されている全体画像４０１は、撮影時のカメラ部１０２の動きによる被写体像の動きや揺れが除去されていないため、撮影時のカメラ部１０２の動きに対応して、所望の被写体像が全体画像４０１の中で移動していく。
【００５７】
制御部３１７は、画像データに付与されたカメラ部１０２の姿勢変化情報を参照し、鑑賞者が設定した所望の範囲を基準として、撮影時のカメラ部１０２の姿勢変化によって生ずる被写体像の全体画像中の移動を打ち消すように、再生切り出し範囲を順次変化させていく（図６（Ｂ）、Ｓｔｅｐ６０８）。この様子は図５を流用して説明できる。図５（Ａ）に示す領域５０１が鑑賞者の所望の再生範囲であったとき、撮影時にカメラ部１０２の光軸方向が左下方向へ姿勢変化したことを示すカメラ部姿勢情報により、その動きを打ち消すように、領域５０１から領域５０２へ再生切り出し範囲を変更する。
【００５８】
さらにカメラ部姿勢情報は、演算器３１６において、カメラ部１０２の姿勢変化情報から高周波成分を除去された情報であるので、高周波成分の画像揺れが残った再生画像となっている。そこで、先述の撮影時のモニタ画像と同様、動きベクトル検出器３１８を介して動きベクトルを検出する。動きベクトルを元に、モニタ画像処理部３１２にて再生切り出し範囲を微調整し、高周波成分の画像揺れを相殺除去して安定した画像をＬＣＤモニタ３０２に表示する（図６（Ｂ）、Ｓｔｅｐ６０９）。
【００５９】
再生時において、ユーザの意向により、カメラ部１０２の姿勢変化情報による再生画像の切り出し範囲移動を行わないことも可能である。その場合でも、モニタ画像処理部３１２において高周波成分の画像揺れを除去できる構成となっている。また、全体画像は周辺歪曲が強い画像を補正して得るものであるので、撮影時の手ブレによる画像揺れは画像を切り出す位置によって程度が異なる。撮影時のモニタ画像切り出し、および再生時の再生画像切り出しに共通であるが、ジャイロセンサ３１４、３１５の検出結果を用いて高周波の画像揺れの除去を行っても良い。しかしながら、画像切り出し位置に応じて、ジャイロ出力を元に複雑な変換演算を行う必要が生じる。そのため、ジャイロセンサ３１４、３１５はカメラ部１０２の大きな動きを検出する手段として用い、ブレなどの高周波の画像揺れに対しては、切り出し画像単位の処理により、当該画像のブレ量に応じて補正を行うものである。
【００６０】
以上に説明したビデオカメラ１０１の構成によって、超広角画像の一部分をモニタ画像として切り出して表示するにあたり、不意にカメラ部１０２が動いても、所望のモニタ範囲を見失うことなく追従させることができる。例えば、本ビデオカメラ１０１において言えば、撮影者が記録部１０３で何かの操作を行う時や、足元に注意を向けた時など、主被写体方向から顔を背けてしまう状況が考えられる。そのような場合でも、ＬＣＤモニタ３０２上のモニタ画像は、常に初期に設定された方角の画像を表示し続ける。モニタ画像を見れば、設定した方角の被写体の様子を確認することができ、安心して撮影を続けることができる。
【００６１】
また、再生時においては、超広角画像の一部分を切り出して再生鑑賞するにあたり、鑑賞者による操作を要せず安定して所望の領域の画像を切り出すことができ、利便性が高まる。
【００６２】
［実施例２］
図７は、本実施形態におけるビデオカメラ７０１の外観を表す。
【００６３】
図８は、同ビデオカメラ７０１の構成を示すブロック図である。
【００６４】
本ビデオカメラ７０１は、略円錐状で所定の曲率を持ったミラー８０１を撮像素子８０２に対向して配置し、本ビデオカメラ７０１を中心として３６０°全周囲の画像（以降、全方位画像と記す。）を撮影できるように構成したものである。
【００６５】
また、表示装置としてＬＣＤモニタ８０３を備えている。ＬＣＤモニタ８０３には、後述するように全方位画像から一部分を切り出してモニタ表示する。さらに、本ビデオカメラ７０１の電源をＯＮ／ＯＦＦする電源スイッチ８０４と、録画開始／停止を操作する録画ボタン８０５、記録されている画像を再生する再生ボタン８０６、後述するモニタ画像の切り出し範囲を操作する方向レバー８０７を備えている。
【００６６】
図９は、本ビデオカメラ７０１で撮影できる全方位画像を模式的に表す。図９（Ａ）は、撮像素子８０２に投射される全方位画像９１０を表している。撮像素子８０２には、自己位置を中心とした全方位の画像がドーナツ状に繋がった画像として投射される。ミラー８０１表面の曲率によって実像に対する垂直方向の画角が決定されると共に、撮像素子８０２には実像が歪みを持って投射される。図９（Ａ）に示す破線は、実像の垂直線および水平線がどのように投射されるかを模式的に表している。実像の垂直線は半径方向に放射状に投射され、同じく水平線はミラーの曲率に応じて粗密の変化した同心円状に投射される。このような画像を一般のモニタ装置で再生するためには、図９（Ｂ）に示すような、歪を補正した矩形の平面画像９０２に展開することが知られている。図９（Ａ）に示す全方位画像は、自己位置を中心とした全周囲の画像がドーナツ状に繋がって形成された画像である。従って、矩形の画像に展開するにはどこかの方位で切断する必要がある。ここでは、矢印９０１で示した方位を切断部として全方位画像９１０を切断し矩形画像に補正展開すると、図９（Ｂ）に示すような平面画像９０２を得る。図９（Ａ）において画像の中心にある破線丸９０３の領域は、図９（Ｂ）において画像の底辺全幅に渡る矩形領域９０４に展開され、また、破線丸領域９０５、９０６はそれぞれ歪を補正して変形した領域９０７、９０８、９０９に展開される。特に、切断部（矢印９０１で示す方位）を跨ぐ領域９０６は、補正展開された画像の両端に分離された領域９０８、９０９となる。
【００６７】
図１２は、本ビデオカメラ７０１の動作を説明するフローチャートである。
【００６８】
図８、および図１２を参照して、本ビデオカメラ７０１の動作を説明する。
【００６９】
本ビデオカメラ７０１は、撮像素子８０２に投射された図９（Ａ）に示すドーナツ状の全方位画像を、信号処理回路８０８を経てメモリ制御部８０９に送り、撮影者の録画ボタン８０５の操作に応じて、メモリーカード８１０に記録する。
【００７０】
本ビデオカメラ７０１は、本機の姿勢変化を検出するジャイロセンサ８１１、８１２、８１３を搭載している。ジャイロセンサ８１１、８１２、８１３は、それぞれ本ビデオカメラ７０１のヨー角とピッチ角、さらにミラー８０１中心軸周りのローテーション角の変化を検出し、その検出結果を演算器８１４で演算し、姿勢変化情報を制御部８１５に伝送する。姿勢変化情報は所定間隔で検出された差分情報であり、姿勢変化情報の伝送は電源スイッチ８０４を操作して本機が電源がＯＮとなった時点から開始される（図１２、Ｓｔｅｐ１２０１）。制御部８１５にて該姿勢変化情報を積分することで、電源ＯＮの時点を基準として、本ビデオカメラ７０１の姿勢が現在どうなっているかを知ることができる。
【００７１】
なお、本実施形態においても実施例１と同様に、演算器８１４において、検出された本ビデオカメラ７０１の姿勢変化情報から前記高周波成分を除去する。従って、ビデオカメラ７０１の動きの内、比較的大きな動きに起因する低周波成分が制御部８１５へ伝送される。
【００７２】
さらに、撮影者が録画ボタン８０５を操作することによって、全方位画像の記録が開始される（図１２、Ｓｔｅｐ１２０３）。
【００７３】
さて、本ビデオカメラ７０１は自己の姿勢がどう変化したかを監視し、全方位画像の中からＬＣＤモニタ８０３に表示するモニタ画像を抽出する位置を制御する（図１２、Ｓｔｅｐ１２０４）。以降に、モニタ画像を抽出する位置の制御について説明する。
【００７４】
図１０は、本ビデオカメラ７０１のモニタ画像領域の切り出しの様子を示している。図１０（Ａ−１）に示すように、全方位画像において、人物の顔近辺１００１がモニタ位置に指定されているとする。モニタ画像のために抽出した領域が全方位画像のどこに位置するかの情報として、方位（矢印１００４が示す位置）と切り出し範囲中心の半径方向の位置を、画像のタイムコードと関連付けて画像データに付与する（図１２、Ｓｔｅｐ１２０５）。
【００７５】
さてモニタ画像処理部８１６は、記憶されているミラー曲率情報を参照し、ＬＣＤモニタ８０３のアスペクト比に対応して適切な画像サイズに歪補正できる領域を算出し、図１０（Ａ−２）に示す略扇状の領域１００２の画像を抽出する。抽出された略扇状の領域１００２の画像について歪補正を行って、図１０（Ａ−３）に示す矩形のモニタ画像１００３を得る（図１２、Ｓｔｅｐ１２０６）。先述の様に、全方位画像は粗密が変化した画像であるので、同じ画像サイズに歪補正する場合でも、抽出する位置によって領域の形状は変化する。
【００７６】
モニタ画像は、キャラクタジェネレータ８１７にて生成したキャラクタ情報を重畳してＬＣＤモニタ８０３に表示する。
【００７７】
全方位画像から抽出されたモニタ画像領域は、先述の通り、ビデオカメラ７０１の姿勢変化から高周波成分を除いた情報を元に算出されている。従って、ビデオカメラ７０１の姿勢変化の内、高周波成分の揺れが残った状態のモニタ画像となる。そこで、動きベクトル検出器８１８にてフレームメモリ８１９に記憶された直前のモニタ画像と比較評価し、動きベクトルを検出してモニタ画像処理部８１６へフィードバックする。動きベクトルを元に、モニタ画像処理部８１６はモニタ画像切り出し範囲を微調整して画像揺れを相殺除去し、安定した画像としてＬＣＤモニタ８０３に表示を行う（図１２、Ｓｔｅｐ１２０７）。
【００７８】
さて、撮影中に本ビデオカメラ７０１が動いた時、全方位画像の中で被写体像の位置が変化する。本ビデオカメラ７０１は、本機の姿勢変化をジャイロセンサ８１１、８１２、８１３にて監視しているので、検出された姿勢変化に対応して、それを打ち消す方向へモニタ画像抽出領域を移動させる。例えば、図１０（Ｂ−１）は、本ビデオカメラ７０１がミラー８０１中心軸周りに回転した場合の全方位画像を示している。それまでのモニタ画像抽出領域にあった所望の被写体像は、ビデオカメラ７０１の姿勢が変化したことで、全方位画像中でも新たな位置１００５に移動している。モニタ画像処理部８１６は、本ビデオカメラ７０１の姿勢変化情報を参照して、それを打ち消すように、モニタ画像を抽出する領域の方位、および半径方向の位置を変更する（図１２、Ｓｔｅｐ１２０４）。
【００７９】
さらに、変更されたモニタ画像抽出領域が全方位画像のどこに位置するかの情報として、方位（矢印１００８が示す）と半径方向の位置を画像のタイムコードと関連付けて画像データに付与する。
【００８０】
そして、記憶されているミラー曲率情報を参照して、歪補正後に適切にＬＣＤモニタに表示できる新たな抽出領域を算出する。先述の通り、全方位画像の粗密によって抽出領域の形状は変化し得る。算出結果に基づいて画像領域１００６（図１０（Ｂ−２））を抽出し、歪補正を行ってモニタ画像１００７（図１０（Ｂ−３））を生成する（図１２、Ｓｔｅｐ１２０６）。そして、先述と同様に、動きベクトル検出により、高周波成分の画像揺れを除去してＬＣＤモニタ８０３に表示する（図１２、Ｓｔｅｐ１２０７）。
【００８１】
以上に説明したモニタ位置の変更とその位置情報の記録は、本ビデオカメラ７０１の姿勢変化がある限り繰り返し行われる。
【００８２】
以上のようにして、本ビデオカメラ７０１では、本機の姿勢変化に関わらず、常に一定の方位で一定の位置をモニタ画像として表示する。
【００８３】
なお、初期におけるモニタ画像の位置は、実施例１と同様に撮影者が方向レバー８０７を操作するなどして設定して良い（図１２、Ｓｔｅｐ１２０２）。また、別の操作によって画像の拡大縮小や画像サイズの設定がなされている時は、それらをパラメータとして、抽出するモニタ画像領域を算出すれば良い。
【００８４】
次に、メモリーカード８１０に記録された画像の再生について説明する。
【００８５】
メモリーカード８１０には図９（Ａ）に示すような全方位画像が記録されている。全方位画像は人間の視野と大きく異なるので、一般のテレビモニタなどでの再生には向かない。そのため、先述の通り歪を補正した矩形の平面画像に展開する。さらに展開後の平面画像も、全周囲３６０°を撮影した画像であってワイドスパンの画像であって、一般のモニタ装置とはアスペクト比が大きく異なる。そのため、平面画像の一部分を切り出して鑑賞するのが現実的である。
【００８６】
さて、再生ボタン８０６の操作によって、メモリ制御部８０９により全方位画像が読み出され、画像処理部８２０へ送られる（図１２、Ｓｔｅｐ１２０８）。画像処理部８２０では、図９を用いて説明したように、ドーナツ状の全方位画像をどこかの方位で切断し、歪補正を行って矩形の平面画像に展開する（図１２、Ｓｔｅｐ１２０９）。
【００８７】
ここで、ドーナツ状の全方位画像を切断展開する方位は、画像データに付与されている撮影時のモニタ位置の方位情報を用いる。
【００８８】
図１１に、画像再生時における全方位画像の補正展開の様子を示す。撮影時にＬＣＤモニタ８０３上に表示していたモニタ抽出領域の方位情報が画像データに付与されており、その方位情報は撮影時の本ビデオカメラ７０１の動きに応じて刻々と変化している。図１１（Ａ）と図１１（Ｂ）に、画像データに付与されているモニタ位置の方位情報が変化する例を示す。撮影中に本ビデオカメラ７０１がミラー８０１中心軸周りに回転したことによって、モニタ位置の方位は図１１（Ａ）の矢印１１０１が示す位置であったものが、図１１（Ｂ）の矢印１１０２が示す方位へ変化している。画像処理部８２０は、画像データから撮影時のモニタ抽出領域の方位情報を読み取り、ドーナツ状の全方位画像の切断位置を変化させ、撮影時のモニタ抽出領域の方位が常に平面画像の中心になるよう補正展開する。すなわち、図１１（Ａ）と図１１（Ｂ）に示す全方位画像は、共に図１１（Ｃ）のように、撮影時にモニタ位置とした人物の位置１１０３が平面画像１１０４の中心に来るように補正展開される。
【００８９】
以上のように全方位画像が平面画像に展開された後は、鑑賞者が方向レバー８０７を操作して、所望の被写体像がモニタ画面に現れるように切り出し位置を変更する（図１２、Ｓｔｅｐ１２１０）。具体的には、図１１（Ｃ）に破線で示すように、モニタ画面を見ながら鑑賞者が方向レバー８０７を操作すると、再生切り出し範囲を順次移動し、従ってモニタ画面上では画像がスクロールしていく。結果、当初の再生画面は図１１（Ｄ）のように人物の顔近辺の範囲１１０５であったものが、図１１（Ｅ）のように周辺の風景の範囲１１０６へ変化する。もちろん、別の操作によって拡大、縮小を行っても良いし、画面のアスペクト比を変更しても良い。
【００９０】
以上のようにして生成した再生画像は、撮影時と同様に、動きベクトル検出器８１８によって動きベクトルを検出し、モニタ画像処理部８１６へフィードバックする。動きベクトルを元に、モニタ画像処理部８１６は再生画像切り出し範囲を微調整して、撮影時のブレなどに起因する高周波成分の画像揺れを除去し、再生画像を安定化する（図１２、Ｓｔｅｐ１２１１）。
【００９１】
以上のように本ビデオカメラ７０１によれば、全方位画像の一部分をモニタ画像として切り出して表示するにあたり、不意にビデオカメラ７０１が動いても、所望のモニタ位置を見失うことなく追従し、常に初期に設定されたモニタ位置の画像を表示し続ける。モニタ画像を見れば、設定した被写体の様子を確認することができ、安心して撮影を続けることができる。
【００９２】
また、再生時においては、全方位画像の一部分を切り出して再生鑑賞するにあたり、常に撮影時にモニタ方向とした方位が平面画像の中央になるため、所望の被写体を検索し易くなり、利便性が高まる。
【符号の説明】
【００９３】
１０１‥‥ビデオカメラ
１０２‥‥カメラ部
１０３‥‥記録部
１０４‥‥伝送ケーブル
１０５‥‥ヘッドバンド
３０１‥‥魚眼レンズ
３０２‥‥ＬＣＤモニタ
３０３‥‥電源スイッチ
３０４‥‥録画ボタン
３０５‥‥再生ボタン
３０６‥‥方向レバー
３０７‥‥撮像素子
３０８‥‥信号処理回路
３０９‥‥画像処理部
３１０‥‥メモリ制御部
３１１‥‥メモリーカード
３１２‥‥モニタ画像処理部
３１３‥‥キャラクタジェネレータ
３１４‥‥ジャイロセンサ
３１５‥‥ジャイロセンサ
３１６‥‥演算器
３１７‥‥制御部
３１８‥‥動きベクトル検出器
３１９‥‥フレームメモリ
７０１‥‥ビデオカメラ
８０１‥‥ミラー
８０２‥‥撮像素子
８０３‥‥ＬＣＤモニタ
８０４‥‥電源スイッチ
８０５‥‥録画ボタン
８０６‥‥再生ボタン
８０７‥‥方向レバー
８０８‥‥信号処理回路
８０９‥‥メモリ制御部
８１０‥‥メモリーカード
８１１‥‥ジャイロセンサ
８１２‥‥ジャイロセンサ
８１３‥‥ジャイロセンサ
８１４‥‥演算器
８１５‥‥制御部
８１６‥‥モニタ画像処理部
８１７‥‥キャラクタジェネレータ
８１８‥‥動きベクトル検出器
８１９‥‥フレームメモリ
８２０‥‥画像処理部
１３０１‥‥ビデオカメラ
１３０２‥‥撮影画角
１３０３‥‥被写体
１４０１‥‥撮像素子
１４０２‥‥ジャイロセンサ
１４０３‥‥ジャイロセンサ
１４０４‥‥制御部
１４０５‥‥信号処理回路
１４０６‥‥信号処理回路
１４０７‥‥動きベクトル検出器
１４０８‥‥記録再生回路
１４０９‥‥記録メモリ
１５０１‥‥撮像領域
１５０２‥‥撮像領域
１５０３‥‥撮像素子の全撮像領域
【図１】
2012119804.tif 000003
【図２】
2012119804.tif 000004
【図３】
2012119804.tif 000005
【図４】
2012119804.tif 000006
【図５】
2012119804.tif 000007
【図６】
2012119804.tif 000008
【図７】
2012119804.tif 000009
【図８】
2012119804.tif 000010
【図９】
2012119804.tif 000011
【図１０】
2012119804.tif 000012
【図１１】
2012119804.tif 000013
【図１２】
2012119804.tif 000014
【図１３】
2012119804.tif 000015
【図１４】
2012119804.tif 000016
【図１５】
2012119804.tif 000017
【図１６】
2012119804.tif 000018
【図１７】
2012119804.tif 000019