(57)【特許請求の範囲】
【請求項１】
静止画の撮影が可能とされたカメラ一体型ビデオレコーダにおいて、
カメラの撮影方向の移動を検出する検出手段と、
上記カメラによって撮影された１または複数のフィールド画像を記録媒体に対して記録する記録手段と、
上記検出手段の検出結果に基づき上記移動の量を累積する累積手段と
を備え、
上記累積手段による累積結果が予め設定された値を越えたら上記検出手段の検出結果に基づき上記カメラの静止を検出し、所定の時間以内に該静止が検出されたら上記記録手段による記録を行なうと共に、上記累積結果をリセットする
ことを特徴とするカメラ一体型ビデオレコーダ。
【請求項２】
請求項１に記載のカメラ一体型ビデオレコーダにおいて、
上記撮影手段から出力された上記フィールド画像の動き検出を行なう動き検出手段と、
上記動き検出手段による動き検出結果を用いて上記フィールド画像の圧縮符号化を行なう圧縮符号化手段と
をさらに備え、
上記検出手段は、上記動き検出手段による動き検出結果に基づき上記カメラの移動を検出することを特徴とするカメラ一体型ビデオレコーダ。
【請求項３】
請求項１に記載のカメラ一体型ビデオレコーダにおいて、
上記撮影手段から出力された上記フィールド画像の動き検出を行なう動き検出手段と、
上記動き検出手段による動き検出結果を用いて上記フィールド画像の圧縮符号化を行なう圧縮符号化手段と
をさらに備え、
上記累積手段は、上記動き検出手段による動き検出結果を毎フィールド累積して、上記移動の量の累積となすことを特徴とするカメラ一体型ビデオレコーダ。
【請求項４】
請求項１に記載のカメラ一体型ビデオレコーダにおいて、
角速度センサをさらに備え、
上記検出手段は、上記角速度センサによる角速度検出結果に基づき上記カメラの移動を検出することを特徴とするカメラ一体型ビデオレコーダ。
【請求項５】
請求項１に記載のカメラ一体型ビデオレコーダにおいて、
角速度センサをさらに備え、
上記累積手段は、上記角速度センサによる角速度検出結果を毎フィールド累積して、上記移動の量の累積となすことを特徴とするカメラ一体型ビデオレコーダ。
【請求項６】
請求項１に記載のカメラ一体型ビデオレコーダにおいて、
上記移動の量をフィールド毎に順次比較する移動量比較手段と、
上記カメラによって撮影された、上記移動量比較手段の比較結果に基づき、上記移動の量がより小さい上記フィールド画像を記憶するメモリ手段と
をさらに備え、
上記所定の時間を経過しても上記静止が検出されない場合、上記記録手段により、上記メモリ手段に記憶された上記移動の量がより小さい上記フィールド画像を上記記録すると共に、上記累積結果をリセットする
ことを特徴とするカメラ一体型ビデオレコーダ。
【請求項７】
請求項１に記載のカメラ一体型ビデオレコーダにおいて、
上記検出手段の検出結果に基づき上記カメラが静止しているとされたときに、その旨撮影者に通知するようにしたことを特徴とするカメラ一体型ビデオレコーダ。
【請求項８】
請求項７に記載のカメラ一体型ビデオレコーダにおいて、
上記通知は、ビューファインダ内に対して所定のメッセージを表示することによって行なうことを特徴とするカメラ一体型ビデオレコーダ。
【請求項９】
請求項７に記載のカメラ一体型ビデオレコーダにおいて、
上記通知は、音によって行なわれることを特徴とするカメラ一体型ビデオレコーダ。
【請求項１０】
重複した領域を撮影することで１枚の静止画を得るようにした撮影方法において、
カメラの撮影方向の移動を検出する検出のステップと、
上記カメラによって撮影された１または複数のフィールド画像を記録媒体に対して記録する記録のステップと、
上記検出のステップによる検出結果に基づき上記移動の量を累積する累積のステップと
を備え、
上記累積のステップによる累積結果が予め設定された値を越えたら上記検出のステップの検出結果に基づき上記カメラの静止を検出し、所定の時間以内に該静止が検出されたら上記記録のステップによる記録を行なうと共に、上記累積結果をリセットする
ことを特徴とする撮影方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、パノラマ画像を合成できるように複数の静止画の撮影を行なうようにされたカメラ一体型ビデオレコーダおよび撮影方法に関する。
【０００２】
【従来の技術】
ディジタル方式のカメラ一体型ビデオテープレコーダでは、例えばＣＣＤを撮像素子として用い、動画を撮影して得られたビデオ信号をディジタルビデオデータとして磁気テープに記録する。このようなカメラ一体型ビデオテープレコーダにおいて、撮影領域を縦横にゆっくり動かしながら複数のフィールド画像を記録し、記録された複数のフィールド画像を合成することが考えられる。これにより、動画撮影時の１フィールドの画像よりも広い面積範囲の静止画像を得ることができる。
【０００３】
すなわち、撮影領域を少しずつ移動させて記録を行ない、撮影開始点から連続的にフィールド画像が得られるようにする。そして、記録されたフィールド画像に対して、位置的に隣接するフィールド画像の重複部分を抽出し、この重複部分に対して所定の演算を行なうことによって、それぞれのフィールド画像をシームレスに合成して、全体として１枚の静止画像を得るような画像処理を行なう。このような画像処理は、例えばパーソナルコンピュータによるソフトウェア処理により行なわれる。
【０００４】
このような撮影方法を応用することで、カメラ一体型ビデオテープレコーダで以てパノラマ画像を得ることができる。撮影者は、カメラを水平方向に移動させながら撮影を行なう。例えば、撮影者の周囲３６０°を連続的に撮影する。得られた画像を、重複部分に適当な処理を加えながらフィールド毎に繋ぐことで、横長のパノラマ画像を得ることができる。この画像処理は、例えばパーソナルコンピュータ上のソフトウェアで行なうことができる。
【０００５】
【発明が解決しようとする課題】
ところで、このような撮影方法でパノラマ画像を得ようとする場合、実際には、カメラをかなりゆっくり移動させる必要がある。すなわち、例えば水平画素数が６４０個の画像を、フィールド単位で５％の移動率（フィールド間の重複率では、９５％）で右に移動させた場合には、１／６０秒で３２画素分移動することになる。このとき、シャッター速度が１／１２０秒ならば、フィールド毎に１６画素分のブレを生じ、解像度を著しく損なってしまう。
【０００６】
ブレを最小限に抑えることで、この解像度の低下を避けることができる。しかしながら、上述の撮影条件で、例えばブレを１画素以内に抑えようとした場合、シャッター速度を１６倍速くして１／１９２０秒以下にするか、移動率を１／１６の０．３％以下にしてゆっくり移動させ撮影を行なう方法が考えられる。
【０００７】
これらの方法のうち、シャッター速度を速くすると感度が低下するため、かなり明るい被写体でないと撮影された画像が暗くなってしまい、使用に耐えないという問題点がある。また、移動率を０．３％／フィールドで撮影すると、水平画角４０°ｐｐの標準レンズでも３６０°のパノラマ画像を撮影するために、４８秒もの時間がかかってしまうという問題点がある。
【０００８】
撮影に要する時間ｔは、以下のようにして求めることができる。レンズの水平画角をａｈ〔ｄｅｇ  ｐｐ〕，ＣＣＤの水平画素数をｎｈとすると、１画素の角度ａｐ〔ｄｅｇ〕は、
ａｐ＝ａｈ／ｎｈ
となる。
【０００９】
ここで、シャッターが開いている時間ｔｓ〔ｓｅｃ〕にｎｅ（＝１）画素移動しても良いと仮定する。すなわち、水平方向に１画素分のブレを許すとする。この場合、１フィールド期間ｔｆ〔ｓｅｃ〕に移動しても良い角度ａｆ〔ｄｅｇ〕は、
ａｆ＝ｎｅ×ａｐ×ｔｆ／ｔｓ
となる。但し、ｔｓ≦１／６０とする。
【００１０】
ここで得られた角度ａｆに基づき、１秒間に移動する角度ａ〔ｄｅｇ〕を求めると、
ａ＝ａｆ／ｔｆ
となり、３６０°の変化に要する時間ｔは、
ｔ＝３６０／ａ
となる。これまでの式を整理すると、
ｔ＝３６０×ｔｓ×ｎｈ／（ａｈ×ｎｅ）
となる。
【００１１】
このとき、１フィールドの期間に移動する角度ａｆの、画角ａｈに対する割合を移動率Ｋｍ〔％／フィールド〕とすれば、
Ｋｍ＝ａｆ／ａｈ＝ｎｅ×ｔｆ／（ｎｈ×ｔｓ）
となる。したがって、重複率Ｋ〔％／フィールド〕は、
Ｋ＝１−Ｋｍ
として求められる。
【００１２】
図４Ａおよび図４Ｂは、このようにして求められた各値を一覧して示す。なお、この一覧において、水平画素数ｎｈ＝６４０，ブレの許容画素数ｎｅ＝１，フィールド周期ｔｆ＝１６．６６６〔ｍｓｅｃ〕として計算が行なわれている。
【００１３】
この図４Ａおよび図４Ｂによると、例えば水平画角２０°ｐｐでシャッター速度１／１００〔ｓｅｃ〕で３６０°パノラマ撮影を行なう場合には、１１５秒（凡そ２分）かけないとブレが１画素を越えてしまい、解像度を損ねてしまうことになる。然も、このときの移動率Ｋｍは、０．２６％〔％／フィールド〕，重複率Ｋは、９９．７％となる。このように、パノラマ撮影時にカメラを連続的に移動させて撮影するだけでは、非常に無駄な部分の多い撮影を行なわなければならないという問題点があった。
【００１４】
したがって、この発明の目的は、記録される画像の重複部分が少なく、高解像度で、然もシャッター速度を速くすること無くパノラマ撮影を行なうことができるカメラ一体型ビデオレコーダおよび撮影方法を提供することにある。
【００１５】
【課題を解決するための手段】
この発明は、上述した課題を解決するために、静止画の撮影が可能とされたカメラ一体型ビデオレコーダにおいて、カメラの撮影方向の移動を検出する検出手段と、カメラによって撮影された１または複数のフィールド画像を記録媒体に対して記録する記録手段と、検出手段の検出結果に基づき移動の量を累積する累積手段とを備え、累積手段による累積結果が予め設定された値を越えたら検出手段の検出結果に基づきカメラの静止を検出し、所定の時間以内に静止が検出されたら記録手段による記録を行なうと共に、累積結果をリセットすることを特徴とするカメラ一体型ビデオレコーダである。
【００１６】
また、この発明は、上述した課題を解決するために、重複した領域を撮影することで１枚の静止画を得るようにした撮影方法において、カメラの撮影方向の移動を検出する検出のステップと、カメラによって撮影された１または複数のフィールド画像を記録媒体に対して記録する記録のステップと、検出のステップによる検出結果に基づき移動の量を累積する累積のステップとを備え、累積のステップによる累積結果が予め設定された値を越えたら検出のステップの検出結果に基づきカメラの静止を検出し、所定の時間以内に静止が検出されたら記録のステップによる記録を行なうと共に、累積結果をリセットすることを特徴とする撮影方法である。
【００１７】
上述したように、この発明は、カメラの撮影方向の移動量を検出し、カメラが静止したときに記録媒体に対してフィールド画像データを記録した後に、カメラの移動量を累積し、累積値が所定値以上になったら再びカメラの静止を検出するようにされているために、その都度シャッターを押さなくても、一瞬カメラを静止させるだけで素早く自動的にパノラマ画像の撮影が行なわれる。
【００１８】
【発明の実施の形態】
以下、この発明の実施の一形態を、図面を参照しながら説明する。図１は、この発明を適用することができるカメラ一体型ビデオレコーダの構成の一例を示す。図１において、レンズ系１は、アイリス，フォーカス，ズームなどの光学系の調節を行なうことができる。これらの調節は、レンズ系駆動回路１６によってそれぞれ制御される。この制御は、後述するシステムコントローラ１８の制御に基づき自動で行なわれる。光学系の調節は、これに限らず手動で以て行なうことも可能である。この制御に基づき、レンズ系駆動回路１６から制御情報が出力される。この例では、アイリス，フォーカス，ズームのそれぞれの値が出力される。この制御情報は、システムコントローラ１８に供給される。
【００１９】
レンズ系１を介して被写体画像がＣＣＤ(Charge Coupled Device) ２に照射される。照射された被写体画像は、ＣＣＤ２によって電気信号に変換される。なお、図示しないが、ＣＣＤ２は、所定の信号処理回路を有し、この変換された電気信号をさらにディジタル画像データに変換して出力する。ＣＣＤ２の画素数が動画領域の画像サイズに対応する。ＣＣＤ２からは、フィールドのタイミングで画像データが出力される。
【００２０】
ＣＣＤ２の出力は、スイッチ回路１３の端子ＲＥＣに供給されると共に、圧縮符号化回路３に供給される。圧縮符号化回路３に対して動き検出回路５が接続される。この動き検出回路５は、時系列的に隣接するフィールド画像データを比較することで動きベクトルを求め、それによりフィールド画像データの動き検出を行なう。圧縮符号化回路３では、この動きベクトルならびにＤＣＴ(Discrete Cosine Transform) などを用いて、供給されたフィールド画像データの圧縮符号化を行なう。圧縮符号化の方式としては、ＭＰＥＧ(Moving Picture Experts Group)２を用いることができる。
【００２１】
動き検出回路５の出力は、平均値算出回路２２に供給され、フィールド全体の動きベクトルの平均値が算出される。この動きベクトルの平均値は、後述する記憶信号処理回路６およびシステムコントローラ１８に対して供給される。
【００２２】
なお、撮影時（記録時）にスイッチ回路１３において端子ＲＥＣを選択することによって、ＣＣＤ２で撮影中の画像をビューファインダ１４に対して表示させることができる。また、この画像は、ビデオ出力端子１５に対して導出させ、外部のビデオモニタなどで表示させることもできる。
【００２３】
一方、圧縮符号化回路３で圧縮符号化された画像データは、記録信号処理回路６に供給される。記録信号処理回路６は、エラー訂正符号化回路や記録アンプ，記録方式に適合した変調回路などを有する。画像データは、例えばリード・ソロモン符号を用いた積符号によりエラー訂正符号化され、所定の変調回路および記録アンプなどを介して、記録に適した信号に変換される。
【００２４】
記録信号処理回路６には、画像データと共に、上述のレンズ系駆動回路１６から出力されたレンズ系の制御情報、すなわち、アイリス値，フォーカス値，ズーム値も供給される。さらに、記録信号処理回路６には、動き情報として、上述した動き検出回路５の出力に基づく１フィールドの動きベクトルの平均値が供給される。後述するが、システムコントローラ１８から動きベクトルの累積値も記録信号処理回路６に供給される。これらレンズ系の制御情報および動き情報は、フィールド画像データに対するサブコードデータとされる。このサブコードデータは、エラー訂正符号化回路において、画像データと共にエラー訂正符号化が行なわれる。
【００２５】
これらのデータを記録する記録媒体８としては、相応の容量を有し、ディジタル信号を記録可能な記録媒体であれば、様々な種類のものについて適用させることができる。例えば、ＭＤ(Mini Disc) などの光磁気ディスク，ＤＶＤ(Digital Versatile Disc)，半導体メモリ，ハードディスクといった記録媒体を用いることができる。勿論、磁気テープをこの記録媒体８として用いることも可能である。
【００２６】
記録媒体８としてＭＤを用いた場合、画像データおよびサブコードデータからなる記録データは、記録信号処理回路６において、例えばＥＦＭ(Eight to Fourteen Modulation)により変調が施され、図示されない磁気ヘッド駆動回路に供給される。そして、磁気ヘッド駆動回路では、変調処理された記録データに応じて、図示されない磁気ヘッドに対して磁気ヘッド駆動信号を供給する。つまり、ＭＤに対して磁気ヘッドによるＮまたはＳの磁界印加を実行させる。また、このとき、図示されない光学ヘッドによって、記録レベルのレーザ光が出力される。レーザ光の制御は、例えば、後述するシステムコントローラ１８によって行なうことができる。
【００２７】
また、記録媒体８として磁気テープを用いた場合、記録信号処理回路６の出力が図示されない記録ヘッドに供給され、例えばヘリカルスキャン方式で以て磁気テープからなる記録媒体８に記録される。再生は、同様にして、図示されない再生ヘッドによって記録媒体８に記録された信号が読み出されることによってなされる。読み出された信号が再生信号処理回路１０に供給される。
【００２８】
再生信号処理回路１０は、再生アンプ，記録方式に対応した復調回路，エラー訂正回路などを有する。記録媒体８から再生された信号は、再生アンプなどを介してディジタル処理に適した信号に変換され、エラー訂正回路に供給される。エラー訂正回路で記録時に施されたエラー訂正符号が復号化される。復号化されたデータが伸長回路１２に供給され、記録時の圧縮符号化を解かれ、再生画像データとされ出力される。伸長回路１２の出力がスイッチ回路１３の端子ＰＢに供給される。
【００２９】
なお、再生信号処理回路１０の出力から、上述のサブコードデータだけを取り出すことができる。取り出されたサブコードデータは、データ出力端１１に導出される。
【００３０】
再生時には、このスイッチ回路１３において端子ＰＢが選択され、再生画像データがビデオ出力端子１５に対して導出される。また、それと共に、再生画像データは、ビューファインダ１４に供給される。再生時にスイッチ回路１３で端子ＰＢを選択することによって、記録媒体８からの再生画像をビューファインダ１４に表示させることができる。
【００３１】
なお、システムコントローラ１８は、ＣＰＵおよびＲＡＭやＲＯＭなどから構成され、このカメラ一体型ビデオレコーダの動作を制御する。キー入力部１９には、このカメラ一体型ビデオレコーダの種々の設定を行なうスイッチと共に、パノラマ撮影のＯＮ／ＯＦＦを切り替えるためのスイッチが設けられる。また、キー入力部１９には、撮影の開始および終了を指示するためのスタート／ストップキーが設けられる。スタート／ストップキーは、押されることによって撮影が開始され、押されている間は撮影が続行される。キーを離すことで、撮影が中断または終了される。
【００３２】
これら各種設定キーによる設定情報がキー入力部１９からシステムコントローラ１８に対して供給され、例えばＲＡＭに記憶される。また、このシステムコントローラ１８は、図示しないが、所定の時間を設定することが可能なタイマを有する。
【００３３】
さらに、上述したように、システムコントローラ１８に対して、平均値算出回路２２から出力された動きベクトルの平均値が供給される。これは、現フィールドが前フィールドに対してどれだけ動いたかを示す値であり、例えば水平方向および垂直方向の移動量ｘおよびｙからなる。これら動きベクトルｘ，ｙの値がシステムコントローラ１８内のＲＡＭに記憶されると共に、累積され、それぞれ累積値ａｘおよびａｙとされる。これら累積値ａｘ，ａｙは、ＲＡＭに記憶される。ＲＡＭに記憶されたこれら累積値ａｘ，ａｙは、システムコントローラ１８による所定の命令でａｘ＝０，ａｙ＝０とされ、リセットされる。上述したように、これら累積値ａｘ，ａｙは、記録信号処理回路６に供給され、サブコードデータとされる。
【００３４】
このカメラ一体型ビデオレコーダに対して、例えばジャイロセンサからなる角速度センサ２０が設けられる。この角速度センサ２０には、カメラ一体型ビデオレコーダに搭載されている、所謂手振れ防止機能のためのセンサを用いることができる。角速度センサ２０の出力を積分回路２１で積分して動き情報を得る。この動き情報は、システムコントローラ１８に対して供給される。
【００３５】
角速度センサ２０の出力を動き情報として用いることで、平坦な被写体を撮影する際や、画像や暗がりでの撮影時などのような、動き検出回路５がうまく働かないような場合でも、撮影画像の相対的な位置を知ることができる。なお、この角速度センサ２０ならびに積分回路２１は、省略可能である。同様に、角速度センサ２０による出力だけを用いて相対位置を求めることも可能である。この場合、動き検出回路５および平均値算出回路２２は、省略可能である。
【００３６】
この図１に示される例において、動き検出回路５からの出力と角速度センサ２０からの出力とを適宜切り替えるようにすることも可能である。すなわち、被写体の平坦部分などで動き検出回路５による動きベクトルが正しく得られない場合には、角速度センサ２０の出力に基づく動き情報を使用し、動き検出回路５によって正しく動き情報が得られる場合には、より精度の高い、動き検出回路５の出力を使用する。また、これに限らず、例えば画像データのパターン検出を行なうことで、自動切り替えとすることも可能である。
【００３７】
なお、このように撮影され記録されたフィールド画像データは、再生され、所定の画像処理を行なうための機器、例えば対応する画像処理ソフトウェアが搭載されたパーソナルコンピュータに供給される。また、このフィールド画像データの供給と共に、データ出力端１１からサブコードデータが出力される。このサブコードデータも、フィールド画像データと共に、パーソナルコンピュータに対して供給される。供給されたフィールド画像データに対して、画像処理ソフトウェアによってシームレスな合成処理が行なわれ、パノラマ画像を得ることができる。このとき、サブコードデータとして供給された、動き情報やズーム，アイリス，フォーカスといった各種撮影情報などを用いることで、より精度の高い合成処理を行なうことができる。
【００３８】
例えば、サブコードデータに含まれる動き情報に基づき各フィールドの画像データの位置関係を知ることができる。これにより、各フィールド画像データ間の重複部分が求められ、この重複部分に対して所定の演算を行なうことによって、各フィールド画像データの合成を自動的に行なうことができる。また、サブコードデータに含まれる、ズーム，アイリス，フォーカスといった光学系の各種情報に基づき、画像補正を行ない、各フィールド画像データを均質にした上での静止画の合成を、自動的に行なうことが可能とされる。
【００３９】
例えば、ズーム情報に基づき、フィールド画像データの平面への変換や、円筒面，球面への変換を確実に行なうことができる。また、アイリス情報に基づき、各フィールド画像データの明度補正を確実に行なうことができる。さらに、同じ撮影領域内でもフォーカスの異なるフィールド画像データが得られることがある。フォーカス情報に基づき、最も鮮明なフィールド画像データを画素単位で選択することが可能とされ、これにより焦点深度の深い画像を得ることができる。
【００４０】
このような構成を有するカメラ一体型ビデオレコーダを用いて、撮影者は、キー入力部１９に設けられた、パノラマ撮影ＯＮ／ＯＦＦの設定スイッチをＯＮとして、スタート／ストップキーを押すことにより、パノラマ撮影を開始する。そして、レンズ系１を被写体の一部に向けて一瞬静止し、次に例えば５０％重複した２番目の部分に向けて一瞬静止し、この動作を繰り返して被写体の前部を複数の画像に分けて記録する。この記録は、後述するアルゴリズムに基づき、カメラの動きに合わせて自動的に行なわれる。記録されたフィールド画像データを再生して、例えば上述したような所定の画像処理ソフトウェアが搭載されたパーソナルコンピュータに転送して、シームレス処理を行なうことで、１枚のパノラマ画像を完成させることができる。
【００４１】
次に、このような撮影を行なう際のアルゴリズムについて説明する。図２は、この発明によるパノラマ画像撮影の原理的なアルゴリズムを示す。このアルゴリズムは、動き検出回路５から出力され平均値算出回路２２で算出された動きベクトルのフィールド内での平均値に基づき、システムコントローラ１８で実行される。また、以下では、これら動きベクトルのフィールド内の平均値を「動きベクトル」と略称する。
【００４２】
撮影が開始されると、ＣＣＤ２から出力されたフィールド画像データが圧縮符号化回路３を介して記録信号処理回路６に供給されると共に、動き検出回路５および平均値算出回路２２で動きベクトルが検出される。最初のステップＳ１で、動きベクトルが所定値（ｎとする）以下になるまで待ち、カメラが静止するのが待たれる。動きベクトルが所定値ｎ以下となり、静止したとされたら、記録信号処理回路６において所定の信号処理がなされ、記録媒体８に対してそのフレームが記録される（ステップＳ２）。このとき、記録は、１フレームに限らず、複数フレームを記録するようにしてもよい。なお、フレームの記録と共に、サブコードも記録される。
【００４３】
なお、ステップＳ１で、カメラの静止が認識されたら、何らかの方法で、撮影者にその旨を通知すると良い。この通知は、例えばシステムコントローラ１８で生成された所定のメッセージ（「次へ」など）がビューファインダ１４内に表示されることによってなされる。また、この表示に限らず、このカメラ一体型ビデオレコーダに対して例えばビープ音を発生させるような発音装置を設け（図示しない）、音によって通知するようにしてもよい。勿論、表示と音とを併用してもよいし、これらを切り替えるようにもできる。
【００４４】
ステップＳ２でフィールド画像データの記録がなされると、ステップＳ３で、水平および垂直方向の動きベクトルの累積値ａｘ，ａｙがそれぞれ初期化され、ａｘ＝０，ａｙ＝０とされる。そして、次のステップＳ４で、水平方向の動きベクトルと垂直方向の動きベクトルとがそれぞれ初期化された値から累積され、ａｘ，ａｙとされる。なお、ここでは、この動きベクトルの累積がステップＳ４で開始されるものとして説明されているが、実際には、撮影が開始されると同時に動きベクトルの累積も開始される。
【００４５】
ステップＳ５で、この累積された動きベクトルａｘ，ａｙが予め設定された所定値ｍと比較される。所定値ｍは、例えばフレームの２０％とされる。累積動きベクトルａｘ，ａｙの何れか一方がこのｍを越えるまで、動きベクトルの累積は継続される。すなわち、カメラがある程度移動するのが待たれる。若し、累積動きベクトルａｘ，ａｙの何れか一方がこのｍを越えたなら、処理はステップＳ６に移行し、１枚のパノラマ画像の撮影が終了するまで上述のステップＳ１〜ステップＳ５までの処理が繰り返される。キー入力部１９に設けられたスタート／ストップキーが離されることで、撮影が終了される。
【００４６】
この発明では、カメラの移動と静止を繰り返しながら、カメラが静止している部分の静止画を間欠的に記録していく。この記録されたフィールド画像データを再生し、所定の画像処理を加えることで、１枚のパノラマ画像を得ることができる。
【００４７】
ところで、図２に示されるアルゴリズムでは、ステップＳ１において、カメラの静止を認識するための所定値ｎを十分小さくできない。すなわち、このアルゴリズムにおいて所定値ｎを小さくしてしまうと、撮影者の手振れなどで原因でステップＳ２に移行できない可能性があるからである。また、所定値ｎが大きいと、十分な高画質を得ることができない。
【００４８】
図３は、図２のアルゴリズムを改良したアルゴリズムを示す。これは、基本的には上述の図２に示したものに倣っているが、ステップＳ１における処理に経過時間による判定が加わる。撮影が開始されると、ＣＣＤ２から出力されたフィールド画像データが圧縮符号化回路３を介して記録信号処理回路６に供給されると共に、動き検出回路５および平均値算出回路２２で動きベクトルが検出される。最初のステップＳ１０で、動きベクトルが所定値（ｎとする）以下になるまで待つと共に、フィールド画像データが例えば圧縮符号化回路３が有するフレームメモリの所定領域に書き込まれる。また、そのフィールド画像データに対応する動きベクトルの値が所定のメモリ、例えばシステムコントローラ１８が有するＲＡＭに対して書き込まれる。
【００４９】
このとき、既にフレームメモリに書き込まれているフィールド画像データの動きベクトルと、新規に書き込まれるフィールド画像データの動きベクトルとが比較される。そして、比較の結果、動きベクトルの値が小さい方のフィールド画像データがフレームメモリの所定領域に書き込まれる。また、それと共に、そのフィールド画像データの動きベクトルの値がＲＡＭに書き込まれる。したがって、フレームメモリの所定領域に書き込まれるフィールド画像データは、動きベクトルのより小さいデータに更新されていく。
【００５０】
次のステップＳ１１で、予め設定された時間ｔｌ以内に、水平方向および垂直方向の何れかの動きベクトルが所定値ｎ以下になったかどうかが判断される。若し、所定値ｎ以下になたと判断されたら、処理はステップＳ１２に移行し、そのフレームが記録される。なお、時間ｔｌは、システムコントローラ１８が有するタイマに対して予め設定される。
【００５１】
一方、ステップＳ１１において、時間ｔｌを経過しても動きベクトルが所定値ｎ以下にならなかったと判断されたら、処理はステップＳ１３に移行し、上述した、動きベクトルがより小さいとしてフレームメモリの所定領域に書き込まれたフィールド画像データが読み出され、所定の信号処理を施され記録される。
【００５２】
なお、ステップＳ１２およびＳ１３で、フィールド画像データの記録が行なわれたら、上述したような、ビューファインダ１４内に表示される所定のメッセージやビープ音などで、撮影者にその旨を通知すると良い。また、ここでも、図２で上述したように、１フレームに限らず、複数フレームを記録するようにしてもよい。
【００５３】
ステップＳ１２あるいはＳ１３でフィールド画像データの記録がなされると、ステップ１４３で、水平および垂直方向の動きベクトルの累積値ａｘ，ａｙがそれぞれ初期化され、ａｘ＝０，ａｙ＝０とされる。そして、次のステップＳ１５で、水平方向の動きベクトルと垂直方向の動きベクトルとがそれぞれ累積され、ａｘ，ａｙとされる。
【００５４】
ステップＳ１６で、この累積された動きベクトルａｘ，ａｙが予め設定された所定値ｍと比較される。累積動きベクトルａｘ，ａｙの何れか一方がこのｍを越えるまで、動きベクトルの累積は継続される。すなわち、カメラがある程度移動するのが待たれる。若し、累積動きベクトルａｘ，ａｙの何れか一方がこのｍを越えたなら、処理はステップＳ１７に移行し、１枚のパノラマ画像の撮影が終了するまで上述のステップＳ１０〜ステップＳ１６までの処理が繰り返される。
【００５５】
なお、サブコードデータとして、以下の情報が含まれていると、パノラマ画像作成の際のシームレス処理の際に有用である。レンズ系１に関する情報としては、
（１）ズーム倍率あるいは水平画角
（２）フィールドあるいはフレームのアスペクト比
（３）オートフォーカス値
（４）オートアイリス値
（５）角速度センサ２０による、光軸の方向を示す情報
（６）レンズ系１に対して光軸可変素子が設けられている場合、この光軸可変素子の方向を示す情報
これらの情報が挙げられる。
【００５６】
また、圧縮符号化の際の動き検出データも、有用である。これには、
(1) 上下左右の平均的な移動量
(2) 画像平面内での回転（回転角）
(3) 画像の拡大率
などが挙げられる。これらのうち、画像の拡大率については、被写体との角度の関係により、横方向の倍率に関して、画面上部と画面下部とで倍率が異なる場合がある。同様に、縦方向の倍率に関して、画面左部と画面右部とで倍率が異なる場合がある。これらの、動き検出データは、圧縮符号化時の大量の動き検出データから得られる僅かな量のデータであり、これを圧縮データに含めて記録することができる。
【００５７】
さらに、撮影時刻をサブコードデータとして含めると良い。これは、上述のアルゴリズムに基づく撮影では、フレーム周期が一定とならないからである。
【００５８】
なお、上述では、カメラの移動に対して撮影が自動的に行なわれるように説明されているが、これはこの例に限定されずに、カメラの移動毎に手動で撮影を行なうことも、同様の処理により可能である。この場合、先ず、被写体の一部に対してカメラが向けられ、スタート／ストップキーが押された後、離される。すると、キーが押されている間の最も動きの小さいとされたフレーム画像が記録される。次に、直前に撮影された撮影範囲に対して、画像処理によって合成可能な範囲、例えば５０％が重複するようにカメラが移動され、静止される。そこで、再びキーが押され、離される。この、カメラの移動および撮影を繰り返すことで、被写体の全体を撮影する。この撮影方法によれば、移動中には記録が行なわれないため、パノラマ撮影を行なう際に記録媒体８に対する無駄な記録を行なわなくても済む利点がある。
【００５９】
上述の図２および図３に示したアルゴリズムを応用することで、このような撮影方法が可能とされる。例えば、図２に示されるアルゴリズムでは、ステップＳ１およびステップＳ２が実行され、記録がなされる。記録と同時に、累積された動きベクトルがリセットされる。そして、スタート／ストップキーが離され撮影が中止された後に、再びスタート／ストップキーが押され撮影が開始されると、再度、ステップＳ１からの処理が開始される。これは、図３に示されるアルゴリズムに対しても、同様に対応させることができる。
【００６０】
【発明の効果】
以上説明したように、この発明によれば、圧縮符号化の際に用いられる動きベクトルを監視することで、カメラが静止していることをシステムが認識するようにされているため、パノラマ画像を素早く撮影することができるという効果がある。
【００６１】
また、同様に、カメラが静止していることを認識してから記録がなされるため、シャッター速度を速くしなくても済み、暗い被写体を容易に撮影することができる効果がある。
【００６２】
さらに、一々シャッターを押さなくても、カメラを一瞬静止させるだけで自動的に記録が行なわれるようにされているため、非常に楽にパノラマ画像の撮影を行なうことができる効果がある。
【図面の簡単な説明】
【図１】この発明を適用することができるカメラ一体型ビデオレコーダの構成の一例を示すブロック図である。
【図２】この発明によるパノラマ画像撮影の原理的なアルゴリズムである。
【図３】この発明によるパノラマ画像撮影の改良されたアルゴリズムである。
【図４】手振れを少なくするようにパノラマ画像の撮影を行なった際の、撮影に要する時間および移動率，重複率を計算した結果を示す略線図である。
【符号の説明】
２・・・ＣＣＤ、３・・・圧縮符号化回路、５・・・動き検出回路、６・・・記録信号処理回路、１１・・・データ出力端、１４・・・ビューファインダ、１６・・・レンズ系駆動回路、１８・・・システムコントローラ、１９・・・キー入力部、２０・・・角速度センサ、２２・・・平均値算出回路
【図１】
0003931393.tif 000002
【図２】
0003931393.tif 000003
【図３】
0003931393.tif 000004
【図４】
0003931393.tif 000005