(57)【特許請求の範囲】
【請求項１】
撮像装置をパンニングしながら被写体を撮像して作成した画像信号により形成される複数枚の画像を、その動きベクトルに基づいて水平方向につなぎ合わせてパノラマ静止画像を作成する装置であって、
上記撮像装置の水平方向及び垂直方向の動きを検出する第１の手段と、
該第１の手段の出力に基づいて動きベクトル情報を求め、水平方向の動きベクトル情報を基に上記撮像装置のパンニングの速度（以下、パンニング速度という）を判定し、上記複数枚の画像をつなぎ合わせてパノラマ静止画像を作成するのに適したパンニング速度（以下、適正値という）に対するずれの大きさと方向を示す情報を出力する第２の手段と、
該第２の手段の出力を基に上記適正値に対する上記撮像装置のパンニング速度のずれの大きさと方向を示す情報を表示する第３の手段とを備えることを特徴とするパノラマ静止画像作成装置。
【請求項２】
上記第２の手段は、さらに、垂直方向の動きベクトル情報を基に上記撮像装置の垂直方向の手ぶれを判別し、上記撮像装置の手ぶれの大きさと方向を示す情報を出力する機能を有し、
上記第３の手段は、さらに、上記第２の手段の出力を基に上記撮像装置の手ぶれの大きさと方向を示す情報を表示する機能を有することを特徴とする請求項１記載のパノラマ静止画像作成装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、ＣＣＤ等の撮像素子により被写体を撮像して得た画像をつなぎ合わせて一枚の広角な静止画像であるパノラマ静止画像を作成する装置に関するものである。
【０００２】
【従来の技術】
従来、この種のパノラマ静止画像作成装置としては、例えば本願出願人が先に出願した特願平４−２９７７７３号（特開平６−２８４３２１号）に開示されたものがあった。このパノラマ静止画像作成装置は、例えば図７に示されているように、カメラ一体型ビデオテープレコーダ（以下「カムコーダ」という）をパンニングさせながら撮影した画像Ａ１〜Ａ８の動きベクトルを利用して画像を水平方向につなぎ合わせることにより、図８に示されているような１枚の広角な静止画像を作成する。
【０００３】
【発明が解決しようとする課題】
しかしながら、前記従来のパノラマ静止画像作成装置では、パンニングの速度にムラがあると、動きベクトルが変化することによりつなぎ合わせる画像の幅にもムラができてしまい、画像がうまくつながらない。
【０００４】
また、パンニング時にカムコーダが上下にぶれることにより、撮影された画像の垂直方向に動きが生じた場合には、図８に示されているように、そのままその動きが最終的に表示される画像のつなぎ部分に凹凸として現れてしまい、パノラマ静止画像としてはいま一つ美しくないと思える部分があった。そこで、この凹凸を塗りつぶすことが考えられているが、それを行なうと図９に示されているようにパノラマ静止画像の上下の幅が狭くなってしまう。
【０００５】
本発明はこのような問題点に鑑みてなされたものであって、パノラマ撮影時のパンニング状態をビューファインダ等に表示することにより、適正なパンニング操作を行なえるようにしたパノラマ静止画像作成装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
前記課題を解決するために本発明は、撮像装置をパンニングしながら被写体を撮像して作成した画像信号により形成される複数枚の画像を、その動きベクトルに基づいて水平方向につなぎ合わせてパノラマ静止画像を作成する装置であって、上記撮像装置の水平方向及び垂直方向の動きを検出する第１の手段と、該第１の手段の出力に基づいて動きベクトル情報を求め、水平方向の動きベクトル情報を基に上記撮像装置のパンニングの速度（以下、パンニング速度という）を判定し、上記複数枚の画像をつなぎ合わせてパノラマ静止画像を作成するのに適したパンニング速度（以下、適正値という）に対するずれの大きさと方向を示す情報を出力する第２の手段と、該第２の手段の出力を基に上記適正値に対する上記撮像装置のパンニング速度のずれの大きさと方向を示す情報を表示する第３の手段とを備えることを特徴とする。
【０００７】
また、本発明に係るパノラマ静止画像作成装置は、さらに、上記第２の手段は、垂直方向の動きベクトル情報を基に上記撮像装置の垂直方向の手ぶれを判別し、上記撮像装置の手ぶれの大きさと方向を示す情報を出力する機能を有し、上記第３の手段は、上記第２の手段の出力を基に上記撮像装置の手ぶれの大きさと方向を示す情報を表示する機能を有することを特徴とする。
【０００８】
【作用】
本発明によれば、パノラマ静止画像作成装置において、第１の手段により撮像装置の水平方向及び垂直方向の動きが検出され、この検出出力を基に第２の手段によりパンニング速度と適正値との関係が判別され、この判別出力を基に第３の手段においてパンニング速度と適正値との関係が表示される。
【０００９】
また、本発明によれば、第１の手段の手段の検出出力を基に第２の手段により上記撮像装置の手ぶれが判別され、この判別出力を基に第３の手段において上記撮像装置の手ぶれの大きさと方向を示す情報が表示される。
【００１０】
【実施例】
〔１〕本発明を適用したカムコーダ
図１は本発明を適用したカムコーダのシステム構成を示す図である。
レンズ１を通してＣＣＤイメージャ２に蓄えられた映像信号は、Ｓ／Ｈ，ＡＧＣ回路３を経てＡ／Ｄコンバータ４でデジタル映像信号にＡ／Ｄ変換される。このデジタル映像信号は、カメラ信号処理ブロック５でガンマ補正、ホワイトバランス等のカメラ信号処理が施された後にメモリシステムブロック６に入力される。
【００１１】
一方、水平方向及び垂直方向の角速度センサー７から得られたカムコーダ本体の角速度情報は、ＨＰＦ，アンプ８で直流成分をカットされて増幅された後、Ａ／Ｄコンバータ９でデジタル角速度情報にＡ／Ｄ変換される。このデジタル角速度情報はマイコン１０で積分して角度情報に変換され、更に加工を加えて動きベクトルとしてメモリシステムブロック６へ送られる。
【００１２】
さらに、操作部１１に設けられたパノラマモード制御スイッチからの制御信号がマイコン１０を介してメモリシステムブロック６に与えられる。そして、この制御信号と前述した動きベクトル情報を基にメモリの書き込み／読み出しが制御され、画像が縮小、合成されてメモリにパノラマ静止画像が合成されていく。このメモリシステムブロック６におけるパノラマ静止画像合成動作についての詳細は後述する。
【００１３】
そして、パノラマ静止画像合成中はメモリシステムスルーの映像信号が、また合成終了後はメモリから読み出されたパノラマ静止画映像信号が、ビデオ信号処理ブロック１２へ入力され、コンポジット映像信号として成形されて、合成回路１３へ送られる。
【００１４】
合成回路１３は、パンニング撮影時に基準インジケータ作成回路１４が作成した基準インジケータをビデオ信号と合成する。合成回路１３の出力は、Ｄ／Ａコンバータ１５によりアナログのビデオ信号に変換され、合成回路１６へ送られる。合成回路１６は、パンニング撮影時にパンニングインジケータ作成回路１７が作成したパンニングインジケータをビデオ信号と合成する。
【００１５】
図２に基準インジケータとパンニングインジケータの一例を示す。ここで、基準インジケータＬｘ，Ｌｙはそれぞれ画面の中央を通る水平方向と垂直方向の点線である。また、パンニングインジケータＣ０〜Ｃ２は円形のインジケータであって、その位置がパンニング速度とぶれを示す。すなわち、Ｃ０のように画面中央にある場合は、パンニング速度が適正であり、かつぶれもないことを示す。また、Ｃ１のようにパンニング方向にある場合には、速度が早すぎることを示す。さらに、Ｃ２のようにパンニング方向と反対方向にある場合には、速度が遅すぎることを示す。そして、図示されていないが、円の中心が基準インジケータＬｘから上又は下にずれているときは、カムコーダが上又は下にぶれていることを示す。
【００１６】
基準インジケータは、前述したようにパンニング撮影時に作成するが、これはユーザーが操作部１１のパノラマモード設定スイッチを操作してパノラマ作成モードになったことをマイコン１０が検出し、マイコン１０が基準インジケータ作成回路１４へ制御信号を送ることにより行う。また、パンニングインジケータは、マイコン１０が、Ａ／Ｄコンバータ９から入力される水平方向の動きベクトル情報を基にパンニング速度の大きさと方向を判定すると共に、垂直方向の動きベクトルを基に手ぶれの大きさと方向を判定し、パンニングインジケータ作成回路１７へ制御信号を送ることにより作成する。なお、パンニングインジケータの作成の制御と基準インジケータの作成の制御を別のマイコンが行なうように構成してもよい。
【００１７】
以上のようなインジケータが合成されたビデオ信号がビューファインダやカムコーダ筐体に設けられた液晶モニタに出力される。したがって、パンニング撮影中のユーザーは、ビューファインダや液晶モニタを見て、パンニングインジケータが画面の中央になるようにカムコーダを操作すれば、速度が一定で、かつぶれのないパンニング撮影を行なうことができる。この結果、作成されるパノラマ静止画像はつなぎが美しくて、かつ上下の幅も広いものとなる。
【００１８】
パノラマ静止画像合成終了後記録モードになった時には、パノラマ静止画映像信号はビデオ信号処理ブロック１２で輝度信号のエンファシスとＦＭ変調、及び色信号の低域変換等のビデオ信号処理を施され、Ｄ／Ａコンバータ１８でＤ／Ａ変換された後、Ｒ／Ｐアンプ１９を経てビデオヘッド２０に送られて、電磁変換によりビデオテープ２１に記録される。
【００１９】
再生時は、ビデオテープ２１からビデオヘッド２０により再生された映像信号は、Ｒ／Ｐアンプ１９を経てＡ／Ｄコンバータ２２でデジタル信号に変換され、ビデオ再生処理ブロック２３で、色信号の低域変換の逆変換、及び輝度信号のＦＭ復調とディエンファシス等のビデオ信号再生処理を施され、メモリシステムブロック６へ送られる。
【００２０】
メモリシステムブロック６では、記録時にパノラマ静止画像合成処理を施されている映像信号はそのままビデオ信号処理回路１２へ出力する。ビデオ信号処理回路１２は入力された映像信号を合成回路１３へ出力する。合成回路１３へ入力されたビデオ信号はＤ／Ａコンバータ１５、合成回路１６を通って出力される。この時はパンニング撮影中ではないので、基準インジケータ及びパンニングインジケータの作成と合成は行なわれない。
【００２１】
〔２〕メモリシステムの構成／動作〔パノラマ静止画像合成時〕
図３にパノラマ静止画像合成時のメモリシステムの構成と動作を示す。ここで、スイッチＳＷ１〜ＳＷ３は実線側に接続されている。また、メモリコントローラ３１から出力されている点線は制御信号を示す。
【００２２】
図１のカメラ信号処理ブロック５から入力された映像信号は、スイッチＳＷ１，ＳＷ２を通ってＳＲＡＭ／４点補間回路３２へ入力されると共に、モニタ出力のためにスイッチＳＷ３を通ってスルーで外部へ出力される。これにより、パノラマ静止画像合成中でも撮影した画像を見ることができる。また、この画像にインジケータを合成することができる。
【００２３】
ＳＲＡＭ／４点補間回路３２では、ＳＲＡＭを利用してパノラマ縮小率に応じて水平方向の縮小が行われ、４点補間回路で動きベクトルに対応した水平と垂直の１ドット以下／１ライン以下の位相ずらしが行われる。パノラマ静止画像合成前に垂直方向の縮小を行わないのは画質をなるべく損なわないようにするためで、パンニングによるパノラマ静止画像を合成する時は垂直方向にはメモリ上に余裕があるので、垂直方向の縮小は合成終了後のパノラマ静止画像をフィールドメモリ３３から読み出す時に行い、ＳＲＡＭ／４点補間回路３２で垂直方向の１ライン以下の位相ずらしを行う。
【００２４】
合成用のフィールドメモリ３３は１カラム単位のランダムアクセスができないため、縮小された原画像を任意の位置に書き込むことができない。そこで、画像の合成はフィールドメモリ３３から読み出された映像信号とＳＲＡＭ／４点補間回路３２で水平方向に縮小・補間された映像信号をバススイッチ３４を切り替えてフィードバックパスに出力し、毎回フィールドメモリ３３上に全て上書きする方式を採用した。
【００２５】
すなわち、フィールドメモリ３３では、動きベクトルに応じて合成画像が読み出される。この時、縮小原画像が固定タイミングなので合成画像側がタイミングをズラして位置合わせを行うために、実際には動きベクトルと逆方向にタイミングをズラして読み出すことになる。フィールドメモリ３３から読み出された映像信号はバススイッチ３４のＣに、ＳＲＡＭ／４点補間回路３２からの縮小原映像信号はＢに入力され、縮小原映像信号の有効画面サイズに連動してバススイッチ３４が切り替わり、ＤからＢ，Ｃの合成映像信号が出力される。
【００２６】
この合成映像信号はフィードバックパスを通って再びフィールドメモリ３３の同じ位置に上書きされ、１フィールド分の合成が終了する。この処理を繰り返すことによりフィールドメモリ３３上にパノラマ静止画像が形成される。
【００２７】
これらパノラマ静止画像合成の制御は、全てメモリコントローラ３１が行っており、図１のマイコン１０からの情報を１フィールド毎に受け、１ライン単位で処理し、それぞれのブロックヘリアルタイムで制御信号を送る。
【００２８】
以上説明したパノラマ静止画像の合成動作を図４に示す。この図において、（１）〜（８）は図１１の画像Ａ１〜Ａ８に対応する画像の処理を示す。左側の入力画像Ａは図２のメモリシステムへ入力される画像を示す。また、中央部の水平縮小画像Ｂは入力画像ＡをＳＲＡＭ／四点補間回路３２で水平方向に１／３に縮小・補間し、バススイッチ３４のＣへ入力される画像を示す。そして、右側の合成メモリ画像Ｄは、バススイッチ３４のＤからフィードバックパスを通ってフィールドメモリ３３上で合成される画像を示す。この時、例えば（１）の合成メモリ画像Ｄには（２）の縮小画像Ｃが合成され、（２）の合成メモリ画像Ｄとなる。そして、この動作を（８）まで繰り返すことにより、図５の（８）の右端に描かれている合成画像がフィールドメモリ３３上に形成され、パノラマ静止画像の合成が完了する。
【００２９】
〔３〕メモリシステムの構成／動作  〔パノラマ静止画像表示時〕
図５にパノラマ静止画像表示時のメモリシステムの構成と動作を示す。
フィールドメモリ３３に形成されたパノラマ静止画像は垂直方向に縮小されていないので、垂直方向の縮小率に応じて間引き読み出される。この時、フィールドメモリ３３から読み出されるデータが奇数フィールドのデータか偶数フィールドのデータかに応じてインターレースするように間引く。
【００３０】
フィールドメモリ３３から読み出されたデータは、縮小率が整数分の１でない場合や間引き読み出しではインターレースが正確にできない場合、ＳＲＡＭ／４点補間回路３２において垂直補間が実行される。なお、垂直縮小で補間を行う場合には、常時近接した２ラインのデータが必要なためフィールドメモリには読み出し２ポートのものを使用する。
【００３１】
このようにして垂直方向に縮小処理を受けた映像信号はスイッチＳＷ３からビデオ信号処理回路へ送られる。図６にフィールドメモリ３３で合成されたパノラマ静止画像及びＳＲＡＭ／４点補間回路３２で垂直縮小されたパノラマ静止画像の一例を示す。
【００３２】
なお、本発明は前記実施例に限定さるものではなく、本発明の趣旨に基づいて種々の変形が可能であり、それらを本発明の範囲から排除するものではない。
例えば、前記実施例では基準インジケータは適正な位置の中心を示す線であるが、中心から所定幅のエリアを適正な位置の許容範囲に定め、基準インジケータがその許容範囲を示すように構成してもよい。
【００３３】
また、前記実施例では基準インジケータはデジタル信号で合成し、パンニングインジケータはアナログ信号で合成しているが、共にアナログ信号又はデジタル信号で合成してもよい。また、インジケータ作成回路をメモリシステム中の映像信号をスルーで通す経路に設けてもよい。
【００３４】
さらに、前記実施例では、パンニング速度及び手ぶれを表示しているが、例えば手ぶれを補正する機能を有するカムコーダの場合には、パンニング速度のみを表示するように構成すればよい。
【００３５】
また、前記実施例は本発明をカムコーダに適用したものであるが、記録媒体として磁気ディスク、光磁気ディスク等の回転記録媒体を用いた映像信号記録再生装置に適用してもよい。
【００３６】
【発明の効果】
以上詳細に説明したように、本発明によれば、パンニング撮影時にパンニング状態（速度、手ぶれ）をビューファインダ等に表示するので、ユーザーはこの表示を見ながら適正なパンニング操作を行なうことができる。したがって、作成されるパノラマ静止画像はつなぎが美しく上下の幅が広いものとなる。
【図面の簡単な説明】
【図１】本発明を適用したカムコーダのシステム構成を示す図である。
【図２】インジケータの一例を示す図である。
【図３】パノラマ静止画像合成時のメモリシステムの構成と動作を示す図である。
【図４】パノラマ静止画像の合成動作を示す図である。
【図５】パノラマ静止画像表示時のメモリシステムの構成と動作を示す図である。
【図６】フィールドメモリで合成されたパノラマ静止画像及びＳＲＡＭ／４点補間回路で垂直縮小されたパノラマ静止画像の一例を示す図である。
【図７】従来のパノラマ静止画像作成方法を説明する図である。
【図８】従来の方法で作成されたパノラマ静止画像の表示画面の一例を示す図である。
【図９】従来の方法で作成されたパノラマ静止画像の表示画面の他の一例を示す図である。
【符号の説明】
１３，１６…合成回路、１４…基準インジケータ作成回路、１７…パンニングインジケータ作成回路、Ｌｘ，Ｌｙ…基準インジケータ、Ｃ０〜Ｃ２…パンニングインジケータ
【図１】
0003605870.tif 000002
【図２】
0003605870.tif 000003
【図３】
0003605870.tif 000004
【図４】
0003605870.tif 000005
【図５】
0003605870.tif 000006
【図６】
0003605870.tif 000007
【図７】
0003605870.tif 000008
【図８】
0003605870.tif 000009
【図９】
0003605870.tif 000010