(57)【要約】【課題】  撮影装置は動きのある実写画像とＣＧ合成を行うにはコストや装置が大掛かりでなかなか手軽に個人レベルでＣＧ合成を行うことができなかった。また、カメラの動きを検知手段が内蔵されているカメラでも、防振機能に使われるだけであった。【解決手段】  動きベクトル情報と撮像装置の動き情報のうち、少なくとも１つの動き信号データを伴った第一の映像データから、少なくとも１つの動き情報を用いて他の少なくとも１つ以上の第二の映像データと前記第一の映像データを合成するための合成手段を有する。【選択図】        図１
2006140686.tif 000002
【特許請求の範囲】
【請求項１】
動きベクトル情報と撮像装置の動き情報のうち、少なくとも１つの動き信号データを伴った第一の映像データから、第一の映像データの少なくとも１つの動き情報を用いて、他の少なくとも１つ以上の第二の映像データと前記第一の映像データを合成するための合成手段を有し、合成位置を前記第一の動き情報と連動させて合成位置を変化させることを特徴とする映像処理装置。
【請求項２】
動きベクトル情報と撮像装置の動き情報のうち、少なくとも１つの動き信号データと焦点距離データを伴った第一の映像データから、第一の映像データの少なくとも１つの動き情報を用いて、合成位置を前記第一の動き情報情報と焦点距離データから計算し焦点距離にある被写体の動き量を計算する計算手段を有し、他の少なくとも１つ以上の第二の映像データと前記第一の映像データを合成するための合成手段を有し、合成位置を該計算手段によって計算された被写体の動き量に連動させ変化させることを特徴とする映像処理装置。
【請求項３】
焦点距離データに連動して合成映像の大きさを変化させる合成映像スケーリング手段を有することを特徴とする請求項２記載の映像処理装置。
【請求項４】
初期の合成位置を選択する選択手段を有することを特徴とする請求項１又は２記載の映像処理装置。
【請求項５】
請求項１の動きベクトル情報を動き情報として選択する場合、請求項３の選択手段で合成選択された被写体のベクトル情報を用い、さらに次の映像ではその被写体が動いた場所の動きベクトル情報を用いることを特徴とした映像処理装置。
【請求項６】
動きベクトル情報と撮像装置の動き情報のうち、少なくとも１つの動き信号データを伴った映像データから、映像データの少なくとも１つの動き情報を用いて、映像データのある指定映像加工範囲位置に映像効果を行う映像加工手段を有し、該映像加工範囲位置を前記第一の動き情報と連動させて映像加工範囲を変化させることを特徴とする映像処理装置。
【請求項７】
動きベクトル情報と撮像装置の動き情報のうち、少なくとも１つの動き信号データと焦点距離データを伴った映像データから、映像データの少なくとも１つの動き情報を用いて、前記第一の動き情報情報と焦点距離データから計算し焦点距離にある被写体の動き量を計算する計算手段を有し、映像データのある指定範囲位置に映像効果を行う映像加工手段を有し、該映像加工範囲位置を該計算手段によって計算された被写体の動き量に連動させ変化させ映像加工を行うことを特徴とする映像処理装置。
【請求項８】
焦点距離データに連動して映像加工範囲の大きさを変化させる映像加工範囲スケーリング手段を有することを特徴とする請求項７記載の映像処理装置。
【請求項９】
初期の映像加工範囲を選択する選択手段を有することを特徴とする請求項６又は請求項７記載の映像処理装置。
【請求項１０】
請求項６の動きベクトル情報を動き情報として選択する場合、請求項８の選択手段で加工位置選択された被写体のベクトル情報と用い、さらに次の映像ではその被写体が動いた場所の動きベクトル情報を用いることを特徴とした映像処理装置。
【請求項１１】
動きベクトル情報と撮像装置の動き情報のうち、少なくとも１つの動き信号データを伴った第一の映像データから、第一の映像データの少なくとも１つの動き情報を用いて、他の少なくとも１つ以上の第二の映像データと前記第一の映像データを合成するための合成手段を有し、合成位置を前記第一の動き情報と連動させて合成位置を変化させることを特徴とする映像処理方法。
【請求項１２】
動きベクトル情報と撮像装置の動き情報のうち、少なくとも１つの動き信号データと焦点距離データを伴った第一の映像データから、第一の映像データの少なくとも１つの動き情報を用いて、合成位置を前記第一の動き情報情報と焦点距離データから計算し焦点距離にある被写体の動き量を計算する計算手段を有し、他の少なくとも１つ以上の第二の映像データと前記第一の映像データを合成するための合成手段を有し、合成位置を該計算手段によって計算された被写体の動き量に連動させ変化させることを特徴とする映像処理方法。
【請求項１３】
焦点距離データに連動して合成映像の大きさを変化させる合成映像スケーリング手段を有することを特徴とする請求項１２記載の映像処理方法。
【請求項１４】
初期の合成位置を選択する選択手段を有することを特徴とする請求項１１又は請求項１２の映像処理方法。
【請求項１５】
請求項１１の動きベクトル情報を動き情報として選択する場合、請求項１３の選択手段で合成選択された被写体のベクトル情報を用い、さらに次の映像ではその被写体が動いた場所の動きベクトル情報を用いることを特徴とした映像処理方法。
【請求項１６】
動きベクトル情報と撮像装置の動き情報のうち、少なくとも１つの動き信号データを伴った映像データから、映像データの少なくとも１つの動き情報を用いて、映像データのある指定映像加工範囲位置に映像効果を行う映像加工手段を有し、該映像加工範囲位置を前記第一の動き情報と連動させて映像加工範囲を変化させることを特徴とする映像処理方法。
【請求項１７】
動きベクトル情報と撮像装置の動き情報のうち、少なくとも１つの動き信号データと焦点距離データを伴った映像データから、映像データの少なくとも１つの動き情報を用いて、前記第一の動き情報情報と焦点距離データから計算し焦点距離にある被写体の動き量を計算する計算手段を有し、映像データのある指定範囲位置に映像効果を行う映像加工手段を有し、該映像加工範囲位置を該計算手段によって計算された被写体の動き量に連動させ変化させ映像加工を行うことを特徴とする映像処理方法。
【請求項１８】
焦点距離データに連動して映像加工範囲の大きさを変化させる映像加工範囲スケーリング手段を有することを特徴とする請求項１７記載の映像処理方法。
【請求項１９】
初期の映像加工範囲を選択する選択手段を有することを特徴とする請求項１６又は請求項１７記載の映像処理方法。
【請求項２０】
請求項１６の動きベクトル情報を動き情報として選択する場合、請求項１８の選択手段で加工位置選択された被写体のベクトル情報と用い、さらに次の映像ではその被写体が動いた場所の動きベクトル情報を用いることを特徴とした映像処理方法。
【請求項２１】
請求項１乃至１０の何れかに記載の映像処理装置の機能、又は映像処理の機能を実施するための処理プログラムを、コンピュータが読出可能に格納したことを特徴とする記憶媒体。
【請求項２２】
請求項１１乃至２０の何れかに記載の映像処理方法の処理ステップを、コンピュータが読出可能に格納したことを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオカメラ等の撮影装置などによって撮られた映像を、カメラの動きデータや被写体の動きデータと同期して、記録もしくは出力できるようにしたカメラの情報を用いて、映像データとＣＧとの合成位置や、映像データへの画像処理位置を動きデータの動きに同期させ、動的な合成や画像処理を可能にさせるための映像処理装置、映像処理方法および記憶媒体に関するものである。
【背景技術】
【０００２】
近年コンピュータグラフィックス（以下ＣＧと略す）の進歩とパーソナルコンピュータの高性能化、一般家庭へのビデオカメラの普及により、個人レベルでもノンリニア編集と呼ばれる動画像の編集を行うようになってきている。またそれに伴い、個人レベルでも文字のテロップや背景、もしくは実写像をコンピュータによって加工処理された映像などのいわゆるＣＧと実写像との合成を行うことが多くなってきている。しかし、三脚などを使わず手持ちカメラなどで撮られた動きのある実写画像や人物が動き回る映像に、その動きに関連したＣＧとの合成を行う場合、その揺れのために正確な位置あわせを伴う合成作業を必要とするため、なかなか難しく作業量の多さゆえに個人レベルでは簡単な動きに連動しないテロップなどの挿入に限られているのが現状である。
【０００３】
そこでこの位置決めの作業を自動化するためにはＣＧと実写像の合わせこみの為に撮られた画像データから実写像の動きを知る必要やカメラの動きを知ら無くてはならない。そのために画像認識装置を別に用意して画像の動き検出を行い、ＣＧをそれに合わせて動かす作業を行わねばならない。また、カメラ側の動きを検知する場合でも、大掛かりな装置やスタジオを用意する必要がありコストが高く、また装置が大掛かりになってしまう。そのため、動きに合わせたＣＧ合成はなかなか個人レベルで行うことが困難であった。
【０００４】
一方、近年のビデオカメラには、電子防振や光学防振などの機能があり、画像の動きもしくはカメラの動きを検知する装置自体はカメラ内部に内蔵されているが、そのデータはビデオカメラ内での画像の防振機能に使われるだけのものであった。
【０００５】
以上のように、現在の撮影装置は、動きのある実写画像とＣＧ合成を行うにはコストや装置が大掛かりでなかなか手軽に個人レベルでＣＧ合成を行うことができなかった。また、カメラの動きを検知する手段が内蔵されているカメラであっても、その動き情報はカメラ内部での防振機能に使われるだけで外部に出力する機能が無かったが本発明者により以前提案した特許文献１で動き信号を出力するビデオカメラを提案している。
【特許文献１】特開２００４−１２８９６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、実際にこの動き信号を用いた合成装置および合成方法については熟慮されておらず、その振れ、動き情報を用いた合成方法については提案されていなかった。
【０００７】
本発明は、以上の点に着目して成されたもので、動きのある実写象と、ＣＧ映像との合成及び実写像の動的な画像処理を、カメラ外部のＣＧ合成装置のソフトを用いることによって半自動化することが出来る映像処理装置、映像処理方法および記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記問題点を解決するために、
本発明のうち、まず映像処理装置について詳細に説明すれば、
第一の発明は、動きベクトル情報と撮像装置の動き情報のうち、少なくとも１つの動き信号データを伴った第一の映像データから、第一の映像データの少なくとも１つの動き情報を用いて、他の少なくとも１つ以上の第二の映像データと前記第一の映像データを合成するための合成手段を有し、合成位置を前記第一の動き情報と連動させて合成位置を変化させることを特徴とする。
【０００９】
第二の発明は、動きベクトル情報と撮像装置の動き情報のうち、少なくとも１つの動き信号データと焦点距離データを伴った第一の映像データから、第一の映像データの少なくとも１つの動き情報を用いて、合成位置を前記第一の動き情報情報と焦点距離データから計算し焦点距離にある被写体の動き量を計算する計算手段を有し、他の少なくとも１つ以上の第二の映像データと前記第一の映像データを合成するための合成手段を有し、合成位置を該計算手段によって計算された被写体の動き量に連動させ変化させることを特徴とする。
【００１０】
第三の発明は、上記第二の発明において、焦点距離データに連動して合成映像の大きさを変化させる合成映像スケーリング手段を有することを特徴とする。
【００１１】
第四の発明は、上記第一又は二の発明において、初期の合成位置を選択する選択手段を有することを特徴とする。
【００１２】
第五の発明は、上記第一の発明において、動きベクトル情報を動き情報として選択する場合、第三の発明の選択手段で合成選択された被写体のベクトル情報と用い、さらに次のコマではその被写体が動いた場所の動きベクトル情報を用いることを特徴とする。
【００１３】
第六の発明は、動きベクトル情報と撮像装置の動き情報のうち、少なくとも１つの動き信号データを伴った映像データから、映像データの少なくとも１つの動き情報を用いて、映像データのある指定映像加工範囲位置に映像効果を行う映像加工手段を有し、該映像加工範囲位置を前記第一の動き情報と連動させて映像加工範囲を変化させることを特徴とする。
【００１４】
第七の発明は、動きベクトル情報と撮像装置の動き情報のうち、少なくとも１つの動き信号データと焦点距離データを伴った映像データから、映像データの少なくとも１つの動き情報を用いて、前記第一の動き情報情報と焦点距離データから計算し焦点距離にある被写体の動き量を計算する計算手段を有し、映像データのある指定範囲位置に映像効果を行う映像加工手段を有し、該映像加工範囲位置を該計算手段によって計算された被写体の動き量に連動させ変化させ映像加工を行うことを特徴とする。
【００１５】
第八の発明は、上記第七の発明において、焦点距離データに連動して映像加工範囲の大きさを変化させる映像加工範囲スケーリング手段を有することを特徴とする。
【００１６】
第九の発明は、上記第六又は七の発明において、初期の映像加工範囲を選択する選択手段を有することを特徴とする。
【００１７】
第十の発明は、上記第六の発明において、動きベクトル情報を動き情報として選択する場合、請求項８の選択手段で加工位置選択された被写体のベクトル情報と用い、さらに次のコマではその被写体が動いた場所の動きベクトル情報を用いることを特徴とする。
【００１８】
第十一から二十までの発明は映像処理方法に関するものである。
【００１９】
また、本発明の記憶媒体について、詳細に説明すれば、
第二十一の発明は、上記第一乃至第十の発明において、何れかに記載の画像処理装置の機能、又は画像処理の機能を実施するための処理プログラムを、コンピュータが読出可能に格納したことを特徴とする。
【００２０】
第二十二の発明は、第十一乃至二十の発明において、何れかに記載の画像処理方法の処理ステップを、コンピュータが読出可能に格納したことを特徴とする。
【発明の効果】
【００２１】
本発明によれば、今までビデオカメラに無かった動き信号や焦点距離データの出力機能を用いることにより動きのある実写象と、ＣＧ映像との合成及び実写像の動的な画像処理を、カメラ外部のＣＧ合成装置のソフトを用いることによって半自動化することが出来るようになった。
【発明を実施するための最良の形態】
【００２２】
以下本発明を実施するための最良の形態を、実施例により詳しく説明する。
【実施例１】
【００２３】
各図を参照しながら、本発明実施形態１について説明する。本発明は、例えば図１に示すようなノンリニア編集システム１００に適用される。
【００２４】
本実施の形態のシステム１００は、図１に示すように、本発明者により以前提案した特許文献１で示された動き情報つきビデオカメラ、ＤＶ（ディジタルビデオ）録再生装置１０１と、ノンリニア編集装置１０３とが、ＩＥＥＥ１３９４規格に準拠した通信回線１０２を介して互いに通信可能なように接続された構成としている。これにより、ＤＶ録再生装置１０１において、ノンリニア編集装置１０３で編集処理された画像データ（加工された動画データ等）やその他データをテープ状記録媒体等へ記録することができる。ここで、本発明では、本発明者により提案された動き信号や焦点距離信号も映像と同期して出力できるビデオカメラを用いて、映像とともに動き信号も送信することが出来る。
【００２５】
具体的には、ノンリニア編集装置１０３は、パーソナルコンピュータやワークステーション等からなり、図２に示すような構成としている。
【００２６】
すなわち、ノンリニア編集装置１０３は、図２に示すように、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、キーボード（ＫＢ）２０９のキーボードコントローラ（ＫＢＣ）２０５と、表示部としてのＣＲＴディスプレイ（ＣＲＴ）２１０のＣＲＴコントローラ（ＣＲＴＣ）２０６と、ハードディスク（ＨＤ）２１１及びフロッピー（登録商標）ディスク（ＦＤ）２１２のディスクコントローラ（ＤＫＣ）２０７と、ＩＥＥＥ１３９４インターフェース２０８とが、システムバス２０４を介して互いに通信可能に接続された構成としている。そして、ＩＥＥＥ１３９４インターフェース２０８が、図１に示した通信回線１０２と接続される。
【００２７】
ＣＰＵ２０１は、ＲＯＭ２０２或いはＨＤ２１１に記憶されたソフトウェア、或いはＦＤ２１２より供給されるソフトウェアを実行することで、システムバス２０４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ２０１は、所定の処理シーケンスに従った処理プログラムを、ＲＯＭ２０２、或いはＨＤ２１１、或いはＦＤ２１２から読み出して実行することで、本実施の形態での動作を実現するための制御を行う。
【００２８】
ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ或いはワークエリア等として機能する。ＫＢＣ２０５は、ＫＢ２０９や図示していないポインティングデバイス等からの指示入力を制御する。ＣＲＴＣ２０６は、ＣＲＴ２１０の表示を制御する。ＤＫＣ２０７は、ブートプログラム、種々のアプリケーション、編集ファイル、ユーザファイル、通信管理プログラム、及び本実施の形態における上記処理プログラム等を記憶するＨＤ２１１及びＦＤ２１２とのアクセスを制御する。ＩＥＥＥ１３９４インターフェース２０８は、通信回線１０２を介して、ＤＶ録再生装置１０１と双方向にデータをやりとりする。
【００２９】
これを用いて、ＤＶ録再生装置１０１から動画像とそれに同期した動画の動き情報と焦点距離情報をＩＥＥＥ１３９４インターフェース２０８を介して送信し、ＨＤ２１１に動画ファイル、動き情報ファイル、焦点距離ファイルとして保存しておく。そして、動画像に合成するＣＧなどのファイルもあらかじめＨＤ２１１に保存しておき、これらを後述するフローチャートに基づくプログラムによって動きに連動した合成処理を行う。
【００３０】
この作業を図７の模式図を用いて説明する。
【００３１】
ＤＶ再生装置から送られた動画ファイル７０１とその動画を撮影した際に発生したカメラの振れ信号ファイル７０３と焦点距離ファイル７０７があり、またあらかじめ製作した合成用映像ファイル７０２がある。（模式図では静止画を用いているが動画でも良い、また動画ファイル上に振れ情報、焦点距離情報データを入れて１つのファイルとしても良い。）これをノンリニア編集装置１０３上に合成初期位置、フレーム数などの初期値７０５を入力し、映像合成処理７０４を行うことにより、振れデータにあわせた映像合成を行える。そして、映像合成された映像を出力ファイル７０６として出力することになる。
【００３２】
この作業により合成を行うわけだが、このとき重要になるのが振れ信号ファイル７０３と動画ファイル７０１上の位置がどのような関係にあるかである。
【００３３】
これを説明するために幾つかのステップを踏むこととする。
【００３４】
まず、図３の左図に示すように、カメラの画角がθである時、ある距離ｒだけ離れた場所の撮影範囲ｘθは、
2006140686.tif 000003
で表現される。
【００３５】
また、カメラの振れ角がφである時、ある距離ｒだけ離れた場所の振れ範囲ｘφは、
2006140686.tif 000004
で表現される。
【００３６】
また、図４左で示される用に、焦点距離と撮像素子の大きさと画角との関係は、
2006140686.tif 000005
となり
2006140686.tif 000006
となる。
【００３７】
上式のように画角θをカメラのＣＣＤサイズと焦点距離で表現できことになる。
【００３８】
たとえば、１／３インチＣＣＤを搭載されているビデオカメラの水平方向の画角θｘで在れば、図４左図のように対角の大きさが１／３インチであり、一般ビデオの垂直水平比が３：４であるので、水平方向のＣＣＤサイズｄｘは４／１５インチとなる。これは約６．７７ｍｍとなり、たとえば焦点距離が１０ｍｍであれば、
2006140686.tif 000007
【００３９】
と計算できる。また垂直方向も同様の計算で求めることが出来る。このようにして焦点距離と撮像素子の大きさから画角を求めることが出来る。
【００４０】
では、求めたかった、カメラの振れ角がφのとき、画像の動き量は実際に撮影された画像としては何ピクセル分となるか。
【００４１】
まず撮影画像の水平方向の画像サイズをＰａピクセルとおく。また撮影される実際の画角に対応する大きさは、先に求めたようにｒθであり、また振れ角φの実際の撮影で振れる大きさはｒφで表現されているので、求める振れ角φで振れるピクセル数をＰφとすると、撮影される画角に対する大きさｒθが水平方向の画像サイズＰａピクセル分となるので、比の関係より、
2006140686.tif 000008
と表現できる。
【００４２】
また、先に求めた焦点距離と撮像素子の大きさと画角の関係より
2006140686.tif 000009
と表現できることになる。
【００４３】
たとえば、１／３インチＣＣＤを搭載されているビデオカメラで焦点距離が１０ｍｍであれば、先の例よりθｘは先の結果より１８．７°となり、また水平方向の画像サイズＰａを７２０ピクセルとすると振れ角φ＝１°だとすると
2006140686.tif 000010
となり、横ゆれの振れ角１°で３９ピクセル動くことになる。
【００４４】
また垂直方向も同様の計算で分かる。
【００４５】
このようにカメラの振れ角と焦点距離と撮像素子の大きさが分かっていれば、実際に撮影された画像の移動量がわかることになる。
【００４６】
ここで、図５は先に述べたノンリニア編集装置１０３によって取り込まれた動画像ファイルで使用される座標定義を示す図である。
【００４７】
動画像データは、１／３０秒ごとに一つのフレームと呼ばれる静止画像があり、その連続により動画像が表現されている。フレームの画像サイズは７４０×４８０ピクセルの大きさのものが一般的である。（ただし、ＰＡＬ形式、画像サイズなどが異なっていても使用されるアルゴリズムは同様である）。
【００４８】
フレーム画像の任意の１つの点であるピクセルは、フレームの左上を原点として、水平方向の座標（Ｘ座標）と垂直方向の座標（Ｙ座標）で原点からのピクセル数で（Ｘ，Ｙ）で表され、（０，０）から（７２０，４８０）の範囲内に収まる。また、このフレームが時間的に連続してあるため、あるフレームのある点をあらわす座標としてフレーム番号ｎを加えたＰ（ｘ、ｙ、ｎ）で動画中のすべてのピクセル座標を表せることになる。
【００４９】
この座標系を用いて先に求めたカメラの振れ角により画像の移動量がわかっているので、最初に合成ポイントを示すことによって、振れ角に依存して合成ポイントを移動させることが出来、画像ポイントの動画中の座標をあらわすことが可能となる。
【００５０】
それを表したのが図６になる。
【００５１】
図６では、最初に０フレーム目のｘ０、ｙ０つまり、Ｐ（ｘ０、ｙ０、０）を最初の合成ポイントとして設定すると、ｎフレーム目の合成ポイントは、ｎフレーム目の水平方向の振れ角をφｘｎ、垂直方向の振れ角をφｙｎ、水平方向の総ピクセル数をＰａｘ、垂直方向をＰａｙとすると、
2006140686.tif 000011
と表現することが出来る。
【００５２】
以上のことを踏まえ、映像合成処理７０４の詳細をフローチャート図８を参照しながら説明する。
【００５３】
先ずＣＰＵ２０１は、合成処理を施す対象動画ファイル、それに関連する振れ情報ファイル及び焦点距離情報ファイルをＨＤ２１１などから取得する処理Ｓ２０２を行う。
【００５４】
次に、ＣＰＵ２０１は、対象動画ファイルに追加する合成用動画や静止画ファイルをＨＤ２１１などから取得する処理Ｓ２０３を行う。
【００５５】
そして次にＣＲＴ手段に初期設定パラメータを入力させる画面などを出し、ＫＢ２０９でユーザに、ＣＣＤサイズ、合成初期位置、合成フレーム範囲などの初期値を入力させる処理Ｓ２０４を行う。次に、処理フレームを指定範囲の最初のフレームに設定する処理Ｓ２０５を行う。次に、呼び出した対象動画ファイルの処理フレームを呼び出す処理Ｓ２０６を行う。次に、追加する合成用動画や静止画ファイルの処理フレームを呼び出す処理Ｓ２０７を行う。次に対象動画ファイルの処理フレームと合成用動画や静止画ファイルの処理フレームと、設定された合成位置において合成処理Ｓ２０８を行い、作成された新しい合成フレームを作成する処理Ｓ２０９を行う。そして、処理フレームを１つ進める処理Ｓ２１０を行う．以上の処理によって１フレームの合成が行われた。次に１つ進められた処理フレームが処理Ｓ２０４で指定した合成フレーム範囲内かどうかを判断する処理Ｓ２１１を行い、もし範囲外であれば合成動画をＨＤ２１１などにファイルとして書き出す処理Ｓ２１４を行い終了する。しかし、合成範囲内であれば、処理フレームの振れ情報ファイルより処理フレームに対応する振れ情報及び焦点距離情報の呼び出し処理Ｓ２１２を行う。次に、呼び出した対応フレームの振れ情報から次の合成位置を先に説明した式によって計算し新しい合成位置を計算し、結果を処理フレームの合成位置に更新する処理Ｓ２１３を行う。そして先に説明した処理Ｓ２０６に戻り、処理フレームが存在する限り合成を繰り返す処理を行う。
【００５６】
以上のような処理によって動き出力つきのビデオカメラのデータを用いて、動画像の振れ情報に同期させて動画像と合成用動画及び静止画との合成を行うことが出来る。
【実施例２】
【００５７】
図１は、本発明の実施例の構成図である。
【００５８】
各図を参照しながら、本発明実施形態２について説明する。本発明は、実施例１と同様図１に示すようなノンリニア編集システム１００に適用される。
【００５９】
本実施の形態のシステム１００は、上記図１に示すように、本発明者により以前提案した特許文献１で示された動き情報つきビデオカメラ、ＤＶ（ディジタルビデオ）録再生装置１０１と、ノンリニア編集装置１０３とが、ＩＥＥＥ１３９４規格に準拠した通信回線１０２を介して互いに通信可能なように接続された構成としている。これにより、ＤＶ録再生装置１０１において、ノンリニア編集装置１０３で編集処理された画像データ（加工された動画データ等）やその他データをテープ状記録媒体等へ記録することができる。ここで、本発明では、本発明者により提案された動き信号や焦点距離信号も映像と同期して出力できるビデオカメラを用いて、映像とともに動き信号も送信することが出来る。
【００６０】
具体的には、ノンリニア編集装置１０３は、パーソナルコンピュータやワークステーション等からなり、図２に示すような構成としている。
【００６１】
すなわち、ノンリニア編集装置１０３は、図２に示すように、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、キーボード（ＫＢ）２０９のキーボードコントローラ（ＫＢＣ）２０５と、表示部としてのＣＲＴディスプレイ（ＣＲＴ）２１０のＣＲＴコントローラ（ＣＲＴＣ）２０６と、ハードディスク（ＨＤ）２１１及びフロッピー（登録商標）ディスク（ＦＤ）２１２のディスクコントローラ（ＤＫＣ）２０７と、ＩＥＥＥ１３９４インターフェース２０８とが、システムバス２０４を介して互いに通信可能に接続された構成としている。そして、ＩＥＥＥ１３９４インターフェース２０８が、図１に示した通信回線１０２と接続される。
【００６２】
ＣＰＵ２０１は、ＲＯＭ２０２或いはＨＤ２１１に記憶されたソフトウェア、或いはＦＤ２１２より供給されるソフトウェアを実行することで、システムバス２０４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ２０１は、所定の処理シーケンスに従った処理プログラムを、ＲＯＭ２０２、或いはＨＤ２１１、或いはＦＤ２１２から読み出して実行することで、本実施の形態での動作を実現するための制御を行う。
【００６３】
ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ或いはワークエリア等として機能する。ＫＢＣ２０５は、ＫＢ２０９や図示していないポインティングデバイス等からの指示入力を制御する。ＣＲＴＣ２０６は、ＣＲＴ２１０の表示を制御する。ＤＫＣ２０７は、ブートプログラム、種々のアプリケーション、編集ファイル、ユーザファイル、通信管理プログラム、及び本実施の形態における処理プログラム等を記憶するＨＤ２１１及びＦＤ２１２とのアクセスを制御する。ＩＥＥＥ１３９４インターフェース２０８は、通信回線１０２を介して、ＤＶ録再生装置１０１と双方向にデータをやりとりする。
【００６４】
これを用いて、ＤＶ録再生装置１０１から動画像とそれに同期した動画の動き情報と焦点距離情報をＩＥＥＥ１３９４インターフェース２０８を介して送信し、ＨＤ２１１に動画ファイル、動き情報ファイル、焦点距離ファイルとして保存しておく。そして、動画像を画像処理パターンファイルもあらかじめＨＤ２１１に保存しておき、これらを後述するフローチャートに基づくプログラムによって動きに連動した画像処理を行う。
【００６５】
この作業を図１０の模式図を用いて説明する。
【００６６】
ＤＶ再生装置から送られた動画ファイル１００１とその動画を撮影した際に発生したカメラで撮影された画像の動きベクトル信号ファイル１００３と焦点距離ファイル１００７があり、またあらかじめ製作した画像処理パターンファイル１００２がある。（模式図ではモザイク処理を用いているがその他シャープネスなどの処理でも良い。また動画ファイル上に動きベクトル情報、焦点距離情報データを入れて１つのファイルとしても良い。）これをノンリニア編集装置１０３上に画像処理初期位置、画像処理初期範囲、画像処理フレーム範囲、同期させる動きベクトルなどの初期値１００５を入力し、画像処理１００４を行うことにより、動きベクトルデータにあわせた画像処理を行える。そして、画像処理された映像を出力ファイル１００６として出力することになる。
【００６７】
この作業により画像処理を行うわけだが、このとき重要になるのが動きベクトル情報ファイル１００３と動画ファイル１００１上の位置がどのような関係にあるかである。
【００６８】
ここで、図５は先に述べたノンリニア編集装置１０３によって取り込まれた動画像ファイルで使用される座標定義を示す図である。
【００６９】
動画像データは、１／３０秒ごとに一つのフレームと呼ばれる静止画像があり、その連続により動画像が表現されている。フレームの画像サイズは７４０×４８０ピクセルの大きさのものが一般的である。（ただし、ＰＡＬ形式、画像サイズなどが異なっていても使用されるアルゴリズムは同様である）。
【００７０】
フレーム画像の任意の１つの点であるピクセルは、フレームの左上を原点として、水平方向の座標（Ｘ座標）と垂直方向の座標（Ｙ座標）で原点からのピクセル数で（Ｘ，Ｙ）で表され、（０，０）から（７２０，４８０）の範囲内に収まる。また、このフレームが時間的に連続してあるため、あるフレームのある点をあらわす座標としてフレーム番号ｎを加えたＰ（ｘ、ｙ、ｎ）で動画中のすべてのピクセル座標を表せることになる。
【００７１】
この座標系を用いて動きベクトル情報によって移動量がわかっているので、最初の画像処理ポイントを示すことによって、動きベクトル情報に依存して画像処理位置を移動させることが出来、動画中の画像処理座標をあらわすことが可能となる。
【００７２】
それを表したのが図９になる。
【００７３】
図９では、最初の画像処理フレームである０フレーム目のｘ０、ｙ０つまり、Ｐ（ｘ０、ｙ０、０）を最初の画像処理ポイントとして設定すると、ｎフレーム目の合成ポイントは、ｎフレーム目の座標Ｐ（ｘｎ，ｙｎ，ｎ）にある動きベクトル情報の水平成分をｖｙ（ｘｎ，ｙｎ，ｎ）、垂直方向成分をｖｘ（ｘｎ，ｙｎ，ｎ）とすると動きベクトルは、振れ信号とは違いカメラで取られたフレーム間から対応点を探し出しその動き量を動きベクトルとして持っているので、フレーム間の各ピクセルについての移動量はすでに計算されているので、
2006140686.tif 000012
と表現することが出来る。
【００７４】
以上のことを踏まえ、画像処理１００４の詳細をフローチャート図１１を参照しながら説明する。
【００７５】
先ずＣＰＵ２０１は、画像処理を施す対象動画ファイル、それに関連する動きベクトル情報ファイル及び焦点距離情報ファイルをＨＤ２１１などから取得する処理Ｓ２０２を行う。
【００７６】
次に、ＣＰＵ２０１は、対象動画ファイルに画像処理を行うための画像処理パターンファイルをＨＤ２１１などから取得する処理Ｓ２０３を行う。
【００７７】
そして次にＣＲＴ手段に初期設定パラメータを入力させる画面などを出し、ＫＢ２０９でユーザに、画像処理初期位置、画像処理初期範囲、画像処理フレーム範囲、最初に同期させるべき動きベクトルなどの初期値を入力させる処理Ｓ２０４を行う。次に、処理フレームを指定範囲の最初のフレームに設定する処理Ｓ２０５を行う。次に、呼び出した対象動画ファイルの処理フレームを呼び出す処理Ｓ２０６を行う。次に対象動画ファイルの処理フレームと画像処理パターンファイルにより、設定された画像処理位置、画像処理範囲において画像処理Ｓ２０７を行い、作成された新しい処理済みフレームの画像データの保存を行う処理Ｓ２０８を行う。そして、処理フレームを１つ進める処理Ｓ２０９を行う。以上の処理によって１フレームの画像処理が行われた。
【００７８】
次に１つ進められた処理フレームが処理Ｓ２０４で指定した画像処理フレーム範囲内かどうかを判断する処理Ｓ２１０を行い、もし範囲外であれば画像処理動画をＨＤ２１１などにファイルとして書き出す処理Ｓ２１４を行い終了する。しかし、画像処理範囲内であれば、処理フレームの動きベクトル情報ファイルより処理フレームに対応する動きベクトル情報及び焦点距離情報の呼び出し処理Ｓ２１１を行う。次に呼び出した処理フレームの動きベクトル情報から次の画像処理位置を先に説明した式によって計算し新しい画像処理位置を計算し、結果を処理フレームの画像処理位置に更新する処理Ｓ２１２を行う。
【００７９】
次に、焦点距離変倍量に連動して自動的に画像処理範囲を単純に倍率分大きくすることで、カメラのズーム操作によって被写体の写っている倍率が変わるのに対応することが出来る。そして先に説明した処理Ｓ２０６に戻り、処理フレームが存在する限り画像処理を繰り返す処理を行う。
【００８０】
以上のような処理によって動き出力つきのビデオカメラのデータを用いて、動画像の動きベクトル情報、焦点距離に同期させて動画像と画像処理用動画及び静止画との画像処理を行うことが出来る。
【００８１】
また、本発明の目的は、第１、第２の実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
【００８２】
この場合、記憶媒体から読み出されたプログラムコード自体が第１、第２の実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
【００８３】
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤＲ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【００８４】
また、コンピュータが読みだしたプログラムコードを実行することにより、本実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって第１、第２の実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００８５】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって第１、第２の実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００８６】
また、実施例１では揺れ信号を画像合成位置の設定データとして用い、実施例２ではベクトル信号を画像処理位置の設定データとして用いたが、揺れ信号を画像処理位置、ベクトル信号を画像合成位置に用いても良いことは言うまでもない。
【図面の簡単な説明】
【００８７】
【図１】本発明の実施形態１、２の構成図
【図２】ノンリニア編集システムのノンリニア編集装置の構成を示すブロック図
【図３】本発明の実施形態１の画角と揺れ角と画像の移動量についての関係を示す図
【図４】本発明の実施形態１の焦点距離と撮像素子の大きさと画角についての関係を示す図
【図５】本発明の実施形態１、２の動画像の座標についての図
【図６】本発明の実施形態１の揺れ量と映像のフレームごとの対応点移動位置についての関係図
【図７】本発明の実施形態１の合成処理の模式図
【図８】本発明の実施形態１の動作のフローチャート
【図９】本発明の実施形態２の動きベクトルと映像のフレームごとの対応点移動位置に付いての関係図
【図１０】本発明の実施形態２の画像処理の模式図
【図１１】本発明の実施形態２の動作のフローチャート
【符号の説明】
【００８８】
１０１  ＤＶ録再生装置
１０２  通信回線
１０３  ノンリニア編集装置
２０１  ＣＰＵ
２０２  ＲＯＭ
２０３  ＲＡＭ
２０４  システムバス
２０５  キーボードコントローラ
２０７  ディスクコントローラ
２０８  ＩＥＥＥ１３９４インターフェース
２０９  キーボード
２１０  ＣＲＴ
２１１  ＨＤ
２１２  ＦＤ
【図１】
2006140686.tif 000013
【図２】
2006140686.tif 000014
【図３】
2006140686.tif 000015
【図４】
2006140686.tif 000016
【図５】
2006140686.tif 000017
【図６】
2006140686.tif 000018
【図８】
2006140686.tif 000019
【図９】
2006140686.tif 000020
【図１１】
2006140686.tif 000021
【図７】
2006140686.tif 000022
【図１０】
2006140686.tif 000023