(57)【要約】【課題】カムコーダ単体だけで簡易に映像アフレコ処理を行うことができる記録再生装置、データ編集方法並びにプログラムを提供する。【解決手段】カムコーダ１０は、光ディスク等のディスクが挿入されるディスクドライブ１２０と、ビデオカメラ１００と、マイク２００とを備える。カムコーダ１０は、ディスクドライブ１２０によりディスクから読み出された画像とユーザ１０１ａの録画により生成したカメラ画像とを合成し、これを上記ディスクへ記録すると共に、ディスクドライブ１２０によりディスクから読み出されたディスク再生音とユーザ１０１ａの声の録音により生成したマイク音声とを合成し、これを上記ディスクへ記録する。【選択図】図１
2007110219.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、前記撮像手段により得られた画像信号を記録媒体に対して記録再生する記録再生手段と、前記記録再生手段により再生された画像信号と前記撮像手段により得られた画像信号とを合成した合成画像信号を生成する合成手段とを備える記録再生装置において、
前記記録再生手段により前記画像信号を前記記録媒体より再生しながら、前記合成手段より出力された合成画像信号を前記記録再生手段により前記記録媒体に記録するアフレコモードを有することを特徴とする記録再生装置。
【請求項２】
前記合成手段は更に、前記記録再生手段により再生された複数の画像信号を合成する相互合成手段を備え、前記アフレコモードにおいて、前記複数の画像信号と前記撮像手段により得られた画像信号とを前記合成画像信号として合成することを特徴とする請求項１記載の記録再生装置。
【請求項３】
前記撮像手段によるフレーム出力タイミングに同期して前記撮像手段により得られた画像信号のフレーム及びそのタイムコードを第１のメモリに記録する第１の記録手段と、
前記記録再生手段によるフレーム読出タイミングに同期して前記記録再生手段により再生された複数の画像信号のフレーム及びそれのタイムコードを画像種別毎に別々のメモリに記録する第２の記録手段と、
前記第１のメモリに最初のフレームが記録された時に、前記第１の記録手段、前記第２の記録手段により記録された各フレームのタイムコードを、夫々の開始時タイムコードとして取得する開始時タイムコード取得手段と、
前記撮像手段により得られた画像信号の開始時タイムコードに対する前記複数の画像信号の各開始時タイムコードの相対開始タイムコード時間差を算出する相対開始タイムコード時間差算出手段と、
前記夫々の開始時タイムコードの取得後に、前記第１のメモリ及び前記別々のメモリのいずれかで新たなフレームが記録されたとき、前記第１のメモリ及び前記別々のメモリに記録された最新フレームのタイムコードを夫々の最新タイムコードとして取得する最新タイムコード取得手段と、
前記撮像手段により得られた画像信号の最新フレームのタイムコードに対する前記複数の画像信号の各最新タイムコードの相対最新タイムコード時間差を算出する相対最新タイムコード時間差算出手段と、
画像種別毎に前記相対開始タイムコード時間差と前記相対最新タイムコード時間差を比較する比較手段と、
前記比較手段による比較結果に基づき、前記複数の画像信号のいずれかの前記記録媒体からの読取エラーを検知する読取エラー検知手段とを備えることを特徴とする請求項１又は２記載の記録再生装置。
【請求項４】
前記記録再生手段は、前記相互合成された画像信号をモニタ表示するモニタ表示手段と、前記合成画像信号をモニタ表示する他のモニタ表示手段とを備えることを特徴とする請求項２又は３記載の記録再生装置。
【請求項５】
前記合成画像信号を前記記録媒体に記録する記録タイミングと、前記相互合成された画像信号をモニタ表示するモニタ表示タイミングと、前記合成画像信号をモニタ表示する他のモニタ表示タイミングとを同期させることを特徴とする請求項４記載の記録再生装置。
【請求項６】
前記相互合成された画像信号をモニタ表示する画面の方向を設定する画面方向設定手段と、前記合成画像信号をモニタ表示する画面の方向を設定する他の画面方向設定手段とを備えることを特徴とする請求項４又は５記載の記録再生装置。
【請求項７】
前記記録再生手段は、１つの表示画面を２つの小画面にエリア分割するエリア分割手段を備え、
前記モニタ表示手段は前記小画面の１つに前記相互合成された画像信号を出力し、前記他のモニタ表示手段は前記小画面の他の１つに前記合成画像信号を出力することを特徴とする請求項４又は５記載の記録再生装置。
【請求項８】
前記フレーム出力タイミングにおいて前記読取エラーが検知されたとき、前記相互合成された画像信号の代替でモニタ表示する画像信号は、前記別々のメモリに記録される最新タイムコードのフレームを相互合成した画像信号であり、前記合成画像信号の代替でモニタ表示する画像信号は、前記代替相互合成された画像信号のフレームと前記撮像手段により得られた画像信号の現タイムコードのフレームを合成した画像信号であることを特徴とする請求項３乃至７のいずれか１項に記載の記録再生装置。
【請求項９】
前記合成手段は、前記相互合成された画像信号に画像効果フィルタリングを、前記撮像手段により得られた画像信号に他の画像効果フィルタリングを施すフィルタ処理手段と、前記フィルタ処理手段によるフィルタリングを施した後に前記相互合成された画像信号及び前記撮像手段により得られた画像信号をフィルタ画像信号として合成するフィルタ画像合成手段と、前記撮像手段が出力する前記撮像手段により得られた画像信号のフレーム出力タイミングに同期して前記フィルタ画像信号をモニタ表示するモニタ表示手段とを備えることを特徴とする請求項２又は３記載の記録再生装置。
【請求項１０】
前記フレーム出力タイミングにおいて前記読取エラーが検知されたとき、前記最終合成手段は前記フィルタ画像信号の代替でモニタ表示する画像信号は、前記別々のメモリに記録される最新タイムコードのフレームが相互合成されたフレームと前記撮像手段により得られた画像信号の現タイムコードのフレームについて前記フィルタリングを施した後に合成した画像信号であることを特徴とする請求項９記載の記録再生装置。
【請求項１１】
前記モニタ表示タイミングにおいて前記読取エラーが検知されたとき、前記フレーム読出タイミング及び前記フレーム記録タイミングを通常速度から高速度に移行させ、前記記録媒体への前記合成画像信号の記録動作を前記フレーム出力タイミングにおける１フレーム期間の間停止させるメディア記録読出制御手段と、
前記モニタ表示タイミングにおいて前記読取エラーが解除されたとき、前記記録再生手段は、前記１フレーム期間の間前記高速度のフレーム読出タイミングで前記記録媒体から前記複数の画像について複数フレームを読み出し、当該高速度で読み出された複数フレーム及びそのタイムコードを画像種別毎に前記別々のメモリに記録し、当該別々のメモリに新たなフレームが記録される毎に、前記第１のメモリ中の撮像手段により得られた画像信号のフレームのうち、前記別々のメモリに記録された最新フレームとのタイムコードの時間差と前記相対開始タイムコード時間差が合致するフレームを画像種別毎に取得し、当該取得したフレームと前記別々のメモリに記録された最新フレームとを前記合成画像信号のフレームとして合成することを特徴とする請求項３乃至１０のいずれか１項に記載の記録再生装置。
【請求項１２】
録音手段と、前記録音手段により得られた音声信号を記録媒体に対して記録再生する記録再生手段と、前記記録再生手段により再生された音声信号と前記録音手段により得られた音声信号とを合成した合成音声信号を生成する合成手段とを備える記録再生装置において、
前記記録再生手段により前記音声信号を前記記録媒体より再生しながら、前記合成手段より出力された合成音声信号を前記記録再生手段により前記記録媒体に記録するアフレコモードを有することを特徴とする記録再生装置。
【請求項１３】
前記記録再生手段は、前記相互合成された音声をモニタ再生するモニタ再生手段と、前記最終音声をモニタ再生する他のモニタ再生手段とを備えることを特徴とする請求項１２記載の記録再生装置。
【請求項１４】
撮像ステップと、前記撮像ステップで得られた画像信号を記録媒体に対して記録再生する記録再生ステップと、前記記録再生ステップで再生された画像信号と前記撮像ステップで得られた画像信号とを合成した合成画像信号を生成する合成ステップとを備えるデータ編集方法において、
前記記録再生ステップで前記画像信号を前記記録媒体より再生しながら、前記合成ステップで出力された合成画像信号を前記記録再生ステップで前記記録媒体に記録するアフレコモードを有することを特徴とするデータ編集方法。
【請求項１５】
データ編集方法をコンピュータにより実行させるプログラムであって、撮像モジュールと、前記撮像モジュールで得られた画像信号を記録媒体に対して記録再生する記録再生モジュールと、前記記録再生モジュールで再生された画像信号と前記撮像モジュールで得られた画像信号とを合成した合成画像信号を生成する合成モジュールとを備えるプログラムにおいて、
前記記録再生モジュールで前記画像信号を前記記録媒体より再生しながら、前記合成モジュールで出力された合成画像信号を前記記録再生モジュールで前記記録媒体に記録するアフレコモードを有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録再生装置、データ編集方法並びにプログラムに関し、特に映像アフレコ処理を行う記録再生装置、データ編集方法並びにプログラムに関する。
【背景技術】
【０００２】
一般的なビデオ作品は以下のような制作手順で制作される。
【０００３】
まず、カムコーダを使い複数の動画や音声を撮影記録する。次に、記録した素材データをＰＣへ転送し、ＰＣ上のビデオ編集ソフトを使って、複数の映像、音声のシーケンスを並べ替え、あるいは、一部合成させるなどして映像作品として纏める。その後、その編集結果を再度、ＶＴＲ上のビデオテープ等の最終記録媒体へ転送記録する。
【０００４】
このような制作手順を一般に映像アフレコ処理という。この映像アフレコ処理を行うには、上述した複数の手順を踏む必要があり、一般ユーザーにとって親しみにくいものとなっていた。
【０００５】
この問題に対処する為、カムコーダ単体とＶＴＲ等の記録装置を組み合わせる事により、簡易編集作業が行えるような構成のカムコーダに関する提案がなされている（例えば、特許文献１参照）。
【特許文献１】特開平７−２７４１１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来のカムコーダにより映像アフレコ処理を行う場合、画像編集を行うためのＰＣを別途用意しなくてはならないという問題がある。
【０００７】
本発明の目的は、カムコーダ単体だけで簡易に映像アフレコ処理を行うことができる記録再生装置、データ編集方法並びにプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、請求項１記載の記録再生装置は、撮像手段と、前記撮像手段により得られた画像信号を記録媒体に対して記録再生する記録再生手段と、前記記録再生手段により再生された画像信号と前記撮像手段により得られた画像信号とを合成した合成画像信号を生成する合成手段とを備える記録再生装置において、前記記録再生手段により前記画像信号を前記記録媒体より再生しながら、前記合成手段より出力された合成画像信号を前記記録再生手段により前記記録媒体に記録するアフレコモードを有することを特徴とする。
【０００９】
上記目的を達成するために、請求項１４記載のデータ編集方法は、撮像ステップと、前記撮像ステップで得られた画像信号を記録媒体に対して記録再生する記録再生ステップと、前記記録再生ステップで再生された画像信号と前記撮像ステップで得られた画像信号とを合成した合成画像信号を生成する合成ステップとを備えるデータ編集方法において、前記記録再生ステップで前記画像信号を前記記録媒体より再生しながら、前記合成ステップで出力された合成画像信号を前記記録再生ステップで前記記録媒体に記録するアフレコモードを有することを特徴とする。
【００１０】
上記目的を達成するために、請求項１５記載のプログラムは、データ編集方法をコンピュータにより実行させるプログラムであって、撮像モジュールと、前記撮像モジュールで得られた画像信号を記録媒体に対して記録再生する記録再生モジュールと、前記記録再生モジュールで再生された画像信号と前記撮像モジュールで得られた画像信号とを合成した合成画像信号を生成する合成モジュールとを備えるプログラムにおいて、前記記録再生モジュールで前記画像信号を前記記録媒体より再生しながら、前記合成モジュールで出力された合成画像信号を前記記録再生モジュールで前記記録媒体に記録するアフレコモードを有することを特徴とする。
【発明の効果】
【００１１】
本処理によれば、画像信号を記録媒体から再生しながら、その再生された画像信号と撮像された画像信号とを合成した合成画像信号を記録媒体に記録するアフレコモードを有するので、カムコーダ単体だけで簡易に映像アフレコ処理を行うことができる。
【００１２】
好ましくは、記録媒体から再生された複数の画像信号を相互合成し、その複数の画像信号と撮像された画像信号と上記合成画像信号として合成することにより、ユーザーがアフレコ作業を実行する際に参照するガイド画像信号、つまりアフレコ前の画像信号である上記相互合成した画像信号の観察作業と、アフレコ後の合成画像信号の観察作業を明確に分割することができる。
【００１３】
好ましくは、第１のメモリに最初のフレームが記録された時に、第１のメモリに記録された撮像された画像信号及び画像種別毎に別々のメモリに記録された記録媒体から再生された複数の画像信号の各フレームのタイムコードを、夫々の開始時タイムコードとして取得し、撮像された画像信号の開始時タイムコードに対する上記複数の画像信号の各開始時タイムコードの相対開始タイムコード時間差を算出し、上記夫々の開始時タイムコードの取得後に、第１のメモリ及び別々のメモリのいずれかで新たなフレームが記録されたとき、第１のメモリ及び前記別々のメモリに記録された最新フレームのタイムコードを夫々の最新タイムコードとして取得し、撮像された画像信号の最新フレームのタイムコードに対する複数の画像信号の各最新タイムコードの相対最新タイムコード時間差を算出し、画像種別毎に相対開始タイムコード時間差と相対最新タイムコード時間差を比較した結果に基づき、複数の画像信号のいずれかの前記記録媒体からの読取エラーを検知することにより、モニタ表示画像上にて不連続画像が表示される事による違和感を解消することができる。
【００１４】
好ましくは、合成画像信号を記録媒体に記録するタイミングと、上記相互合成された画像信号をモニタ表示するタイミングと、上記合成画像信号をモニタ表示するタイミングとを同期させることにより、アフレコ作業実行中のユーザは上記ガイド画像信号のモニタ表示を参照しながらアフレコのための演技を行うことができ、且つそのアフレコ後の画像信号を確認しながら撮影を行うことができる。
【００１５】
好ましくは、相互合成された画像信号をモニタ表示する画面の方向及び合成画像信号をモニタ表示する画面の方向を設定することにより、アフレコのための演技を行うユーザは上記相互合成された画像信号のみ、またその演技を撮影するユーザはアフレコ後の画像信号（合成画像信号）のみをみるように画面方向を設定することができ、アフレコ作業を確実に行うことができる。
【００１６】
好ましくは、１つの表示画面を２つの小画面にエリア分割し、その小画面の１つに相互合成された画像信号を出力し、その小画面の他の１つに合成画像信号を出力することにより、ユーザはアフレコ作業中に単一表示画面に表示されるガイド画像信号とアフレコ後の画像信号の両方を観察しながら演技及び撮影をすることができる。
【００１７】
好ましくは、モニタ表示タイミングにおいて上記読取エラーが検知されたとき、上記相互合成された画像信号の代替でモニタ表示する画像信号は、別々のメモリに記録される最新タイムコードのフレームを相互合成した画像信号であり、上記合成画像信号の代替でモニタ表示する画像信号は、上記代替相互合成された画像信号のフレームと撮像された画像信号の現タイムコードのフレームを合成した画像信号であると、現在撮像されている画像信号と著しく違うタイミングの画像信号がモニタ表示される事による違和感を解消することができる。
【００１８】
好ましくは、相互合成された画像信号に画像効果フィルタリングを、撮像された画像信号に他の画像効果フィルタリングを施し、これらのフィルタリングを施した後に上記相互合成された画像信号及び上記撮像された画像信号をフィルタ画像信号として合成し、録画された撮像された画像信号のフレーム出力タイミングに同期したタイミングで上記フィルタ画像信号をモニタ表示することにより、ユーザは、上記フィルタ画像信号の観察のみで撮像された画像信号とガイド画像信号を識別でき、アフレコ作業中にアフレコ後の画像信号の画面レイアウトを容易に設計することができる。
【００１９】
好ましくは、フレーム出力タイミングにおいて上記読取エラーが検知されたとき、上記フィルタ画像信号の代替でモニタ表示する画像信号は、別々のメモリに記録される最新タイムコードのフレームが相互合成されたものと撮像された画像信号の現タイムコードのフレームについて上記フィルタリング処理を行った後に合成した画像信号であると、現在の録画されている撮像された画像信号と著しく違うタイミングの画像信号がモニタ表示される事による違和感を解消することができる。
【００２０】
好ましくは、モニタ表示タイミングにおいて上記読取エラーが検知されたとき、記録媒体中の画像信号のフレーム読出タイミング及びフレーム記録タイミングを通常速度から高速度に移行させ、記録媒体への合成画像信号の記録動作をフレーム出力タイミングにおける１フレーム期間の間停止させ、モニタ表示タイミングにおいて読取エラーが解除されたとき、上記１フレーム期間の間、高速度のフレーム読出タイミングで記録媒体から複数の画像信号について複数フレームを読み出し、この読み出された複数フレーム及びそのタイムコードを画像種別毎に上記別々のメモリに記録し、この別々のメモリに新たなフレームが記録される毎に、第１のメモリ中の撮像された画像信号のフレームのうち、上記別々のメモリに記録された最新フレームとのタイムコードの時間差と相対開始タイムコード時間差が合致するフレームを画像種別毎に取得し、この取得したフレームと上記別々のメモリに記録された最新フレームとを合成画像信号のフレームとして合成することにより、アフレコ作業中に読出しエラーが発生しても、記録媒体に記録される合成画像信号を時間関係が正常維持した撮像された画像信号とアフレコ前の画像信号とに基づいて合成することができ、エラーファイルが記録媒体に記録されるのを防止できる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態を図面を用いて詳述する。
【００２２】
図１は、本発明の実施の形態に係る記録再生装置としてのカムコーダの外観構成を概略的に示す図であり、（ａ）は演技者であるユーザ側からみた場合、（ｂ）は撮影者であるユーザ側からみた場合である。
【００２３】
図１において、カムコーダ１０は、光ディスク等のディスクが挿入されるディスクドライブ１２０と、液晶モニタ（ＬＣＤ）１５０と、このＬＣＤ１５０の下部に配置されたスピーカ２５０とを備える。さらに、カムコーダ１０は、演技者であるユーザ１０１ａの姿を録画するビデオカメラ１００と、ユーザ１０１ａの声を録音するマイク２００とを備える。また、カムコーダ１０は、電子ビューファインダ（ＥＶＦ）１５２と、ヘッドフォン２５２に音声を出力するプラグ２５３とを備える。
【００２４】
ビデオカメラ１００は、レンズから入力された光学像をＣＣＤ等の撮像入力素子へ結像しデジタルビデオ信号へ変換することでユーザ１０１ａを録画し、カメラ画像を生成する。
【００２５】
また、ディスクドライブ１２０は、ディスクを設置可能な不図示のレーザピックアップユニットを有し、そのユニット中に設置されたディスクに対して画像データの書き込み、読み出しを行う。
【００２６】
ＬＣＤ１５０は、ディスクドライブ１２０で読み出したディスク中の複数の再生ビデオ画像から合成された再生合成画像をアフレコ前の画像としてモニタ表示する。
【００２７】
また、スピーカ２５０は、上記ディスク中の複数のディスク再生音から合成された再生合成音声をアフレコ前の音声として再生する。
【００２８】
ＥＶＦ１５２は、ＬＣＤ１５０で表示する上記再生合成画像とビデオカメラ１００で録画したカメラ画像を合成したものをアフレコ合成済み画像としてモニタ出力する。
【００２９】
プラグ２５３は、スピーカ２５０で再生する再生合成音声とマイク２００で録音されたマイク音声を合成したものをアフレコ合成済み音声としてヘッドフォン２５２に音声出力する。
【００３０】
また、上記アフレコ合成済みの画像・音声はディスクドライブ１２０によりディスクに記録される。
【００３１】
カムコーダ１０のＬＣＤ１５０及びＥＶＦ１５２は、夫々図１に示すようにａ方向及びｂ方向に回転できるよう構成される。これにより、アフレコのための演技を行うユーザ１０１ａはＬＣＤ１５０の画面を自分の方に向けることでアフレコ前の画像のみをみるようにすることができる。また、その演技を撮影するユーザ１０１ｂはＥＶＦ１５２の画面を自分の方に向けることでアフレコ合成済み画像のみをみるようにすることができる。このため、アフレコ作業を確実に行うことができる。
【００３２】
図２は、図１のカムコーダ１０の映像信号処理の構成を概略的に示すブロック図である。
【００３３】
ここで、図１と同一の構成要素には同一の符号を付し、重複した説明を省略する。
【００３４】
図２において、カムコーダ１０は、ビデオカメラ１００で録画したカメラ画像Ｄを一時保存する為の半導体メモリから成るメモリ１０２と、画像を信号圧縮する信号圧縮回路１０６とを備える。さらに、カムコーダ１０は、画像や音声のデータをディスクフォーマットに従ったファイルデータに変換する為のファイル変換回路１０８と、ファイルデータを符号化変調や復調復号化させるリードライト回路１１０とを備える。
【００３５】
また、カムコーダ１０は、ディスク中の圧縮された再生ビデオ画像Ａ，Ｂを伸張する信号伸張回路１３０と、この伸張された再生ビデオ画像Ａ，Ｂを夫々一時保存する為の半導体メモリから成るメモリ１３２，１３４とを備える。さらに、カムコーダ１０は、メモリ１３２，１３４中の再生ビデオ画像Ａ，Ｂを合成して再生合成画像Ｃを生成する合成回路１４０と、この再生合成画像Ｃとメモリ１０２中のカメラ画像Ｄとを合成する合成回路１０４と、システム全体を制御するＣＰＵ１６０とを備える。
【００３６】
このカムコーダ１０による映像アフレコは以下のような動作で行われる。
【００３７】
まず、ディスクドライブ１２０によりディスクから圧縮された再生ビデオ画像Ａ，Ｂのファイルデータが読み出されると、リードライト回路１１０でデジタル信号に復調される。その後、再生ビデオ画像Ａ，Ｂは、ファイル変換回路１０８にてディスクフォーマットが紐解かれ画像ファイルとして復元され、信号伸張回路１３０にて圧縮が解凍される。
【００３８】
次に、再生ビデオ画像Ａの画像フレーム列はメモリ１３２で、再生ビデオ画像Ｂの画像フレーム列はメモリ１３４で一時保存される。メモリ１３２，１３４に一時保存された再生ビデオ画像Ａ，Ｂは合成回路１４０でマスク処理された後に合成され、再生合成画像Ｃの画像フレーム列が生成される。この生成された再生合成画像Ｃは合成回路１０４に出力されると共に、ＬＣＤ１５０に画像表示される。これにより、ユーザーは、ＬＣＤ１５０に画像表示される再生合成画像Ｃをアフレコ前の画像としてアフレコ時に参照することができる。
【００３９】
以下、再生ビデオ画像Ａ，Ｂのマスク処理及び合成処理について具体例を用いて説明する。具体的には、ボールのビデオ画像（図８）である再生ビデオ画像Ａを前景に、ブランコのビデオ画像（図９）である再生ビデオ画像Ｂを背景とする再生合成画像Ｃを生成する場合について説明する。
【００４０】
まず、合成回路１４０は、図１１に示すように、図８の再生ビデオ画像Ａからボール部以外の領域の画像を切取るマスク処理を行う。このとき同時に、合成回路１４０は、図９の背景画から図８のボール部領域のみの画像を切り取るマスク処理を行う。
【００４１】
ここで、本実施の形態におけるこれらのマスク処理にはクロマキーが使う方法が用いられる。これにより、ユーザは単純な操作で上記マスク処理を合成回路１４０に行わせることができる。
【００４２】
尚、上記マスク処理の方法は、ユーザが所望する再生合成画像が生成できるものであれば本実施の形態の方法に限定されるわけではない。
【００４３】
その後、合成回路１４０は、上記マスク処理により得られた２つの画像のＡＮＤ画像を生成して、図１０に示すようなボールとブランコの再生合成画像Ｃを出力する。
【００４４】
尚、上記再生合成画像Ｃは、２つの再生ビデオ画像Ａ，Ｂから生成するものとした。しかしながら、再生ビデオ画像の種別毎にそのフレームを一時保存できるメモリがあり、且つ合成回路１４０がその各メモリ中の再生ビデオ画像に対してマスク処理及び画像合成できるものであれば本実施の形態の方法に限定されるわけではない。例えば、３つの再生ビデオ画像がディスクからカムコーダ１０へ入力される場合、合成回路１４０は図１７で模式的に示すような方法で再生合成画像Ｃが合成される。
【００４５】
合成回路１０４は、合成回路１４０で生成された再生合成画像Ｃと、半導体メモリ１０２に一時保存されているビデオカメラ１００からのカメラ画像Ｄとを合成する。
【００４６】
例えば、ユーザ自身の姿を録画する画像（図１２）であるカメラ画像Ｄを前景に、再生合成画像Ｃ（図１０）を背景とするアフレコ合成済み画像Ｅ（図１３）が上述のマスク処理及びＡＮＤ処理(以下「マスク合成処理」という。)と同様の処理を行う。これにより合成回路１０４で生成される。
【００４７】
図２の構成によれば、ディスクドライブ１２０によりディスクから読み出された再生ビデオ画像Ａ，Ｂを合成した再生合成画像Ｃと、その再生合成画像Ｃとカメラ画像Ｄをアフレコ合成済み画像として合成したものをモニタ表示する。これにより、ユーザーがアフレコ作業を実行する際に参照するガイド画像、つまりアフレコ前の画像である上記再生合成画像Ｃの観察作業と、アフレコ合成済み合成画像Ｅの観察作業を明確に分割することができる。
【００４８】
尚、本実施の形態では、カムコーダ１０には、３つのメモリ１０２，１３２，１３４と２つの合成回路１０４，１４０が存在する。しかし、ＤＳＰ一つと単一メモリの組合せにより、上記３つのメモリ及び２つの合成回路による処理と同様の処理をするように構成してもよい。これにより、類似演算の繰返しである上記マスク合成処理を高速に実行させることができる。
【００４９】
その後、上記生成されたアフレコ合成済み画像Ｅはディスクへの記録と、ＥＶＦ１５２でのモニタ出力がされる。これにより、ユーザーは、ディスクに記録されたアフレコ合成済み画像ＥをＥＶＦ１５２でモニタ確認することができる。
【００５０】
その後、上記合成回路１０４で生成されたアフレコ合成済み画像Ｅは、信号圧縮回路１０６によるＭＰＥＧ等の動画像圧縮処理でそのデータ量が圧縮される。次に、上記動画像圧縮処理がされたアフレコ合成済み画像Ｅについてファイル変換回路１０８によるＵＤＦ等のディスクフォーマットに従った変換処理が行われ、ファイルデータが生成される。その後、上記生成されたファイルデータについてリードライト回路１１０による符号化変調がされ、ディスクドライブ１２０でディスク中に書き込まれる。
【００５１】
図３は、カムコーダ１０の音声信号処理の構成を概略的に示すブロック図である。
【００５２】
ここで、図１，２と同一の構成要素には同一の符号を付し、重複した説明を省略する。
【００５３】
図３において、カムコーダ１０は、マイク２００で録音したユーザ１０１ａの声を一時保存する為の半導体メモリから成るメモリ２０２と、音声を信号圧縮する信号圧縮回路２０６と、ディスク中の圧縮されたディスク再生音Ｆ，Ｇを解凍する信号伸張回路２３０とを備える。さらに、カムコーダ１０は、上記解凍されたディスク再生音Ｆ，Ｇを夫々一時保存する半導体メモリから成るメモリ２３２，２３４とを備える。
【００５４】
また、カムコーダ１０は、メモリ２３２，２３４中のディスク再生音Ｆ，Ｇのデータを合成して再生合成音声を生成する合成回路２４０と、この再生合成音声とマイク音声とを合成する合成回路２０４とを備える。
【００５５】
このカムコーダ１０による音声アフレコは以下のような動作で行われる。
【００５６】
まず、ディスクドライブ１２０のディスクから記録済みのディスク再生音Ｆ，Ｇのファイルデータが読み出されると、リードライト回路１１０でデジタル信号に復調される。その後、ディスク再生音Ｆ，Ｇのファイルデータは、ファイル変換回路１０８にてディスクフォーマットが紐解かれ音声ファイルとして復元され、信号伸張回路２３０にて圧縮が解凍される。
【００５７】
次に、解凍されたディスク再生音Ｆ，Ｇのデータは夫々メモリ２３２，２３４で一時保存された後に合成回路２４０で再生合成音声のデータとして合成される。この合成された再生合成音声は合成回路２０４に出力されると共に、スピーカ２５０に音声出力される。これにより、ユーザーは、スピーカ２５０に音声出力される再生合成音声をアフレコ前の音声としてアフレコ時に参照することができる。
【００５８】
合成回路２４０は、メモリ２３２，２３４に一時保存されているディスク再生音Ｆ，Ｇに対して重み付け増幅を行って合成し、合成音声を生成する。
【００５９】
また、合成回路２０４は、上記再生合成音声とメモリ２０２に一時保存されているマイク音声に対して合成回路２４０と同様の処理を行って、アフレコ合成済み音声を生成する。
【００６０】
尚、上記再生合成音声は、２つのディスク再生音Ｆ，Ｇから生成するものとした。しかしながら、ディスク再生音の種別毎にそのデータを一時保存できるメモリがあり、且つ合成回路２４０がその各メモリ中のディスク再生音に対して重み付け増幅及び合成ができるものであれば本実施の形態の方法に限定されるわけではない。例えば、３つのディスク再生音がディスクからカムコーダ１０へ入力される場合、合成回路２４０は図１６で模式的に示すような方法で再生合成音声が合成される。
【００６１】
図１〜図３の構成により、カムコーダ１０は、ディスクドライブ１２０によりディスクから読み出された画像とユーザ１０１ａの録画により生成したカメラ画像とを合成し、これを上記ディスクへ記録する。このとき同時に、ディスクドライブ１２０によりディスクから読み出されたディスク再生音とユーザ１０１ａの声の録音により生成したマイク音声とを合成し、これを上記ディスクへ記録する。これにより、カムコーダ１０単体だけで簡易に映像アフレコ処理を行うことができる。
【００６２】
尚、本実施の形態では、カムコーダ１０には、３つのメモリ２０２，２３２，２３４と２つの合成回路２０４，２４０が存在する。しかし、ＤＳＰ一つと単一メモリの組合せにより、上記３つのメモリ及び２つの合成回路による処理と同様の処理をするように構成してもよい。これにより、類似演算の繰返しである上記音声合成処理を高速で処理することができる。
【００６３】
その後、上記生成されたアフレコ合成済み音声はディスクへの記録と、ヘッドフォン２５２での音声出力がされる。これにより、撮影者であるユーザー１０１ｂは、ディスクに記録されたアフレコ合成済み音声をヘッドフォン２５２で音声確認することができる。
【００６４】
また、上記合成回路２０４で生成されたアフレコ合成済み音声はディスクに記録する前に、具体的には以下のデータ処理が施される。
【００６５】
まず、アフレコ合成済み音声は、信号圧縮回路２０６によりその音声データ量が圧縮され、次にファイル変換回路１０８によるＵＤＦ等のディスクフォーマットに従った変換処理が行われ、ファイルデータが生成される。その後、上記生成されたファイルデータについてリードライト回路１１０による符号化変調がされ、ディスクドライブ１２０によりディスクに記録される。
【００６６】
カムコーダ１０で上述したアフレコ処理を行う場合、ディスクから再生ビデオ画像のフレーム列やその音声の音声データ列の読み出しと、アフレコ合成画像のフレーム列やその音声の音声データ列のディスクへの書き込みを並行して行う。これにより、アフレコ作業実行中のユーザはＬＣＤ１５０のモニタ表示を参照しながらアフレコのための演技を行うことができ、且つそのアフレコ合成済み画像ＥをＥＶＦ１５２で確認しながら撮影を行うことができる。
【００６７】
しかしながら、かかるアフレコ処理は、合成処理を行わずにそのままカメラ画像やマイク音声を記録するときと比べて、ディスクの回転速度やディスクドライバ１２０の光ピックアップの動作速度が数倍上昇する。このため、記録再生サーボ誤り率が上昇し、ディスクからのデータの読取にエラー（以下「読取エラー」という。）が生じる場合がある。
【００６８】
カムコード１０はこの読取エラーが生じると、エラー解除後にディスクから読み取ることができなかったデータを読み取る。
【００６９】
一方、カムコーダ１０では、アフレコ合成済み画像Ｅを合成するため、ビデオカメラ１００からメモリ１０２に出力されるカメラ画像Ｄのフレーム出力タイミングに、ＬＣＤ１５０やＥＶＦ１５２での画像表示タイミングを同期させている。同様に、カムコード１０は、マイク２００からメモリ２０２に出力されるマイク音声のデータ列の出力タイミングに、スピーカ２５０やヘッドフォン２５２での音声出力タイミングを同期させている。
【００７０】
しかし、読取エラーによりディスクからの再生ビデオ画像Ａ，Ｂのフレーム読み出しが遅れると、上記タイミングの同期ができなくなる。
【００７１】
このため、カムコーダ１０は、上記読取エラー中も一定であるメモリ１０２に出力されるカメラ画像Ｄのフレーム出力タイミングに対して、後述する図６に示すように、ＬＣＤ１５０やＥＶＦ１５２での画像表示タイミングを変更する。これにより映像アフレコ処理を整合化させる。
【００７２】
尚、同様の処理により音声アフレコ処理も整合させることができるので、説明を省略する。
【００７３】
図６は、アフレコ処理実行中にカムコーダ１０で実行されるカメラ出力・ディスク読取・画像表示・ディスク書込の各タイミングを示すタイムチャートである。
【００７４】
以下、カムコーダ１０で生成される再生ビデオ画像Ａ，Ｂ、再生合成画像Ｃ、カメラ画像Ｄ、アフレコ合成済み画像Ｅの各フレームは、上記各画像を示すアルファベット記号の右横にその生成順番を示すタイムコードを付して表す。
【００７５】
図６において、タイムチャート７００は、ビデオカメラ１００からメモリ１０２に出力されるカメラ画像Ｄのフレーム出力タイミング３１０と、ディスクドライブ１２０によるディスク中の再生ビデオ画像Ａ，Ｂのフレーム読取タイミング３２０とを備える。さらに、タイムチャート７００は、ディスク画像の読取エラーが生じたときにＯＮとなる欠落検知フラグ３３０とを備える。
【００７６】
また、タイムチャート７００は、再生合成画像Ｃのフレームのタイムコードが合成回路１０４に同一タイミングで入力されるカメラ画像Ｄのフレームのタイムコードに対して遅延しているときにＯＮとなるフレーム遅延検知フラグ３４０とを備える。さらに、タイムチャート７００は、ＬＣＤ１５０による画像表示タイミング３５０と、ＥＶＦ１５２による画像表示タイミング３６０と、ディスクドライブ１２０によるディスクへの画像フレーム書込タイミング３７０とを備える。
【００７７】
ここで、ビデオ撮影中はビデオカメラ１００はカメラ画像Ｄのフレームを途切れることなく生成し、メモリ１０２に出力する。従って、メモリ１０２はビデオ撮影が開始すると、ビデオカメラ１００からのカメラ画像Ｄのフレームを１／３０秒毎に記録する。
【００７８】
また、フレーム出力タイミング３１０に、画像表示タイミング３５０，３６０は、上述したように同期させている。従って、以下説明する正常モード、エラーモード、挽回モードのいずれのモードであっても、これらのタイミングは１／３０秒である。
【００７９】
また、画像フレーム書込タイミング３７０は、上記いずれのモードであっても画像フレーム読取タイミング３２０に同期する。
【００８０】
まず、ＣＰＵ１６０は、アフレコ処理が起動すると、フレーム出力タイミング３１０毎にディスクドライブ１２０により再生ビデオ画像Ａ，Ｂのいずれのフレームについてもディスクから正常に読み取られているか否か判断する。この判断の結果、いずれも正常に読み取られている場合、ＣＰＵ１６０はモードを正常モードにする。このＣＰＵ１６０による上記いずれかのフレームの読取エラーが生じたか否かの判断については図７で具体的に説明する。
【００８１】
以下、図６に示すように、ＣＰＵ１６０がビデオ撮影開始〜３／３０秒の間モードを正常モードとした場合について説明する。
【００８２】
まず、ＣＰＵ１６０は、モードを正常モードにしたとき、欠落検知フラグ３３０及びフレーム遅延検知フラグ３４０をＯＦＦにする。その後、画像フレーム読取タイミング３２０をフレーム出力タイミング３１０に同期させ、そのタイミングを１／３０秒とする。よって、ビデオ撮影開始〜１／３０秒の間はフレームＡ１，Ｂ１、１／３０秒〜２／３０秒の間はフレームＡ２，Ｂ２、２／３０秒〜３／３０秒の間はフレームＡ３，Ｂ３が、ディスクから読み出されメモリ１３２，１３４で記録される。
【００８３】
合成回路１４０は、再生ビデオ画像Ａ，Ｂの新たなフレームがメモリ１３２，１３４で記録される毎にこれを読み出し、これらのフレームから再生合成画像Ｃの新たなフレームを生成して、合成回路１０４及びＬＣＤ１５０に出力する。よって、ビデオ撮影開始〜１／３０秒の間はフレームＣ１、１／３０秒〜２／３０秒の間はフレームＣ２、２／３０秒〜３／３０秒の間はフレームＣ３が、合成回路１４０から合成回路１０４及びＬＣＤ１５０に出力される。
【００８４】
ＬＣＤ１５０の画像表示タイミング３５０は常に１／３０秒であるので、ビデオ撮影開始〜１／３０秒の間はフレームＣ１、１／３０秒〜２／３０秒の間はフレームＣ２、２／３０秒〜３／３０秒の間はフレームＣ３が、ＬＣＤ１５０で切替表示される。
【００８５】
合成回路１０４は、メモリ１０２にカメラ画像Ｄの新たなフレームが記録されると、そのフレームを読み出す。その後、この読み出したフレームと上記合成回路１４０からの再生合成画像Ｃのフレームでアフレコ合成済み画像Ｅの新たなフレームを生成し、ディスクドライブ１２０及びＥＶＦ１５２に出力する。よって、ビデオ撮影開始〜１／３０秒の間はフレームＥ１、１／３０秒〜２／３０秒の間はフレームＥ２、２／３０秒〜３／３０秒の間はフレームＥ３が、合成回路１０４からディスクドライブ１２０及びＥＶＦ１５２に出力される。
【００８６】
ＥＶＦ１５２の画像表示タイミング３６０は常に１／３０秒であるので、ビデオ撮影開始〜１／３０秒の間はフレームＥ１、１／３０秒〜２／３０秒の間はフレームＥ２、２／３０秒〜３／３０秒の間はフレームＥ３が、ＥＶＦ１５２で切替表示される。
【００８７】
画像フレーム書込タイミング３７０は常に画像フレーム読取タイミング３２０に同期する。また、画像フレーム読取タイミング３２０は正常モードのときは上述したように画像フレーム出力タイミング３１０（１／３０秒）に同期する。従って、画像フレーム書込タイミング３７０は正常モードのときに１／３０秒となる。よって、ビデオ撮影開始〜１／３０秒の間はフレームＥ１、１／３０秒〜２／３０秒の間はフレームＥ２、２／３０秒〜３／３０秒の間はフレームＥ３が、ディスクドライブ１２０によりディスクに書き込まれる。
【００８８】
次に、ＣＰＵ１６０は、画像フレーム出力タイミング３１０においてディスクドライブ１２０によるディスクからの再生ビデオ画像Ａ，Ｂのフレームの読取エラーが生じたと判断したとき、正常モードをエラーモードに切り替える。
【００８９】
以下、図６に示すように、ＣＰＵ１６０がビデオ撮影開始後３／３０秒〜５／３０秒の間モードをエラーモードとした場合について説明する。
【００９０】
まず、ＣＰＵ１６０は欠落検知フラグ３３０及びフレーム遅延検知フラグ３４０をいずれもＯＦＦからＯＮに切り替える。
【００９１】
また、画像フレーム出力タイミング３１０毎にＣＰＵ１６０は欠落検知フラグ３３０のＯＮ／ＯＦＦを判断する。この判断の結果、欠落検知フラグ３３０がＯＮであるときは、合成回路１０４からディスドライブ１２０に送信されるアフレコ合成済み画像Ｅのフレーム送信を画像フレーム出力タイミング３１０における１フレーム期間の間、一時停止する。
【００９２】
また、画像フレーム出力タイミング３１０毎にＣＰＵ１６０はフレーム遅延検知フラグ３４０のＯＮ／ＯＦＦを判断する。この判断の結果、フレーム遅延検知フラグがＯＮであるときは、メモリ１０２に入力されるカメラ画像Ｄのフレームは、そのフレームがアフレコ合成済み画像Ｅのフレーム生成に用いられるまでメモリ１０２中にバックアップ記録する。よって、メモリ１０２は、ビデオ撮影開始後３／３０秒〜４／３０秒の間にビデオカメラ１００から入力されるフレームＤ４と、４／３０秒〜５／３０秒の間にビデオカメラ１００から入力されるフレームＤ５とを一時記録する。
【００９３】
フレーム遅延検知フラグ３４０がＯＮの間、ＣＰＵ１６０は、ディスク中の画像フレーム読取タイミング３２０を高速にする。これにより、読取エラーが解除され次第、その読取エラー中に生成されたカメラ画像Ｄのフレームに対するアフレコ処理を高速に実行することができる。本実施の形態では、高速となったディスク中の画像フレーム読取タイミング３２０は１／６０秒である。
【００９４】
しかし、エラーモードの間は、ディスク中の画像フレーム読取タイミング３２０を高速にしても、ディスクから新たなフレームを読み取ることはできない。従って、ＬＣＤ１５０及びＥＶＦ１５２は以下の処理により生成される代替画像を画像表示タイミング３５０，３７０（１／３０秒）毎に表示する。
【００９５】
合成回路１４０は、エラーモードの間は、メモリ１３２，１３４に記録されている再生ビデオ画像Ａ，Ｂの最新タイムコードのフレームから再生合成画像Ｃのフレームを生成して、合成回路１０４及びＬＣＤ１５０に出力する。よって、ビデオ撮影開始後３／３０秒〜５／３０秒の間はフレームＣ３が合成回路１４０から合成回路１０４及びＬＣＤ１５０に入力される。
【００９６】
ＬＣＤ１５０の画像表示タイミング３５０は常に１／３０秒であるので、ビデオ撮影開始後３／３０秒〜５／３０秒の間はフレームＣ４，Ｃ５の代替画像としてフレームＣ３が１／３０秒毎にＬＣＤ１５０で切替表示される。
【００９７】
合成回路１０４は、メモリ１０２にカメラ画像Ｄの新たなフレームが記録されると、そのフレームを読み出して、その読み出したフレームと合成回路１４０からのフレームとで画像合成を行って、ＥＶＦ１５２に出力する。よって、ビデオ撮影開始後３／３０秒〜４／３０秒の間は、１／６０秒毎にフレームＣ３，Ｄ４の合成画像が、また４／３０秒〜５／３０秒の間は、１／６０秒毎にフレームＣ３，Ｄ５の合成画像が、合成回路１４０からＥＶＦ１５２に入力される。
【００９８】
ＥＶＦ１５２の画像表示タイミング３６０は常に１／３０秒である。従って、ビデオ撮影開始後３／３０秒〜４／３０秒の間はフレームＥ４の代替画像としてフレームＣ３，Ｄ４の合成画像が、４／３０秒〜５／３０秒の間はフレームＥ５の代替画像としてフレームＣ３，Ｄ５の合成画像が、ＥＶＦ１５２で切替表示される。
【００９９】
ここで、ディスクへの画像フレーム書込タイミング３７０は常にディスク中の画像フレーム読取タイミング３２０に同期するので、エラーモードのときそのタイミングは高速となり、１／６０秒である。
【０１００】
しかし、エラーモードの間は、画像フレーム書込タイミング３７０を高速にしても、合成回路１０４からディスクドライブ１２０へのフレーム送信は一時停止されているので、ディスクドライブ１２０によるディスクへのフレーム書き込みはできない。よって、ビデオ撮影開始後３／３０秒〜５／３０秒の間は、１／６０秒毎にディスクドライブ１２０はディスクへのフレーム書き込みを行うが、いずれも失敗したという状態となる。
【０１０１】
このように、画像フレーム出力タイミング３１０において読取エラーが検知されたとき、再生合成画像Ｃの代替でＬＣＤ１５０にモニタ表示する画像として、メモリ１３２，１３４に記録される再生ビデオ画像Ａ，Ｂの最新タイムコードのフレームを合成する。また、アフレコ合成済み画像Ｅの代替でＥＶＦ１５２にモニタ表示する画像として、上記合成されたフレームとカメラ画像Ｄの現タイムコードのフレームを合成する。これにより、現在の録画されているカメラ画像Ｄと著しく違うタイミングの画像がＬＣＤ１５０やＥＶＦ１５２にモニタ表示される事による違和感を解消することができる。
【０１０２】
次に、ＣＰＵ１６０は、読取エラーが全て解除されたと判断したとき（本実施の形態では、ビデオ撮影開始後５／３０秒後）、エラーモードを挽回モードに切り替える。このＣＰＵ１６０による全ての読取エラーが解除されたか否かの判断については図７で具体的に説明する。
【０１０３】
まず、ＣＰＵ１６０はフレーム遅延検知フラグ３４０をＯＮにしたまま、欠落検知フラグ３３０をＯＦＦに切り替える。
【０１０４】
欠落検知フラグがＯＦＦとなっても、フレーム遅延検知フラグ３４０がＯＮである間は、ＣＰＵ１６０は、ディスク中の画像フレーム読取タイミング３２０を高速のまま維持する。これにより、合成回路１０４に同一タイミングで入力される再生合成画像Ｃのフレームのタイムコードをカメラ画像Ｄの最新のフレームのタイムコードに速やかに追いつかせることができる。
【０１０５】
一方、挽回モードになると、画像フレーム出力タイミング３１０における１フレーム期間の間、ディスクドライブ１２０によりディスクから再生ビデオ画像Ａ，Ｂの複数のフレームが読み出される。よって、ビデオ撮影開始後５／３０秒〜１１／６０秒の間はフレームＡ４，Ｂ４、１１／６０秒〜６／３０秒の間はフレームＡ５，Ｂ５、６／３０秒〜１３／６０秒の間はフレームＡ６，Ｂ６が、メモリ１３２，１３４で記録される。また、ビデオ撮影開始後１３／６０秒〜７／３０秒の間はフレームＡ７，Ｂ７が、メモリ１３２，１３４で記録される。
【０１０６】
合成回路１４０は、再生ビデオ画像Ａ，Ｂの新たなフレームがメモリ１３２，１３４で記録される毎にこれを読み出し、これらのフレームから再生合成画像Ｃの新たなフレームを生成して、合成回路１０４及びＬＣＤ１５０に出力する。よって、ビデオ撮影開始後５／３０秒〜１１／６０秒の間はフレームＣ４、１１／６０秒〜６／３０秒の間はフレームＣ５、６／３０秒〜１３／６０秒の間はフレームＣ６が合成回路１４０からＬＣＤ１５０及び合成回路１０４に送信される。また、ビデオ撮影開始後１３／６０秒〜７／３０秒の間はフレームＣ７が、合成回路１４０からＬＣＤ１５０及び合成回路１０４に送信される。
【０１０７】
ＬＣＤ１５０の画像表示タイミング３５０は常に１／３０秒であるので、ビデオ撮影開始後５／３０秒〜６／３０秒の間はＣ４、６／３０秒〜７／３０秒の間はＣ６が、ＬＣＤ１５０で切替表示される。
【０１０８】
合成回路１０４は、再生合成画像Ｃのフレームが入力されると、メモリ１０２から最新のカメラ画像Ｄのフレームを読み出して、その読み出したフレームと合成回路１４０からのフレームとで画像合成を行って、ＥＶＦ１５２に出力する。よって、ビデオ撮影開始後５／３０秒〜１１／６０秒の間はフレームＣ４，Ｄ６を合成した画像が、１１／６０秒〜６／３０秒の間はフレームＣ５，Ｄ６を合成した画像が、合成回路１４０からＬＣＤ１５０及び合成回路１０４に送信される。また、ビデオ撮影開始後６／３０秒〜１３／６０秒の間はフレームＣ６，Ｄ７を合成した画像が、１３／６０秒〜７／３０秒の間はフレームＣ７，Ｄ７を合成した画像が、合成回路１４０からＬＣＤ１５０及び合成回路１０４に送信される。
【０１０９】
ＥＶＦ１５２の画像表示タイミング３６０は常に１／３０秒である。従って、ビデオ撮影開始後５／３０秒〜６／３０秒の間はフレームＣ４，Ｄ６を合成した画像が、６／３０秒〜７／３０秒の間はフレームＣ６，Ｄ７を合成した画像が、ＥＶＦ１５２で切替表示される。
【０１１０】
一方、合成回路１０４は、挽回モードの場合、上記ＥＶＦ１５２に出力する画像の生成と並行して、以下のようにディスクに記録するアフレコ合成済み画像Ｅのフレームの生成も行う。
【０１１１】
まず、再生合成画像Ｃの新たなフレームが入力されたとき、そのフレームのタイムコードと同一のタイムコードのカメラ画像Ｄのフレームをメモリ１０２から読み出す。次に、上記再生合成画像Ｃの新たなフレームとメモリ１０２から読み出したカメラ画像Ｄのフレームからアフレコ合成済み画像Ｅの新たなフレームを生成して、ディスクドライブ１２０に出力する。よって、ビデオ撮影開始後５／３０秒〜１１／６０秒の間はフレームＥ４、１１／６０秒〜６／３０秒の間はフレームＥ５、６／３０秒〜１３／６０秒の間はフレームＥ６が、合成回路１０４からディスクドライブ１２０に出力される。また、ビデオ撮影開始後１３／６０秒〜７／３０秒の間はフレームＥ７が、合成回路１０４からディスクドライブ１２０に出力される。
【０１１２】
また、挽回モード中にメモリ１０２に入力されるカメラ画像Ｄのフレームも、そのフレームがアフレコ合成済み画像Ｅのフレーム生成に用いられるまでメモリ１０２中にバックアップ記録される。よって、メモリ１０２は、ビデオ撮影開始後５／３０秒〜６／３０秒の間にビデオカメラ１００から入力されるフレームＤ６と、６／３０秒〜７／３０秒の間にビデオカメラ１００から入力されるフレームＤ７とを一時記録する。
【０１１３】
ここで、ディスクへの画像フレーム書込タイミング３７０は常にディスク中の画像フレーム読取タイミング３２０に同期するので、挽回モードのときのタイミングは高速のまま維持しており、１／６０秒である。よって、上記ディスクドライブ１２０に出力されたアフレコ合成済み画像Ｅのフレームはディスクドライブ１２０によりディスクに高速に書き込まれる。
【０１１４】
次に、ＣＰＵ１６０は、メモリ１０２でのバックアップ記録が完了したと判断したとき（本実施の形態では、ビデオ撮影開始後７／３０秒後）、挽回モードを正常モードに切り替える。このＣＰＵ１６０によるバックアップ記録が完了したか否かの判断については図７で具体的に説明する。
【０１１５】
まず、ＣＰＵ１６０は欠落検知フラグ３３０をＯＦＦにしたまま、フレーム遅延検知フラグ３４０をＯＦＦに切り替える。また、フレーム遅延検知フラグ３４０がＯＦＦとしたときに、ディスク中の画像フレーム読取タイミング３２０を高速から標準に切り替える。その後、上述した正常モードの処理を行う。
【０１１６】
これにより、合成回路１０４に同一タイミングで入力される再生合成画像Ｃのフレームのタイムコードがカメラ画像Ｄの最新のフレームのタイムコードに追いついた段階で速やかに正常モードの動作に切り替えることができる。
【０１１７】
図７は、図２におけるＣＰＵ１６０により実行されるアフレコ処理の手順を示すフローチャートである。
【０１１８】
まず、図７において、ＬＣＤ１５０で再生合成画像Ｃのフレーム表示中に、ユーザからアフレコ処理の実行命令があったとき（ステップＳ８００でＹＥＳ）、ビデオカメラ１００によるカメラ画像Ｄの生成を開始する（ステップＳ８０１）。
【０１１９】
次に、ＣＰＵ１６０は、第１のタイムコード相対差及び第２のタイムコード相対差を記録する（ステップＳ８０２）。
【０１２０】
ステップＳ８０２の処理は、具体的にはまず、ステップＳ８０１のアフレコ処理実行命令があった後、メモリ１０２に最初のフレームが記録された時、そのフレームのタイムコードをカメラ画像Ｄの開始点として取得する。同様に、上記最初のフレーム記録時にメモリ１３２，１３４に記録されている再生ビデオ画像Ａ，Ｂの最新フレームのタイムコードを再生ビデオ画像Ａ，Ｂの開始点として取得する。その後、再生ビデオ画像Ａの開始点とカメラ画像Ｄの開始点の相対差を上記第１のタイムコード相対差として、再生ビデオ画像Ｂの開始点とカメラ画像Ｄの開始点の相対差を上記第２のタイムコード相対差として記録する。
【０１２１】
その後、ＣＰＵ１６０は、メモリ１０２にカメラ画像Ｄの新たなフレーム入力があると（ステップＳ８０３でＹＥＳ）、再生ビデオ画像Ａ，Ｂのいずれかのフレームについて読取エラーが発生している否かを判別する（ステップＳ８０４）。
【０１２２】
ステップＳ８０４の処理は、具体的にはまず、メモリ１０２，１３２，１３４に記録されている最新フレームのタイムコードを取得する。次に、上記取得した再生ビデオ画像Ａとカメラ画像Ｄの最新フレームのタイムコード相対差を第１の最新タイムコード相対差として取得する。また、これと並行して、上記取得した再生ビデオ画像Ｂとカメラ画像Ｄの最新フレームのタイムコード相対差を第２の最新タイムコード相対差として取得する。
【０１２３】
その後、上記取得した第１の最新タイムコード相対差とステップＳ８０３で記録した第１のタイムコード相対差を比較し、同一の値であれば再生ビデオ画像Ａのフレームの読取エラーが発生していないと判断する。一方、異なる値であれば、再生ビデオ画像Ａのフレームの読取エラーが発生していると判断する。
【０１２４】
同様の処理を上記取得した第２の最新タイムコード相対差及びステップＳ８０３で記録した第２のタイムコード相対差についても行い、再生ビデオ画像Ｂのフレームの読取エラーが発生しているか否かを判断する。
【０１２５】
ステップＳ８０４の判別の結果、読取エラーが発生していないときは、モードを正常モードとして、欠落検知フラグ３３０及びフレーム遅延検知フラグ３４０をＯＦＦにする（ステップＳ８０５）。その後、画像フレーム出力タイミング３１０の１フレーム期間の間、図６で説明した正常モードの処理を行ってから（ステップＳ８０６）、ステップＳ８０３からの処理を繰り返す。
【０１２６】
一方、ステップＳ８０４の判別の結果、読取エラーが発生しているときは、モードをエラーモードとして、欠落検知フラグ３３０及びフレーム遅延検知フラグ３４０をＯＮにする（ステップＳ８０７）。その後、合成回路１０４からディスドライブ１２０に送信されるアフレコ合成済み画像Ｅのフレーム送信を画像フレーム出力タイミング３１０の１フレーム期間の間一時停止する（ステップＳ８０８）。
【０１２７】
次に、ＣＰＵ１６０は、モードをエラーモードとした直後にメモリ１０２に記録されたカメラ画像Ｄの新たなフレームのタイムコードをＴＦＣＴＣとして取得する（ステップＳ８０９）。
【０１２８】
その後、ＣＰＵ１６０は、ディスク中の画像フレーム読取タイミング３２０を高速にして（ステップＳ８１０）、ディスクドライブ１２０によるディスク内のフレーム読み出しをリトライする（ステップＳ８１１）。その後、画像フレーム出力タイミング３１０の１フレーム期間の間、図６で説明したエラーモードの処理が行われる（ステップＳ８１２）。
【０１２９】
その後、次の画像フレーム出力タイミング３１０で、ステップＳ８０４で発生していると判別された読取エラーが全て解除されている否かを判別する（ステップＳ８１３）。
【０１３０】
ステップＳ８１３の処理は、具体的にはまず、メモリ１３２，１３４にある最新フレームのタイムコードを取得する。
【０１３１】
次に、上記取得した再生ビデオ画像Ａの最新フレームのタイムコードとステップＳ８０９で記録したＴＦＣＴＣとのタイムコード相対差を第１のエラータイムコード相対差として取得する。また、これと並行して、上記取得した再生ビデオ画像Ｂの最新フレームのタイムコードとステップＳ８０９で記録したＴＦＣＴＣとのタイムコード相対差を第２のエラータイムコード相対差として取得する。
【０１３２】
その後、上記取得した第１のエラータイムコード相対差とステップＳ８０３で記録した第１のタイムコード相対差を比較し、同一の値であれば再生ビデオ画像Ａのフレームの読取エラーは解除されていると判断する。一方、異なる値であれば、再生ビデオ画像Ａのフレームの読取エラーは解除されていないと判断する。
【０１３３】
同様の処理を上記取得した第２のエラータイムコード相対差及びステップＳ８０３で記録した第２のタイムコード相対差についても行い、再生ビデオ画像Ｂのフレームの読取エラーが解除されているか否かを判断する。
【０１３４】
ステップＳ８１３の判別の結果、解除されていない読取エラーがあるとき、まだエラーモード中であると判断して、ステップＳ８１１からの処理に進む。
【０１３５】
一方、ステップＳ８１３の判別の結果、読取エラーが全て解除されているとき、モードを挽回モードとして、フレーム遅延検知フラグ３４０をＯＦＦにする（ステップＳ８１４）。
【０１３６】
次に、メモリ１０２にカメラ画像Ｄの新たなフレームが入力されると（ステップＳ８１５でＹＥＳ）、そのフレームのタイムコードでＴＦＣＴＣを更新する（ステップＳ８１６）。その後、画像フレーム出力タイミング３１０の１フレーム期間の間、図６で説明した挽回モードの処理が行われる（ステップＳ８１７）。これにより、アフレコ作業中に読出しエラーが発生しても、記録メディアに記録されるアフレコ合成済み画像Ｅを時間関係が正常維持したカメラ画像Ｄと再生合成画像Ｃとに基づいて合成することができ、エラーファイルがディスクに記録されるのを防止できる。
【０１３７】
その後、メモリ１０２にカメラ画像Ｄの新たなフレームの入力があると（ステップＳ８１８でＹＥＳ）、バックアップ記録が完了しているか否かを判別する（ステップＳ８１９）。
【０１３８】
ステップＳ８１９の処理は、メモリ１３２，１３４で記録されている再生ビデオ画像Ａ，Ｂの最新フレームのタイムコードがいずれもステップＳ８１６で更新されたＴＦＣＴＣと等しいとき、バックアップ記録は完了していると判断する。一方、上記いずれかの最新フレームのタイムコードがステップＳ８１６で更新されたＴＦＣＴＣと等しくなければ、バックアップ記録は完了していないと判断する。
【０１３９】
ステップＳ８１９の判別の結果、バックアップ記録が完了しているとき、ＣＰＵ１６０はモードを正常モードとし、ディスク中の画像フレーム読取タイミング３２０を標準化して（ステップＳ８２０）、ステップＳ８０５からの処理に進む。
【０１４０】
一方、ステップＳ８１９の判別の結果、バックアップ記録が完了していないとき、まだ挽回モード中であると判断して、ステップＳ８１６からの処理を行う。
【０１４１】
図７の処理によれば、まず、アフレコ処理実行命令の後、メモリ１０２に最初のフレームが記録されたとき、メモリ１０２，１３２，１３４に記録されたカメラ画像Ｄ及び再生ビデオ画像Ａ，Ｂの各フレームのタイムコードを夫々の開始点として取得する。その後、カメラ画像の開始点に対する再生ビデオ画像Ａ，Ｂの開始点の相対差を夫々第１、第２のタイムコード相対差として算出する（ステップＳ８０２）。次に、メモリ１０２，１３２，１３４のいずれかに新たなフレーム入力があると（ステップＳ８０３でＹＥＳ）、各メモリにある最新フレームのタイムコードを取得する。その後、取得したカメラ画像Ｄの最新フレームに対する再生ビデオ画像Ａ，Ｂの最新フレームのタイムコード相対差を夫々第１、第２の最新タイムコード相対差として取得する。次に、第１、第２の最新タイムコード相対差と第１，第２のタイムコード相対差の比較結果に基づき、再生ビデオ画像Ａ，Ｂのいずれかについてディスクからの読取エラーが発生しているか否かを判別する（ステップＳ８０４）。これにより、モニタ表示画像上にて不連続画像が表示される事による違和感を解消することができる。
【０１４２】
尚、本実施の形態では、ディスクドライブ１２０から読み出した２つの再生画像Ａ，Ｂと撮影されたビデオ画像Ｄについてアフレコ合成する場合について説明した。しかし、この再生画像Ａ，Ｂ及びビデオ画像Ｄの夫々に対応する３つの音声データも同時にアフレコ合成するようにしてもよい。
【０１４３】
また、本実施の形態では、ディスクドライブ１２０からは２つの再生画像Ａ，Ｂ及び２つの音声データが読み出される場合について説明した。しかし、ディスクドライブ１２０へのアクセス速度が向上している現在の技術において、２以上の複数の再生画像及び音声データを同時にアフレコ合成する事が非常にたやすい事であるのは言うまでもない。
【０１４４】
図４は、カムコーダ１０の変形例の構成を概略的に示すブロック図である。
【０１４５】
本変形例に係るカムコーダ１０ａは、その構成が上記カムコーダ１０と基本的に同じであり、同じ構成要素については同一の符号を付して重複した説明を省略し、以下に異なる構成要素について説明する。また、音声信号処理の構成については図３と同様であるため省略する。
【０１４６】
図４において、カムコーダ１０ａは、図１におけるＬＣＤ１５０とＥＶＦ１５２の代わりにＬＣＤ１５０ａを有し、図１における合成回路１０４の代わりに、合成回路１０４ａ，１０４ｂを有する。
【０１４７】
合成回路１０４ａ，１０４ｂは、合成回路１４０とメモリ１０２に接続する点で共通する。しかし、合成回路１０４ａはアフレコ合成済み画像Ｅの生成のみを行うのに対して、合成回路１０４ｂは、液晶モニタ１５０ａで表示する後述する図１４の画像のみを生成する点で異なる。
【０１４８】
合成回路１０４ｂは、図１４に示すように、図１の合成回路１４０からＬＣＤ１５０に出力していた画像を右子画面１６０１へ、図１の合成回路１０４からＥＶＦ１５２に出力していた画像を左子画面１６００へ表示するように画面構成する。その後、このように画面構成した画像をＬＣＤ１５０ａへ出力する。
【０１４９】
本変形例によれば、ＬＣＤ１５０ａの右小画面１６００に再生合成画像Ｃを出力し、その左小画面１６０１にアフレコ合成済み画像Ｅを出力する。これにより、ユーザはアフレコ作業中に単一表示画面に表示されるアフレコ前の画像（再生合成画像Ｃ）とアフレコ合成済み画像Ｅの両方を観察しながら演技及び撮影をすることができる。また、ユーザーがカムコーダ１０から離れた位置で映像アフレコ記録をする際に、ＥＶＦ１５２を使ってアフレコ合成画像を確認する事は画像が小さい為、視力良好なユーザーしか使いこなせないという問題を解消することができる。
【０１５０】
図５は、カムコーダ１０の他の変形例の構成を概略的に示すブロック図である。
【０１５１】
本変形例に係るカムコーダ１０ｂは、その構成が図３のカムコーダ１０ｂと基本的に同じであり、同じ構成要素については同一の符号を付して重複した説明を省略し、以下に異なる構成要素について説明する。また、音声信号処理の構成については図３と同様であるため省略する。
【０１５２】
図５において、カムコーダ１０ｂは、合成回路１０４ｂの代わりに合成回路１０４ｃを有し、図３における合成回路１０４ｃとメモリ１０２の間にフィルタ１５７、合成回路１０４ｃと合成回路１４０の間にフィルタ１５８を有する。
【０１５３】
フィルタ１５７はカメラ画像Ｄのフレームに対して色付きマスキング処理を施し、フィルタ１５８は合成回路１４０で生成される再生合成画像Ｃのフレームに対して無色マスキング処理を施す。
【０１５４】
また、合成回路１０４ｃは、図１５に示すように、図１の合成回路１０４からＥＶＦ１５２に出力していた画像にカメラ画像Ｄのフレームの合成部分１５００に色付きマスキング、それ以外の部分１５０１に無色マスキングした画像１５０３を生成する。その後、この画像１５０３をＬＣＤ１５０ａへ出力する。
【０１５５】
また、ＬＣＤ１５０ａによる画像１５０３の画像表示タイミングは、ＬＣＤ１５０と同様に画像フレーム出力タイミング３１０に同期する。
【０１５６】
本変形例によれば、再生合成画像Ｃにフィルタ１５８で色付きマスキング処理を、カメラ画像Ｄにフィルタ１５７で無色マスキング処理を施した後、再生合成画像Ｃ及び上記カメラ画像Ｄから画像１５０３を合成する。その後、画像フレーム出力タイミング３１０に同期して上記画像１５０３をＬＣＤ１５０ａでモニタ表示する。これにより、ユーザは、画像１５０３の観察のみでカメラ画像Ｄと再生合成画像Ｃを識別でき、アフレコ作業中にアフレコ後の画像の画面レイアウトを容易に設計することができる。また、アフレコ撮影を自写、演技するユーザーはＬＣＤ１５０ａで出力された画像１５０３を視認することにより自分の立ち位置の判断が容易になる。
【０１５７】
また、エラーモードの間は、図６で上述したようにディスクから新たなフレームを読み取ることはできない。従って、ＬＣＤ１５０ａは以下の処理により生成される代替画像を画像フレーム出力タイミング３１０に同期して表示する。
【０１５８】
合成回路１４０は、エラーモードの間は、メモリ１３２，１３４に記録される再生ビデオ画像Ａ，Ｂの最新タイムコードのフレームから再生合成画像Ｃのフレームを生成して、合成回路１０４ｃに出力する。
【０１５９】
合成回路１０４ｃは、メモリ１０２にカメラ画像Ｄの新たなフレームが記録されるとそのフレームを読み出して、この読み出したフレームと合成回路１４０からのフレームに夫々上記マスキング処理を施した後に画像合成を行う。その後、これを画像１５０３の代替画像としてＬＣＤ１５０ａに出力する。
【０１６０】
これにより、現在の録画されているカメラ画像Ｄと著しく違うタイミングの画像がＬＣＤ１５０ａでモニタ表示される事による違和感を解消することができる。
【０１６１】
尚、ユーザ自身の立ち位置の判断が容易であれば、本変形例の形態に限定されるわけでない。従って、例えば、フィルタ１５７，１５８のいずれか一方のフィルタを設けず、無フィルタースルー画を使って合成するようにしてもよい。
【０１６２】
また、本発明の目的は、上記実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（又は記録媒体）を、システム又は装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【０１６３】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１６４】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(ＯＳ)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１６５】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１６６】
また、上記プログラムは、上述した実施の形態の機能をコンピュータで実現することができればよく、その形態は、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給されるスクリプトデータ等の形態を有するものでもよい。
【０１６７】
プログラムを供給する記録媒体としては、例えば、ＲＡＭ、ＮＶ−ＲＡＭ、フロッピー（登録商標）ディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＭＯ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ）、磁気テープ、不揮発性のメモリカード、他のＲＯＭ等の上記プログラムを記憶できるものであればよい。或いは、上記プログラムは、インターネット、商用ネットワーク、若しくはローカルエリアネットワーク等に接続される不図示の他のコンピュータやデータベース等からダウンロードすることにより供給される。
【図面の簡単な説明】
【０１６８】
【図１】本発明の実施の形態に係る記録再生装置としてのカムコーダの外観構成を概略的に示す図であり、（ａ）は演技者であるユーザ側からみた場合、（ｂ）は撮影者であるユーザ側からみた場合である。
【図２】図１のカムコーダの映像信号処理の構成を概略的に示すブロック図である。
【図３】カムコーダの音声信号処理の構成を概略的に示すブロック図である。
【図４】カムコーダの変形例の構成を概略的に示すブロック図である。
【図５】カムコーダの他の変形例の構成を概略的に示すブロック図である。
【図６】アフレコ処理実行中にカムコーダで実行されるカメラ出力・ディスク読取・画像表示・ディスク書込の各タイミングを示すタイムチャートである。
【図７】図２におけるＣＰＵにより実行されるアフレコ処理の手順を示すフローチャートである。
【図８】ボールのビデオ画像である再生ビデオ画像Ａを示す図である。
【図９】ブランコのビデオ画像である再生ビデオ画像Ｂを示す図である。
【図１０】図８の再生ビデオ画像Ａを前景に、図９の再生ビデオ画像Ｂを背景とする再生合成画像Ｃを示す図である。
【図１１】再生ビデオ画像Ａからボール部以外の画像を切取るマスク処理を示す図である。
【図１２】ユーザ自身の姿を録画する画像であるカメラ画像Ｄを示す図である。
【図１３】図１２のカメラ画像Ｄを前景に、図１０の再生合成画像Ｃを背景とするアフレコ合成済み画像Ｅを示す図である。
【図１４】カムコーダの変形例のＬＣＤの画面を示す図である。
【図１５】カムコーダの他の変形例のＬＣＤの画面を示す図である。
【図１６】図２における合成回路により３つのディスク再生音が入力される場合に再生合成音声を合成する流れを模式的に示す図である。
【図１７】図１における合成回路により３つの再生ビデオ画像が入力される場合に再生合成画像Ｃを合成する流れを模式的に示す図である。
【符号の説明】
【０１６９】
１０  カムコーダ
１００  ビデオカメラ
１２０  ディスクドライブ
１５０  ＬＣＤ
１５２  ＥＶＦ
２５０  スピーカ
２５２  ヘッドフォン
２５３  プラグ
【図１】
2007110219.tif 000003
【図２】
2007110219.tif 000004
【図３】
2007110219.tif 000005
【図４】
2007110219.tif 000006
【図５】
2007110219.tif 000007
【図６】
2007110219.tif 000008
【図７】
2007110219.tif 000009
【図８】
2007110219.tif 000010
【図９】
2007110219.tif 000011
【図１０】
2007110219.tif 000012
【図１１】
2007110219.tif 000013
【図１２】
2007110219.tif 000014
【図１３】
2007110219.tif 000015
【図１４】
2007110219.tif 000016
【図１５】
2007110219.tif 000017
【図１６】
2007110219.tif 000018
【図１７】
2007110219.tif 000019