(57)【要約】【課題】再生映像を鑑賞する様子を記録した映像を後で視聴する場合に、再生された映像と鑑賞している人たちの記録映像とを簡単に同期して再生できるようにする。【解決手段】動画データを再生する再生手段と、前記再生手段により再生された動画データを表示装置に出力する出力手段と、動画データを取得する取得手段と、動画データを記録する記録手段と、前記再生手段により第１の動画データを再生しながら、前記記録手段により第２の動画データを記録する場合に、前記第２の動画データにおける複数のフレームについて、前記複数のフレームがそれぞれ前記取得手段により取得されたときに、前記表示装置に出力されていた前記第１の動画データにおけるフレームを識別するための付加情報を生成し、前記付加情報を前記第２の動画データと共に記録するように前記記録手段を制御する制御手段とを備える。【選択図】図１
2015012544.tif 000002
【特許請求の範囲】
【請求項１】
動画データを再生する再生手段と、
前記再生手段により再生された動画データを表示装置に出力する出力手段と、
動画データを取得する取得手段と、
動画データを記録する記録手段と、
前記再生手段により第１の動画データを再生しながら、前記記録手段により第２の動画データを記録する場合に、前記第２の動画データにおける複数のフレームについて、前記複数のフレームがそれぞれ前記取得手段により取得されたときに、前記表示装置に出力されていた前記第１の動画データにおけるフレームを識別するための付加情報を生成し、前記付加情報を前記第２の動画データと共に記録するように前記記録手段を制御する制御手段とを備える画像処理装置。
【請求項２】
前記制御手段は、前記第２の動画データを記録したときに再生されていた前記第１の動画データを識別するための情報を含む前記付加情報を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記再生手段は、通常再生速度とは異なる再生速度で動画データを再生可能であり、前記制御手段は、前記第２の動画データにおける複数のフレームについて、前記第２の動画データの記録中に再生されている前記第１の動画データの再生速度に関する情報を生成し、前記再生速度に関する情報を含む前記付加情報を記録するように前記記録手段を制御することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記再生手段は、動画データの再生方向を順方向と逆方向とに変更することが可能であり、前記制御手段は、前記第２の動画データにおける複数のフレームについて、前記第２の動画データの記録中に再生されている前記第１の動画データの再生方向に関する情報を生成し、前記再生方向に関する情報を含む前記付加情報を記録するように前記記録手段を制御することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記再生手段は、記録媒体から前記第１の動画データを再生し、前記記録手段は、前記記録媒体に前記第２の動画データを記録することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記制御手段は、前記再生手段による前記第１の動画データの再生開始に応じて前記第２の動画データの記録を開始し、前記第１の動画データの再生停止に応じて前記第２の動画データの記録を停止するように、前記記録手段を制御することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
動画データを再生する再生手段と、
前記再生手段により再生された動画データを表示装置に出力する出力手段と、
動画データを取得する取得手段と、
動画データを記録する記録手段と、
前記再生手段により第１の動画データを再生しながら、前記記録手段により第２の動画データを記録する場合に、前記第１の動画データを用いて第３の動画データを生成すると共に前記第３の動画データと前記第２の動画データとを関連づけるための付加情報を生成し、前記第３の動画データと前記付加情報とを前記第２の動画データと共に記録するように前記記録手段を制御する制御手段とを備える画像処理装置。
【請求項８】
動画データを再生する再生工程と、
前記再生工程において再生された動画データを表示装置に出力する出力工程と、
動画データを取得する取得工程と、
動画データを記録する記録工程と、
前記再生工程において第１の動画データを再生しながら、前記記録工程において第２の動画データを記録する場合に、前記第２の動画データにおける複数のフレームについて、前記複数のフレームがそれぞれ前記取得工程において取得されたときに、前記表示装置に出力されていた前記第１の動画データにおけるフレームを識別するための付加情報を生成し、前記付加情報を前記第２の動画データと共に記録するように前記記録工程を制御する制御工程とを備える画像処理方法。
【請求項９】
動画データを再生する再生工程と、
前記再生工程において再生された動画データを表示装置に出力する出力工程と、
動画データを取得する取得工程と、
動画データを記録する記録工程と、
前記再生工程において第１の動画データを再生しながら、前記記録工程において第２の動画データを記録する場合に、前記第１の動画データを用いて第３の動画データを生成すると共に前記第３の動画データと前記第２の動画データとを関連づけるための付加情報を生成し、前記第３の動画データと前記付加情報とを前記第２の動画データと共に記録するように前記記録工程を制御する制御工程とを備える画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に関し、特に、動画の再生中に動画を撮影し、記録するために用いて好適な技術に関するものである。
【背景技術】
【０００２】
従来、ダンス等のお手本となる映像を再生しながら、自分がそれに合わせて踊る映像をビデオカメラで撮影し、撮影映像をお手本の再生映像と合成して記録するシステムが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２７９０１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来例では、再生された動画と、撮影した動画とを合成して記録しているので、再生画像と撮影画像が重なってしまい、見にくくなってしまうという問題がある。
そこで、撮影した動画を再生した動画とは別に記録しておき、後でこれらを同期して再生することも考えられる。
【０００５】
しかし、お手本の動画などを再生している際に、早送り、巻き戻しなどを行った場合、後で、このお手本の動画と撮影した動画とを簡単に同期して再生させることができないという問題がある。
本発明は前述の問題点に鑑み、再生映像を鑑賞する様子を記録した映像を後で視聴する場合に、再生された映像と鑑賞している人たちの記録映像とを簡単に同期して再生できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、動画データを再生する再生手段と、前記再生手段により再生された動画データを表示装置に出力する出力手段と、動画データを取得する取得手段と、動画データを記録する記録手段と、前記再生手段により第１の動画データを再生しながら、前記記録手段により第２の動画データを記録する場合に、前記第２の動画データにおける複数のフレームについて、前記複数のフレームがそれぞれ前記取得手段により取得されたときに、前記表示装置に出力されていた前記第１の動画データにおけるフレームを識別するための付加情報を生成し、前記付加情報を前記第２の動画データと共に記録するように前記記録手段を制御する制御手段とを備える。
【発明の効果】
【０００７】
本発明によれば、媒体に既に記録されている映像１データを再生して表示手段に表示する。そして、映像１を視聴している人を撮影して映像２データとして記録する場合、映像２の記録データ内に、映像１を再生した時の映像１と２の固有の情報と、再生したフレームと撮影したフレームの対応情報及び再生モードを記録するようにした。このことで、映像２を再生して、さらにそれに対応する映像１を再生し、映像２に撮影されている人が、映像１を特殊再生していた場合でも、映像１のどういう表示シーンを見て反応しているかを忠実に再現できるようになった。
また、本発明の他の特徴によれば、映像２に対して映像１は別の記録データ（別のファイル）としたので、映像２と映像１の二つの映像再生時、表示の仕方の自由度を高めることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施形態を示し、撮像装置の構成例を示すブロック図である。
【図２】第１の実施形態の撮像装置の動作手順を説明するフローチャートである。
【図３】第１の実施形態を示し、データの記録形式について説明するための図である。
【図４】第１の実施形態を示し、データの記録形式について説明するための図である。
【図５】第１の実施形態を示し、データの記録形式について説明するための図である。
【図６】付加データの記録形式について説明するための図である。
【図７】付加データの記録形式について説明するための図である。
【図８】本発明の第２の実施形態を示し、撮像装置の構成例を示すブロック図である。
【図９】第２の実施形態の撮像装置の動作手順を説明するフローチャートである。
【図１０】第２の実施形態の付加データ記録形式について説明するための図である。
【図１１】実施形態を説明する再生装置の構成例を示すブロック図である。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
本発明の画像処理装置の第１の実施形態について図１を用いて説明する。図１は、本発明の実施形態を説明する撮像装置１００の構成例を示すブロック図である。
図１の１０１は撮像回路であり、被写体を撮影して動画データを出力する。カメラ信号処理回路１０２は撮像回路１０１から送られた動画データにホワイトバランス、γ処理、色分離等のカメラ信号処理を施してバス１１９を介してメモリ１０４に書き込む。
【００１０】
メモリ１０４は、記録時においては、撮影された動画データや符号化された動画データ等を記憶する。また、メモリ１０４は、再生時においては、再生された動画データ、音声データなどを記憶するための記憶メモリとしても用いられる。
符号化回路１０３は、メモリ１０４に記憶された動画データを読み出し、MPEG-2やMPEG-4、AVC/H.264等の符号化方式を用いて符号化し、メモリ１０４に記憶する。
【００１１】
オーディオ入力回路１１３は、不図示のマイクから入力されたオーディオ信号をAD変換し、ディジタル化されたオーディオデータに対してレベル変換、ノイズ除去等の信号処理を施し、メモリ１０４に取り込む。または、外部入力されたオーディオデータをメモリ１０４に取り込む。
【００１２】
オーディオ符号化回路１１４は、メモリ１０４に取り込まれたオーディオデータを必要に応じて符号化し、メモリ１０４に記憶する。
記録情報生成回路１０５は、後述のように、記録媒体１２０からの動画の再生中に、撮像回路１０１により撮影した動画を記録する場合に、付加情報を生成する。
記録回路１０６は、メモリ１０４に符号化データ、オーディオ符号化データ、およびヘッダ情報が所定量蓄積されたらスイッチ１０７を端子a側にして、記録媒体１２０に動画と音声のストリームを記録する。
【００１３】
本実施形態では、動画データと音声データを、例えばQuickTime（登録商標）をベースとしたファイル形式により記録する。
QuickTimeファイルフォーマットは、図３の（ａ）に示すように、atomと呼ぶ基本単位で構成されている。atomは自身のサイズ(バイト数)を示すsizeフィールド３０１a、atomの種類を4個の文字列により識別するtypeフィールド３０２a、及びatomの実際のデータを格納するdataフィールド３０３aから構成される。
【００１４】
１つのメタデータと１つのメディアデータから構成される映像データのファイル構成例を図３（ｂ）に示す。ここでメタデータとは、メディアデータをデコードし、再生するために必要な情報のことである。
図３（ｂ）において、File Type Box(ftyp)３１１bは、ファイルタイプ（QuickTime、MP4等）を示す情報を格納する。Movie Box（moov）３１２bは、メタデータ全体を格納するatomである。また、Media Data Box（mdat）３１３bは、メディアデータ全体を格納するatomである。
【００１５】
図３（ｃ）は、mdat内部の構成を示す図である。mdat内部は「チャンク(chunk)」と呼ばれるデータ単位の連続で構成される。図３（ｃ）ではオーディオチャンク(1)AC1、映像チャンク(1)VC1、オーディオチャンク(2)AC2、映像チャンク(2)VC2、・・・という順序で、異なるメディア形式のチャンクが交互に配置された構成の例を示している。さらに、個々のチャンクは、同じメディアの種類の「サンプル(sample)」の連続として複数のサンプルが構成される。
【００１６】
ここでサンプルとは、分割可能な最小符号化データ単位であり、映像やオーディオデータの１フレームに相当するデータ単位を表す。図３（ｃ）では、映像チャンク(1)VC1は、映像サンプル(1)VS1から映像サンプル(V1)VSV1までの連続として複数のサンプルが構成された例を示している。同様にオーディオチャンク(1)AC1は、オーディオサンプル(1)AS1からオーディオサンプル(A1)ASA1までの連続として複数のサンプルが構成された例を示している。
【００１７】
図４にMovie Box（moov）atom内の構成を示す。Moov３１２bは、ヘッダ情報をMovie Header (mvhd) atom４０１aとTrack（trak）atom４０２a、４０３aから構成される。ここでtrakとは、ファイルのシーンを構成する各メディアに関する情報を格納するatomである。
【００１８】
図４では、映像データのTrack(trak)４０２aと、オーディオデータのtrak４０３aから構成される例を示している。
図４に示すように、各trak内には多数のatomが形成されている（オーディオtrakの内部構成は映像と同様なので省略する）。
以下では、各trakに含まれるSample To Chunk（stsc）atom４０４a、Sample Size（stsz）atom４０５a、およびChunk Offset(stco) atom４０６aの機能を簡単に説明する。ユーザーデータudta４０７ａは、図７を参照しながら後述する。
【００１９】
図５（ａ）に示すstsc４０４aは、各メディアの各チャンクに含まれるサンプル情報（サンプル数、およびサンプル記述番号）を格納するatomであり、mdat内の所望のデータをアクセスする時に用いられる。stsc４０４aは前述したtrak（４０２a、４０３a）にそれぞれ一つだけ存在する。
【００２０】
図５（ｂ）に示すstsz４０５aは、各メディアの各サンプルのサイズ（バイト数）情報を格納するatomであり、mdat内の所望のデータをアクセスする時に用いられる。stsz４０５aは前述したtrak（４０２a、４０３a）にそれぞれ一つだけ存在する。
【００２１】
図５（ｃ）に示すstco４０６aは、各メディアの各チャンクのファイルオフセット値を格納するatomであり、前述したtrak（４０２a、４０３a）にそれぞれ一つだけ存在する。
stco４０６aには、前述した映像チャンクの総数（図５（ｃ）では、映像チャンクの総数を仮にMとする）CT1、及びM個の映像チャンクの先頭オフセット値（CF1〜CFM）が格納されている。
【００２２】
ここで、チャンクの先頭オフセット値とは、チャンクを構成するサンプルのうち、先頭サンプルの先頭バイトへのオフセット値を意味する。すなわち、前述した映像チャンクの先頭オフセット値（CF1〜CFM）とは、図３（ｃ）で述べた映像チャンク（VC1、VC2、．．．）の先頭サンプル（VS1、VSV1+1、．．．）の先頭バイトへのオフセット値である。
【００２３】
前述したstsc ４０４a、stsz ４０５a、及びstco ４０６aに格納される情報を用いて、ファイル中のメディアの任意のサンプルの位置とサイズ情報を取得することができる。
すなわち、サンプル番号によりあるサンプルが指定された場合、まず前述したstsz４０５a内の情報により、指定サンプルのサイズを知ることができる。次に、前述したstsc ４０４aにより、指定サンプルが何番目のチャンクに属するかを知ることができる。
【００２４】
そして、stsz ４０５aにより、指定サンプルの属するチャンク内の、先頭サンプルから指定サンプルの直前までのサイズＳを知ることができる。そして、stco ４０６aにより、指定サンプルの属するチャンクの先頭位置Ｔが取得できる。前述した先頭位置Ｔと、前述した先頭位置Ｔから指定サンプル直前までのサイズＳとを足すことにより、指定サンプルの先頭位置を取得することができる。
【００２５】
前述したように、各trak（４０２a、４０３a）内のstsz、stsc、及びstcoを解析することで、任意のサンプルのファイル上における位置とサイズが取得でき、任意のサンプルデータをファイルから読み出すことが可能となる。
【００２６】
再生回路１０８は、スイッチ１０７の端子bを選択して、記録媒体１２０に記録された符号化データ（ここでは、QuickTimeベースのファイルフォーマットを用いて記録されている）を読み出してメモリ１０４に記憶する。本実施形態の再生回路１０８は、通常再生速度とは異なる再生速度で動画データを再生可能である。
再生情報抽出回路１０９は、メモリ１０４に記憶された符号化データの再生情報（ftyp、moov atom）を読み出し、解析する。
【００２７】
復号化回路１１０は、メモリ１０４に記憶された符号化データを復号し、復号したデータをメモリ１０４に記憶する。
オーディオ復号化回路１１５は、メモリ１０４に記憶されたオーディオデータが符号化されている場合は復号化してメモリ１０４に復号化したオーディオデータを記憶する。
【００２８】
表示情報抽出回路１１１は、表示回路１１２を介して表示される動画データのフレーム情報、及び再生モードを抽出する。
表示回路１１２は、復号化回路１１０で復号された動画データを不図示の表示装置に送出する。
【００２９】
オーディオ出力回路１１６は、メモリ１０４に記憶されたオーディオデータを不図示のスピーカー等に出力する。
制御回路１１７はＣＰＵ等を有し、撮像装置１００の各部を制御する。操作入力回路１１８は各種のスイッチやボタンなどの操作部材を備え、ユーザーの操作信号を制御回路に送出する。
【００３０】
前述のように構成された本実施形態の撮像装置１００は、通常の記録モード、再生モードを持つ。また、撮像装置１００は、記録媒体１２０から動画データを再生しながら、撮像回路１０１による撮影を行い、動画データや音声データを記録する同時記録モードを持つ。
【００３１】
ユーザーが操作入力回路１１８を操作して、通常記録モードを設定した場合、制御回路１１７はユーザーによる記録指示を待つ。記録開始が指示されると、制御回路１１７は各部を制御し、前述のように、撮影された動画データと、音声データの記録を開始する。また、記録停止の指示があった場合、制御回路１１７は、動画と音声の記録を停止する。
【００３２】
ユーザーが操作入力回路１１８を操作して、通常再生速度で再生する通常再生モードを設定する再生モード指定をした場合、制御回路１１７はユーザーによる再生指示を待つ。ユーザーが記録媒体１２０に記録された動画から、再生する動画を指定して再生開始を指示した場合、制御回路１１７は、各部を制御して、記録媒体１２０から指定された動画の再生を開始する。また、再生停止の指示があった場合、制御回路１１７は、動画の再生を停止する。
【００３３】
次に、同時記録モードについて説明する。
同時記録モードでは、前述のように、記録媒体１２０に記録された動画を再生しながら、撮像回路１０１により撮影した動画を記録する。以下、同時記録モードにおいて再生される動画と音声を映像１とし、同時に記録される動画と音声を映像２として説明する。
【００３４】
ユーザーが操作入力回路１１８を操作して、同時記録モードを設定した場合、制御回路１１７は、映像１として再生する動画を選択する指示を促す情報を表示回路１１２に表示する。ユーザーは操作入力回路１１８を操作して、記録媒体１２０に記録された動画ファイルから、映像１として再生する動画ファイルを選択する。ユーザーにより映像１として再生する動画ファイルが選択され、再生開始が指示されると、同時記録が開始される。
【００３５】
図２は、同時記録モードにおける撮像装置１００の処理を示すフローチャートである。図２の処理は、制御回路１１７が各部を制御することにより実行される。
まず、Ｓ２０１において、制御回路１１７は撮像回路１０１、カメラ信号処理回路１０２、オーディオ入力回路１１３を制御し、撮影を開始する。カメラ信号処理回路１０２は撮影された映像２の動画データを処理し、メモリ１０４に記憶する。
【００３６】
Ｓ２０２において、制御回路１１７は再生回路１０８を介して記録媒体１２０から映像１の符号化データを読み出し、メモリ１０４に記憶する。再生情報抽出回路１０９はメモリ１０４に記憶された映像１の符号化データ（映像１データ）から、符号化データの再生情報（fytp、moov、trak atom）を抽出する。また映像１のファイル名、撮影日時、ファイルサイズあるいは符号化されたデータサイズも取得する。
【００３７】
Ｓ２０３において、制御回路１１７は再生モードを検出する。ここでは、早送り、スロー、再生停止の指示を検出する。
Ｓ２０４において、制御回路１１７はＳ２０３で検出した再生モードが変化したか否かを観測する。ここでは、操作者が映像１を選択して再生したところなので、通常再生モードのままであるので、noが選択され、Ｓ２０７に進む。
【００３８】
Ｓ２０７で、制御回路１１７は再生情報抽出回路１０９に通常再生の指示をし、再生情報抽出回路１０９は映像１ファイル内の映像とオーディオの符号化データの先頭の位置を計算して取得し、制御回路１１７に通知する。
【００３９】
Ｓ２０８において、制御回路１１７は映像１の符号化データの先頭の符号化データがメモリ１０４に記憶されている場合はメモリ１０４から、記憶されていない場合は記録媒体１２０から映像１の符号化データを読み出し、メモリ１０４に記憶する。
【００４０】
Ｓ２０９において、復号化回路１１０、オーディオ復号化回路１１５はメモリ１０４に記憶された映像１の符号化データを読み出し、復号し、復号化した映像１の画像データ、オーディオデータをメモリ１０４に記憶する。
Ｓ２１０において、制御回路１１７はメモリ１０４に記憶された復号化した映像１の画像データ、オーディオデータが操作者に表示できるタイミングか否かを判断する。まだ表示できない場合はＳ２０３に戻る。
【００４１】
表示できると判断した場合はＳ２１１に進み、映像1の画像データを表示回路１１２を介して表示するとともに、通常再生の場合はオーディオデータをオーディオ出力回路１１６を介して再生する。
【００４２】
Ｓ２１２で制御回路１１７は、表示された映像１のフレーム番号m0を、再生情報抽出回路１０９で抽出した再生情報（trak atom内の映像チャンクとそのサンプル情報）から計算して算出する。さらに、フレームを復号した時の再生モードfw1（今は通常再生）を取得する再生モード取得処理を行う。
【００４３】
次に、Ｓ２１３で映像１のフレーム番号m0を表示した時間に撮像回路１０１で撮像した映像２の画像フレームを取得する。
次に、Ｓ２１４で制御回路１１７は、Ｓ２１３で取得した映像２の画像フレームのフレーム番号１を生成する。
そしてＳ２１５では、Ｓ２１３で取得した映像２の画像フレームの映像２データを符号化回路１０３で符号化し、メモリ１０４に記憶する。また、オーディオ符号化回路１１４で符号化する画像フレームと同期する位置からオーディオデータの符号化を開始し、符号化したオーディオデータをメモリ１０４に記憶していく。
【００４４】
次に、Ｓ２１６で制御回路１１７は、Ｓ２１２で取得した映像１のフレーム番号m0、および再生モードfw1と、Ｓ２１４で取得した映像２のフレーム番号１を対応付けして図６に示すように、記録用付加データを生成する。すなわち、映像２のフレーム番号：１、映像１のフレーム番号：m0、映像１の再生モード：通常再生（fw1）のように、映像２データのフレーム画像と、映像１のフレーム画像との対応付けを行う。また、Ｓ２０２で取得した映像１のファイル名、撮影日時、ファイルサイズあるいは符号化されたデータサイズも記録用付加データとして生成する。
【００４５】
例えば、図７（ａ）に示すように、ユーザーデータudta atomを用意し、udta atom内のユーザー１ atomとして、映像１のファイル名、撮影日時、ファイルサイズあるいは符号化されたデータサイズを用意する。これは、映像２の記録後、映像２を再生する際に、対応する映像1が存在するか、または編集などされて変更されていないかなどをチェックするために使用する。
【００４６】
Ｓ２１７で制御回路１１７は、記録媒体１２０に記録するかどうかを判断する。映像２の画像、オーディオの符号化データがメモリ１０４に所定量記憶されたと判断するとyesが選択され、Ｓ２１８に進む。
【００４７】
Ｓ２１８では、図３（ｃ）に示すようにmdat atomとして、符号化された映像、オーディオデータを、記録回路１０６を介して記録媒体１２０に記録開始する。そして、記録後にＳ２０３に戻る。
Ｓ２１７でまだ所定量に達していないと判断された場合は、Ｓ２０３に戻る。
Ｓ２０３では、操作入力回路１１８から入力される操作情報から、再び再生モードを検出し、Ｓ２０４に進む。
【００４８】
Ｓ２０４で、前回と再生モードに変化があったか否かを判断する再生モード検出を行う。再生モードに変化がなければＳ２０７に進み、前回と同じ通常再生として、次のフレームのファイル内でのデコード位置を計算する。
通常再生（fw1）であれば、映像１はフレーム番号m0に続いて、m0+1、m0+2、m0+3、・・・、と再生される。そして、Ｓ２１６の付加データ生成処理で、図６に示すように、映像２のフレーム番号２、３、４、・・・、と対応付けされて記録用付加データとして、映像２の各フレームを撮影順に番号付けして追加していく。そして、映像２の各フレームに対応付けられる映像１のフレームは、映像１の先頭フレームからのオフセット番号で指定される。
【００４９】
Ｓ２０４の再生モード検出で再生モードに変化があったと判断した場合はＳ２０５に進む。
Ｓ２０５では、再生モードが映像１の再生停止になったかどうかを判断する。再生停止でなければ、Ｓ２０６に進む。
Ｓ２０６では、変化した映像１の再生モードに応じて次のファイル内のデコード位置を計算する。例えば、映像１がフレーム番号m0+n0-1まで再生されて、次に順方向に６倍速再生（fw6）が要求されたとする。この場合、制御回路１１７はフレーム番号m0+n0+6の映像１のファイル内の画像データ位置を再生情報抽出回路１０９にある再生情報（trak atom内の情報）から再度計算する。そして、映像１のファイル内の画像データ位置を再度取得して復号化回路１１０に供給する。
【００５０】
この場合、Ｓ２１６で生成される付加データは、図６に示すように、映像２のフレーム番号n0、n0+1、n0+2、n0+3、・・・に対し、映像１のフレーム番号はm0+n0-1、m0+n0+6、m0+n0+12、m0+n0+18、・・・となる。これにより、再生モードは順方向６倍速再生（fw6）となる。
【００５１】
操作者が例えば、映像１のフレーム番号m1まで再生した時点で逆再生（例えば−３倍速）した場合を説明する。この場合は、先に説明したのと同様にして、Ｓ２１６で生成される付加データは図６に示すようになる。すなわち、映像２のフレーム番号n1、n1+1、n1+2、n1+3、・・・、に対して、映像１のフレーム番号はm1、m1-3、m1-6、m1-9、・・・、となる。再生モードは、再生方向が逆方向−３倍速（rw3）である。
【００５２】
図６では、その後通常再生に戻り（n2、n2+1、・・・、m2、m2+1、・・・）、映像１のフレーム番号m4から順方向スロー再生（＋1/4倍速）になる。この場合、映像２のフレーム番号n3に対して映像１のフレーム番号m4とすると、映像２のn3+1〜n3+4に対してm4+1、映像２のn3+5〜n3+8に対して映像１のフレーム番号はm4+2となる。再生モードは順方向1/4倍速（fsl  1/4）である。
【００５３】
スロー再生では、映像２の異なるフレーム番号に対して、映像１のフレーム番号が同一になる。このため、映像２と伴に対応する映像１を再生する場合、対応するフレーム番号のみ見ていたのでは、それがポーズ、あるいはスキップ再生状態なのか、それともスロー再生なのか区別がつかない。そこで、映像２を記録する時の映像1の再生モードからスロー再生であることを知ることにより、記録時と同じ再生状態を再現できる。
その後、図６では、映像１のフレーム番号m4+10で通常再生に戻っている。
【００５４】
制御回路１１７は、Ｓ２０４で再生モードの変化を検出し、Ｓ２０５で映像１の再生停止を検出した場合、映像２の記録を終了する。その場合、図４映像２のmoov atomに対して、映像trak内に図７（ａ）に示すユーザーデータ udta atom を生成して記録する。
【００５５】
ユーザーデータ（udta atom）情報は、図７（ａ）に示すように、映像２の：ファイル名、撮影日時、ファイルサイズ（乃至は符号化データサイズ）。対応する映像１の：ファイル名、撮影日時、ファイルサイズ（乃至は符号化データサイズ）をユーザー１情報とし（ユーザー１ atom）である。そして、図６に示す記録された映像２に対応する映像１の再生情報をユーザー２情報（ユーザー２ atom）として記録する。
【００５６】
次に、同時記録モードで映像２として記録された動画データを、記録時に再生されていた映像１の動画と同期して再生する再生装置について説明する。
図１１は、再生装置の構成例を示すブロック図である。なお、図１１の構成を、図１の撮像装置に含まれるように構成することも可能である。
【００５７】
記録媒体１２０に記録された映像２のファイルは再生回路１１０１を介して再生され、メモリ１１０３に記憶される。再生情報抽出回路１１０２は、メモリ１１０３に記憶された映像２の再生データから再生情報（ftyp、moov atom）を抽出する。
再生情報抽出回路１１０２で抽出された再生情報から、制御回路１１１１はユーザ付加情報（udta atom）を探す。
【００５８】
ここで、第１の実施形態で記録されたファイルの場合は、図７（ａ）に示すユーザ付加情報があるので、この情報を読み込む。そして、対応する映像１のファイルが記録媒体１２０に記録されているか否かを（ファイル名から）確認する。
映像１のファイルが記録されていない場合は表示回路１１０８または１１０９によりその旨を通知し、映像２のストリームだけを再生するようにする。
【００５９】
映像１のファイルが記録媒体１２０に記録されている場合は、次に映像１のファイルサイズ（あるいは符号化データのサイズ）が、映像２が記録された時から変わっていないか比較する。これは、ファイルシステムに登録されているファイルサイズと比較することでわかる。符号化のデータサイズが記録されている場合は、映像１のファイルを記録媒体１２０から読み込み、moov atom内のtrak 情報から符号化データのサイズを計算して比較する。
【００６０】
ここで、サイズが一致しない場合は、映像１が編集等をされて、映像２の記録時とは変わってしまっているので、やはり映像２のみを再生するようにする。
サイズが一致する場合は、映像１のファイルも再生回路１１０１を介してメモリ１１０３に読み込み、再生情報（moov atom）を取得する。
【００６１】
制御回路１１１１は、映像２のmoov atomに記録されているユーザ付加情報（図６のテーブル情報）を抽出する。そして、映像２の再生に従って、映像２の画像フレームと、対応している映像１の画像フレームを記録媒体１２０から再生回路を介してメモリ１１０３に読み出す。
【００６２】
メモリ１１０３に読み出された映像２の画像データは、復号化回路１（１１０４）で、映像１の画像データは復号化回路２（１１０５）で復号化し、復号化した映像１、２のフレームをメモリ１１０３に記憶する。オーディオデータは、映像２のオーディオデータが読み出され、オーディオ復号化回路１１０６で復号化し、メモリ１１０３に記憶される。
復号化された映像２の画像データ、オーディオデータ、映像１の画像データがメモリ１１０３に所定量蓄積されると、制御回路１１１１は再生を開始する。
【００６３】
ここで、再生の仕方は視聴者が選択できるので、視聴者は操作入力回路１１１２を介して、再生の仕方を指示する。例えば、一つの表示装置にミックス（映像１、映像２のミックスのさせ方も選べる）させて表示させることを選択しているとする。この場合は、制御回路１１１１はメモリ１１０３に記憶された復号された映像１と映像２の画像データをミックス回路１１０７でミックスして表示回路１（１１０８）を介して不図示の表示装置に表示する。また、メモリ１１０３に記憶された復号されたオーディオデータはオーディオ出力回路１１１０を介して出力される。視聴者が映像１と映像２を別々の表示装置に表示する指定をした場合は、制御回路１１１１は映像１、映像２の画像データをそれぞれ表示回路１（１１０８）、表示回路２（１１０９）に出力する。
【００６４】
前述したように、映像２の再生に対して、映像１の各フレームが対応付けられているので、映像２の記録時と全く同じ映像１の再生を行なうことができる。また、映像１の再生モードも記録されているので、通常再生速度で再生する通常再生のみならずスロー再生、早送り再生、コマ送り再生等も再現して再生できる。さらに、映像２を特殊再生した場合でもそれに付随して映像１を復号して再生できる。
【００６５】
本実施形態では前述したように、記録媒体に既に記録されている映像１を再生し、視聴している人を撮影して映像２として記録する場合。このような場合、映像２の記録データ内に映像１を再生した時の映像１と映像２の固有の情報（ファイル名、撮影日時、ファイルサイズ、あるいは符号化データサイズ等）と、再生したフレームと撮影したフレームの対応情報及び再生モードを記録するようにした。これにより、映像２の記録中に再生されている映像１の再生速度に関する情報を生成することができる。したがって、映像２を再生して、さらにそれに対応する映像１を再生し、映像２に撮影されている人が、映像１を特殊再生していた場合でも、映像１のどういう表示シーンを見て反応しているかを忠実に再現できるようになった。
【００６６】
また、映像２に対して映像１は別の記録データ（別のファイル）としてあるので、映像２と映像１の２つの映像再生時、表示の仕方の自由度が高まった。
また、映像１を再生した時の映像１と映像２の固有の情報（ファイル名、撮影日時、ファイルサイズ、あるいは符号化データサイズ等）が記録されている。これにより、映像２を再生する時に映像１が存在するか、または映像１、映像２が、映像２の記録時から変更（編集）されていないかを知ることができ、映像２の記録時の再現ができるかできないかを判断できる。
また、図６に示す再生したフレームと撮影したフレームの対応情報及び再生モード情報は、図７（ｂ）に示すように変化点だけを保持するようにしてもよい。
【００６７】
（第２の実施形態）
図８は、本発明の第２の実施形態を示し、撮像装置８００の構成例を説明するブロック図である。図８において、第１の実施形態と同様の働きをするものは同じ符号が付してある。また、図９は撮像装置８００の処理シーケンスを説明するためのフローチャートである。第１の実施形態と同じシーケンスの箇所は、図２のフローチャートのステップ番号と同じ符号が付してある。
【００６８】
以下、第１の実施形態と異なる箇所のみ説明する。
Ｓ２１１で映像１の画像データを表示すると、Ｓ９０１に進む。
Ｓ９０１では、表示された映像１の画像データを制御回路１１７は第２の符号化回路８０１において符号化し、メモリ１０４に記憶する。
【００６９】
次に、Ｓ２１３で、Ｓ２１１にて表示された映像１と同じタイミングで撮影された（撮像回路１０１で撮像された）映像２の画像データを取得し、Ｓ２１５にて画像データ、並びに付随するオーディオデータを符号化する。
【００７０】
次に、Ｓ９０２に進み、付加データ、および再生情報を生成する。ここで、Ｓ９０１とＳ２１５で符号化された画像データが同一のフレーム番号となる（記録開始からのフレーム数が同一になる）ように再生情報を生成する。それは、図１０（ａ）のtrak atom １００１a内のmdia atomに格納される。ここで、trak atom １００１aは映像２の再生情報である。再生され、表示された映像１の符号化データは映像３として符号化し、trak atom １００３aに映像３データの再生情報として記録される。trak atom １００２aはオーディオの符号化データの再生情報である。
【００７１】
また、Ｓ９０２では、図１０（ｂ）に示すように、映像２のファイル名、撮影日時、符号化データサイズ（ないしはファイルサイズ）、および映像３の撮影日時（記録日時）、符号化データサイズ（ファイルサイズ）を付加データとして関連づけて生成する。そして、ユーザーデータとして、udta atom １００４a、１００５aに記録する。
【００７２】
以上、説明したように、本実施形態においては、記録媒体に既に記録されている映像１を再生し、視聴している人を撮影して映像２として記録する場合。このような場合、撮影される映像２の各フレームのタイミングで表示されている映像１のフレームを取り込んで符号化していき、映像３として映像２とともに記録するようにした。これにより、映像２の再生時、再生情報から同じフレーム番号の映像３を再生することで、映像２の記録時に視聴者が見ていた映像１の再生状態を再現できるようになった。
【００７３】
また、視聴していた人が映像１を早送り、スロー等の特殊再生した場合も、その表示画像を映像３として記録しているので、視聴していた人が見ていた映像１の再生状態を完全に再現できるようになった。
【００７４】
また、映像１の表示映像は、映像３として映像２に記録されているので、映像１が別の記録媒体等に移されたり、編集されたりしても映像２の記録時の視聴状態を再現できる。
また、映像２に対して映像３は別の記録映像データとしてあるので、映像２と映像３の２つの映像再生時、表示の仕方の自由度が高まった。
また、ここで映像３は映像２とは別ファイルとして記録しても同様の効果が得られる。
【００７５】
第２の実施形態で、映像１の表示データを映像３データとして符号化して、映像２のファイルに記録（あるいは別ファイルとして記録）した場合でも、映像２の再生情報と映像３の再生情報は一対一に対応付けられるので、前述と同様に再生できる。
【００７６】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７７】
１００  撮像装置
１０１  撮像回路
１０２  カメラ信号処理回路
１０３  符号化回路
１０４  メモリ
１０５  記録情報生成回路
１０６  記録回路
１０７  スイッチ
１０８  再生回路
１０９  再生情報抽出回路
１１０  復号化回路
１１１  表示情報抽出回路
１１２  表示回路
１１３  オーディオ入力回路
１１４  オーディオ符号化回路
１１５  オーディオ復号化回路
１１６  オーディオ出力回路
１１７  制御回路
１１８  操作入力回路
１１９  バス
１２０  記録媒体
【図１】
2015012544.tif 000003
【図２】
2015012544.tif 000004
【図３】
2015012544.tif 000005
【図４】
2015012544.tif 000006
【図５】
2015012544.tif 000007
【図６】
2015012544.tif 000008
【図７】
2015012544.tif 000009
【図８】
2015012544.tif 000010
【図９】
2015012544.tif 000011
【図１０】
2015012544.tif 000012
【図１１】
2015012544.tif 000013