(57)【要約】【課題】  通常再生となめらかなスロー再生とを行うことができる装置を安価に製造できるようにする。また、記録媒体や記録データに係る互換性を考慮して、記録媒体に記録される複数のフレームレートに基づく動画像の連続再生を可能にする。【解決手段】  画像記録装置は、高速のフレームレートで記録された動画像のストリームデータのフレーム数を変換して、低速のフレームレートのストリームデータを作成する。そして、既に記録されている低速のフレームレートのストリームデータと、前記作成された低速のフレームレートのストリームデータとを、記録媒体に連続再生可能な状態にして記録する。【選択図】  図１
2008219857.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームレートに対応する動画像信号を生成する動画像生成手段と、
記録媒体に記録される動画像に係るフレームレートの変更を指示する指示手段と、
前記動画像生成手段により生成された動画像信号を第１のフレームレートで記録しているときに、前記指示手段からの指示に応じて前記第１のフレームレートよりも高速である第２のフレームレートに変更して記録を行う記録手段と、
前記第２のフレームレートに変更して記録された動画像のストリームデータを識別し、識別されたストリームデータを前記記録媒体から再生する再生手段と、
前記再生手段により再生されたストリームデータのフレーム数を変換し、前記再生されたストリームデータから前記第１のフレームレートのストリームデータを生成するフレームレート変換手段とを備え、
前記記録手段が、前記動画像生成手段により生成された動画像信号に基づく前記第１のフレームレートのストリームデータと、前記フレームレート変換手段により生成された前記第１のフレームレートのストリームデータとを、連続再生可能な状態にして前記記録媒体に記録することを特徴とする画像記録装置。
【請求項２】
さらに、前記記録媒体に記録されたストリームデータの再生順序を示すプレイリストを作成するプレイリスト作成手段を備え、
前記記録手段は、前記プレイリスト作成手段により作成されたプレイリストを前記記録媒体に記録することにより前記連続再生を可能にすることを特徴とする請求項１に記載の画像記録装置。
【請求項３】
前記再生手段は、前記記録媒体に記録されたプレイリストに従って、複数の前記第１のフレームレートのストリームデータに対する連続再生を行うことを特徴とする請求項２に記載の画像記録装置。
【請求項４】
前記再生手段は、前記記録媒体に記録されたプレイリストを選択することにより、複数の前記第１のフレームレートのストリームデータに対する連続再生と、前記第２のフレームレートのストリームデータの再生とを選択して実行することを特徴とする請求項２に記載の画像記録装置。
【請求項５】
前記記録手段は、前記動画像生成手段により生成された動画像信号を、フレーム間参照を用いた符号化方式で符号化してストリームデータを生成する符号化手段を有し、前記再生手段は、前記フレーム間参照を用いた符号化方式で符号化されたストリームデータを復号化する復号手段を有することを特徴とする請求項１に記載の画像記録装置。
【請求項６】
前記フレームレート変換手段は、前記再生手段により再生されたストリームデータに含まれる前記フレーム間参照の基準となるリファレンスピクチャに対応するフレームから前記第１のフレームレートのストリームデータを生成することを特徴とする請求項５に記載の画像記録装置。
【請求項７】
前記符号化手段は、前記第１のフレームレートのストリームデータを生成するときと、前記第２のフレームレートのストリームデータを生成するときとで、符号化方法を異ならせることを特徴とする請求項５に記載の画像記録装置。
【請求項８】
前記第２のフレームレートは変更可能であって、
前記符号化手段は、前記第２のフレームレートの変更に応じて、前記第２のフレームレートのストリームデータに含まれる前記フレーム間参照の基準となるリファレンスピクチャの出現頻度を変更することを特徴とする請求項５に記載の画像記録装置。
【請求項９】
さらに音声信号を入力する音声入力手段を備え、
前記記録手段は、前記第２のフレームレートに変更して記録された動画像の期間に対応する前記音声信号を、前記フレームレート変換手段により生成された前記第１のフレームレートのストリームデータと同時に再生可能な状態にして前記記録媒体に記録することを特徴とする請求項１に記載の画像記録装置。
【請求項１０】
記録手段が、第１のフレームレートで動画像を記録媒体に記録する第１の記録ステップと、
指示手段が、記録される動画像のフレームレートの変更を指示する指示ステップと、
前記記録手段が、前記指示ステップでの指示に応じて、前記第１のフレームレートをより高速である第２のフレームレートに変更して記録を継続する第２の記録ステップと、
再生手段が、前記第２の記録ステップの後に、前記第２のフレームレートに変更して記録された動画像のストリームデータを識別し、識別されたストリームデータを前記記録媒体から再生する再生ステップと、
フレームレート変換手段が、前記再生ステップで再生されたストリームデータのフレーム数を変換し、前記再生されたストリームデータから前記第１のフレームレートのストリームデータを生成するフレームレート変換ステップと、
前記記録手段が、前記フレームレート変換ステップで生成された前記第１のフレームレートのストリームデータを前記記録媒体に記録する第３の記録ステップと、
前記記録手段が、前記第１の記録ステップで記録された動画像に基づく前記第１のフレームレートのストリームデータと前記フレームレート変換ステップで生成されたストリームデータとを連続再生するための情報を前記記録媒体に記録する第４の記録ステップとを有することを特徴とする画像記録方法。
【請求項１１】
記録手段が、第１のフレームレートで動画像を記録媒体に記録する第１の記録ステップと、
指示手段が、記録される動画像のフレームレートの変更を指示する指示ステップと、
前記記録手段が、前記指示ステップでの指示に応じて、前記第１のフレームレートをより高速である第２のフレームレートに変更して記録を継続する第２の記録ステップと、
再生手段が、前記第２の記録ステップの後に、前記第２のフレームレートに変更して記録された動画像のストリームデータを識別し、識別されたストリームデータを前記記録媒体から再生する再生ステップと、
フレームレート変換手段が、前記再生ステップで再生されたストリームデータのフレーム数を変換し、前記再生されたストリームデータから前記第１のフレームレートのストリームデータを生成するフレームレート変換ステップと、
前記記録手段が、前記フレームレート変換ステップで生成された前記第１のフレームレートのストリームデータを前記記録媒体に記録する第３の記録ステップと、
前記記録手段が、前記第１の記録ステップで記録された動画像に基づく前記第１のフレームレートのストリームデータと前記フレームレート変換ステップで生成されたストリームデータとを連続再生するための情報を前記記録媒体に記録する第４の記録ステップとをコンピュータに実行させることを特徴とするプログラム。
【請求項１２】
請求項１１に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像記録装置及び方法に関し、特に、標準のフレームレートの動画像信号を記録中に、フレームレート切り替えの指示に応じて高速フレームレートの動画像信号を記録するために用いて好適な技術に関する。
【背景技術】
【０００２】
一般的に、ビデオカメラには撮像素子が使用される。例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）が使用される。またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）が使用される。最近では、これらの撮像素子を高速に駆動させることにより、標準のレートに比べて高速なフレームレートで画像を読み出して、この映像を記録媒体に記録し、動きが滑らかなスロー映像として再生することが可能となってきた。
【０００３】
標準のレートに比べて高速なフレームレートの動画像は、記録時間に対するデータ量が増えるため、記録媒体の容量に対する記録可能時間が短くなる。もしくは、前記記録可能時間を維持する場合には、フレームあたりのデータ量を減らすために、記録された動画像の画質が落ちる。そのため、撮影中の特定のシーンだけを高速なフレームレートの動画像で記録したい場合がある。
【０００４】
特許文献１には、入力された動画像データから、通常再生用の動画像と、前記動画像の所定区間に対するスロー再生用の動画像とを生成する技術について記載されている。また、特許文献２には、撮像素子から高速なフレームレートで読み出したスロー再生用の動画像をＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）に高速記録する。そして、同時に同じシーンに対して通常再生用の動画像をＤＶＣ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｃａｓｓｅｔｔｅ）に記録する。さらに、前記ＨＤＤに高速記録した前記動画像を標準速度で順次読み取ってスロー映像を得る技術について記載されている。
【０００５】
一方、ビデオカメラにおいて撮影した動画像と音声とを記録する記録媒体として、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）を用いるものが増えてきた。これらのビデオカメラの多くは、撮影した動画像と音声とをＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）のコーデックで符号化及び復号化する。そして、前記ビデオカメラは、符号化されたデータを“ＤＶＤ  ＶＩＤＥＯ”（単に“ＶＩＤＥＯ”とも称す）や、“ＤＶＤ  ＶＩＤＥＯ  ＲＥＣＯＲＤＩＮＧ”（単に“ＶＲ”とも称す）に対応するビデオデータとしてＤＶＤに記録する。また、最近ではビデオカメラにおける記録媒体として、前記ＤＶＣやＤＶＤ以外に、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）やＢＤ（Ｂｌｕ−Ｒａｙ  Ｄｉｓｃ）を用いるものも現れてきた。
【特許文献１】特開２００４−２４２２６７号公報
【特許文献２】特開２００１−０３６８４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このようなビデオカメラで、前述した高速フレームレートの機能を実現しようとすると、特許文献１に記載の技術によれば、通常再生用の動画像と、スロー再生用の動画像とを同時に生成するため、装置に対する負荷が高く、コストも高くなってしまう問題があった。
【０００７】
また、特許文献２に記載の技術によれば、通常再生用の動画像と、スロー再生用の動画像とを両方記録するために、２つの記録媒体を保持するので装置のコストが高くなってしまう問題があった。
【０００８】
さらに、ＤＶＤ等を記録媒体とするビデオカメラの場合、互換性が重要となる。例えば、ビデオカメラによって符号化画像データが記録されたＤＶＤが、他の再生装置にセットされる可能性がある。このような場合に、他の再生装置が挿入されたＤＶＤを正常に認識し、記録された複数のフレームレートに基づく画像データを連続して再生するためには、ビデオカメラが互換性を考慮した形態でデータ記録を行っておく必要がある。しかしながら、前記特許文献１や特許文献２の技術は、このような記録媒体や記録データに係る互換性まで考慮されたものではなかった。
【０００９】
本発明は前述の問題点に鑑み、通常再生となめらかなスロー再生とを行うことができる装置を安価に製造できるようにすることを目的とする。
【００１０】
本発明はまた、記録媒体や記録データに係る互換性を考慮して、記録媒体に記録される複数のフレームレートに基づく動画像の連続再生を可能にする状態で、複数の画像データを記録することを更なる目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の画像記録装置は、複数のフレームレートに対応する動画像信号を生成する動画像生成手段と、記録媒体に記録される動画像に係るフレームレートの変更を指示する指示手段と、前記動画像生成手段により生成された動画像信号を第１のフレームレートで記録しているときに、前記指示手段からの指示に応じて前記第１のフレームレートよりも高速である第２のフレームレートに変更して記録を行う記録手段と、前記第２のフレームレートに変更して記録された動画像のストリームデータを識別し、識別されたストリームデータを前記記録媒体から再生する再生手段と、前記再生手段により再生されたストリームデータのフレーム数を変換し、前記再生されたストリームデータから前記第１のフレームレートのストリームデータを生成するフレームレート変換手段とを備え、前記記録手段が、前記動画像生成手段により生成された動画像信号に基づく前記第１のフレームレートのストリームデータと、前記フレームレート変換手段により生成された前記第１のフレームレートのストリームデータとを、連続再生可能な状態にして前記記録媒体に記録することを特徴とする。
【００１２】
また、本発明の画像記録方法は、記録手段が、第１のフレームレートで動画像を記録媒体に記録する第１の記録ステップと、指示手段が、記録される動画像のフレームレートの変更を指示する指示ステップと、前記記録手段が、前記指示ステップでの指示に応じて、前記第１のフレームレートをより高速である第２のフレームレートに変更して記録を継続する第２の記録ステップと、再生手段が、前記第２の記録ステップの後に、前記第２のフレームレートに変更して記録された動画像のストリームデータを識別し、識別されたストリームデータを前記記録媒体から再生する再生ステップと、フレームレート変換手段が、前記再生ステップで再生されたストリームデータのフレーム数を変換し、前記再生されたストリームデータから前記第１のフレームレートのストリームデータを生成するフレームレート変換ステップと、前記記録手段が、前記フレームレート変換ステップで生成された前記第１のフレームレートのストリームデータを前記記録媒体に記録する第３の記録ステップと、前記記録手段が、前記第１の記録ステップで記録された動画像に基づく前記第１のフレームレートのストリームデータと前記フレームレート変換ステップで生成されたストリームデータとを連続再生するための情報を前記記録媒体に記録する第４の記録ステップとを有することを特徴とする。
【００１３】
また、本発明のプログラムは、記録手段が、第１のフレームレートで動画像を記録媒体に記録する第１の記録ステップと、指示手段が、記録される動画像のフレームレートの変更を指示する指示ステップと、前記記録手段が、前記指示ステップでの指示に応じて、前記第１のフレームレートをより高速である第２のフレームレートに変更して記録を継続する第２の記録ステップと、再生手段が、前記第２の記録ステップの後に、前記第２のフレームレートに変更して記録された動画像のストリームデータを識別し、識別されたストリームデータを前記記録媒体から再生する再生ステップと、フレームレート変換手段が、前記再生ステップで再生されたストリームデータのフレーム数を変換し、前記再生されたストリームデータから前記第１のフレームレートのストリームデータを生成するフレームレート変換ステップと、前記記録手段が、前記フレームレート変換ステップで生成された前記第１のフレームレートのストリームデータを前記記録媒体に記録する第３の記録ステップと、前記記録手段が、前記第１の記録ステップで記録された動画像に基づく前記第１のフレームレートのストリームデータと前記フレームレート変換ステップで生成されたストリームデータとを連続再生するための情報を前記記録媒体に記録する第４の記録ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、通常再生となめらかなスロー再生とを行うことができる装置を安価に製造できる。また、記録媒体に記録される複数のフレームレートに基づく動画像の連続再生を可能にする状態で、複数の画像データを記録できる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態を、図面を用いて詳細に説明する。
【００１６】
（第１の実施形態）
以下の順番で第１の実施形態について説明する。
（１）．全体構成
（２）．カメラモード
（２−１）．カメラ系デバイスの動作
（２−２）．レコーダ系デバイスの動作
（２−３）．ＤＶＤへの記録例
（２−３−１）．ストリーム記録
（２−３−２）．プレイリスト作成
（３）．再生モード
（３−１）．レコーダ系デバイスの動作
（３−２）．ＤＶＤの再生例
（１）．全体構成
図１は、第１の実施形態に係る画像記録装置の構成を示すブロック図である。以下では、画像記録装置の一例として、ビデオカメラ１００を例にして説明する。
【００１７】
図１のビデオカメラ１００のＣＰＵ１０２は、バス１０１を介してＲＡＭ１０３、ＲＯＭ１０４、操作部１０５、カメラ制御部１１１、レコーダ制御部１２１、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）１４５が接続されている。
【００１８】
ＣＰＵ１０２は、ＲＯＭ１０４に格納されている制御プログラムによって動作し、動作時の一時的な情報の格納場所としてＲＡＭ１０３を用いる。また、ＣＰＵ１０２は、カメラ制御部１１１の発する周期的な割り込み信号のアサート（ａｓｓｅｒｔ）を受けることで、接続された各デバイスの参照や設定を周期的に行い、ビデオカメラ１００の全体動作を制御する。更に、ＣＰＵ１０２は、操作部１０５よりユーザの操作状態を取得して、それに基づきＡＦＥ１４５と、カメラ制御部１１１と、レコーダ制御部１２１とに対する設定を行うことでビデオカメラ１００全体の制御を行う。
【００１９】
より具体的には、操作部１０５は、図示しないモードダイヤルと、撮影ボタンと、高速度撮影ボタンと、十字キーと、再生ボタンと、停止ボタンと、プレイリスト切り替えボタンとを備え、ＣＰＵ１０２はこれらの操作状態に応じて、図２に示す状態遷移を行う。
【００２０】
まず、モードダイヤルは３つのポジションがあるダイヤルスイッチであって、その設定位置により［電源断２０１］状態と、［カメラモード２０２］と、［再生モード２０３］とを行き来する。［カメラモード２０２］の初期状態は［非記録２０４］状態であり、ここで撮影ボタンが押下されると［通常記録２０５］状態に遷移する。
【００２１】
［通常記録２０５］状態から撮影ボタンが押下されると［非記録２０４］状態に戻る。また、［通常記録２０５］状態から高速度撮影ボタンが押下されると［高速度撮影・記録２０６］状態に遷移する。更に、［高速度撮影・記録２０６］状態で高速度撮影ボタンが押下されると［通常記録２０５］状態に戻る。
【００２２】
一方、［再生モード２０３］の初期状態は［インデックス表示２０７］状態であり、ここで再生ボタンが押下されると［再生２０８］状態に遷移する。［再生２０８］状態で停止ボタンが押下されると［インデックス表示２０７］状態に戻る。では、これらの状態におけるビデオカメラ１００の動作について以下文中で説明する。
【００２３】
（２）．カメラモードについて
まず［カメラモード２０２］での動作について説明する。
［カメラモード２０２］では、ＣＣＤイメージセンサ１４２と、ＡＦＥ１４５と、カメラ制御部１１１とから成る動画像生成手段によって被写体を撮影して動画像信号を生成する。そして、レコーダ制御部１２１を介してビデオ出力部１２８及び液晶表示装置（ＬＣＤ）１２６に前記動画像信号を出力する。また、図示しないマイクロフォンによって生成された音声信号が、音声入力手段として機能するオーディオ入出力部１２９より入力される。
【００２４】
更に、［通常記録２０５］状態及び［高速度撮影・記録２０６］状態においては、レコーダ制御部１２１において処理された前記動画像信号と前記音声信号とがＤＶＤ１２５に記録される。すなわち、動画像記録と音声記録とが行われる。
【００２５】
（２−１）．カメラ系デバイスの動作
ＣＣＤイメージセンサ１４２は、図示しないフォトダイオードと、ＣＣＤからなる垂直転送回路と、ＣＣＤからなる水平転送回路とを受光面に備え、出力部に電荷検出（ＦＤ）回路を備える。前記フォトダイオードは画素としてマトリクス状に配置されており、露光時間に応じた電荷の蓄積を行う。なお、本構成例ではＣＣＤを用いたが、イメージセンサとしてＣＭＯＳを用いても良い。
【００２６】
前記水平転送回路及び垂直転送回路は、ＡＦＥ１４５よりタイミング信号を受信して駆動され、前記フォトダイオードに蓄積された電荷をシリアルに出力部へ転送する。ＦＤ回路は転送されてきた電荷量に比例した電位差を画像信号として出力する。
【００２７】
ＡＦＥ１４５は、図示しないタイミング発生（ＴＧ）回路と、相関二重サンプリング（ＣＤＳ）回路と、自動利得（ＡＧＣ）回路と、アナログ／デジタル（Ａ／Ｄ）変換回路とを備える。
【００２８】
ＴＧ回路は、ＣＰＵ１０２の設定により、カメラ制御部１１１の同期信号発生回路が出力する同期信号を基準とした各種のタイミング信号を出力する。ＣＤＳ回路は、ＣＣＤイメージセンサ１４２から出力される画像信号を、画像信号読み出し時に画素間で生じるノイズを除去しながらサンプリングする。ＡＧＣ回路は、ＣＤＳ回路から出力される画像信号に対して、露光時間不足で出力電圧が小さい場合には、ＣＰＵ１０２のゲイン設定に応じて増幅して、Ａ／Ｄ変換回路に出力する。Ａ／Ｄ変換回路は画像信号をアナログ信号からデジタル信号に変換して、カメラ制御部１１１に出力する。
【００２９】
カメラ制御部１１１は図示しない同期信号発生回路と、割り込み発生回路と、画像信号入力回路と、画像信号処理回路と、画像信号出力回路と、メモリ制御回路とを備えるＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  ＩＣ）である。
【００３０】
同期信号発生回路は、撮影動作のフレームレートに応じた周期でアサートされる垂直同期（ＶＤ）信号と、水平同期（ＨＤ）信号とを生成する。割り込み発生回路は、前記ＶＤ信号のアサート時に、ＣＰＵ１０２に対する割り込み信号をアサートする。画像信号入力回路は、ＡＦＥ１４５のＴＧ回路から出力されるタイミング信号に同期して、ＡＦＥ１４５のＡ／Ｄ変換回路が出力する画像信号を取得する。
【００３１】
画像信号処理回路は、ＣＰＵ１０２からの設定により、前記画像信号入力回路より入力された画像信号に対して色変換や解像度変換といった各種の画像信号処理を行う。また、画像信号出力回路は、前記信号処理の結果として得られた画像信号を、レコーダ制御部１２１に出力する。メモリ制御回路は、画像信号入力回路と、画像処理回路と、画像信号出力回路の一時的な画像信号の格納場所として、ＲＡＭ１１４に対するデータの読み書きを制御する。
【００３２】
［高速度撮影・記録２０６］状態におけるＣＣＤイメージセンサ１４２と、ＡＦＥ１４５と、カメラ制御部１１１の動作について説明する。
【００３３】
［高速度撮影・記録２０６］状態において、ＣＰＵ１０２はカメラ制御部１１１に対して、同期信号発生回路から出力されるＶＤ信号、ＨＤ信号の周波数を［非記録２０４］状態及び［通常記録２０５］状態の３倍に設定する。
【００３４】
また同時に、ＣＰＵ１０２はＡＦＥ１４５に対して、タイミング信号発生回路から出力される各種のタイミング信号も周波数を３倍に設定する。これにより、ＣＣＤイメージセンサ１４２のフォトダイオードに蓄積された電荷は３倍の速度で垂直転送、水平転送が行われ、ＦＤ回路から通常に比べて３倍の速度で画像信号を読み出すことができる。
【００３５】
ＡＦＥ１４５及びカメラ制御部１１１はＣＣＤイメージセンサ１４２から読み出した画像信号を通常に比べて３倍の速度で処理することで、高速なフレームレートの動画像の撮影が実現される。これにより、ビデオ方式がＮＴＳＣの場合、［非記録２０４］状態及び［通常記録２０５］状態では標準のレートである３０フレーム／秒で、［高速度撮影・記録２０６］状態ではその３倍速となる９０フレーム／秒での撮影が行われる。以下、ビデオ方式はＮＴＳＣ、通常記録のフレームレートを３０フレーム／秒として説明する。
【００３６】
（２−２）．レコーダ系デバイスの動作
レコーダ制御部１２１は、図示しない画像信号入力回路と、画像符号化回路と、画像復号化回路と、音声信号入力回路と、音声信号処理回路と、音声信号出力回路と、音声符号化回路と、音声復号化回路とを備える。レコーダ制御部１２１は、さらに、ＤＶＤ制御回路と、インデックス生成回路と、画像信号出力回路と、ＬＣＤ制御回路と、メモリ制御回路とを備えるＡＳＩＣである。
【００３７】
画像信号入力回路は、カメラ制御部１１１の画像信号出力回路が出力する画像信号を取得する。また、音声信号入力回路は、オーディオ入出力部１２９が出力する音声信号を取得する。音声信号処理回路は、ＣＰＵ１０２からの設定により、前記音声信号入力回路より入力された音声信号に対してノイズ除去やレベル調整といった各種の音声信号処理を行う。
【００３８】
画像信号出力回路は、前記画像信号入力回路より入力された画像信号をビデオ出力部１２８に出力する。ＬＣＤ制御回路は、画像信号出力回路が出力した画像信号を、ＬＣＤ１２６へと出力する。音声信号出力回路は、前記信号処理の結果として得られた音声信号を、オーディオ入出力部１２９に出力する。メモリ制御回路は、画像信号入力回路と、音声信号入力回路と、音声信号処理回路との一時的な画像信号の格納場所として、ＲＡＭ１２４に対するデータの読み書きを制御する。
【００３９】
［通常記録２０５］状態においては、レコーダ制御部１２１は更に以下のように動作する。
【００４０】
画像符号化回路は、前記画像入力回路より入力された画像信号に対して、ＭＰＥＧフォーマットによる符号化処理を行う。音声信号符号化回路は、前記信号処理の結果として得られた音声信号に対して、ＭＰＥＧフォーマットによる符号化処理を行う。メモリ制御回路は、画像符号化回路と、音声符号化回路と、ＤＶＤ制御回路の一時的な画像信号の格納場所として、ＲＡＭ１２４に対するデータの読み書きを制御する。
【００４１】
ＣＰＵ１０２の制御により、前記画像信号の符号化データと、前記音声信号の符号化データとは、動画像と音声が同期して再生できるよう多重化したストリームとしてＲＡＭ１２４へ書き込まれる。ＤＶＤ制御回路は、前記ストリームをＤＶＤの論理フォーマットに従って、記録媒体であるＤＶＤ１２５に記録する。本実施形態においては、動画像記録手段として機能するレコーダ制御部１２１によって動画像がＤＶＤ１２５に記録される。
【００４２】
［高速度撮影・記録２０６］状態においては、レコーダ制御部１２１は［通常記録２０５］状態に比べて３倍の速度で画像信号の取得、符号化処理を行う。ここで、前記画像符号化回路は入力された画像信号のフレームレートに関わらず、再生時のフレームレートを３０フレーム／秒として符号化処理を行う。
【００４３】
こうして記録されたストリームデータを再生すると、９０フレーム／秒で撮影された動画像が１／３倍速の３０フレーム／秒の動画像となり、滑らかなスロー映像が得られる。一方、音声信号の符号化データは［通常記録２０５］状態とは異なり、再生に影響しない形式の情報、例えばプライベートストリームとしてストリームに多重化され、ＤＶＤ１２５に記録される。
【００４４】
なお、前記符号化処理を［通常記録２０５］状態と同じ符号化方式（例えば、フレーム間参照方式またはフレーム内参照方式）、及び符号化パラメータで行った場合、［通常記録２０５］状態に比べて符号化データのデータレートが約３倍になる。このため、前記ＤＶＤ制御回路が行うＤＶＤ１２５への記録は高速に行うことが必要となる。したがって、最低でもＤＶＤの規格で定められている４倍速の書き込み速度が必要であり、できれば８倍速や１２倍速での記録を行うことが望ましい。すなわち、高速なフレームレートで符号化を行う際には、通常のフレームレートの動画像に対して、異なる符号化方式または異なる符号化パラメータを用いて符号化を行うことが望ましい。
【００４５】
もしくは、前記符号化処理を［通常記録２０５］状態に比べて圧縮率の高い符号化方法、もしくは符号化パラメータで行うことで、データレートを大きく増加させずにＤＶＤ１２５への書き込みを実現することもできる。符号化方法の変更としては、例えば、後述するようにＭＰＥＧのピクチャ構成を変更してもよい。もしくは、符号化処理の中間データを格納するバッファメモリや、ＤＶＤ１２５へ記録するデータを格納するバッファメモリの使用状態に応じて、動的に符号化方法や符号化パラメータを変化させてＤＶＤ１２５への書き込みを実現させてもよい。
【００４６】
［通常記録２０５］状態から［非記録２０４］状態に移行した際に、それまでにＤＶＤ１２５に記録したストリームに対するプレイリストなどの管理情報がＣＰＵ１０２によって作成され、ＲＡＭ１２４に書き込まれる。レコーダ制御部１２１のＤＶＤ制御回路は、前記管理情報をＤＶＤ１２５に記録する。
【００４７】
（２−３）．ＤＶＤへの記録例
では次に、本実施形態のビデオカメラ１００を用いて、通常のフレームレート（例えば第１のフレームレートとする）の動画像を撮影中に、高速なフレームレート（例えば第２のフレームレートとする）の動画像を撮影した場合の、記録例について説明する。本実施形態ではＤＶＤ１２５に記録を行う。ＤＶＤの論理フォーマットが、例えば、ＤＶＤ規格の“ＶＲ”である場合、動画像及び音声の実データであるストリームデータと、それを再生する順序を指定したプレイリスト情報を以下のように記録する。
【００４８】
（２−３−１）．ストリーム記録
まず、ＤＶＤ１２５に記録されるストリームデータの記録例について図３を用いて説明する。
【００４９】
ユーザによって撮影ボタンが押下され［非記録２０４］状態から［通常記録２０５］状態に移行することで、図３（ａ）に示すように、３０フレーム／秒で撮影された動画像と音声がストリーム３０１として記録される（第１の記録動作）。
【００５０】
次に、ストリーム３０１の記録開始後、ｔ１の時点で高速度撮影ボタンが押下され、［高速度撮影・記録２０６］状態に移行することで、図３（ｂ）に示すように、ストリーム３０１の記録は終了する。そして、継続して、９０フレーム／秒で撮影された動画像がストリーム３０２として新たに記録される（第２の記録動作）。それと同時に、音声はプライベートストリームとしてストリーム３０２に多重化され記録される。
【００５１】
次に、ストリーム３０２の記録開始後、ｔ２の時点で高速度撮影ボタンが押下され［通常記録２０５］状態に移行することで、図３（ｃ）に示すように、ストリーム３０２の記録は終了する。そして、継続して、３０フレーム／秒で撮影された動画像と音声がストリーム３０３として新たに記録される（第３の記録動作）。なお、ｔ１からｔ２の期間に、高速なフレームレートであるストリーム３０２を記録したこと、及びその記録領域を識別するための識別情報をＤＶＤ１２５の管理情報領域に記録しておく。
【００５２】
最後に、ストリーム３０３の記録開始後、ｔ３の時点で撮影ボタンが押下され、［非記録２０４］状態に移行することで、図３（ｄ）に示すように、ストリーム３０３の記録は終了する。このとき、ＣＰＵ１０２はレコーダ制御部１２１を制御して後述するフレーム数変換処理を行い、ストリーム３０２からストリーム３０４を生成する。
前記フレーム数変換処理について説明する。
【００５３】
［非記録２０４］状態において、高速なフレームレートで撮影された動画像のストリーム３０２に対して、フレーム数変換処理がまだ行われていない場合、ＣＰＵ１０２の制御によりレコーダ制御部は以下のように動作してフレーム数変換処理を行う。ＤＶＤ制御回路は、ＤＶＤ１２５に記録された識別情報にしたがって、高速なフレームレートであるストリーム３０２の符号化データをＤＶＤ１２５より読み出す。
【００５４】
画像復号化回路は、読み出された前記ストリームの動画像をＭＰＥＧのピクチャ単位に分解する。ここで、図４に示すように、ストリーム３０２の動画像は、「Ｉ・Ｂ・Ｂ・Ｐ・Ｂ・Ｂ」と、３枚に１枚のリファレンス（Ｉ及びＰ）ピクチャを含む構成のＭＰＥＧデータとして符号化されている。リファレンスピクチャとは、復号化の際に他のピクチャから参照される基準のピクチャである。例えば、Ｂピクチャが前後に配置されたＩピクチャ或いはＰピクチャを参照するのに対して、Ｐピクチャは前に配置されたＩピクチャ或いはＰピクチャのみを参照し、Ｉピクチャは他のピクチャを参照しない。
【００５５】
全てのピクチャを復号化する場合に比べ、リファレンスピクチャのみ復号化する場合、ピクチャ間の参照関係が単純になるため、復号化の負荷が軽くなる。画像復号化回路は、これらのリファレンスピクチャのみを復号化する。さらに、画像符号化回路が、フレーム数が１／３の新しい動画像のストリーム３０４を生成する。この復号化及び符号化処理をダウンサンプリングとも称す。また、ストリーム３０２にプライベートストリームとして多重化されていた音声を、前記動画像と同期して再生できる音声としてストリーム３０４に多重化して、ストリーム３０４をＤＶＤ１２５に記録する（第４の記録動作）。これにより、ストリーム３０４は［通常記録２０５］状態で記録されたストリーム３０１、３０３と同様に、音声付きの動画像として再生が可能となる。さらに、後述する方法でプレイリストを作成し、ＤＶＤ１２５に記録することによって、ストリーム３０４を含む複数ストリームが連続再生可能な記録状態となる（第５の記録動作）。
【００５６】
このように、ストリーム３０２のフレーム数変換処理（ダウンサンプリング）を行う際は、直前もしくは直後に記録されたストリームのフレームレートを判定し、判定されたフレームレートに合わせて、ストリーム３０２のフレームレート変換を行う。本実施形態では、直前のストリーム３０１及び直後のストリーム３０３のフレームレートが標準のレート（３０ｆｐｓ）であり、ダウンサンプリングされるストリーム３０２のフレームレートが９０ｆｐｓであるので、変換時にフレーム数を１／３にしている。さらに、ストリーム３０２が３枚に１枚の間隔でリファレンスピクチャを有しているので、このリファレンスピクチャからストリーム３０４を生成することにした。
【００５７】
このようにして生成され、ＤＶＤ１２５に記録されたストリーム３０４は、他の再生装置でも再生可能なストリームである。さらに、ストリーム３０４は、プレイリストにより、時間的に前後に位置するストリームであるストリーム３０１およびストリーム３０３との連続再生が可能になる。すなわち、ストリーム３０４とプレイリストを記録することにより、記録媒体及び記録されたデータに関して、他の再生装置或いは他の再生アプリケーションに対する互換性を確保することができるようになる。
【００５８】
なお、本実施形態では最も一般的に用いられている「Ｉ・Ｂ・Ｂ・Ｐ・Ｂ・Ｂ」というピクチャ構成を例として説明した。しかし、高速なフレームレートで撮影された動画像のストリーム３０２のデータレートを抑えるために、前記ストリーム３０２の符号化方法をストリーム３０１及びストリーム３０３と異ならせても良い。ストリーム３０２の符号化方法を変更する例として、一部のＩピクチャをＰピクチャに置き換えた図５に示すストリーム５０２としてもよい。この場合、フレーム数変換処理によって生成されるストリームは、ストリーム５０４である。
【００５９】
また、本実施形態では高速なフレームレートでの撮影を通常の３倍速で行っているため、３枚に１枚のリファレンスピクチャを含む構成で符号化することが適している。しかし、４倍速で撮影を行うことができるように、高速のフレームレートを任意に変更可能にしても良い。４倍速に変更する場合、前記ストリーム３０２を、４枚に１枚のリファレンスピクチャを含む、図６に示すストリーム６０２にするとよい。この場合、フレーム数変換処理によって生成されるストリームは、ストリーム６０４である。撮影の速度（ｎ倍速）とリファレンスピクチャの出現頻度（１／ｎ枚）とを合わせることで、前記フレーム数変換処理をリファレンスピクチャの復号化のみで実現することができる。
【００６０】
（２−３−２）．プレイリスト作成
次に、ＤＶＤ１２５に記録された動画像の再生順序を示すプレイリストを、再生順序記録手段として機能するレコーダ制御部１２１によって記録する例について、図７を用いて説明する。
【００６１】
前述のように記録されたストリーム３０１〜３０４に対して、標準のプレイリスト（オリジナルＰＧＣ）としてプレイリスト７０１が記録される。また、ユーザの選択に応じてプレイリスト７０２〜７０４のいずれか、もしくは全てがＤＶＤ１２５に記録される。
【００６２】
ここで、プレイリスト７０１は、ストリーム３０１、３０４、３０３を連続再生するプレイリストである。このプレイリストによれば、特定シーンのみ高速なフレームレートでスロー再生用の動画像を撮影しても、撮影開始から撮影終了の時点（ｔ１＋ｔ２＋ｔ３）まで連続した通常再生用の動画像を再生することができる。
【００６３】
また、プレイリスト７０２は、ストリーム３０２のみを再生するプレイリストである。高速なフレームレートで撮影した特定シーンの動画像のみを滑らかにスロー再生することができる。なお、このプレイリスト７０２の再生時間は３×ｔ２となる。
【００６４】
また、プレイリスト７０３は、ストリーム３０１、３０２、３０３を連続再生するプレイリストである。前後のシーンの動画像の通常再生と連続して、特定シーンの動画像のみを滑らかにスロー再生することができる。
【００６５】
また、プレイリスト７０４は、ストリーム３０１、３０４、３０３を連続再生し、ストリーム３０３の再生開始後「ｔｘの時点」にストリーム３０２を挿入したプレイリストである。スポーツの報道番組などに見られるように、特定のシーンの動画像が通常再生され、少しの時間が経過した後に、前記特定シーンの動画像を滑らかにスロー再生するような効果が容易に得られる。
【００６６】
（３）．再生モード
次に［再生モード２０３］での動作について説明する。［再生モード２０３］ではＣＣＤイメージセンサ１４２と、ＡＦＥ１４５と、カメラ制御部１１１は動作しない。レコーダ制御部１２１においてＤＶＤ１２５に記録された動画像及び音声が再生され、ビデオ出力部１２８及びＬＣＤ１２６に前記動画像を、またオーディオ入出力部１２９に前記音声を出力する。
【００６７】
（３−１）．レコーダ系デバイスの動作
［インデックス表示２０７］状態において、レコーダ制御部１２１は以下のように動作する。まず、メモリ制御回路は、ＤＶＤ制御回路と、画像復号化回路との一時的な画像信号の格納場所として、ＲＡＭ１２４に対するデータの読み書きを制御する。
【００６８】
ＤＶＤ制御回路は、ＤＶＤの論理フォーマットに従って、ＤＶＤ１２５に記録されたプレイリストを読み出し、ＲＡＭ１２４に格納する。前記プレイリストからＣＰＵ１０２によって、インデックス表示すべき画像の含まれるストリームと前記画像の位置が判別され、ＤＶＤ制御回路は前記ストリームの前記画像が含まれる部分をＤＶＤ１２５より読み出し、ＲＡＭ１２４に格納する。画像復号化回路は、前記ＲＡＭ１２４に格納されたストリームに対して、ＭＰＥＧフォーマットによる復号化処理を行う。インデックス生成回路は、復号化されたインデックス表示すべき前記画像よりインデックス画像を生成する。画像信号出力回路は、前記インデックス画像をビデオ出力部１２８に出力する。ＬＣＤ制御回路は、前記インデックス画像をＬＣＤ１２６へと出力する。
【００６９】
［再生２０８］状態において、レコーダ制御部１２１は以下のように動作する。まず、メモリ制御回路は、ＤＶＤ制御回路と、画像復号化回路と、音声復号化回路との一時的な画像信号の格納場所として、ＲＡＭ１２４に対するデータの読み書きを制御する。レコーダ制御部１２１のＤＶＤ制御回路は、ＤＶＤの論理フォーマットに従って、ＤＶＤ１２５よりストリームを読み出し、ＲＡＭ１２４に格納する。
【００７０】
画像復号化回路は、前記ＲＡＭ１２４に格納されたストリームに含まれる画像信号の符号化データに対して、ＭＰＥＧフォーマットによる復号化処理を行う。また、音声復号化回路は、前記ＲＡＭ１２４に格納されたストリームに含まれる音声信号の符号化データに対して、ＭＰＥＧフォーマットによる復号化処理を行う。
【００７１】
画像信号出力回路は、前記画像復号化回路が復号化した画像信号をビデオ出力部１２８に出力する。ＬＣＤ制御回路は、前記画像復号化回路が復号化した画像信号をＬＣＤ１２６へと出力する。音声信号出力回路は、前記音声復号化回路が復号化した音声信号を、前記画像信号の出力に同期してオーディオ入出力部１２９に出力する。
【００７２】
（３−２）．ＤＶＤの再生例
では次に、本実施形態のビデオカメラ１００を用いて、前述した記録例によって記録されたＤＶＤ１２５の再生例について説明する。
【００７３】
ＤＶＤの論理フォーマットは、ＤＶＤ−ＶＲフォーマットであって、記録されているプレイリストに従い、以下のように再生する。
【００７４】
［インデックス表示２０７］状態において、初期状態ではオリジナルＰＧＣであるプレイリスト７０１がインデックス表示の対象となる。すなわち、プレイリスト７０１で再生されるストリームの切れ目として、図８に示すようにストリーム３０１の先頭画像８０１と、ストリーム３０４の先頭画像８０２と、ストリーム３０３の先頭画像８０３とを並べてインデックス画像８００を表示する。
【００７５】
並べて表示した画像に対する選択枠８１０をユーザが十字キーで移動させ、再生ボタンを押下すると［再生２０８］状態に移行し、インデックス表示の対象となっているプレイリストが、選択された画像に対応する切れ目の部分から再生される。ここで、ユーザによって操作部１０５のプレイリスト切り替えボタンが押下されると、インデックス表示の対象となるプレイリストが切り替わる。
【００７６】
プレイリスト７０２がインデックス表示の対象となった場合、再生されるストリームの切れ目として、ストリーム３０２の先頭画像をインデックス表示する。同様に、プレイリスト７０３が対象となった場合、ストリーム３０１の先頭画像と、ストリーム３０２の先頭画像と、ストリーム３０３の先頭画像とを並べてインデックス表示する。また、プレイリスト７０４が対象となった場合、ストリーム３０１の先頭画像と、ストリーム３０４の先頭画像と、ストリーム３０３の先頭画像と、ストリーム３０２の先頭画像と、ストリーム３０３の開始からｔｘの時点の画像とを並べてインデックス表示する。
【００７７】
（第２の実施形態）
以下に、第２の実施形態を、以下の順番で説明する。
（１）．全体構成
（２）．カメラモード
（２−１）．カメラ系デバイスの動作
（２−２）．レコーダ系デバイスの動作
（２−３）．ＢＤへの記録例
（２−３−１）．ストリーム記録
（２−３−２）．プレイリスト作成
（３）．再生モード
（３−１）．レコーダ系デバイスの動作
（３−２）．ＢＤの再生例
【００７８】
第２の実施形態は、第１の実施形態と比べて、レコーダ制御部の構成と、記録媒体としてＢＤを利用する点と、高速なフレームレートで撮影したシーンについては動画像と音声とを別のストリームとして記録する点が異なる。
【００７９】
（１）．全体構成
図９は、第２の実施形態に係る画像記録装置の構成を示すブロック図である。以下では、画像記録装置の一例として、ビデオカメラ９００を例にして説明する。
【００８０】
ビデオカメラ９００では、第１の実施形態におけるビデオカメラ１００に対して、レコーダ制御部１２１が内部構成の異なるレコーダ制御部９２１に、ＤＶＤ１２５がＢＤ９２５に置き換わっている。
【００８１】
（２）．カメラモード
［通常記録２０５］状態、及び［高速度撮影・記録２０６］状態においては、レコーダ制御部９２１において処理された動画像信号と音声信号がＢＤ９２５に記録される。
【００８２】
（２−１）．カメラ系デバイスの動作
ＣＣＤイメージセンサ１４２と、ＡＦＥ１４５と、カメラ制御部１１１との動作については第１の実施形態と同等であるため、説明を略する。
【００８３】
（２−２）．レコーダ系デバイスの動作
レコーダ制御部９２１は、第１の実施形態におけるレコーダ制御部１２１のＤＶＤ制御回路がＢＤ制御回路に置き換わった構成のＡＳＩＣである。
【００８４】
［通常記録２０５］状態において、メモリ制御回路は、ＢＤ制御回路の一時的な画像信号の格納場所として、ＲＡＭ１２４に対するデータの読み書きを制御する。ＢＤ制御回路は、動画像と音声が多重化されたストリームをＢＤの論理フォーマットに従って、記録媒体であるＢＤ９２５に記録する。
【００８５】
［高速度撮影・記録２０６］状態においては、レコーダ制御部９２１は［通常記録２０５］状態に比べて３倍の速度で画像信号の取得、符号化処理を行う。ここで、前記画像符号化回路は入力された画像信号のフレームレートに関わらず、再生時のフレームレートを３０フレーム／秒として符号化処理を行う。一方、音声信号の符号化データは［通常記録２０５］状態とは異なり、動画像とは別のストリームとしてＢＤ９２５に記録される。
【００８６】
［通常記録２０５］状態から［非記録２０４］状態に移行した際に、それまでにＢＤ９２５に記録したストリームに対するプレイリストなどの管理情報がＣＰＵ１０２によって作成され、ＲＡＭ１２４に書き込まれる。レコーダ制御部９２１のＢＤ制御回路は、前記管理情報をＢＤ９２５に記録する。
【００８７】
（２−３）．ＢＤへの記録例
では次に、本実施形態のビデオカメラ９００を用いて、通常のフレームレートの動画像を撮影中に、高速なフレームレートの動画像を撮影した場合の、ＢＤ９２５への記録例について説明する。記録媒体がＢＤの場合、その論理フォーマットを用いて、動画像及び音声の実データであるストリームと、それを再生する順序を指定したプレイリストを以下のように記録する。
【００８８】
（２−３−１）．ストリーム記録
まず、図１０を用いて、ＢＤ９２５に記録されるストリームデータの記録例について説明する。
【００８９】
ユーザによって撮影ボタンが押下され、［非記録２０４］状態から［通常記録２０５］状態に移行することで、図１０（ａ）に示すように、３０フレーム／秒で撮影された動画像と音声がストリーム１００１として記録される。
【００９０】
次に、ストリーム１００１の記録開始後、ｔ１の時点で高速度撮影ボタンが押下され［高速度撮影・記録２０６］状態に移行することで、図１０（ｂ）に示すように、ストリーム１００１の記録は終了する。そして、継続して、９０フレーム／秒で撮影された動画像のみのストリーム１００２と、音声のみのストリーム１００３が新たに記録される。
【００９１】
次に、ストリーム１００２及び１００３の記録開始後、ｔ２の時点で高速度撮影ボタンが押下され［通常記録２０５］状態に移行することで、図１０（ｃ）に示すように、ストリーム１００２及び１００３の記録は終了する。そして、継続して、３０フレーム／秒で撮影された動画像と音声がストリーム１００４として新たに記録される。なお、ｔ１からｔ２の期間に、高速なフレームレートであるストリーム１００２及び音声ストリーム１００３を記録したこと、及びそれらの記録領域を識別するための識別情報をＢＤ９２５の管理情報領域に記録しておく。
【００９２】
最後に、ストリーム１００４の記録開始後、ｔ３の時点で撮影ボタンが押下され［非記録２０４］状態に移行することで、図１０（ｄ）に示すように、ストリーム１００４の記録は終了する。このとき、ＣＰＵ１０２はレコーダ制御部９２１を制御して、第１の実施形態と同様にフレーム数変換処理を行い、９０フレーム／秒で撮影された動画像のみのストリーム１００２から、動画像のみのストリーム１００５を生成する。
【００９３】
（２−３−２）．プレイリスト作成
次に、プレイリストの記録例について図１１を用いて説明する。
【００９４】
前述のように記録されたストリーム１００１〜１００５に対して、プレイリスト１１０１が記録される。また、ユーザの選択に応じてプレイリスト１１０２〜１１０４のいずれか、もしくは全てがＢＤ９２５に記録される。
【００９５】
ここで、プレイリスト１１０１は、ストリーム１００１、１００５、１００４を連続再生するプレイリストである。ストリーム１００５を再生する区間に関しては、メインパスとして動画像のみのストリーム１００５、サブパスとして音声のみのストリーム１００３が指定される。
【００９６】
メインパスとサブパスに指定された２つのストリームは同時に再生されるので、ストリーム１００５は音声付きの動画像として再生することができる。このプレイリストによれば、特定シーンのみ高速なフレームレートでスロー再生用の動画像を撮影しても、撮影開始から撮影終了の時点（ｔ１＋ｔ２＋ｔ３）まで連続した通常再生用の動画像を再生することができる。
【００９７】
また、プレイリスト１１０２は、ストリーム１００２のみを再生するプレイリストである。高速なフレームレートで撮影した特定シーンの動画像のみを滑らかにスロー再生することができる。なお、このプレイリスト１１０２の再生時間は３×ｔ２となる。また、プレイリスト１１０３は、ストリーム１００１、１００２、１００４を連続再生するプレイリストである。前後のシーンの動画像の通常再生と連続して、特定シーンの動画像のみを滑らかにスロー再生することができる。
【００９８】
また、プレイリスト１１０４は、ストリーム１００１、１００５、１００４を連続再生し、ストリーム１００４の再生開始後ｔｘの時点にストリーム１００２を挿入したプレイリストである。ここで、プレイリスト１１０１と同様に、動画像のみのストリーム１００５に対してはサブパスとして音声のみのストリーム１００３が指定される。スポーツの報道番組などに見られるように、特定のシーンの動画像が通常再生され、少しの時間が経過した後に、前記特定シーンの動画像を滑らかにスロー再生するような効果が容易に得られる。
【００９９】
（３）．再生モード
次に、［再生モード２０３］での動作について説明する。
レコーダ制御部９２１においてＢＤ９２５に記録された動画像及び音声が再生され、ビデオ出力部１２８及びＬＣＤ１２６に前記動画像を出力する。また、オーディオ入出力部１２９に前記音声を出力する。
【０１００】
（３−１）．レコーダ系デバイスの動作
［インデックス表示２０７］状態において、レコーダ制御部９２１は以下のように動作する。
【０１０１】
まず、メモリ制御回路は、ＢＤ制御回路の一時的な画像信号の格納場所として、ＲＡＭ１２４に対するデータの読み書きを制御する。
【０１０２】
レコーダ制御部９２１のＢＤ制御回路は、ＢＤの論理フォーマットに従って、ＢＤ９２５に記録されたプレイリストを読み出し、ＲＡＭ１２４に格納する。前記プレイリストからＣＰＵ１０２によって、インデックス表示すべき画像の含まれるストリームと前記画像の位置が判別され、ＢＤ制御回路は前記ストリームの前記画像が含まれる部分をＢＤ９２５より読み出し、ＲＡＭ１２４に格納する。以下、第１の実施形態と同様に前記画像より生成されたインデックス画像が出力される。
【０１０３】
［再生２０８］状態において、レコーダ制御部９２１は以下のように動作する。まず、メモリ制御回路は、ＢＤ制御回路の一時的な画像信号の格納場所として、ＲＡＭ１２４に対するデータの読み書きを制御する。ＢＤ制御回路は、ＢＤの論理フォーマットに従って、ＢＤ９２５よりストリームを読み出し、ＲＡＭ１２４に格納する。以下、第１の実施形態と同様に前記ストリームの動画像と音声が再生される。
【０１０４】
（３−２）．ＢＤの再生例
では次に、本実施形態のビデオカメラ９００を用いて、前述した記録例によって記録されたＢＤ９２５の再生例について説明する。
【０１０５】
［インデックス表示２０７］状態において、初期状態ではプレイリスト１１０１がインデックス表示の対象となる。すなわち、プレイリスト１１０１で再生されるストリームの切れ目として、ストリーム１００１の先頭画像と、ストリーム１００４の先頭画像と、ストリーム１００３の先頭画像とを並べてインデックス画像を表示する。以下、第１の実施形態と同様に、ユーザによって選択されたプレイリストと画像に対して、前記プレイリストが対応する切れ目の部分から再生される。
【０１０６】
（第３の実施形態）
以下に、第３の実施形態を、以下の順番で説明する。
（１）．全体構成
（２）．カメラモード
（２−１）．カメラ系デバイスの動作
（２−２）．レコーダ系デバイスの動作
（２−３）．ＨＤＤへの記録例
（２−３−１）．ストリーム記録
（２−３−２）．プレイリスト作成
（３）．再生モード
（３−１）．レコーダ系デバイスの動作
（３−２）．ＨＤＤの再生例
第３の実施形態は、第１の実施形態と比べて、レコーダ制御部の構成と、記録媒体としてＨＤＤを利用する点が異なる。また、高速なフレームレートで撮影したシーンについては動画像と音声とを別のストリームとして記録する点と、最後に不要となった音声のみのストリームを削除する点が異なる。
【０１０７】
（１）．全体構成
図１２は、第３の実施形態に係る画像記録装置の構成を示すブロック図である。以下では、画像記録装置の一例として、ビデオカメラ１２００を例にして説明する。
【０１０８】
ビデオカメラ１２００では、第１の実施形態におけるビデオカメラ１００に対して、レコーダ制御部１２１が内部構成の異なるレコーダ制御部１２２１に、ＤＶＤ１２５がＨＤＤ１２２５に置き換わっている。
【０１０９】
（２）．カメラモード
［通常記録２０５］状態及び［高速度撮影・記録２０６］状態においては、レコーダ制御部１２２１において処理された動画像信号と音声信号がＨＤＤ１２２５に記録される。
【０１１０】
（２−１）．カメラ系デバイスの動作
ＣＣＤイメージセンサ１４２と、ＡＦＥ１４５と、カメラ制御部１１１との動作については第１の実施形態と同等であるため、説明を略する。
【０１１１】
（２−２）．レコーダ系デバイスの動作
レコーダ制御部１２２１は、第１の実施形態におけるレコーダ制御部１２１のＤＶＤ制御回路がＨＤＤ制御回路に置き換わった構成のＡＳＩＣである。
【０１１２】
［通常記録２０５］状態において、メモリ制御回路は、ＨＤＤ制御回路の一時的な画像信号の格納場所として、ＲＡＭ１２４に対するデータの読み書きを制御する。ＨＤＤ制御回路は、動画像と音声が多重化されたストリームを、記録媒体であるＨＤＤ１２２５に記録する。
【０１１３】
［高速度撮影・記録２０６］状態においては、レコーダ制御部１２２１は［通常記録２０５］状態に比べて３倍の速度で画像信号の取得、符号化処理を行う。ここで、前記画像符号化回路は入力された画像信号のフレームレートに関わらず、再生時のフレームレートを３０フレーム／秒として符号化処理を行う。一方、音声信号の符号化データは［通常記録２０５］状態とは異なり、動画像とは別のストリームとしてＨＤＤ１２２５に記録される。
【０１１４】
［通常記録２０５］状態から［非記録２０４］状態に移行した際に、それまでにＨＤＤ１２２５に記録したストリームに対するプレイリストなどの管理情報がＣＰＵ１０２によって作成され、ＲＡＭ１２４に書き込まれる。レコーダ制御部１２２１のＢＤ制御回路は、前記管理情報をＨＤＤ１２２５に記録し、不要となったストリームをＨＤＤ１２２５より削除する。
【０１１５】
（２−３）．ＨＤＤへの記録例
では次に、本実施形態のビデオカメラ９００を用いて、通常のフレームレートの動画像を撮影中に、高速なフレームレートの動画像を撮影した場合に、ＨＤＤ１２２５へ記録する例について説明する。記録媒体がＨＤＤの場合、動画像及び音声の実データであるストリームと、それを再生する順序を指定したプレイリストを以下のように記録する。
【０１１６】
（２−３−１）．ストリーム記録
ＨＤＤ１２２５に記録されるストリームデータの記録例について図１３を用いて説明する。
【０１１７】
ユーザによって撮影ボタンが押下され［非記録２０４］状態から［通常記録２０５］状態に移行することで、図１３（ａ）に示すように、３０フレーム／秒で撮影された動画像と音声がストリーム１３０１として記録される。
【０１１８】
次に、ストリーム１３０１の記録開始後、ｔ１の時点で高速度撮影ボタンが押下され［高速度撮影・記録２０６］状態に移行することで、図１３（ｂ）に示すように、ストリーム１３０１の記録は終了する。そして、継続して、９０フレーム／秒で撮影された動画像のみのストリーム１３０２と、音声のみのストリーム１３０３が新たに記録される。
【０１１９】
次に、ストリーム１３０２及び１３０３の記録開始後、ｔ２の時点で高速度撮影ボタンが押下され［通常記録２０５］状態に移行することで、図１３（ｃ）に示すように、ストリーム１３０２及び１３０３の記録は終了する。そして、継続して、３０フレーム／秒で撮影された動画像と音声がストリーム１３０４として新たに記録される。なお、ｔ１からｔ２の期間に、高速なフレームレートであるストリーム１３０２及び音声ストリーム１３０３を記録したこと、及びそれらの記録領域を識別するための識別情報をＨＤＤ１２２５の管理情報領域に記録しておく。
【０１２０】
最後に、ストリーム１３０４の記録開始後、ｔ３の時点で撮影ボタンが押下され［非記録２０４］状態に移行することで、図１３（ｄ）に示すように、ストリーム１３０４の記録は終了する。このとき、ＣＰＵ１０２はレコーダ制御部１２２１を制御して、第１の実施形態と同様にフレーム数変換処理を行う。そして、９０フレーム／秒で撮影された動画像のみのストリーム１３０２と、音声のみのストリーム１３０３から、動画像と音声とを同期して再生できるようストリーム１３０５に多重化して記録する。
【０１２１】
これにより、ストリーム１３０５は［通常記録２０５］状態で記録されたストリーム１３０１、１３０４と同様に、音声付きの動画像として再生が可能となる。前記フレーム数変換処理の後、不要となった音声のみのストリーム１３０３はＨＤＤ１２２５より削除される。したがって、通常再生用の動画像に付加する音声を、スロー再生用の動画像に重複して付加する必要がなくなるため、記録媒体を無駄なく有効に利用できる。
【０１２２】
（２−３−２）．プレイリスト作成
プレイリストの作成に関しては第１の実施形態と同等であるため、説明を略する。
【０１２３】
（３）．再生モード
次に、［再生モード２０３］での動作について説明する。レコーダ制御部１２２１においてＨＤＤ１２２５に記録された動画像及び音声が再生され、ビデオ出力部１２８及びＬＣＤ１２６に前記動画像を出力し、またオーディオ入出力部１２９に前記音声を出力する。
【０１２４】
（３−１）．レコーダ系デバイスの動作
［インデックス表示２０７］状態において、レコーダ制御部１２２１は以下のように動作する。まず、メモリ制御回路は、ＨＤＤ制御回路の一時的な画像信号の格納場所として、ＲＡＭ１２４に対するデータの読み書きを制御する。レコーダ制御部１２２１のＨＤＤ制御回路は、ＨＤＤ１２２５に記録されたプレイリストを読み出し、ＲＡＭ１２４に格納する。
【０１２５】
前記プレイリストからＣＰＵ１０２によって、インデックス表示すべき画像の含まれるストリームと前記画像の位置が判別され、ＨＤＤ制御回路は前記ストリームの前記画像が含まれる部分をＨＤＤ１２２５より読み出し、ＲＡＭ１２４に格納する。以下、第１の実施形態と同様に前記画像より生成されたインデックス画像が出力される。
【０１２６】
［再生２０８］状態において、レコーダ制御部１２２１は以下のように動作する。
【０１２７】
まず、メモリ制御回路は、ＨＤＤ制御回路の一時的な画像信号の格納場所として、ＲＡＭ１２４に対するデータの読み書きを制御する。ＨＤＤ制御回路は、ＨＤＤ１２２５よりストリームを読み出し、ＲＡＭ１２４に格納する。以下、第１の実施形態と同様に前記ストリームの動画像と音声が再生される。
【０１２８】
（３−２）．ＨＤＤの再生例
ＨＤＤの再生例に関しては第１の実施形態とＤＶＤの再生例とほぼ同等であるため、説明を略する。
【０１２９】
（本発明に係る他の実施形態）
前述した本発明の実施形態における画像記録装置を構成する各手段、並びに画像記録方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【０１３０】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【０１３１】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接されてもよい。あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１３２】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１３３】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０１３４】
プログラムを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどである。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）なども含む。
【０１３５】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、前記ホームページから本発明のコンピュータプログラムそのものをダウンロードすることによっても供給できる。もしくは、圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。
【０１３６】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１３７】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１３８】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１３９】
更に、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１４０】
【図１】本発明の第１の実施形態に係る画像記録装置の構成を示すブロック図である。
【図２】画像記録装置の状態遷移を説明する図である。
【図３】第１の実施形態に係るストリームの記録例を説明する図である。
【図４】ＭＰＥＧのピクチャ構成を説明する図である。
【図５】一部のＩピクチャをＰピクチャに置き換えたＭＰＥＧのピクチャ構成を説明する図である。
【図６】４倍速で撮影されたストリームのＭＰＥＧのピクチャ構成を説明する図である。
【図７】第１の実施形態に係るプレイリストの記録例を説明する図である。
【図８】インデックス画像の表示例を説明する図である。
【図９】本発明の第２の実施形態に係る画像記録装置の構成を示すブロック図である。
【図１０】第２の実施形態に係るストリームの記録例を説明する図である。
【図１１】第２の実施形態に係るプレイリストの記録例を説明する図である。
【図１２】本発明の第３の実施形態に係る画像記録装置の構成を示すブロック図である。
【図１３】第３の実施形態に係るストリームの記録例を説明する図である。
【符号の説明】
【０１４１】
１００  ビデオカメラ
１０１  バス
１０２  ＣＰＵ
１０３  ＲＡＭ
１０４  ＲＯＭ
１０５  操作部
１１１  カメラ制御部
１１４  ＲＡＭ
１２１  レコーダ制御部
１２４  ＲＡＭ
１２５  ＤＶＤ
１２６  液晶表示装置（ＬＣＤ）
１２８  ビデオ出力部
１２９  オーディオ入出力部
１４２  ＣＣＤイメージセンサ
１４５  ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）
９００  ビデオカメラ
９２１  レコーダ制御部
９２５  ＢＤ
１２００  ビデオカメラ
１２２１  レコーダ制御部
１２２５  ＨＤＤ
【図１】
2008219857.tif 000003
【図２】
2008219857.tif 000004
【図３】
2008219857.tif 000005
【図４】
2008219857.tif 000006
【図５】
2008219857.tif 000007
【図６】
2008219857.tif 000008
【図７】
2008219857.tif 000009
【図８】
2008219857.tif 000010
【図９】
2008219857.tif 000011
【図１０】
2008219857.tif 000012
【図１１】
2008219857.tif 000013
【図１２】
2008219857.tif 000014
【図１３】
2008219857.tif 000015