(57)【特許請求の範囲】
【請求項１】
複数のフレームレートに対応して画像データの記録、再生処理が可能な画像処理装置であって、
記録部と、
各フレームレートに対応して上記画像データの記録処理を行う際に、記録するストリームデータと対となる所定のファイルフォーマットに応じたデータ領域に、各フレームレートに応じた記録レートに関する記録レート管理情報を設定し、上記記録部に記録し、記録された画像データを再生処理する場合には、上記記録部に記録された上記記録レートに関する上記記録レート管理情報を読み出して、再生レート管理情報を設定し、当該再生処理を行う制御部と、を有し、
上記記録レート管理情報は、レート切替フラグ、入力レート、現在の記録レート、および記録済画像データ数の各管理情報を含み、
上記再生レート管理情報は、再生レート切替指示フラグ、切替後の再生レート、現在の再生レート、前回の読み出した記録レート、および表示回数の各管理情報を含み、
上記制御部は、
記録時において、
ストリームデータを上記記録部に記録する際に、ストリームデータとして書き込まれた画像データと対となるデータ内に現在の記録レートをインデックスとして記録していき、
記録動作中に記録レートの切り替え指示を受けると、
上記記録レート管理情報の現在の記録レートを指定されたレートで更新して上記レート切替フラグをオンに設定し、入力レートおよび記録レートの切替処理を行い、当該切替処理において、
上記レート切替フラグがオンで入力レートが上記現在の記録レートと等しい場合、入力レートを上記記録レート管理情報の入力レートの値に更新して、上記レート切替フラグをオフしてレート切替処理を完了し、切替後のレートでの記録を行い、
再生時において、
上記記録部から上記記録レート管理情報およびインデックス情報を読み出し、上記再生レート管理情報の設定を行い、上記読み出したインデックス情報により当該画像データが現在の再生レートで表示するか否か、または何回表示するのかの判定を行って再生動作を開始し、
再生動作中に表示切替通知を受けると、
生成済みの表示用画像を表示系に出力して、上記再生レート管理情報の表示回数をデクリメントし、表示回数０になる全画像データの読み出しが完了するまで読み出し処理を行い、表示用画像データを生成して出力し、
再生動作中に再生レートの切り替え指示を受けると、
上記再生レート管理情報の再生レート切替指示フラグをオンし、取得した記録レートが上記再生レート管理情報の前回の読み出した記録レートと同じ場合には再生レート切替を行い、
当該再生レート切替処理において、上記再生レート管理情報の現在の再生レートを切替後の再生レートとして、上記再生レート切替指示フラグをオフに設定し、
全フレーム再生が現在の再生レートであり、読み出した記録レートが現在の再生レート以下であるかの判定結果によって、読み出しデータで間引くか読み出しデータを繰り返し表示するかを切り替える
画像処理装置。
【請求項２】
上記制御部は、
記録時において、入力レートの切り替えは、再生制御のためにある固定の時間分の画像データであるＮフレーム分のデータが記録されたタイミングで行い、同一の記録レートの画像データおよび上記インデックス情報がＮフレーム分連続して記録されるように制御し、
レート切替処理においては、
上記記録レート管理情報の記録済画像データ数をインクリメントし、記録済画像データ数がＮフレームとなると、上記記録レート管理情報のレート切替フラグをオンして、入力レートと記録レートが等しいか否かを判別し、等しいと入力レートを上記記録レート管理情報のセンサ入力レートの値に変更して、上記記録レート管理情報の記録済画像データ数を０に設定し、レート切替フラグをオフに設定して、入力レートおよび記録レートの切替処理を完了する
請求項１記載の画像処理装置。
【請求項３】
上記制御部は、
読み出した上記記録レートが現在の再生レート以下である場合には読み出しデータを繰り返し表示し、
読み出した上記記録レートが現在の再生レート以下でない場合には、読み出しデータを間引いて表示するように制御する
請求項１記載の画像処理装置。
【請求項４】
上記制御部は、
読み出した上記記録レートが現在の再生レート以下である場合には読み出しデータを繰り返し表示し、
読み出した上記記録レートが現在の再生レート以下でない場合には、読み出しデータを間引いて表示するように制御する
請求項２記載の画像処理装置。
【請求項５】
被写体の像を撮像し画像データを出力する撮像部と、
画像データに所定の処理を行う画像処理装置と、を含み、
上記画像処理装置は、
記録部と、
各フレームレートに対応して上記画像データの記録処理を行う際に、記録するストリームデータと対となる所定のファイルフォーマットに応じたデータ領域に、各フレームレートに応じた記録レートに関する記録レート管理情報を設定し、上記記録部に記録し、記録された画像データを再生処理する場合には、上記記録部に記録された上記記録レートに関する上記記録レート管理情報を読み出して、再生レート管理情報を設定し、当該再生処理を行う制御部と、を有し、
上記記録レート管理情報は、レート切替フラグ、入力レート、現在の記録レート、および記録済画像データ数の各管理情報を含み、
上記再生レート管理情報は、再生レート切替指示フラグ、切替後の再生レート、現在の再生レート、前回の読み出した記録レート、および表示回数の各管理情報を含み、
上記制御部は、
記録時において、
ストリームデータを上記記録部に記録する際に、ストリームデータとして書き込まれた画像データと対となるデータ内に現在の記録レートをインデックスとして記録していき、
記録動作中に記録レートの切り替え指示を受けると、
上記記録レート管理情報の現在の記録レートを指定されたレートで更新して上記レート切替フラグをオンに設定し、入力レートおよび記録レートの切替処理を行い、当該切替処理において、
上記レート切替フラグがオンで入力レートが上記現在の記録レートと等しい場合、入力レートを上記記録レート管理情報の入力レートの値に更新して、上記レート切替フラグをオフしてレート切替処理を完了し、切替後のレートでの記録を行い、
再生時において、
上記記録部から上記記録レート管理情報およびインデックス情報を読み出し、上記再生レート管理情報の設定を行い、上記読み出したインデックス情報により当該画像データが現在の再生レートで表示するか否か、または何回表示するのかの判定を行って再生動作を開始し、
再生動作中に表示切替通知を受けると、
生成済みの表示用画像を表示系に出力して、上記再生レート管理情報の表示回数をデクリメントし、表示回数０になる全画像データの読み出しが完了するまで読み出し処理を行い、表示用画像データを生成して出力し、
再生動作中に再生レートの切り替え指示を受けると、
上記再生レート管理情報の再生レート切替指示フラグをオンし、取得した記録レートが上記再生レート管理情報の前回の読み出した記録レートと同じ場合には再生レート切替を行い、
当該再生レート切替処理において、上記再生レート管理情報の現在の再生レートを切替後の再生レートとして、上記再生レート切替指示フラグをオフに設定し、
全フレーム再生が現在の再生レートであり、読み出した記録レートが現在の再生レート以下であるかの判定結果によって、読み出しデータで間引くか読み出しデータを繰り返し表示するかを切り替える
撮像装置。
【請求項６】
上記制御部は、
記録時において、入力レートの切り替えは、再生制御のためにある固定の時間分の画像データであるＮフレーム分のデータが記録されたタイミングで行い、同一の記録レートの画像データおよび上記インデックス情報がＮフレーム分連続して記録されるように制御し、
レート切替処理においては、
上記記録レート管理情報の記録済画像データ数をインクリメントし、記録済画像データ数がＮフレームとなると、上記記録レート管理情報のレート切替フラグをオンして、入力レートと記録レートが等しいか否かを判別し、等しいと入力レートを上記記録レート管理情報のセンサ入力レートの値に変更して、上記記録レート管理情報の記録済画像データ数を０に設定し、レート切替フラグをオフに設定して、入力レートおよび記録レートの切替処理を完了する
請求項５記載の撮像装置。
【請求項７】
上記制御部は、
読み出した上記記録レートが現在の再生レート以下である場合には読み出しデータを繰り返し表示し、
読み出した上記記録レートが現在の再生レート以下でない場合には、読み出しデータを間引いて表示するように制御する
請求項５記載の撮像装置。
【請求項８】
上記制御部は、
読み出した上記記録レートが現在の再生レート以下である場合には読み出しデータを繰り返し表示し、
読み出した上記記録レートが現在の再生レート以下でない場合には、読み出しデータを間引いて表示するように制御する
請求項６記載の撮像装置。
【請求項９】
複数のフレームレートに対応して画像データの記録、再生処理が可能な画像処理方法であって、
各フレームレートに対応して上記画像データの記録処理を行う際に、記録するストリームデータと対となる所定のファイルフォーマットに応じたデータ領域に、各フレームレートに応じた記録レートに関する記録レート管理情報を設定し、記録部に記録し、
記録された画像データを再生処理する場合には、上記記録部に記録された上記記録レートに関する上記記録レート管理情報を読み出して、再生レート管理情報を設定し、当該再生処理を行い、
上記記録レート管理情報は、レート切替フラグ、入力レート、現在の記録レート、および記録済画像データ数の各管理情報を含み、
上記再生レート管理情報は、再生レート切替指示フラグ、切替後の再生レート、現在の再生レート、前回の読み出した記録レート、および表示回数の各管理情報を含み、
記録時において、
ストリームデータを上記記録部に記録する際に、ストリームデータとして書き込まれた画像データと対となるデータ内に現在の記録レートをインデックスとして記録していき、
記録動作中に記録レートの切り替え指示を受けると、
上記記録レート管理情報の現在の記録レートを指定されたレートで更新して上記レート切替フラグをオンに設定し、入力レートおよび記録レートの切替処理を行い、当該切替処理において、
上記レート切替フラグがオンで入力レートが上記現在の記録レートと等しい場合、入力レートを上記記録レート管理情報の入力レートの値に更新して、上記レート切替フラグをオフしてレート切替処理を完了し、切替後のレートでの記録を行い、
再生時において、
上記記録部から上記記録レート管理情報およびインデックス情報を読み出し、上記再生レート管理情報の設定を行い、上記読み出したインデックス情報により当該画像データが現在の再生レートで表示するか否か、または何回表示するのかの判定を行って再生動作を開始し、
再生動作中に表示切替通知を受けると、
生成済みの表示用画像を表示系に出力して、上記再生レート管理情報の表示回数をデクリメントし、表示回数０になる全画像データの読み出しが完了するまで読み出し処理を行い、表示用画像データを生成して出力し、
再生動作中に再生レートの切り替え指示を受けると、
上記再生レート管理情報の再生レート切替指示フラグをオンし、取得した記録レートが上記再生レート管理情報の前回の読み出した記録レートと同じ場合には再生レート切替を行い、
当該再生レート切替処理において、上記再生レート管理情報の現在の再生レートを切替後の再生レートとして、上記再生レート切替指示フラグをオフに設定し、
全フレーム再生が現在の再生レートであり、読み出した記録レートが現在の再生レート以下であるかの判定結果によって、読み出しデータで間引くか読み出しデータを繰り返し表示するかを切り替える
画像処理方法。
【請求項１０】
記録時において、入力レートの切り替えは、再生制御のためにある固定の時間分の画像データであるＮフレーム分のデータが記録されたタイミングで行い、同一の記録レートの画像データおよび上記インデックス情報がＮフレーム分連続して記録されるように制御し、
レート切替処理においては、
上記記録レート管理情報の記録済画像データ数をインクリメントし、記録済画像データ数がＮフレームとなると、上記記録レート管理情報のレート切替フラグをオンして、入力レートと記録レートが等しいか否かを判別し、等しいと入力レートを上記記録レート管理情報のセンサ入力レートの値に変更して、上記記録レート管理情報の記録済画像データ数を０に設定し、レート切替フラグをオフに設定して、入力レートおよび記録レートの切替処理を完了する
請求項９記載の画像処理方法。
【請求項１１】
複数のフレームレートに対応して画像データの記録、再生処理が可能な画像処理であって、
各フレームレートに対応して上記画像データの記録処理を行う際に、記録するストリームデータと対となる所定のファイルフォーマットに応じたデータ領域に、各フレームレートに応じた記録レートに関する記録レート管理情報を設定し、記録部に記録処理と、
記録された画像データを再生処理する場合には、上記記録部に記録された上記記録レートに関する上記記録レート管理情報を読み出して、再生レート管理情報を設定し、当該再生処理を行う処理と、を有し、
上記記録レート管理情報は、レート切替フラグ、入力レート、現在の記録レート、および記録済画像データ数の各管理情報を含み、
上記再生レート管理情報は、再生レート切替指示フラグ、切替後の再生レート、現在の再生レート、前回の読み出した記録レート、および表示回数の各管理情報を含み、
記録時において、
ストリームデータを上記記録部に記録する際に、ストリームデータとして書き込まれた画像データと対となるデータ内に現在の記録レートをインデックスとして記録していき、
記録動作中に記録レートの切り替え指示を受けると、
上記記録レート管理情報の現在の記録レートを指定されたレートで更新して上記レート切替フラグをオンに設定し、入力レートおよび記録レートの切替処理を行い、当該切替処理において、
上記レート切替フラグがオンで入力レートが上記現在の記録レートと等しい場合、入力レートを上記記録レート管理情報の入力レートの値に更新して、上記レート切替フラグをオフしてレート切替処理を完了し、切替後のレートでの記録を行い、
再生時において、
上記記録部から上記記録レート管理情報およびインデックス情報を読み出し、上記再生レート管理情報の設定を行い、上記読み出したインデックス情報により当該画像データが現在の再生レートで表示するか否か、または何回表示するのかの判定を行って再生動作を開始し、
再生動作中に表示切替通知を受けると、
生成済みの表示用画像を表示系に出力して、上記再生レート管理情報の表示回数をデクリメントし、表示回数０になる全画像データの読み出しが完了するまで読み出し処理を行い、表示用画像データを生成して出力し、
再生動作中に再生レートの切り替え指示を受けると、
上記再生レート管理情報の再生レート切替指示フラグをオンし、取得した記録レートが上記再生レート管理情報の前回の読み出した記録レートと同じ場合には再生レート切替を行い、
当該再生レート切替処理において、上記再生レート管理情報の現在の再生レートを切替後の再生レートとして、上記再生レート切替指示フラグをオフに設定し、
全フレーム再生が現在の再生レートであり、読み出した記録レートが現在の再生レート以下であるかの判定結果によって、読み出しデータで間引くか読み出しデータを繰り返し表示するかを切り替える
画像処理をコンピュータに実行させるプログラム。
【請求項１２】
記録時において、入力レートの切り替えは、再生制御のためにある固定の時間分の画像データであるＮフレーム分のデータが記録されたタイミングで行い、同一の記録レートの画像データおよび上記インデックス情報がＮフレーム分連続して記録されるように制御し、
レート切替処理においては、
上記記録レート管理情報の記録済画像データ数をインクリメントし、記録済画像データ数がＮフレームとなると、上記記録レート管理情報のレート切替フラグをオンして、入力レートと記録レートが等しいか否かを判別し、等しいと入力レートを上記記録レート管理情報のセンサ入力レートの値に変更して、上記記録レート管理情報の記録済画像データ数を０に設定し、レート切替フラグをオフに設定して、入力レートおよび記録レートの切替処理を完了する
画像処理をコンピュータに実行させる請求項１１記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を複数のフレームレートのうちの任意のレートで処理可能な画像処理装置、撮像装置、画像処理方法、およびプログラムに関するものである。
【背景技術】
【０００２】
既存の動画記録方式(Motion JPEG, MPEG2/4/H.264 AVC, etc)では、フレームレートは予め静的な値(30fps/60fps etc)に固定されている。
したがって、一般的な画像撮像装置においては、動画で秒間あたり３０または６０フレームの記録である。
この場合、たとえば高速で移動する物体に対して、滑らかな画像を記録することができない場合がある。
【０００３】
このような状況に対応して、フレームレートを切り替えることが可能な装置が提案されている（たとえば特許文献１，２参照）。
【０００４】
特許文献１には、低速フレームレートと高速フレームレートの２つのフレームレートが混在した動画の記録再生方法が開示されている。
【０００５】
また、特許文献２には、６０ｆｐｓ等の低速フレームレート記録中にユーザー操作等の要因によって記録レートを２４０ｆｐｓ等の高フレームレートに切り替わる場合に、フレームレートをリニアに変更することが可能な記録装置が開示されている。
【特許文献１】特開２００６−３５２５８１号公報
【特許文献２】特開２００７−１１６４１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところが、たとえば３つ以上のフレームレートで動画記録可能な装置を使用した場合に、特許文献１に開示された技術で実現しようとすると、同一フレームレート単位でのストリーム情報(Video Stream Header)の追加および高レート記録区間を示すスーパーインデックス（Super Index）等を追加する必要があり、記録制御も複雑となるという不利益がある。
【０００７】
また、特許文献２に開示された技術では、図１に示すような、通常のRIFF AVI ファイルフォーマットに対して拡張的なファイルフォーマットとなり、高速記録された部分が別のストリーム情報として記録される。
このため、一般的に普及しているパーソナルコンピュータ(ＰＣ)用のプレーヤーソフトウェア等で再生すると低速フレームレートでの再生は可能であるが、高速記録された部分を再生することができないことがあるという不利益がある。
【０００８】
本発明は、所定のファイルフォーマットを崩さずに、少なくとも２つ以上のフレームレートで記録された動画に対して単純な制御で所望の再生レートでの動画再生を実現することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明の第１の観点は、複数のフレームレートに対応して画像データの記録、再生処理が可能な画像処理装置であって、記録部と、各フレームレートに対応して上記画像データの記録処理を行う際に、記録するストリームデータと対となる所定のファイルフォーマットに応じたデータ領域に、各フレームレートに応じた記録レートに関する記録レート管理情報を設定し、上記記録部に記録し、記録された画像データを再生処理する場合には、上記記録部に記録された上記記録レートに関する上記記録レート管理情報を読み出して、再生レート管理情報を設定し、当該再生処理を行う制御部と、を有し、上記記録レート管理情報は、レート切替フラグ、入力レート、現在の記録レート、および記録済画像データ数の各管理情報を含み、上記再生レート管理情報は、再生レート切替指示フラグ、切替後の再生レート、現在の再生レート、前回の読み出した記録レート、および表示回数の各管理情報を含み、上記制御部は、記録時において、ストリームデータを上記記録部に記録する際に、ストリームデータとして書き込まれた画像データと対となるデータ内に現在の記録レートをインデックスとして記録していき、記録動作中に記録レートの切り替え指示を受けると、上記記録レート管理情報の現在の記録レートを指定されたレートで更新して上記レート切替フラグをオンに設定し、入力レートおよび記録レートの切替処理を行い、当該切替処理において、上記レート切替フラグがオンで入力レートが上記現在の記録レートと等しい場合、入力レートを上記記録レート管理情報の入力レートの値に更新して、上記レート切替フラグをオフしてレート切替処理を完了し、切替後のレートでの記録を行い、再生時において、上記記録部から上記記録レート管理情報およびインデックス情報を読み出し、上記再生レート管理情報の設定を行い、上記読み出したインデックス情報により当該画像データが現在の再生レートで表示するか否か、または何回表示するのかの判定を行って再生動作を開始し、再生動作中に表示切替通知を受けると、生成済みの表示用画像を表示系に出力して、上記再生レート管理情報の表示回数をデクリメントし、表示回数０になる全画像データの読み出しが完了するまで読み出し処理を行い、表示用画像データを生成して出力し、再生動作中に再生レートの切り替え指示を受けると、上記再生レート管理情報の再生レート切替指示フラグをオンし、取得した記録レートが上記再生レート管理情報の前回の読み出した記録レートと同じ場合には再生レート切替を行い、当該再生レート切替処理において、上記再生レート管理情報の現在の再生レートを切替後の再生レートとして、上記再生レート切替指示フラグをオフに設定し、全フレーム再生が現在の再生レートであり、読み出した記録レートが現在の再生レート以下であるかの判定結果によって、読み出しデータで間引くか読み出しデータを繰り返し表示するかを切り替える。
【００１０】
本発明の第２の観点の撮像装置は、被写体の像を撮像し画像データを出力する撮像部と、画像データに所定の処理を行う画像処理装置と、を含み、上記画像処理装置は、記録部と、各フレームレートに対応して上記画像データの記録処理を行う際に、記録するストリームデータと対となる所定のファイルフォーマットに応じたデータ領域に、各フレームレートに応じた記録レートに関する記録レート管理情報を設定し、上記記録部に記録し、記録された画像データを再生処理する場合には、上記記録部に記録された上記記録レートに関する上記記録レート管理情報を読み出して、再生レート管理情報を設定し、当該再生処理を行う制御部と、を有し、上記記録レート管理情報は、レート切替フラグ、入力レート、現在の記録レート、および記録済画像データ数の各管理情報を含み、上記再生レート管理情報は、再生レート切替指示フラグ、切替後の再生レート、現在の再生レート、前回の読み出した記録レート、および表示回数の各管理情報を含み、上記制御部は、記録時において、ストリームデータを上記記録部に記録する際に、ストリームデータとして書き込まれた画像データと対となるデータ内に現在の記録レートをインデックスとして記録していき、記録動作中に記録レートの切り替え指示を受けると、上記記録レート管理情報の現在の記録レートを指定されたレートで更新して上記レート切替フラグをオンに設定し、入力レートおよび記録レートの切替処理を行い、当該切替処理において、上記レート切替フラグがオンで入力レートが上記現在の記録レートと等しい場合、入力レートを上記記録レート管理情報の入力レートの値に更新して、上記レート切替フラグをオフしてレート切替処理を完了し、切替後のレートでの記録を行い、再生時において、上記記録部から上記記録レート管理情報およびインデックス情報を読み出し、上記再生レート管理情報の設定を行い、上記読み出したインデックス情報により当該画像データが現在の再生レートで表示するか否か、または何回表示するのかの判定を行って再生動作を開始し、再生動作中に表示切替通知を受けると、生成済みの表示用画像を表示系に出力して、上記再生レート管理情報の表示回数をデクリメントし、表示回数０になる全画像データの読み出しが完了するまで読み出し処理を行い、表示用画像データを生成して出力し、再生動作中に再生レートの切り替え指示を受けると、上記再生レート管理情報の再生レート切替指示フラグをオンし、取得した記録レートが上記再生レート管理情報の前回の読み出した記録レートと同じ場合には再生レート切替を行い、当該再生レート切替処理において、上記再生レート管理情報の現在の再生レートを切替後の再生レートとして、上記再生レート切替指示フラグをオフに設定し、全フレーム再生が現在の再生レートであり、読み出した記録レートが現在の再生レート以下であるかの判定結果によって、読み出しデータで間引くか読み出しデータを繰り返し表示するかを切り替える。
【００１１】
好適には、上記制御部は、記録時において、入力レートの切り替えは、再生制御のためにある固定の時間分の画像データであるＮフレーム分のデータが記録されたタイミングで行い、同一の記録レートの画像データおよび上記インデックス情報がＮフレーム分連続して記録されるように制御し、レート切替処理においては、上記記録レート管理情報の記録済画像データ数をインクリメントし、記録済画像データ数がＮフレームとなると、上記記録レート管理情報のレート切替フラグをオンして、入力レートと記録レートが等しいか否かを判別し、等しいと入力レートを上記記録レート管理情報のセンサ入力レートの値に変更して、上記記録レート管理情報の記録済画像データ数を０に設定し、レート切替フラグをオフに設定して、入力レートおよび記録レートの切替処理を完了する。
【００１４】
好適には、上記制御部は、読み出した上記記録レートが現在の再生レート以下である場合には読み出しデータを繰り返し表示し、読み出した上記記録レートが現在の再生レート以下でない場合には、読み出しデータを間引いて表示するように制御する。
【００１７】
本発明の第３の観点は、複数のフレームレートに対応して画像データの記録、再生処理が可能な画像処理方法であって、各フレームレートに対応して上記画像データの記録処理を行う際に、記録するストリームデータと対となる所定のファイルフォーマットに応じたデータ領域に、各フレームレートに応じた記録レートに関する記録レート管理情報を設定し、記録部に記録し、記録された画像データを再生処理する場合には、上記記録部に記録された上記記録レートに関する上記記録レート管理情報を読み出して、再生レート管理情報を設定し、当該再生処理を行い、上記記録レート管理情報は、レート切替フラグ、入力レート、現在の記録レート、および記録済画像データ数の各管理情報を含み、上記再生レート管理情報は、再生レート切替指示フラグ、切替後の再生レート、現在の再生レート、前回の読み出した記録レート、および表示回数の各管理情報を含み、記録時において、ストリームデータを上記記録部に記録する際に、ストリームデータとして書き込まれた画像データと対となるデータ内に現在の記録レートをインデックスとして記録していき、記録動作中に記録レートの切り替え指示を受けると、上記記録レート管理情報の現在の記録レートを指定されたレートで更新して上記レート切替フラグをオンに設定し、入力レートおよび記録レートの切替処理を行い、当該切替処理において、上記レート切替フラグがオンで入力レートが上記現在の記録レートと等しい場合、入力レートを上記記録レート管理情報の入力レートの値に更新して、上記レート切替フラグをオフしてレート切替処理を完了し、切替後のレートでの記録を行い、再生時において、上記記録部から上記記録レート管理情報およびインデックス情報を読み出し、上記再生レート管理情報の設定を行い、上記読み出したインデックス情報により当該画像データが現在の再生レートで表示するか否か、または何回表示するのかの判定を行って再生動作を開始し、再生動作中に表示切替通知を受けると、生成済みの表示用画像を表示系に出力して、上記再生レート管理情報の表示回数をデクリメントし、表示回数０になる全画像データの読み出しが完了するまで読み出し処理を行い、表示用画像データを生成して出力し、再生動作中に再生レートの切り替え指示を受けると、上記再生レート管理情報の再生レート切替指示フラグをオンし、取得した記録レートが上記再生レート管理情報の前回の読み出した記録レートと同じ場合には再生レート切替を行い、当該再生レート切替処理において、上記再生レート管理情報の現在の再生レートを切替後の再生レートとして、上記再生レート切替指示フラグをオフに設定し、全フレーム再生が現在の再生レートであり、読み出した記録レートが現在の再生レート以下であるかの判定結果によって、読み出しデータで間引くか読み出しデータを繰り返し表示するかを切り替える。
【００１８】
本発明の第４の観点は、複数のフレームレートに対応して画像データの記録、再生処理が可能な画像処理であって、各フレームレートに対応して上記画像データの記録処理を行う際に、記録するストリームデータと対となる所定のファイルフォーマットに応じたデータ領域に、各フレームレートに応じた記録レートに関する記録レート管理情報を設定し、上記記録部に記録処理と、記録された画像データを再生処理する場合には、上記記録部に記録された上記記録レートに関する上記記録レート管理情報を読み出して、再生レート管理情報を設定し、当該再生処理を行う処理と、を有し、上記記録レート管理情報は、レート切替フラグ、入力レート、現在の記録レート、および記録済画像データ数の各管理情報を含み、上記再生レート管理情報は、再生レート切替指示フラグ、切替後の再生レート、現在の再生レート、前回の読み出した記録レート、および表示回数の各管理情報を含み、記録時において、 ストリームデータを上記記録部に記録する際に、ストリームデータとして書き込まれた画像データと対となるデータ内に現在の記録レートをインデックスとして記録していき、記録動作中に記録レートの切り替え指示を受けると、上記記録レート管理情報の現在の記録レートを指定されたレートで更新して上記レート切替フラグをオンに設定し、入力レートおよび記録レートの切替処理を行い、当該切替処理において、上記レート切替フラグがオンで入力レートが上記現在の記録レートと等しい場合、入力レートを上記記録レート管理情報の入力レートの値に更新して、上記レート切替フラグをオフしてレート切替処理を完了し、切替後のレートでの記録を行い、再生時において、上記記録部から上記記録レート管理情報およびインデックス情報を読み出し、上記再生レート管理情報の設定を行い、上記読み出したインデックス情報により当該画像データが現在の再生レートで表示するか否か、または何回表示するのかの判定を行って再生動作を開始し、再生動作中に表示切替通知を受けると、生成済みの表示用画像を表示系に出力して、上記再生レート管理情報の表示回数をデクリメントし、表示回数０になる全画像データの読み出しが完了するまで読み出し処理を行い、表示用画像データを生成して出力し、再生動作中に再生レートの切り替え指示を受けると、上記再生レート管理情報の再生レート切替指示フラグをオンし、取得した記録レートが上記再生レート管理情報の前回の読み出した記録レートと同じ場合には再生レート切替を行い、当該再生レート切替処理において、上記再生レート管理情報の現在の再生レートを切替後の再生レートとして、上記再生レート切替指示フラグをオフに設定し、全フレーム再生が現在の再生レートであり、読み出した記録レートが現在の再生レート以下であるかの判定結果によって、読み出しデータで間引くか読み出しデータを繰り返し表示するかを切り替える画像処理をコンピュータに実行させるプログラムである。
【００１９】
本発明によれば、各フレームレートに対応して画像データの記録処理を行う際に、記録するストリームデータと対となる所定のファイルフォーマットに応じたデータ領域に、各フレームレートに応じた記録レートに関する情報が設定されて記録部に記録される。
そして、記録された画像データを再生処理する場合には、記録部に記録された記録レートに関する情報を読み出して、再生処理が行われる。
【発明の効果】
【００２０】
本発明によれば、所定のファイルフォーマットを崩さずに、少なくとも２つ以上のフレームレートで記録された動画に対して単純な制御で所望の再生レートでの動画再生を実現することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態を図面に関連付けて説明する。
【００２２】
図２は、本発明の実施形態に係る画像処理装置を採用したカメラシステム（撮像装置）の構成例を示すブロック図である。
【００２３】
本実施形態に係る画像処理装置は、撮像素子（センサ）で少なくとも２つ以上のレートで撮像された動画ファイルの記録を行うことが可能で、この記録処理で２つ以上のレートで記録された画像を含んだ動画ファイルの再生を行うことが可能な装置として構成されている。
本実施形態に係る画像処理装置は、これにより、少なくとも２つ以上のフレームレートで記録された動画に対して単純な制御で一定レートでの通常再生および任意の再生レートでのスロー再生を、たとえば図１に示す通常のRIFFファイルフォーマットを崩さずに実現することができる画像の記録再生制御を行うことが可能となっている。
【００２４】
本実施形態においては、所定のデータフォーマットとして、図１に示すRIFF AVI ファイルフォーマットを採用した場合を例として説明する。
【００２５】
RIFF AVI ファイルフォーマットは、図１に示すように、ヘッダ部１、ストリームデータ(Stream Data)部２、およびインデックス(Index)部３を含む。
【００２６】
ヘッダ部１は、ヘッダリスト(Header List ; hdrl)を有し、ヘッダリストには、動画の画サイズ、表示レート等、ファイル全体に関連する情報が記述されるＡＶＩメインヘッダ(AVI Main Header ; avih)、ビデオストリーム(Video Stream)の情報（画サイズやビデオストリームデータのフォーマット等）が記述されるビデオストリームリストチャンク(Video Steram List Chunk ; strl)、オーディオストリーム(Audio Stream)の情報（サンプリングレートやオーディオストリームデータのフォーマット等）が記述されるオーディオストリームリスト(Audio Stream List ; strl)、およびパディング(Padding)等の用途で挿入可能なチャンク(Playerは無視する)であるジュンクチャンク(JUNK Chunk)を含んでいる。
【００２７】
ストリームデータ部２は、ストリームデータのリストであって、リスト中のビデオ／オーディオストリームデータは圧縮、非圧縮データそのものが格納されるストリームデータリスト（Stream Data List ; movi）を含む。
【００２８】
インデックス部３は、各ストリームデータと対になるインデックスエントリ(Index Entry)が記述されるインデックス(Index ; idx1)を含む。
【００２９】
以下、本実施形態に係るカメラシステムの構成およびRIFF AVI ファイルフォーマットに関連付けた動画の記録再生制御動作について説明する。
【００３０】
本カメラシステム１０は、光学系１１、ＣＣＤやＣＭＯＳセンサからなるイメージセンサ（撮像素子）１２、アナログ信号処理部１３、アナログ／デジタル（Ａ／Ｄ）コンバータ１４、センサ制御部１５、デジタル信号処理部１６、画像圧縮伸長処理部１７、画像メモリ１８、スケーラ１９、表示装置インインターフェース（Ｉ／Ｆ）２０、表示装置２１、制御部としての制御ＣＰＵ２２、操作デバイス２３、制御メモリ２４、ストレージインターフェース（Ｉ／Ｆ）２５、および記録部としての外部保存用メモリ等からなる記録媒体２６を有している。
【００３１】
カメラシステム１０において、センサ制御部１５、デジタル信号処理部１６、画像圧縮伸長処理部１７、スケーラ１９、表示装置インターフェース２０、および制御ＣＰＵ２２がバス２７を介して接続されている。センサ制御部１５、デジタル信号処理部１６、画像圧縮伸長処理部１７、スケーラ１９、および表示装置インターフェース２０は、制御ＣＰＵ２２により動作等が制御される。
光学系１１、ＣＣＤやＣＭＯＳセンサからなるイメージセンサ１２、アナログ信号処理部１３等により撮像部が構成される。
【００３２】
本実施形態に係るカメラシステム１０は、イメージセンサ１２で少なくとも２つ以上のレートで撮像された動画ファイルの記録を行うことが可能で、この記録処理で２つ以上のレートで記録された画像を含んだ動画ファイルの再生を行う機能を有する。
【００３３】
本実施形態に係るカメラシステム１０は、イメージセンサ１２の撮像処理、デジタル信号処理部１６の信号処理、画像圧縮伸長処理部１７の画像圧縮は、たとえば６０,９０，１２０，２４０ｆｐｓのレートで処理を行うことが可能な装置として構成される。
【００３４】
まず、図２のカメラシステム１０の各部の機能の概要について説明する。
【００３５】
光学系１１は、レンズを主体として構成され、図示しない被写体の像を撮像素子であるイメージセンサ１２の受光面に結像させる。
【００３６】
イメージセンサ１２は、光学系１１を通して結像した被写体像の情報を光電変換し、アナログ信号処理部１３に出力する。
【００３７】
アナログ信号処理部１３は、イメージセンサ１２のアナログ出力を相関二重サンプリング処理（ＣＤＳ）、アナログ増幅処理等を行い、処理後のアナログ画像データをＡ／Ｄコンバータ１４に出力する。
Ａ／Ｄコンバータ１４は、アナログ信号処理部１３によるアナログ画像データをデジタル信号に変換し、デジタル信号処理部１６に出力する。
【００３８】
センサ制御部１５は、制御ＣＰＵ２２の制御の下、イメージセンサ１２の入力レートの制御、撮像タイミングの制御等を行う。
【００３９】
デジタル信号処理部１６は、制御ＣＰＵ２２の制御の下、撮影に先立って撮影のシャッタスピードを決める処理や撮影した画像の明るさや色を調整するための処理等を行う。
【００４０】
画像圧縮伸長処理部１７は、制御ＣＰＵ２２の制御の下、撮像した画像データを所定の圧縮方式に従って圧縮処理して記録媒体である画像メモリ１８に書き込み、書き込んだ画像データを画像メモリ１８から読み出して伸長（展開）する処理等を行う。
【００４１】
スケーラ１９は、制御ＣＰＵ２２の制御の下、画像メモリ１８に記録された画像データから表示する画像を生成する画像生成部として機能する。
【００４２】
表示装置インターフェース２０は、制御ＣＰＵ２２の制御の下、表示すべき画像データを表示装置２１に出力し表示させる。
表示装置２１としては、液晶表示装置（ＬＣＤ）等が適用可能である。
【００４３】
制御ＣＰＵ２２は、デジタル信号処理部１６、画像圧縮伸長処理部１７や回路全体の制御を行う。
制御ＣＰＵ２２は、図示しないヒューマンインターフェースを通して操作デバイス２３の操作に応じた記録、再生の制御を行う。この制御動作については後で詳述する。
【００４４】
操作デバイス２３は、シャッタボタン、ジョグダイヤル、タッチパネル等を含んで構成される。
【００４５】
図３は、本実施形態に係る操作デバイスの要部の構成例を示す図である。
操作デバイス２３は、図３に示すように、記録、再生の開始／停止(START／STOP)スイッチ（たとえば押下ボタン）２３１、記録／再生レート切替スイッチ（たとえばダイヤル形式）２３２等を含んで構成されている。
【００４６】
画像保存用メモリとしての記録媒体２６としては、不揮発性のメモリであるフラッシュメモリやＨＤＤ、ＤＶＤ等が適用可能である。
【００４７】
次に、上記構成における記録時の制御および再生時の制御について説明する。
まず、図４〜図１３に関連付けて記録時の制御について説明する。
【００４８】
記録時の制御
記録時は制御ＣＰＵ２２上の制御プログラムは、操作デバイス２３の開始／停止スイッチ（記録開始ボタン）２３１が押下されると図４のフローに従って記録動作を開始する。
【００４９】
図４は、本実施形態に係る記録動作開始処理を示すフローチャートである。
【００５０】
図４の処理においては、操作デバイス２３の開始／停止スイッチ（記録開始ボタン）２３１が押下されると（ＳＴ０）、制御ＣＰＵ２２（具体的にはその制御プログラムであるが、以下の説明では制御ＣＰＵとして説明する場合もある）は、デジタル信号処理部１６、画像圧縮伸長処理部１７の画像圧縮処理部への記録開始設定（指示）を実行する（ＳＴ１）。
次に、制御ＣＰＵ２２は、制御メモリ２４上にＡＶＩファイルのヘッダ部１を生成し、ストレージインターフェース２５を介して記録媒体２６に書き込む（ＳＴ２）。
次に、制御ＣＰＵ２２は、イメージセンサ１２の入力レートの設定が完了すると（ＳＴ３）、記録レート管理情報の初期設定を行う（ＳＴ４）。
【００５１】
この記録レート管理情報は記録時のセンサ入力レートやレート切替制御の管理情報として制御メモリ２４上に形成される（用意される）。
【００５２】
図５は、本実施形態に係る記録レート管理情報のデータ構造例を示す図である。
【００５３】
図５に示す記録レート管理情報３００は、レート切替フラグchg flag、センサ入力レートsens rate、現在の記録レートrec rate、および記録済画像データ数rec cntの各管理情報を含む。
そして、記録レート管理情報３００は、図４に示されているように、ステップＳＴ４において、センサ入力レートsens rateは６０ｆｐｓに、現在の記録レートrec rateも６０ｆｐｓに、記録済画像データ数rec cntは０に、レート切替フラグchg flagはＯＦＦに初期設定される。
【００５４】
次に、動画記録（撮像）が開始されると、図６に示すデータフローのように画像メモリ１８上に圧縮された画像データが出力され圧縮画像データが出力されたタイミングで制御ＣＰＵ２２に対する通知が行われる。
【００５５】
具体的には、イメージセンサ１２で、センサ制御部１５の制御の下、光学系１１を通して初期設定の入力レート６０ｆｐｓで取り込まれる、撮像面に結像した被写体像の情報が光電変換され、アナログ信号処理部１３に出力される。
アナログ信号処理部１３においては、イメージセンサ１２のアナログ出力を相関二重サンプリング処理（ＣＤＳ）、アナログ増幅処理等が行われる。そして、処理後のアナログ画像データがＡ／Ｄコンバータ１４でデジタル信号に変換され、たとえば画像メモリ１８に一旦格納されてからデジタル信号処理部１６に入力される。
デジタル信号処理部１６において、制御ＣＰＵ２２の制御の下、撮影に先立って撮影のシャッタスピードを決める処理や撮影した画像の明るさや色を調整するための処理等が行われ、画像メモリ１８に格納される。
この画像メモリ１８の画像データは、画像圧縮伸長処理部１７の画像圧縮処理部に読み出され、画像データに所定の圧縮方式に従った圧縮処理が施され、画像メモリ１８に書き込まれる（記録される）。
そして、画像メモリ１８に記録された圧縮画像データがストレージインターフェース２５を介して記録媒体２６に記録される。
【００５６】
通知を受けた制御ＣＰＵ２２上の制御プログラムでは、圧縮データ出力通知検出処理を行う。
【００５７】
図７は、本実施形態に係る記録時の圧縮データ出力通知検出処理を示すフローチャートである。
また、図８は、圧縮データに付与されるチャンクヘッダ（Chunk Header）の構造を示す図である。
図９は、制御メモリ上に形成されるインデックスエントリ（Index Entry）の構造を示す図である。
【００５８】
通知を受けた制御ＣＰＵ２２上の制御プログラムでは、圧縮データ出力通知検出処理において、ストレージインターフェース２５経由で記録媒体２６に記録された圧縮画像データにチャンクヘッダ（Chunk Header）３１０を付与して、図８に示す形式で記録媒体２６に書き込む（ＳＴ１１）。
そして、制御ＣＰＵ２２は、記録した圧縮画像データに対応する図９に示す形式のインデックスエントリ（Index Entry）３２０のデータを制御メモリ２４上に形成（生成)する（ＳＴ１２）。
【００５９】
制御メモリ２４上に形成されるインデックスエントリ（Index Entry）１２０のデータは、図９に示すように、チャンクＩＤ（ChunkID）、フラグ（Flags）、チャンクオフセット（Chunk Offset）、チャンク長（Chunk Length）を含み、各データはそれぞれ３２ビットのデータとなっている。
このインデックスエントリ（Index Entry）３２０のフラグ（Flags）の領域には１２ビットの未使用領域があるので、たとえば図１０に示すように、この未使用領域に記録レートを数値として記録（または、各ビットにレートを割り当て該当するレートのビットに“1”を記録）し、ストリームデータ（Stream Data）として書き込まれた画像データと対となるデータ内に記録レートrec rateを記録していく（ＳＴ１３）。
そして、制御ＣＰＵ２２は、イメージセンサの入力レート、記録レート切替処理を行う（ＳＴ１４）。
【００６０】
図１１は、記録動作中に記録／再生レート切替スイッチが操作されたときの処理を示すフローチャートである。
また、図１２は、図９のイメージセンサの入力レート、記録レート切替処理を具体的に示すフローチャートである。
【００６１】
制御ＣＰＵ２２は記録動作中に記録、再生レート切替スイッチ２３２が操作されると、図１１に示すように、操作に応じて指定されたレートを記録レート管理情報３００の記録レートrec rateに設定する（ＳＴ２１）。すなわち、制御ＣＰＵ２２は、記録レート管理情報３００の記録レートrec rateを指定されたレートで更新する。
そして、制御ＣＰＵ２２は、記録レートの切り替えが行われたことを示すために、記録レート管理情報３００のレート切替フラグchg flagをＯＮに設定する（ＳＴ２２）。
【００６２】
次に、制御ＣＰＵ２２は、図１２に示すイメージセンサの入力レート、記録レート切替処理を行う。
なお、入力レートの切り替えは、後述の再生制御のためにある固定の時間分の画像データ(Ｎフレーム分のデータ)が記録されたタイミングで行い、同一の記録レートの画像データおよびインデックスエントリ（Index Entry）がＮフレーム分連続して記録されるようにする。
レート切替処理においては、図１２に示すように、記録レート管理情報３００の記録済画像データ数rec cntをインクリメントする（ＳＴ１４１）。
次に、記録済画像データ数rec cntがＮフレームとなったか否かを判別し（ＳＴ１４２）、Ｎフレームとなったと判別すると、記録レート管理情報３００のレート切替フラグchg flagがＯＮで、センサ入力レートsens rateと記録レートrec rateが等しいか否かを判別する（ＳＴ１４３）。
ステップＳＴ１４３で肯定的な判別結果が得られると、センサ入力レートを記録レート管理情報３００のセンサ入力レートsens rateの値に変更する（ＳＴ１４５）。
そして、記録レート管理情報３００の記録済画像データ数rec cntを０に設定し、レート切替フラグchg flagをＯＦＦに設定する（ＳＴ１４７）。
これにより、イメージセンサの入力レート、記録レート切替処理が完了する。
【００６３】
図１３は、本実施形態に係る記録停止処理を示すフローチャートである。
【００６４】
最後に、制御ＣＰＵ２２上の制御プログラムは、操作デバイス２３の開始／停止スイッチ（記録停止ボタン）２３１が押下され、または記録媒体２６の空き領域がなくなったことを検出すると、図１３のフローに示す制御を行う。
制御ＣＰＵ２２は、デジタル信号処理部１６、および画像圧縮伸長処理部１７の画像圧縮処理部への記録停止設定を実行する（ＳＴ３１）。
そして、記録停止が完了すると（ＳＴ３２）、制御メモリ２４上のヘッダ部１を更新し、ファイル上の記録済みヘッダ部を上書きする（ＳＴ３３）。
次に、記録媒体２６に記録済のＡＶＩファイルのヘッダ部１およびストリームデータ（Stream Data）部２に制御メモリ２４上のインデックス（Index）部３を結合して、ＡＶＩファイルの生成を行い一連の記録動作を終了する（ＳＴ３４、ＳＴ３５）。
【００６５】
次に、再生時の制御について、図１４〜図２３に関連付けて説明する。
【００６６】
再生時の制御
再生時は再生するAVIファイルを選択した状態で操作デバイス２３の開始／停止スイッチ（再生開始ボタン）２３１が押下されると、図１４のフローに従って再生動作を開始する。
【００６７】
図１４は、本実施形態に係る再生動作開始処理を示すフローチャートである。
【００６８】
図１４の処理においては、操作デバイス２３の開始／停止スイッチ（再生開始ボタン）２３１が押下されると(ＳＴ４０)、ＡＶＩファイルのヘッダ部１を制御メモリ２４に読み出し、ファイル全体の情報およびストリームヘッダ(Stream Header)の情報を取得する（ＳＴ４１）。
次に、ＡＶＩファイルのインデックス部３から先頭のインデックスエントリ（Index Entry）データを読み出す（ＳＴ４２）。
次に、再生レート管理情報の初期設定を行う（ＳＴ４３）。
【００６９】
この再生レート管理情報は、再生レート切替、および再生時の画面表示更新制御の管理情報として制御メモリ２４上に形成される。
【００７０】
図１５は、本実施形態に係る再生レート管理情報のデータ構造例を示す図である。
【００７１】
図１５に示す再生レート管理情報４００は、再生レート切替指示フラグchg flag、切替後の再生レートnext disp rate、現在の再生レートcur disp rate、前回の読み出した記録レートprev rec rate、および表示回数disp cntの各管理情報を含む。
そして、再生レート管理情報４００は、図１４に示されるように、再生レート切替指示フラグchg flagがＯＦＦ、切替後の再生レートnext disp rateが全フレーム再生に、現在の再生レートcur disp rateが全フレーム再生に、前回の読み出した記録レートprev rec rateはステップＳＴ４２で読み出したインデックスエントリの記録レートに、表示回数disp cntが１に初期設定される。
【００７２】
再生動作が開始されると、図１６に示すデータフローのように画像メモリ１８上に表示用画像データが生成され、内蔵ＬＣＤまたは外部モニタ等の表示装置２１に画像が表示されます。
具体的には、読み出したインデックエントリ（Index Entry）のチャンクオフセット(Chunk Offset)、チャンク長(Chunk Length)を元に圧縮画像データを画像メモリ１８上に読み出す（ＳＴ４４）。
次に、画像メモリ１８上の圧縮データを画像圧縮伸長処理部１７の画像伸長処理部で伸長して、一旦画像メモリ１８に格納し、スケーラ１９で表示用画像を生成し（ＳＴ４５）、画像メモリ１８に格納する。
そして、出力先表示装置２１に応じた表示切替通知（Ｖｓｙｎｃ通知）が開始され（ＳＴ４６）、再生中処理へと移行する。
【００７３】
図１７は、本実施形態に係る再生中処理を示すフローチャートである。
【００７４】
再生動作中の制御ＣＰＵ２２上の制御プログラムは、表示切替通知（Ｖｓｙｎｃ通知）を受けるとＡＶＩファイルに記録されている全ての画像データの読み出しが終了するまで図１７のフローに示す制御を行う。
【００７５】
表示切替通知を受信すると（ＳＴ５１）、生成済みの表示用画像を表示装置インターフェース２０に設定し、表示装置２１に画像を表示する（ＳＴ５２）。
次に、再生レート管理情報４００の表示回数disp cntをデクリメントし(ＳＴ５３)、表示回数disp cntが０になったか否かの判別を行う（ＳＴ５４）。
ステップＳＴ５４で表示回数disp cntが０になったと判別すると、全画像データの読み出しが完了したか否かを判別する（ＳＴ５５）。
ステップＳＴ５５で全画像データの読み出しが完了していないと判別すると、再生レートに応じた圧縮画像データの読み出し処理を行い（ＳＴ５６)、画像メモリ１８上の圧縮データを伸長して表示用画像を生成する（ＳＴ５７）。
ステップＳＴ５５で全画像データの読み出しが完了したと判別すると、再生処理を終了する。
【００７６】
図１８は、再生動作中に記録／再生レート切替スイッチが操作されたときの処理を示すフローチャートである。
また、図１９は、図１７の再生レートに応じた圧縮画像データ読み出し処理を具体的に示すフローチャートである。
【００７７】
制御ＣＰＵ２２は、再生動作中に記録／再生レート切替スイッチ２３２が操作されると、図１８のフローに従って、操作に応じて指定されたレートを再生レート管理情報４００の切替後の再生レートnext disp rateに設定する（ＳＴ６１）。すなわち、制御ＣＰＵ２２は、再生レート管理情報４００の切替後の再生レートnext disp ratを指定されたレートで更新する。
そして、制御ＣＰＵ２２は、再生レートの切り替えが行われたことを示すため、再生レート管理情報４００の再生レート切替支持フラグchg flagをＯＮに設定する（ＳＴ６２）。
【００７８】
次に、制御ＣＰＵ２２は、図１９に示す再生レートに応じた圧縮画像データ読み出し処理を行う。
この場合、インデックスエントリ（Index Entry）のフラグ（Flags）領域に予め記録されていた記録レートを元に、この画像データを現在の再生レートで表示する、しないまたは何回表示するのかの判定を行い画像の読み出しと表示装置２１への出力を行う。
【００７９】
具体的には、図１９に示すように、まず、次のインデックスエントリ（Index Entry）の記録レートを取得する（ＳＴ５６１）。
次に、再生レートの切り替えがあるか否かの判別を行う（ＳＴ５６２）。制御ＣＰＵ２２は、再生レート管理情報４００の再生レート切替指示フラグchg flagがＯＮ、ステップＳＴ５６１で取得した記録レートが再生レート管理情報４００の前回の読み出した記録レートprev rec rateと同じ場合には再生レート切替を行う。
再生レートの切り替えが有る場合、制御ＣＰＵ２２は、再生レート管理情報４００の現在の再生レートcur disp rateを切替後の再生レートnext disp rateとし、再生レート切替指示フラグchg flagをＯＦＦに設定する（ＳＴ５６３）。
次に、全フレーム再生が現在の再生レートcur disp rateであり、読み出した記録レートが現在の再生レートcur disp rate以下であるかの判定結果によって、読み出しデータで間引くか読み出しデータを繰り返し表示するかを切り替える。
【００８０】
図２０は、本実施形態に係るインデックスエントリ（Index Entry）の読み出し間隔の定義表の一例を示す図である。
また、図２１は、本実施形態に係る再生レートに対する記録レート画像の繰り返し表示回数の一例を示す図である。
【００８１】
図２０の定義表において、分数表記の意味は、分母を配列の要素数、分子を読み出すデータの数である。
たとえば、３／８の場合は｛１，０，０，１，０，０，１，０｝となる。ここで１は読み出す、０は読み出さないことを意味する。
【００８２】
図２２は、６０ｆｐｓ、９０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓで記録された画像を６０ｆｐｓで通常表示する場合（読み出しを間引く）の例を示す図である。
図２２（Ａ）のように記録されている画像データを、図２２（Ｂ）のように間引いて読み出す。
【００８３】
図２１の例では、分数表記されている部分は、繰り返し表示回数が定義されている配列データを参照する。
たとえば記録レート９０ｆｐｓ、再生レート２４０ｆｐｓの場合は｛３，３，２，３，３，２，３，３，２｝として、９枚単位の画像データに対する表示回数を配列の要素に定義する。
【００８４】
図２３は、６０ｆｐｓ、９０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓで記録された画像を２４０ｆｐｓ相当でスロー再生する場合（表示回数を増やす）の例を示す図である。
図２３（Ａ）のように記録されている画像データを、図２３（Ｂ）のように表示回数を増やして再生する。
【００８５】
ここで、図１９の処理に戻る。
ステップＳＴ５６４で読み出しデータを間引くと判定した場合には、図２０の表を元に、ステップＳＴ５６１で取得した記録レートと再生レート管理情報４００の現在の再生レートcur disp rateから決定したインデックスエントリ（Index Entry）を読み出す（ＳＴ５６５）。
次に、読み出したインデックスエントリ（Index Entry）の記録レートを再生レート管理情報４００の前回の読み出した記録レートprev rec rateに設定する（ＳＴ５６６）。
そして、再生レート管理情報４００の表示回数disp cntを１に設定する（ＳＴ５６７）。
【００８６】
ステップＳＴ５６４で読み出しデータを繰り返し表示すると判定した場合には、インデックスエントリ（Index Entry）を読み出す（ＳＴ５６８）。
次に、読み出したインデックスエントリ（Index Entry）の記録レートを再生レート管理情報４００の前回の読み出した記録レートprev rec rateに設定する（ＳＴ５６９）。
次に、図２１の表を元に読み出したインデックスエントリ（Index Entry）の記録レートと現在の再生レートcur disp rateから決定した表示回数を再生レート管理情報４００のdisp cntに設定する（ＳＴ５７０）。
【００８７】
ステップＳＴ５６７またはステップＳＴ５７０の処理の後、読み出したインデックエントリ（Index Entry）のチャンクオフセット(Chunk Offset)、チャンク長(Chunk Length)を元に圧縮画像データを画像メモリ１８上に読み出す（ＳＴ５７１）。
【００８８】
以上の処理によって、記録時にストリームデータ（Stream Data）と対となるデータであるインデックスエントリ（Index Entry）に記録レートを埋め込み、再生時は記録時に埋め込んでおいた記録レートを参照することで、図２２および図２３に示すように複数の記録レートで記録されている動画を任意の再生レートでの再生を実現することが可能となる。
【００８９】
また、記録時に記録レートを固定時間単位（Ｎフレーム分)でのみ切替可能とすることで、図２０および図２１に示すように再生時のインデックスエントリ（Index Entry）の読み出し間隔および繰り返し表示回数をある固定パターンの繰り返しで表現することを可能とすることができる。
【００９０】
なお、本実施形態では、RIFF AVIファイルフォーマットで示したが、たとえばＭＰＥＧ等のファイルフォーマットで実現する場合は、インデックスエントリ（Index Entry）の代わりにＭＰＥＧのユーザデータ（user_data）フィールドを利用して、記録時にuser_data領域に対して画像単位で記録レートを保持しておき、再生時に保持しておいた記録レートを参照することで一般的なファイルフォーマットを崩すことなく同様の制御を行うことが可能である。
【００９１】
また、ＡＶＩファイルフォーマットに関しても、ストリームデータ（Stream Data）本体の圧縮データフォーマット中にユーザーが任意に使用可能な領域、たとえば、ＪＰＥＧであればＣＯＭマーカー(コメントマーカー)等に記録レートを記録しておくことでも同様の制御を行うことが可能である。
【００９２】
以上説明したように、本実施形態によれば、以下の効果を得ることができる。
動画ファイルに記録される各フレームに記録レートを保持するだけなので、記録時のファイル生成が簡潔に実現できる。
一般的に、使用されているファイルフォーマットの形式に対する、拡張が少ないため、一般的なＰＣ上のプレーヤーソフトウェアでも可変レートの動画を再生することができる。
本実施形態の構成機能を有する再生制御を行うことで、６０ｆｐｓの低速フレームレート固定での再生および動画ファイル中に記録されている高レートで記録されている部分の再生をユーザー操作等の要因によって再生レートを切り替えることができる。
また、図２に示す構成例に対して、サンプリングレートがリニアに変更することが可能な音声出力器を追加することで、固定サンプリングレートで記録された音声データに対して、画像の記録レートを付与し、画像出力時と同様に音声データの出力レートを画像の表示時間と合うように制御することで、画音ありの動画の可変レート再生を実現することも可能となる。
【００９３】
なお、本発明の実施形態は、上述した実施形態に拘泥せず、当業者であれば、本発明の要旨を変更しない範囲内で様々な改変が可能である。
【００９４】
また、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【図面の簡単な説明】
【００９５】
【図１】RIFF AVI ファイルフォーマットを示す図である。
【図２】本発明の実施形態に係る画像処理装置を採用したカメラシステム（撮像装置）の構成例を示すブロック図である。
【図３】本実施形態に係る操作デバイスの要部の構成例を示す図である。
【図４】本実施形態に係る記録動作開始処理を示すフローチャートである。
【図５】本実施形態に係る記録レート管理情報のデータ構造例を示す図である。
【図６】動画記録（撮像）が開始されたときのカメラシステムにおけるデータフローを示す図である。
【図７】本実施形態に係る記録時の圧縮データ出力通知検出処理を示すフローチャートである。
【図８】圧縮データに付与されるチャンクヘッダ（Chunk Header）の構造を示す図である。
【図９】制御メモリ上に形成されるインデックスエントリ（Index Entry）の構造を示す図である。
【図１０】フラグ領域における未使用領域への記録レートの記録例を示す図である。
【図１１】記録動作中に記録／再生レート切替スイッチが操作されたときの処理を示すフローチャートである。
【図１２】図９のイメージセンサの入力レート、記録レート切替処理を具体的に示すフローチャートである。
【図１３】記録停止処理を示すフローチャートである。
【図１４】本実施形態に係る再生動作開始処理を示すフローチャートである。
【図１５】本実施形態に係る再生レート管理情報のデータ構造例を示す図である。
【図１６】再生動作が開始されたときのカメラシステムにおけるデータフローを示す図である。
【図１７】本実施形態に係る再生中処理を示すフローチャートである。
【図１８】再生動作中に記録／再生レート切替スイッチが操作されたときの処理を示すフローチャートである。
【図１９】図１７の再生レートに応じた圧縮画像データ読み出し処理を具体的に示すフローチャートである。
【図２０】本実施形態に係るインデックスエントリ（Index Entry）の読み出し間隔の定義表の一例を示す図である。
【図２１】本実施形態に係る再生レートに対する記録レート画像の繰り返し表示回数の一例を示す図である。
【図２２】６０ｆｐｓ、９０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓで記録された画像を６０ｆｐｓで通常表示する場合（読み出しを間引く）の例を示す図である。
【図２３】６０ｆｐｓ、９０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓで記録された画像を２４０ｆｐｓ相当でスロー再生する場合（表示回数を増やす）の例を示す図である。
【符号の説明】
【００９６】
１０・・・カメラシステム、１１・・・光学系、１２・・・イメージセンサ（撮像素子）、１３・・・アナログ信号処理部、１４・・・アナログ／デジタル（Ａ／Ｄ）コンバータ、１５・・・センサ制御部、１６・・・デジタル信号処理部、１７・・・画像圧縮伸長処理部、１８・・・画像メモリ、１９・・・スケーラ、２０・・・表示装置インインターフェース（Ｉ／Ｆ）、２１・・・表示装置、２２・・・制御ＣＰＵ、２３・・・操作デバイス、２４・・・制御メモリ、２５・・・ストレージインターフェース、２６・・・記憶媒体（外部保存用メモリ）、２７・・・バス。
【図１】
0005018332.tif 000002
【図２】
0005018332.tif 000003
【図３】
0005018332.tif 000004
【図４】
0005018332.tif 000005
【図５】
0005018332.tif 000006
【図６】
0005018332.tif 000007
【図７】
0005018332.tif 000008
【図８】
0005018332.tif 000009
【図９】
0005018332.tif 000010
【図１０】
0005018332.tif 000011
【図１１】
0005018332.tif 000012
【図１２】
0005018332.tif 000013
【図１３】
0005018332.tif 000014
【図１４】
0005018332.tif 000015
【図１５】
0005018332.tif 000016
【図１６】
0005018332.tif 000017
【図１７】
0005018332.tif 000018
【図１８】
0005018332.tif 000019
【図１９】
0005018332.tif 000020
【図２０】
0005018332.tif 000021
【図２１】
0005018332.tif 000022
【図２２】
0005018332.tif 000023
【図２３】
0005018332.tif 000024