(57)【要約】【課題】  複雑な演算処理を行わずに画像表示時の違和感を軽減することができる撮像装置及びその制御方法を提供する。【解決手段】  光学系１及びセンサ２等を用いて撮像する際の記録レート及び表示装置１３又は１４に表示する際の表示レートに基づいて、連続するフィールド間での映像の時間的な更新距離が一定になるように、レート変換部１１が被写体画像に対するフレームの間引き率を決定する。レート変換部１１は、更に、間引き率に基づいて被写体画像に対するフレームの間引きを行い、間引き後のフレームを１又は２以上連続させながら、そのフレームレートを表示レートに一致させる。【選択図】  図１
2006093838.tif 000002
【特許請求の範囲】
【請求項１】
被写体画像を撮像する撮像手段と、
前記撮像手段によって撮像された被写体画像を記録媒体に記録する記録手段と、
前記撮像手段により撮像された被写体画像又は前記記録媒体に記録された被写体画像を選択的に表示装置に表示する表示手段と、
前記撮像手段が撮像する際の記録レート及び前記表示手段が表示する際の表示レートに基づいて、連続するフィールド間での映像の時間的な更新距離が一定になるように、前記表示手段が前記表示装置に表示しようとする被写体画像に対するフレームの間引き率を決定する間引き率決定手段と、
前記間引き率決定手段により決定された間引き率に基づいて、前記被写体画像に対するフレームの間引きを行うフレーム間引き手段と、
前記フレーム間引き手段による間引き後のフレームを１又は２以上連続させながら、そのフレームレートを前記表示レートに一致させるフレームレート変換手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記記録レート又は前記表示レートの少なくとも一方を外部から設定させるインターフェイスを有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記間引き率決定手段は、
前記記録レートと前記表示レートとを比較する比較手段と、
前記比較手段による比較の結果に基づいて、フレームを１枚表示した後にｋ−１枚を間引くことに相当する分周値ｋを算出する分周値算出手段と、
を有し、
前記フレーム間引き手段は、前記分周値ｋに従ってフレームの間引きを行うことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記分周値算出手段は、
前記比較手段による比較の結果、前記記録レートが前記表示レート以下である場合に、前記分周値を１に初期化して前記フレーム間引き手段に提供する第１の初期化手段と、
前記比較手段による比較の結果、前記記録レートが前記表示レートより速い場合に、前記分周値ｋを２に初期化する第２の初期化手段と、
前記第２の初期化手段により初期化された前記分周値ｋに対し、前記記録レートをｋ分周したときのフレームレートが前記表示レート以下となるまで前記分周値ｋを１ずつ増加させ、当該フレームレートが前記表示レート以下となる分周値ｋを前記フレーム間引き手段に提供する分周値インクリメント手段と、
を有することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記記録手段は、
前記撮像手段により撮像された被写体画像の画像データを圧縮し、圧縮画像データを生成する圧縮手段と、
前記圧縮画像データに前記記録レートの情報を付加する記録レート情報付加手段と、
前記圧縮画像データを前記記録媒体に記録する圧縮画像データ記録手段と、
を有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記表示手段は、
前記記録媒体に記録された前記圧縮画像データを読み出して伸長する圧縮画像伸長手段と、
前記圧縮画像データに付加されている前記記録レートの情報を読み出す記録レート情報読み出し手段と、
を有することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記撮像手段による被写体画像の撮像と並行して、前記表示手段が前記撮像手段により撮像された被写体画像を前記表示装置に表示する場合、
前記間引き率決定手段は、前記インターフェイスを介して外部から設定された記録レート及び表示レートに基づいて、フレームの間引き率を決定することを特徴とする請求項２乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記表示手段が前記記録媒体に記録された被写体画像を前記表示装置に表示する場合、
前記間引き率決定手段は、前記圧縮画像データに付加されている前記記録レートの情報及び前記表示レートに基づいて、フレームの間引き率を決定することを特徴とする請求項６に記載の撮像装置。
【請求項９】
前記間引き率決定手段は、前記記録レート、前記表示レート及び、前記表示手段が表示装置に画像を表示する再生速度に基づいて、連続するフィールド間での映像の時間的な更新距離が一定になるように、フレームの間引き率を決定することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
前記間引き率決定手段は、
前記再生速度の撮像速度に対する倍率を前記記録レートに乗算して乗算フレームレートを求める乗算手段と、
前記乗算フレームレートと前記表示レートとを比較する比較手段と、
前記比較手段による比較の結果に基づいて、フレームを１枚表示した後にｋ−１枚を間引くことに相当する分周値ｋを算出する分周値算出手段と、
を有し、
前記フレーム間引き手段は、前記分周値ｋに従ってフレームの間引きを行うことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記分周値算出手段は、
前記比較手段による比較の結果、前記乗算フレームレートが前記表示レート以下である場合に、前記分周値を１に初期化して前記フレーム間引き手段に提供する第１の初期化手段と、
前記比較手段による比較の結果、前記乗算フレームレートが前記表示レートより速い場合に、前記分周値ｋを２に初期化する第２の初期化手段と、
前記第２の初期化手段により初期化された前記分周値ｋに対し、前記乗算フレームレートをｋ分周したときのフレームレートが前記表示レート以下となるまで前記分周値ｋを１ずつ増加させ、当該フレームレートが前記表示レート以下となる分周値ｋを前記フレーム間引き手段に提供する分周値インクリメント手段と、
を有することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記インターフェイスを介して画像記録時に表示レートが設定されると、当該表示レートと等しいフレームレートに前記記録レートが設定されることを特徴とする請求項２乃至１１のいずれか１項に記載の撮像装置。
【請求項１３】
前記表示装置は、表示レートを切り替えることが可能に構成されており、
前記表示手段が前記表示装置に被写体画像を表示する際に、前記表示レートを前記記録レートと等しいフレームレートに設定する表示レート設定手段を有することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
【請求項１４】
前記表示装置は着脱可能であることを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
【請求項１５】
被写体画像を撮像する撮像手段、前記撮像手段によって撮像された被写体画像を記録媒体に記録する記録手段、及び前記撮像手段により撮像された被写体画像又は前記記録媒体に記録された被写体画像を選択的に表示装置に表示する表示手段を備えた撮像装置を制御する方法であって、
前記撮像手段が撮像する際の記録レート及び表示手段が表示する際の表示レートに基づいて、連続するフィールド間での映像の時間的な更新距離が一定になるように、前記表示装置に表示しようとする被写体画像に対するフレームの間引き率を決定する間引き率決定ステップと、
前記間引き率決定ステップにおいて決定された間引き率に基づいて、前記被写体画像に対するフレームの間引きを行うフレーム間引きステップと、
前記フレーム間引きステップにおける間引き後のフレームを１又は２以上連続させながら、そのフレームレートを前記表示レートに一致させるフレームレート変換ステップと、
前記フレームレート変換ステップにおける処理後のフレームレートで前記被写体画像を前記表示装置に表示する表示ステップと、
を有することを特徴とする撮像装置の制御方法。
【請求項１６】
被写体画像を撮像する撮像手段、前記撮像手段によって撮像された被写体画像を記録媒体に記録する記録手段、及び前記撮像手段により撮像された被写体画像又は前記記録媒体に記録された被写体画像を選択的に表示装置に表示する表示手段を備えた撮像装置を制御するプログラムであって、
コンピュータに、
前記撮像手段が撮像する際の記録レート及び表示手段が表示する際の表示レートに基づいて、連続するフィールド間での映像の時間的な更新距離が一定になるように、前記表示装置に表示しようとする被写体画像に対するフレームの間引き率を決定する間引き率決定手順と、
前記間引き率決定手順において決定された間引き率に基づいて、前記被写体画像に対するフレームの間引きを行うフレーム間引き手順と、
前記フレーム間引き手順における間引き後のフレームを１又は２以上連続させながら、そのフレームレートを前記表示レートに一致させるフレームレート変換手順と、
前記フレームレート変換手順における処理後のフレームレートで前記被写体画像を前記表示装置に表示する手順と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録時のフレームレートと再生時のフレームレートが異なる場合においてレート変換処理手段を有する撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
画像データの記録時、再生時においてＮＴＳＣとＰＡＬとの切り替えが可能である撮像装置では、記録した画像データのフレームレートと表示装置の表示方式とが相違する場合がある。
【０００３】
この問題を解決するために、フレームレートを変換する技術が開示されている（特許文献１及び２）。
【０００４】
例えば、特許文献１には、画像データの記録時と再生時とでフレームレートが相違する場合に、表示レートに合わせて画像データを出力するために間引きによるフレームレート変換処理を行う方法が開示されている。この方法では、例えば、ＮＴＳＣ（６０ｆｐｓ）で記録した画像データをＰＡＬ（５０ｆｐｓ）で表示する場合に、図３に示すように、６枚の画像につき１枚の画像を単純に間引くことでフレームレート変換を行っている。
【０００５】
しかしながら、このような従来の方法では、突然のコマ落ちが生じるため、動画再生の際に、違和感が生じてしまうという問題点がある。
【０００６】
また、特許文献２には、コマ落ちに伴う違和感を抑制するために、隣接する２つのフレーム間で画像を基準とした重み付けを行い、すべてのフレームに評価値を割り当て、その評価値を基に間引きフレームを決定する方法が開示されている。
【０００７】
しかしながら、このような従来の方法を実施するためには、間引きフレームを決定するために複数のフレームを蓄積する必要があるため、大容量のメモリが必要となる。また、間引きフレームを決定する演算処理が必要であるため、画像データの読み出しから画像表示までの遅延時間が長くなるという問題点もある。このような遅延時間が長くなると、撮影時のファインダ動作には適さない。
【０００８】
【特許文献１】特開２００４−８０３２７号公報
【特許文献２】特開２００４−４８５３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、複雑な演算処理を行わずに画像表示時の違和感を軽減することができる撮像装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本願発明者は、前記課題を解決すべく鋭意検討を重ねた結果、以下に示す発明の諸態様に想到した。
【００１１】
本発明に係る撮像装置は、被写体画像を撮像する撮像手段と、前記撮像手段によって撮像された被写体画像を記録媒体に記録する記録手段と、前記撮像手段により撮像された被写体画像又は前記記録媒体に記録された被写体画像を選択的に表示装置に表示する表示手段と、前記撮像手段が撮像する際の記録レート及び前記表示手段が表示する際の表示レートに基づいて、連続するフィールド間での映像の時間的な更新距離が一定になるように、前記表示手段が前記表示装置に表示しようとする被写体画像に対するフレームの間引き率を決定する間引き率決定手段と、前記間引き率決定手段により決定された間引き率に基づいて、前記被写体画像に対するフレームの間引きを行うフレーム間引き手段と、前記フレーム間引き手段による間引き後のフレームを１又は２以上連続させながら、そのフレームレートを前記表示レートに一致させるフレームレート変換手段と、を有することを特徴とする。
【００１２】
本発明に係る撮像装置の制御方法は、被写体画像を撮像する撮像手段、前記撮像手段によって撮像された被写体画像を記録媒体に記録する記録手段、及び前記撮像手段により撮像された被写体画像又は前記記録媒体に記録された被写体画像を選択的に表示装置に表示する表示手段を備えた撮像装置を制御する方法であって、前記撮像手段が撮像する際の記録レート及び表示手段が表示する際の表示レートに基づいて、連続するフィールド間での映像の時間的な更新距離が一定になるように、前記表示装置に表示しようとする被写体画像に対するフレームの間引き率を決定する間引き率決定ステップと、前記間引き率決定ステップにおいて決定された間引き率に基づいて、前記被写体画像に対するフレームの間引きを行うフレーム間引きステップと、前記フレーム間引きステップにおける間引き後のフレームを１又は２以上連続させながら、そのフレームレートを前記表示レートに一致させるフレームレート変換ステップと、前記フレームレート変換ステップにおける処理後のフレームレートで前記被写体画像を前記表示装置に表示する表示ステップと、を有することを特徴とする。
【００１３】
本発明に係るプログラムは、被写体画像を撮像する撮像手段、前記撮像手段によって撮像された被写体画像を記録媒体に記録する記録手段、及び前記撮像手段により撮像された被写体画像又は前記記録媒体に記録された被写体画像を選択的に表示装置に表示する表示手段を備えた撮像装置を制御するプログラムであって、コンピュータに、前記撮像手段が撮像する際の記録レート及び表示手段が表示する際の表示レートに基づいて、連続するフィールド間での映像の時間的な更新距離が一定になるように、前記表示装置に表示しようとする被写体画像に対するフレームの間引き率を決定する間引き率決定手順と、前記間引き率決定手順において決定された間引き率に基づいて、前記被写体画像に対するフレームの間引きを行うフレーム間引き手順と、前記フレーム間引き手順における間引き後のフレームを１又は２以上連続させながら、そのフレームレートを前記表示レートに一致させるフレームレート変換手順と、前記フレームレート変換手順における処理後のフレームレートで前記被写体画像を前記表示装置に表示する手順と、を実行させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、間引き処理後の画像データの連続するフィールド間での映像の時間的な更新距離が一定になるようにフレームを間引くため、フレームレートの高い動画を扱う場合でも、突然のコマ落ちによって生じる違和感を軽減することができる。また、このような間引き処理を行うためには、重み付け等の複雑な演算処理は必要とならないため、例えば撮影時のファインダ動作に使用しても、長い遅延時間をかけることなく、画像データの読み出しから画像表示までの処理を行うことができる。更に、容易に再生速度を考慮した制御を行うことも可能であるため、このような制御を行うことにより、例えばスロー再生時に、高いフレームレートで記録された映像に応じて滑らかな変化で画像表示を行うことも可能である。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態について添付の図面を参照して具体的に説明する。
【００１６】
（第１の実施形態）
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。
【００１７】
本実施形態に係る撮像装置には、光学系１、センサ２、Ａ／Ｄ変換部３、信号処理部４、エンコード部５、センサ駆動タイミング生成部６、操作部７、メモリＩ／Ｆ部８、記録媒体９、デコード部１０、レート変換部１１、画像再生Ｉ／Ｆ部１２、第１の表示装置１３、及び第２の表示装置１４が設けられている。
【００１８】
光学系１は、例えば被写体光を結像させる光学レンズで構成されている。センサ２は、光学系１によって結像された被写体光をアナログ画像信号に変換し出力する。Ａ／Ｄ変換部３は、センサ２から出力されたアナログ画像信号をデジタル信号に変換し出力する。信号処理部４は、Ａ／Ｄ変換部３から出力された画像データ（デジタル信号）に対して色差マトリクス変換処理を行うことにより、色差信号及び輝度信号を生成し、更にアパーチャー補正、ガンマ補正等の信号処理を施し出力する。エンコード部５は、信号処理部４から出力された色差信号及び輝度信号をＪＰＥＧやＭＰＥＧ形式等の圧縮データに圧縮する。この際、エンコード部５は、圧縮データにヘッダー情報として記録フレームレートを含ませる。メモリＩ／Ｆ部８は、画像記録時にはエンコード部５から出力された圧縮画像データを記録媒体９に書き込む。一方、画像再生時にはメモリＩ／Ｆ部８は記録媒体９に記録された圧縮画像データを読み出しデコード部１０に出力する。デコード部１０は、画像再生時にメモリＩ／Ｆ部８が読み出された圧縮画像データを伸長し、伸長後の画像データを出力する。レート変換部１１は、デコード部１０から出力された画像データのフレームレート等に基づいて、フレームの間引き処理やフレームレート変換処理を行うことにより、第１又は第２の表示装置１３、１４の表示レートに変換する。レート変換部１１の詳細については、図２を参照しながら後述する。画像再生Ｉ／Ｆ部１２は、レート変換部１１から出力された画像データを第１の表示装置１３又は第２の表示装置１４の入力形式に合わせて、同期信号の付加、Ｄ／Ａ変換処理、ゲイン調整等を行って第１又は第２の表示装置１３、１４に画像信号を出力する。第１の表示装置１３は、例えばＰＡＬ方式のモニタ（表示レート：５０ｆｐｓ）であり、第２の表示装置１４は、例えば表示レートを５０ｆｐｓと６０ｆｐｓとに切り替えることが可能で、且つ着脱可能な液晶表示装置（ＬＣＤ）である。
【００１９】
また、操作部７は、センサ駆動タイミング生成部６の動作を制御し、センサ２を駆動するタイミング信号の駆動周期をセンサ駆動タイミング生成部６に切り替えさせる。このような制御により、操作部７で設定された記録レートで画像を記録することができる。また、操作部７は、画像再生時に画像再生Ｉ／Ｆ部１２及びレート変換部１１へ制御信号を出力し、これらに画像信号出力表示レートを切り替えさせる。このような制御により、操作部７で設定された表示レートで画像を出力表示することができる。
【００２０】
ここで、レート変換部１１について説明する。図２は、レート変換部１１の構成を示すブロック図である。レート変換部１１には、間引き処理部２１、フレームレート変換処理部３１及びフレームレート変換制御部３６が設けられている。間引き処理部２１には、第１のフレームメモリ２３、第２のフレームメモリ２４、間引き用フレームメモリ書き込み部２２及び間引き用フレームメモリ読み出し部２５が設けられている。また、フレームレート変換処理部３１には、第３のフレームメモリ３３、第４のフレームメモリ３４、レート変換用フレームメモリ書き込み部３２及びレート変換用フレームメモリ読み出し部３５が設けられている。間引き用フレームメモリ書き込み部２２、間引き用フレームメモリ読み出し部２５、レート変換用フレームメモリ書き込み部３２及びレート変換用フレームメモリ読み出し部３４は、各々独立的にフレームレート変換制御部３６からの制御信号によって制御される。フレームレート変換制御部３６は、図９に示すアルゴリズムに従いフレーム間引き数ｎを決定し制御信号を出力する。
【００２１】
ここで、フレームレート変換制御部３６の動作について、図９を参照しながら説明する。
【００２２】
フレームレート変換制御部３６は、操作部７で設定された記録レートと表示レートとを比較し（ステップＳ１０）、記録レートが表示レートよりも速い場合には、分周値ｋを２に初期化する（ステップＳ１１）。その後、表示レートが、分周値ｋでｋ分周された記録レートよりも速くなるまで、分周値ｋを１ずつ増加する（ステップＳ１３及びＳ１４）。
【００２３】
そして、ステップＳ１３において、表示レートが、ｋ分周された記録レート以上となると、つまり、表示レートが記録レート以上となる記録レートの分周値ｋが得られると、フレーム間引き数ｎを「ｋ−１」と定める（ステップＳ１５）。即ち、操作部７で設定された記録レートが設定された表示レートよりも速い場合には、ｋ分周された記録レートが表示レート以下となり、且つ最も近い値になるように分周値ｋが設定され、それに基づいてフレーム間引き数ｎを決定する。
【００２４】
一方、ステップＳ１０の判断の結果、記録レートが表示レート以下であれば、分周値ｋを１に初期化する（ステップＳ１２）。その後、ステップＳ１５の処理を行う。但し、この場合、分周値ｋが１であるため、フレーム間引き数ｎは０となる。従って、記録レートが表示レート以下の場合には、レート変換部１１は、間引き処理を行わずに画像データを出力することとなる。
【００２５】
このようにして、フレームレート変換制御部３６により、操作部７で設定される記録レート及び表示レートに基づいてフレーム間引き数ｎが決定され、このフレーム間引き数ｎに基づいて、レート変換部１１が間引き処理を行う。この間引き処理については、後述する。
【００２６】
次に、本実施形態に係る撮像装置の記録時及び再生時の動作について、図１及び図２を参照しながら説明する。但し、上述のように、記録レートが表示レート以下の場合は、間引き処理を行わないので、ここでは、記録レートよりも表示レートの方が遅い場合の動作について説明する。
【００２７】
＜記録時の動作について＞
ここでは、記録レートよりも表示レートの方が遅い場合の例として、記録レートが６０ｆｐｓで表示レートが５０ｆｐｓの場合の記録時の動作について説明する。
【００２８】
先ず、画像信号を記録する動作について説明する。
【００２９】
先ず、使用者が操作部７において記録レートを６０ｆｐｓと設定する。この結果、センサ駆動タイミング生成部６は、６０ｆｐｓのレートで画像信号を取り込むように駆動信号をセンサ２へ出力するようになる。そして、このような設定がなされた状態で、画像撮像の開始の指示があると、被写体像が光学系１によって結像され、６０ｆｐｓのレートで、センサ２内の撮像素子によりアナログ画像信号に変換されて取り込まれる。得られたアナログ画像信号はＡ／Ｄ変換部３によりアナログ信号からデジタル信号に変換される。その後、デジタル信号は、信号処理部４による色差マトリクス変換処理の結果、色差信号及び輝度信号に変換され、更に、アパーチャー補正、ガンマ補正等の信号処理が施される。更に、エンコード部５により、これらの色差信号及び輝度信号はＪＰＥＧ又はＭＰＥＧ形式等の圧縮データに圧縮されると共に、記録時のフレームレートである６０ｆｐｓがヘッダー情報として圧縮データに付加される。そして、この圧縮データはメモリＩ／Ｆ部８を介して記録媒体９に記録される。
【００３０】
次に、記録時における第１の表示装置１３のファインダ動作について説明する。
【００３１】
先ず、使用者が操作部７において、記録レートを６０ｆｐｓと設定し、第１の表示装置１３（例えばＰＡＬ方式のモニタ）や第２の表示装置１４（例えばＬＣＤ）の表示レートに合わせ、表示レートを５０ｆｐｓと設定する。この結果、センサ駆動タイミング生成部６は、６０ｆｐｓのレートで画像信号を取り込むように駆動信号をセンサ２へ出力するようになる。また、画像再生Ｉ／Ｆ部１２及びレート変換部１１には、ファインダ動作時に５０ｆｐｓの表示レートで画像データを出力するように制御信号が操作部７から出力される。そして、このような設定がなされた状態で、画像撮像の開始の指示があると、上述のようにして、圧縮データの記録媒体９への記録が行われると共に、この処理と並行して次のような表示処理が行われる。
【００３２】
信号処理部４による処理が終了すると、レート変換部１１は、操作部７で設定された表示レート及び記録レートに基づいて、次のようなフレームレート変換処理を行う。即ち、先ず、フレームレート変換制御部３６が、図９に示すアルゴリズムに従い、連続するフィールド間での映像の時間的な更新距離が一定になるようフレーム間引き数ｎを決定し、制御信号を出力する。この例では、記録レートが６０ｆｐｓ、表示レートが５０ｆｐｓと設定されており、記録レート（６０ｆｐｓ）が表示レート（５０ｆｐｓ）よりも速いため、フレームレート変化制御部３６は、分周値ｋを２に初期化する（ステップＳ１０及びＳ１１）。その後、表示レートが、ｋ分周された記録レートよりも速くなるまで、分周値ｋを１ずつ増やす（ステップＳ１３及びＳ１４）。この例では、分周値ｋが２のときに、「表示レート（５０ｆｐｓ）≧記録レート（６０ｆｐｓ）／２」となるため、分周値ｋは２となる。次いで、フレームレート変化制御部３６は、フレーム間引き数ｎとして「ｋ−１＝１」を設定する（ステップＳ１５）。この結果、フレームレート変換制御部３６は、１枚ずつフレームを間引くように制御信号を出力することとなる。
【００３３】
ここで、６０ｆｐｓの記録レートで記録された画像データの更新周期は１／６０＝約１６．７ｍｓｅｃであり、５０ｆｐｓの表示レートで再生される画像データの更新周期は１／５０＝約２０ｍｓｅｃとなる。このため、図３に示す従来の間引き処理のように、６枚に１枚の割合で間引き処理を行うと、連続するフィールド間での映像の時間的な更新距離には、約１６．７ｍｓｅｃの場合と約３３．３ｍｓｅｃの場合とが混在する。従来の方法では、この時間的な更新距離が一定でないため、画像再生の際に違和感が生じるのである。これに対し、本実施形態では、フレームレート変換制御部３６が、１／２レートの間引き（３０ｆｐｓに相当する）を行うため、時間的な更新距離を一定にすることができるのである。この結果、間引き後の連続するフィールド間での映像の時間的な更新距離は約３３．３ｍｓｅｃの一定したものとなる。
【００３４】
図４は、記録レートが６０ｆｐｓ、表示レートが５０ｆｐｓのときのレート変換処理を示す図である。ここで、図２及び図４を参照しながら、レート変換部１１の動作説明について説明する。
【００３５】
先ず、間引き処理部２１において、間引き用フレームメモリ書き込み部２２がフレームレート変換制御部３６からの制御信号に基づいて、信号処理部４から出力された画像データを第１のフレームメモリ２３及び第２のフレームメモリ２４に交互に書き込む。例えば、図４において、奇数番目のフレーム１、３、５、７・・・を第１のフレームメモリ２３に書き込み、偶数番目のフレーム２、４、６、８・・・を第２のフレームメモリ２４に書き込む。
【００３６】
次に、間引き用フレームメモリ読み出し部２５がフレームレート変換制御部３６からの制御信号に基づいて、第１のフレームメモリ２３からのみフレームデータを読み出す。この結果、間引き後の画像データのフレームレートが３０ｆｐｓとなって表示レートよりも遅くなる。
【００３７】
次いで、フレームレート変換処理部３１において、間引き後の３０ｆｐｓの画像データを表示装置の表示レートである５０ｆｐｓに変換するために、フレーム毎に繰り返し表示する回数が決められる。即ち、先ず、レート変換用フレームメモリ書き込み部３２が、間引き処理部２１（間引き用フレームメモリ読み出し部２５）から出力されたフレームデータを第３のフレームメモリ３３及び第４のフレームメモリ３４に交互に書き込む。つまり、図４に示す例では、フレーム１、５、９・・・を第３のフレームメモリ３３に書き込み、フレーム３、７、１１・・・を第４のフレームメモリ３４に書き込む。
【００３８】
その後、レート変換用フレーム読み込み部３４が、フレームレート変換制御部３６からの制御信号に基づいて、第３のフレームメモリから２回、第４のフレームメモリ３４から２回、第３のフレームメモリから１回、第４のフレームメモリから２回、第３のフレームメモリ３４から２回、第４のフレームメモリから１回という読み出しを繰り返し行う。この結果、図４に示すように、フレーム１を２回、フレーム３を２回、フレーム５を１回というように、３枚のフレームを２回、２回、１回と合計５回繰り返し読み出すことになり、３０ｆｐｓの画像データが５０ｆｐｓにレート変換される。そして、５０ｆｐｓにレート変換された画像データが画像再生Ｉ／Ｆ部１２に出力され、第１の表示装置１３に表示される。
【００３９】
このようにして、本実施形態では、第１の表示装置１３のファインダ動作時に、画像再生Ｉ／Ｆ部１２及びレート変換部１１が５０ｆｐｓの表示レートで画像信号を出力するように制御される。
【００４０】
また、記録時には、第２の表示装置１４に撮像画像を表示することも可能である。上述のように、第２の表示装置１４は、例えば表示レートを６０ｆｐｓと５０ｆｐｓとに切り替えることが可能なＬＣＤである。従って、上述のように操作部７において記録レートが６０ｆｐｓに設定されている場合には、画像再生Ｉ／Ｆ部１２からは画像データと共に、６０ｆｐｓの表示レート制御信号が第２の表示装置１４に送られ、第２の表示装置１４は６０ｆｐｓの表示レートで画像表示を行う。
【００４１】
＜再生時の動作について＞
ここでは、記録レートよりも表示レートの方が遅い場合の例として、記録レートが６０ｆｐｓで表示レートが５０ｆｐｓの場合の再生時の動作について説明する。
【００４２】
先ず、使用者が操作部７において、第１の表示装置１３（例えばＰＡＬ方式のモニタ）や第２の表示装置１４（例えばＬＣＤ）の表示レートに合わせ、表示レートを５０ｆｐｓと設定する。この結果、画像再生Ｉ／Ｆ部１２及びレート変換部１１には、画像再生時に５０ｆｐｓの表示レートで画像データを出力するように制御信号が操作部７から出力される。そして、このような設定がなされた状態で、画像再生の開始の指示があると、記録媒体９からメモリＩ／Ｆ部８を介して、圧縮データが読み出されると共に、圧縮データにヘッダー情報として付加されている記録レート（６０ｆｐｓ）も読み出される。デコード部１０は、読み出された圧縮画像データを伸長した後、レート変換部１１へ画像データ及び記録レートをレート変換部１１へ出力する。
【００４３】
レート変換部１１は、記録レート及び操作部７からの制御信号に基づいて、次のようなフレームレート変換処理を行う。即ち、先ず、フレームレート変換制御部３６が、図９に示すアルゴリズムに従い、連続するフィールド間での映像の時間的な更新距離が一定になるようフレーム間引き数ｎを決定し、制御信号を出力する。この例では、ヘッダー情報から読み出された記録レートが６０ｆｐｓ、操作部７で設定された表示レートが５０ｆｐｓであり、記録レート（６０ｆｐｓ）が表示レート（５０ｆｐｓ）よりも速いため、フレームレート変化制御部３６は、分周値ｋを２に初期化する（ステップＳ１０及びＳ１１）。その後、表示レートが、ｋ分周された記録レートよりも速くなるまで、分周値ｋを１ずつ増やす（ステップＳ１３及びＳ１４）。この例では、分周値ｋが２のときに、「表示レート（５０ｆｐｓ）≧記録レート（６０ｆｐｓ）／２」となるため、分周値ｋは２となる。次いで、フレームレート変化制御部３６は、フレーム間引き数ｎとして「ｋ−１＝１」を設定する（ステップＳ１５）。この結果、フレームレート変換制御部３６は、１枚ずつフレームを間引くように制御信号を出力することとなる。
【００４４】
そして、上述のファインダ動作のフレームレート変換処理と同様にして、間引き処理部２１が１枚ずつフレームを間引き、フレームレート変換処理部３１が、３０ｆｐｓの画像データをフレームの繰り返し表示によって、５０ｆｐｓにレート変換する。
【００４５】
このような画像再生動作により、間引き後の連続するフィールド間での映像の時間的な更新距離は一定したものとなる。そして、５０ｆｐｓにレート変換された画像データが画像再生Ｉ／Ｆ部１２に出力され、第１の表示装置１３又は第２の表示装置１４に表示される。
【００４６】
このようにして、本実施形態では、画像再生時に、画像再生Ｉ／Ｆ部１２及びレート変換部１１が５０ｆｐｓの表示レートで画像信号を出力するように制御される。
【００４７】
次に、フレーム間引き数ｎが１とならない場合の画像表示について説明する。ここでは、例として、記録レートが１２０ｆｐｓで表示レートが５０ｆｐｓである場合、及び記録レートが１２０ｆｐｓで表示レートが５９．９４ｆｐｓの場合の２つの場合について説明する。
【００４８】
記録レートが１２０ｆｐｓで表示レートが５０ｆｐｓである場合、使用者が操作部７において、記録レートを１２０ｆｐｓと設定する。この結果、センサ駆動タイミング生成部６は、１２０ｆｐｓのレートで画像信号を取り込むように駆動信号をセンサ２へ出力するようになる。そして、上述のような記録時の動作と同様にして、記録媒体９にフレームレートが１２０ｆｐｓの圧縮データが記録される。
【００４９】
ここで、このような１２０ｆｐｓで記録された圧縮データの画像再生を、５０ｆｐｓの表示レートで行う方法について、図２及び図５を参照しながら説明する。第１の表示装置１３がＰＡＬ方式のモニタである場合、使用者は操作部７において表示レートを５０ｆｐｓと設定する。この結果、画像再生Ｉ／Ｆ部１２及びレート変換部１１には、画像再生時に５０ｆｐｓの表示レートで画像データを出力するように制御信号が操作部７から出力される。
【００５０】
そして、レート変換部１１においては、フレームレート変換制御部３６が、図９に示すアルゴリズムに従い、連続するフィールド間での映像の時間的な更新距離が一定になるようフレーム間引き数ｎを決定し、制御信号を出力する。この例では、ヘッダー情報から読み出された記録レートが１２０ｆｐｓであり、操作部７で設定された表示レートが５０ｆｐｓであり、記録レート（１２０ｆｐｓ）が表示レート（５０ｆｐｓ）よりも速いため、フレームレート変化制御部３６は、分周値ｋを２に初期化する（ステップＳ１０及びＳ１１）。その後、表示レートが、ｋ分周された記録レートよりも速くなるまで、分周値ｋを１ずつ増やす（ステップＳ１３及びＳ１４）。この例では、分周値ｋが３のときに、「表示レート（５０ｆｐｓ）≧記録レート（１２０ｆｐｓ）／３」となるため、分周値ｋは３となる。次いで、フレームレート変化制御部３６は、フレーム間引き数ｎとして「ｋ−１＝２」を設定する（ステップＳ１５）。この結果、フレームレート変換制御部３６は、２枚ずつフレームを間引くように制御信号を出力することとなる。
【００５１】
その後、間引き用フレームメモリ書き込み部２２がフレームレート変換制御部３６からの制御信号に基づいて、デコード部１０から出力された画像データに対し、連続する３枚のフレームのフレームデータの間で、最初の１枚のみを第１のフレームメモリ２３に書き込んだ後、残りの２枚を第２のフレームメモリ２４に書き込むという動作を繰り返す。例えば、図５において、フレーム１を第１のフレームメモリ２３に書き込んだ後、フレーム２及び３を第２のフレームメモリ２４に書き込み、フレーム４を第１のフレームメモリ２３に書き込んだ後、フレーム５及び６を第２のフレームメモリ２４に書き込むという動作を繰り返す。
【００５２】
次に、間引きフレーム読み出し部２５がフレームレート変換制御部３６からの制御信号に基づいて、第１のフレームメモリ２３からのみフレームデータを読み出す。この結果、間引き後の画像データのフレームレートが４０ｆｐｓとなって表示レートよりも遅くなると共に、連続するフィールド間での映像の時間的な更新距離である時間差Ｔが等しくなる。
【００５３】
次いで、フレームレート変換処理部３１において、間引き後の４０ｆｐｓの画像データを表示装置の表示レートである５０ｆｐｓに変換するために、フレーム毎に繰り返し表示する回数が決められる。即ち、先ず、レート変換用フレームメモリ書き込み部３２が、入力されるフレームデータを第３のフレームメモリ３３及び第４のフレームメモリ３４に交互に書き込む。
【００５４】
その後、レート変換用フレームメモリ読み出し部３４が、フレームレート変換制御部３６からの制御信号に基づいて、間引き後に連続する４枚のフレームに対し、第３のフレームメモリ３３から２回、第４のフレームメモリ３４から１回、第３のフレームメモリ３３から１回、第４のフレームメモリ３４から１回という読み出しを繰り返す。この結果、図５に示すように、フレーム１を２回、フレーム４を１回、フレーム７を１回、フレーム１０を１回というように、４枚のフレームを２回、１回、１回、１回と合計５回繰り返し読み出すことになり、４０ｆｐｓの画像データが５０ｆｐｓにレート変換される。
【００５５】
このような動作によれば、間引き後のフレームデータ間において時間差Ｔが等しいため、違和感のない画像表示が可能である。
【００５６】
一方、記録レートが１２０ｆｐｓで表示レートが５９．９４ｆｐｓである場合、使用者が操作部７において、記録レートを１２０ｆｐｓと設定する。この結果、センサ駆動タイミング生成部６は、１２０ｆｐｓのレートで画像信号を取り込むように駆動信号をセンサ２へ出力するようになる。そして、上述のような記録時の動作と同様にして、記録媒体９にフレームレートが１２０ｆｐｓの圧縮データが記録される。
【００５７】
ここで、このような１２０ｆｐｓで記録された圧縮データの画像再生を、５９．９４ｆｐｓの表示レートで行う方法について、図２及び図６を参照しながら説明する。この場合、使用者は操作部７において表示レートを５９．９４ｆｐｓと設定する。この結果、画像再生Ｉ／Ｆ部１２及びレート変換部１１には、画像再生時に５９．９４ｆｐｓの表示レートで画像データを出力するように制御信号が操作部７から出力される。
【００５８】
そして、レート変換部１１においては、フレームレート変換制御部３６が、図９に示すアルゴリズムに従い、連続するフィールド間での映像の時間的な更新距離が一定になるようフレーム間引き数ｎを決定し、制御信号を出力する。この例では、ヘッダー情報から読み出された記録レートが１２０ｆｐｓであり、操作部７で設定された表示レートが５９．９４ｆｐｓであり、記録レート（１２０ｆｐｓ）が表示レート（５９．９４ｆｐｓ）よりも速いため、フレームレート変化制御部３６は、分周値ｋを２に初期化する（ステップＳ１０及びＳ１１）。その後、表示レートが、ｋ分周された記録レートよりも速くなるまで、分周値ｋを１ずつ増やす（ステップＳ１３及びＳ１４）。この例では、分周値ｋが３のときに、「表示レート（５９．９４ｆｐｓ）≧記録レート（１２０ｆｐｓ）／３」となるため、分周値ｋは３となる。次いで、フレームレート変化制御部３６は、フレーム間引き数ｎとして「ｋ−１＝２」を設定する（ステップＳ１５）。この結果、フレームレート変換制御部３６は、２枚ずつフレームを間引くように制御信号を出力することとなる。
【００５９】
その後、間引き用フレームメモリ書き込み部２２がフレームレート変換制御部３６からの制御信号に基づいて、デコード部１０から出力された画像データに対し、上記の例と同様に、連続する３枚のフレームのフレームデータの間で、最初の１枚のみを第１のフレームメモリ２３に書き込んだ後、残りの２枚を第２のフレームメモリ２４に書き込むという動作を繰り返す。例えば、図６において、フレーム１を第１のフレームメモリ２３に書き込んだ後、フレーム２及び３を第２のフレームメモリ２４に書き込み、フレーム４を第１のフレームメモリ２３に書き込んだ後、フレーム５及び６を第２のフレームメモリ２４に書き込むという動作を繰り返す。
【００６０】
次に、間引きフレーム読み出し部２５がフレームレート変換制御部３６からの制御信号に基づいて、第１のフレームメモリ２３からのみフレームデータを読み出す。この結果、間引き後の画像データのフレームレートが４０ｆｐｓとなって表示レートよりも遅くなると共に、連続するフィールド間での映像の時間的な更新距離である時間差Ｔが等しくなる。
【００６１】
次いで、フレームレート変換処理部３１において、間引き後の４０ｆｐｓの画像データを表示装置の表示レートである５０ｆｐｓに変換するために、フレーム毎に繰り返し表示する回数が決められる。即ち、先ず、レート変換用フレームメモリ書き込み部３２が、入力されるフレームデータを第３のフレームメモリ３３及び第４のフレームメモリ３４に交互に書き込む。
【００６２】
その後、レート変換用フレームメモリ読み出し部３４が、フレームレート変換制御部３６からの制御信号に基づいて、間引き後に連続する２枚のフレームに対し、第３のフレームメモリ３３から２回、第４のフレームメモリ３４から１回という読み出しを繰り返す。この結果、図６に示すように、フレーム１を２回、フレーム４を１回というように、２枚のフレームを２回、１回と合計５回繰り返し読み出すことになり、４０ｆｐｓの画像データが６０ｆｐｓにレート変換される。
【００６３】
しかし、設定された表示レートは６０ｆｐｓではなく、５９．９４ｆｐｓであるため、ずれが生じてしまう。
【００６４】
そこで、本実施形態では、例えば
（１）１〜５０１枚目のフレームに対しては、上記のような２回の読み出しと１回の読み出しを繰り返し、
（２）５０２枚目のフレームに対しては、１回の読み出しを行い、
（３）５０３〜１０００枚目のフレームに対しては、上記のような２回の読み出しと１回の読み出しを繰り返し、
（４）１００１枚目のフレームに対しては、１回の読み出しを行い、
（５）１００２〜１４９９枚目のフレームに対しては、上記のような２回の読み出しと１回の読み出しを繰り返し、
（６）１５００枚目のフレームに対しては、１回の読み出しを行い、
（７）１５０１〜１９９８枚目のフレームに対しては、上記のような２回の読み出しと１回の読み出しを繰り返し、
（８）１９９９枚目のフレームに対しては、１回の読み出しを行い、
（９）２０００〜２５００枚目のフレームに対しては、上記のような２回の読み出しと１回の読み出しを繰り返し、
（１０）２５０１枚目のフレームに対しては、１回の読み出しを行い、
（１１）２５０２〜２９９９枚目のフレームに対しては、上記のような２回の読み出しと１回の読み出しを繰り返し、
（１２）３０００枚目のフレームに対しては、１回の読み出しを行う。
【００６５】
このような読み出しを行うと、６０ｆｐｓではなく５９．９４ｆｐｓの表示レートで画像データを出力することができる。
【００６６】
このような動作によれば、表示レートが５９．９４ｆｐｓの場合でも、間引き後のフレームデータ間において時間差Ｔが等しいため、違和感のない画像表示が可能である。
【００６７】
なお、上述の動作では、すべての画像をデコードした後に、第１及び第２のフレームメモリ２３、２４からの読み出しを行う際に間引き操作を行っているが、デコード部１０にフレームレート変換制御部３６を設けることで、フレームレート変換制御部３６からの制御信号に基づき間引かれるフレームについてはデコードを行わずに画像データを出力することによって同様な間引き操作を行うことができる。例えば、操作部７から、設定された表示レート（例えば、５０ｆｐｓ）に基づく制御信号をデコード部１０に出力し、デコード部１０が記録媒体９から読み出された圧縮画像データのヘッダー情報から記録レートを読み出し、これと操作部７から出力された制御信号とを比較する。ここで、例えば記録レートが６０ｆｐｓ、表示レートが５０ｆｐｓであれば、デコード部１０では、記録媒体９から読み出される圧縮画像データについて、１フレーム毎にデコードせずに、デコードした画像データのみ後段のレート変換部１１に画像データを出力することにより、画像の更新レートを半分にする。この結果、連続するフィールド間での映像の時間的な更新距離が一定になり、前述したレート変換部１１で行われていた間引き処理と同様の間引きがデコード部１０によって行われたこととなる。これにより、レート変換部１１における間引き処理部２１が必要なくなるためフレームメモリを減らすことができる。
【００６８】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態では、変速再生時、つまり等倍速度の再生ではなく、例えばスロー再生が操作部７で選択された場合のレート変換部１１の動作について説明する。
【００６９】
第２の実施形態では、再生速度が操作部７で設定されるため、フレームレート変換制御部３６は、記録レート及び表示レートだけでなく、再生速度をも考慮して制御信号を生成する。以下、フレームレート変換制御部３６の動作について説明する。図１０は、変速再生時のフレームレート変換制御部３６の動作を示すフローチャートである。
【００７０】
変速動作時には、フレームレート変換制御部３６は、操作部７で設定された記録レートに再生速度倍率Ｓを乗じて得た値（乗算結果）と表示レートとを比較し（ステップＳ２０）、記録レートと再生速度倍率Ｓとの乗算結果が表示レートよりも速い場合には、分周値ｋを２に初期化する（ステップＳ２１）。その後、表示レートが、分周値ｋでｋ分周された乗算結果よりも速くなるまで、分周値ｋを１ずつ増加する（ステップＳ２３及びＳ２４）。ここで、再生速度倍率Ｓは、通常の再生速度を１としたときの倍率を示す。
【００７１】
そして、ステップＳ２３において、表示レートが、ｋ分周された乗算結果以上となると、つまり、表示レートが乗算結果以上となる乗算結果の分周値ｋが得られると、フレーム間引き数ｎを「ｋ−１」と定める（ステップＳ２５）。即ち、操作部７で設定された記録レートと再生速度倍率Ｓとの乗算結果（積）が設定された表示レートよりも速い場合には、ｋ分周された乗算結果が表示レート以下となり、且つ最も近い値になるように分周値ｋが設定され、それに基づいてフレーム間引き数ｎを決定する。
【００７２】
一方、ステップＳ２０の判断の結果、乗算結果が表示レート以下であれば、分周値ｋを１に初期化する（ステップＳ２２）。その後、ステップＳ２５の処理を行う。但し、この場合、分周値ｋが１であるため、フレーム間引き数ｎは０となる。従って、乗算結果が表示レート以下の場合には、レート変換部１１は、間引き処理を行わずに画像データを出力することとなる。
【００７３】
このようにして、フレームレート変換制御部３６により、操作部７で設定される記録レート、表示レート及び再生速度倍率Ｓに基づいてフレーム間引き数ｎが決定され、このフレーム間引き数ｎに基づいて、レート変換部１１が間引き処理を行う。
【００７４】
ここで、記録レートが６０ｆｐｓ、表示レートが５０ｆｐｓの場合に、１／２倍速のスロー再生が行われるときの動作について説明する。図７は、６０ｆｐｓの記録レートで記録されたフレームとフレームレート変換処理後に５０ｆｐｓの表示レートで表示装置に出力されるフレームとの関係を示す図である。
【００７５】
使用者が操作部７において等倍速度の再生速度からスロー再生（１／２倍速）に変更すると、操作部７は、デコード部１０及びレート変換部１１にその旨を示す制御信号が出力する。この制御信号を受けると、デコード部１０は記録媒体９から読み出すフレームデータを記録されているフレームレート（６０ｆｐｓ）の１／２倍速でレート変換部１１へ出力する。
【００７６】
その後、フレームレート変換制御部３６は、図１０に示すアルゴリズムに従い、連続するフィールド間での映像の時間的な更新距離が一定になるようフレーム間引き数ｎを決定し、制御信号を出力する。この例では、記録レートが６０ｆｐｓ、表示レートが５０ｆｐｓと設定され、且つ再生速度倍率Ｓが１／２であり、記録レート（６０ｆｐｓ）と再生速度倍率Ｓ（１／２）との乗算結果（３０ｆｐｓ）が表示レート（５０ｆｐｓ）よりも遅いため、フレームレート変化制御部３６は、分周値ｋを１に初期化する（ステップＳ２０及びＳ２２）。この結果、フレーム間引き数ｎは０となる（ステップＳ２５）。つまり、通常の再生速度（１倍速）のときには、第１の実施形態のように、１／２に間引く処理を行った後にフレームレート変換処理を行うのに対し、スロー再生（１／２倍速）のときには、間引きを行わずにフレームレート変換処理を行う。従って、記録された画像データがもつフレームデータをできるだけ多く出力することで、より滑らかな変化で画像を表示することができる。
【００７７】
次に、記録レートが１２０ｆｐｓ、表示レートが５０ｆｐｓの場合に、１／２倍速のスロー再生が行われるときの動作について説明する。図８は、１２０ｆｐｓの記録レートで記録されたフレームとフレームレート変換処理後に５０ｆｐｓの表示レートで表示装置に出力されるフレームとの関係を示す図である。
【００７８】
使用者が操作部７において等倍速度の再生速度からスロー再生（１／２倍速）に変更すると、操作部７は、デコード部１０及びレート変換部１１にその旨を示す制御信号が出力する。この制御信号を受けると、デコード部１０は記録媒体９から読み出すフレームデータを記録されているフレームレート（１２０ｆｐｓ）の１／２倍速でレート変換部１１へ出力する。
【００７９】
その後、フレームレート変換制御部３６は、図１０に示すアルゴリズムに従い、連続するフィールド間での映像の時間的な更新距離が一定になるようフレーム間引き数ｎを決定し、制御信号を出力する。この例では、記録レートが１２０ｆｐｓ、表示レートが５０ｆｐｓと設定され、且つ再生速度倍率Ｓが１／２であり、記録レート（１２０ｆｐｓ）と再生速度倍率Ｓ（１／２）との乗算結果（６０ｆｐｓ）が表示レート（５０ｆｐｓ）よりも速いため、フレームレート変化制御部３６は、分周値ｋを２に初期化する（ステップＳ２０及びＳ２１）。その後、表示レートが、ｋ分周された乗算結果よりも速くなるまで、分周値ｋを１ずつ増やす（ステップＳ２３及びＳ２４）。この例では、分周値ｋが２のときに、「表示レート（５０ｆｐｓ）≧記録レート（１２０ｆｐｓ）×再生速度倍率Ｓ（１／２）／２」となるため、分周値ｋは２となる。次いで、フレームレート変化制御部３６は、フレーム間引き数ｎとして「ｋ−１＝１」を設定する（ステップＳ２５）。この結果、フレームレート変換制御部３６は、１枚ずつフレームを間引くように制御信号を出力することとなる。つまり、通常の再生速度（１倍速）のときには、第１の実施形態のように、１／３に間引く処理を行った後にフレームレート変換処理を行うのに対し、スロー再生（１／２倍速）のときには、１／２に間引く処理を行った後にフレームレート変換処理を行う。従って、スロー再生時には通常の再生速度時よりも、できるだけ多く記録された画像データがもつフレームデータを出力することで、より滑らかな変化で画像を表示することができる。
【００８０】
なお、スロー再生だけでなく、早送り再生の場合にも同様の動作が可能である。
【００８１】
次に、操作部７で設定される表示レート及び記録レート等の入力インターフェイスについて説明する。図１４は、操作部７の構成を示すブロック図である。図１４に示すように、操作部７には、表示部４０、設定決定部４１、操作入力部４２及び制御信号発生部４３が設けられている。
【００８２】
操作入力部４２は、例えば記録レート、表示レート、表示言語等の設定を選択するスイッチにより構成されている。設定決定部４１は、操作入力部４２を構成するスイッチの操作内容に応じて、記録レート、表示レート、表示言語等の設定を決定する。表示部４０は、設定決定部４１から出力される設定情報に基づいて、例えば図１５に示す選択画面を生成し、これを第２の表示装置１４に表示する。制御信号発生部４３は、設定決定部４１から出力された設定情報から、記録時には、設定された記録レートに基づいて、センサ駆動タイミング生成部６へ制御信号を出力し、画像再生時には、設定された表示レートに基づいてデコード部１０、レート変換部１１及び画像再生部Ｉ／Ｆ部１２に制御信号を出力する。
【００８３】
第２の表示装置１４は、例えばタッチパネル方式のＬＣＤであり、その画面５１に、操作入力部４２として、例えば、ビデオ出力方式（表示レート）としてＮＴＳＣ（６０ｆｐｓ）又はＰＡＬ（５０ｆｐｓ）のいずれかを選択するためのスイッチ６０及び６１、記録レートとして１２０ｆｐｓ、１００ｆｐｓ、６０ｆｐｓ又は５０ｆｐｓのいずれかを選択するためのスイッチ５６〜５９が表示される。更に、画面５１には、操作入力部４２として、ＬＣＤに表示する表示言語を設定する言語設定についても数種類の言語に対応したスイッチ５２〜５５が表示される。画面５１において、選択された設定項目には、太枠６２が付されて表示される。
【００８４】
次に、操作部７の動作について、図１１のフローチャートを参照しながら説明する。
【００８５】
先ず、使用者が、スイッチ６０又は６１のいずれかを押すことでビデオ出力方式（表示レート）を入力し（ステップＳ１００）、スイッチ５６、５７、５８又は５９のいずれかを押すことで記録レートを入力する（ステップＳ１０１）。なお、記録レートの入力の後にビデオ出力方式を入力してもよい。但し、既に記録された画像データを再生する場合には、ステップＳ１０１では、デコード部１０において読み出された記録レート情報に基づいて記録レートを設定する。
【００８６】
次に、入力されたビデオ出力方式と記録レートのフレームレートとが互いに等しいか比較し（ステップＳ１０２）、等しくない場合には、図１７又は図１９に示すように、ビデオ出力方式と記録レートとが相違していることをメッセージ表示し、使用者に知らせる（ステップＳ１０３）。
【００８７】
次いで、設定された記録レートが１２０ｆｐｓ又は６０ｆｐｓであるかどうかを調べ（ステップＳ１０４）、１２０ｆｐｓ又は６０ｆｐｓであれば、画像データを表示するＬＣＤ（第２の表示装置１４）の駆動モードを６０ｆｐｓに切り替える制御信号を制御信号発生部４３が出力する（ステップＳ１０５）。一方、記録レートが１２０ｆｐｓ及び６０ｆｐｓのいずれでもない場合には、ＬＣＤ（第２の表示装置１４）の駆動モードを５０ｆｐｓに切り替える制御信号を制御信号発生部４３が出力する（ステップＳ１０６）。
【００８８】
このように、操作部７では、操作入力部４２を介して入力された設定に基づいて、設定決定部４１がビデオ出力方式及び記録レートを決定し、ビデオ出力方式及び記録レートの設定情報を制御信号発生部４３に出力する。また、設定された記録レート及びビデオ出力方式が相違する場合は、表示部４０を介して第２の表示装置１４にメッセージを表示する。
【００８９】
また、制御信号発生部４３は、設定された記録レートに基づいて、センサ駆動タイミング生成部６へ制御信号を出力し、画像再生時には設定された表示レート（ビデオ出力方式）に基づいて、デコード部１０、レート変換部１１及び画像再生部Ｉ／Ｆ部１２に制御信号を出力する。更に、制御信号発生部４３は画像データを表示するための表示レートが切り替え可能なＬＣＤに対しても、記録レートに適した駆動モードを切り替える制御信号を出力する。
【００９０】
また、操作部７を入力されたビデオ出力方式に基づいて記録レートを自動的に設定するような構成にすることもできる。図１２は、操作部７が自動的に記録レートを設定する場合の動作を示すフローチャートである。
【００９１】
先ず、使用者が、スイッチ６０又は６１のいずれかを押すことでビデオ出力方式を入力する（ステップＳ２００）。
【００９２】
次に、入力されたビデオ出力方式がＮＴＳＣであるかどうかを判定し（ステップＳ２０１）、ＮＴＳＣであれば、例えば図１６に示すように、選択画面５１に、選択可能な記録レートとして、１２０ｆｐｓ及び６０ｆｐｓのみを表示し、１００ｆｐｓ及び５０ｆｐｓを選択できなくする（ステップＳ２０２）。一方、入力されたビデオ出力方式がＮＴＳＣでなければ、例えばビデオ出力方式がＰＡＬであれば、例えば図１８に示すように、選択画面５１に、選択可能な記録レートとして、１００ｆｐｓ及び５０ｆｐｓのみを表示し、１２０ｆｐｓ及び６０ｆｐｓを選択できなくする（ステップＳ２０３）。
【００９３】
次いで、使用者が、スイッチ５６、５７、５８又は５９のいずれかを押すことで記録レートを入力する（ステップＳ２０４）。但し、ステップＳ２０１におけるビデオ出力方式の判定によって選択画面に表示されていない記録レートのスイッチを操作しても、その設定を入力することはできない。
【００９４】
その後、設定された記録レートが１２０ｆｐｓ又は６０ｆｐｓであるかどうかを調べ（ステップＳ２０５）、１２０ｆｐｓ又は６０ｆｐｓであれば、画像データを表示するＬＣＤ（第２の表示装置１４）の駆動モードを６０ｆｐｓに切り替える制御信号を制御信号発生部４３が出力する（ステップＳ２０６）。一方、記録レートが１２０ｆｐｓ及び６０ｆｐｓのいずれでもない場合には、ＬＣＤ（第２の表示装置１４）の駆動モードを５０ｆｐｓに切り替える制御信号を制御信号発生部４３が出力する（ステップＳ２０７）。
【００９５】
このように、操作部７では、操作入力部４２を介して入力されたビデオ出力方式の設定に基づいて、設定決定部４１が選択可能な記録レートを制限し、表示部４０に表示する記録レートのフレームレートが制限される。そして、操作入力部４２を介して入力された記録レートに基づいて、設定決定部４１が記録レートを決定し、ビデオ出力方式及び記録レートの設定情報を制御信号発生部４３に出力する。
【００９６】
また、選択可能な言語に応じてその言語が主に使用されている地域において使われているビデオ出力方式を予め決めておき、操作部７を、入力された言語設定に基づいて記録レートを自動的に設定する構成にすることもできる。図１３は、操作部７が言語に応じて自動的に記録レートを設定する場合の動作を示すフローチャートである。
【００９７】
先ず、使用者が、スイッチ５２、５３、５４又は５５を押すことで、選択画面５１において表示される言語の設定を入力する（ステップＳ３００）。
【００９８】
次に、入力された言語が日本語又は英語であるかどうかを判定し（ステップＳ３０１）、日本語又は英語であれば、ビデオ出力方式をＮＴＳＣに設定する（ステップＳ３０２）。一方、入力された言語が日本語及び英語のいずれでもない場合、例えばイタリア語又はドイツ語である場合には、ビデオ出力方式をＰＡＬに設定する（ステップＳ３０３）。
【００９９】
次に、入力されたビデオ出力方式がＮＴＳＣであるかどうかを判定し（ステップＳ３０４）、ＮＴＳＣであれば、例えば図１６に示すように、選択画面５１に、選択可能な記録レートとして、１２０ｆｐｓ及び６０ｆｐｓのみを表示し、１００ｆｐｓ及び５０ｆｐｓを選択できなくする（ステップＳ３０５）。一方、入力されたビデオ出力方式がＮＴＳＣでなければ、例えばビデオ出力方式がＰＡＬであれば、例えば図２０に示すように、選択画面５１に、選択可能な記録レートとして、１００ｆｐｓ及び５０ｆｐｓのみを表示し、１２０ｆｐｓ及び６０ｆｐｓを選択できなくする（ステップＳ３０６）。
【０１００】
次いで、使用者が、スイッチ５６、５７、５８又は５９のいずれかを押すことで記録レートを入力する（ステップＳ３０７）。但し、ステップＳ３０４におけるビデオ出力方式の判定によって選択画面に表示されていない記録レートのスイッチを操作しても、その設定を入力することはできない。
【０１０１】
その後、設定された記録レートが１２０ｆｐｓ又は６０ｆｐｓであるかどうかを調べ（ステップＳ３０８）、１２０ｆｐｓ又は６０ｆｐｓであれば、画像データを表示するＬＣＤ（第２の表示装置１４）の駆動モードを６０ｆｐｓに切り替える制御信号を制御信号発生部４３が出力する（ステップＳ３０９）。一方、記録レートが１２０ｆｐｓ及び６０ｆｐｓのいずれでもない場合には、ＬＣＤ（第２の表示装置１４）の駆動モードを５０ｆｐｓに切り替える制御信号を制御信号発生部４３が出力する（ステップＳ３１０）。
【０１０２】
このように、操作部７では、操作入力部４２で入力された言語設定に基づいて、設定決定部４１がその言語が使われている地域におけるテレビの表示方式から設定可能なビデオ出力方式を決定する。また、設定決定部４１は、自らが決定したビデオ出力方式に基づいて選択可能な記録レートを制限し、表示部４０に表示する記録レートのフレームレートが制限される。そして、操作入力部４２を介して入力された記録レートに基づいて、設定決定部４１が記録レートを決定し、ビデオ出力方式及び記録レートの設定情報を制御信号発生部４３に出力する。
【０１０３】
なお、本発明の実施形態は、例えばコンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記のプログラムも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。
【図面の簡単な説明】
【０１０４】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】レート変換部１１の構成を示すブロック図である。
【図３】従来のレート変換処理を示す図である。
【図４】本発明の第１の実施形態におけるレート変換処理を示す図である。
【図５】本発明の第１の実施形態における他のレート変換処理を示す図である。
【図６】本発明の第１の実施形態における更に他のレート変換処理を示す図である。
【図７】本発明の第２の実施形態におけるレート変換処理を示す図である。
【図８】本発明の第２の実施形態における他のレート変換処理を示す図である。
【図９】第１の実施形態におけるフレームレート変換制御部３６の動作（アルゴリズム）を示すフローチャートである。
【図１０】第２の実施形態におけるフレームレート変換制御部３６の動作を示すフローチャートである。
【図１１】操作部７の動作を示すフローチャートである。
【図１２】操作部７が自動的に記録レートを設定する場合の動作を示すフローチャートである。
【図１３】操作部７が言語に応じて自動的に記録レートを設定する場合の動作を示すフローチャートである。
【図１４】操作部７の構成を示すブロック図である。
【図１５】第２の表示装置１４に表示される選択画面の例を示す図である。
【図１６】日本語及びＮＴＳＣが選択された場合の選択画面の例を示す図である。
【図１７】日本語及びＮＴＳＣが選択されている場合のメッセージ表示の例を示す図である。
【図１８】日本語及びＰＡＬが選択された場合の選択画面の例を示す図である。
【図１９】日本語及びＰＡＬが選択されている場合のメッセージ表示の例を示す図である。
【図２０】イタリア語及びＰＡＬが選択された場合の選択画面の例を示す図である。
【符号の説明】
【０１０５】
１：光学系
２：センサ
３：Ａ／Ｄ変換部
４：信号処理部
５：エンコード部
６：センサ駆動タイミング生成部
７：操作部
８：メモリＩ／Ｆ部
９：記録媒体
１０：デコード部
１１：レート変換部
１２：画像再生Ｉ／Ｆ部
１３：第１の表示装置
１４：第２の表示装置
【図１】
2006093838.tif 000003
【図２】
2006093838.tif 000004
【図３】
2006093838.tif 000005
【図４】
2006093838.tif 000006
【図５】
2006093838.tif 000007
【図６】
2006093838.tif 000008
【図７】
2006093838.tif 000009
【図８】
2006093838.tif 000010
【図９】
2006093838.tif 000011
【図１０】
2006093838.tif 000012
【図１１】
2006093838.tif 000013
【図１２】
2006093838.tif 000014
【図１３】
2006093838.tif 000015
【図１４】
2006093838.tif 000016
【図１５】
2006093838.tif 000017
【図１６】
2006093838.tif 000018
【図１７】
2006093838.tif 000019
【図１８】
2006093838.tif 000020
【図１９】
2006093838.tif 000021
【図２０】
2006093838.tif 000022