(57)【要約】【課題】本発明の目的は、フレームレートの高い画像データを記録し、かつ、フレームレートの低い画像データにしか対応していない再生装置でも再生可能となるようにするカメラ一体型記録装置を提供することにある。【解決手段】カメラ一体型記録装置において、高いフレームレートの撮像を行う撮像素子により撮像した画像データを符号化して記録媒体に記録する場合、実際には高いフレームレートの画像データを符号化するのであるが、この時、符号化後のデータに付加する全てのフレームレート情報は低いフレームレートを示す情報とする手段を設ける。【選択図】図１
2004040518.tif 000002
【特許請求の範囲】
【請求項１】
第１のフレームレートで撮像する撮像素子と、
該第１のフレームレートで撮像された画像データを該第１のフレームレートより低い第２のフレームレートの複数の画像データに振り分けてそれぞれ符号化する符号化手段と、
符号化された複数の符号化データと該符号化された複数の符号化データの関連を示す関連情報とを記録媒体に記録する手段と、
を備え、
該符号化された複数の符号化データの１つは単独で復号され該第２のフレームレートで再生可能であり、かつ、該符号化された複数の符号化データは該関連情報を参照して復号され該第１のフレームレートで再生可能であること、
を特徴とする撮像記録装置。
【請求項２】
請求項１において、
前記記録媒体の管理情報記録エリアまたは記録データに多重するユーザデータ格納フィールドに第１のフレームレートで撮像されたことを識別する識別情報を挿入する手段を設け、
前記符号化された複数の符号化データは該識別情報が検出された場合に前記第１のフレームレートで再生されること、
を特徴とする撮像記録装置。
【請求項３】
第１のフレームレートで撮像された画像データが該第１のフレームレートより低い第２のフレームレートの複数の画像データに振り分けられてそれぞれ符号化された複数の符号化データと、該複数の符号化データの関連を示す関連情報と、第１のフレームレートで撮像されたことを識別する識別情報と、が記録された記録媒体から、該識別情報を検出する手段と、
該識別情報が検出された場合に、該関連情報を参照して、該複数の符号化データを復号して該第１のフレームレートの画像データを生成する手段と、
を設けたことを特徴とする再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像記録装置および再生装置、特にフレームレートの高い画像を記録再生する装置に関する。
【０００２】
【従来の技術】
大容量の記録媒体であるＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）に動画像を記録するフォーマットとして、ＤＶＤ　Ｓｐｅｃｉｆｉｃａｔｉｏｎｓ　ｆｏｒ　Ｒｅｗｒｉｔａｂｌｅ／Ｒｅ−ｒｅｃｏｒｄａｂｌｅ　Ｄｉｓｃｓ　Ｐａｒｔ３　Ｖｉｄｅｏ　Ｒｅｃｏｒｄｉｎｇ規格（以下Ｖｉｄｅｏ　Ｒｅｃｏｒｄｉｎｇ規格）が規格化されている。例えば、映像情報メディア学会技術報告第２３巻第７５号第１頁から第６頁に記載の装置は、Ｖｉｄｅｏ　Ｒｅｃｏｒｄｉｎｇ規格に則った記録再生装置、いわゆるＤＶＤレコーダである。カメラ一体型記録装置にもＶｉｄｅｏ　Ｒｅｃｏｒｄｉｎｇ規格を適用すれば、上記レコーダやＰＣドライブ等のＶｉｄｅｏ　Ｒｅｃｏｒｄｉｎｇ規格に則った他の装置と互換性のあるカメラ一体型記録装置を提供できる。
【０００３】
Ｖｉｄｅｏ　Ｒｅｃｏｒｄｉｎｇ規格は、動画像の圧縮符号化方式として、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔ　Ｇｒｏｕｐ）規格を採用している。ＭＰＥＧ規格は、テレビジョン学会誌第４９巻第４号第４３１頁から第４３４頁に記載のようにＰｒｏｆｉｌｅとＬｅｖｅｌで表されるいくつかのサブセットがあり、Ｖｉｄｅｏ　Ｒｅｃｏｒｄｉｎｇ規格はＭＰ＠ＭＬ（Ｍａｉｎ　Ｐｒｏｆｉｌｅ　ａｔ　Ｍａｉｎ　Ｌｅｖｅｌ）と呼ばれるサブセットを採用している。ＭＰ＠ＭＬで取り扱えるフレームレートの上限は３０Ｈｚである。
【０００４】
一方、動画像を鑑賞するためのディスプレイ装置において、フレームレート３０Ｈｚの映像信号からフレームレート６０Ｈｚの映像信号を補間生成して表示する手法が用いられている。これにより、画面のちらつき抑制効果や解像感向上効果が得られる。カメラ一体型記録装置においても、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）製造プロセス等の進歩により、フレームレート６０Ｈｚの画像を撮像できるようになってきた。フレームレート６０Ｈｚの画像データを記録すれば、データ量はフレームレート３０Ｈｚの２倍になるが、解像感や動きの滑らか感の向上効果や、スチル再生時のぶれ防止や解像度向上効果が得られることは自明である。フレームレート６０Ｈｚで撮像された画像データは、ＭＰ＠ＭＬの上位サブセットであるＭＰ＠Ｈ１４（Ｍａｉｎ　Ｐｒｏｆｉｌｅ　ａｔ　Ｈｉｇｈ−１４４０　Ｌｅｖｅｌ）またはＭＰ＠ＨＬ（Ｍａｉｎ　Ｐｒｏｆｉｌｅ　ａｔ　Ｈｉｇｈ　Ｌｅｖｅｌ）を用いて符号化できる。
【０００５】
【発明が解決しようとする課題】
しかしながら、Ｖｉｄｅｏ　Ｒｅｃｏｒｄｉｎｇ規格はＭＰ＠ＭＬにしか対応していないので、フレームレート６０Ｈｚで撮像された画像データをＭＰ＠Ｈ１４またはＭＰ＠ＨＬで符号化すると、Ｖｉｄｅｏ　Ｒｅｃｏｒｄｉｎｇ規格に則ったレコーダ等の再生装置で再生できなくなり、互換性が損なわれる。
【０００６】
そこで、本発明の目的は、フレームレートの高い画像データを記録し、かつ、フレームレートの低い画像データにしか対応していない再生装置でも再生可能となるようにするカメラ一体型記録装置を提供することにある。また、本発明の他の目的は、上記カメラ一体型記録装置により記録されたフレームレートの高い画像データを再生する再生装置を提供することにある。
【０００７】
【課題を解決するための手段】
本発明を達成するために以下のように構成する。
【０００８】
カメラ一体型記録装置において、高いフレームレートの撮像を行う撮像素子により撮像した画像データを符号化して記録媒体に記録する場合、実際には高いフレームレートの画像データを符号化するのであるが、この時、符号化後のデータに付加する全てのフレームレート情報は低いフレームレートを示す情報とする手段を設ける。これは、記録した画像データをフレームレートの低い画像データにしか対応していない他の再生装置でゆっくりと再生できるようにするためである。
【０００９】
また、有効な符号化ビットレート情報や仮想バッファ遅延情報等、時間軸に左右される情報を記録データ中に付加する場合には、低いフレームレートで再生して時間軸が伸びた状態に換算した数値を付加する手段を設ける。これは、他の再生装置で再生した場合にデータの整合性が失われて再生乱れや停止になることを防ぐためである。
【００１０】
また、基準時間情報を付加して記録する場合には、低いフレームレートで再生した時の時間軸に合わせた基準時間情報を付加する手段を設ける。これは、他の再生装置で再生した場合に、基準時間情報から生成する基準クロックの周波数がずれて再生乱れや停止になることを防ぐためである。
【００１１】
また、画像の提示時刻や復号開始時刻を示す再生時刻情報を記録データ中に付加する場合には、低いフレームレートで再生した時の時間軸上の時刻を付加する手段を設ける。これは、他の再生装置で再生した場合に、画像および音声の提示時刻や復号開始時刻がずれて再生乱れや停止になることを防ぐためである。
【００１２】
また、音声データを多重して記録する場合には、低いフレームレートで再生した時に所望の音声標本化レートとなるように、記録する音声データの標本化数を増やすアップサンプリング手段を設ける。これは、他の再生装置で再生した場合に、音声も再生されるようにするためである。
【００１３】
さらに、記録する音声の高さを変換して高い音にしてから記録する手段を設けても良い。これは、他の再生装置で再生した場合に、時間軸が伸びることにより、音声の高さが下がって聞き取りにくくなるのを防ぐためである。
【００１４】
次に、フレームレートの高い画像データを再生するために以下のように構成する。
【００１５】
カメラ一体型記録装置において、使用する記録媒体の管理情報記録エリアまたは記録データに多重するユーザデータ格納フィールドに高いフレームレートであることを識別する情報を挿入する手段を設ける。
【００１６】
さらに、再生装置において、上記識別情報を検出する手段と、高いフレームレートが検出された場合に高いフレームレートで画像データの復号を行う手段を設ける。これは、記録された時と同じ高いフレームレートで再生するためである。
【００１７】
また、有効な符号化ビットレート情報や仮想バッファ遅延情報等、時間軸に左右される情報を用いて復号を行う場合には、低いフレームレート用に付加されている情報を高いフレームレートの時間軸に換算して用いる手段を設ける。これは、再生データの整合性が失われて再生乱れや停止になることを防ぐためである。
【００１８】
また、基準時間情報を用いて復号する場合には、低いフレームレート用に付加されている基準時間情報を高いフレームレートの時間軸に換算して用いる手段を設ける。これは、基準時間情報から生成する基準クロックの周波数がずれて再生乱れや停止になることを防ぐためである。
【００１９】
また、画像の提示時刻や復号開始時刻を示す再生時刻情報を用いて復号する場合には、低いフレームレートで再生した時の時間軸上の時刻で表されている情報を高いフレームレートで再生した時の時間軸上の時刻に変換して用いる手段を設ける。これは、画像および音声の提示時刻や復号開始時刻がずれて再生乱れや停止になることを防ぐためである。
【００２０】
また、音声データがアップサンプリングされて多重されている場合には、再生した音声データの標本化数を減らすダウンサンプリング手段を設ける。これは、低いフレームレート用にアップサンプリングされている音声データも再生できるようにするためである。
【００２１】
さらに、音声の高さを変換して記録してある場合には、再生した音声の高さを変換して元の高さに戻す手段を設ける。これは、低いフレームレート用に音声の高さを高くして記録してあるものを元に戻して正常に聞こえるようにするためである。
【００２２】
【発明の実施の形態】
図２は、本発明に係るカメラ一体型記録再生装置の回路ブロック図である。
【００２３】
記録媒体２０１は、例えばＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等の光ディスクである。光学レンズから得られた被写体画像はＣＣＤセンサ２０７により電気信号でカメラ信号処理部２０８に入力され、Ｙ、Ｕ、Ｖ信号に変換されるとともに、画像のエンハンスが行われる。またカメラ信号処理部２０８はＣＣＤセンサ２０７に必要な駆動パルスやビデオ出力に必要な同期信号を生成し、各部に供給する。操作キー２０３はカメラ一体型記録再生装置の操作をするための入力手段である。カメラ制御マイコン２１０は、光学系の状態やＣＣＤセンサから得られた映像情報と、装置全体の操作から得られた情報によりカメラ信号処理部２０８を最適に制御する。ＬＣＤ表示パネル２１５は入力映像や再生画像を映すものである。ピックアップ部２０２は記録媒体２０１へ信号を書込み、読み出すもので、半導体レーザやレンズを含む。カメラ信号処理部２０８から得られたディジタルの映像信号は、例えばこの例では８ビットのパラレルデータとして符号化手段であるＭＰＥＧ−２コーデック部２１７に送られる。ＭＰＥＧ−２コーデック部２１７は、ＳＤＲＡＭなどのメモリ部２１２を映像メモリとしてカメラ信号処理部２０８の映像を展開してＭＰＥＧ−２規格に則り動画データを１／１０〜１／６０程度に圧縮する。圧縮された映像データはシステムコントロールマイコン２１３の命令に従ってシステム内部バス２０５に出力する。一方、音声信号は図示されていないが、カメラに内蔵されたマイクより得た信号をＡ／Ｄ変換し、システムコントロールマイコン２１３の中でソフト処理にて圧縮され、ＭＰＥＧ−２コーデック部２１７が出力した映像データと多重してＤＶＤのＶｉｄｅｏ　Ｒｅｃｏｒｄｉｎｇ規格に則ったデータストリームを生成する。このデータストリームは記録媒体２０１が受ける振動や衝撃による書込みエラーを回避するためのバッファＲＡＭ２０６を介して信号処理回路２０４に送られる。信号処理回路２０４はＤＶＤ用のトラッキング、フォーカスおよびディスクのスピンドルサーボ回路とデータ書込み読み出し時のエラー訂正用回路を集積化した回路であり、データストリームは訂正符号を付加されて、リードライト回路２１６によりディジタル変調が行われてピックアップ部２０２により、記録媒体２０１に記録される。
【００２４】
再生の場合は、記録媒体２０１からピックアップ部２０２にてデータがディジタル変調された状態で読み取られ、リードライト回路２１６により波形等化やサーボ信号検出が行われ、信号処理回路２０４によりＶｉｄｅｏ　Ｒｅｃｏｒｄｉｎｇ規格に則ったデータストリームとしてシステム内部バス２０５に出力される。このとき、バッファＲＡＭ２０６も利用される。このデータストリームはシステムコントロールマイコン２１３により映像データと音声データに分離され、音声データはソフト処理により復号されて図示しないスピーカより出力される。映像データは、ＭＰＥＧ−２コーデック部２１７によって元の映像データが伸張動作により復元され、記録同様に８ビットパラレル信号でカメラ信号処理部２０８に送られＲＧＢ信号に変換された後、ＬＣＤ制御部２０９を通り、ＬＣＤパネル２１５に再生画像として表示される。同様にカメラ信号処理部２０８からはＮＴＳＣビデオ信号が出力されるので、カメラに備えたビデオ出力端子から外部のＴＶモニタにも表示可能となっている。また、映像及び音声データはＵＳＢコントローラ２１８を介して外部のパソコンに送信することも可能である。
【００２５】
図１は、本発明に係るカメラ一体型記録再生装置によって撮像、再生される動画像データの説明図である。ａ）、ｂ）、ｃ）においては横軸は時間を表し、一つの四角形が１枚の画面を表す。この実施例では、６０ｉ、６０ｐと呼ぶ２つの撮像モードを備える。ａ）が６０ｉの撮像モードによって得られる動画像データ、ｂ）が６０ｐの撮像モードによって得られる動画像データである。６０ｉと６０ｐの切り換えは、操作者が操作キー２０３を押すことによって選択し、システムコントロールマイコン２１３がこれを認識し、カメラ制御マイコン２１０を介してカメラ信号処理部２０８によるＣＣＤ駆動を切り換えることにより行う。画面１０１と画面１０２は、互いにインタレースされた２枚のフィールド画像である。６０ｉ撮像モードでは、カメラ信号処理部２０８からは互いにインタレースされた２枚のフィールド画像が約１／６０秒間隔で交互に出力される。フレームレートは約３０Ｈｚとなる。画面１０３は、順次走査された１枚のフレーム画像である。６０ｐ撮像モードでは、カメラ信号処理部２０８からは順次走査された１枚のフレーム画像が約１／６０秒間隔で出力される。フレームレートは約６０Ｈｚとなり、６０ｉ撮像モードの２倍のデータレートで出力される。
【００２６】
この時、システムコントロールマイコン２１３からの命令を受け、ＭＰＥＧ−２コーデック部２１７は２倍の速度で符号化処理を行う。ここでのポイントは、フレームレートは約６０Ｈｚで符号化を行っても、図１ｃ）およびｄ）のように、フレームレート約３０ＨｚのＭＰＥＧ−２規格に従った符号化ストリームを２本生成することである。
【００２７】
これにより、フレームレート約３０Ｈｚにしか対応していない再生装置で再生しても図１ｃ）あるいはｄ）のように再生され、フレームレート約６０Ｈｚで記録した画像をフレームレート約３０Ｈｚにしか対応していない再生装置でも再生できるようになる。なお、実際にはｃ）またはｄ）の動画像はａ）のように互いにインタレースされた２つのフィールドに分解されて表示される場合が多い。
【００２８】
図３は、記録媒体２０１に記録されるデータストリームの構造を示す図である。データストリームはＤＶＤのＶｉｄｅｏ　Ｒｅｃｏｒｄｉｎｇ規格に従い、映像データを収めたビデオパック３０１と音声データを収めたオーディオパック３０２と関連情報を収めたＲＤＩパック３０３を複数個接続した構造になっている。１つのパックは、１つのパックヘッダ３０４と複数のＰＥＳパケット３０５から構成する。パックヘッダには、基準時間を示すＳＣＲ情報３０６を挿入する。ビデオのＰＥＳパケットには、映像データと合わせ、画像の提示時刻を示すＰＴＳや復号開始時刻を示すＤＴＳを付加する。
【００２９】
ここで、図４を用いて、記録媒体２０１の記録エリアを説明する。図４において管理情報エリア５０１は、データ記録エリア５０２に記録される情報の内容やアドレス等を記録するエリアで、一般にＴＯＣやＦＡＴ領域と呼ばれる。データ記録エリア５０２は撮影された動画像、静止画（１フレーム画像）、音声を記録するエリアである。これらのエリア５０１、５０２は一般に規格によって定められていることが多い。
【００３０】
図５は、データ記録エリア５０２に記録されるデータの例を示すもので、サムネイル記録部６０５は本実施例にて作成されるサムネイル画像の専用記録エリアである。このエリアはデータ記録エリア５０２中の任意のエリアに設定することができるが、サムネイル画像を高速に読み出す為には撮影映像記録部６０６とは別の専用領域に設定するのが好ましい。サムネイル記録部６０５には複数のサムネイル情報６０１、６０２が含まれる。撮影映像記録部６０６には撮影された動画像、静止画、音声を時系列に記録する。
【００３１】
サムネイル情報６０１に含まれる情報の詳細を示したのが図５ｂ）である。映像ＩＤ６０７は、どの画像のサムネイルであるかを示すもので、サムネイルの識別番号（または動画像の識別番号）、対応する画像の格納アドレス（この例では、サムネイル６０１は６０ｐ撮像された画像のサムネイルとしているが、この場合、映像データ６０３の先頭番地と映像データ６０４の先頭番地２つとなる）が含まれる。タイトル６０８はそのサムネイル情報の内容を示す文字情報であり、通常はサムネイル作成後の任意の時点で操作者によって付加される。サムネイルデータは例えば各記録シーンの所定位置の画像（例えば先頭画像）を縮小して作り、静止画像の形式（たとえばＪＰＥＧ形式）で記録される。関連情報には、動画／静止画の別、６０ｉ撮像と６０ｐ撮像の別の他、たとえば撮影日時やサムネイルの作成日時などを格納する。また、６０ｉ撮像と６０ｐ撮像の別の情報は、図３に示した記録データ中のＲＤＩパック中に書くようにしても良い。
【００３２】
次に、図６を用いて本実施例において、サムネイル画像から所望の画像を選択する操作を説明する。図６は、複数のシーンの画像を撮影した後に、所望の画像を選択するのに用いられる画面で、ＬＣＤパネル２１５に表示される。画面７００には複数のサムネイル画像７０１が表示される。ここでは、１画面に１２のサムネイルが表示されている。各サムネイルの左上には、サムネイルに対応する画像の特徴を示すアイコン７０２、７０３、７０４が表示される。映画カメラのアイコン７０２は、サムネイルに対応する画像が動画像であることを示し、アイコン７０３は静止画であることを示し、音符のアイコン７０４は、音声が付加された静止画であることを示す。アイコン７０２の横に「×２」と表示されているのは、６０ｐ撮像された動画像であることを示す。これらサムネイル上に重畳して表示される内容識別アイコンによって、記録されているデータの特徴が一目瞭然となる。
【００３３】
スクロールバー７０５は、複数ページに渡るサムネイル画像のうちどのあたりを表示しているかを示すものである。日時７０６、コメント７０７は、選択されているサムネイル画像（選択枠７１０により示される）が記録された時間と、その画像に付けられた文字のコメントである。これらは、選択枠７１０が動く毎に表示が変化する。７０８は選択枠を動かすための操作キーを示すもので、７０９は選択したサムネイルに対応する画像の再生開始のためのキーを示す。
【００３４】
次に図７のフローチャートを用いてサムネイルを用いた画像の検索・表示手順を説明する。まず、操作者によりサムネイル画像の一覧表示が指示されると、記録媒体の管理領域を読み出して（８００）、サムネイル画像の記録エリアが認識され、所望の数（例えば１２）のサムネイルが読み出される（８０１）。読み出されたサムネイルは、図６で説明したように一覧表示される（８０２）。次に、操作キーを使って操作者により所望のサムネイルが選択され（８０３）、さらに撮像モードが判定される（８０４）。
【００３５】
６０ｉ撮像モードの場合は、サムネイルの映像ＩＤ６０７から、サムネイルに対応する画像の格納位置が認識され、その格納位置からデータの再生を開始し、ＭＰＥＧ−２コーデック部２１７は通常の速度で復号を行う（８０５）。再生される動画像は図１ａ）のようになる。再生は、動画像データが終了するまで続けられる（８０６）。
【００３６】
６０ｐ撮像モードの場合は、サムネイルの映像ＩＤ６０７から、サムネイルに対応する２本の画像の格納位置が認識され、その格納位置からデータの再生を開始し、ＭＰＥＧ−２コーデック部２１７は２倍の速度で復号を行う（８０７）。再生される動画像は図１ｂ）のようになる。再生は、動画像データが終了するまで続けられる（８０８）。
【００３７】
このように、６０ｐモードで撮像した動画像を６０ｐモードで再生することができる。
【００３８】
【発明の効果】
本発明によれば、フレームレートの高い画像データを記録し、かつ、フレームレートの低い画像データにしか対応していない再生装置でも再生可能となるようにするカメラ一体型記録装置を提供できる。また、本発明によれば、上記カメラ一体型記録装置で記録したフレームレートの高い画像データを高いフレームレートで再生する再生装置を提供できる。
【図面の簡単な説明】
【図１】本発明に係るカメラ一体型記録再生装置によって撮像、再生される動画像データの説明図。
【図２】本発明に係るカメラ一体型記録再生装置の回路ブロック図。
【図３】記録されるデータストリームの構造を示す図。
【図４】記録媒体の記録エリアの説明図。
【図５】データ記録エリア５０２に記録されるデータの例を示す図。
【図６】所望の画像を選択するのに用いられる画面を表す図。
【図７】サムネイルを用いた画像の検索・表示手順を示すフローチャート。
【符号の説明】
１０１、１０２…フィールド画像、１０３…フレーム画像。
【図１】
2004040518.tif 000003
【図２】
2004040518.tif 000004
【図３】
2004040518.tif 000005
【図４】
2004040518.tif 000006
【図５】
2004040518.tif 000007
【図６】
2004040518.tif 000008
【図７】
2004040518.tif 000009