(57)【要約】【課題】画像記録時の電子式手振れ補正に対応して、より精度の高い手振れ補正を行うことができるようにＲＡＷ画像データを記録、再生することが可能な記録装置、再生装置、記録方法、再生方法及びプログラムを提供すること。【解決手段】撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを再生可能な画像データに画像処理してフレーム単位の処理済画像データを生成する画像処理部１２０と、処理済画像データに電子式手振れ補正を行い、電子式手振れ補正済画像データを生成する電子式手振れ補正部１２２と、電子式手振れ補正部において電子式手振れ補正を行う際に使用した移動量データをフレーム毎に取得する移動量データ取得部１４０と、フレーム単位のＲＡＷ画像データと、フレーム単位の処理済画像データと、フレーム単位の移動量データとをフレーム毎に順次記録媒体に記録する媒体記録部１５０とを備えることを特徴とする。【選択図】図１
2009152672.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを再生可能な画像データに画像処理してフレーム単位の処理済画像データを生成する画像処理部と、
前記処理済画像データに電子式手振れ補正を行い、電子式手振れ補正済画像データを生成する電子式手振れ補正部と、
前記電子式手振れ補正部において電子式手振れ補正を行う際に使用した移動量データをフレーム毎に取得する移動量データ取得部と、
フレーム単位の前記ＲＡＷ画像データと、フレーム単位の前記処理済画像データと、フレーム単位の前記移動量データとをフレーム毎に順次記録媒体に記録する媒体記録部と
を備えることを特徴とする、記録装置。
【請求項２】
フレーム単位のＲＡＷ画像データと、前記ＲＡＷ画像データを再生可能な画像データに画像処理したフレーム単位の処理済画像データと、前記処理済画像データに電子式手振れ補正を行い電子式手振れ補正済画像データを生成する際に使用したフレーム単位の移動量データとがフレーム毎に順次記録された記録媒体から、各前記ＲＡＷ画像データ、各前記処理済画像データ及び各前記移動量データのうち少なくともいずれかを読み出すデータ読出部と、
前記ＲＡＷ画像データをフレーム毎に順次再生する際、前記読み出した移動量データに基づいて、対応する前記ＲＡＷ画像データのフレーム内の一部の領域を切り出す画像処理をする画像処理部と
を備えることを特徴とする、再生装置。
【請求項３】
撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを再生可能な画像データに画像処理してフレーム単位の処理済画像データを生成するステップと、
前記処理済画像データに電子式手振れ補正を行い、電子式手振れ補正済画像データを生成するステップと、
前記電子式手振れ補正を行う際に使用した移動量データをフレーム毎に取得するステップと、
フレーム単位の前記ＲＡＷ画像データと、フレーム単位の前記処理済画像データと、フレーム単位の前記移動量データとをフレーム毎に順次記録媒体に記録するステップと
を備えることを特徴とする、記録方法。
【請求項４】
フレーム単位のＲＡＷ画像データと、前記ＲＡＷ画像データを再生可能な画像データに画像処理したフレーム単位の処理済画像データと、前記処理済画像データに電子式手振れ補正を行い電子式手振れ補正済画像データを生成する際に使用したフレーム単位の移動量データとがフレーム毎に順次記録された記録媒体から、各前記ＲＡＷ画像データ、各前記処理済画像データ及び各前記移動量データのうち少なくともいずれかを読み出すステップと、
前記ＲＡＷ画像データをフレーム毎に順次再生する際、前記読み出した移動量データに基づいて、対応する前記ＲＡＷ画像データのフレーム内の一部の領域を切り出す画像処理をするステップと
を備えることを特徴とする、再生方法。
【請求項５】
撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを再生可能な画像データに画像処理してフレーム単位の処理済画像データを生成する手段、
前記処理済画像データに電子式手振れ補正を行い、電子式手振れ補正済画像データを生成する手段、
前記電子式手振れ補正を行う際に使用した移動量データをフレーム毎に取得する手段、
フレーム単位の前記ＲＡＷ画像データと、フレーム単位の前記処理済画像データと、フレーム単位の前記移動量データとをフレーム毎に順次記録媒体に記録する手段
をコンピュータに実行させるためのプログラム。
【請求項６】
フレーム単位のＲＡＷ画像データと、前記ＲＡＷ画像データを再生可能な画像データに画像処理したフレーム単位の処理済画像データと、前記処理済画像データに電子式手振れ補正を行い電子式手振れ補正済画像データを生成する際に使用したフレーム単位の移動量データとがフレーム毎に順次記録された記録媒体から、各前記ＲＡＷ画像データ、各前記処理済画像データ及び各前記移動量データのうち少なくともいずれかを読み出す手段、
前記ＲＡＷ画像データをフレーム毎に順次再生する際、前記読み出した移動量データに基づいて、対応する前記ＲＡＷ画像データのフレーム内の一部の領域を切り出す手段
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録装置、再生装置、記録方法、再生方法及びプログラムに関する。
【背景技術】
【０００２】
動画を記録可能なビデオカメラ、カムコーダなどの撮像装置は、一般にＣＣＤ等の撮像素子の各画素から出力された信号に所定の画像処理（現像処理）を行った後、ＭＰＥＧ−２、Ｍｏｔｉｏｎ  ＪＰＥＧ等の圧縮処理を施し、フラッシュメモリやＨＤＤ、ＤＶＤ等の記録媒体に画像データの記録を行っている。
【０００３】
ここで、上記の画像処理とは、例えばホワイトバランス制御、露出制御などである。また、電子式手振れ補正を行なって画像を記録する場合、通常、撮像素子の一部の領域のデータを抽出するための切り出し位置を決定する処理を行う。例えば、特許文献１では、撮影時に、被写体を抽出することによって、被写体を中心に自動的にＲＡＷ画像データをトリミングする技術が開示されている。また、特許文献２では、撮影時に被写体を中心に自動的にＲＡＷ画像データをトリミングし、トリミングされた部分を現像処理して圧縮処理を行う技術が開示されている。
【０００４】
【特許文献１】特開２００６−３３２９１号公報
【特許文献２】特開２００６−１７３８５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
通常、画像処理をした後、圧縮処理が施されることによって、画像の記録再生品質は、圧縮処理が施される前のデータに比べて低下する。そのため、静止画を記録するデジタルカメラ等の撮像装置には、圧縮処理を行わずに撮像素子から出力された信号をＲＡＷ形式として直接記録するものがある。しかしながら、動画像を記録するカムコーダ等の撮像装置では、ＲＡＷ形式として記録する際に処理量が大きくなるため、縮小画像を保存して、縮小画像を現像作業などの作業時や撮像装置での再生時に利用する場合が多かった。
【０００６】
電子式手振れ補正を行って画像を記録する場合、角速度センサーの出力に基づいて、撮像素子の一部の領域のデータのみ抽出するための切り出し位置を決定する処理を行う。しかし、この決定処理の精度は、撮像素子に設けられたＣＰＵ等の限定された演算回路によるため、演算能力が必ずしも高くなく、適切な手振れ補正効果を得られないという問題があった。また、動画像を記録する場合には、電子式手振れ補正に必要な情報は、時間変化を伴っているため、角速度センサーと撮影画像の時間的な関係を完全に一致させることが撮像装置内部の演算回路では困難であるという問題があった。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像記録時の電子式手振れ補正に対応して、より精度の高い手振れ補正を行うことができるようにＲＡＷ画像データを記録、再生することが可能な、新規かつ改良された記録装置、再生装置、記録方法、再生方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを再生可能な画像データに画像処理してフレーム単位の処理済画像データを生成する画像処理部と、処理済画像データに電子式手振れ補正を行い、電子式手振れ補正済画像データを生成する電子式手振れ補正部と、電子式手振れ補正部において電子式手振れ補正を行う際に使用した移動量データをフレーム毎に取得する移動量データ取得部と、フレーム単位のＲＡＷ画像データと、フレーム単位の処理済画像データと、フレーム単位の移動量データとをフレーム毎に順次記録媒体に記録する媒体記録部とを備えることを特徴とする記録装置が提供される。
【０００９】
また、上記課題を解決するために、本発明の別の観点によれば、フレーム単位のＲＡＷ画像データと、ＲＡＷ画像データを再生可能な画像データに画像処理したフレーム単位の処理済画像データと、処理済画像データに電子式手振れ補正を行い電子式手振れ補正済画像データを生成する際に使用したフレーム単位の移動量データとがフレーム毎に順次記録された記録媒体から、各ＲＡＷ画像データ、各処理済画像データ及び各移動量データのうち少なくともいずれかを読み出すデータ読出部と、ＲＡＷ画像データをフレーム毎に順次再生する際、読み出した移動量データに基づいて、対応するＲＡＷ画像データのフレーム内の一部の領域を切り出す画像処理をする画像処理部とを備えることを特徴とする再生装置が提供される。
【００１０】
また、上記課題を解決するために、本発明の別の観点によれば、撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを再生可能な画像データに画像処理してフレーム単位の処理済画像データを生成するステップと、処理済画像データに電子式手振れ補正を行い、電子式手振れ補正済画像データを生成するステップと、電子式手振れ補正を行う際に使用した移動量データをフレーム毎に取得するステップと、フレーム単位のＲＡＷ画像データと、フレーム単位の処理済画像データと、フレーム単位の移動量データとをフレーム毎に順次記録媒体に記録するステップとを備えることを特徴とする記録方法が提供される。
【００１１】
また、上記課題を解決するために、本発明の別の観点によれば、フレーム単位のＲＡＷ画像データと、ＲＡＷ画像データを再生可能な画像データに画像処理したフレーム単位の処理済画像データと、処理済画像データに電子式手振れ補正を行い電子式手振れ補正済画像データを生成する際に使用したフレーム単位の移動量データとがフレーム毎に順次記録された記録媒体から、各ＲＡＷ画像データ、各処理済画像データ及び各移動量データのうち少なくともいずれかを読み出すステップと、ＲＡＷ画像データをフレーム毎に順次再生する際、読み出した移動量データに基づいて、対応するＲＡＷ画像データのフレーム内の一部の領域を切り出す画像処理をするステップとを備えることを特徴とする再生方法が提供される。
【００１２】
また、上記課題を解決するために、本発明の別の観点によれば、撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを再生可能な画像データに画像処理してフレーム単位の処理済画像データを生成する手段、処理済画像データに電子式手振れ補正を行い、電子式手振れ補正済画像データを生成する手段、電子式手振れ補正を行う際に使用した移動量データをフレーム毎に取得する手段、フレーム単位のＲＡＷ画像データと、フレーム単位の処理済画像データと、フレーム単位の移動量データとをフレーム毎に順次記録媒体に記録する手段をコンピュータに実行させるためのプログラムが提供される。
【００１３】
また、上記課題を解決するために、本発明の別の観点によれば、フレーム単位のＲＡＷ画像データと、ＲＡＷ画像データを再生可能な画像データに画像処理したフレーム単位の処理済画像データと、処理済画像データに電子式手振れ補正を行い電子式手振れ補正済画像データを生成する際に使用したフレーム単位の移動量データとがフレーム毎に順次記録された記録媒体から、各ＲＡＷ画像データ、各処理済画像データ及び各移動量データのうち少なくともいずれかを読み出す手段、ＲＡＷ画像データをフレーム毎に順次再生する際、読み出した移動量データに基づいて、対応するＲＡＷ画像データのフレーム内の一部の領域を切り出す手段をコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【００１４】
本発明によれば、画像記録時の電子式手振れ補正に対応して、より精度の高い手振れ補正を行うことができるようにＲＡＷ画像データを記録、再生することができる。
【発明を実施するための最良の形態】
【００１５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
まず、図１を参照して、本発明の一実施形態に係る動画像記録装置１００について説明する。図１は、本実施形態に係る動画像記録装置１００の構成を示すブロック図である。
【００１７】
動画像記録装置１００は、図１に示すように、カメラ１０２、カメラ信号処理部１０４、フォーマット処理部１１０、現像処理部１２０、サイズ処理部１２２、ＪＰＥＧエンコーダ１２４、角速度センサー１３０、フォーマット処理部１３２、ファイル化処理部１４０、メディア記録部１５０を有して構成されている。
【００１８】
カメラ信号処理部１０４は、カメラ１０２の撮像素子（ＣＣＤ（Charge  Coupled  Device）、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等のセンサー）から出力された１フレーム毎の動画像データが入力される。カメラ信号処理部１０４は、入力された信号をＡＤ変換するＡＤコンバータを含んでいる。カメラ信号処理部１０４から出力されたデジタル映像信号は、フォーマット処理部１１０と現像処理部１２０との双方へ送られる。
【００１９】
フォーマット処理部１１０では、撮像素子の画素配列（例えばベイヤー配列、３板ＣＣＤなど）に応じて、デジタル変換されたＲ，Ｇ，Ｂの各信号を並び換える処理をする。また、フォーマット処理部１１０では、フレーム内で可逆的な圧縮処理を動画像データに対して施す。可逆な圧縮方式による圧縮処理によって、画質などを低下させずに画像データを記録、再生することができる。可逆な圧縮方式には、例えば、ハフマン符号を用いたエントロピー符号化等がある。なお、可逆な圧縮方式は、厳密な「可逆」に限定されない。このように、フォーマット処理部１１０によるフォーマット処理では、ＲＡＷ画像データとしての画質を維持するため、画質を損なうような圧縮処理は施されない。一方、ＲＡＷ画像データは非常に大きなファイルサイズとなるため、冗長度の少ないデータに処理する。フォーマット処理部１１０でフォーマット処理された動画像データは、そのままＲＡＷ画像データとしてファイル化処理部１４０へ入力される。
【００２０】
現像処理部１２０では、入力された映像データに対して、ホワイトバランス処理、ベイヤー配列からの補間処理、ノイズ除去、輝度及び色補正等の一連の現像処理が行われる。現像処理部１２０で現像処理が行われたデータは、サイズ処理部１２２へ送られる。
【００２１】
サイズ処理部１２２は、動画像データのサイズを縮小する処理を行う。このとき、サイズ処理部１２２は、撮影時に電子式手振れ補正が行われている場合、フォーマット処理部１３２から移動量データを受けて、手振れ補正処理（データ領域のうちの一部の切り出し処理）を行なう。サイズ処理部１２２から出力されたデータは、ＪＰＥＧエンコーダ１２４へ送られる。
【００２２】
また、サイズ処理部１２２では、必要に応じて、ＥＶＦ（Electronic  View  Finder）（図示せず。）、ＬＣＤ（Liquid  Crystal  Display）（図示せず。）などの表示装置の画面サイズに合わせて、動画像データのサイズを縮小する処理を行う。サイズ処理部１２２は、電子式手振れ補正部の一例である。例えば、サイズ処理部１２２は、角速度センサー１３０から出力された角速度データに基づいて、動画像記録装置１００に設けられた撮像素子の撮影時の移動量を算出し、算出した移動量に基づいて、画像データのフレーム内の一部の領域の切り出し処理を行い、切り出した領域の移動処理を行う。その結果、画像データは電子式手振れ補正処理が行われたデータとなる。なお、本実施形態では移動量の算出について、撮像素子の移動量を算出する場合について説明するが、本発明はかかる例に限定されない。例えばレンズの移動量などを算出してもよい。そして、サイズ処理部１２２から出力されたデータは、ＥＶＦ、ＬＣＤに送られて、画面上に表示される。これにより、ユーザは、カメラ１０２で撮影された映像をリアルタイムで認識することができる。
【００２３】
ＪＰＥＧエンコーダ１２４は、入力されたデータに対してＪＰＥＧの圧縮符号化処理を施し、ファイル化処理部１４０へ圧縮画像データ（処理済画像データ）を送る。
【００２４】
角速度センサー１３０は、動画撮影時に行なわれる電子式手振れ補正に必要な角速度データを出力する。そして、角速度センサー１３０は、角速度データをフォーマット処理部１３２に送る。フォーマット処理部１３２は、角速度センサー１３０の出力値をフォーマット処理し、データをサイズ処理部１２２、ファイル化処理部１４０に送る。
【００２５】
ファイル化処理部１４０は、フォーマット処理部１１０から送られたＲＡＷ画像データや、ＪＰＥＧエンコーダ１２４で圧縮処理された圧縮画像データや、フォーマット処理部１３２から送られた移動量データを一時的に蓄積する。ファイル化処理部１４０は、移動量データ取得部の一例である。ファイル化処理部１４０に蓄積された圧縮画像データ、ＲＡＷ画像データ及び移動量データは、メディア記録部１５０へ送られ、記録メディアの記録フォーマットに従い記録メディアに記録される。記録メディアとしては、例えば、光学式記録媒体（ＣＤ、ＤＶＤ等）、光磁気ディスク、磁気ディスク、半導体記憶媒体などが挙げられる。
【００２６】
なお、図示しないが、動画像記録装置１００は、ホストＣＰＵが設けられる。ホストＣＰＵは、ファイル化処理部１４０からメディア記録部１５０へのデータ送信、及びメディア記録部１５０による記録メディアへのデータの記録を制御する。ホストＣＰＵは、ファイル化処理部１４０に蓄積されている圧縮画像データ、ＲＡＷ画像データ及び移動量データを所定量毎（例えば、１フレームのデータ量毎）にメディア記録部１５０へ送り、記録メディアに順次に記録するように、ファイル化処理部１４０及びメディア記録部１５０を制御する。ホストＣＰＵは、圧縮画像データ、ＲＡＷ画像データ及び移動量データを所定の順番で記録メディアに記録する。
【００２７】
なお、動画像記録装置１００における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。
【００２８】
以上のように構成された本実施形態の動画像記録装置１００では、カメラ１０２の撮像素子から出力されてＡＤ変換された映像デジタルデータが、フォーマット処理部１１０に送られ、ＲＡＷ画像データのまま記録メディアに記録される。従って、記録メディアには、高画質のＲＡＷ画像データが記録され、ＲＡＷ画像データを読み出して表示することで、圧縮された映像データに比べて、高画質の映像を再生することが可能となる。
【００２９】
一方、ＲＡＷ画像データはデータ量が多いため、ＲＡＷ画像データのままではＥＶＦ、ＬＣＤへのリアルタイム画面表示を行うことはできず、またＪＰＥＧ等の圧縮処理を直接行うことができない。本実施形態の動画像記録装置１００では、ＲＡＷ画像データの記録とともに、動画像データの現像処理、縮小処理、圧縮処理を行うため、撮影と同時にＥＶＦ、ＬＣＤへのリアルタイム表示を行うことができ、表示画面をモニタしながら撮影を行うことができる。また、記録メディアにはＲＡＷ画像データとともに圧縮処理された圧縮画像データが記録されるため、再生時には、圧縮画像データにより映像の検索、サムネイル表示等を行うことが可能である。これにより、映像中の重要な部分についてはＲＡＷ画像データによる高画質再生が可能となり、映像中で比較的重要度の低い部分については、圧縮画像データを高速に読み出すことで簡易的な再生が可能となる。
【００３０】
また、本実施形態の動画像記録装置１００は、ＲＡＷ画像データはそのまま保存し、電子式手振れ補正に対応した、角速度センサー１３０の出力値や、出力値から算出された撮像素子の移動量などの移動量データをＲＡＷ画像データと一緒にファイル化する。記録メディアにはＲＡＷ画像データとともに移動量データが記録されるため、再生時、ＲＡＷ画像データを現像処理する際、移動量データを読み出して現像処理することができ、高精度な手振れ補正をすることができる。また、参照画像としての圧縮画像データは、電子式手振れ補正処理が行われたデータであるため、圧縮画像データを用いることで、画像の検索、確認等を効率良く行なうことができる。
【００３１】
次に、記録メディアにおける記録フォーマットについて説明する。図２は、動画像記録装置１００による、記録メディアへの記録のフォーマットを示す模式図である。撮像素子が例えばベイヤー配列の単板の場合には、出力されるデータはＲ：Ｇ：Ｂ＝１：２：１のベイヤー配列された画素の順番で出力される。動画像記録装置１００は、このベイヤー配列データについて画質を損なうことなく記録するため、フォーマット処理部１１０によりＲＧＢの順に並び替え、画質を損なうような圧縮処理を施すことなく記録する。
【００３２】
図２（Ａ）は、映像の記録開始（録画スタート）から記録停止（録画停止）までの間の１つの動画ファイルを示している。また、図２（Ｂ）は、図２（Ａ）の記録データのうち、１フレーム分のデータを示している。
【００３３】
ベイヤー配列のＲＧＢデータは、フォーマット処理部１１０により並べ替えられ、記録メディアのデータ領域に記録される。また、ＪＰＥＧエンコーダ１２４によりエンコードされた圧縮画像データ、及び図示しないフォーマット処理部でフォーマットされた音声データも記録メディアのデータ領域に記録される。図２（Ａ）に示すように、記録フォーマットの先頭には、ヘッダー（Header）が記録される。ヘッダーには、撮影日時、カメラ１０２の撮像素子の情報、動画像記録装置１００のセット名称、オーディオのチャンネル数、ビット数、記録メディアの記録フォーマット情報、カメラ１０２のレンズの仕様データ等の全体的な情報が記録される。ヘッダーに続いて、映像の１フレーム毎にデータが記録される。
【００３４】
１フレーム毎のデータは、フレームヘッダー（Frame  Header  ０，１，・・・，ｎ）とフレーム毎のデータ（Ｆ０，  Ｆ１，・・・，Ｆｎ）から構成される。図２（Ｂ）に示すように、フレーム毎のデータは、音声データ（Audio）、圧縮画像データ（Compressed  Image）、ＲＡＷ画像データ（Ｇ，Ｂ，Ｒ）の順で、フレーム単位で繰り返し記録される。そして、最後のフレームＦｎのデータに続いて、フッター（Footer）が記録される。
【００３５】
各フレームのフレームヘッダーには、例えば、各フレームの音声データ、圧縮画像データ、ＲＡＷ画像データのデータサイズが記録される。また、各フレームのフレームヘッダーには、フレーム毎の移動量データが記録される。
【００３６】
次に、図３を参照して、電子式手振れ補正におけるデータの切り出し例について説明する。図３は、本実施形態に係る撮像素子の撮像面を示す模式図である。
【００３７】
現像処理部１２０、サイズ処理部１２２を介して生成された圧縮画像データは、電子式手振れ補正を行ったデータであり、例えば図３に示すＶｘ×Ｖｙの範囲のデータのみ抽出される。一方、フォーマット処理部１１０を介して生成されたＲＡＷ画像データは、図３に示す撮像面全ての領域のデータが記録される。そして、移動量データは、角速度センサー１３０のＡＤ変換後の出力値とすることができる。手振れ補正時、角速度センサー１３０の出力値は、時間方向に変化しているため、撮影フレーム期間内の情報を複数点記録する。また、圧縮画像データとＲＡＷ画像データとの位相差、即ち圧縮画像データ記録時に電子式手振れ補正を行なったときの切り出し位置を記録してもよい。切り出し位置は、例えば、図３に示すＭＶｘ，ＭＶｙの組合せとすることができる。これにより、ＲＡＷ画像データを現像処理する際の参考情報することができる。
【００３８】
次に、図４を参照して、図１の動画像記録装置１００で記録された動画像データを再生する動画像再生装置２００について説明する。図４は、本発明の一実施形態に係る動画像再生装置２００の構成を示すブロック図である。図４に示すように、動画像再生装置２００は、ホストＣＰＵ２０２、メディア読出部２１０、De-Multiplex２１２、ＥＩＳ情報抽出部２２０、音声信号処理部２３０、オーディオ出力部２３２、ＪＰＥＧデコード部２４０、領域切出部２５０、現像処理部２５２、サイズ処理部２５４、ＭＵＸ２６０、ビデオ出力部２６２を有して構成されている。
【００３９】
メディア読出部２１０は、ホストＣＰＵ２０２からの指令により、記録メディアからデータを読み出す。
【００４０】
De-Multiplex２１２は、メディア読出部２１０から読み出したデータを一時的に溜め、音声信号処理部２３０、ＪＰＥＧデコード部２４０、領域切出部２５０のそれぞれに送る。
【００４１】
ＥＩＳ情報抽出部２２０は、フレームヘッダーに記録された移動量データを抽出し、ホストＣＰＵ２０２に送る。
【００４２】
ホストＣＰＵ２０２は、ＥＩＳ情報抽出部２２０から送られた移動量データに基づいて、現像処理部２５２又はサイズ処理部２５４における画像処理を制御する。これにより、記録メディアから移動量データが読み出された場合、そのデータに従って、現像処理、サイズ処理が行われるため、撮影時の電子式手振れ補正に対応した高精度な手振れ補正処理を行うことができる。
【００４３】
音声信号処理部２３０は、音声データをデフォーマットし、デフォーマットされた信号をＤＡ変換し、オーディオ出力部２３２に送る。オーディオ出力部２３２は、アナログ変換されたオーディオ信号を外部に出力する。
【００４４】
また、ＪＰＥＧデコード部２４０は、圧縮画像データをデコードし、デコードされた映像データを縮小または拡大し、ＭＵＸ２６０へ送る。
【００４５】
また、領域切出部２５０は、ＲＡＷ画像データをベイヤーデフォーマットし、ベイヤー配列に並べ替えて現像処理部２５２へ送る。領域切出部２５０は、ホストＣＰＵ２０２を介してＥＩＳ情報抽出部２２０から送られた移動量データに基づいて、手振れ補正処理のための切り出し量を算出する。
【００４６】
現像処理部２５２は、デフォーマットされたＲＡＷ画像データに対して、ホワイトバランス処理、ベイヤー配列からの補間処理、ノイズ除去、輝度及び色補正等の一連の現像処理を行う。サイズ処理部２５４は、現像処理が行われたＲＡＷ画像データのサイズを縮小する処理を行い、ＭＵＸ２６０へ送る。
【００４７】
ＭＵＸ２６０は、ＪＰＥＧデコード部２４０又はサイズ処理部２５４から送られた映像データを、ビデオ出力部２６２へ送る。ビデオ出力部２６２では、送られたデータをＤＡ変換し、アナログ信号データを外部に出力する。
【００４８】
なお、動画像再生装置２００における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。
【００４９】
以上のように構成された本実施形態の動画像再生装置２００では、メディア読出部２１０から読み出したファイルの中の各フレームヘッダーに記録された移動量データを用いて現像処理、サイズ処理を行う。そして、動画像再生装置２００によれば、ソフトウェアなどによるＲＡＷ画像データの現像処理を行うことができ、高機能なアルゴリズムを使用できる。その結果、高性能な動き量演算や、画像そのものを用いた手振れ量の演算も行なうことができ、高精度な手振れ補正処理を行うことができる。
【００５０】
ＲＡＷ画像データの再生時には、記録メディアからＧ、Ｂ、Ｒの各ＲＡＷ画像データを読み出し、そのデータを現像処理することによって、ＲＡＷ画像データが映像信号化される。この信号は、所定の画像サイズに縮小処理されて、ビデオ出力部２６２にビデオ出力される。これにより、動画像再生装置２００によって、高画質な再生が可能となる。
【００５１】
圧縮画像データを再生する場合は、記録メディアからフレーム単位に圧縮画像データを順次に読み出すことで、圧縮画像データを再生することができる。この場合、読み出されるデータサイズはＲＡＷ画像データに比べて極めて小さい。ＪＰＥＧデコードされた映像信号を所定の画像サイズに縮小処理、または拡大処理して出力することで、ＲＡＷ画像データの再生に比べて軽い処理で再生を行うことが可能となる。このように、圧縮画像データによる簡易再生モードを活用することにより、動画像再生装置２００のハードウェア構成を大幅に削減できるとともに、消費電力を大幅に低減できる。
【００５２】
また、特殊再生モードとして、高速再生モードについても、ＪＰＥＧデータを用いることで、負荷の少ない処理が可能となる。この場合、再生の倍速率に合わせてフレームヘッダーのみをサーチしながら、音声データ、圧縮画像データ、ＲＡＷ画像データのデータサイズ情報から必要なフレームだけを飛び越し走査して圧縮画像データを読み出し、ＪＰＥＧデコードして読み出せば良い。逆転方向の再生も同様の方法を用いることで容易に実現可能である。
【００５３】
また、圧縮画像データを用いて、ファイルの中の撮影画像の一覧をサムネイル表示することも可能である。この場合、例えば複数の動画ファイルのそれぞれについて、１フレームの画像をサムネイル表示してもよいし、各動画ファイルを動画としてサムネイル表示してもよい。
【００５４】
以上説明したように本実施形態によれば、ＲＡＷ画像データと圧縮画像データの双方を関連付けて記録することができるため、高画質再生を行う場合はＲＡＷ画像データを使用し、リアルタイム表示、画像検索等では、データ量の少ない圧縮画像データを用いることができる。これにより、高画質かつ操作性の優れた動画像記録装置１００、および動画像再生装置２００を提供することが可能となる。
【００５５】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【図面の簡単な説明】
【００５６】
【図１】本発明の一実施形態に係る動画像記録装置の構成を示すブロック図である。
【図２】動画像記録装置による、記録メディアへの記録のフォーマットを示す模式図である。
【図３】同実施形態に係る撮像素子の撮像面を示す模式図である。
【図４】同実施形態に係る動画像再生装置の構成を示すブロック図である。
【符号の説明】
【００５７】
１００      動画像記録装置
１０２      カメラ
１０４      カメラ信号処理部
１１０、１３２      フォーマット処理部
１２０      現像処理部
１２２      サイズ処理部
１２４      ＪＰＥＧエンコーダ
１３０      角速度センサー
１３２      フォーマット処理部
１４０      ファイル化処理部
１５０      メディア記録部
２００      動画像再生装置
２０２      ホストＣＰＵ
２１０      メディア読出部
２１２      De-Multiplex
２２０      ＥＩＳ情報抽出部
２３０      音声信号処理部
２３２      オーディオ出力部
２４０      ＪＰＥＧデコード部
２５０      領域切出部
２５２      現像処理部
２５４      サイズ処理部
２６０      ＭＵＸ
２６２      ビデオ出力部
【図１】
2009152672.tif 000003
【図２】
2009152672.tif 000004
【図３】
2009152672.tif 000005
【図４】
2009152672.tif 000006