(57)【要約】【課題】画像データの保存処理に際して必要な一時記憶部の使用領域の増大を回避可能な撮像装置および携帯電話を提供する。【解決手段】撮像開始後、符号化データをブロック化してフラッシュメモリに逐次書き込み、撮像中および終了後にＣＰＵによって生成される再生付随データ（符号化データのデータサイズ等の情報）をもフラッシュメモリに書き込む。符号化データおよび再生付随データのフラッシュメモリへの書き込み処理完了後、フラッシュメモリに記録された符号化データを抜き取って、フラッシュメモリ中の再生付随データに後続する物理アドレスに移動させることにより、ファイルデータの再生時に再生付随データが符号化データに先行して読み出されるようファイルデータを構成する。【選択図】        図２
2005333175.tif 000002
【特許請求の範囲】
【請求項１】
動画を撮像可能な撮像部と、
一時記憶部と、
不揮発性記憶部と、
前記撮像部、一時記憶部および不揮発性記憶部の動作を制御する制御部と
を備え、
前記制御部は、
前記撮像部にて撮像された前記動画を構成する複数の連続画像フレームデータたる画像データを、複数のブロックに細分化して、前記ブロックごとに前記一時記憶部に記憶させ、
前記画像データのデータ構成に関する情報であって前記動画の再生時に参照される画像用再生付随データを生成して前記一時記憶部に記憶させ、
前記一時記憶部に記憶された前記画像データを、前記ブロックごとに前記不揮発性記憶部に転送して記録させ、
前記撮像部における撮像の終了により生成が完了した前記画像用再生付随データを、前記一時記憶部から前記不揮発性記憶部に転送して記録させ、
前記不揮発性記憶部において、動画１ファイル分のデータたるファイルデータが前記画像用再生付随データと前記画像データとを少なくとも含み、かつ、前記ファイルデータの再生時に前記画像用再生付随データが前記画像データに先行して読み出されるよう前記ファイルデータを構成する
撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
前記制御部は、
前記画像用再生付随データの前記不揮発性記憶部への記録後に、前記不揮発性記憶部に記録された前記画像データを抜き取って、前記不揮発性記憶部中の前記画像用再生付随データに後続する物理アドレスに移動させることにより、前記ファイルデータの再生時に前記画像用再生付随データが前記画像データに先行して読み出されるよう前記ファイルデータを構成する
撮像装置。
【請求項３】
請求項１に記載の撮像装置であって、
前記制御部は、
前記動画の１ファイル内の最初の前記ブロックを前記不揮発性記憶部に転送して記録する際に、前記不揮発性記憶部において無データ領域たる予約領域を前記ファイルデータ内に設けて、前記予約領域に後続する物理アドレス以降に前記画像データの記録を行い、
前記画像用再生付随データを前記不揮発性記憶部に転送して記録する際に、前記予約領域内に前記画像用再生付随データの記録を行うことにより、前記ファイルデータの再生時に前記画像用再生付随データが前記画像データに先行して読み出されるよう前記ファイルデータを構成する
撮像装置。
【請求項４】
請求項３に記載の撮像装置であって、
前記制御部は、
前記予約領域内に前記画像用再生付随データの記録を行う際に、前記予約領域において前記画像用再生付随データ以降に無データ領域の余剰部分が生じた場合には、前記余剰部分に無効データを埋め込む
撮像装置。
【請求項５】
請求項３に記載の撮像装置であって、
ユーザとの間で情報の入出力を行うための入出力インタフェース
をさらに備え、
前記制御部には、ユーザより前記入出力インタフェースを介して、前記動画の撮像状況の設定に関する情報が入力され、
前記制御部は、前記動画の撮像状況の設定に関する前記情報に基づいて、前記予約領域のデータサイズを決定する
撮像装置。
【請求項６】
請求項１に記載の撮像装置であって、
前記不揮発性記憶部は、ＦＡＴ（File Allocation Table）を用いた、クラスタ単位でのデータの読み出しおよび書き込みを行うファイルシステムにより管理され、
前記ＦＡＴにおいては、記録されたクラスタ内データの読み出し後に続いてデータが読み出されるべき連結先クラスタの番号がクラスタごとの対応欄に記され、また、前記連結先クラスタがない場合にはデータ終端を示す終端情報が連結先クラスタの番号の代わりに記され、
前記画像用再生付随データの前記不揮発性記憶部への記録後に、前記ＦＡＴにおいて、前記画像用再生付随データの最終部分が書き込まれたクラスタの前記終端情報を消去し、前記動画の１ファイル内の最初の前記ブロックが書き込まれたクラスタの番号を前記連結先クラスタとして新たに記すことにより、前記ファイルデータの再生時に前記画像用再生付随データが前記画像データに先行して読み出されるよう前記ファイルデータを構成する
撮像装置。
【請求項７】
請求項６に記載の撮像装置であって、
前記画像用再生付随データの前記最終部分が書き込まれるクラスタにおいて、前記画像用再生付随データの最終部分以降に無データ領域となる余剰部分が生じる場合には、前記余剰部分に無効データを埋め込む
撮像装置。
【請求項８】
請求項１乃至請求項７に記載の撮像装置
を含む携帯電話。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、デジタルカメラやカメラ機能付き携帯電話等の撮像装置に関し、動画の保存処理において一時的に画像データを保持するための一時記憶部を有する撮像装置および携帯電話に関する。
【背景技術】
【０００２】
例えば静止画像のデータを記録する場合、下記特許文献１の第０００５段落乃至第００１７段落の記述および図７に示されているように、再生時に参照される再生付随データたるヘッダ情報（画素数情報等）と静止画の画像内容を符号化した符号化データとが画像データとして、一時記憶部たるフレームメモリ６４に書き込まれた上でメモリカード６７等の不揮発性記憶部に記録されるのが一般的である。
【０００３】
特許文献１の技術においては、静止画撮影が前提とされており、画像圧縮回路６５により圧縮処理を行う前にヘッダ情報の内容が確定している（第００１５段落に「…制御部６８は、該当するコマの撮影に先行して撮影者が行った設定その他の内容に基づいてヘッダ情報を作成し、アドレス空間上で先頭アドレスＡｎから始まる領域に書き込む」とあり、第００１６段落に「そのヘッダ情報のサイズｈ（ヘッダ情報の形式に基づいて予め与えられる）」とあることから、そのように解釈できる）。そのため、フレームメモリ６４にヘッダ情報の書き込みを行った後、圧縮処理された符号化データをフレームメモリ６４に記憶させ、メモリカード６７等の不揮発性記憶部にヘッダ情報および圧縮された符号化データを転送して記録することが可能である。
【０００４】
【特許文献１】特開平８−３７６３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
動画撮影の場合には、画像撮影完了までヘッダ情報の内容が未確定となる。ヘッダ情報のサイズｈが圧縮処理や録画時間に応じて増減するからである。よって、動画の場合には、符号化データの圧縮処理完了後でないと、ヘッダ情報のサイズｈの決定ができない。
【０００６】
この場合、特許文献１に記載のようなフレームメモリからメモリカードへの転送・記録手法を採用すれば、制御部が圧縮後の符号化データを全てフレームメモリ等の一時記憶部に一時記憶させ、その符号化データに基づいてヘッダ情報を生成し、ヘッダ情報をフレームメモリに書き込む。そして、メモリカード等の不揮発性記憶部に対してフレームメモリからヘッダ情報を転送して記録し、続いて符号化データを転送して記録することになる。
【０００７】
しかしながら、このようにフレームメモリ等の一時記憶部への符号化データの一時記憶完了後に、メモリカード等の不揮発性記憶部への符号化データの転送および記録を行うとすれば、符号化データの全ての一時記憶を可能とするためにフレームメモリ等の一時記憶部の記憶容量を大容量としなければならない。このような一時記憶部の大容量化は、製造コスト高に直結する。
【０００８】
また、デジタルカメラやカメラ機能付き携帯電話における撮影画像の高画質化も進んでいる。こうした高画質化等に伴い、撮影時に処理しなければならない画像データの量が増大し、デジタルカメラやカメラ機能付き携帯電話に内蔵された一時記憶部の記憶可能領域は逼迫している。
【０００９】
さらに、カメラ機能付き携帯電話の場合は、電話機本来の機能である着信応答処理をも行う必要があり、この応答処理のためにも一時記憶部は利用されている。よって、画像撮影による一時記憶部の使用領域増大の回避が望まれている。
【００１０】
この発明は、上記に鑑みてなされたものであり、画像データの保存処理に際して必要な一時記憶部の使用領域の増大を回避可能な撮像装置および携帯電話を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、動画を撮像可能な撮像部と、一時記憶部と、不揮発性記憶部と、前記撮像部、一時記憶部および不揮発性記憶部の動作を制御する制御部とを備え、前記制御部は、前記撮像部にて撮像された前記動画を構成する複数の連続画像フレームデータたる画像データを、複数のブロックに細分化して、前記ブロックごとに前記一時記憶部に記憶させ、前記画像データのデータ構成に関する情報であって前記動画の再生時に参照される画像用再生付随データを生成して前記一時記憶部に記憶させ、前記一時記憶部に記憶された前記画像データを、前記ブロックごとに前記不揮発性記憶部に転送して記録させ、前記撮像部における撮像の終了により生成が完了した前記画像用再生付随データを、前記一時記憶部から前記不揮発性記憶部に転送して記録させ、前記不揮発性記憶部において、動画１ファイル分のデータたるファイルデータが前記画像用再生付随データと前記画像データとを少なくとも含み、かつ、前記ファイルデータの再生時に前記画像用再生付随データが前記画像データに先行して読み出されるよう前記ファイルデータを構成する撮像装置、および、当該撮像装置を含む携帯電話である。
【発明の効果】
【００１２】
本発明によれば、制御部は、画像データをブロックごとに一時記憶部に記憶させ、不揮発性記憶部に転送して記録させる。また、画像用再生付随データをも一時記憶部から不揮発性記憶部に転送して記録させる。そして、不揮発性記憶部において、ファイルデータの再生時に画像用再生付随データが画像データに先行して読み出されるようファイルデータを構成する。よって、一時記憶部において、１ブロック分の画像データと全ブロック分の画像用再生付随データとを記憶可能な記憶容量さえ確保しておけば、画像用再生付随データが先行して読み出されるファイル形式を保ちつつ、画像データと画像用再生付随データとを、一時記憶部を介して不揮発性記憶部に記録することができる。これにより、画像データの保存処理に際して必要な一時記憶部の使用領域の増大を回避可能である。
【発明を実施するための最良の形態】
【００１３】
＜実施の形態１＞
本実施の形態にかかる撮像装置は、撮像部たるカメラレンズ、ＣＣＤ（Charge Coupled Device）撮像素子およびカメラコントローラと、データの一時記憶部たるＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）と、入力データの圧縮処理を行うメディアプロセッサと、データ保存用の不揮発性記憶部たるフラッシュメモリと、撮像部、一時記憶部および不揮発性記憶部を含む各構成要素の動作の制御および再生付随データの生成を行う制御部たるＣＰＵ（Central Processing Unit）とを備える。
【００１４】
この撮像装置は、撮像開始後、メディアプロセッサが出力する符号化データをブロック化してフラッシュメモリに逐次書き込み、撮像中および終了後にＣＰＵによって生成される再生付随データをもフラッシュメモリに書き込む。そして、動画１ファイル分のデータたるファイルデータの再生時に再生付随データが符号化データに先行して読み出されるよう、フラッシュメモリにおいてファイルデータを構成する。
【００１５】
なお、再生付随データは、画像データのデータ構成に関する情報であって、動画の再生時に参照されるものである。そのため、ネットワークからのファイル取得を想定すると、再生付随データを予め参照することによりダウンロード途中の画像データをダウンロード済みデータから順次、再生することが可能となるので、画像データよりもファイル先頭に記述されていることが望ましい。
【００１６】
そこで、本実施の形態においては、符号化データおよび再生付随データのフラッシュメモリへの書き込み処理完了後、フラッシュメモリに記録された符号化データを抜き取って、フラッシュメモリ中の再生付随データに後続する物理アドレスに移動させることにより、ファイルデータの再生時に再生付随データが符号化データに先行して読み出されるようファイルデータを構成する。
【００１７】
図１は、本実施の形態にかかる撮像装置１００の構成を示すブロック図である。なお、この撮像装置１００は、デジタルカメラやカメラ機能付き携帯電話に適用可能であり、図１に示された各構成要素以外にも、例えばストロボ機能や電話機能のブロックをさらに備えていてもよい。本実施の形態では、撮像装置１００がカメラ機能付き携帯電話である場合を例に採る。
【００１８】
図１において、ユーザのカメラ起動操作により、ＣＰＵ１０１からカメラコントローラ１０２に対してプレビュー要求が発行される。「プレビュー」とは撮影開始前の画像確認の状態であり、ユーザは被写体へカメラレンズ１０３を向け、撮像構図を決定する。
【００１９】
プレビュー状態では、被写体像が撮影用カメラレンズ１０３から入力され、ＣＣＤ撮像素子１０４の受光面に結像され、光の入射光量に応じた電荷信号に変換される。カメラコントローラ１０２は、蓄積された電荷信号をフレームレートに同期したタイミングでフレーム単位に出力し、出力された信号は画像フレームデータとして、Ｒ・Ｇ・Ｂ（赤・緑・青）もしくはＹ・Ｃｂ・Ｃｒ（輝度・色差（緑−青）・色差（緑−赤））形式で、データバス１１６およびメモリコントローラ１１３を介してＳＤＲＡＭ１０５に一時記憶される。なお、撮影用カメラレンズ１０３、ＣＣＤ撮像素子１０４およびカメラコントローラ１０２が相俟って、動画を撮像可能な撮像部として機能する。
【００２０】
ＳＤＲＡＭ１０５に一時記憶された画像フレームデータは、携帯電話のメイン画面たるメインＬＣＤ（Liquid Crystal Device）１０６もしくは携帯電話のサブ画面たるサブＬＣＤ１０７のサイズに一致するように、ＣＰＵ１０１により縮小または拡大処理され、さらに、ディスプレイメモリ１０８での格納形式に必要があれば変換されて、ディスプレイメモリ１０８内にデータバス１１６を介してコピーされる。ディスプレイメモリ１０８の画像フレームデータは、ＬＣＤコントローラ１０９により、メインＬＣＤ１０６もしくはサブＬＣＤ１０７に画像として出力される。
【００２１】
また、カメラコントローラ１０２から出力され、ＳＤＲＡＭ１０５に一時記憶された画像フレームデータは、カメラコントローラ１０２から出力される次フレームの画像データにより上書きされる。さらに、ディスプレイメモリ１０８内の画像データも更新され、メインＬＣＤ１０６もしくはサブＬＣＤ１０７上で順次、画像フレームが更新される。このように更新された複数の連続画像フレームデータが動画を構成する。このような複数の連続画像フレームデータを、本願では画像データと称する。
【００２２】
ディスプレイメモリ１０８のデータ更新およびメインＬＣＤ１０６もしくはサブＬＣＤ１０７への画像出力は、例えばディスプレイメモリ１０８へのフレーム書き込み終了の割り込み情報を受けたときに実行される。これらの処理は、ＣＰＵ１０１からのタイミング制御により行われる。
【００２３】
ユーザとの間で情報の入出力を行うための入出力インタフェース（例えば携帯電話の各種操作ボタンを含む）１１７を介したユーザの操作により、プレビュー状態において動画撮像が開始される。すると、マイク１１０の入力が有効となり、ＳＤＲＡＭ１０５に一時記憶された画像データ及びマイク１１０から入力される音声データの圧縮処理が、メディアプロセッサ１１１によって開始される。圧縮処理については、再生時の画像と音声との同期を取るために、同一タイミングの画像データと音声データとが処理される。処理後の画像データおよび音声データは符号化されて、符号化データとなる。
【００２４】
撮像中、メディアプロセッサ１１１から出力される符号化データは、順次、時間軸に沿ってＳＤＲＡＭ１０５内に、ＣＰＵ１０１による多重化処理（例えば３秒ずつ等の所定の記録時間ごとの画像データと音声データとが交互にデータ配置される（＝インターリーブ形式：なお一組の画像データと音声データとが１ブロック（後述）となる）処理を指す）により記録される。入出力インタフェース１１７を介したユーザによる撮像停止操作の後、ＳＤＲＡＭ１０５に記録された符号化データは、ＣＰＵ１０１により多重化動画ファイル形式に整えられる。
【００２５】
多重化動画ファイル形式としては、画像圧縮に例えばＭＰＥＧ４（Moving Picture Experts Group 4）を、音声圧縮に例えばＡＭＲ（Adaptive Multi-Rate）符号化方式（３ＧＰＰ ＴＳ２６．１０４に基づく）を採用し、多重化方式としては３ＧＰＰ−ＭＰ４形式（３ＧＰＰ ＴＳ ２６．２３４に基づく）を採用したものが一般的に使用されている。この３ＧＰＰ−ＭＰ４形式の特徴としては、再生時に制御情報となる再生付随データをファイル先頭に記述することにより、ネットワークを介した動画のデータ取得時に、全てのデータ取得の完了を待つことなく、再生付随データおよび画像データの先頭部分のダウンロード時点でファイル再生を開始することができ、以後のデータは再生と平行して取得を継続することができる、という点が挙げられる。このため、再生開始までにかかる処理時間を短縮して、再生を開始することができる。
【００２６】
図２に３ＧＰＰ−ＭＰ４形式で記録された動画１ファイル分のファイルデータの構造（例えば３ＧＰＰ ＴＳ ２６．２３４  Ｖ５．６．０（2003-09）のANNEX D、Table D.9に基づく）を示し、ファイル内に格納される各情報に関して以下に説明する。
【００２７】
メディアプロセッサ１１１から出力される圧縮処理された符号化画像データおよび符号化音声データは、一般に時間軸に沿って、インターリーブ形式として保存される。３ＧＰＰ−ＭＰ４形式では、符号化画像データおよび符号化音声データは図２における符号化データ５０１の部分に保存される。３ＧＰＰ−ＭＰ４ではファイル先頭から、データ開始識別子５０２、ファイル識別子５０３が固定サイズのデータとして格納されなければならない。
【００２８】
再生付随データ５０４には、画像用再生付随データ５０４ａおよび音声用再生付随データ５０４ｂが含まれている。そして、画像用再生付随データ５０４ａおよび音声用再生付随データ５０４ｂにはそれぞれ、データ位置一覧５０５ａ，５０５ｂ、データサイズ一覧５０６ａ，５０６ｂ、出力時間一覧５０７ａ，５０７ｂが格納されている。これらの情報はいずれも符号化データ５０１のデータ構成に関する情報であって動画の再生時に参照される情報である。
【００２９】
データ位置一覧５０５ａ，５０５ｂには、符号化データ５０１内の画像データおよび音声データの各ブロック５０８についてファイル先頭からのオフセット量の情報が記載されており、再生時にデータ位置一覧５０５ａ，５０５ｂに記載の情報を参照することで、必要なデータの読み出し位置を決定することができる。
【００３０】
また、データサイズ一覧５０６ａ，５０６ｂには、符号化データ５０１の各ブロック５０８のデータサイズ情報が記載されており、データサイズ一覧５０６ａ，５０６ｂに記載の情報は、データ位置一覧５０５ａ，５０５ｂに記載の情報と合わせて再生時のデコード処理に利用される。
【００３１】
また、出力時間一覧５０７には、符号化データ５０１の各ブロック５０８をデコードしてＬＣＤ（メインＬＣＤ１０６、サブＬＣＤ１０７）、スピーカ（入出力インタフェース１１７に含まれる）等の出力機器から再生したときの、再生に要する出力時間の情報が記載されている。
【００３２】
図１および図２を用いて、３ＧＰＰ−ＭＰ４形式で撮像データを保存する場合の処理を以下に説明する。
【００３３】
図１において、メディアプロセッサ１１１で圧縮処理された符号化データ（符号化画像データおよび符号化音声データ）は、ＣＰＵ１０１により複数のブロック５０８に細分化されて、ブロック５０８ごとにＳＤＲＡＭ１０５に一時記憶される。
【００３４】
各ブロック５０８は、画像ブロック５０８ａおよび音声ブロック５０８ｂを含み、画像ブロック５０８ａは、動画を構成する複数の連続画像フレームデータたる符号化画像データ５０９ａ〜５０９ｄ（５０９ａ〜５０９ｄの各１つが１枚の画像フレームデータに相当）で構成され、音声ブロック５０８ｂは、同ブロック内の画像ブロック５０８ａに同期するサンプリングレートごとの複数の音声データ５１０ａ〜５１０ｄで構成される。
【００３５】
なお、３ＧＰＰ−ＭＰ４形式においては、１枚の画像フレームデータの表示時間（＝デルタタイム：例えば０．３秒や０．５秒等、撮像設定や撮像状況により異なる）が等しい符号化画像データ５０９ａ〜５０９ｄが一つのブロック５０８として区分され、対応する符号化音声データ５１０ａ〜５１０ｄも同一ブロック５０８内に区分される。このような区分法は３ＧＰＰ−ＭＰ４固有の処理であって、同一ブロック内の各画像フレームデータのデルタタイムは等しいため、各画像フレームデータごとにデルタタイムの情報を記憶する必要がなく、デルタタイムについてのデータ量が少なくて済む。
【００３６】
符号化データ５０１の記録時には、図２で示した、データサイズ一覧５０６ａ，５０６ｂ、出力時間一覧５０７ａ，５０７ｂに記載された各情報が、ＣＰＵ１０１により生成される。ブロック化済みの符号化データのデータサイズ一覧および出力時間一覧（デルタタイムの情報が記載される）の各情報は、メディアプロセッサ１１１の圧縮処理時に各々確定して取得できるため、符号化データ５０１のブロック５０８の情報と共にＳＤＲＡＭ１０５上に一時記憶される。
【００３７】
一方、全ての撮影が未完了の場合、現在撮影中の画像データ・音声データであってブロック化未了のものが存在することから再生付随データ５０４が増加を続けるため、符号化データのデータ位置（オフセット）一覧については確定することができない。よって、データ位置（オフセット）一覧の情報については、撮像完了後に生成する必要がある。
【００３８】
ブロック形式でＳＤＲＡＭ１０５に一時記憶された画像ブロック５０８ａおよび音声ブロック５０８ｂは、撮像継続中に、ブロック単位でフラッシュメモリ１１２に転送して記録処理され、ＳＤＲＡＭ１０５からは削除される。ただし、ＳＤＲＡＭ１０５に一時記憶されている、画像用再生付随データ５０４ａおよび音声用再生付随データ５０４ｂ（データサイズ、出力時間（デルタタイム））の情報は、撮像が終了するまで随時ＣＰＵ１０１により生成されてＳＤＲＡＭ１０５内に追録され、保持される。なお、再生付随データ５０４は、符号化データ５０１に比べてデータサイズは小さく、ＳＤＲＡＭ１０５での一時記憶においても、ＳＤＲＡＭ１０５の使用領域増大を誘引する原因とはならない。
【００３９】
撮像継続中にユーザから入出力インタフェース１１７を介して「撮像終了」が要求されると、ＣＰＵ１０１よりカメラコントローラ１０２へ撮像停止要求およびマイク１１０への信号入力ＯＦＦ要求が出される。そして、最終の画像フレームデータがメディアプロセッサ１１１によって圧縮処理されると、ブロック化およびＳＤＲＡＭ１０５への一時記憶が行われ、フラッシュメモリ１１２への書き込み処理が行われる。
【００４０】
その後、ＳＤＲＡＭ１０５に記憶されているデータサイズ、出力時間（デルタタイム）の情報から、ＣＰＵ１０１によりデータ位置（オフセット）一覧５０５ａ，５０５ｂの情報が生成される。具体的には、符号化された画像データおよび音声データのデータ数に従って、データ位置一覧５０５ａ，５０５ｂの情報内容が決まるため、データサイズ一覧５０６ａ，５０６ｂの情報、および、出力時間一覧５０７ａ，５０７ｂの情報に基づいて、各ブロック５０８のデータ開始位置をＣＰＵ１０１が算出する。そして、生成後のデータ位置（オフセット）一覧５０５ａ，５０５ｂの情報もＳＤＲＡＭ１０５内に一時記憶される。
【００４１】
データ位置（オフセット）一覧５０５ａ，５０５ｂの生成後、ＣＰＵ１０１は、動画１ファイル分のデータたるファイルデータの新規ファイルの生成として、フラッシュメモリ１１２に対してデータ開始識別子５０２、ファイル識別子５０３の書き込みを順次行う。続いて、ＳＤＲＡＭ１０５内に一時記憶された、データ位置（オフセット）一覧５０５ａ，５０５ｂ、データサイズ一覧５０６ａ，５０６ｂの情報、および、出力時間一覧５０７ａ，５０７ｂの情報で各々構成される画像用再生付随データ５０４ａおよび音声用再生付随データ５０４ｂについても、ＳＤＲＡＭ１０５からフラッシュメモリ１１２に転送して、データ開始識別子５０２およびファイル識別子５０３の書き込み済みファイルデータ内に記録する。
【００４２】
そして、フラッシュメモリ１１２において、それらデータの書き込まれたファイルデータが再生付随データ５０４に加えて、符号化データ５０１をも含み、かつ、ファイルデータの再生時に再生付随データ５０４が符号化データ５０１に先行して読み出されるようファイルデータを構成する。
【００４３】
具体的には、ＣＰＵ１０１は、再生付随データ５０４のフラッシュメモリ１１２への記録後に、フラッシュメモリ１１２に予め記録されていた符号化データ（符号化画像データおよび符号化音声データ）を抜き取って、フラッシュメモリ１１２中の再生付随データ５０４に後続する物理アドレスに移動させる。これにより、ファイルデータの再生時に再生付随データ５０４が符号化データ５０１に先行して読み出されるデータ構成となって、撮像データのファイル化が完了し、撮像処理が終了する。なお、先にフラッシュメモリ１１２内に記録されていた符号化データの消去処理をファイル化完了後に行う必要がある。
【００４４】
本実施の形態にかかる撮像装置によれば、ＣＰＵ１０１は、符号化データ５０１をブロック５０８ごとにＳＤＲＡＭ１０５に記憶させ、フラッシュメモリ１１２に転送して記録させる。また、再生付随データ５０４をもＳＤＲＡＭ１０５からフラッシュメモリ１１２に転送して記録させる。そして、フラッシュメモリ１１２において、ファイルデータの再生時に再生付随データ５０４が符号化データ５０１に先行して読み出されるようファイルデータを構成する。
【００４５】
よって、ＳＤＲＡＭ１０５において、１ブロック分の符号化データと全ブロック分の再生付随データ５０４とを記憶可能な記憶容量さえ確保しておけば、再生付随データ５０４が先行して読み出されるファイル形式を保ちつつ、符号化データ５０１と再生付随データ５０４とを、ＳＤＲＡＭ１０５を介してフラッシュメモリ１１２に記録することができる。これにより、符号化データの保存処理に際して必要なＳＤＲＡＭ１０５の使用領域の増大を回避可能である。
【００４６】
また、本実施の形態にかかる撮像装置によれば、再生付随データ５０４のフラッシュメモリ１１２への記録後に、フラッシュメモリ１１２に記録された符号化データ５０１を抜き取って、フラッシュメモリ１１２中の再生付随データ５０４に後続する物理アドレスに移動させることにより、ファイルデータの再生時に再生付随データ５０４が符号化データ５０１に先行して読み出されるようファイルデータを構成する。よって、フラッシュメモリ１１２において、符号化データ５０１が物理的に再生付随データ５０４に後続することとなり、ファイルデータの再生時に容易に再生付随データ５０４を符号化データ５０１に先行して読み出すことができる。
【００４７】
なお、本実施の形態においては、不揮発性記憶部としてフラッシュメモリ１１２を用いる例を示したが、不揮発性記憶部にはその他にも例えば、ＨＤＤ（Hard Disc Drive）やＤＶＤ−ＲＷ（Digital Versatile Disc Re-Writable）等の保存型記憶装置を採用してもよい。これらの保存型記憶装置は、フラッシュメモリ１１２のように撮像装置１００に内蔵していてもよいし、また、図１の外部メモリ１１５のように、外部メモリコントローラ１１４によって制御される外部記憶装置として、撮像装置１００に接続されるものであってもよい。
【００４８】
＜実施の形態２＞
本実施の形態は、実施の形態１に係る撮像装置の変形例であって、最初に符号化データをフラッシュメモリ１１２に転送して記録する際に、フラッシュメモリ１１２において無データ領域たる予約領域をファイルデータの先頭に設けておき、予約領域内に再生付随データの記録を行うことにより、再生時に再生付随データが符号化データに先行して読み出されるようファイルデータを構成したものである。また、ユーザにより入力された動画の撮像状況の設定に関する情報に基づいて、再生付随データのサイズ予測を撮像開始前に行い、予約領域のデータサイズを決定する。
【００４９】
図３は、本実施の形態における動画１ファイル分のファイルデータの構造を示す図である。なお、本実施の形態においても、図１に示す撮像装置と同様の構造が採用される。
【００５０】
本実施の形態においては、ユーザによる撮像開始要求時に、ＣＰＵ１０１が新規ファイルの生成として、フラッシュメモリ１１２に対してデータ開始識別子５０２およびファイル識別子５０３の書き込みを行う。再生付随データと異なり、データ開始識別子５０２およびファイル識別子５０３は撮像時間に関わりのない固定長のデータであるため、撮像開始時の書き込み処理が実施可能である。
【００５１】
その後、ＣＰＵ１０１は、再生付随データ６０６のサイズ予測を行い、ファイルデータ内のファイル識別子５０３の後に無データ領域たる予約領域６０３を設ける。具体的には、ＣＰＵ１０１は、ファイル識別子５０３の後から予測分のデータ領域だけスキップする処理（もしくは無効データを用いた領域クリア処理）を行う。
【００５２】
次に、撮像処理が開始されると、メディアプロセッサ１１１から出力される符号化データは、一旦ＳＤＲＡＭ１０５に一時記憶され、ブロック化処理が行われた上で随時、フラッシュメモリ１１２へと書き込まれる。このとき、符号化データ５０１は、予約領域６０３に後続する物理アドレス以降に書き込みが行われる。
【００５３】
撮像が終了して、全ての符号化データ５０１のフラッシュメモリ１１２への書き込み処理が完了した後、ＣＰＵ１０１により再生付随データ６０６（実施の形態１における再生付随データ５０４と同様に画像用再生付随データ５０４ａおよび音声用再生付随データ５０４ｂで構成される）が生成される。生成された再生付随データ６０６は、予めフラッシュメモリ１１２上に確保された予約領域６０３内に書き込まれる。
【００５４】
なお、再生付随データ６０６のデータサイズは、撮影時間、画像フレームレート、符号化ビットレート、撮影画面サイズなどによって変動する。そのため、図４および図５に示すような、圧縮モード選択画面４０１、撮像モード選択画面４０２を入出力インタフェース１１７の一部たる表示画面に表示させ、撮影開始前に予めユーザに、動画の撮像状況の設定に関する情報を入力させるようにしておけばよい。
【００５５】
このような、動画の撮像状況の設定に関する情報は例えば、圧縮モード選択画面４０１内にて「低圧縮モード（高画質）」４０１ａ、「通常モード（通常画質）」４０１ｂ、「高圧縮モード（低画質）」４０１ｃのいずれかを決定ボタン４０１ｄによってユーザに選択させることにより、また、撮像モード選択画面４０２内にて「長時間モード（60分）」４０２ａ、「通常モード（10分）」４０２ｂ、「ショートモード（15秒）」４０２ｃのいずれかを決定ボタン４０２ｄによってユーザに選択させることにより、得られる。
【００５６】
そして、ＣＰＵ１０１は、与えられた動画撮像状況の設定情報に基づき、再生付随データ６０６のデータサイズ予測処理を行い、予約領域６０３のデータサイズを決定する。
【００５７】
具体的には例えば、「低圧縮モード（高画質）」４０１ａかつ「長時間モード（60分）」４０２ａが選択された場合には、符号化データ５０１のデータサイズは大きくなり、それに伴って再生付随データのデータ量も大きくなると考えられ、逆に、「高圧縮モード（低画質）」４０１ｃかつ「ショートモード（15秒）」４０２ｃが選択された場合には、符号化データ５０１のデータサイズは小さくなり、それに伴って再生付随データのデータ量も小さくなると考えられる。
【００５８】
よって、圧縮モード選択画面４０１および撮像モード選択画面４０２内の各選択肢の組み合わせに応じて、予め対応するデータサイズを記したテーブルをフラッシュメモリ１１２内等に用意しておき、ユーザの選択に応じてテーブル内の値を読み出すことにより、予約領域６０３のデータサイズを決定すればよい。
【００５９】
また、上記の如く予約領域６０３のデータサイズが決定されていたとしても、ユーザにより早めに撮像が停止される場合や、あるいは、撮影された画像がそれほど複雑ではない場合には、再生付随データ６０６のデータサイズが予約領域６０３のサイズを下回ることが想定され得る。すなわち、再生付随データ６０６以降に無データ領域の余剰部分が生じる場合がある。
【００６０】
そのため、不要となった予約領域６０３の余剰部分には、再生動作に影響を持たない無効データ（パディング・データ）の埋め込みを行い、撮像処理を終了する。３ＧＰＰ−ＭＰ４形式においては、ｓｋｉｐアトムもしくはｆｒｅｅアトム（例えば３ＧＰＰ ＴＳ ２６．２３４策定のベースとなった、米国Apple社のQuickTime（登録商標）技術において、これらのアトムは規定されている）６０５を使用することにより、任意サイズの領域を無効データとして、再生動作に影響を与えない領域とすることができる。
【００６１】
その他の点については、実施の形態１に係る撮像装置と同様のため、説明を省略する。
【００６２】
本実施の形態に係る撮像装置によれば、フラッシュメモリ１１２において予約領域６０３をファイルデータ内に設けて、予約領域６０３内に再生付随データ６０６の記録を行うことにより、ファイルデータの再生時に再生付随データ６０６が符号化データ５０１に先行して読み出されるようファイルデータを構成する。よって、撮像終了後に符号化データ５０１をフラッシュメモリ１１２内で移動させる必要がなく、撮影終了後のデータ保存処理を短時間で完了することが可能であり、ユーザ利便性を向上させることができる。
【００６３】
また、本実施の形態に係る撮像装置によれば、ＣＰＵ１０１は、ユーザより入力された動画の撮像状況の設定に関する情報に基づいて、予約領域６０３のデータサイズを決定する。よって、ＣＰＵ１０１は、ユーザの動画の撮像状況に応じて予約領域６０３のデータサイズを最適に設定することができ、余剰部分の発生を最小限に抑えて、フラッシュメモリ１１２の使用領域増大を抑制することが可能となる。
【００６４】
また、本実施の形態に係る撮像装置によれば、予約領域６０３において、余剰部分には無効データたるｓｋｉｐアトムもしくはｆｒｅｅアトム６０５を埋め込む。よって、再生付随データ６０６が予約領域６０３一杯にまで満たされない場合であっても、余剰部分に誤動作を誘発するデータが存在することはなく、動作安定性を向上させることができる。
【００６５】
＜実施の形態３＞
本実施の形態も、実施の形態１に係る撮像装置の変形例であって、ＦＡＴ（File Allocation Table）を用いた、クラスタ単位でのデータの読み出しおよび書き込みを行うファイルシステムにより管理されたフラッシュメモリ１１２を採用し、ＦＡＴにおいて、再生付随データの最終部分が書き込まれたクラスタの終端情報を消去し、動画の１ファイル内の最初のブロックが書き込まれたクラスタの番号を連結先クラスタとして新たに記すことにより、再生時に再生付随データが符号化データに先行して読み出されるようファイルデータを構成したものである。
【００６６】
図６はＦＡＴファイルシステムの構造を示した図である。ＦＡＴ２０１では、フラッシュメモリ１１２のメモリ領域をクラスタと呼ばれる固定サイズのメモリブロックで管理しており、フラッシュメモリ１１２に対するデータの読み出しまたは書き込み処理は、全てクラスタ単位で実行される。なお、図６中で「Rsv」と示した領域は、ファイルシステム管理用に使用用途が限定された領域として予約されており、通常のデータの書き込みは行えない予約領域である。
【００６７】
また、図７はフラッシュメモリ１１２内の実際のデータ保存領域２０２を示す図である。図７において、例えばクラスタ・サイズが５１２バイトであるファイルシステムが採用されていた場合、１５００バイトのデータの書き込みを行うと、保存には３つのクラスタ（５１２×３＝１５３６バイト分）が必要になる。
【００６８】
図６のＦＡＴ２０１では、記録されたクラスタ内データの読み出し後に続いてデータが読み出されるべき連結先クラスタの番号がクラスタごとの対応欄に記され、また、連結先クラスタがない場合にはデータ終端を示す終端情報ＥＯＦ（End Of Files）が連結先クラスタの番号の代わりに記されるよう、ファイルシステムが構築されている。よって、ＦＡＴの各欄のクラスタ番号を書き換えることにより、データの結合処理が行えることとなる。
【００６９】
例えば上記１５００バイトのデータの保存に、クラスタ番号００９、００Ａ、００Ｂの３つのクラスタを確保する場合、ＦＡＴ２０１のクラスタ番号００９の欄には００Ａを、クラスタ番号００Ａの欄には００Ｂを、クラスタ番号００Ｂの欄にはファイル終端を示すＥＯＦを記録する。これは、クラスタ番号００９に記録されたクラスタ内データの後ろにクラスタ番号００Ａに記録されたクラスタ内データが続き、さらにクラスタ番号００Ｂに記録されたクラスタ内データが続くことを示している。
【００７０】
この場合、実際のファイルデータは、図７において該当するクラスタ領域２０４に保存されている。なお、最終クラスタの保存に不要となる１５３６−１５００＝３６バイトの領域２０５は使用されない。
【００７１】
以下に、ＦＡＴファイルシステムにより管理されたフラッシュメモリ１１２を備えた図１の撮像装置での撮像データ保存処理を説明する。
【００７２】
撮像開始後、ブロック形式でＳＤＲＡＭ１０５に一時記憶された符号化データ５０１は、実施の形態１の場合と同様、フラッシュメモリ１１２内に逐次保存される。なお、本実施の形態におけるフラッシュメモリ１１２はＦＡＴ２０１により管理されているため、フラッシュメモリ１１２への書き込みはクラスタ単位で実施されるが、クラスタ単位の書き込みはＦＡＴのライブラリでの処理であり、ＣＰＵ１０１のアプリケーションが意識する必要は無い。
【００７３】
ＳＤＲＡＭ１０５からフラッシュメモリ１１２への符号化データ５０１の書き込みが撮像終了まで随時実行され、撮像終了後、フラッシュメモリ１１２上に記録された符号化データ５０１を１ファイルと捉えて、保存処理を一旦完了する。
【００７４】
次に、撮像終了後にＣＰＵ１０１にて生成される再生付随データ５０４についても、符号化データ５０１とは別に、フラッシュメモリ１１２に対して、データ開始識別子５０２およびファイル識別子５０３を合わせ、先に記録された符号化データ５０１のファイルデータに含まれるよう、保存処理を実施する。
【００７５】
このとき、再生付随データ５０４、データ開始識別子５０２およびファイル識別子５０３を合わせたデータサイズと、ＦＡＴ２０１のクラスタ１つ分のサイズとを比較し、書き込むデータのサイズがクラスタ１つ分のサイズの整数倍となるよう、保存処理前に、実施の形態２で記載したｓｋｉｐアトムやｆｒｅｅアトム等の無効データを付加し、付加後のデータをフラッシュメモリ１１２へ書き込む。書き込み処理の実施後、フラッシュメモリ１１２のデータ保存領域２０２は、符号化データ２０３および、クラスタの整数倍化処理を施した、データ開始識別子５０２、ファイル識別子５０３および再生付随データ５０４の複合データ２０６が保存された状態となる。
【００７６】
すなわち、再生付随データ５０４の最終部分が書き込まれるクラスタにおいて、再生付随データ５０４の最終部分以降に無データ領域となる余剰部分が生じる場合には、余剰部分に無効データを埋め込むのである。
【００７７】
本実施の形態のＦＡＴファイルシステムでは、任意の複数データにつき入れ替え処理を行うことなく、複数データを連結する機能を備えている。本連結処理の処理詳細は、次の通りである。
【００７８】
連結要求をＦＡＴファイルシステムに行うに際して、上位ＣＰＵアプリケーションは、連結処理を行う２つのファイル名、連結順序、および、連結後のファイル名を指定する。ＦＡＴファイルシステムでは、連結処理用の２つのファイルをＦＡＴ２０１上から検索し、それぞれの先頭クラスタ番号を取得する。
【００７９】
例えば図６および図７のクラスタ番号００４ないし００６に記録されたデータが符号化データであり、クラスタ番号００Ｅおよび００Ｆに記録されたデータが再生付随データを含む複合データであるとする場合、ＣＰＵ１０１は、複合データ２０６の先頭クラスタ番号００Ｅと、符号化データ２０３の先頭クラスタ番号００４の情報を取得する。
【００８０】
さらに、連結により符号化データに先行するようになる複合データ２０６の最終クラスタ番号００Ｆを取得する。これは、ＦＡＴ２０１上のデータを順次検索することで可能である。
【００８１】
次に、複合データ２０６の最終部分が書き込まれたクラスタ００Ｆの欄２０１ｊの終端情報たるＥＯＦを消去し、後に続くべき符号化データ２０３の最初のブロックが書き込まれたクラスタの番号００４を連結先クラスタとして新たに記す。これにより、ファイル連結処理が行われ、ファイルデータの再生時に複合データ２０６が符号化データ２０３に先行して読み出されるようファイルデータが構成される。
【００８２】
図６のＦＡＴ２０１に対するファイル連結処理の実施後の状態を図８に示す。図８ではクラスタ番号００Ｆの欄２０１ｊの書き換え（ＥＯＦ→００４）が行われており、該当ファイルの読み出し時には、クラスタ番号００Ｅを先頭とし、００Ｆ→００４→００５と続いてクラスタ番号００６をファイル終端とするファイルとして読み出すことが可能である。
【００８３】
本実施の形態に係る撮像装置によれば、再生付随データのフラッシュメモリ１１２への記録後に、ＦＡＴ２０１において、複合データ２０６の最終部分が書き込まれたクラスタの終端情報ＥＯＦを消去し、動画の１ファイル内の最初のブロックが書き込まれたクラスタの番号を連結先クラスタとして新たに記すことにより、ファイルデータの再生時に複合データ２０６が符号化データ２０３に先行して読み出されるようファイルデータを構成する。よって、撮像終了後に符号化データをフラッシュメモリ１１２内で移動させる必要がなく、撮影終了後のデータ保存処理を短時間で完了することが可能であり、ユーザ利便性を向上させることができる。
【００８４】
また、本実施の形態に係る撮像装置によれば、複合データ２０６の最終部分が書き込まれるクラスタにおいて、再生付随データの最終部分以降に無データ領域となる余剰部分が生じる場合には、余剰部分に無効データを埋め込む。よって、再生付随データの最終部分がクラスタ一杯にまで満たされない場合であっても、余剰部分に誤動作を誘発するデータが存在することはなく、動作安定性を向上させることができる。
【００８５】
なお、符号化データ２０３の最終クラスタ部分２０３ａには整数倍化処理が施されていないが、これは、最終クラスタ部分２０３ａが、複合データ２０６の最終部分のように連結処理によってファイル途中に移動させられることがなく、常にファイル最終部分として機能するために整数倍化処理が不要だからである。
【図面の簡単な説明】
【００８６】
【図１】実施の形態１に係る撮像装置の構成を示すブロック図である。
【図２】３ＧＰＰ−ＭＰ４形式のファイルデータの構造を示す図である。
【図３】実施の形態２に係る撮像装置で採用されるファイルデータの構造を示す図である。
【図４】実施の形態２に係る撮像装置における圧縮モード選択画面４０１を示す図である。
【図５】実施の形態２に係る撮像装置における撮像モード選択画面４０２を示す図である。
【図６】実施の形態３に係る撮像装置におけるＦＡＴファイルシステムの構造を示す図である。
【図７】フラッシュメモリ内の実際のデータ保存領域を示す図である。
【図８】ＦＡＴファイルシステムのファイル連結処理の実施後の状態を示す図である。
【符号の説明】
【００８７】
１００  撮像装置、１０１  ＣＰＵ、１０２  カメラコントローラ、１０３  カメラレンズ、１０４  ＣＣＤ撮像素子、１０５  ＳＤＲＡＭ、１０６  メインＬＣＤ、１０７  サブＬＣＤ、１０８  ディスプレイメモリ、１０９  ＬＣＤコントローラ、１１０  マイク、１１１  メディアプロセッサ、１１２  フラッシュメモリ、１１３  メモリコントローラ、１１４  外部メモリコントローラ、１１５  外部メモリ、１１６  データバス、１１７  入出力インタフェース、２０１  ファイル・アロケーション・テーブル、２０２  ＦＡＴファイルシステムデータ保存領域、２０３  データ保存領域、２０４  データ保存領域、２０５  無効データ保存領域、２０６  データ保存領域、４０１  圧縮モード選択画面、４０２  撮影モード選択画面、５０１  符号化データ、５０２  データ開始識別子、５０３  ファイル識別子、５０４  再生付随データ、５０５ａ，５０５ｂ  データ位置一覧、５０６ａ，５０６ｂ  データサイズ一覧、５０７ａ，５０７ｂ  出力時間一覧、５０８  符号化データブロック、５０９ａ〜５０９ｄ  符号化画像データ、５１０ａ〜５１０ｄ  符号化音声データ、６０３  予約領域、６０５  ｆｒｅｅ／ｓｋｉｐアトム、６０６  再生付随データ。
【図１】
2005333175.tif 000003
【図２】
2005333175.tif 000004
【図３】
2005333175.tif 000005
【図４】
2005333175.tif 000006
【図５】
2005333175.tif 000007
【図６】
2005333175.tif 000008
【図７】
2005333175.tif 000009
【図８】
2005333175.tif 000010