(57)【要約】【課題】  ディスクカムコーダ等において、ディスクの有効利用を実現する。【解決手段】  映像を撮影するにあたり、映像に重要度を設定し、もし、撮影中にディスクの残り要領が不足した場合は、その重要度に関して、撮影している映像より低い、記録済みの映像を消去し、記録領域を確保する。【選択図】        図１
2006066949.tif 000002
【特許請求の範囲】
【請求項１】
映像データの記録に先立ち、重要度を設定する重要度設定部と、
入力された映像データを符号化する符号化部と、
前記符号化手段により符号化された映像データを記録媒体に記録する記録手段と、
前記記録媒体における記録可能領域が存在するか否かを判断する判断部と、
判断部により十分な記録可能領域が存在しないと判断した場合、前記記録媒体に記録されている映像データのうち、前記重要度設定手段によりこれから記録する前記映像データに対して設定された重要度より低い重要度を持つ映像データを検出する検出部と、
前記検出部により検出された映像データを前記記録媒体から消去する消去部とを備える画像処理装置。
【請求項２】
前記重要度が付されるデータ単位は、ユーザーが記録開始を指示し、その後記録停止を押した間に取得された映像（シーン）を単位とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記重要度が付されるデータ単位は、シーンなどのデータが集められたフォルダであることを特徴とする請求項１に記載の画像処理装置
【請求項４】
前記符号化部は、シーン内のデータに対して重要度を基に高低をつけて、その高低を基に、シーン内のデータを別な重要度に分類することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記重要度が高いデータとは、低周波成分のデータであり、重要度が低いデータとは、高周波成分であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記検出部による検出の結果消去されるデータのサムネイルを適宜表示することを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
【請求項７】
前記サムネイルを表示するとともに、該当サムネイルに関連づけられている映像が消去された場合に確保される記録時間を表示することを特徴とする請求項６記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関し、特には記録媒体の記録残量の管理に関する。
【背景技術】
【０００２】
昨今、ＤＶＤやＨＤＤの低価格，高密度化に伴い、デジタルカムコーダや家庭用のビデオレコーダが、これらのメディアに対応するようになってきており、ユーザーはより長時間の映像を撮影，記録できるようになった。
【０００３】
そのような中で、ユーザーは、さらなる長時間記録を望むようになってきており、製品ベンダーは様々な工夫により、ユーザーの要望を満たすような製品開発をしている。例えば、その手法のひとつとして、撮影や記録中に、メディア上でデータが一杯になり書き込み不能になったとき、より古いデータから自動的に消去するシステムがある（例えば、特許文献１参照）。
【特許文献１】特開２００２−１１２１５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、ユーザーが一度も再生していないデータであっても、記録日時が古いデータものは自動的に消去してしまうので、必ずしもユーザーにとって使いやすいシステムではなかった。
【０００５】
そこで、本発明は、ユーザーが考えるデータの重要度を考慮した上で、適宜データを消去しながら、記録時間を伸ばすことのできる画像処理装置の提供を目的としている。
【課題を解決するための手段】
【０００６】
上記課題を解決するために本発明に係る画像処理装置によれば、映像データの記録に先立ち、重要度を設定する重要度設定部と、入力された映像データを符号化する符号化部と、前記符号化手段により符号化された映像データを記録媒体に記録する記録手段と、前記記録媒体における記録可能領域が存在するか否かを判断する判断部と、判断部により十分な記録可能領域が存在しないと判断した場合、前記記録媒体に記録されている映像データのうち、前記重要度設定手段によりこれから記録する前記映像データに対して設定された重要度より低い重要度を持つ映像データを検出する検出部と、前記検出部により検出された映像データを前記記録媒体から消去する消去部とを備える。
【発明の効果】
【０００７】
以上説明したように本発明によれば、撮影中の映像の重要度に基づいて記録媒体の空き容量を確保できるので、記録媒体を効率よく利用することができる。
【発明を実施するための最良の形態】
【０００８】
以下に本発明を実施するための最良の形態を、実施例に基づいて説明する。
【実施例１】
【０００９】
以下に本実施の形態における画像処理システムを記述する。
【００１０】
まず、動画像符号化データを作成する過程となる、撮影記録時について、簡単に説明する。
【００１１】
図１７は動画像を撮影できるデジタルカムコーダ１７０１の概念図である。また、図１８がデジタルカムコーダ１７０１の画像処理部のブロック図であり、１８０１が画像入力部、１８０２がＪＰＥＧ２０００符号化部、１８０３が記録部、１８０４が記録媒体である。
【００１２】
詳細は公知であるので省略するが、図示の撮影ボタンを押すことで３０フレーム（コマ）／秒の動画撮影ができる。なお、以下の説明では、デジタルカムコーダでの利用形態を説明するが、デジタルカメラや監視カメラなど、その他撮像デバイスにおいても、本発明の内容を適用することは可能である。
【００１３】
図１９は、カムコーダ１７０１の画像再生部のブロック図であり、１９００が制御部、１９０１が読み取り器、１９０２がメモリ、１９０３がＪＰＥＧ２０００復号部、１９０４が表示用メモリ、１９０５が表示部、１９０６が指示入力部である。
【００１４】
次に、図２０を用いて、本発明におけるデジタルカムコーダの利用方法のフローを説明する。
【００１５】
ユーザーは、撮影を開始するにあたって、図２１に示されているように、不図示の液晶画面やファインダー内に表示される重要度設定画面上で、重要度設定ボタン（記録レベル設定ボタン）１７０３を押しながら重要度を選択する（ステップＳ２００１）。なお、本発明においては、重要度はＡ，Ｂ，Ｃの３つがあり、Ａが最高重要度であり、Ｃが最低重要度である。そして、データの消去は、Ｃに分類されているデータから行われる。
【００１６】
ユーザーは重要度を設定した後、記録開始／停止ボタン１７０２を押して、撮影を開始し、再度、記録開始／停止ボタン１７０２を押して、撮影を停止する（ステップＳ２００２）。
【００１７】
撮影終了後の数秒間は、撮影した映像の重要度の変更可能時間であり、ユーザーはこの時間を利用して、適宜重要度を変更する。もし、重要度を変更する場合（ステップＳ２００３でＹｅｓ）、図２１に示されているように、不図示の液晶画面やファインダー内に表示される重要度設定画面上で、重要度設定ボタン１７０３を押しながら重要度を選択し（ステップＳ２００１）、処理を終了する。また、重要度を変更しない場合（ステップＳ２００３でＮｏ）も、処理を終了する。なお、ステップＳ２００３のレベル変更において、カムコーダは、撮影した映像のサムネイル等を表示しても構わない。このサムネイル表示に際して、符号化されたフレームの復号が必要となるが、この復号方法については、後程説明する。
【００１８】
以上の処理の流れにより、ディスク上には、図２９のように、重要度に基づいてシーンが分類される。
【００１９】
次に図２２を用いて、ステップＳ２００２における撮影時におけるカムコーダの処理の説明をする。
【００２０】
ユーザーが映像を開始すると、ＣＣＤセンサ等の画像入力部１８０１が、撮影した映像を取得し（ステップＳ２２０１）、ＪＰＥＧ２０００符号化部１８０２は、取得した映像の各フレームをＪＰＥＧ２０００符号化する（Ｓ２２０２）。このＪＰＥＧ２０００符号化部１８０２の処理については、後程詳細説明する。
【００２１】
続いて、記録部１８０３は、ＪＰＥＧ２０００符号化された各フレームを、いったん不図示のバッファに格納して、その後、記録媒体１８０４に記録し（ステップＳ２２０３）、処理を終了する。なお、この記録媒体１８０４として、ランダムアクセス性に優れているＤＶＤやＣＤなど、ディスクメディアを想定する。
【００２２】
次に、図２３を用いて、ステップＳ２２０３の記録について説明する。
【００２３】
記録がスタートすると、まず記録部１８０３は、記録媒体１８０４に、所定容量以上の書き込み可能な領域（書き込み可能領域）の有無を判断する（ステップＳ２３０１）。ここで、所定容量とは、一定レートによる書き込みを保証するバッファの容量等が考えられる。
【００２４】
もし、書き込み可能領域が存在するなら、ＪＰＥＧ２０００の符号化データを記録する（ステップＳ２３０２）。一方、もし、書き込み可能領域が存在しない場合、撮影している映像の重要度より低いデータ（消去対象データ）の有無を判断する（ステップＳ２３０３）。もし、消去対象データがあるならば、図２４に示されているように、シーン単位でデータを消去して書き込み可能領域を生成して（Ｓ２３０４）、ＪＰＥＧ２０００符号化データを記録する（Ｓ２３０２）。一方、消去対象データが存在しない場合、書き込み不可能であることを、ユーザーに通知して（Ｓ２３０５）、記録を中止する。ここで、ユーザーへの通知として、ファインダーや液晶ディスプレイへのエラーメッセージの表示が考えられる。
【００２５】
ステップＳ２３０２の記録を実施した後、記録対象データとなるＪＰＥＧ２０００符号化データがバッファに存在するか判断し（Ｓ２３０６）、もしＪＰＥＧ２０００符号化データが存在する場合、処理をＳ２３０１に戻す。一方、ＪＰＥＧ２０００符号化データがない場合、処理をステップＳ２００３に進める。
【００２６】
＜ＪＰＥＧ２０００符号化方法の概略＞
次に、ＪＰＥＧ２０００符号化部１８０２のブロック図を図１に示し、当該処理部の処理のフローチャートを図２に示し、これらの図を用いて、フレームデータの符号化の処理を説明する。なお、ヘッダの作成方法等、詳細についてはＩＳＯ／ＩＥＣ勧告書を参照されたい。
【００２７】
本実施の形態における符号化対象となるフレームデータは、８ビットのモノクロフレームデータとする。しかしながら、各画素４ビット、１０ビット、１２ビットといった具合に８ビット以外のビット数で表すモノクロ画像、或いは各画素における各色成分（ＲＧＢ／Ｌａｂ／ＹＣｒＣｂ）を８ビットで表現するカラーの多値フレームデータである場合に適用することも可能である。また、画像を構成する各画素の状態等を表す多値情報である場合、例えば各画素の色を表す多値のインデックス値である場合にも適用できる。これらに応用する場合には、各種類の多値情報を後述するモノクロフレームデータとすればよい。
【００２８】
まず、フレームデータ入力部１０１へ、符号化対象となるフレームデータを構成する画素データがラスタースキャン順に入力され、タイル分割部１０２に出力される。
【００２９】
タイル分割部１０２は、フレームデータ入力部１０１から入力される１枚の画像をＮ枚のタイルに分割し（ステップＳ２０１）、各タイルを識別するためにラスタースキャン順にタイルナンバーｉ＝０，１，２，．．．，Ｎ−１を割り振るものとする。なお、本実施の形態では、図１２に示されているように、画像を横８，縦６に分割し、４８枚のタイルを作り出すものとする。
【００３０】
ここで、各タイルを表すデータをタイルデータと呼ぶことにする。これら生成されたタイルデータは、順に離散ウェーブレット変換部１０３に送られる。なお、離散ウェーブレット変換部１０３以降の処理において、タイルは独立に符号化されるものとする。また、ここで、当該フレームデータ符号化部２０２が処理しているタイルを認識するための不図示のカウンタがｉ＝０に設定される（ステップＳ２０２）。
【００３１】
離散ウェーブレット変換部１０３は、タイル分割部１０２から入力される、１つの静止画像中の１つのタイルデータｘ（ｎ）における複数の画素（参照画素）のデータ（参照画素データ）を用いて離散ウェーブレット変換を行う（ステップＳ２０３）。
【００３２】
以下に、離散ウェーブレット変換後のフレームデータ（離散ウェーブレット変換係数）を示す。
【００３３】
Ｙ（２ｎ）＝Ｘ（２ｎ）＋ｆｌｏｏｒ｛（Ｙ（２ｎ−１）＋Ｙ（２ｎ＋１）＋２）／４｝
Ｙ（２ｎ＋１）＝Ｘ（２ｎ＋１）−ｆｌｏｏｒ｛（Ｘ（２ｎ）＋Ｘ（２ｎ＋２））／２｝
Ｙ（２ｎ），Ｙ（２ｎ＋１）は離散ウェーブレット変換係数列であり、Ｙ（２ｎ）は低周波サブバンド、Ｙ（２ｎ＋１）は高周波サブバンドである。また、上式においてｆｌｏｏｒ｛Ｘ｝はＸを超えない最大の整数値を表す。この離散ウェーブレット変換を模式的に表わしたのが図１３である。
【００３４】
本変換式は一次元のデータに対するものであるが、この変換を水平方向、垂直方向の順に適用して二次元の変換を行うことにより、図３（ａ）の様なＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドに分割することができる。ここで、Ｌは低周波サブバンド、Ｈは高周波サブバンドを示している。次にＬＬサブバンドを、同じ様に４つのサブバンドに分け（図３（ｂ））、その中のＬＬサブバンドをまた４サブバンドに分ける（図３（ｃ））。合計１０サブバンドを作る。１０個のサブバンドそれぞれに対して、図３（ｃ）の様にＨＨ１，ＨＬ１，…と呼ぶことにする。ここで、各サブバンドの名称における数字を、それぞれのサブバンドのレベルとする。つまり、レベル１のサブバンドは、ＨＬ１，ＨＨ１，ＬＨ１、レベル２のサブバンドは、ＨＬ２，ＨＨ２，ＬＨ２である。また、復号することで得られる画像の解像度のレベルを以下の通り定義する。
【００３５】
ＬＬのみ復号することで得られる画像：レベル０の解像度の復号画像
ＬＬ，ＬＨ３，ＨＬ３，ＨＨ３を復号することで得られる画像：レベル１の解像度の復号画像
ＬＬ−ＨＨ２を復号することで得られる画像：レベル２の解像度の復号画像
ＬＬ−ＨＨ３を復号することで得られる画像：レベル３の解像度の復号画像
復号画像は、そのレベルが高い程解像度は高い。
【００３６】
１０個のサブバンドの変換係数は、いったんバッファ１０４に格納されＬＬ，ＨＬ３，ＬＨ３，ＨＨ３，ＨＬ２，ＬＨ２，ＨＨ２，ＨＬ１，ＬＨ１，ＨＨ１の順に、つまり、レベルが低いサブバンドからレベルが高いサブバンドの順に、係数量子化部１０５へ出力される。
【００３７】
なお本実施の形態においては、静止画フレームに対しては、離散ウェーブレット変換を３回、動画フレームに対しては１回実施するものとする。
【００３８】
係数量子化部１０５では、バッファ１０４から出力される各サブバンドの変換係数を各周波数成分毎に定めた量子化ステップで量子化し、量子化後の値（係数量子化値）をエントロピー符号化部１０６へ出力する（ステップＳ２０４）。係数値をＸ、この係数の属する周波数成分に対する量子化ステップの値をｑとするとき、量子化後の係数値Ｑ（Ｘ）は次式によって求めるものとする。
Ｑ（Ｘ）＝ｆｌｏｏｒ｛（Ｘ／ｑ）＋０．５｝
【００３９】
本実施の形態における各周波数成分と量子化ステップとの対応を図４に示す。同図に示す様に、よりレベルが高いサブバンドの方に、大きい量子化ステップを与えている。なお、各サブバンド毎の量子化ステップは予め不図示のＲＡＭやＲＯＭなどのメモリに格納されているものとする。そして、一つのサブバンドにおける全ての変換係数を量子化した後、それら係数量子化値をエントロピー符号化部１０６へ出力する。
【００４０】
エントロピー符号化部１０６では、入力された係数量子化値がエントロピー符号化される（ステップＳ２０５）。ここでは、まず、図５に示されているように、入力された係数量子化値の集まりである各サブバンドが矩形（コードブロックと呼ぶ）に分割される。なお、このコードブロックの大きさには、２ｍ×２ｎ（ｍ、ｎは２以上の整数）等が設定される。さらにこのコードブロックは、図６に示されているように、ビットプレーンに分割される。その上で、図７に示されているように、あるビットプレーンにおける各ビットは、ある分類規則に基づいて３種類に分けられて、同じ種類のビットを集めたコーディングパスが３種類生成される。入力された係数量子化値は、ここで得られたコーディングパスを単位として、エントロピー符号化である二値算術符号化が行われ、エントロピー符号化値が生成される。
【００４１】
なお、ここでエントロピー符号化の具体的な処理順序は、１つのコードブロックに注目すると上位ビットプレーンから下位ビットプレーンの順に符号化され、その１コードブロックのあるビットプレーンに注目すると、図８にある３種類のパスを上から順に符号化する様になっている。
【００４２】
エントロピー符号化されたコーディングパスは、タイル符号化データ生成部１０７に出力される。
【００４３】
タイル符号化データ生成部１０７では、入力された複数のコーディングパスから、単一もしくは複数のレイヤーが構成され、それらレイヤーをデータの単位としてタイル符号化データが生成される（ステップＳ２０６）。以下にレイヤーの構成に関する説明を行う。
【００４４】
当該処理部は、図９に示されているように、複数のサブバンドにおける複数のコードブロックから、エントロピー符号化されたコーディングパスを集めた上で、レイヤーを構成する。なお、図９に示されているように、あるコードブロックからコーディングパスを取得する際、常に該コードブロックにおいて最上位に存在するコーディングパスが選ばれる。その後、タイル符号化データ生成部１０７は、図１０に示されているように、生成したサブバンドを、低周波成分から高周波成分に順に並べた上で、その先頭にタイルヘッダを付加してタイル符号化データを生成する。このヘッダには、タイルを識別する情報や、当該タイル符号化データの符号長や、圧縮に使用した様々なパラメータ等が格納される。このように生成されたタイル符号化データは、フレーム符号化データ生成部１０８に出力される。
【００４５】
ここで、符号化すべきタイルデータが残っている場合は、処理をステップＳ２０３に戻し、符号化すべきタイルデータが残っていない場合は、処理をステップＳ２０８に進める（ステップＳ２０７）。
【００４６】
フレーム符号化データ生成部１０８では、図１１に示されているように、タイル符号化データを所定の順番で並べた上で、先頭にヘッダを付加してフレーム符号化データを生成する（ステップＳ２０８）。このヘッダには、入力画像やタイルの縦横のサイズ、圧縮に使用した様々なパラメータ，フレーム符号化データの符号長，各フレームを識別するＩＤ（通し番号）が格納される。また、符号化対象のフレームが動画像データの先頭である場合、これらのヘッダとは別に、動画像符号化データ全体に対するヘッダが生成される。このヘッダには、バッファ容量Δ，一枚あたりの平均符号長ａ、フレームレート，録画時間等が格納される。
【００４７】
このように生成されたフレーム符号化データは、フレーム符号化データ出力部１０９から動画像外部に出力される。また、フレーム符号化データ生成部１０８は、記録部１８０３からの符号長の要求に合うように、符号長を調整する。例えば、生成されている符号長が、要求されている符号長より長い場合、高周波サブバンドの下位コーディングパスを優先してデータの切り捨てを行う。一方、生成されている符号長が、要求されている符号長より短い場合、復号装置が読み飛ばすダミーとなるデータをフレーム符号化データの中に埋め込む。
【００４８】
以上がＪＰＥＧ２０００によるフレームデータの符号化方法の説明である。
【００４９】
＜ステップＳ２００３における映像表示方法＞
図１９は、本実施の形態において使用する復号装置の概略図である。
【００５０】
１９００は、各部の動作を制御する制御部である。この制御部１９００は後述するユーザーインターフェイスからの指示（例えば、通常再生モードとスロー再生の切替、再生開始、再生停止の指示等）も受け取り、これに応じた動作制御を各部に行う。
【００５１】
１９０１は読み取り器であり、上述した図１８の記録媒体１８０４に記録された動画像符号化データを読み出すものである。１９０２は読み取り器１９０１が読み取った動画像符号化データを一旦蓄積する役割を持つ。その他、この動画像符号化データを復号して得られる復号画像も一旦蓄積する。また、装置内の各部が使用するプログラムデータ等も格納可能であり、各種ワークメモリにも使用される。
【００５２】
１９０３は上述したＪＰＥＧ２０００符号化部１８０２の復号化側に相当するＪＰＥＧ２０００復号化部である。ここでは、ＪＰＥＧ２０００で符号化され、記録媒体１８０４に記録された各コマの符号化データを、順次復号することになる。このＪＰＥＧ２０００の復号方法については、後程説明する。
【００５３】
１９０４は表示用メモリであり、次に表示したい１コマの画像を記憶させるものである。本実施の形態ではメモリ１９０２に一旦格納された復号画像を制御部１９００のタイミング制御に基づいて順次（繰り返し同一コマを読み出す場合も有るが）読み出し、この表示用メモリ１９０４に書き込むこととする。なお、そのメモリの容量は、書き込みと読み出しが重ならない様に、複数コマ分備えることとし、制御部１９００がその書き込みと読み出しも管理する。
【００５４】
１９０５は表示部であり、パソコン等のディスプレイに相当する。この表示部１９０５には、表示部に与えられた表示用フレームレートで、メモリ１９０４に保持されたコマ（画像）を表示するものである。
【００５５】
１９０６は指示入力部であり、例えばマウス、キーボードである。或いは表示部１９０５と一体化したタッチパネルであるとしても良い。ユーザーは、表示部に表示される操作画面を参照しつつ、この指示入力部を介して、再生に関するあらゆる指示を入力できる。
【００５６】
＜ＪＰＥＧ２０００復号方法の概略＞
次にＪＰＥＧ２０００復号部における処理の説明を、ＪＰＥＧ２０００復号部のブロック図である図１４と図１６のフローチャートを用いながら行う。
【００５７】
フレーム符号化データ入力部１４０１に入力されたフレーム符号化データと再生方法の情報は、復号対象タイル決定部１４０２に出力される。復号対象タイル決定部１４０２は、図１５に示されているように、左上に存在するタイルから右に向かって、さらに上から下に向かって順に復号対象タイルを決定する（ステップＳ１６０１）。
【００５８】
復号対象タイルが決定された後、当該フレームデータ復号部が処理しているタイルを認識するための不図示のカウンタがｉ＝０に設定される（ステップＳ１６０２）。なおこのステップは、ｉ＞０の時にはスキップされる。
【００５９】
次に、復号対象であるタイル符号化データは、エントロピー復号部１４０３に入力されて、エントロピー復号が行われ、量子化値が復元される（ステップＳ１６０３）。そして復元された量子化値は逆量子化部１４０４に出力される。逆量子化部１４０４は入力した量子化値を逆量子化する事により、離散ウェーブレット変換係数を復元して後続の離散ウェーブレット変換部１４０５に出力する（ステップＳ１６０４）。逆量子化は以下の式により行われる。
【００６０】
Ｘｒ＝Ｑ×ｑ
ただし、Ｑは量子化値、ｑは量子化ステップ、Ｘｒは復元された離散ウェーブレット変換係数である。逆離散ウェーブレット変換部１４０５では、以下に記述されている式に基づいて逆離散ウェーブレット変換が行われる（ステップＳ１６０５）。
【００６１】
Ｘ（２ｎ）＝Ｙ（２ｎ）−ｆｌｏｏｒ｛（Ｙ（２ｎ−１）＋Ｙ（２ｎ＋１）＋２）／４｝
Ｘ（２ｎ＋１）＝Ｙ（２ｎ＋１）＋ｆｌｏｏｒ｛（Ｘ（２ｎ）＋Ｘ（２ｎ＋２））／２｝
ここで、低周波サブバンドの離散ウェーブレット変換係数をＹ（２ｎ）、高周波サブバンドの離散ウェーブレット変換係数をＹ（２ｎ＋１）とする。また、ｘ（ｎ）は復号データである。本変換式は一次元のデ−タに対するものであるが、この変換を水平方向、垂直方向の順に適用することで二次元の変換を行う。そして復号タイルデータが生成され、復号フレームデータ出力部１４０６に出力される（ステップＳ１６０６）。
【００６２】
ここで、復号対象タイルが残っている場合は、処理をステップＳ１６０３に戻し、復号対象タイルが残っていない場合は、処理をステップＳ１６０８に進める（ステップＳ１６０７）。
【００６３】
復号フレームデータ出力部１４０６は、復号タイルデータをｉ＝０，．．．，Ｍ−１の順番で並べた上で復号フレームデータを生成し、復号フレーム出力部に出力する。（ステップＳ１６０８）。
【００６４】
以上がＪＰＥＧ２０００によるフレームデータの復号方法の説明である。
【００６５】
以上、映像の重要度に基づいたディスクの利用方法について説明した。
【実施例２】
【００６６】
第１の実施例では、重要度が低いデータをシーン単位で消去した。しかし、記録メディアがディスクだと、データをディレクトリ構造で保管することができるため、ディレクトリを単位として、重要度を設定することもある。そこで、本実施の形態では、ディレクトリ単位で重要度を設定した場合におけるデータ消去方法を示す。
【００６７】
なお、本実施の形態における処理の流れは、第１の実施の形態と概略で同じなので、異なる点のみに説明を注力する。
【００６８】
図２６は、本実施の形態におけるデジタルカムコーダの利用方法のフロー図である。当該フローは、第１の実施の形態における処理フローである図２０と概略同じであるので、異なる点のみに説明を注力する。
【００６９】
図２６におけるステップＳ２００３で、ユーザーが撮影したシーンの重要度設定を終了すると、必要であれば、フォルダの生成やシーンのフォルダへの移動を行う。このフォルダには適宜名前をつけることが可能である。
【００７０】
このような処理により、ディスク上に、データが図３０のように格納される。
【００７１】
図２５は、図２２のステップＳ２２０３の記録処理に対応する処理のフローである。このフローは、図２３のステップＳ２３０４をステップＳ２５０１に変更したものである。
【００７２】
同図におけるステップＳ２３０４では、まずフォルダ外のシーンからデータ消去を行い、シーンがなくなると、フォルダ内のシーンを消去する。
【００７３】
以上、撮影データを管理する上で、フォルダ構造を導入する場合における、映像の重要度に基づいたディスクの空き領域の生成方法について説明した。
【実施例３】
【００７４】
第１の実施例では、各シーンを単位として重要度を設定した。しかし、シーンの中で異なる重要度を設定することもあると思われる。本実施の形態においては、シーンを構成する各フレーム中の低周波成分と高周波成分に対して、異なる重要度を設定する場合における、データの消去方法を示す。
【００７５】
なお、本実施の形態における処理の流れは、第１の実施の形態と概略で同じなので、異なる点のみに説明を注力する。
【００７６】
図２７は、本実施の形態におけるデジタルカムコーダの利用方法のフロー図である。当該フローは、第１の実施の形態における処理フローである図２０と概略同じであるので、異なる点のみに説明を注力する。
【００７７】
図２７におけるステップＳ２７０１とステップＳ２７０２の重要度決定の際、シーンに対して重要度を決定するだけではなく、図２８のように周波数成分に対して重要度を区別することが可能である。
【００７８】
このような処理により、ディスク上に、データが図３１のように格納される。
【００７９】
図２０は、図２２のステップＳ２２０３の記録処理に対応する処理のフローである。このフローは、図２３のステップＳ２３０４をステップＳ２００１に変更したものである。
【００８０】
同図におけるステップＳ２３０４では、まず高周波成分の消去を行い、高周波成分がなくなると、シーンを消去する。
【００８１】
以上、周波数帯域別に重要度を決定する場合における、重要度に基づいたディスクの空き領域の生成方法について説明した。
【００８２】
［その他の実施の形態］
上記実施の形態において、重要度の変更や、シーンのフォルダ内への移動は、撮影後に行われていたが、本発明の範囲はこれに限定されることなく、撮影前や撮影中、カムコーダの起動後、シャットダウン前等にこれらの処理を行うことも、本発明の範疇である。
【００８３】
第２の実施の形態において、フォルダに入っていないシーンを消去した後に、フォルダ内のシーンの消去を行ったが、本発明の範囲はこれに限定されることはなく、逆の順序データ消去することや、交互にデータ消去を行うことも本発明の範疇に入る。
【００８４】
図３２に示されているように、カムコーダの立ち上げ時や、撮影開始のスタンバイ時等に、液晶画面等へ、重要度が低く、消去される可能性が高いシーンのサムネイルを表示することも、本発明の範疇である。また、その際、シーンが消去されることで確保される撮影時間の目安を表示することも、本発明の範疇である。
【００８５】
撮影後、ボタンのワンタッチで重要度Ｃに設定する方法も本発明の範疇である。この機能は、撮影ミス時の映像を最低重要度に定義する上で有用である。
【００８６】
＜変形例＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムの１部として適用しても、１つの機器（例えば複写機、ファクシミリ装置）からなる装置の１部に適用してもよい。
【００８７】
また、本発明は上記実施の形態を実現するための装置及び方法のみに限定されるものではなく、上記システム又は装置内のコンピュータ（ＣＰＵ或いはＭＰＵ）に、上記実施の形態を実現するためのソフトウエアのプログラムコードを供給し、このプログラムコードに従って上記システム或いは装置のコンピュータが上記各種デバイスを動作させることにより上記実施の形態を実現する場合も本発明の範疇に含まれる。
【００８８】
またこの場合、前記ソフトウエアのプログラムコード自体が上記実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、具体的には上記プログラムコードを格納した記憶媒体は本発明の範疇に含まれる。
【００８９】
この様なプログラムコードを格納する記憶媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００９０】
また、上記コンピュータが、供給されたプログラムコードのみに従って各種デバイスを制御することにより、上記実施の形態の機能が実現される場合だけではなく、上記プログラムコードがコンピュータ上で稼働しているＯＳ（オペレーティングシステム）、或いは他のアプリケーションソフト等と共同して上記実施の形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。
【００９１】
さらに、この供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上記実施の形態が実現される場合も本発明の範疇に含まれる。
【図面の簡単な説明】
【００９２】
【図１】本発明の第１の実施形態におけるＪＰＥＧ２０００符号化部の概略構成を示すブロック図
【図２】本発明の第１の実施形態におけるＪＰＥＧ２０００符号化部が行うフレームデータの符号化処理のフローチャート
【図３】（ａ）は４つのサブバンドに分解する図、（ｂ）は（ａ）のＬＬサブバンドをさらに４つのサブバンドに分解する図、（ｃ）は（ｂ）のＬＬサブバンドをさらに４つのサブバンドに分解する図
【図４】量子化ステップの説明図
【図５】コードブロック分割の説明図
【図６】ビットプレーン分割の説明図
【図７】コーディングパスの説明図
【図８】レイヤー生成の説明図
【図９】レイヤー生成の説明図
【図１０】タイル符号化データの構成の説明図
【図１１】フレーム符号化データの構成の説明図
【図１２】タイル分割の説明図
【図１３】１次元離散ウェーブレット変換の説明図
【図１４】本発明の第１の実施形態におけるＪＰＥＧ２０００復号部の概略構成を示すブロック図
【図１５】タイルの復号順序の説明図
【図１６】本発明の第１の実施形態におけるＪＰＥＧ２０００復号部のフローチャート
【図１７】動画像符号化データの対象を撮影するカムコーダの概略図
【図１８】カムコーダ内部における符号化、及び記録に関わる機能の概略図
【図１９】動画像符号化データの対象を撮影するカムコーダのブロック図
【図２０】カムコーダの処理フロー
【図２１】重要度設定の説明図
【図２２】撮影処理のフロー
【図２３】記録処理のフロー
【図２４】シーン消去の説明図
【図２５】記録処理の説明図
【図２６】カムコーダの処理フロー
【図２７】カムコーダの処理フロー
【図２８】周波数単位で重要度を設定する方法の説明図で
【図２９】第１の実施の形態におけるディスク内部の概念図
【図３０】第２の実施の形態におけるディスク内部の概念図
【図３１】第３の実施の形態におけるディスク内部の概念図
【図３２】その他の実施の形態におけるサムネイル表示の説明図
【符号の説明】
【００９３】
１７０１  デジタルカムコーダ
１７０２  記録開始／停止ボタン
１７０３  重要度設定ボタン（記録レベル設定ボタン）
１８０１  画像入力部
１８０２  ＪＰＥＧ２０００符号化部
１８０３  記録部
１８０４  記録媒体
１９００  制御部
１９０１  読み取り器
１９０２  メモリ
１９０３  ＪＰＥＧ２０００複合部
１９０４  表示用メモリ
１９０５  表示部
１９０６  指示入力部
【図１】
2006066949.tif 000003
【図２】
2006066949.tif 000004
【図３】
2006066949.tif 000005
【図４】
2006066949.tif 000006
【図１０】
2006066949.tif 000007
【図１１】
2006066949.tif 000008
【図１４】
2006066949.tif 000009
【図１６】
2006066949.tif 000010
【図１８】
2006066949.tif 000011
【図１９】
2006066949.tif 000012
【図２０】
2006066949.tif 000013
【図２３】
2006066949.tif 000014
【図２５】
2006066949.tif 000015
【図２６】
2006066949.tif 000016
【図２７】
2006066949.tif 000017
【図５】
2006066949.tif 000018
【図６】
2006066949.tif 000019
【図７】
2006066949.tif 000020
【図８】
2006066949.tif 000021
【図９】
2006066949.tif 000022
【図１２】
2006066949.tif 000023
【図１３】
2006066949.tif 000024
【図１５】
2006066949.tif 000025
【図１７】
2006066949.tif 000026
【図２１】
2006066949.tif 000027
【図２２】
2006066949.tif 000028
【図２４】
2006066949.tif 000029
【図２８】
2006066949.tif 000030
【図２９】
2006066949.tif 000031
【図３０】
2006066949.tif 000032
【図３１】
2006066949.tif 000033
【図３２】
2006066949.tif 000034