(57)【要約】【課題】連写撮影等で得られた複数の画像のデータ量を少ない状態で記憶管理すると共に、ユーザが望む画像については高速に復号することを可能にする。【解決手段】記憶管理する対象の連写画像が入力されると、その中の重要度が高い画像を少なくとも１つ指定する。この結果、重要度が「高」の画像を含む１以上のＧＯＰが定義される。そして、各ＧＯＰ内の、重要度「高」として指定された画像をイントラ画像として符号化し、他の画像はインター画像として符号化する。【選択図】図６
2013168809.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を記憶管理する画像処理装置であって、
時間軸に対して連続して撮影して得られたＮ枚（Ｎは２以上）の画像を入力する入力手段と、
該入力手段で入力した前記Ｎ枚の画像を、ユーザの操作に応じて少なくとも２種類に分類する分類手段と、
該分類手段で第１の種類に分類された画像は他の画像を参照しないイントラ画像として符号化し、前記分類手段で第２の種類に分類された画像は他の画像を参照するインター画像として符号化する符号化手段と、
前記Ｎ枚の画像のいずれが前記イントラ画像であり、いずれがインター画像であるかを識別するための識別情報と、前記符号化手段により生成された前記Ｎ枚の画像の符号化データとを関連づけて所定の記憶手段に格納する格納手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記入力手段が入力する前記Ｎ枚の画像は、撮像装置が連写撮影して得られたＲＡＷ画像の可逆符号化データであって、
前記ＲＡＷ画像の可逆符号化データを復号する復号手段を更に有し、
前記入力手段は、前記復号手段による復号した画像を入力することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記符号化手段は、イントラ画像、インター画像を可逆符号化することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記入力手段で入力した前記Ｎ枚の画像を、撮影したタイミング順にＩ1,Ｉ2…,ＩNと定義し、前記分類手段により前記第１の種類に分類された画像の枚数をＭ（０＜Ｍ≦Ｎ）とし、当該第１の種類に属する画像の前記タイミング順をS(1),S(2)，…、S(M)と定義し、
画像ＩS(j)（１≦ｊ≦Ｍ）については、画像ＩS(j-1)+1乃至ＩS(j)を１つのＧＯＰとし、
前記第１の種類に分類された最後の画像ＩS(M)が属するＧＯＰには、当該画像ＩS(M)以降の画像ＩS(M)+1乃至ＩNを含むと定義したとき、
前記符号化手段は、
各ＧＯＰ内に含まれる第１の種類の画像ＩS(1),ＩS(2)，…、ＩS(M)をイントラ画像として符号化し、
各ＧＯＰ内の前記第２の種類の画像については、各ＧＯＰ内の前記第１の種類の画像を参照対象の起源とし、時間軸に沿った隣接画像を参照画像としてインター符号化する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記分類手段は、前記Ｎ枚の画像を第１乃至第３の種類の画像に分類し、
前記入力手段で入力した前記Ｎ枚の画像を、撮影したタイミング順にＩ1,Ｉ2…,ＩNと定義し、前記分類手段により前記第１の種類又は前記第２の種類に分類された画像の枚数をＭ（０＜Ｍ≦Ｎ）とし、当該第１の種類又は第２の種類に属する画像の前記タイミング順をS(1),S(2)，…、S(M)と定義し、
画像ＩS(j)（１≦ｊ≦Ｍ）については、画像ＩS(j-1)+1乃至ＩS(j)を１つのＧＯＰとし、
前記第１の種類又は第２の種類に分類された最後の画像ＩS(M)が属するＧＯＰには、当該画像ＩS(M)以降の画像ＩS(M)+1乃至ＩNを含むと定義したとき、
前記符号化手段は、
前記ＧＯＰ内の前記第１の種類の画像はイントラ画像として符号化し、
前記ＧＯＰ内の前記第２の種類の画像は、前記第１の種類の画像を含むＧＯＰの中で、前記タイミング順で最も近いＧＯＰ内の第１の種類の画像を参照画像としてインター符号化し、
各ＧＯＰ内の前記第３の種類の画像については、当該ＧＯＰ内の前記第１の種類、又は前記第２の種類の画像を参照対象の起源とし、時間軸に沿った隣接画像を参照画像としてインター符号化する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項６】
前記分類手段は、
前記入力手段で入力した前記Ｎ枚の画像に対して、ユーザが所定の操作手段を介して指定に応じて画像を分類することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記分類手段は、
前記Ｎ枚の画像のそれぞれに対する、ユーザの所定の操作に起因するアクセスがあったか否かを監視すると共に、アクセスがあった場合にはそのアクセス回数をカウントする監視手段とを有し、
アクセス回数と予め設定された１つ又は２つの閾値とを比較し、当該比較結果に従って画像の分類を行うことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項８】
前記格納手段は、前記識別情報と、前記符号化手段で得られた前記Ｎ枚の画像の符号化データとを１つのファイルとして前記記憶手段に格納することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
コンピュータが読み込み実行することで、前記コンピュータを、請求項１乃至８のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
【請求項１１】
複数の画像を記憶管理する画像処理装置の制御方法であって、
入力手段が、時間軸に対して連続して撮影して得られたＮ枚（Ｎは２以上）の画像を入力する入力工程と、
分類手段が、該入力工程で入力した前記Ｎ枚の画像を、ユーザの操作に応じて少なくとも２種類に分類する分類工程と、
符号化手段が、該分類工程で第１の種類に分類された画像は他の画像を参照しないイントラ画像として符号化し、前記分類工程で第２の種類に分類された画像は他の画像を参照するインター画像として符号化する符号化工程と、
格納手段が、前記Ｎ枚の画像のいずれが前記イントラ画像であり、いずれがインター画像であるかを識別するための識別情報と、前記符号化工程により生成された前記Ｎ枚の画像の符号化データとを関連づけて所定の記憶手段に格納する格納工程と
を有することを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像データの符号化技術に関するものである。
【背景技術】
【０００２】
カメラで撮影して得られた画像を、後の高度な編集のため、或いは画質を最優先するため、ＲＡＷ画像として保存することがある。ただし、ＲＡＷ画像のままだと非常にデータサイズが大きいので、一般にはロスレス圧縮符号化し保存されることが多い。このため、大量のＲＡＷ画像（連写したＲＡＷ）の場合、記憶媒体を逼迫させる原因となっている。
【０００３】
一方、時間軸に連続する複数の画像で構成される動画像を符号化する手法の一つに、インター符号化（フレーム間符号化）がある。インター符号化とは、画像（フレーム）間の相関性に注目して、２枚の画像の差分となるデータ（差分データ）を生成して圧縮する方式全般を指す（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−８１２４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
カメラで撮影して得られた複数の画像が、連写撮影した複数の画像の場合、その個々の画像が動画像を構成する個々のフレームと見なし、インター符号化することでデータサイズを小さなものとすることが期待できる。
【０００６】
しかし、インター符号化された画像の復号においては、差分データの復号だけでは着目画像を得られない。つまり、符号化対象の画像との差分データを生成する際に用いた、参照となる画像（参照画像）の復号も必要となる。このため、連写撮影した個々の画像を観賞するための『画像』として符号化（イントラ符号化＝フレーム内符号化）する場合と比べて、インター符号化を行う画像が増えるほど、復号時間が増えてしまう。
【０００７】
本発明は上記点に鑑みてなされたものであり、連写撮影等で得られた複数の画像のデータ量を少ない状態で記憶管理すると共に、ユーザが望む画像については高速に復号可能な技術を提供しようとするものである。
【課題を解決するための手段】
【０００８】
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
複数の画像を記憶管理する画像処理装置であって、
時間軸に対して連続して撮影して得られたＮ枚（Ｎは２以上）の画像を入力する入力手段と、
該入力手段で入力した前記Ｎ枚の画像を、ユーザの操作に応じて少なくとも２種類に分類する分類手段と、
該分類手段で第１の種類に分類された画像は他の画像を参照しないイントラ画像として符号化し、前記分類手段で第２の種類に分類された画像は他の画像を参照するインター画像として符号化する符号化手段と、
前記Ｎ枚の画像のいずれが前記イントラ画像であり、いずれがインター画像であるかを識別するための識別情報と、前記符号化手段により生成された前記Ｎ枚の画像の符号化データとを関連づけて所定の記憶手段に格納する格納手段とを有する。
【発明の効果】
【０００９】
本発明によれば、連写撮影等で得られた複数の画像のデータ量を少ない状態で記憶管理すると共に、ユーザが望む画像については高速に復号することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】本発明におけるＰＣとＮＡＳ，ビューアの説明図。
【図２】第１の実施形態における画像処理装置のブロック図。
【図３】第１の実施形態における画像処理装置のフローチャート。
【図４】お気に入り画像の設定方法と画像の重要度に関する情報の管理方法の説明図。
【図５】第１の実施形態における再符号化の概要説明図。
【図６】第１の実施形態における再符号化のフローチャート。
【図７】第１の実施形態におけるＧＯＰの再符号化のフローチャート。
【図８】第１の実施形態における画像処理装置のフローチャート。
【図９】第１の実施形態における復号のフローチャート。
【図１０】第２の実施形態における再符号化の概要説明図。
【図１１】第２の実施形態における再符号化のフローチャート。
【図１２】第３の実施形態における再符号化の概要説明図。
【図１３】第３の実施形態における再符号化の概要説明図。
【図１４】第３の実施形態におけるビューアのフローチャート。
【図１５】第３の実施形態における再符号化のフローチャート。
【図１６】第３の実施形態における再符号化のフローチャート。
【図１７】第４の実施形態におけるビューアのフローチャート。
【図１８】実施形態における再符号化後の画像データファイルのデータ構造を示す図。
【発明を実施するための形態】
【００１１】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
【００１２】
［第１の実施形態］
先に述べたとおり、イントラ符号化に比べて、インター符号化は圧縮性能では勝るが、復号時間で劣る。その点を考慮して、本実施形態では、復号頻度に関わる情報を基にイントラ符号化を適用するか、インター符号化を適用するかを判断する。つまり、復号頻度が多いと考えられる画像については、復号時間が重要となるので、イントラ符号化を適用する。一方で、復号頻度が少ないと考えられる画像については、復号時間に関する重要性は下がるので、圧縮性能を優先してインター符号化を適用する。以下、本実施の形態においては、連写画像を符号化の対象として、各画像の復号頻度に関して「高」，「低」の２つに分類する。その上で、「高」の画像についてはイントラ符号化を用い、「低」の画像に対してはインター符号化を用いる。
【００１３】
図１は、デジタル一眼レフカメラ等の撮像装置の撮影画像を記録するハードディスク装置等で構成される所定の外部記憶装置と、画像を記憶管理する画像処理装置として機能するパーソナルコンピュータ（ＰＣ）で構成されるシステムを示している。画像処理装置として機能するＰＣ上では、画像管理ビューア（アプリケーション）が実行されることになる。なお、外部記憶装置は、画像処理装置の内部に設けられているものとするが、例えば、ネットワーク上に設けられたＮＡＳ（ Network Attached Storage)でも構わない。同図において、撮像装置で連写撮影された複数の画像が外部記憶装置に格納された後、画像処理装置が、ユーザから連写画像の一覧表示指示を受けると画像管理ビューアが起動し、外部記憶装置をアクセスし、図１のサムネイルをビューア上に表示する。なお、撮像装置内では、連写画像を構成する個々のＲＡＷ画像はイントラ符号化されているものとする。そのため、連写画像のそれぞれは、外部記憶装置に入力された時点で、イントラ符号化された符号化データとして格納されている。また、撮像装置から外部記憶装置への画像データへの格納方法は、撮像装置から記憶媒体を画像処理装置が有するカードリーダにセットして、画像処理装置から外部記憶装置に格納するものとする。ただし、外部記憶装置がＮＡＳ等である場合には、外部記憶装置が有するカードスロットに記憶媒体をセットして、格納するようにしても良い。また、外部記憶装置、撮像装置が共に無線通信機能を持っているのであれば、その無線機能を利用して、画像処理装置を介在せずとも、撮像装置から外部記憶装置に送信し、格納さることも可能である。つまり、外部記憶装置への画像データの格納方法は如何なるものであっても構わない。
【００１４】
ビューアに説明を戻す。該ビューアでは、ユーザはＮ枚（Ｎは２以上）の連写画像を、２種類に分類するための設定操作を行う。ここで言う第１の種類は「お気に入り」であり。第２の種類は「非お気に入り」である。操作を単純なものとするため、ユーザはお気に入りに設定する画像を指示するものし、非指示の画像は非お気に入りになるものとする。「お気に入り」は「非お気に入り」と比べて、ユーザからの復号指示の頻度は高いと考えられるので、前者を「高」，後者を「低」とする。その上で、「高」をイントラ符号化対象の画像（イントラ画像）、「低」をインター符号化対象の画像（インター画像）と設定する。なお、イントラ符号化，インター符号化いずれも、ロスレス符号化（可逆符号化）である。
【００１５】
図２は、本実施の形態における画像処理装置のブロック図である。同図において、２０１は表示部、２０２はＯＳや各アプリケーション、データ等を記憶しているハードディスク（ＨＤＤ）、２０３はＵＩ（マウスやキーボード等）である。また、２０４は装置全体の制御を司るＣＰＵ、２０５は再符号化部、２０６は復号部、２０７はメモリ、２０８は入出力部、２１０はネットワークＩ／Ｆである。
【００１６】
本実施形態における符号化対象の画像データは、ＲＧＢカラー多値画像データとし、各コンポーネント（色）は８ビット（０乃至２５５の２５６階調）として説明する。但し、ＲＧＢ以外のコンポーネントの構成（例えば、グレーやＣＭＹＫ）でも構わず、色空間の種類，コンポーネントの個数は問わない。また、１成分のビット数も８ビットに限らず、８ビットを超えるビット数、もしくは８ビット未満のビット数でも構わない。更に、符号化対象の画像は水平方向Ｗ画素、垂直方向Ｈ画素により構成されるものとする。
【００１７】
図３は、図２の画像処理装置上で実行される画像管理に係る処理のフローチャートである。以下、図１，図２を参照して、本実施形態に係る画像処理装置が行う処理について説明する。
【００１８】
ＣＰＵ２０４は、入出力部２０８から連写画像の可逆符号化データを入力すると（Ｓ３０１）、それぞれＨＤＤ２０２へ保存する（Ｓ３０２）。なお、本実施の形態においては、連写画像の各画像は、先に説明したようにロスレス符号化されているものとする。実施形態では、ロスレス符号化として、ＪＰＥＧ−ＬＳ(ISO/IEC 14495-1, ITU-T T.87)を採用するが、これ以外であっても構わず、その種類は問わない。次いで、画像処理装置はビューアの起動をユーザが操作するＵＩ２０３から受け付けると（Ｓ３０３でＹｅｓ）、ビューアを立ち上げる（Ｓ３０４）。一方、ビューア（アプリケーション）の起動が指定されない場合（Ｓ３０３でＮｏ）、ビューアの起動指示の発生を監視し続ける。
【００１９】
ビューアの起動後、ＣＰＵ２０４は、ＨＤＤ２０２に保存されている連写画像のセット（連写画像セット）のうち、未だ、お気に入り画像の設定が行われていない、連写画像セットのサムネイルを表示する（Ｓ３０５）。ここで、連写画像セットとは、撮影時に一回の連写撮影により撮影された複数枚の画像の集まりのことである。また、連写画像の撮影順は、個々のＲＡＷ画像符号化データのファイル名（通常、撮像装置では、シーケンシャルは番号をファイル名に付している）を参照して判定するものとするが、画像データファイル中のヘッダを解析して、撮影順番を判定しても構わない。その後、ユーザによるお気に入り画像指定作業が発生するかを監視し（Ｓ３０６）、発生しない場合（Ｓ３０６でＮｏ）、監視を行い続ける。一方で、お気に入り指定作業が発生した場合（Ｓ３０６でＹｅｓ）、お気に入り画像の確認を行う（Ｓ３０７）。お気に入り画像の確認とは、図４（ａ）で示したように、お気に入り画像指定処理の結果を基に、図４（ｂ）のとおり、メモリ２０７に連写画像セット中の各画像の重要度を記録する作業である。具体的には、お気に入りと設定した画像に対しては、重要度「高」を設定し、設定されなかった画像に対しては、重要度「低」を設定する。お気に入り画像の確認（Ｓ３０７）を終えた後、再符号化部２０５において、インター符号化を活用した再符号化を行う（Ｓ３０８）。次に、上記の再符号化の考え方を図５用いて説明し、続いて、図６のフローチャートを用いて詳細説明する。
【００２０】
図５は、８枚の画像から成る注目連写画像セットの画像を時間軸に沿って並べている。それぞれに対して、時間軸で見て早い画像から順に（１）〜（８）を付してある。そして、（３）と（５）はユーザが重要度「高」として設定したイントラ画像であり、それら以外はインター画像である。この連写画像セットの再符号化に関し、１つのイントラ画像に着目したとき、その注目イントラ画像と、その着目イントラ画像から時間軸で早い方向を見て、一つ目のイントラ画像との間にあるインター画像の組をＧＯＰ(Group Of Pictures)と定義する。ただし、注目イントラ画像から時間軸で早い方向を見て、イントラ画像が存在しない場合、注目イントラ画像を含み、それより時間軸に見て早い画像群をＧＯＰとする。また、時間軸に見て着目イントラ画像より遅い画像群の中に、１つのイントラ画像も存在しない場合、その画像群も着目イントラ画像と同じＧＯＰに属するものとして定義する。
【００２１】
従って、８枚の画像から成る注目連写画像セット中、画像（３）、（５）をイントラ画像としてユーザが設定した場合、画像（１）乃至（３）で構成されるＧＯＰと、画像（４）乃至（８）で構成されるＧＯＰの２つが定義される。
【００２２】
各ＧＯＰの再符号化においては、時間軸で見て隣接画像を参照してインター符号化を行う。これは、連写画像においては、隣接画像が最も相関性が高く、符号化性能を高められると考えられるからである。具体的な符号化手順を１番目のＧＯＰを例にして説明すると、図５において、画像（１）は画像（２）を参照画像とし、画像（２）は画像（３）を参照画像とした上で、画像（２）と画像（３）を復号してＲＡＷ画像を生成する。このＲＡＷ画像は、ベイヤー配列であることが一般であり、以下ベイヤー画像と称す。そして、画像（３）を参照した上で画像（２）のインター符号化を行う。この符号化が終わった時点で、画像（３）のベイヤー画像と、画像（２）のイントラ符号化された画像データ（イントラ画像符号化データ）は不要となるので消去する。次いで、画像（１）のインター符号化のため、いったん画像（１）のイントラ符号化データを復号し、画像（２）のベイヤー画像を参照して符号化を行う。画像（１）の符号化処理が終了すると、画像（１）のイントラ符号化データとベイヤー画像、画像（２）のイントラ符号化データは不要となるので消去する。ここまでが１番目のＧＯＰの再符号化に関する説明である。
【００２３】
２番目のＧＯＰについては、画像（４）の再符号化に関しては、１番目のＧＯＰと同様である。すなわち、画像（６），（７），（８）の再符号化については、参照する画像の時間方向が変わるだけで、１番目のＧＯＰと同様である。つまり、画像（６）は画像（５）を参照し、画像（７）は画像（６）は参照し、画像（８）は画像（７）を参照してインター符号化が実行される。
【００２４】
上記を一般的な表現で定義すると次の通りである。記憶管理すべきＮ枚の画像を、撮影したタイミング順にＩ1,Ｉ2…,ＩNと定義し、重要度高に分類された画像の枚数をＭ（０＜Ｍ≦Ｎ）とし、重要度高に属する画像のタイミング順をS(1),S(2)，…、S(M)と定義する（図５の場合、M=2, S(1)=3, S(2)=5である）。そして、画像ＩS(j)（１≦ｊ≦Ｍ）については、画像ＩS(j-1)+1乃至ＩS(j)を１つのＧＯＰとする。ただし、重要度高に分類された最後の画像ＩS(M)が属するＧＯＰには、当該画像ＩS(M)以降の画像ＩS(M)+1乃至ＩNを含むとする。該画像ＩS(M)よりも後には、重要度高の画像がないためである。かかる定義の元、再符号化部２０５は、各ＧＯＰ内に含まれる重要度高の画像ＩS(1),ＩS(2)，…、ＩS(M)をイントラ画像として符号化し、各ＧＯＰ内の重要度低の画像については、各ＧＯＰ内の重要度高の画像を参照対象の起源とし、時間軸に沿った隣接画像を参照画像としてインター符号化する。
【００２５】
次に、再符号化処理の詳細を図６のフローチャートを用いて説明する。
【００２６】
まず、再符号化を開始すると、ＣＰＵ２０４は、連写画像中のイントラ画像の枚数を確認し、ＧＯＰの個数(M_GOP)を設定する。例えば、再符号化対象の連写画像が図５に示すように８枚あり、お気に入りとして設定した画像は２つある場合、ＧＯＰの個数M_GOPは“２”となる。次に、ＣＰＵ２０４は、GOPのカウンタ(i_GOP)をゼロに初期化し(Ｓ６０２)、i_GOP番目のＧＯＰの再符号化を行う（Ｓ６０３）。
【００２７】
このＳ６０３については、図７のフローチャートを用いて、詳細を説明する。図７において、ＧＯＰの再符号化が始まると、ＣＰＵ２０４は、再符号化後にインター画像となるＧＯＰ内の画像の枚数(N_inter)を取得し（Ｓ７０１）、再符号化後にイントラ画像となる画像に対して、復号を行う（Ｓ７０２）。本実施の形態におけるＳ７０２は、ＪＰＥＧ−ＬＳ方式の復号処理となる。続いて、インター画像のカウンタ(i_inter)をゼロに初期化し（Ｓ７０３）、再符号化でインター符号化する画像のうち、i_inter番目のイントラ符号化データを復号する（Ｓ７０４）。なお、i_inter番目とは、再符号化後のイントラ画像を起点として、撮影の時系列で見て直前に撮影された画像を０とし、早くなる方向で順に、１，２，・・・とする。図５における１番目のＧＯＰ、すなわち画像（１），（２），（３）では、画像（２）がi_inter=0、画像（１）がi_inter=1となる。次いで、i_inter-1番目のインター画像を参照して、i_inter番目のインター画像をインター符号化する（Ｓ７０５）。ここで、i_inter=0の場合、再符号化後のイントラ画像を使って、０番目の画像をインター符号化する。なお、インター符号化の方法については、i_inter-1番目とi_inter番目の画像を空間的に見て、同じ位置に存在する画素の差分を取り、差分値を空間的に並べた差分画像を生成する。その上で、差分画像をJPEG-LS方式で符号化する。そして、Ｓ７０５のインター符号化が終了すると、i_inter-1番目の復号画像、i_inter番目のイントラ符号化データは不要となるので、削除する（Ｓ７０６）。ただし、i_inter=0の場合、再符号化後のイントラ画像の復号画像を削除し、イントラ符号化データは再符号化のデータとして用いるので、そのまま残す。その後、Ｓ７０７で、i_interとN_inter-1を比較し（Ｓ７０７）、もしi_interの方が小さければ（Ｓ７０７でYes）、i_interをインクリメントして処理をＳ７０４へ戻す。一方で、i_interの方が小さくなければ（Ｓ７０７でＮｏ）、i_inter番目の復号画像を削除して（Ｓ７０８）、ＧＯＰの符号化処理を終了する。
【００２８】
Ｓ６０３が終了すると、i_GOPとM_GOP-2の大きさを比較して（Ｓ６０４）、もしi_GOPの方が小さければ（Ｓ６０４でＹｅｓ）、処理をＳ６０３へ戻す。一方で、i_GOPの方が小さくない場合（Ｓ６０４でＮｏ）、最後のGOPの符号化を行う（Ｓ６０５）。Ｓ６０５における処理は、再符号化後のイントラ画像から見て、時間軸で早い方向，遅い方向に存在する、画像を再符号化する点で、Ｓ６０３と異なる。しかし、一方向に限定して見た場合、ほぼＳ６０３とほぼ同様であり、ここでは説明を割愛する。Ｓ６０５が終了すると、再符号化処理は終了する。
【００２９】
図３のフローチャートにおいて、Ｓ３０８の再符号化が終了すると、生成された各画像の符号化データを、１つのファイルへ格納する（Ｓ３０９）。具体的には、図１８のとおり、ファイルは、ヘッダ，サムネイル格納領域，イントラ符号化のデータであるイントラ符号化データ格納領域、インター符号化のデータであるインター符号化データ格納領域から構成される。まず、ヘッダにはいずれがイントラ画像であり、いずれがインター画像かを識別情報が格納される。具体的には、ヘッダにはイントラ画像符号化データの個数と通し番号（図５の場合には、３、５）、インター画像符号化データの個数と通し番号（図５の場合には、１、２、４、６、７、８）、各ＧＯＰに所属する画像の通し番号が記述される。さらには、各インター画像のインター符号化において、いずれの画像を参照しているかを示す参照情報などが記述される。次に、サムネイル格納領域には、各画像のサムネイルのＪＰＥＧデータが保存されている。最後に、イントラ符号化データ格納領域と、インター符号化データ格納領域には、それぞれイントラ符号化データ，インター符号化データが格納される。なお、実施形態では、連写撮影による複数の画像の再符号化した結果を１つのファイルとして格納する例を説明したが、いずれがイントラ画像であり、いずれがインター画像か識別する識別情報との関連付けが明確になった状態であれば良いので、個々の画像が単独のファイルとしても構わない。
【００３０】
次に、再符号化された連写画像を復号し、表示する処理について、図８のフローチャートを用いて説明する。なお、同図の処理を開始する際には、ユーザは本装置で管理している画像ファイル一覧を表示し、その中の１つをユーザが指定する。この結果、ＣＰＵ２０４は、指定された画像ファイル（その構造は図１８に示す通りである）を解析し、内部に格納されている画像群のサムネイル一覧を表示する。以下に説明する処理は、このサムネイル一覧を表示した後の処理である。
【００３１】
図８において、ＣＰＵ２０４は、ユーザからＵＩ２０３を通して、連写画像中の画像の表示の指示を受け付けると（Ｓ８０１）、復号対象の画像を特定する（Ｓ８０２）。表示指示のある画像（表示画像）と、表示画像がインター画像である場合、表示画像の復号に必要な、イントラ画像と表示画像を含む、１つ以上のインター画像を指す。例えば、図５の画像（１）が表示画像である場合、復号対象の画像とは画像（１）〜（３）となる。次いで、復号対象の画像を復号する（Ｓ８０３）。この処理については、図９のフローチャートを用いて説明する。同図において、処理が開始すると、イントラ符号化データの復号を行い（Ｓ９０１）、表示画像はイントラ画像であるかどうかを判断する（Ｓ９０２）。もし、イントラ画像であれば（Ｓ９０２でＹｅｓ）、目的とする画像の復号を終えているので、Ｓ８０３の復号は完了する。一方で、インター画像である場合（Ｓ９０２でＮｏ）、インター画像の枚数を確認し（Ｓ９０３）、インター画像のカウンタi_interをゼロに初期化する（Ｓ９０４）。次いで、i_inter番目のインター符号化データを復号し、インター画像を生成する（Ｓ９０４）。なお、Ｓ９０５の処理を具体的に説明すると、符号化時には、i_inter-1番目の画像に対する、i_inter番目の差分画像を生成して符号化を行った。すなわち、インター画像を生成するには、i_inter番目の差分画像を復号し、差分画像とi_inter-1番目の画像について、空間的に同じ位置に存在する画素の和（復号画素値）を取る。その上で、復号画素値を空間的に配置し、インター画像を生成する。なお、i_inter=0の場合、復号画素値を得る処理においては、i_inter=0番目の差分画像と、復号済みのイントラ画像の和を取る。続いて、Ｓ９０５の処理を終えると、i_inter-1番目の復号画像は不要となるので、消去する（Ｓ９０６）。なお、i_inter=0の場合、イントラ画像の復号画像を消去する。次に、i_interとM_inter-1の大きさを比較し（Ｓ９０７）、i_interの方が小さい場合（Ｓ９０７でＹｅｓ）、処理をＳ９０４へ戻す。一方で、i_interの方が小さくない場合（Ｓ９０７でＮｏ）、目的とするインター画像の復号画像を生成できたので処理を終える。
【００３２】
Ｓ８０３の復号処理が終わると、復号画像の画像データをＵＩ２０３へ送信し、ＵＩ２０３は表示する（Ｓ８０４）。以上で、連写画像中の画像の表示処理は終了する。
【００３３】
以上説明したように、本実施形態によれば、連写撮影した複数のＲＡＷ画像を、ロスレス符号化して管理しつつも、お気に入りとして指定された画像については、イントラ符号化、非お気に入りとなった画像についてはインター符号化するとで、画像群全体の大幅な符号量を削減でき、しかも、お気に入りとして指定された画像については高速に復号することが約束されることになる。
【００３４】
［第２の実施形態］
上記第１の実施形態では、画像の重要度として「高」、「低」の２段階を設けていた。本第２の実施形態では、重要度としてより多い段階を持つ例を説明する。説明を単純なものするため、重要度が高，中，低の３段階であるものとする。その上で、「高」に対してはイントラ符号化を行う。また、「中」については、「高」から見て圧縮効率の面でやや優位、復号時間ではやや不利になる、イントラ画像（つまり「高」の画像）を参照するインター符号化を適用する。そして、「低」については、最も圧縮率を考慮するが復号時間では最も不利な、隣接画像を参照するインター符号化を適用する。 この考えに基づいた処理の流れの概要を図１０に示す。
【００３５】
同図は、第１の実施の形態の処理概要を説明した図５と同様な、連写画像を処理対象としている。ただし、重要度の設定は異なっており、画像（３）を「重要度高」、画像（５）を「重要度中」、画像（３），（５）以外を「重要度低」とする。そして、本実施の形態においては、注目する「重要度高」もしくは「重要度中」の画像と、時間軸で見て最も近い「高」もしくは「中」の間に存在する「低」の画像群とをＧＯＰと定義する。図１０であれば、ＧＯＰは２つあり、（１）〜（３）が１つ目、（４）〜（８）が２つ目となる。この定義の下、まず１つ目のＧＯＰの処理を行う。この処理は基本的には第１の実施形態と同様であるが、処理が終わっても、「中」の参照先となるため、いったんベイヤー画像を残しておく点で異なる。次に第２のＧＯＰの処理に移り、この処理についてもほぼ第１の実施形態と同様であるが、「重要度低」に参照される画像（５）のベイヤー画像を残す点で異なる。その後、画像（３）を使って画像（５）のインター符号化を行い、その上で画像（３）と画像（５）のベイヤー画像を削除する。ここまでが、処理概要の説明であり、次に図１１のフローチャートを用いた詳細説明に移る。なお、本第２の実施の形態は第１の実施形態と比べて、図３のフローチャートにおけるＳ３０８の再符号化処理に違いがある。そこで、以下の説明では当該処理に注力する。
【００３６】
図１１は、本実施の形態における再符号化処理のフローチャートである。同図において、Ｓ１１０１〜Ｓ１１０５については、第１の実施形態における再符号化処理のフローチャート（図６）のＳ６０１〜Ｓ６０５とほぼ同様なので説明を割愛し、Ｓ１１０６から説明する。
【００３７】
図１１のＳ１１０５の処理が終わると、「重要度中」の画像枚数(M_middle)を確認し（Ｓ１１０６）、「重要度中」の画像カウンタを初期化する（Ｓ１１０７）。次に、i_inter_middle番目の画像のインター符号化を行う（Ｓ１１０８）。この処理については、本第２の実施の形態の冒頭における処理概要で説明したとおり「高」を参照し、また、連写画像中の「中」，「高」のベイヤー画像は、すでに復号済みである。さらに、この参照先となる「高」については、なるべく圧縮性能を向上させることを考え、時間軸で見て近い「高」を参照する必要がある。その点を踏まえ、参照先の選択では、時間的距離を基に決定する。そして、i_inter_middle番目のインター符号化が終了すると、i_inter_middle番目の「中」のベイヤー画像は不要となるので削除し（Ｓ１１０９）する。その上で、i_inter_middleとM_middle-1の大きさを比較する（Ｓ１１１０）。もし、i_inter_middleの方が小さい場合（Ｓ１１１０でＹｅｓ）、i_inter_middleをインクリメントした上で、処理をＳ１１０８へ戻す。一方で、i_inter_middleの方が小さくない場合（Ｓ１１１０でＮｏ）、全ての「中」の符号化処理を終えたことになるので、全ての「高」のベイヤー画像を削除し（Ｓ１１１１）、再符号化処理を終える。
【００３８】
復号処理については、第１の実施形態と比較して、「中」の復号が存在する点で違いはあるが、符号化における参照関係を逆にたどりながら復号する点で、考え方は同じである。そのため、ここでは説明を割愛する。
【００３９】
上記を一般的に表わすと次の通りである。記憶管理対象のＮ枚の画像を第１乃至第３の種類の画像に分類する。第１の種類は重要度高の画像、第２の種類は重要度中、第３の種類は重要度低である。そして。Ｎ枚の画像を、撮影したタイミング順にＩ1,Ｉ2…,ＩNと定義し、第１の種類又は第２の種類に分類された画像の枚数をＭ（０＜Ｍ≦Ｎ）とし、第１の種類又は第２の種類に属する画像のタイミング順をS(1),S(2)，…、S(M)と定義する。そして、画像ＩS(j)（１≦ｊ≦Ｍ）については、画像ＩS(j-1)+1乃至ＩS(j)を１つのＧＯＰとする。ただし、第１の種類又は第２の種類に分類された最後の画像ＩS(M)が属するＧＯＰには、当該画像ＩS(M)以降の画像ＩS(M)+1乃至ＩNを含むものとする。画像ＩS(M)より後に、第１、第２の種類に分類された画像は存在しないためである。上記定義の元、再符号化部２０５は、ＧＯＰ内の第１の種類の画像はイントラ画像として符号化し、ＧＯＰ内の第２の種類の画像は、第１の種類の画像を含むＧＯＰの中で、タイミング順で最も近いＧＯＰ内の第１の種類の画像を参照画像としてインター符号化する。そして、再符号化部２０５は、各ＧＯＰ内の第３の種類の画像については、当該ＧＯＰ内の第１の種類、又は第２の種類の画像を参照対象の起源とし、時間軸に沿った隣接画像を参照画像としてインター符号化する。
【００４０】
［第３の実施形態］
第１の実施形態においては、カメラが連写撮影した、ロスレス符号化したの連続ＲＡＷ画像の再符号化の方法について説明した。すなわち、全ての画像はイントラ符号化されており、画像毎に重要度を設定して、イントラ符号化とインター符号化を使い分ける処理である。本第３の実施の形態においては、第１の実施形態の方法で再符号化された連写画像について、ユーザにより「お気に入り」の変更がされた場合の再符号化方法を説明する。具体的には重要度の「高」と「低」の設定変更が発生した場合における、再符号化方法である。
【００４１】
まず、この処理の概要について説明する。図１２は、画像（３）と画像（５）がイントラ符号化データ、それ以外の画像はインター符号化データである状況下において、ユーザがＵＩ２０３を介して画像（１）の重要度を「低」から「高」へ変更した場合の処理推移を示す図である。この場合、画像（１）をイントラ符号化で再符号化するため、ベイヤー画像を復号しなければならない。このために、画像（３）のベイヤー画像を復号して、画像（２）のインター符号化データと画像（３）のベイヤー画像から、画像（２）のベイヤー画像を生成する。その上で、画像（１）のインター符号化データと画像（２）のベイヤー画像から、画像（１）のベイヤー画像を復号する。ここまでの処理を終えたら、画像（１）のベイヤー画像をイントラ符号化して、不要になったベイヤー画像を削除する。そして、ファイルヘッダを新な状態に対応すべく更新する。
【００４２】
次に重要度を「高」から「低」へ変更した場合の処理内容を図１３を用いて説明する。同図においても、ユーザがＵＩ２０３を介して変更する以前の状況では、画像（３）と画像（５）がイントラ符号化データ、それ以外の画像がインター符号化データとなっているものとして説明する。つまり、ＧＯＰ内において、インター符号化の参照方向は時間軸で見て遅い方向であり、イントラ画像は早い方向の隣接画像から参照されている。ただし、時間軸で見て最後のＧＯＰについては、イントラ画像は２つの隣接画像から参照されている。この点を踏まえて、図１３（ａ）のとおり、重要度「高」が「低」と変更された着目画像は、時間的に後に位置する画像を参照画像とすることを基本とする。図１３（ａ）の場合、重要度が「低」に変更された画像（３）は、それよりも遅い隣接する画像（４）を参照画像としてインター符号化されることになる。ただし、図１３（ｂ）のとおり、最後のＧＯＰに属する重要度「高」の画像が「底」に変更された場合に限っては、参照方向を早い方向とする。これは、遅い方向にはイントラ画像が存在しないからである。同図１３（ｂ）のケースの場合、画像（５）が画像（４）を参照画像として変更されることになるが、同時に画像（４）についても画像（３）を参照画像として再定義され、インター符号化されることになる。
【００４３】
続いて、詳細な処理説明について図１４を用いて説明する。同図は、本第３の実施の形態における連写画像を管理するビューアアプリケーションのフローチャートである。ＣＰＵ２０４は、連写画像に対するお気に入りの変更指示があるかどうかを監視し（Ｓ１４０１）、もし変更がなければ（Ｓ１４０１でＮｏ）、処理をＳ１４０４へ進める。一方で、変更があれば（Ｓ１４０１でＹｅｓ）、再符号化を行う（Ｓ１４０２）。なお、第１の実施形態と同様、お気に入りは２段階であり、「お気に入り」は重要度「高」であり、「非お気に入り」は重要度「低」である。また、この再符号化については、後程詳述する。Ｓ１４０２が終了すると、ＣＰＵ２０４はファイル生成を行う（Ｓ１４０３）。これについては、再符号化の結果に基づいてファイルを生成し、処理内容は第１の実施形態Ｓ３０９と同様であり、説明を割愛する。次いで、Ｓ１４０３が終了すると、ビューア終了指示があるかどうかを確認し（Ｓ１４０２）、もしなければ（Ｓ１４０４でＮｏ）、処理をＳ１４０１へ戻す。もしあれば（Ｓ１４０４でＹｅｓ）、ビューアを終了させる（Ｓ１４０５）。
【００４４】
次に、Ｓ１４０２の再符号化について、図１５を用いて説明する。再符号化がスタートすると、ＣＰＵ２０４は、重要度が「低」から「高」へ変更した画像があるかどうかを確認する（Ｓ１５０１）。もしあれば（Ｓ１５０１でＹｅｓ）、該当画像の再符号化を行う（Ｓ１５０２）。もしなければ（Ｓ１５０１でＮｏ）、処理をＳ１５０３へ進める。なお、Ｓ１５０２については、後程詳細説明する。Ｓ１５０３では、重要度が「高」から「低」へ変更した画像があるか確認する。もしあれば（Ｓ１５０３でＹｅｓ）、該当画像の再符号化を行う（Ｓ１５０４）。もしなければ（Ｓ１５０３でＮｏ）、再符号化処理を終える。なお、Ｓ１５０４については、Ｓ１５０２とほぼ同様な処理であるため、ここでは説明を割愛する。
【００４５】
続いて、Ｓ１５０２の処理を図１６のフローチャートを用いて説明する。同図において、重要度が「低」から「高」への再符号化が開始すると、重要度が変更された注目画像の符号化方式を変更するために、復号すべき画像を確認する（Ｓ１６０１）。例えば、図１２における画像（１）の重要度が変更された場合、復号すべき画像及びその復号順序は画像（３）、画像（２）、画像（１）となる。ここで、復号すべき画像の決定については、ファイル中のヘッダ情報が利用される。Ｓ１６０１が終了すると、復号対象となった画像のうち、インター符号化データの画像枚数(N_inter)を確認し（Ｓ１６０２）、復号対象画像の中のイントラ符号化データを復号する（Ｓ１６０３）。次いで、インター符号化データのカウンタ(i_inter)を初期化して（Ｓ１６０４）、i_inter番目の画像を復号する（Ｓ１６０５）。復号が済んだら、i_interとN_inter-1の大きさを比較し、i_interの方が小さければ、カウンタをインクリメントした上で、処理をＳ１６０５へ戻す。もしi_interの方が小さくなければ、注目画像をイントラ符号化し（Ｓ１６０７）、復号対象とした全画像のベイヤー画像を削除し（Ｓ１６０８）、処理を終える。
【００４６】
［第４の実施形態］
第１の実施形態においては、ビューア上で、ユーザにＵＩを介して明示的に「お気に入り」と「非お気に入り」を指定するものとした。本第４の実施の形態においては、ユーザが明示的にお気に入り、非お気に入りを指定せずとも、ユーザの操作に起因するアクセス回数をカウントし、そのカウント値と予め設定された閾値との比較結果に応じて重要度を更新する例を説明する。具体的には、ビューアアプリケーションは連写画像を構成する各画像の現像回数を一定期間監視し、その現像回数が予め設定された閾値以上になったとき、重要度「低」から「高」への変更と再符号化を実行する例を説明する。
【００４７】
図１７において、連写画像が外部記憶装置（図１参照）に格納されると（Ｓ１７０１）、ＣＰＵ２０４は連写画像の現像回数を監視し（Ｓ１７０２）、監視期間は終了しているか判断する（Ｓ１７０３）。ここで、監視期間は格納日から１ヶ月とするが、この期間はユーザが適宜設定しても構わない。さて、監視期間は終了していなければ（Ｓ１７０３でＮｏ）、処理をＳ１７０２へ戻す。もし監視期間が終了していれば（Ｓ１７０３でＹｅｓ）、各画像の重要度「高」と「低」を決定する（Ｓ１７０４）。なお、重要度の決定基準は、現像回数５回とする。つまり、１ヶ月の間に５回以上現像された画像については、重要度「高」とし、５回未満の画像については、重要度「低」とする。次いで、処理をＳ１７０５へ進め、再符号化処理を行う。この処理については、第１の実施形態と同様であるため、説明を割愛する。
【００４８】
［その他の実施形態］
インター符号化として、符号化対象の画像と参照画像の間で、空間的に対応する画素の差分を取って符号化する方法を示した。しかし、これに限られることなく、複数枚の画像をまとまりとした場合における、まとまりの特性を利用した高効率の符号化方式であればよい。例えば、ＭＰＥＧ等の動画符号化方式で用いられている、動き補償を適用しても構わない。
【００４９】
画像の重要度として、２段階，３段階がある場合を説明したが、より多段階の重要度を設定しても構わない。例えば、重要度として４段階（最も高，高，中，低）を設定して、「高」，「中」，「低」については、第２の実施形態のとおり符号化をする。そして、「最も高」については、ベイヤー画像をデモザイクして、１画素毎にＲＧＢを持つ正規の配列形式を生成する。その上で、そのデータを非圧縮で保存する。
【００５０】
１回の連写撮影でされた連写画像を念頭において説明したが、これに限られることはない。例えば、時間的に近い時刻に撮影された２つの連写画像を、１つの連写画像と見立てて再符号化を行ってもよい。別の例として、再符号化の対象として連写画像にとらわれず、ＮＡＳに保存されている複数のＲＡＷ画像を集めた上で、再符号化してもよい。その場合には、時間軸上に再符号化対象の画像を並べて符号化してもよいが、より高い符号化性能を狙うため、特性が似ている画像を順に並べてもよい。  
重要度「低」とされた画像の符号化として、隣接画像を参照するインター符号化を説明したが、これに限られることはない。すなわち、イントラ画像から時間的に離れているインター画像ほど、復号すべき差分画像が増えるため、復号時間がかかる。この問題への対応として、インター画像が一定枚数続いた場合、インター符号化せずにイントラ符号化する方法がある。もしくは、第２の実施形態における「中」のインター符号化してもよい。  第１，４の実施形態において、重要度の設定方法について説明しているが、これらに限られることはない。例えば、連写画像中、シーンチェンジが発生している場合、シーンの境界の画像は復号頻度が高くなるとして、重要度「高」としてもよい。
【００５１】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2013168809.tif 000003
【図２】
2013168809.tif 000004
【図３】
2013168809.tif 000005
【図４】
2013168809.tif 000006
【図５】
2013168809.tif 000007
【図６】
2013168809.tif 000008
【図７】
2013168809.tif 000009
【図８】
2013168809.tif 000010
【図９】
2013168809.tif 000011
【図１０】
2013168809.tif 000012
【図１１】
2013168809.tif 000013
【図１２】
2013168809.tif 000014
【図１３】
2013168809.tif 000015
【図１４】
2013168809.tif 000016
【図１５】
2013168809.tif 000017
【図１６】
2013168809.tif 000018
【図１７】
2013168809.tif 000019
【図１８】
2013168809.tif 000020