(57)【特許請求の範囲】
【請求項１】
被写体像を連続的に撮像して複数の画像データを生成する撮像部と、
前記撮像部で生成された前記画像データを周波数分解して変換係数に変換する周波数分解部と、
前記周波数分解部で変換された前記変換係数を符号化して符号化データを求め、前記符号化データを所定の優先順に並べてビットストリーム化し、圧縮ファイルを生成する符号化部と、
前記複数の画像データについて、前記符号化部で生成された前記ビットストリームの所定位置までのデータ量（以下、「中途データ量」という）を比較し、前記中途データ量の多い画像データを選ぶ画像評価部と、
前記画像評価部で選ばれた前記画像データの前記圧縮ファイルを記録保存する記録部と
を備えたことを特徴とする電子カメラ。
【請求項２】
被写体像を連続的に撮像して複数の画像データを生成する撮像部と、
前記撮像部で生成された前記画像データを周波数分解して変換係数に変換する周波数分解部と、
前記周波数分解部で変換された前記変換係数を符号化して符号化データを求め、前記符号化データを所定の優先順に並べてビットストリーム化し、目標データ量に基づいて前記ビットストリームを打ち切って圧縮ファイルを生成する符号化部と、
前記複数の画像データについて、前記符号化部で生成された前記ビットストリームの打ち切り位置を比較し、前記打ち切り位置が前記ビットストリームの先頭に近い画像データを選ぶ画像評価部と、
前記画像評価部で選ばれた前記画像データの前記圧縮ファイルを記録保存する記録部と
を備えたことを特徴とする電子カメラ。
【請求項３】
請求項１または請求項２に記載の電子カメラにおいて、
前記符号化部は、前記周波数分解部で変換された前記変換係数を「画像上に予め定められた選択領域」と「それ以外の非選択領域」とに領域区分し、前記選択領域に対して前記非選択領域よりも優先的に情報量を割り当てて前記変換係数を符号化して前記圧縮ファイルを生成し、
前記画像評価部は、前記複数の画像データについて、前記符号化部で符号化された前記選択領域のデータ量（以下「ＲＯＩデータ量」という）を比較し、前記ＲＯＩデータ量の多い画像データを選択するよう評価結果に加味する
ことを特徴とする電子カメラ。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の電子カメラにおいて、
前記周波数分解部は、前記撮像部で生成された前記画像データを画像空間上で複数のタイルに区分し、前記タイルを周波数分解して前記変換係数に変換し、
前記符号化部は、前記周波数分解部で変換された前記変換係数を符号化して前記符号化データを生成し、前記複数のタイルの前記符号化データをまとめて前記圧縮ファイルを生成し、
前記画像評価部は、前記複数の画像データについて、予め定められたタイルの符号化データ量（以下「タイルデータ量」という）を比較し、前記タイルデータ量が大きな画像データを選択するよう評価結果に加味する
ことを特徴とする電子カメラ。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載の電子カメラにおいて、
前記周波数分解部は、前記撮像部で生成された前記画像データを周波数成分のサブバンドに分解して前記変換係数に変換し、
前記画像評価部は、前記複数の画像データについて、前記周波数分解部で変換された前記変換係数の高域サブバンドの信号レベルを比較し、前記信号レベルが大きな画像データを選択するよう評価結果に加味する
ことを特徴とする電子カメラ。
【請求項６】
請求項１ないし請求項５のいずれか１項に記載の電子カメラにおいて、
前記画像評価部は、
評価中の画像データを選ばないと決定すると、評価中の前記画像データに対する圧縮ファイルの生成処理を中止させる
ことを特徴とする電子カメラ。
【請求項７】
撮像部において連続的に撮像された複数の画像データをコンピュータで処理するための画像処理プログラムであって、
前記コンピュータを請求項１ないし請求項６のいずれか１項に記載の前記周波数分解部、前記符号化部、前記画像評価部、および前記記録部として機能させるための画像処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、連続的に撮像された画像データ群を画像評価し、評価の高い画像データを選択保存する電子カメラに関する。
本発明は、コンピュータ上において、連続的に撮像された画像データ群を画像評価し、評価の高い画像データを選択的に保存するための画像処理プログラムに関する。
【０００２】
【従来の技術】
従来、電子カメラにおいて、ＢＳＳ（ベストショットセレクタ）モードを有するものが知られている。このＢＳＳモードは、連続撮影された画像データ群の中から、画像情報の多いものを選択的に保存する動作モードである。このＢＳＳモードを使用することにより、手ブレやフォーカスずれの少ない鮮明な画像データを確実に選択保存することが可能になる。
【０００３】
また最近では、ＪＰＥＧ２０００という最新の画像圧縮方式が提案されている。以下、このＪＰＥＧ２０００の処理手順について概略説明する。
▲１▼色座標変換
入力画像は、必要に応じて色座標変換が施される。
▲２▼ウェーブレット変換
画像は、縦横２方向に離散ウェーブレット変換が施され、複数のサブバンド（ＬＬ，ＬＨ，ＨＬ，ＨＨ）に帯域分割される。この内、最低周波数域のＬＬバンドには、再帰的に離散ウェーブレット変換が繰り返し施される。
▲３▼量子化
ウェーブレット変換係数は、サブバンドごとに量子化される。なお、ロッシー／ロスレスの統一処理においては、量子化ステップがとりあえず「１」に設定される。この場合、ロッシー圧縮では、後工程において下位Ｎビットプレーンの廃棄が行われる。この廃棄処理は、量子化ステップ「２のＮ乗」と等価な処理となる。
▲４▼ビットモデリング
量子化後のウェーブレット変換係数を各サブバンド内で固定サイズ（例えば６４×６４）の符号化ブロックに分割する。各符号ブロック内の変換係数は、サインビットと絶対値に分けられた後、絶対値は、自然２進数のビットプレーンに振り分けられる。このように構築されたビットプレーンは、上位ビットプレーンから順に、３通りの符号化パス（Significance pass，Refinement pass，Cleanup pass）を通して符号化される。なお、サインビットについては、対応する絶対値の最上位ビットがビットプレーンに現れた直後に符号化が行われる。
▲５▼ＲＯＩ（Region Of Interest）符号化
画像上の選択領域に優先的に情報量を割り当て、選択領域の復号化画質を高める機能である。具体的には、選択領域に位置する量子化後の変換係数をＳビットシフトアップした上で、上述したビットモデリングを実施する。その結果、選択領域は、上位ビットプレーンにシフトされ、非選択領域のどのビットよりも優先的に符号化がなされる。
なお、マックスシフト法では、ビットシフト数Ｓを非選択領域の最上位ビットの桁数よりも大きく設定する。そのため、選択領域の非ゼロの変換係数は、必ず「２のＳ乗」以上の値をとる。そこで、復号化時は、「２のＳ乗」以上の量子化値を選択的にシフトダウンすることにより、選択領域の変換係数を容易に再現する。
▲６▼算術符号化
▲７▼ビットストリーム形成
各符号化ブロックのデータを４つの軸（ビットプレーンの重要度、空間解像度、ブロック位置、色成分）の組み合わせに従って並べることで、ＳＮＲプログレッシブ、空間解像度プログレッシブなどを実現する。
例えば、ＳＮＲプログレッシブの場合には、各符号化ブロックを符号化パスごとに分割し、分割データをＳＮＲ向上の寄与度の高い順に分類して、複数のレイヤーを構築する。これらのレイヤーを上位から順に並べることにより、ＳＮＲプログレッシブのビットストリームが形成される。このビットストリームを、適当なファイルサイズで打ち切ることにより、固定長圧縮が実現する。
【０００４】
以上のような符号化手順により、ＪＰＥＧ２０００の圧縮画像ファイルが生成される。
なお、最新のＪＰＥＧ２０００については、ＪＰＥＧ委員会によってインターネット公開された最終委員会案（http://www.jpeg.org/fcd15444-1.zip）を参照することによって、より正確に知ることができる。さらに、２００１年３月に予定される国際規格の承認後においては、ＩＳＯやＩＴＵ−Ｔその他の規格組織を通して、より詳細かつ正確な国際規格を知ることができる。
【０００５】
【発明が解決しようとする課題】
ところで、上述のＪＰＥＧ２０００は、従来の画像圧縮方式（例えばＪＰＥＧ）と処理手順が大きく異なるため、従来のＢＳＳモードをそのまま適用することが困難であった。
そこで、本発明では、ＪＰＥＧ２０００などの圧縮処理に適したＢＳＳモードを提示することを目的とする。
【０００６】
【課題を解決するための手段】
上述した課題を解決するため、本発明は下記のように構成される。
【０００７】
《請求項１》
請求項１に記載の電子カメラは、被写体像を連続的に撮像して複数の画像データを生成する撮像部と、撮像部で生成された画像データを周波数分解して変換係数に変換する周波数分解部と、周波数分解部で変換された変換係数を符号化して符号化データを求め、符号化データを所定の優先順に並べてビットストリーム化し、圧縮ファイルを生成する符号化部と、複数の画像データについて、符号化部で生成されたビットストリームの所定位置までのデータ量（以下、「中途データ量」という）を比較し、中途データ量の多い画像データを選ぶ画像評価部と、画像評価部で選ばれた画像データの圧縮ファイルを記録保存する記録部とを備える。
【０００８】
《請求項２》
請求項２に記載の電子カメラは、被写体像を連続的に撮像して複数の画像データを生成する撮像部と、撮像部で生成された画像データを周波数分解して変換係数に変換する周波数分解部と、周波数分解部で変換された変換係数を符号化して符号化データを求め、符号化データを所定の優先順に並べてビットストリーム化し、目標データ量に基づいてビットストリームを打ち切って圧縮ファイルを生成する符号化部と、複数の画像データについて、符号化部で生成されたビットストリームの打ち切り位置を比較し、打ち切り位置がビットストリームの先頭に近い画像データを選ぶ画像評価部と、画像評価部で選ばれた画像データの圧縮ファイルを記録保存する記録部とを備えたことを特徴とする。
【０００９】
《請求項３》
請求項３に記載の電子カメラは、請求項１または請求項２に記載の電子カメラにおいて、符号化部は、周波数分解部で変換された変換係数を「画像上に予め定められた選択領域」と「それ以外の非選択領域」とに領域区分し、選択領域に対して非選択領域よりも優先的に情報量を割り当てて変換係数を符号化して圧縮ファイルを生成し、画像評価部は、複数の画像データについて、符号化部で符号化された選択領域のデータ量（以下「ＲＯＩデータ量」という）を比較し、ＲＯＩデータ量の多い画像データを選択するよう評価結果に加味することを特徴とする。
【００１０】
《請求項４》
請求項４に記載の電子カメラは、請求項１ないし請求項３のいずれか１項に記載の電子カメラにおいて、周波数分解部は、撮像部で生成された画像データを画像空間上で複数のタイルに区分し、タイルを周波数分解して変換係数に変換し、符号化部は、周波数分解部で変換された変換係数を符号化して符号化データを生成し、複数のタイルの符号化データをまとめて圧縮ファイルを生成し、画像評価部は、複数の画像データについて、予め定められたタイルの符号化データ量（以下「タイルデータ量」という）を比較し、タイルデータ量が大きな画像データを選択するよう評価結果に加味することを特徴とする。
【００１１】
《請求項５》
請求項５に記載の電子カメラは、請求項１ないし請求項４のいずれか１項に記載の電子カメラにおいて、周波数分解部は、撮像部で生成された画像データを周波数成分のサブバンドに分解して変換係数に変換し、画像評価部は、複数の画像データについて、周波数分解部で変換された変換係数の高域サブバンドの信号レベルを比較し、信号レベルが大きな画像データを選択するよう評価結果に加味することを特徴とする。
【００１２】
《請求項６》
請求項６に記載の電子カメラは、請求項１ないし請求項５のいずれか１項に記載の電子カメラにおいて、画像評価部は、評価中の画像データを選ばないと決定すると、評価中の画像データに対する圧縮ファイルの生成処理を中止させることを特徴とする。
【００１３】
《請求項７》
請求項７に記載の画像処理プログラムは、電子カメラなどの撮像部において連続的に撮像された複数の画像データをコンピュータで処理するための画像処理プログラムであって、コンピュータを、請求項１ないし請求項６のいずれか１項に記載の周波数分解部、符号化部、画像評価部、および記録部として機能させることを特徴とする。
【００１４】
【発明の実施の形態】
図１は、電子カメラ１１の構成を示すブロック図である。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の撮像面が配置される。撮像素子１３は、この被写体像を光電変換し、画像データとして出力する。この画像データは、ＡＤ変換部１４を介してデジタル化された後、信号処理部１５に与えられる。信号処理部１５は、この画像データに対して黒レベル補正および階調変換などのリアルタイム処理を施す。このリアルタイム処理後の画像データは、連写バッファ１６に一時記憶される。連続撮影時、この連写バッファ１６は、複数コマの画像データを順次に蓄積する。この連写バッファ１６には、画像処理部１７および画像符号化部１８が接続される。
【００１５】
この画像符号化部１８は、ＪＰＥＧ２０００で規定される圧縮符号化を実行する。この画像符号化部１８は、下記のような構成要件から構成される。
▲１▼タイル分割部２０
▲２▼色変換部２１
▲３▼ウェーブレット変換部２２
▲４▼量子化部２３
▲５▼ビットモデリング部２４
▲６▼算術符号化部２５
▲７▼ビットストリーム生成部２６
▲８▼ＲＯＩ設定部２７
画像符号化部１８から出力される圧縮ファイルは、バッファメモリ３１に一時記憶される。記録部３２は、バッファメモリ３１内の圧縮ファイルを、メモリカード３３に保存する。
【００１６】
マイクロプロセッサ等からなる画像評価部３４は、画像符号化部１８側から圧縮過程の情報を取得して画像評価を行い、良質の画像データを選択保存するように、画像符号化部１８、バッファメモリ３１および記録部３２を制御する。
なお、この画像評価部３４は、後述する第１〜５のＢＳＳモードが選択的に実行可能である。
【００１７】
［本発明との対応関係］
以下、上述した電子カメラ１１と本発明との対応関係について説明する。なお、ここでの対応関係は、参考のために一解釈を例示するものであり、本発明を徒らに限定するものではない。
請求項１〜６の記載事項と電子カメラ１１との対応関係については、撮像部は撮影レンズ１２，撮像素子１３，Ａ／Ｄ変換部１４および連写バッファ１６に対応し、周波数分解部はタイル分割部２０，色変換部２１およびウェーブレット変換部２２に対応し、符号化部は量子化部２３，ビットモデリング部２４，算術符号化部２５，ビットストリーム生成部２６およびＲＯＩ設定部２７に対応し、画像評価部は画像評価部３４に対応し、記録部は記録部３２に対応する。
個々のＢＳＳモードの処理について詳細に説明する。
【００１８】
［第１のＢＳＳモード］
図２は、第１のＢＳＳモードを示す流れ図である。以下、図２に示すステップ番号の順に、第１のＢＳＳモードを説明する。
ステップＳ１：  ユーザーのレリーズ操作に応じて、撮像素子１３は連続的に撮像動作を実行する。撮像素子１３から出力される画像データ群は、Ａ／Ｄ変換部１４および信号処理部１５を介してリアルタイム処理された後、連写バッファ１６に順次に蓄積される。
ステップＳ２：  画像処理部１７は、連写バッファ１６内の画像データ群に対して、色補間処理などの２次元画像処理を順次に施す。
ステップＳ３：  画像評価部３４は、評価基準値Ｓmaxをゼロに初期設定する。
ステップＳ４：  色変換部２１は、２次元画像処理を終えた画像データを、連写バッファ１６から処理単位ごとに逐次読み出す。色変換部２１は、この画像データに、色座標変換を施してＹＣｂＣｒなどの色コンポーネントに変換する。
ステップＳ５：  ウェーブレット変換部２２は、色座標変換後の画像データを処理単位ごとに取得する。ウェーブレット変換部２２は、この画像データに対して、再帰的にウェーブレット変換を施し、変換係数（すなわちサブバンド成分）を求める。
ステップＳ６：  量子化部２３は、必要に応じて、変換係数を量子化する。
ステップＳ７：  ビットモデリング部２４は、ＲＯＩ設定部２７に予め設定される選択領域のマスク画像を読み出す。ビットモデリング部２４は、この選択領域のマスク画像に基づいて、サブバンド毎に変換係数が選択領域に含まれるか否かを判定する。ビットモデリング部２４は、選択領域内の位置する変換係数に対して、Ｓビット分だけビットシフトアップを施す。なお、このＳビットは、マックスシフト法に従って定められるビット数である。
ステップＳ８：  ビットモデリング部２４は、変換係数をビットプレーンに分割する。このとき、選択領域の変換係数は上位ビットプレーンに区分される。ビットモデリング部２４は、最上位のビットプレーンから順に３通りの符号化パスを実行する。
ステップＳ９：  算術符号化部２５は、ビットモデリング部２４から符号化データを処理単位ごとに取得する。算術符号化部２５は、この符号化データに対して、２値算術符号であるＭＱコーダーを用いて、算術符号化を施す。
ステップＳ１０：  画像評価部３４は、選択領域に該当する上位ビットプレーンの算術符号化後のデータ量（以下『ＲＯＩデータ量』という）を、算術符号化部２５から情報取得する。
ステップＳ１１：  画像評価部３４は、ＲＯＩデータ量と評価基準値Ｓmaxとを比較する。
ここで、ＲＯＩデータ量が評価基準値Ｓmax以下の場合、画像評価部３４はステップＳ１２に動作を移行する。
一方、ＲＯＩデータ量が評価基準値Ｓmaxを上回っている場合、画像評価部３４はステップＳ１３に動作を移行する。
ステップＳ１２：  画像評価部３４は、圧縮中の画像データについて、ＲＯＩデータ量が少ないので不良画像であると評価する。画像評価部３４は、画像符号化部１８に対して、圧縮ファイルの生成処理を中止するよう命令する。画像符号化部１８は、この中止命令に対応して、内部の処理バッファ（不図示）などを初期化し、次回の圧縮符号化に備える。画像評価部３４は、このような中止命令の後、ステップＳ１７に動作を移行する。
ステップＳ１３：  画像評価部３４は、圧縮中の画像データについて、ＲＯＩデータ量が多いので現時点の最良画像であると評価する。画像評価部３４は、次回の評価に備えて、ＲＯＩデータ量を評価基準値Ｓmaxに代入する。
ステップＳ１４：  画像評価部３４は、現時点の最良画像が現れたため、バッファメモリ３１内の圧縮ファイル（すなわち過去の最良画像）を消去もしくは無効化する。なお、バッファメモリ３１内の一定数の圧縮ファイルから、評価の一番低かった圧縮ファイルを削るようにしてもよい。
ステップＳ１５：  ビットストリーム生成部２６は、算術符号化部２５から処理後の符号化データを処理単位ごとに取得する。ビットストリーム生成部２６は、この符号化データを、ＳＮＲプログレッシブその他の優先順位に並べ替え、ビットストリームを生成する。
ステップＳ１６：  ビットストリーム生成部２６は、画質モード選択により決定される目標ファイルサイズに収まるように、ビットストリームを打ち切る。ビットストリーム生成部２６は、打ち切り処理後のビットストリームに基づいて、バッファメモリ３１内に圧縮ファイルを生成する。
ステップＳ１７：  ここで、画像評価部３４は、連写バッファ１６内の画像データ群について評価動作を全て完了したか否かを判断する。
評価動作が全て完了していない場合、画像評価部３４はステップＳ４に動作を戻す。
一方、評価動作が全て完了した場合、画像評価部３４はステップＳ１８に動作を移行する。
ステップＳ１８：  画像評価部３４は、記録部３２に対して、バッファメモリ３１内の圧縮ファイルの記録処理を命令する。記録部３２は、バッファメモリ３１内の圧縮ファイル（すなわち、勝ち残りの高評価画像）をメモリカード３３に保存する。
以上の一連の動作により、第１のＢＳＳモードが完了する。
次に、別のＢＳＳモードについて説明する。
【００１９】
［第２のＢＳＳモード］
図３は、第２のＢＳＳモードを示す流れ図である。以下、図３に示すステップ番号の順に、第２のＢＳＳモードを説明する。
ステップＳ１〜Ｓ９：  第１のＢＳＳモード（図２）と同一処理である。そのため、ここでの動作説明を省略する。
ステップＳ２１：  ビットストリーム生成部２６は、算術符号化部２５から処理後の符号化データを処理単位ごとに取得する。ビットストリーム生成部２６は、この符号化データを、ＳＮＲプログレッシブなどの優先順位に並べ替え、ビットストリームを生成する。
ステップＳ２２：  画像評価部３４は、ビットストリームの先頭から所定レイヤまでの符号化データ量（以下『中途データ量』という）を、ビットストリーム生成部２６から情報取得する。
ステップＳ２３：  画像評価部３４は、中途データ量と評価基準値Ｓmaxとを比較する。
ここで、中途データ量が評価基準値Ｓmax以下の場合、画像評価部３４はステップＳ２４に動作を移行する。
一方、中途データ量が評価基準値Ｓmaxを上回っている場合、画像評価部３４はステップＳ２５に動作を移行する。
ステップＳ２４：  画像評価部３４は、圧縮中の画像データについて、中途データ量が少ないので不良画像であると評価する。画像評価部３４は、画像符号化部１８に対して、圧縮ファイルの生成処理を中止するよう命令する。画像符号化部１８は、この中止命令に対応して、内部の処理バッファ（不図示）などを初期化し、次回の圧縮符号化に備える。画像評価部３４は、このような中止命令の後、ステップＳ２８に動作を移行する。
ステップＳ２５：  画像評価部３４は、圧縮中の画像データについて、中途データ量が多いので現時点の最良画像であると評価する。画像評価部３４は、次回の評価に備えて、中途データ量を評価基準値Ｓmaxに代入する。
ステップＳ２６：  画像評価部３４は、現時点の最良画像が現れたため、バッファメモリ３１内の圧縮ファイル（すなわち過去の最良画像）を消去もしくは無効化する。なお、バッファメモリ３１内の一定数の圧縮ファイルから、評価の一番低かった圧縮ファイルを削るようにしてもよい。
ステップＳ２７：  ビットストリーム生成部２６は、画質モード選択により決定される目標ファイルサイズに収まるように、ビットストリームを打ち切る。ビットストリーム生成部２６は、打ち切り処理後のビットストリームに基づいて、バッファメモリ３１内に圧縮ファイルを生成する。
ステップＳ２８：  ここで、画像評価部３４は、連写バッファ１６内の画像データ群について評価動作を全て完了したか否かを判断する。
評価動作が全て完了していない場合、画像評価部３４はステップＳ４に動作を戻す。
一方、評価動作が全て完了した場合、画像評価部３４はステップＳ２９に動作を移行する。
ステップＳ２９：  画像評価部３４は、記録部３２に対して、バッファメモリ３１内の圧縮ファイルの記録処理を命令する。記録部３２は、バッファメモリ３１内の圧縮ファイル（すなわち、勝ち残りの高評価画像）をメモリカード３３に保存する。
以上の一連の動作により、第２のＢＳＳモードが完了する。
次に、別のＢＳＳモードについて説明する。
【００２０】
［第３のＢＳＳモード］
図４は、第３のＢＳＳモードを示す流れ図である。以下、図４に示すステップ番号の順に、第３のＢＳＳモードを説明する。
ステップＳ１〜Ｓ９：  第１のＢＳＳモード（図２）と同一処理である。そのため、ここでの動作説明を省略する。なお、ステップＳ３では、画像評価部３４が、評価基準値Ｓmaxを適当な値（充分大きな値）に初期設定する。
ステップＳ４１：  ビットストリーム生成部２６は、算術符号化部２５から処理後の符号化データを処理単位ごとに取得する。ビットストリーム生成部２６は、この符号化データを、ＳＮＲプログレッシブなどの優先順位に並べ替え、ビットストリームを生成する。
ステップＳ４２：  ビットストリーム生成部２６は、画質モード選択により決定される目標ファイルサイズに収まるように、ビットストリームを打ち切る。
ステップＳ４３：  画像評価部３４は、ビットストリームの打ち切り位置として、打ち切りを判断した時点のパケット数を、ビットストリーム生成部２６から情報取得する。なお、実際のビットストリーム打ち切りは、レイヤ単位に粗く行われる。ここでは、レイヤ数よりも細かい単位で打ち切り位置を比較するため、打ち切りを判断した時点のパケット数を使用する。
ステップＳ４４：  画像評価部３４は、このパケット数と、評価基準値Ｓmaxとを比較する。
ここで、パケット数が評価基準値Ｓmax未満の場合、画像評価部３４はステップＳ４６に動作を移行する。
一方、パケット数が評価基準値Ｓmax以上の場合、画像評価部３４はステップＳ４５に動作を移行する。
ステップＳ４５：  画像評価部３４は、圧縮中の画像データについて、打ち切り位置が先頭から遠いので不良画像であると評価する。画像評価部３４は、画像符号化部１８に対して、圧縮ファイルの生成処理を中止するよう命令する。画像符号化部１８は、この中止命令に対応して、内部の処理バッファ（不図示）などを初期化し、次回の圧縮符号化に備える。画像評価部３４は、このような中止命令の後、ステップＳ４９に動作を移行する。
ステップＳ４６：  画像評価部３４は、圧縮中の画像データについて、打ち切り位置が先頭に一番近いので現時点の最良画像であると評価する。画像評価部３４は、次回の評価に備えて、このパケット数を評価基準値Ｓmaxに代入する。
ステップＳ４７：  画像評価部３４は、現時点の最良画像が現れたため、バッファメモリ３１内の圧縮ファイル（すなわち過去の最良画像）を消去もしくは無効化する。なお、バッファメモリ３１内の一定数の圧縮ファイルから、評価の一番低かった圧縮ファイルを削るようにしてもよい。
ステップＳ４８：  ビットストリーム生成部２６は、打ち切り処理後のビットストリームに基づいて、バッファメモリ３１内に圧縮ファイルを生成する。
ステップＳ４９：  ここで、画像評価部３４は、連写バッファ１６内の画像データ群について評価動作を全て完了したか否かを判断する。
評価動作が全て完了していない場合、画像評価部３４はステップＳ４に動作を戻す。
一方、評価動作が全て完了した場合、画像評価部３４はステップＳ５０に動作を移行する。
ステップＳ５０：  画像評価部３４は、記録部３２に対して、バッファメモリ３１内の圧縮ファイルの記録処理を命令する。記録部３２は、バッファメモリ３１内の圧縮ファイル（すなわち、勝ち残りの高評価画像）をメモリカード３３に保存する。
以上の一連の動作により、第３のＢＳＳモードが完了する。
次に、別のＢＳＳモードについて説明する。
【００２１】
［第４のＢＳＳモード］
図５は、第４のＢＳＳモードを示す流れ図である。以下、図５に示すステップ番号の順に、第４のＢＳＳモードを説明する。
ステップＳ１〜Ｓ５：  第１のＢＳＳモード（図２）と同一処理である。そのため、ここでの動作説明を省略する。
ステップＳ６１：  画像評価部３４は、高域サブバンドのウェーブレット変換係数を情報取得し、その信号レベル（例えば、変換係数の二乗平均値、絶対値平均値、最大振幅、平均振幅など）を求める。
ステップＳ６２：  画像評価部３４は、信号レベルと評価基準値Ｓmaxとを比較する。
ここで、信号レベルが評価基準値Ｓmax以下の場合、画像評価部３４はステップＳ６３に動作を移行する。
一方、信号レベルが評価基準値Ｓmaxを上回っている場合、画像評価部３４はステップＳ６４に動作を移行する。
ステップＳ６３：  画像評価部３４は、圧縮中の画像データについて、高域サブバンドの信号レベルが小さいので不良画像であると評価する。画像評価部３４は、画像符号化部１８に対して、圧縮ファイルの生成処理を中止するよう命令する。画像符号化部１８は、この中止命令に対応して、内部の処理バッファ（不図示）などを初期化し、次回の圧縮符号化に備える。画像評価部３４は、このような中止命令の後、ステップＳ７３に動作を移行する。
ステップＳ６４：  画像評価部３４は、圧縮中の画像データについて、高域サブバンドの信号レベルが大きいので現時点の最良画像であると評価する。画像評価部３４は、次回の評価に備えて、信号レベルを評価基準値Ｓmaxに代入する。
ステップＳ６５：  画像評価部３４は、現時点の最良画像が現れたため、バッファメモリ３１内の圧縮ファイル（すなわち過去の最良画像）を消去もしくは無効化する。なお、バッファメモリ３１内の一定数の圧縮ファイルから、評価の一番低かった圧縮ファイルを削るようにしてもよい。
ステップＳ６６：  量子化部２３は、必要に応じて、変換係数を量子化する。
ステップＳ６７：  ビットモデリング部２４は、ＲＯＩ設定部２７に予め設定される選択領域のマスク画像を読み出す。ビットモデリング部２４は、この選択領域のマスク画像に基づいて、サブバンド毎に変換係数が選択領域に含まれるか否かを判定する。ビットモデリング部２４は、選択領域内の位置する変換係数に対して、Ｓビット分だけビットシフトアップを施す。
ステップＳ６８：  ビットモデリング部２４は、変換係数をビットプレーンに分割する。ビットモデリング部２４は、最上位のビットプレーンから順に３通りの符号化パスを実行する。
ステップＳ６９：  算術符号化部２５は、ビットモデリング部２４から処理後の符号化データを処理単位ごとに取得する。算術符号化部２５は、この符号化データに対して、２値算術符号であるＭＱコーダーを用いて、算術符号化を施す。
ステップＳ７０：  ビットストリーム生成部２６は、算術符号化部２５から処理後の符号化データを処理単位ごとに取得する。ビットストリーム生成部２６は、この符号化データを、ＳＮＲプログレッシブその他の優先順位で並べ替え、ビットストリームを生成する。
ステップＳ７１：  ビットストリーム生成部２６は、画質モード選択により決定される目標ファイルサイズに収まるように、ビットストリームを打ち切る。
ステップＳ７２：  ビットストリーム生成部２６は、打ち切り処理後のビットストリームに基づいて、バッファメモリ３１内に圧縮ファイルを生成する。
ステップＳ７３：  ここで、画像評価部３４は、連写バッファ１６内の画像データ群について評価動作を全て完了したか否かを判断する。
評価動作が全て完了していない場合、画像評価部３４はステップＳ４に動作を戻す。
一方、評価動作が全て完了した場合、画像評価部３４はステップＳ７４に動作を移行する。
ステップＳ７４：  画像評価部３４は、記録部３２に対して、バッファメモリ３１内の圧縮ファイルの記録処理を命令する。記録部３２は、バッファメモリ３１内の圧縮ファイル（すなわち、勝ち残りの高評価画像）をメモリカード３３に保存する。
以上の一連の動作により、第４のＢＳＳモードが完了する。
次に、別のＢＳＳモードについて説明する。
【００２２】
［第５のＢＳＳモード］
図６は、第５のＢＳＳモードを示す流れ図である。以下、図６に示すステップ番号の順に、第５のＢＳＳモードを説明する。
ステップＳ１〜Ｓ３：  第１のＢＳＳモード（図２）と同一処理である。そのため、ここでの動作説明を省略する。
ステップＳ８１：  画像評価部３４は、画像符号化部１８に対してタイル単位の符号化処理を命令する。タイル分割部２０は、この命令に答えて、２次元画像処理を終えた画像データを、連写バッファ１６から処理単位ごとに逐次読み出す。タイル分割部２０は、この画像データをタイル単位に画像分割する。
ステップＳ８２：  画像符号化部１８の各処理部２１〜２７は、画面中央に位置するタイルを優先的に選択して、ＪＰＥＧ２０００で規定された圧縮符号化を施す。
ステップＳ８３：  画像評価部３４は、画面中央のタイルの符号化データ量（以下『タイルデータ量』という）を画像符号化部１８から情報取得する。
ステップＳ８４：  画像評価部３４は、タイルデータ量と評価基準値Ｓmaxとを比較する。
ここで、タイルデータ量が評価基準値Ｓmax以下の場合、画像評価部３４はステップＳ８５に動作を移行する。
一方、タイルデータ量が評価基準値Ｓmaxを上回っている場合、画像評価部３４はステップＳ８６に動作を移行する。
ステップＳ８５：  画像評価部３４は、圧縮中の画像データについて、タイルデータ量が小さいので不良画像であると評価する。画像評価部３４は、画像符号化部１８に対して、圧縮ファイルの生成処理を中止するよう命令する。画像符号化部１８は、この中止命令に対応して、内部の処理バッファ（不図示）などを初期化し、次回の圧縮符号化に備える。画像評価部３４は、このような中止命令の後、ステップＳ９０に動作を移行する。
ステップＳ８６：  画像評価部３４は、圧縮中の画像データについて、タイルデータ量が大きいので現時点の最良画像であると評価する。画像評価部３４は、次回の評価に備えて、タイルデータ量を評価基準値Ｓmaxに代入する。
ステップＳ８７：  画像評価部３４は、現時点の最良画像が現れたため、バッファメモリ３１内の圧縮ファイル（すなわち過去の最良画像）を消去もしくは無効化する。なお、バッファメモリ３１内の一定数の圧縮ファイルから、評価の一番低かった圧縮ファイルを削るようにしてもよい。
ステップＳ８８：  画像符号化部１８は、残りのタイルに対して、ＪＰＥＧ２０００で規定された圧縮符号化を順次に施す。
ステップＳ８９：  画像符号化部１８は、各タイルの符号化データを規定の順序にまとめて、バッファメモリ３１内に圧縮ファイルを生成する。
ステップＳ９０：  ここで、画像評価部３４は、連写バッファ１６内の画像データ群について評価動作を全て完了したか否かを判断する。
評価動作が全て完了していない場合、画像評価部３４はステップＳ８１に動作を戻す。
一方、評価動作が全て完了した場合、画像評価部３４はステップＳ９１に動作を移行する。
ステップＳ９１：  画像評価部３４は、記録部３２に対して、バッファメモリ３１内の圧縮ファイルの記録処理を命令する。記録部３２は、バッファメモリ３１内の圧縮ファイル（すなわち、勝ち残りの高評価画像）をメモリカード３３に保存する。
以上の一連の動作により、第５のＢＳＳモードが完了する。
【００２３】
［本実施形態の効果など］
上述した第１のＢＳＳモードでは、ＲＯＩデータ量に基づいて画像データの良否を判定し、良質な画像データを選択保存することができる。
また、第２のＢＳＳモードでは、中途データ量に基づいて画像データの良否を判定し、良質な画像データを選択保存することができる。
さらに、第３のＢＳＳモードでは、打ち切り位置に基づいて画像データの良否を判定し、良質な画像データを選択保存することができる。
また、第４のＢＳＳモードでは、高域サブバンドの信号レベルに基づいて画像データの良否を判定し、良質な画像データを選択的に保存することができる。
さらに、第５のＢＳＳモードでは、タイルデータ量に基づいて画像データの良否を判定し、良質な画像データを選択保存することができる。
また、上述した第１〜第５のＢＳＳモードでは、画像評価部３４が画像データを選別しないと決定した時点で、圧縮ファイルの生成処理を即座に中止する。したがって、余分な圧縮処理を省くことが可能になり、ＢＳＳモードの動作を一段と高速化することが可能になる。
【００２４】
《実施形態の補足事項》
なお、上述した実施形態では、電子カメラ１１の場合について説明した。しかしながら、本発明は、これに限定されるものではない。例えば、上述した実施形態と同様のＢＳＳ動作をコンピュータに実行させる画像処理プログラムを作成してもよい。
【００２５】
この場合、例えば、コンピュータは、連続撮像された画像データ群を、記憶媒体もしくは通信媒体を介して、電子カメラ等から取得すればよい。また、上述した画像評価部３４は、コンピュータのソフトウェア処理で実現すればよい。さらに、上述した画像符号化部１８については、コンピュータのソフトウェア処理で実現してもよいし、圧縮符号化の専用ＩＣをコンピュータがソフトウェア制御することで実現してもよい。
【００２６】
また、上述した第１〜４のＢＳＳモードでは、タイル分割しない状態で圧縮符号化を行う場合について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、画像データをタイル分割をした上で、画像評価部３４が、所定タイルを対象に第１〜４のＢＳＳモードの良否評価を行ってもよい。この場合には、所定タイルの圧縮符号化の途中で良否評価が完了するので、ＢＳＳモードの更なる高速化を図ることが可能になる。
【００２７】
なお、上述した第１〜５のＢＳＳモードでは、それぞれ独立した評価結果に基づいて画像評価を行っている。しかしながら、本発明はこれに限定されるものではない。これらの評価結果を適宜に組み合わせることにより、より精密な画像評価を行うことが可能になる。例えば、これらの評価結果を重み付けして、総合的な画像評価を行ってもよい。また例えば、一つの評価結果において有意差が見られない場合に、別の評価結果を併用するようにしてもよい。
【００２８】
【発明の効果】
《請求項１》
請求項１に記載の発明では、連続撮影された画像データ群から、ビットストリームの所定位置までのデータ量（中途データ量）の多い画像データを選択して保存する。
このように選択される画像データは、ビットストリームの所定位置までに豊富な画像情報を有する良質な画像データである。
また、この『ビットストリームの所定位置まで』は、余程長くしない限り、途中でビットストリームが打ち切られる可能性は非常に少ない。したがって、中途データ量は、ビットストリーム打ち切りの影響を殆ど受けず、画像の情報量を忠実に反映する。その結果、中途データ量の判定により、画像評価を正確に行うことが可能になる。
また、ビットストリームが所定位置まで作成された段階で、中途データ量を確定することができる。したがって、画像圧縮の終了を待たずに、中途データ量を比較することが可能になり、ＢＳＳモードの高速化を容易に達成できる。
【００２９】
《請求項２》
請求項２に記載の発明では、連続撮影された画像データ群から、ビットストリームの打ち切り位置が先頭に近い画像データを選択保存する。
このように選択される画像データは、豊富な画像情報を有する良質な画像データである。
また、ビットストリームを打ち切った時点で、打ち切り位置を確定することができる。したがって、圧縮ファイルの生成完了を待たずに、打ち切り位置を比較することが可能になり、ＢＳＳモードの高速化を容易に達成できる。
【００３０】
《請求項３》
請求項３に記載の発明では、連続撮影された画像データ群から、ＲＯＩデータ量（選択領域の圧縮後データ量）の多い画像データを選択保存する。
このように選択される画像データは、選択領域に豊富な画像情報を有する良質な画像データである。
特に、この選択領域は、圧縮による画質劣化が少ないため、画面内の主要被写体に位置を合わせて設定されることが多い。このようなケースでは、主要被写体の鮮明な画像データを特に選択保存することが可能になる。
さらに、選択領域は優先的に情報量が割り当てられるので、選択領域の途中でビットストリームが打ち切られる可能性は非常に少ない。したがって、ＲＯＩデータ量は、ビットストリーム打ち切りの影響を殆ど受けず、画像の情報量を忠実に反映する。その結果、ＲＯＩデータ量の判定により、画像評価を正確に行うことが可能になる。
また、選択領域は優先的に情報量が割り当てられるので、画像圧縮過程の比較的早い段階でＲＯＩデータ量を確定することができる。したがって、画像圧縮の終了を待たずに、ＲＯＩデータ量を比較することが可能になり、ＢＳＳモードの高速化を容易に達成することができる。
【００３１】
《請求項４》
請求項４に記載の発明では、連続撮影された画像データ群から、所定タイルの符号化データ量（タイルデータ量）の大きな画像データを選択保存する。
このように選択される画像データは、所定タイルに豊富な画像情報を有する良質な画像データである。
また、主要被写体の確率が高い画面内領域（例えば、画面中央や黄金分割位置など）を所定タイルに選択することにより、主要被写体の鮮明な画像データを特に選択保存することが可能になる。
さらに、各タイルは独立に画像圧縮処理が施される。したがって、所定タイルを優先的に処理することにより、タイルデータ量を、画像圧縮過程の比較的早い段階で確定することができる。この場合、画像圧縮の終了を待たずに、タイルデータ量を比較することが可能になり、ＢＳＳモードの高速化を容易に達成できる。
【００３２】
《請求項５》
請求項５に記載の発明では、連続撮影された画像データ群から、高域サブバンドの信号レベルの大きな画像データを選択保存する。
このように選択される画像データは、高域サブバンドに大きな起伏を有する良質な画像データである。
また、高域サブバンドの信号レベルは、画像圧縮過程のサブバンド分解の段階で確定する。したがって、画像圧縮の終了を待たずに、高域サブバンドの信号レベルを比較することが可能になり、ＢＳＳモードの高速化を容易に達成できる。
【００３３】
《請求項６》
請求項６に記載の発明では、評価中の画像データを選別しないと決定すると、その画像データに対する圧縮処理を中止する。したがって、余分な圧縮処理を省くことが可能になり、ＢＳＳモードを一段と高速化することが可能になる。
【００３４】
《請求項７》
請求項７に記載の画像処理プログラムをコンピュータで実行することにより、連続撮影された画像データ群を対象に、請求項１〜６のいずれか１項の発明と同様の処理を実行することが可能になる。
【図面の簡単な説明】
【図１】電子カメラ１１の構成を示すブロック図である。
【図２】第１のＢＳＳモードを示す流れ図である。
【図３】第２のＢＳＳモードを示す流れ図である。
【図４】第３のＢＳＳモードを示す流れ図である。
【図５】第４のＢＳＳモードを示す流れ図である。
【図６】第５のＢＳＳモードを示す流れ図である。
【符号の説明】
１１  電子カメラ
１２  撮影レンズ
１３  撮像素子
１４  Ａ／Ｄ変換部
１５  信号処理部
１６  連写バッファ
１７  画像処理部
１８  画像符号化部
２０  タイル分割部
２１  色変換部
２２  ウェーブレット変換部
２３  量子化部
２４  ビットモデリング部
２５  算術符号化部
２６  ビットストリーム生成部
２７  ＲＯＩ設定部
３１  バッファメモリ
３２  記録部
３３  メモリカード
３４  画像評価部
【図１】
0004370726.tif 000002
【図２】
0004370726.tif 000003
【図３】
0004370726.tif 000004
【図４】
0004370726.tif 000005
【図５】
0004370726.tif 000006
【図６】
0004370726.tif 000007