(57)【要約】【課題】  時間的な情報量の符号化効率を向上することができる画像符号化装置及びその制御方法、プログラムを提供する。【解決手段】  撮像部１０２から出力される画像信号をフレーム単位で入力する。撮像部１０２の絞り値から被写界深度情報を被写界深度情報検出部１０３で検出する。その被写界深度情報を一定時間分を被写界深度情報演算部１０４に記憶する。そして、入力したフレーム画像について、被写界深度情報演算部１０４から得られる被写界深度情報の時間推移値に基づいて、フレーム画像に係る符号化の符号化パラメータを変更して、該フレーム画像の符号化を制御する。【選択図】  図１
2005151131.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像信号を符号化する画像符号化装置であって、
撮像部から出力される画像信号をフレーム単位で入力する入力手段と、
前記撮像部の絞り値から被写界深度情報を検出する検出手段と、
前記被写界深度情報を一定時間分記憶する記憶手段と、
前記入力手段で入力したフレーム画像について、前記記憶手段から得られる被写界深度情報の時間推移値に基づいて、前記フレーム画像に係る符号化の符号化パラメータを変更して、該フレーム画像の符号化を制御する制御手段と
を備えること特徴とする画像符号化装置。
【請求項２】
前記フレーム画像に対し、Ｉｎｔｅｒ符号化とＩｎｔｒａ符号化とを選択的に用いて符号化する符号化手段と、
前記フレーム画像に、Ｉｎｔｒａ符号化／Ｉｎｔｅｒ符号化のどちらを適用するかを判定する判定手段とを更に備え、
前記制御手段は、前記時間推移値が「浅い」レベルから「深い」レベルの方向へ、もしくは「深い」レベルから「浅い」レベルの方向へ、予め定めた時間推移基準値以上に推移している場合、前記符号化パラメータとして、前記判定手段の判定閾値をＩｎｔｒａ符号化に適用する判定が増える方向に設定する
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記フレーム画像に対し、動きベクトル探索処理を行う探索手段を更に備え、
前記制御手段は、前記時間推移値が「浅い」レベルから「深い」レベルの方向へ、もしくは「深い」レベルから「浅い」レベルの方向へ、予め定めた時間推移基準値以上に推移している場合、前記符号化パラメータとして、前記探索手段による探索範囲を予め定めた基準探索範囲よりも狭くする
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
前記フレーム画像に対し、量子化処理を行う量子化手段を更に備え、
前記制御手段は、前記時間推移値が「深い」レベルから「浅い」レベルの方向へ、予め定めた時間推移基準値以上に推移している場合、前記符号化パラメータとして、前記量子化手段の量子化スケール値を標準の量子化スケール値より大きくする
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項５】
前記フレーム画像に対し、量子化処理を行う量子化手段を更に備え、
前記制御手段は、前記時間推移値が「浅い」レベルから「深い」レベルの方向へ、予め定めた時間推移基準値以上に推移している場合、前記符号化パラメータとして、前記量子化手段の量子化スケール値を標準の量子化スケール値より大きくする
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項６】
１以上のフレームまで遡っての累積発生符号量を計算する計算手段と、
前記制御手段は、前記累積発生符号量と目標発生符号量との差異に基づいて、前記時間推移値を変更する
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像符号化装置。
【請求項７】
１以上のフレームまで遡っての累積発生符号量を計算する計算手段と、
前記制御手段は、前記累積発生符号量が目標発生符号量に満たない場合、前記符号化パラメータとして、前記被写界深度情報の時間推移基準値を予め定めた値より大きくし、一方、前記累積発生符号量が目標発生符号量を超えている場合、前記符号化パラメータとして、前記被写界深度情報の時間推移基準値を予め定めた値より小さくする
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像符号化装置。
【請求項８】
１以上のフレームまで遡っての累積発生符号量を計算する計算手段を更に備え、
前記制御手段は、前記累積発生符号量が目標発生符号量に満たない場合、前記被写界深度情報の時間推移基準値を予め定めた値より小さくし、一方、前記累積発生符号量が目標発生符号量を超えている場合、前記符号化パラメータとして、前記被写界深度情報の時間推移基準値を予め定めた値より大きくする
ことを特徴とする請求項１または５に記載の画像符号化装置。
【請求項９】
入力された画像信号を符号化する画像符号化装置であって、
撮像部から出力される画像信号をフレーム単位で入力する入力手段と、
前記撮像部の絞り値から被写界深度情報を検出する検出手段と、
前記被写界深度情報を記憶する記憶手段と、
前記フレーム画像に対し、Ｉｎｔｅｒ符号化とＩｎｔｒａ符号化とを選択的に用いて符号化する符号化手段と、
前記フレーム画像に、Ｉｎｔｒａ符号化／Ｉｎｔｅｒ符号化のどちらを適用するかを判定する判定手段と、
前記入力手段で入力したフレーム画像について、前記記憶手段から得られる被写界深度情報に基づいて、前記フレーム画像に係る符号化の符号化パラメータを変更して、該フレーム画像の符号化を制御する制御手段とを備え、
前記制御手段は、前記被写界深度情報が、予め定めた被写界深度基準値より「深い」レベルの場合、前記符号化パラメータとして、前記判定手段の判定閾値をＩｎｔｒａ符号化に適用する判定が増える方向に設定する
ことを特徴とする画像符号化装置。
【請求項１０】
１以上のフレームまで遡っての累積発生符号量を計算する計算手段を更に備え、
前記制御手段は、前記累積発生符号量が目標発生符号量に満たない場合、前記符号化パラメータとして、前記被写界深度基準値を予め定めた値より大きくし、一方、目標発生符号量を超えている場合、前記符号化パラメータとして、前記被写界深度基準値を予め定めた値より小さくする
ことを特徴とする請求項９に記載の画像符号化装置。
【請求項１１】
入力された画像信号を符号化する画像符号化装置の制御方法であって、
撮像部から出力される画像信号をフレーム単位で入力する入力工程と、
前記撮像部の絞り値から被写界深度情報を検出する検出工程と、
前記被写界深度情報を一定時間分記憶媒体に記憶する記憶工程と、
前記入力工程で入力したフレーム画像について、前記記憶媒体から得られる被写界深度情報の時間推移値に基づいて、前記フレーム画像に係る符号化の符号化パラメータを変更して、該フレーム画像の符号化を制御する制御工程と
を備えること特徴とする画像符号化装置の制御方法。
【請求項１２】
入力された画像信号を符号化する画像符号化装置の制御方法であって、
撮像部から出力される画像信号をフレーム単位で入力する入力工程と、
前記撮像部の絞り値から被写界深度情報を検出する検出工程と、
前記被写界深度情報を記憶する記憶媒体に記憶工程と、
前記フレーム画像に対し、Ｉｎｔｅｒ符号化とＩｎｔｒａ符号化とを選択的に用いて符号化する符号化工程と、
前記フレーム画像に、Ｉｎｔｒａ符号化／Ｉｎｔｅｒ符号化のどちらを適用するかを判定する判定工程と、
前記入力工程で入力したフレーム画像について、前記記憶媒体から得られる被写界深度情報に基づいて、前記フレーム画像に係る符号化の符号化パラメータを変更して、該フレーム画像の符号化を制御する制御工程とを備え、
前記制御工程は、前記被写界深度情報が、予め定めた被写界深度基準値より「深い」レベルの場合、前記符号化パラメータとして、前記判定工程の判定閾値をＩｎｔｒａ符号化に適用する判定が増える方向に設定する
ことを特徴とする画像符号化装置の制御方法。
【請求項１３】
入力された画像信号を符号化する画像符号化装置の制御を実現するプログラムであって、
撮像部から出力される画像信号をフレーム単位で入力する入力工程のプログラムコードと、
前記撮像部の絞り値から被写界深度情報を検出する検出工程のプログラムコードと、
前記被写界深度情報を一定時間分記憶媒体に記憶する記憶工程のプログラムコードと、
前記入力工程で入力したフレーム画像について、前記記憶媒体から得られる被写界深度情報の時間推移値に基づいて、前記フレーム画像に係る符号化の符号化パラメータを変更して、該フレーム画像の符号化を制御する制御工程のプログラムコードと
を備えること特徴とするプログラム。
【請求項１４】
入力された画像信号を符号化する画像符号化装置の制御を実現するプログラムであって、
撮像部から出力される画像信号をフレーム単位で入力する入力工程のプログラムコードと、
前記撮像部の絞り値から被写界深度情報を検出する検出工程のプログラムコードと、
前記被写界深度情報を記憶する記憶媒体に記憶工程のプログラムコードと、
前記フレーム画像に対し、Ｉｎｔｅｒ符号化とＩｎｔｒａ符号化とを選択的に用いて符号化する符号化工程のプログラムコードと、
前記フレーム画像に、Ｉｎｔｒａ符号化／Ｉｎｔｅｒ符号化のどちらを適用するかを判定する判定工程のプログラムコードと、
前記入力工程で入力したフレーム画像について、前記記憶媒体から得られる被写界深度情報に基づいて、前記フレーム画像に係る符号化の符号化パラメータを変更して、該フレーム画像の符号化を制御する制御工程のプログラムコードとを備え、
前記制御工程は、前記被写界深度情報が、予め定めた被写界深度基準値より「深い」レベルの場合、前記符号化パラメータとして、前記判定工程の判定閾値をＩｎｔｒａ符号化に適用する判定が増える方向に設定する
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された画像信号を符号化する画像符号化装置及びその制御方法、プログラムに関するものである。
【背景技術】
【０００２】
撮影した動画像を圧縮し、例えば、デジタルデータとして、ディスクやテープ、半導体メモリ等の記録媒体に記録するカムコーダ、カメラ等の撮影装置が一般的に普及している。これらの撮影装置では、ＭＰＥＧ方式のような動画像圧縮方法が用いられている。
【０００３】
ここで、例えば、撮影装置内に搭載される、一般的なＭＰＥＧ方式の符号化装置（エンコーダ）の構成例について、図３を用いて説明する。
【０００４】
図３は従来の一般的なＭＰＥＧ方式の符号化装置（エンコーダ）の構成を示す図である。
【０００５】
カメラ３０２において、フレーム（フィールド）単位に撮影されて得られるフレーム画像は、フレームメモリ３０３に記憶される。各フレーム画像は、エンコーダ３０１に入力されると、動きベクトル探索部３０４で、マクロブロックと呼ばれる小領域に分割され、各マクロブロック毎に、動きベクトル探索処理が実行される。
【０００６】
この動きベクトル探索処理は、時間的情報圧縮の見地から、前後に存在するフレーム（参照フレーム）において、注目（処理対象）のマクロブロックに類似したブロックを探索し、探索結果の座標に対応するベクトル及びブロック間の差分データ（ブロック間差分データ）を算出し、このブロック間差分データを、当該マクロブロックの圧縮符号化対象とする。このようなブロック間差分データに対する符号化を、Ｉｎｔｅｒ符号化（フレーム間符号化）と呼ぶ。
【０００７】
一方、動きベクトル探索部３０４での探索結果により、類似度の高いマクロブロックが得られなかった場合は、動きベクトルを用いずに（前後のフレーム間差分データを用いずに）、後述の方法でマクロブロックの圧縮符号化を行う。このようなマクロブロックに対する符号化を、Ｉｎｔｒａ符号化（フレーム内符号化）と呼ぶ。
【０００８】
ここで、処理対象のデータに対して、Ｉｎｔｒａ符号化／Ｉｎｔｅｒ符号化のどちらを適用するかの判定は、動きベクトルの探索結果及び当該マクロブロックの画素データ等に基づいて、Ｉｎｔｒａ符号化／Ｉｎｔｅｒ符号化判定部３０５において行う。
【０００９】
次に、Ｉｎｔｒａ符号化／Ｉｎｔｅｒ符号化判定部３０５の判定の結果、Ｉｎｔｅｒ符号化を行う場合は、ブロック間差分データをＤＣＴ部３０６でＤＣＴ係数に変換するＤＣＴ演算を行う。次に、それらのＤＣＴ係数に対して量子化部３０７で量子化を行い、可変長コーダ（符号化部）３０８で可変長符号化を行って、符号化データを出力し、レコーダ３０９に記録する。
【００１０】
一方、Ｉｎｔｒａ符号化／Ｉｎｔｅｒ符号化判定部３０５の判定の結果、Ｉｎｔｒａ符号化を行う場合は、処理対象のマクロブロックの画素データを、ＤＣＴ部３０６でＤＣＴ係数に変換するＤＣＴ演算を行う。次に、それらのＤＣＴ係数に対して量子化部３０７で量子化を行い、可変長コーダ（符号化部）３０８で可変長符号化を行って、符号化データを出力し、レコーダ３０９に記録する。
【００１１】
尚、Ｉｎｔｒａ符号化／Ｉｎｔｅｒどちらの符号化においても、量子化部３０７で量子化された量子化データは、次回以降の処理で参照フレームとして用いるために、ローカルデコーダ３１０で逆量子化及び逆ＤＣＴを行った後、フレームメモリ３０３に格納される。
【００１２】
そして、このＭＰＥＧ方式は、ＤＣＴ演算から量子化という空間的情報の圧縮のみならず、フレーム間の差分符号化という時間的情報の圧縮も行うことで、高い圧縮率を実現することができる。
【００１３】
このような、動画像を圧縮して記録する撮影装置において、画質を良好に維持したまま圧縮率を向上させる試みが幅広く行われている。
【００１４】
この試みには、フレーム全体、あるいはフレームの各分割領域内に対し、重要度の高い／低い箇所や、あまり情報（ここでは人間の視覚特性上、知覚しやすいデータのこととする）を損なわずに高く圧縮可能な箇所、及び圧縮すると情報が損なわれやすい箇所を判定し、判定結果に応じて圧縮率を可変制御する構成が提案されている。
【００１５】
即ち、動画像内の重要な部分に発生符号量を多く割り当て、重要でない部分に発生符号量を少なく割り当てることで、画質を維持しつつ圧縮率を向上、または同じ圧縮率で画質を向上させることが可能となる。
【００１６】
画質を良好に維持したまま圧縮率を向上させる方法として、入力された画像信号から画像の性質を解析することに加えて、レンズやシャッター等の撮像系の情報（カメラパラメータ）や撮影条件等から適切な符号化パラメータを選択する先行技術がある。
【００１７】
例えば、特許文献１の「スチルビデオカメラにおける画像変換装置」では、スチルカメラにおいて、被写体の被写界深度を検出し、被写界深度に応じて量子化スケール値を変更する構成が開示されている。
【００１８】
即ち、特許文献１では、被写界深度が浅い（画像がボケ気味で、情報量が少ない）被写体に対しては、量子化スケール値を大きくして高い圧縮率で圧縮し、被写界深度が深い（画像がシャープで、情報量が多い）被写体に対しては、量子化スケール値を小さくして低い圧縮率で圧縮を行う構成を開示している。
【００１９】
また、特許文献２の「スチルカメラ」では、撮影者が事前に選択した撮影モードとして、画質優先モードやデータ長優先モードを構成して、各モードに応じた画像圧縮制御を実行する画像圧縮技術について開示している。
【００２０】
具体的には、撮影モードが画質優先モードの時で、絞り値が比較的大きい値に制御される傾向の撮像プログラムが選択された場合には、被写界深度が深くなっており被写体像の情報量が増加していることを考慮して、圧縮率を低く制御する。
【００２１】
また、撮影モードがデータ長優先モードの時で、絞り値が比較的大きい値に制御される傾向の撮像プログラムが選択された場合には、被写界深度が深く被写体像の情報量が増加しており、標準圧縮設定ではデータ量が増加してしまうことを考慮して、圧縮率を高く制御する。
【００２２】
更に、撮影モードがデータ長優先モードの時で、絞り値が比較的小さい値に制御される傾向の撮像プログラムが選択された場合には、被写界深度が浅く被写体像の情報量が減少しており、標準圧縮設定ではデータ量が減少してしまうことを考慮して、圧縮率を低く制御する。
【特許文献１】特許第２８８４０９２号登録公報
【特許文献２】特開平８−１８１９０４号公報
【発明の開示】
【発明が解決しようとする課題】
【００２３】
しかしながら、以上の２つの特許文献を含む従来技術では、カメラパラメータの内、被写界深度情報を用いて、空間的な情報量の削減を目的とする試みが幾つかなされているが、時間的な情報量の削減に目を向けたものは無い。
【００２４】
また、カメラパラメータの内、被写界深度情報の時間変化を利用して情報量の削減を図る従来技術も存在しない。
【００２５】
本発明は上記の課題に鑑みてなされたものであり、時間的な情報量の符号化効率を向上することができる画像符号化装置及びその制御方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２６】
上記の目的を達成するための本発明による画像符号化装置は以下の構成を備える。即ち、
入力された画像信号を符号化する画像符号化装置であって、
撮像部から出力される画像信号をフレーム単位で入力する入力手段と、
前記撮像部の絞り値から被写界深度情報を検出する検出手段と、
前記被写界深度情報を一定時間分記憶する記憶手段と、
前記入力手段で入力したフレーム画像について、前記記憶手段から得られる被写界深度情報の時間推移値に基づいて、前記フレーム画像に係る符号化の符号化パラメータを変更して、該フレーム画像の符号化を制御する制御手段と
を備えること特徴とする画像符号化装置。
【００２７】
前記フレーム画像に対し、Ｉｎｔｅｒ符号化とＩｎｔｒａ符号化とを選択的に用いて符号化する符号化手段と、
前記フレーム画像に、Ｉｎｔｒａ符号化／Ｉｎｔｅｒ符号化のどちらを適用するかを判定する判定手段とを更に備え、
前記制御手段は、前記時間推移値が「浅い」レベルから「深い」レベルの方向へ、もしくは「深い」レベルから「浅い」レベルの方向へ、予め定めた時間推移基準値以上に推移している場合、前記符号化パラメータとして、前記判定手段の判定閾値をＩｎｔｒａ符号化に適用する判定が増える方向に設定する。
【００２８】
また、好ましくは、前記フレーム画像に対し、動きベクトル探索処理を行う探索手段を更に備え、
前記制御手段は、前記時間推移値が「浅い」レベルから「深い」レベルの方向へ、もしくは「深い」レベルから「浅い」レベルの方向へ、予め定めた時間推移基準値以上に推移している場合、前記符号化パラメータとして、前記探索手段による探索範囲を予め定めた基準探索範囲よりも狭くする。
【００２９】
また、好ましくは、前記フレーム画像に対し、量子化処理を行う量子化手段を更に備え、
前記制御手段は、前記時間推移値が「深い」レベルから「浅い」レベルの方向へ、予め定めた時間推移基準値以上に推移している場合、前記符号化パラメータとして、前記量子化手段の量子化スケール値を標準の量子化スケール値より大きくする。
【００３０】
また、好ましくは、前記フレーム画像に対し、量子化処理を行う量子化手段を更に備え、
前記制御手段は、前記時間推移値が「浅い」レベルから「深い」レベルの方向へ、予め定めた時間推移基準値以上に推移している場合、前記符号化パラメータとして、前記量子化手段の量子化スケール値を標準の量子化スケール値より大きくする。
【００３１】
また、好ましくは、１以上のフレームまで遡っての累積発生符号量を計算する計算手段と、
前記制御手段は、前記累積発生符号量と目標発生符号量との差異に基づいて、前記時間推移値を変更する。
【００３２】
また、好ましくは、１以上のフレームまで遡っての累積発生符号量を計算する計算手段と、
前記制御手段は、前記累積発生符号量が目標発生符号量に満たない場合、前記符号化パラメータとして、前記被写界深度情報の時間推移基準値を予め定めた値より大きくし、一方、前記累積発生符号量が目標発生符号量を超えている場合、前記符号化パラメータとして、前記被写界深度情報の時間推移基準値を予め定めた値より小さくする。
【００３３】
また、好ましくは、１以上のフレームまで遡っての累積発生符号量を計算する計算手段を更に備え、
前記制御手段は、前記累積発生符号量が目標発生符号量に満たない場合、前記被写界深度情報の時間推移基準値を予め定めた値より小さくし、一方、前記累積発生符号量が目標発生符号量を超えている場合、前記符号化パラメータとして、前記被写界深度情報の時間推移基準値を予め定めた値より大きくする。
【００３４】
上記の目的を達成するための本発明による画像符号化装置は以下の構成を備える。即ち、
入力された画像信号を符号化する画像符号化装置であって、
撮像部から出力される画像信号をフレーム単位で入力する入力手段と、
前記撮像部の絞り値から被写界深度情報を検出する検出手段と、
前記被写界深度情報を記憶する記憶手段と、
前記フレーム画像に対し、Ｉｎｔｅｒ符号化とＩｎｔｒａ符号化とを選択的に用いて符号化する符号化手段と、
前記フレーム画像に、Ｉｎｔｒａ符号化／Ｉｎｔｅｒ符号化のどちらを適用するかを判定する判定手段と、
前記入力手段で入力したフレーム画像について、前記記憶手段から得られる被写界深度情報に基づいて、前記フレーム画像に係る符号化の符号化パラメータを変更して、該フレーム画像の符号化を制御する制御手段とを備え、
前記制御手段は、前記被写界深度情報が、予め定めた被写界深度基準値より「深い」レベルの場合、前記符号化パラメータとして、前記判定手段の判定閾値をＩｎｔｒａ符号化に適用する判定が増える方向に設定する。
【００３５】
また、好ましくは、１以上のフレームまで遡っての累積発生符号量を計算する計算手段を更に備え、
前記制御手段は、前記累積発生符号量が目標発生符号量に満たない場合、前記符号化パラメータとして、前記被写界深度基準値を予め定めた値より大きくし、一方、目標発生符号量を超えている場合、前記符号化パラメータとして、前記被写界深度基準値を予め定めた値より小さくする。
【００３６】
上記の目的を達成するための本発明による画像符号化装置の制御方法は以下の構成を備える。即ち、
入力された画像信号を符号化する画像符号化装置の制御方法であって、
撮像部から出力される画像信号をフレーム単位で入力する入力工程と、
前記撮像部の絞り値から被写界深度情報を検出する検出工程と、
前記被写界深度情報を一定時間分記憶媒体に記憶する記憶工程と、
前記入力工程で入力したフレーム画像について、前記記憶媒体から得られる被写界深度情報の時間推移値に基づいて、前記フレーム画像に係る符号化の符号化パラメータを変更して、該フレーム画像の符号化を制御する制御工程と
を備える。
【００３７】
上記の目的を達成するための本発明による画像符号化装置の制御方法は以下の構成を備える。即ち、
入力された画像信号を符号化する画像符号化装置の制御方法であって、
撮像部から出力される画像信号をフレーム単位で入力する入力工程と、
前記撮像部の絞り値から被写界深度情報を検出する検出工程と、
前記被写界深度情報を記憶する記憶媒体に記憶工程と、
前記フレーム画像に対し、Ｉｎｔｅｒ符号化とＩｎｔｒａ符号化とを選択的に用いて符号化する符号化工程と、
前記フレーム画像に、Ｉｎｔｒａ符号化／Ｉｎｔｅｒ符号化のどちらを適用するかを判定する判定工程と、
前記入力工程で入力したフレーム画像について、前記記憶媒体から得られる被写界深度情報に基づいて、前記フレーム画像に係る符号化の符号化パラメータを変更して、該フレーム画像の符号化を制御する制御工程とを備え、
前記制御工程は、前記被写界深度情報が、予め定めた被写界深度基準値より「深い」レベルの場合、前記符号化パラメータとして、前記判定工程の判定閾値をＩｎｔｒａ符号化に適用する判定が増える方向に設定する。
【００３８】
上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
入力された画像信号を符号化する画像符号化装置の制御を実現するプログラムであって、
撮像部から出力される画像信号をフレーム単位で入力する入力工程のプログラムコードと、
前記撮像部の絞り値から被写界深度情報を検出する検出工程のプログラムコードと、
前記被写界深度情報を一定時間分記憶媒体に記憶する記憶工程のプログラムコードと、
前記入力工程で入力したフレーム画像について、前記記憶媒体から得られる被写界深度情報の時間推移値に基づいて、前記フレーム画像に係る符号化の符号化パラメータを変更して、該フレーム画像の符号化を制御する制御工程のプログラムコードと
を備える。
【００３９】
上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
入力された画像信号を符号化する画像符号化装置の制御を実現するプログラムであって、
撮像部から出力される画像信号をフレーム単位で入力する入力工程のプログラムコードと、
前記撮像部の絞り値から被写界深度情報を検出する検出工程のプログラムコードと、
前記被写界深度情報を記憶する記憶媒体に記憶工程のプログラムコードと、
前記フレーム画像に対し、Ｉｎｔｅｒ符号化とＩｎｔｒａ符号化とを選択的に用いて符号化する符号化工程のプログラムコードと、
前記フレーム画像に、Ｉｎｔｒａ符号化／Ｉｎｔｅｒ符号化のどちらを適用するかを判定する判定工程のプログラムコードと、
前記入力工程で入力したフレーム画像について、前記記憶媒体から得られる被写界深度情報に基づいて、前記フレーム画像に係る符号化の符号化パラメータを変更して、該フレーム画像の符号化を制御する制御工程のプログラムコードとを備え、
前記制御工程は、前記被写界深度情報が、予め定めた被写界深度基準値より「深い」レベルの場合、前記符号化パラメータとして、前記判定工程の判定閾値をＩｎｔｒａ符号化に適用する判定が増える方向に設定する。
【発明の効果】
【００４０】
本発明によれば、時間的な情報量の符号化効率を向上することができる画像符号化装置及びその制御方法、プログラムを提供できる。
【発明を実施するための最良の形態】
【００４１】
以下、本発明の実施形態について図面を用いて詳細に説明する。
【００４２】
＜実施形態１＞
図１は本発明の実施形態１の画像符号化装置の構成を示す図である。
【００４３】
図１において、１０２は、連続的に複数のフレームを撮影しフレーム毎の画像信号（フレーム画像）を出力する撮像部である。この撮像部１０２は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、カメラ機能付携帯端末（例えば、ＰＤＡ、携帯電話、ノートＰＣ（パーソナルコンピュータ）等）が挙げられる。
【００４４】
１０５は、フレーム毎の画像信号を記憶するフレームメモリである。１０３は、撮像部１０２による撮像に関する各種パラメータとして、少なくともフレーム内の所定領域の被写界深度情報を検出する被写界深度情報検出部である。尚、この被写界深度情報は、撮像部を構成する光学系の絞り値から検出する。
【００４５】
１０４は、被写界深度情報検出部１０４から得られる被写界深度情報を一定時時間分記憶する記憶部として機能するとともに、その時間推移値の演算を実行する被写界深度差分演算部である。
【００４６】
１０１は、フレームメモリ１０５に記憶されている画像信号を符号化するエンコーダ（符号化部）である。
【００４７】
尚、図１のエンコーダ１０１は、主要な構成を示しているだけであり、実際には、エンコーダ１０１全体を制御するためのＣＰＵ、ＣＰＵによって実行される制御の各種制御プログラムを記憶するＲＯＭ、データの作業領域や一時待避領域として機能するＲＯＭ等の構成要素を有している。
【００４８】
符号化部１０１において、１０６は、フレームメモリ１０５から処理対象のフレームの画像信号（フレーム画像）を読み込んで、その前後のフレームに対し動きベクトル探索を行う動きベクトル探索部である。
【００４９】
この動きベクトル探索部１０６による動きベクトル探索処理は、前後に存在するフレーム（参照フレーム）において、注目（処理対象）のフレームを小領域に分割したマクロブロック毎に、そのマクロブロックに類似したブロックを探索する。そして、探索結果の座標に対応するベクトル及びブロック間の差分データ（ブロック間差分データ）を算出する。
【００５０】
１０７は、動きベクトル探索結果及びフレームメモリ１０５から得られるマクロブロックの画素データに基づいて、処理対象のマクロブロックにＩｎｔｒａ符号化／Ｉｎｔｅｒ符号化のどちらを適用するかを判定するＩｎｔｒａ符号化／Ｉｎｔｅｒ符号化判定部である。
【００５１】
１０８は、処理対象のデータをＤＣＴ係数に変換するＤＣＴ部である。ＤＣＴ部１０８は、Ｉｎｔｒａ符号化の場合は、処理対象のマクロブロックの画素データをＤＣＴ係数に変換する。一方、Ｉｎｔｅｒ符号化の場合は、動きベクトルにより示される前後のフレーム内の該当ブロックと処理対象のマクロブロック間とのブロック間差分データをＤＣＴ係数に変換する。
【００５２】
１０９は、ＤＣＴ係数に対し設定された量子化スケール値（量子化ステップ）で量子化を行う量子化部である。１１０は、量子化データを可変長符号化する可変長符号化部である。１１１は、可変長符号化データのデータ量（累積発生符号量）の計算及び目標符号量（目標ビットレート）との差分を計算する符号量計算部である。特に、符号量計算部１１１では、フレーム毎の発生符号量または１以上のフレームまで遡っての累積発生符号量を計算する。
【００５３】
１１２は、量子化部１０９から得られる量子化データに逆量子化及び逆ＤＣＴ演算を施し、次フレーム処理以降の参照フレーム画像としてフレームメモリ１０５に転送するローカルデコーダである。
【００５４】
１１３は、符号化部１０１から出力される符号化データを記録する記録部である。この符号化データを記録する記録媒体としては、例えば、光磁気ディスクや磁気テープ、半導体メモリ等が挙げられる。
【００５５】
尚、図１の画像符号化装置は、被写界深度差分演算部１０４の出力結果に応じて、エンコーダ１０１で行う各種処理の処理内容を制御するための符号化パラメータを可変制御する。
【００５６】
特に、本発明では、符号化パラメータとして、動きベクトル探索部１０６の探索範囲、Ｉｎｔｒａ符号化／Ｉｎｔｅｒ符号化判定部１０７の処理判定の重み付け、量子化部１０９の量子化スケール値を変化させて符号化を行うとともに、符号量計算部１１１の計算結果に応じて、被写界深度差分演算部１０４内での時間推移演算の演算結果に重み付けを行う。
【００５７】
次に、実施形態１の画像符号化装置で実行する処理について、図２を用いて説明する。
【００５８】
図２は本発明の実施形態１の画像符号化装置で実行する処理を示すフローチャートである。
【００５９】
まず、ステップＳ２０１で、撮像部１０２からフレーム単位に画像（フレーム画像）を入力し、フレームメモリ１０５に書き込む。ステップＳ２０２で、フレームメモリ１０５に書き込んだフレーム画像を領域（以後、マクロブロックと呼ぶ）に分割し、以下、ステップＳ２１８の処理まで、マクロブロック単位で処理を実行する。
【００６０】
ステップＳ２０３で、被写界深度情報検出部１０３で、当該マクロブロックにおける被写界深度ＦＤを撮像部１０２から検出する。
【００６１】
ここで、被写界深度ＦＤは、その値が大きいほど被写界深度は「深く」、その値が小さいほど被写界深度は「浅い」とする。
【００６２】
ステップＳ２０４で、実施形態１では、特に、処理を実行せず、スキップする。
【００６３】
ステップＳ２０５で、当該マクロブロックの動きベクトル探索範囲を決定する。尚、実施形態１では、予め設定した標準の探索範囲Ａｒｅａ０をベクトル探索範囲として決定する。
【００６４】
ステップＳ２０６で、動きベクトル探索部１０６によって、当該マクロブロックの動きベクトル探索を、ステップＳ２０５で設定した探索範囲で、前後のフレームについて実行する。そして、探索結果の座標に対応するベクトル及びブロック間の差分データ（ブロック間差分データ）を算出する。
【００６５】
ステップＳ２０７で、当該マクロブロックとマッチした動きベクトルに対応した領域（ブロック）との差分値、及び当該マクロブロックの画素データを評価パラメータとして、マクロブロックタイプ判定係数ｅＭＢＴｙｐｅを算出する。
【００６６】
尚、この算出方法は特に定めない。但し、実施形態１では、ステップＳ２０３で算出した被写界深度ＦＤ、及び予め定めた被写界深度基準値ＦＤ＿ｒｅｆの値を比較する。そして、ＦＤがＦＤ＿ｒｅｆよりも大きい場合、即ち、当該マクロブロックにおける被写界深度が被写界深度基準値よりも大きい場合、マクロブロックタイプ判定係数ｅＭＢＴｙｐｅの算出方法を、その値が大きくなるような算出方法に変更する。
【００６７】
次に、ステップＳ２０８で、Ｉｎｔｒａ符号化／Ｉｎｔｅｒ符号化判定部１０７によって、マクロブロックタイプ判定係数ｅＭＢＴｙｐｅと、予め定めたマクロブロックタイプ判定閾値ｅＭＢＴｙｐｅ＿ｔｈとの値を比較する。
【００６８】
比較の結果、マクロブロックタイプ判定係数ｅＭＢＴｙｐｅがマクロブロックタイプ判定閾値ｅＭＢＴｙｐｅ＿ｔｈよりも大きい場合（ステップＳ２０８でＹＥＳ）、ステップＳ２１０に進み、当該マクロブロックの符号化をＩｎｔｒａ符号化に選択する。
【００６９】
一方、マクロブロックタイプ判定係数ｅＭＢＴｙｐｅがマクロブロックタイプ判定閾値ｅＭＢＴｙｐｅ＿ｔｈ以下の場合（ステップＳ２０８でＮＯ）、ステップＳ２０９に進み、当該マクロブロックの符号化をＩｎｔｅｒ符号化に選択する。
【００７０】
尚、当該マクロブロックにおける被写界深度ＦＤが、被写界深度基準値ＦＤ＿ｒｅｆよりも大きい場合には、マクロブロック内の被写体がより鮮鋭に記録されており、画像情報の重要度が高いものと推測されることから、ステップＳ２０８での処理判定の重み付けとして、Ｉｎｔｒａ符号化が選択されることが増える方向に重み付けを設定する。
【００７１】
次に、ステップＳ２１０でＩｎｔｒａ符号化を選択した場合には、ステップＳ２１１で、フレームメモリ１０５から当該マクロブロックの画素データを読み出し、ＤＣＴ部１０８によって、ＤＣＴ演算を行う。一方、ステップＳ２０９でＩｎｔｅｒ符号化を選択した場合には、ステップＳ２１１で、ステップＳ２０６で算出したブロック間差分データを、ＤＣＴ部１０８によって、ＤＣＴ演算を行う。
【００７２】
次に、ステップＳ２１２で、ステップＳ２１１で得られたＤＣＴ係数を量子化するための量子化スケール値を決定する。尚、実施形態１では、予め定めた標準の量子化スケール値Ｑ＿ｄｅｆを量子化スケール値として決定する。
【００７３】
ステップＳ２１３で、決定された量子化スケール値で、量子化部１０９によって、ＤＣＴ係数を量子化する。ステップＳ２１４で、可変長コーダ１１０によって、量子化データの可変長符号化処理を行い、当該マクロブロックの圧縮符号化データをレコーダ１１３に書き込む。
【００７４】
ステップＳ２１５で、実施形態１では、特に、処理を実行せず、スキップする。
【００７５】
ステップＳ２１６で、当該フレーム画像中の全マクロブロックの処理が完了したか否かを判定する。全マクロブロックの処理が完了していない場合（ステップＳ２１６でＮＯ）、ステップＳ２１７に進み、次の処理対象のマクロブロックを選択して、ステップＳ２０３に戻る。一方、全マクロブロックの処理が完了した場合（ステップＳ２１６でＹＥＳ）、ステップＳ２１８に進む。
【００７６】
ステップＳ２１８で、本画像符号化装置による符号化処理の終了の有無を判定する。終了でない場合（ステップＳ２１８でＮＯ）、ステップＳ２１９に進み、次の処理対象のフレーム画像を選択して、ステップＳ２０２に戻る。一方、終了である場合（ステップＳ２１８でＹＥＳ）、本処理を終了する。
【００７７】
以上説明したように、実施形態１によれば、被写界深度情報から得られる処理対象の領域の画像の情報量に対応して符号化パラメータを決定する、特に、処理対象の領域の画像をＩｎｔｒａ符号化／Ｉｎｔｅｒ符号化のどちらを適用するかを判定するための判定閾値を決定することで、処理対象の領域の画像に対する適切な符号化を選択できるとともに、時間方向の情報量を効果的に削減することができる。
【００７８】
＜実施形態２＞
実施形態２は、実施形態１の応用例であり、実施形態２の画像符号化装置で実行する処理について、図２を用いて説明する。
【００７９】
尚、実施形態２では、実施形態１と異なる部分について説明する。
【００８０】
実施形態２では、ステップＳ２０１〜ステップＳ２０３の処理後、ステップＳ２０４で、被写界深度差分演算部１０４によって、被写界深度ＦＤにおける過去の履歴からの時間推移値ＦＤ＿ｄｉｆｆを算出する。
【００８１】
ここで、時間推移値ＦＤ＿ｄｉｆｆが正の値の場合、被写界深度ＦＤは過去のフレームの当該マクロブロックに比べて深く（大きく）なる方向に推移しているものとする。一方、時間推移値ＦＤ＿ｄｉｆｆが負の値の場合、被写界深度ＦＤは過去のフレームの当該マクロブロックに比べて浅く（小さく）なる方向に推移しているものとする。つまり、時間推移値ＦＤ＿ｄｉｆｆの絶対値が時間推移の大きさに対応するように定義する。
【００８２】
尚、時間推移値ＦＤ＿ｄｉｆｆの算出方法は、単純に前フレームの当該マクロブロックとの被写界深度の差分値を算出する方法が考えられるが、特に定めない。
【００８３】
次に、ステップＳ２０５及びステップＳ２０６の処理後、ステップＳ２０７で、当該マクロブロックとマッチした動きベクトルに対応した領域との差分値、及び当該マクロブロックの画素データを評価パラメータとして、マクロブロックタイプ判定係数ｅＭＢＴｙｐｅを算出する。
【００８４】
尚、この算出方法は特に定めない。但し、実施形態２では、ステップＳ２０４で算出した被写界深度の時間推移値ＦＤ＿ｄｉｆｆ及び予め定めた被写界深度の時間推移基準値ＦＤ＿ｄｉｆｆ＿ｒｅｆの値を比較する。そして、ＦＤ＿ｄｉｆｆが正の値でかつＦＤ＿ｄｉｆｆ＿ｒｅｆよりも大きい場合、あるいはＦＤ＿ｄｉｆｆが負の値でかつＦＤ＿ｄｉｆｆ＿ｒｅｆよりも小さい場合、即ち、当該マクロブロックにおける被写界深度の時間推移値ＦＤ＿ｄｉｆｆが被写界深度の時間推移基準値ＦＤ＿ｄｉｆｆ＿ｒｅｆよりも大きい場合、マクロブロックタイプ判定係数ｅＭＢＴｙｐｅの算出方法を、その値が大きくなるような算出方法に変更する。
【００８５】
次に、ステップＳ２０８で、Ｉｎｔｒａ符号化／Ｉｎｔｅｒ符号化判定部１０７によって、マクロブロックタイプ判定係数ｅＭＢＴｙｐｅと、予め定めたマクロブロックタイプ判定閾値ｅＭＢＴｙｐｅ＿ｔｈとの値を比較する。
【００８６】
尚、当該マクロブロックにおける被写界深度ＦＤの時間推移値ＦＤ＿ｄｉｆｆが、予め定めた被写界深度の時間推移基準値ＦＤ＿ｄｉｆｆ＿ｒｅｆよりも大きい場合、前フレームとで被写体の撮影条件が大きく変化しており、Ｉｎｔｅｒ符号化では符号化効率が悪くなると予想されるので、ステップＳ２０８での処理判定の重み付けとして、Ｉｎｔｒａ符号化が選択されることが増える方向に重み付けを設定する。
【００８７】
そして、ステップＳ２０９以降の処理を実行する。
【００８８】
以上説明したように、実施形態２によれば、被写界深度情報から得られる処理対象の領域の画像の情報量の時間変化量に対応して符号化パラメータを決定する、特に、処理対象の領域の画像をＩｎｔｒａ符号化／Ｉｎｔｅｒ符号化のどちらを適用するかを判定するための判定係数（閾値）を決定することで、処理対象の領域の画像に対する適切な符号化を選択できるとともに、時間方向の情報量を効果的に削減することができる。
【００８９】
＜実施形態３＞
実施形態３は、実施形態２の応用例であり、実施形態３の画像符号化装置で実行する処理について、図２を用いて説明する。
【００９０】
尚、実施形態３では、実施形態２と異なる部分について説明する。
【００９１】
実施形態３では、ステップＳ２０１〜ステップＳ２０４の処理後、ステップＳ２０５で、当該マクロブロックの動きベクトル探索範囲を決定する。
【００９２】
尚、実施形態３では、以下の条件の場合には、当該マクロブロックの動きベクトル探索範囲を予め設定した標準の探索範囲Ａｒｅａ０よりも狭い探索範囲を、ベクトル探索範囲として決定する。
【００９３】
つまり、この条件とは、ステップＳ２０４で算出した被写界深度の時間推移値ＦＤ＿ｄｉｆｆ及び予め定めた被写界深度の時間推移基準値ＦＤ＿ｄｉｆｆ＿ｒｅｆの値を比較する。そして、ＦＤ＿ｄｉｆｆが正の値でかつＦＤ＿ｄｉｆｆ＿ｒｅｆよりも大きい場合、あるいはＦＤ＿ｄｉｆｆが負の値でかつＦＤ＿ｄｉｆｆ＿ｒｅｆよりも小さい場合、即ち、当該マクロブロックにおける被写界深度の時間推移値ＦＤ＿ｄｉｆｆが被写界深度の時間推移基準値ＦＤ＿ｄｉｆｆ＿ｒｅｆよりも大きい場合である。
【００９４】
そして、このような条件の場合に、当該マクロブロックの動きベクトル探索範囲を予め設定した標準の探索範囲Ａｒｅａ０よりも狭い探索範囲を、ベクトル探索範囲として決定する理由には、以下の点がある。
【００９５】
１）前フレームとで被写体の撮影条件が大きく変化しており、Ｉｎｔｅｒ符号化では符号化効率が悪くなる可能性がある。
【００９６】
２）ＭＰＥＧ符号化方式では、動きベクトルが大きいほど（動きベクトルの示す地点が、当該マクロブロックから離れるほど）符号量が増えて符号化効率が悪くなる。
【００９７】
３）動画像符号化処理の中でも比較的計算量の多い処理である動きベクトル探索処理を早めに打ち切れば処理時間を少なく、消費電力を低くできる。
【００９８】
そこで、実施形態３では、当該マクロブロックにおける被写界深度の時間推移値ＦＤ＿ｄｉｆｆが被写界深度の時間推移基準値ＦＤ＿ｄｉｆｆ＿ｒｅｆよりも大きい場合には、当該マクロブロックの動きベクトル探索範囲を予め設定した標準の探索範囲Ａｒｅａ０よりも狭い探索範囲であるＡｒｅａ１を、ベクトル探索範囲として決定する。ここで、Ａｒｅａ０  ⊃  Ａｒｅａ１である。
【００９９】
そして、ステップＳ２０６以降の処理を実行する。
【０１００】
以上説明したように、実施形態３によれば、被写界深度情報から得られる処理対象の領域の画像の情報量の時間変化量に対応して符号化パラメータを決定する、特に、動きベクトル探索処理における探索範囲を決定することで、時間方向の情報量を効果的に削減することができる。
【０１０１】
＜実施形態４＞
実施形態４は、実施形態２の応用例であり、実施形態４の画像符号化装置で実行する処理について、図２を用いて説明する。
【０１０２】
尚、実施形態４では、実施形態２と異なる部分について説明する。
【０１０３】
実施形態４では、ステップＳ２０１〜ステップＳ２０４の処理後、ステップＳ２０５で、当該マクロブロックの動きベクトル探索範囲を決定する。但し、実施形態４では、予め設定した標準の探索範囲Ａｒｅａ０をベクトル探索範囲として決定する。
【０１０４】
次に、ステップＳ２０６〜ステップＳ２１１の処理後、ステップＳ２１２で、ステップＳ２１１で得られたＤＣＴ係数を量子化するための量子化スケール値を決定する。
【０１０５】
尚、実施形態４では、ステップＳ２０４で算出した被写界深度の時間推移値ＦＤ＿ｄｉｆｆ及び予め定めた被写界深度の時間推移基準値ＦＤ＿ｄｉｆｆ＿ｒｅｆの値を比較する。そして、ＦＤ＿ｄｉｆｆが正の値でかつＦＤ＿ｄｉｆｆ＿ｒｅｆよりも大きい場合、即ち、被写界深度が「浅い」レベルから「深い」レベルへ変移している場合は、前フレームに比べ被写体が鮮鋭に写っていることで当該ブロック内の画像に含まれる情報量が多いと考えられるので、予め定めた標準の量子化スケール値Ｑ＿ｄｅｆより小さい量子化スケール値を量子化スケール値として決定する。
【０１０６】
特に、実施形態４では、予め定めた標準の量子化スケール値Ｑ＿ｄｅｆより小さい量子化スケールＱ＿ｓｍａｌｌ（Ｑ＿ｄｅｆ  ＞  Ｑ＿ｓｍａｌｌ）を、量子化スケール値として決定する。
【０１０７】
一方、ＦＤ＿ｄｉｆｆが負の値でかつＦＤ＿ｄｉｆｆ＿ｒｅｆよりも小さい場合、即ち、被写界深度が「深い」レベルから「浅い」レベルへ変移している場合は、前フレームに比べ被写体の鮮鋭さが失われ、当該ブロック内の画像に含まれる情報量が少ないと考えられるので、予め定めた標準の量子化スケール値Ｑ＿ｄｅｆより大きい量子化スケール値を量子化スケール値として決定する。
【０１０８】
特に、実施形態４では、予め定めた標準の量子化スケール値Ｑ＿ｄｅｆより大きい量子化スケール値Ｑ＿ｌａｒｇｅ（Ｑ＿ｄｅｆ  ＜  Ｑ＿ｌａｒｇｅ）を、量子化スケール値として決定する。
【０１０９】
そして、ステップＳ２１３以降の処理を実行する。
【０１１０】
以上説明したように、実施形態４によれば、被写界深度情報から得られる処理対象の領域の画像の情報量の時間変化量に対応して量子化処理における量子化スケール値を決定することで、空間方向の情報量を効果的に削減することができる。
【０１１１】
＜実施形態５＞
実施形態５は、実施形態２の応用例であり、実施形態５の画像符号化装置で実行する処理について、図２を用いて説明する。
【０１１２】
尚、実施形態５では、実施形態２と異なる部分について説明する。
【０１１３】
実施形態５では、上記各実施形態と同様に、マクロブロック単位で処理を実行するが、説明をわかりやすくするために、当該マクロブロックの一つ前のマクロブロックの途中からの処理について、図２を用いて説明する。
【０１１４】
当該マクロブロックの一つ前のマクロブロックに対し、ステップＳ２０３〜ステップＳ２１４の処理を実行した後、ステップＳ２１５で、符号量計算部１１１によって、当該マクロブロックの一つ前のマクロブロックまでの圧縮符号化データのデータ量を累積加算して計算し、予め定めておいたビットレートより算出される目標符号量とを比較する。そして、この比較結果は、当該マクロブロック（即ち、次のマクロブロック）に対するステップＳ２０４の処理で用いる。
【０１１５】
次に、ステップＳ２１６からステップＳ２１７の処理を経て、ステップＳ２０３に戻り、次の処理対象のマクロブロック（当該マクロブロック）の符号化処理に移行する。
【０１１６】
まず、当該マクロブロックに対するステップＳ２０３の処理後、ステップＳ２０４で、被写界深度差分演算部１０４によって、被写界深度ＦＤにおける過去の履歴からの時間推移値ＦＤ＿ｄｉｆｆを算出する。
【０１１７】
尚、実施形態５では、前回の処理で、ステップＳ２１５で算出した当該マクロブロックの一つ前のマクロブロックまでのデータ量（累積発生符号量）と目標符号量との差分に基づいて、ステップＳ２０４で、時間推移値ＦＤ＿ｄｉｆｆの値の重み付けを行う。
【０１１８】
具体的には、現時点でのデータ量（累積発生符号量）が目標符号量に満たない場合、時間推移値ＦＤ＿ｄｉｆｆの値を、ステップＳ２０４で算出した算出値よりも大きくする重み付けを行う。一方、現時点でのデータ量（累積発生符号量）が目標符号量を超えている場合、時間推移値ＦＤ＿ｄｉｆｆの値を、ステップＳ２０４で算出した算出値よりも小さくする重み付けを行う。
【０１１９】
特に、このステップＳ２０４での算出値の重み付けは、当該マクロブロックの画像の性質を利用した符号量の削減処理を実現するものである。
【０１２０】
一方で、被写界深度ＦＤの過去の履歴からの時間推移値ＦＤ＿ｄｉｆｆに対する時間推移基準値ＦＤ＿ｄｉｆｆ＿ｒｅｆは、当該マクロブロックの画像の性質を利用した符号量の削減処理を行うための判定閾値として捉えることもできる。
【０１２１】
そのため、ステップＳ２０４での算出値の重み付けを行うのではなく、現時点でのデータ量（累積発生符号量）が目標符号量に満たない場合、即ち、符号量削減処理の必要性が低い場合は判定閾値（時間推移基準値ＦＤ＿ｄｉｆｆ＿ｒｅｆ）を大きくする。一方、現時点でのデータ量（累積発生符号量）が目標符号量を越えている場合、即ち、符号量削減処理の必要性が高い場合は判定閾値（時間推移基準値ＦＤ＿ｄｉｆｆ＿ｒｅｆ）を小さくする。これにより、ステップＳ２０４での算出値の重み付けと同等の処理を実現することができる。
【０１２２】
次に、ステップＳ２０５で、当該マクロブロックの動きベクトル探索範囲を決定する。
【０１２３】
尚、実施形態５では、ステップＳ２０４で算出した被写界深度の時間推移値ＦＤ＿ｄｉｆｆ及び予め定めた被写界深度の時間推移基準値ＦＤ＿ｄｉｆｆ＿ｒｅｆの値を比較する。そして、ＦＤ＿ｄｉｆｆが正の値でかつＦＤ＿ｄｉｆｆ＿ｒｅｆよりも大きい場合、あるいはＦＤ＿ｄｉｆｆが負の値でかつＦＤ＿ｄｉｆｆ＿ｒｅｆよりも小さい場合、即ち、当該マクロブロックにおける被写界深度の時間推移値ＦＤ＿ｄｉｆｆが被写界深度の時間推移基準値ＦＤ＿ｄｉｆｆ＿ｒｅｆよりも大きい場合、当該マクロブロックの動きベクトル探索範囲を予め設定した標準の探索範囲Ａｒｅａ０よりも狭い探索範囲Ａｒｅａ１を、ベクトル探索範囲として決定する。
【０１２４】
次に、ステップＳ２０６の処理後、ステップＳ２０７で、当該マクロブロックとマッチした動きベクトルに対応した領域との差分値、及び当該マクロブロックの画素データを評価パラメータとして、マクロブロックタイプ判定係数ｅＭＢＴｙｐｅを算出する。
【０１２５】
尚、実施形態５では、ステップＳ２０３で算出した被写界深度ＦＤ、及び予め定めた被写界深度基準値ＦＤ＿ｒｅｆの値を比較する。そして、ＦＤがＦＤ＿ｒｅｆよりも大きい場合、即ち、当該マクロブロックにおける被写界深度が被写界深度基準値よりも大きい場合、マクロブロックタイプ判定係数ｅＭＢＴｙｐｅの算出方法を、その値が大きくなるような算出方法に変更する。
【０１２６】
次に、ステップＳ２０８〜ステップＳ２１１の処理後、ステップＳ２１２で、ステップＳ２１１で得られたＤＣＴ係数を量子化するための量子化スケール値を決定する。
【０１２７】
尚、実施形態５では、ステップＳ２０４で算出した被写界深度の時間推移値ＦＤ＿ｄｉｆｆ及び予め定めた被写界深度の時間推移基準値ＦＤ＿ｄｉｆｆ＿ｒｅｆの値を比較する。そして、ＦＤ＿ｄｉｆｆが負の値でかつＦＤ＿ｄｉｆｆ＿ｒｅｆよりも小さい場合、即ち、被写界深度が「深い」レベルから「浅い」レベルへ変移している場合は、前フレームに比べ被写体の鮮鋭さが失われ、当該ブロック内の画像に含まれる情報量が少ないと考えられるので、予め定めた標準の量子化スケール値Ｑ＿ｄｅｆより大きい量子化スケール値を量子化スケール値として決定する。
【０１２８】
特に、実施形態５では、予め定めた標準の量子化スケール値Ｑ＿ｄｅｆより大きい量子化スケール値Ｑ＿ｌａｒｇｅ（Ｑ＿ｄｅｆ  ＜  Ｑ＿ｌａｒｇｅ）を、量子化スケール値として決定する。
【０１２９】
そして、ステップＳ２１３以降の処理を実行する。
【０１３０】
以上説明したように、実施形態５によれば、累積発生符号量と目標符号量の比較結果に応じて符号化パラメータ（Ｉｎｔｒａ符号化／Ｉｎｔｅｒ符号化判定部１０７の判定閾値、及び動きベクトル探索部１０６の探索範囲）を決定し、かつ量子化処理における量子化スケール値の決定に用いる被写界深度情報の条件（時間推移基準値ＦＤ＿ｄｉｆｆ＿ｒｅｆ）を変更することにより、目標符号量にあわせた圧縮処理を効果的に実行し、かつ時間方向及び空間方向の情報量を効果的に削減することができる。
【０１３１】
＜実施形態６＞
実施形態６は、実施形態５の応用例であり、実施形態６の画像符号化装置で実行する処理について、図２を用いて説明する。
【０１３２】
尚、実施形態６では、実施形態５と異なる部分について説明する。
【０１３３】
まず、当該マクロブロックに対するステップＳ２０３の処理後、ステップＳ２０４で、被写界深度差分演算部１０４によって、被写界深度ＦＤにおける過去の履歴からの時間推移値ＦＤ＿ｄｉｆｆを算出する。
【０１３４】
特に、実施形態６では、前回の処理で、ステップＳ２１５で算出した当該マクロブロックの一つ前のマクロブロックまでのデータ量（累積発生符号量）と目標符号量との差分に基づいて、ステップＳ２０４で、時間推移値ＦＤ＿ｄｉｆｆの値の重み付けを行う。
【０１３５】
具体的には、現時点でのデータ量（累積発生符号量）が目標符号量に満たない場合、時間推移値ＦＤ＿ｄｉｆｆの値が、ステップＳ２０４で算出した算出値よりも小さくする重み付けを行う。一方、現時点でのデータ量（累積発生符号量）が目標符号量を超えている場合、時間推移値ＦＤ＿ｄｉｆｆの値が、ステップＳ２０４で算出した算出値よりも大きくする重み付けを行う。
【０１３６】
特に、このステップＳ２０４での算出値の重み付けは、当該マクロブロックの画像の性質を利用した符号量削減処理による符号の削減量の抑制処理を実現するものである。
【０１３７】
一方で、被写界深度ＦＤの過去の履歴からの時間推移値ＦＤ＿ｄｉｆｆに対する時間推移基準値ＦＤ＿ｄｉｆｆ＿ｒｅｆは、当該ブロックの画像の性質を利用した符号量削減処理を抑制する判定閾値として捉えることもできる。そのため、当該マクロブロック内の画像の情報量があまり損なわれないかわりに符号量は増大する。
【０１３８】
そこで、実施形態６では、現時点でのデータ量（累積発生符号量）が目標符号量を超えている場合、即ち、符号量削減処理を抑制する必要性が高い場合は判定閾値（時間推移基準値ＦＤ＿ｄｉｆｆ＿ｒｅｆ）を大きくする。一方、現時点でのデータ量（累積発生符号量）が目標符号量に満たない場合、即ち、符号量削減処理を抑制する必要性が低い場合は判定閾値（時間推移基準値ＦＤ＿ｄｉｆｆ＿ｒｅｆ）を小さくする。これにより、ステップＳ２０４での算出値の重み付けと同等の処理を実現することができる。
【０１３９】
次に、ステップＳ２０５で、当該マクロブロックの動きベクトル探索範囲を決定する。但し、実施形態６では、予め設定した標準の探索範囲Ａｒｅａ０をベクトル探索範囲として決定する。
【０１４０】
次に、ステップＳ２０６〜ステップＳ２１１の処理後、ステップＳ２１２で、ステップＳ２１１で得られたＤＣＴ係数を量子化するための量子化スケール値を決定する。
【０１４１】
尚、実施形態６では、ステップＳ２０４で算出した被写界深度の時間推移値ＦＤ＿ｄｉｆｆ及び予め定めた被写界深度の時間推移基準値ＦＤ＿ｄｉｆｆ＿ｒｅｆの値を比較する。そして、ＦＤ＿ｄｉｆｆが正の値でかつＦＤ＿ｄｉｆｆ＿ｒｅｆよりも大きい場合、即ち、被写界深度が「浅い」レベルから「深い」レベルへ変移している場合は、予め定めた標準の量子化スケール値Ｑ＿ｄｅｆより小さい量子化スケール値を量子化スケール値として決定する。
【０１４２】
特に、実施形態６では、予め定めた標準の量子化スケール値Ｑ＿ｄｅｆより小さい量子化スケールＱ＿ｓｍａｌｌ（Ｑ＿ｄｅｆ  ＞  Ｑ＿ｓｍａｌｌ）を、量子化スケール値として決定する。
【０１４３】
そして、ステップＳ２１３以降の処理を実行する。
【０１４４】
以上説明したように、実施形態６によれば、累積発生符号量と目標符号量の比較結果に応じて符号化パラメータ（Ｉｎｔｒａ符号化／Ｉｎｔｅｒ符号化判定部１０７の判定閾値、及び動きベクトル探索部１０６の探索範囲）を決定し、かつ量子化処理における量子化スケール値の決定に用いる被写界深度情報の条件（時間推移基準値ＦＤ＿ｄｉｆｆ＿ｒｅｆ）を変更することにより、目標符号量にあわせた圧縮処理を効果的に実行し、かつ時間方向及び空間方向の情報量を効果的に削減することができる。
【０１４５】
＜実施形態７＞
上記実施形態１〜６は、一例であり、用途や目的に応じて、各実施形態で説明される処理を任意に組み合わせた実施形態を適宜実現できることは言うまでもない。
【０１４６】
例えば、実施形態１と実施形態５の処理を組み合わせて、目標符号量にあわせた圧縮処理を効果的に実現する実施形態として、現時点でのデータ量（累積発生符号量）が目標符号量に満たない場合、被写界深度基準値ＦＤ＿ｒｅｆを大きくする。一方、現時点でのデータ量（累積発生符号量）が目標符号量を越えている場合、被写界深度基準値ＦＤ＿ｄｉｆｆ＿ｒｅｆを小さくする処理を実行しても良い。
【０１４７】
これにより、Ｉｎｔｒａ符号化／Ｉｎｔｅｒ符号化判定部１０７における判定閾値や、量子化部処理における量子化スケール値等の符号化パラメータを可変制御して、目標符号量にあわせた圧縮処理を効果的に実現することができる。
【０１４８】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１４９】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１５０】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１５１】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０１５２】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１５３】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１５４】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１５５】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１５６】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１５７】
【図１】本発明の実施形態１の画像符号化装置の構成を示す図である。
【図２】本発明の各実施形態の画像符号化装置で実行する処理を示すフローチャートである。
【図３】従来の一般的なＭＰＥＧ方式の符号化装置（エンコーダ）の構成を示す図である。
【符号の説明】
【０１５８】
１０１  エンコーダ
１０２  撮像部
１０３  被写界深度情報検出部
１０４  被写界深度差分演算部
１０５  フレームメモリ
１０６  動きベクトル探索部
１０７  Ｉｎｔｒａ符号化／Ｉｎｔｒｅ符号化判定部
１０８  ＤＣＴ部
１０９  量子化部
１１０  可変長コーダ
１１１  符号量計算部
１１２  ローカルデコーダ
１１３  レコーダ
【図１】
2005151131.tif 000003
【図２】
2005151131.tif 000004
【図３】
2005151131.tif 000005