(57)【要約】【課題】  全体の解像度を落とすことなく、情報量を効率よく削減できるようにする。【解決手段】  連続した複数のフレームの中からシーンの変化を検出するシーンチェンジ検出手段と、複数のフレームから構成される動画像の視覚解像度の時間応答特性を判定する視覚感度判定手段と、適応的にフィルタ強度を設定するフィルタ設定手段と、前記フィルタ設定手段により設定されたフィルタ強度でフィルタ処理を行うフィルタ処理手段とを設け、視覚解像度に基づくフィルタ設定を行うようにすることにより、フィルタ強化が必要な場合には、領域ごとにフィルタ強度を変えることを可能にして、符号化する情報量を削減しても全体の解像度が下がらないようにする。【選択図】  図１
2006157238.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームから構成される動画像の情報量を削減して出力する前処理手段と、前記前処理手段により情報量が削減された動画像から符号化データを生成する符号化データ生成手段とを有する画像処理装置であって、
前記前処理手段は、連続した複数のフレームの中からシーンの変化が生じたフレームを検出するシーンチェンジ検出手段と、
前記シーンチェンジ検出手段によって検出されたシーンチェンジ後における視覚解像度の時間応答特性を判定して視覚感度情報を出力する視覚感度判定手段と、
前記視覚感度判定手段の判定の結果に基いて適応的にフィルタ強度を設定するフィルタ設定手段と、
前記フィルタ設定手段によって設定されたフィルタ強度でフィルタ処理を行うフィルタ処理手段とを有することを特徴とする画像処理装置。
【請求項２】
前記フィルタ設定手段は、前記符号化データ生成手段からの符号化データと、前記視覚感度判定手段からの視覚感度情報とによりフィルタ強度を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フィルタ設定手段は、前記シーンチェンジ後の一定期間を遷移状態とし、この区間のフィルタ強度を視覚解像度の特性に合わせて、時間経過に従って強いものから弱いものへと変化させていくことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記前処理手段は、フレーム内の画像を複数の領域に分割し、領域ごとにフィルタ強度の優先度を設定する領域分割手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記フィルタ設定手段は、前記符号化データ生成手段からの符号化データと、前記視覚感度判定手段からの視覚感度情報と、前記領域分割手段からの領域分割情報とにより、領域毎のフィルタ強度を設定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記領域分割手段は、特定色の検出を行う特定色検出手段と、
前記特定色検出手段により特定色を検出した領域を弱フィルタ領域とし、特定色を検出しなかった領域を強フィルタ領域とするフィルタ強度指定手段とを有することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記特定色の検出を行う特定色検出手段は、ブロック単位で、ブロック内の検出画素数に応じてフィルタ領域を検出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記領域分割手段は、入力画像と背景画像とを比較する画像比較手段を有し、
前記画像比較手段は、前記入力画像と背景画像との差分の小さい領域を強フィルタ領域とし、前記差分の大きい領域を弱フィルタ領域とすることを特徴とする請求項４に記載の画像処理装置。
【請求項９】
前記画像比較手段は、ブロック単位で、ブロック内の検出画素数に応じてフィルタ領域を検出することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記フィルタ設定手段は、複数のフィルタの強度をアップする場合に、フィルタ間の最小強度差があらかじめ設定した閾値以下にならないようフィルタ強度を設定することを特徴とする請求項５に記載の画像処理装置。
【請求項１１】
前記フィルタ設定手段は、複数のフィルタの強度をアップする場合に、フィルタ間の最大強度差があらかじめ設定した閾値以上にならないようにフィルタ強度を設定することを特徴とする請求項５に記載の画像処理装置。
【請求項１２】
複数のフレームから構成される動画像の情報量を削減して出力する前処理工程と、前記前処理工程により情報量が削減された動画像から符号化データを生成する符号化データ生成工程とを有する画像処理方法であって、
前記前処理工程は、連続した複数のフレームの中からシーンの変化が生じたフレームを検出するシーンチェンジ検出工程と、
前記シーンチェンジ検出工程によって検出されたシーンチェンジ後における視覚解像度の時間応答特性を判定して視覚感度情報を出力する視覚感度判定工程と、
前記視覚感度判定工程の判定の結果に基いて適応的にフィルタ強度を設定するフィルタ設定工程と、
前記フィルタ設定工程によって設定されたフィルタ強度でフィルタ処理を行うフィルタ処理工程とを有することを特徴とする画像処理方法。
【請求項１３】
前記フィルタ設定工程は、前記符号化データ生成工程からの符号化データと、前記視覚感度判定工程からの視覚感度情報とによりフィルタ強度を設定することを特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
前記フィルタ設定工程は、前記シーンチェンジ後の一定期間を遷移状態とし、この区間のフィルタ強度を視覚解像度の特性に合わせて、時間経過に従って強いものから弱いものへと変化させていくことを特徴とする請求項１３に記載の画像処理方法。
【請求項１５】
前記前処理工程は、フレーム内の画像を複数の領域に分割し、領域ごとにフィルタ強度の優先度を設定する領域分割工程を有することを特徴とする請求項１２に記載の画像処理方法。
【請求項１６】
前記フィルタ設定工程は、前記符号化データ生成工程からの符号化データと、前記視覚感度判定工程からの視覚感度情報と、前記領域分割工程からの領域分割情報とにより、領域毎のフィルタ強度を設定することを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
前記領域分割工程は、特定色の検出を行う特定色検出工程と、
前記特定色検出工程により特定色を検出した領域を弱フィルタ領域とし、特定色を検出しなかった領域を強フィルタ領域とするフィルタ強度指定工程とを有することを特徴とする請求項１５に記載の画像処理方法。
【請求項１８】
前記特定色の検出を行う特定色検出工程は、ブロック単位で、ブロック内の検出画素数に応じてフィルタ領域を検出することを特徴とする請求項１７に記載の画像処理方法。
【請求項１９】
前記領域分割工程は、入力画像と背景画像とを比較する画像比較工程を有し、
前記画像比較工程は、前記入力画像と背景画像との差分の小さい領域を強フィルタ領域とし、前記差分の大きい領域を弱フィルタ領域とすることを特徴とする請求項１５に記載の画像処理方法。
【請求項２０】
前記画像比較工程は、ブロック単位で、ブロック内の検出画素数に応じてフィルタ領域を検出することを特徴とする請求項１９に記載の画像処理方法。
【請求項２１】
前記フィルタ設定工程は、複数のフィルタの強度をアップする場合に、フィルタ間の最小強度差があらかじめ設定した閾値以下にならないようフィルタ強度を設定することを特徴とする請求項１６に記載の画像処理方法。
【請求項２２】
前記フィルタ設定工程は、複数のフィルタの強度をアップする場合に、フィルタ間の最大強度差があらかじめ設定した閾値以上にならないようにフィルタ強度を設定することを特徴とする請求項１６に記載の画像処理方法。
【請求項２３】
複数のフレームから構成される動画像の情報量を削減して出力する前処理工程と、前記前処理工程により情報量が削減された動画像から符号化データを生成する符号化データ生成工程とを有する画像処理方法をコンピュータに実行させるプログラムであって、
前記前処理工程は、連続した複数のフレームの中からシーンの変化が生じたフレームを検出するシーンチェンジ検出工程と、
前記シーンチェンジ検出工程によって検出されたシーンチェンジ後における視覚解像度の時間応答特性を判定して視覚感度情報を出力する視覚感度判定工程と、
前記視覚感度判定工程の判定の結果に基いて適応的にフィルタ強度を設定するフィルタ設定工程と、
前記フィルタ設定工程によって設定されたフィルタ強度でフィルタ処理を行うフィルタ処理工程とをコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項２４】
前記請求項２３に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に関し、特に、動画像データを高能率に符号化するための画像処理装置及び画像処理方法に用いて好適な技術に関する。
【背景技術】
【０００２】
近年、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ１３８１８）などの動画像符号化方式が蓄積、通信、放送の分野で広く用いられている。これらの動画像符号化方式では、各フレームを符号化ブロックに分割し、フレーム内もしくはフレーム間の画像の直交変換を行い、変換係数を量子化することにより、情報量を削減し、それを可変長符号化して符号を生成している。量子化の係数を大きくすると情報量が大きく削減できるが、量子化誤差も大きくなるため、ブロック歪やモスキートノイズといった歪が発生し、画質が著しく劣化する。
【０００３】
量子化誤差を小さくするための手段として、プリフィルタがある。プリフィルタは、入力画像にローパスフィルタなどの処理を行い、符号化器に入力される画像の情報量をあらかじめ削減しておく処理である。
【０００４】
画面内には、情報量の多い部分と少ない部分が偏在しているため、精度よくフィルタ処理するには、局所的にフィルタの特性を変えたほうが効率的である。例えば、特許文献１では、局所的な予測誤差の相違に従ってローパスフィルタの特性を変更して、主観画質を改善する方法を開示している。すなわち、動き補償予測の当たらない領域に対して、強いフィルタをかける処理を行っている。シーンチェンジの場合は、シーンチェンジ直後の画像に強いフィルタがかかり、以降のフレームには弱いフィルタがかかることになる。
【０００５】
【特許文献１】特開平８−１８９７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、シーンチェンジが起こってからしばらくの間は、視覚特性上高い解像度を認識できない。したがって、この間のフィルタの特性を弱くすることで解像度を上げても、符号化に入る情報量が増えるだけで主観画質の改善は見られない問題があった。
【０００７】
本発明は前述の問題点にかんがみ、全体の解像度を落とすことなく、情報量を効率よく削減できるようにすることを目的としている。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、複数のフレームから構成される動画像の情報量を削減して出力する前処理手段と、前記前処理手段により情報量が削減された動画像から符号化データを生成する符号化データ生成手段とを有する画像処理装置であって、前記前処理手段は、連続した複数のフレームの中からシーンの変化が生じたフレームを検出するシーンチェンジ検出手段と、前記シーンチェンジ検出手段によって検出されたシーンチェンジ後における視覚解像度の時間応答特性を判定して視覚感度情報を出力する視覚感度判定手段と、前記視覚感度判定手段の判定の結果に基いて適応的にフィルタ強度を設定するフィルタ設定手段と、前記フィルタ設定手段によって設定されたフィルタ強度でフィルタ処理を行うフィルタ処理手段とを有することを特徴としている。
【０００９】
本発明の画像処理方法は、複数のフレームから構成される動画像の情報量を削減して出力する前処理工程と、前記前処理工程により情報量が削減された動画像から符号化データを生成する符号化データ生成工程とを有する画像処理方法であって、前記前処理工程は、連続した複数のフレームの中からシーンの変化が生じたフレームを検出するシーンチェンジ検出工程と、前記シーンチェンジ検出工程によって検出されたシーンチェンジ後における視覚解像度の時間応答特性を判定して視覚感度情報を出力する視覚感度判定工程と、前記視覚感度判定工程の判定の結果に基いて適応的にフィルタ強度を設定するフィルタ設定工程と、前記フィルタ設定工程によって設定されたフィルタ強度でフィルタ処理を行うフィルタ処理工程とを有することを特徴としている。
【００１０】
本発明のコンピュータプログラムは、複数のフレームから構成される動画像の情報量を削減して出力する前処理工程と、前記前処理工程により情報量が削減された動画像から符号化データを生成する符号化データ生成工程とを有する画像処理方法をコンピュータに実行させるプログラムであって、前記前処理工程は、連続した複数のフレームの中からシーンの変化が生じたフレームを検出するシーンチェンジ検出工程と、前記シーンチェンジ検出工程によって検出されたシーンチェンジ後における視覚解像度の時間応答特性を判定して視覚感度情報を出力する視覚感度判定工程と、前記視覚感度判定工程の判定の結果に基いて適応的にフィルタ強度を設定するフィルタ設定工程と、前記フィルタ設定工程によって設定されたフィルタ強度でフィルタ処理を行うフィルタ処理工程とをコンピュータに実行させることを特徴としている。
【００１１】
本発明の記録媒体は、前記に記載のコンピュータプログラムを記録したことを特徴としている。
【発明の効果】
【００１２】
本発明によれば、フィルタの強度を、シーンチェンジ検出直後の視覚特性と、符号量の情報に応じて制御するようにしたので、全体の解像度を落とすことなく、情報量を効率よく削減することができ、視覚特性上の歪の少ない優れた高能率符号化を実現することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して、本発明の好適な実施の形態について詳細に説明する。
（第１の実施の形態）
本発明の第１の実施の形態について説明する。
図１（ａ）は、符号化の全体構成を示すブロック図である。入力画像は前処理部１０１でプリフィルタなどの処理が行われ、１０２〜１０４の符号化部に送られる。符号化はマクロブロック単位で行われ、フレーム内処理を行うイントラモードと、フレーム間処理を行うインターモードに分かれる。
【００１４】
まず、イントラモードでは、ＤＣＴ部１０２で画像ブロックのＤＣＴ変換を行い、量子化部１０３でＤＣＴ係数の量子化を行う。量子化された係数は、可変長符号化部１０４で２次元ハフマンコードに変換される。
【００１５】
また、インターモードでは、量子化された係数を逆量子化部１０６で元に戻し、更に逆ＤＣＴ部１０７で、画像データに戻す。この画像は一般に局部復号画像と呼ばれる。この画像は、現フレームの画像との参照画像としてメモリ部１０８に保存される。
【００１６】
動き検出部１１０では、参照画像を元にして現入力画像の動きを検出し、動き補償部１０９により位置合わせを行う。これにより、インターモードにおけるＤＣＴ部１０２の入力はフレーム間で位置合わせを行った後の差分信号となる。
【００１７】
量子化部１０３では、差分のＤＣＴ係数を量子化し、可変長符号化部１０４では、差分の量子化係数をハフマンコードに変換する。このとき、逆量子化部１０６と逆ＤＣＴ部１０７によって復号される画像は差分データなので、動き補償部１０９の出力と合成することで、局部復号画像を生成する。量子化は、バッファ部１０５のバッファ容量を、符号量制御部１１１で監視しながら制御される。
【００１８】
本実施の形態では、前処理部１０１の出力を符号量制御部１１１からの情報を元に制御することを特徴としている。
図１（ｂ）を用いて詳細を説明する。入力画像は、まずシーンチェンジ検出部１２０によって、シーンチェンジの発生の有無を検出する。シーンチェンジ検出部１２０における検出結果は視覚感度判定部１２１に送られる。
【００１９】
視覚感度判定部１２１では、シーンチェンジ後の時間推移に応じて、視覚特性の情報をフィルタ選択部１１４へ送る。フィルタ選択部１１４では、符号量制御部１１１からの情報とシーンチェンジ後の視覚時間応答特性の情報とを元に、フィルタ特性を設定する。フィルタ処理部１１５では、設定されたフィルタを適応してフィルタ処理を行い、フィルタ処理を行った結果の画像を出力する。
【００２０】
まず、図９を用いて、シーンチェンジ検出の処理の流れを説明する。ステップＳ１００１にて、現フレームと前フレームとの相関を判定する。この判定の結果、相関が大きい場合は、フレーム間に連続性があると判定し、シーンチェンジとは判定しない。一方、相関が小さい場合は、ステップＳ１００２に進み、現フレームと後フレームとの相関関係が大きいか判定する。この判定の結果、相関関係が大きい場合にはステップＳ１００３に進み、シーンチェンジと判定する。
【００２１】
次に、相関の判定処理の詳細について、図１０を用いて説明する。まず、ステップＳ１１０１にて、フレーム間の差分値を算出する。次に、ステップＳ１１０２に進み、差分値の絶対値和を算出する。次に、ステップＳ１１０３に進み、算出した差分絶対値和があらかじめ設定した閾値Ｔｆよりも大きいか判定する。
【００２２】
一方、ステップＳ１１０３の判定の結果、前記設定した閾値Ｔｆよりも大きければ、ステップＳ１１０５に進み、相関小と判定する。また、ステップＳ１１０３の判定の結果、設定した閾値Ｔｆよりも小さい場合は、ステップＳ１１０４に進み、相関大と判定する。フレーム間で動きを検出できる場合は、動き量に応じた位置合わせを行ってから、差分値算出を行うと、より高い精度が得られる。
【００２３】
ここで、視覚解像度の特性について図１１を用いて説明する。通常ビデオの動画は１秒間に３０枚のフレームで構成されるが、３０分の１秒の間には、視覚特性上高い解像度での認識は困難である。同じシーンが数十フレーム続くことにより、初めて細かい部分まで認識できるようになる。
【００２４】
図１１（ａ）は、視覚解像度の時間特性を示す特性図である。横軸が時間、縦軸が視覚解像度を示しており、上に行くほど解像度が高いことを示している。ｔ＝０の時間でシーンチェンジが起こると、この瞬間のフレームのみからはどんなシーンに切り替わったのか、認識するのは困難である。同様なシーンが数フレームに亘って続く時間の経過と共に、急速にシーンの内容を理解し、詳細な部分についても認識できるようになっていく。そして、十分な時間が経過すると、画像そのものが持つ解像度に視覚解像度が追いつき、それ以上の解像感は得られなくなることを表している。
【００２５】
したがって、シーンチェンジ直後の数フレームにおいては、高い解像度で符号化しても視覚特性上それを認識することはできない。よって、この遷移期間にフィルタの強度を強めることで画像の情報量を落とせば、その分他の区間に割り当てられる符号量が増え、全体として視覚特性上の画質改善がなされることとなる。
【００２６】
図１１（ｂ）は、視覚解像度に応じた、フィルタ特性を示す特性図である。ｔ＝０でもっとも強いフィルタを適用し、視覚解像度が上がるにつれ、フィルタの強度を弱めていくようにした例を示している。
【００２７】
以上の仕組みを利用したフィルタの制御を、図１２を用いて説明する。
まず、ステップＳ１６０１にて、画像を入力する。次に、ステップＳ１６０２に進み、フィルタ強化が必要か否かを判定する。量子化パラメータを大きくしても目標の符号量に達しない場合や、符号化による歪が顕著になると考えられる場合は、フィルタを強化し、符号化器に入力する画像の情報量を削減する必要がある。
【００２８】
ステップＳ１６０２の判定の結果、フィルタ強化が必要なければ、ステップＳ１６１４に進み、全てのフレーム処理が終了したか判定する。この判定の結果、全てのフレーム処理が終了した場合には、このフレームにおける処理は終了である。
【００２９】
また、ステップＳ１６０２の判定の結果、フィルタ強化が必要ならば、ステップＳ１６０３に進み、このフレームがシーンチェンジであるか否かを判定する。この判定の結果、シーンチェンジであれば、ステップＳ１６０４に進み、遷移モードに設定する。次に、ステップＳ１６０５に進み、視覚解像度に基づくフィルタ強度を算出し、その後、ステップＳ１６０６に進み、フィルタの強度を設定する。
【００３０】
次に、ステップＳ１６０７において、視覚解像度に基づくフィルタ強度が閾値以下か否かの判定を行う。これは遷移モードの終了判定であり、フィルタ強度が十分小さい値になれば、ステップＳ１６０８に進み、遷移モードの設定を解除する。
【００３１】
一方、ステップＳ１６０３の判定の結果、シーンチェンジではない場合にはステップＳ１６０９に進み、遷移モードか判定する。この判定の結果、遷移モードと判定された場合にはステップＳ１６０５に進み、前述したように、視覚解像度に基づくフィルタ強度を算出し、ステップＳ１６０６に進み、フィルタの強度を設定する。
【００３２】
フィルタの強度はシーンチェンジ後の時間経過に従って弱くなっていく。シーンチェンジ後に十分な時間が経過すると通常状態となり、このときにフィルタ強化が必要と判定した場合には、ステップＳ１６０９からステップＳ１６１０に遷移し、フィルタ強度をアップする処理を行う。
【００３３】
その後、ステップＳ１６１１において、フィルタ強化が必要であるか判定する。この判定の結果、必要であると判定された場合にはステップＳ１６１２に進み、前フレームのフィルタ強度との差を検出する。その後、ステップＳ１６１３に進み、強度差が閾値以上か判定し、閾値以上でない場合にはステップＳ１６１０に戻って前述した処理を繰り返し行う。
【００３４】
そして、ステップＳ１６１３の判定の結果、強度差が閾値以上になったらステップＳ１６１４に進み、全てのフレームについて処理を終了したか判定する。この判定の結果、全てのフレームについて処理を終了していない場合にはステップＳ１６０１に戻って前述した処理を繰り返し行う。
【００３５】
図４は、画面イメージを示している。符号４０１のフレーム〜符号４０６のフレームは、連続したシーケンスであり、符号４０３のフレームで、シーンチェンジが発生している。符号４１３のフレームは、前記符号４０３のフレームに対し、強いフィルタを設定したことを示し、符号４１４のフレーム、符号４１５のフレームと徐々に弱いフィルタを設定し、符号４１６のフレームでは遷移状態を解除し、通常状態になっている様子を示している。
【００３６】
このようにして、遷移状態で強いフィルタを設定することにより、この区間の画像の解像度が低下し、この区間での発生符号量を抑えることができる。したがって、全体として、視覚特性の優れた符号化システムを実現できることとなる。
【００３７】
前述したように、第１の実施の形態に係る画像処理装置によれば、シーンチェンジを検出し、直後の視覚特性の情報を元にフィルタ強度を設定することで、符号化歪の目立たない符号化システムを実現することができる。
【００３８】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。
前述した第１の実施の形態では、シーンチェンジ後のフィルタ強度をフレーム単位で設定していたが、本実施の形態では、フレーム内で領域分けを行い、領域ごとのフィルタ制御を行うようにしている。
【００３９】
図２に、前処理部のブロック図を示す。
図２において、１２０はシーンチェンジ検出部、１２１は視覚感度判定部、１１２は領域分割部、１１４はフィルタ選択部、１１５はフィルタ処理部である。第１の実施の形態との違いは、領域分割部１１２を設け、フィルタ選択部１１４の制御に領域分割情報を利用する点にある。フィルタ選択部１１４では、符号量制御部１１１からの情報と視覚感度情報及び領域分割情報を元に、フィルタ特性を設定する。フィルタ処理部１１５では、設定されたフィルタを適応してフィルタ処理を行い、フィルタ処理を行った結果の画像を出力する。
【００４０】
まず、図３及び図５〜図８を用いて、領域分割部の処理の流れを説明する。
図５は、画素単位の特定色検出による領域検出方法を説明するためのフローチャートである。この処理は色を識別することにより、領域分けを行う処理の例である。入力はフレーム単位、処理は画素単位としている。
【００４１】
まず、ステップＳ５０１で、画像の入力を行い、次に、ステップＳ５０２に進み、入力画素が特定色かどうかの判定を行う。この特定色の判定は、対象画素の値がある範囲内にあるか否かで判定するのがもっとも簡便な方法である。ステップＳ５０２の判定の結果、特定色と判定したら、ステップＳ５０４に進んで弱フィルタ領域に指定して、この領域はフィルタ強度を弱める領域とする。これにより、特定色を含む領域を保護し、他の領域よりも解像度を下げないように調整することが可能となる。
【００４２】
一方、ステップＳ５０２の判定の結果、特定色でないと判定した場合にはステップＳ５０３に進んで強フィルタ領域に指定する。これにより、特定色でない領域に強いフィルタをかけることで画面全体の情報量を下げ、相対的に特定色の領域に符号を多く割り当てることが可能となる。
【００４３】
ステップＳ５０３またはステップＳ５０４の処理を終了したら、次に、ステップＳ５０５に進み、全画素を処理したか判定する。この判定の結果、フレーム内の全画素の処理が終了したと判定するまで、ステップＳ５０２からの処理を繰り返し行う。ステップＳ５０５の判定の結果、全画素終了した時点で、１フレーム分の処理が終わる。
【００４４】
図３は、画像データと領域分割結果について説明するための図である。入力画像３０１に対し、特定色として肌色の領域を検出した結果が、肌色検出画像３０２である。図３中、白い部分が肌色と判定した領域で、黒い部分がそれ以外の領域である。肌色領域にかけるフィルタの強度を弱くすることで、顔の部分の解像度が低下することを防ぐことが可能となる。
【００４５】
図６は、色の識別により領域をブロック単位に分割する処理手順の例を説明するフローチャートである。
まず、ステップＳ６０１で画像を入力する。次に、ステップＳ６０２に進み、画像のブロック化を行う。以下、ブロック単位で判定を行う。次に、ステップＳ６０３に進み、初期設定として、ブロック内のカウンタを「０」にリセットしておく。
【００４６】
次に、ステップＳ６０４に進み、ブロック内の特定色の画素がいくつ存在するか、その数をカウントする。そして、ブロック内の画素すべての判定が終わった時点で、ステップＳ６０５に進み、カウントした数があらかじめ設定しておいた閾値よりも多いか否かを判定する。
【００４７】
ステップＳ６０５の判定の結果、カウント値が設定した閾値よりも多い場合は、特定色を多く含むブロックとして、ステップＳ６０７に進み、弱フィルタブロックに指定する。一方、ステップＳ６０５の判定の結果、カウント値が設定した閾値よりも少ない場合は、特定色をあまり含まないブロックとして、ステップＳ６０６に進み、強フィルタブロックに指定する。
【００４８】
ステップＳ６０６またはステップＳ６０７の処理を終了したらステップＳ６０８に進み、全ブロックの処理が終了したか判定する。この判定の結果、全ブロックの処理が終了していない場合にはステップＳ６０３に戻り、前述した処理を繰り返し行う。
【００４９】
図７は、画素単位の背景差分法による領域検出方法を説明するためのフローチャートである。背景差分法は、あらかじめ背景画像が得られる時に有効な領域分割手法である。
まず、ステップＳ７０１において、背景画像を入力する。次に、ステップＳ７０２に進み、現画像の入力を行う。以下は画素単位の処理である。次に、ステップＳ７０３に進み、背景画像と現画像の画素の差分絶対値を算出する。
【００５０】
次に、ステップＳ７０４に進み、差分絶対値が閾値以下か否かの判定を行う。この判定の結果、差分絶対値が閾値以下の場合は、背景とみなせるので、ステップＳ７０６に進み強フィルタ領域に指定する。また、ステップＳ７０４の判定の結果、差分絶対値が閾値より大きい場合は、オブジェクト（背景ではない）とみなし、保護すべき領域として、ステップＳ７０５に進んで弱フィルタ領域に指定する。
【００５１】
ステップＳ７０５またはステップＳ７０６の処理を終了したら、次に、ステップＳ７０７に進み全画素の処理を終了したか判定する。この判定の結果、全画素の処理を終了していない場合にはステップＳ７０３に戻り、全画素の処理が終了したと判定するまで前述した処理を繰り返す。
【００５２】
前述した図３において、入力画像３０５に対し、背景画像３０６との差分を求め、差分の大きい領域をオブジェクトとして検出した結果が肌色検出画像３０７である。図３中の白い部分がオブジェクトと判定した領域で、黒い部分が背景と判定した領域である。オブジェクト領域にかけるフィルタを弱くすることで、人物の解像度の低下を防ぐことが可能となる。
【００５３】
図８に、背景差分による分割をブロック単位で行う例を示す。
まず、ステップＳ８０１において背景画像を入力する。次に、ステップ８０２に進み、現画像の入力を行う。次に、ステップＳ８０３で、入力画像のブロック化を行う。以下はブロック単位の処理となる。
【００５４】
その後、ステップＳ８０４に進み、初期設定としてブロック内のカウンタを０にリセットしておく。次に、ステップＳ８０５に進み、背景画像と現画像の画素の差分絶対値を算出する。
【００５５】
次に、ステップＳ８０６に進み、差分絶対値があらかじめ設定しておいた閾値以下か否か判定する。この判定の結果、差分絶対値が閾値より大きければ、オブジェクトの画素として、ステップＳ８０７に進み、カウンタをカウントアップする。また、ステップＳ８０６の判定の結果、差分絶対値が閾値以下ならば、ステップＳ８０７におけるカウントは行わないでステップＳ８０８に進む。
【００５６】
ステップＳ８０８においては、ブロック内のすべての画素の処理が終了したか判定する。この判定の結果、すべての画素が処理されていない場合にはステップＳ８０５に戻り、前述した処理を繰り返し行う。
【００５７】
ステップＳ８０８の判定の結果、１ブロック分の処理が終わった段階で、次に、ステップＳ８０９に進み、カウントアップしたカウント数が、あらかじめ設定した閾値以上か否か判定する。この判定の結果、カウント数が閾値以上ならば、オブジェクトの画素を多く含むブロックとして、ステップＳ８１１に進み、弱フィルタブロックに指定する。また、ステップＳ８０９の判定の結果、カウント数が閾値以上でなければ、背景の画素を多く含むブロックとして、ステップＳ８１０に進み、強フィルタブロックに指定する。
【００５８】
以上の処理をステップＳ８１２に進み、全ブロックの処理が終了したか判定する。この判定の結果、全ブロックの処理が終了していない場合にはステップＳ８０４に戻り、全ブロックの処理が終了したと判定するまで前述した処理を繰り返す。そして、ステップＳ８１２の判定の結果、全ブロックの処理が終了した時点で、１フレーム分の処理が終了となる。
【００５９】
図１５は、領域ごとのフィルタ強度を示している。実線は図１１（ｂ）と同じ、視覚解像度に基づくフィルタ特性である。弱フィルタ領域に用いるフィルタはこちらの特性となる。破線は、このフィルタ強度で不十分な場合に適用する強フィルタ領域のフィルタ特性である。ここでは、弱フィルタの特性に対し、一定のオフセットを設定している。
【００６０】
次に、フィルタ選択部１１４の処理の流れを、図１３を用いて説明する。基本的な処理の流れは、第１の実施の形態で説明した図１２と同様であるが、ステップＳ１６０６とステップＳ１６０７の間に、図１３のフローチャートで示した処理を追加する。図１２のフローチャートにおけるステップＳ１６０６までの処理にて、フィルタ強度を設定した状態では、領域分割した各領域間でのフィルタ強度差はない。
【００６１】
図１２のフローチャートにおけるステップＳ１６０６の処理が終了したら、ステップＳ１７０１に進み、フィルタの強化が必要か否かの判定を行う。この判定の結果、不要と判定すれば、追加の処理は行わない。必要と判定した場合には、領域間でフィルタの強度差を設ける。次に、ステップＳ１７０２において、強フィルタ領域のフィルタ強度をアップする処理を行う。次に、ステップＳ１７０３に進み、強フィルタと弱フィルタの強度差を算出する。
【００６２】
次に、ステップＳ１７０４において、フィルタの強度差が閾値以上か判定する。この判定の結果、フィルタの強度差が閾値以上でなければ、ステップＳ１７０１からの処理を繰り返し行い、強フィルタ領域のフィルタ強度をアップしていく。
【００６３】
また、ステップＳ１７０４の判定の結果、フィルタの強度差が閾値以上であれば、ステップＳ１７０５に進み、強フィルタの強度をアップする。その後、ステップＳ１７０６に進み、弱フィルタ共にフィルタ強度をアップする。
【００６４】
次に、ステップＳ１７０７に進み、フィルタ強化が必要か判定する。この判定の結果、必要な場合にはステップＳ１７０５に戻り、フィルタ強化が不要と判定するまで、ステップＳ１７０５〜ステップＳ１７０７の処理を繰り返し行う。
【００６５】
このように、視覚解像度に基づくフィルタ設定を行ってもなお、フィルタ強化が必要な場合には、領域ごとにフィルタ強度を変えることで、全体の解像度を落とし過ぎることなく、効率のよい情報量削減を行うことを可能としている。
【００６６】
図１４は、画面イメージとフィルタ強度の関係ついて説明するための図である。
図１４において、符号１４０１のフレーム〜符号１４０６のフレームは、連続したシーケンスであり、符号１４０３のフレームで、シーンチェンジが発生している。符号１４２３のフレームは、前記符号１４０３のフレームに対し、強いフィルタを設定したことを示し、領域分割した背景領域には更に強いフィルタを設定したことを示している。
【００６７】
符号１４２４のフレーム、符号１４２５のフレームと徐々に弱いフィルタを設定しているが、ここでも背景領域はオブジェクト領域より強いフィルタを設定している。符号１４２６のフレームでは遷移状態を解除し、通常状態になっている様子を示している。
【００６８】
前述のようにして、遷移状態で強いフィルタを設定することにより、この区間の画像の解像度が低下し、この区間での発生符号量を抑えることができる。更に領域ごとのフィルタ設定を行うことにより、より精細なフィルタ制御が可能となる。したがって、全体として、視覚特性の優れた符号化システムを実現している。
【００６９】
（本発明に係る他の実施の形態）
前述した本発明の実施の形態における画像処理装置を構成する各手段、並びに画像処理方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び上記プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【００７０】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等として実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００７１】
なお、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラム（実施の形態では、図５〜図１０、図１２及び図１３に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００７２】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００７３】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリター（interpreter）により実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【００７４】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００７５】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００７６】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００７７】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現され得る。
【００７８】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。
【図面の簡単な説明】
【００７９】
【図１】本発明の第１の実施の形態を示し、画像処理装置の構成を示すブロック図である。
【図２】本発明の第２の実施の形態を示し、画像処理装置の構成を示すブロック図である。
【図３】本発明の第２の実施の形態を示し、画像データと領域分割結果について説明するための図である。
【図４】本発明の第１の実施の形態を示し、画面イメージとフィルタ強度の関係ついて説明するための図である。
【図５】本発明の第２の実施の形態を示し、画素単位の特定色検出による領域検出方法を説明するためのフローチャートである。
【図６】本発明の第２の実施の形態を示し、ブロック単位の特定色検出による領域検出方法を説明するためのフローチャートである。
【図７】本発明の第２の実施の形態を示し、画素単位の背景差分法による領域検出方法を説明するためのフローチャートである。
【図８】本発明の第２の実施の形態を示し、ブロック単位の背景差分法による領域検出方法を説明するためのフローチャートである。
【図９】本発明の第１の実施の形態を示し、シーンチェンジ検出を説明するためのフローチャートである。
【図１０】本発明の第１の実施の形態を示し、シーンチェンジ検出の詳細を説明するためのフローチャートである。
【図１１】本発明の第１の実施の形態を示し、フィルタ強度の設定を説明するための特性図である。
【図１２】本発明の第１の実施の形態を示し、フィルタ選択を説明するためのフローチャートである。
【図１３】本発明の第２の実施の形態を示し、フィルタ選択を説明するためのフローチャートである。
【図１４】本発明の第２の実施の形態を示し、画面イメージとフィルタ強度の関係ついて説明するための図である。
【図１５】本発明の第２の実施の形態を示し、フィルタ強度の設定を説明するための特性図である。
【符号の説明】
【００８０】
１０１  前処理部
１０２  ＤＣＴ部
１０３  量子化部
１０４  可変長符号化部
１０５  バッファ部
１０６  逆量子化部
１０７  逆ＤＣＴ部
１０８  メモリ部
１０９  動き補償部
１１０  動き検出部
１１１  符号量制御部
１１４  フィルタ選択部
１１５  フィルタ処理部
１２０  シーンチェンジ検出部
１２１  視覚感度判定部
【図１】
2006157238.tif 000003
【図２】
2006157238.tif 000004
【図３】
2006157238.tif 000005
【図４】
2006157238.tif 000006
【図５】
2006157238.tif 000007
【図６】
2006157238.tif 000008
【図７】
2006157238.tif 000009
【図８】
2006157238.tif 000010
【図９】
2006157238.tif 000011
【図１０】
2006157238.tif 000012
【図１１】
2006157238.tif 000013
【図１２】
2006157238.tif 000014
【図１３】
2006157238.tif 000015
【図１４】
2006157238.tif 000016
【図１５】
2006157238.tif 000017