(57)【要約】【課題】一部の領域に加工処理を施す画像処理を高速に行うこと。【解決手段】画像データを構成する複数の階層データのうち所定の階層データの一部である指定領域を加工処理する領域加工手段と、指定領域を加工した所定の階層データと他の階層データとを多重化する多重化手段と、を備える。そして、上記領域加工手段は、階層データのうち原画像に対して低品質な画像を表す下位階層データを所定の階層データとし、当該下位階層データの一部である指定領域を加工処理する、という構成を採る。また、階層データのうち、領域加工手段にて加工処理しない他の階層データの指定領域を加工処理する他階層加工手段を備える。【選択図】図１
2009066677.tif 000002
【特許請求の範囲】
【請求項１】
画像データを構成する複数の階層データのうち、所定の階層データの一部である指定領域を加工処理する領域加工手段と、
前記指定領域を加工した前記所定の階層データと、他の階層データとを多重化する多重化手段と、を備えたことを特徴とする画像処理装置。
【請求項２】
前記領域加工手段は、前記階層データのうち原画像に対して低品質な画像を表す下位階層データを前記所定の階層データとし、当該下位階層データの一部である前記指定領域を加工処理することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域加工手段は、前記指定領域の画質が劣化するよう加工処理することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記領域加工手段は、前記指定領域をローパスフィルタ処理することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記領域加工手段は、前記指定領域をモザイク処理することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記領域加工手段は、前記指定領域内の画像信号の少なくとも一部を異なる信号に置き換えるよう処理することを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記領域加工手段は、前記指定領域の画像を消去することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記領域加工手段は、前記指定領域の画像の少なくとも一部を塗りつぶすことを特徴とする請求項６に記載の画像処理装置。
【請求項９】
予め、複数に階層符号化された画像データから、前記複数の階層データに分割する逆多重化手段を備えることを特徴とする請求項１から請求項８の何れかに記載の画像処理装置。
【請求項１０】
画像データから前記複数の階層データを生成する階層データ生成手段を備えることを特徴とする請求項１から請求項８の何れかに記載の画像処理装置。
【請求項１１】
前記階層データのうち、前記領域加工手段にて加工処理しない前記他の階層データの前記指定領域を加工処理する他階層加工手段を備えることを特徴とする請求項１から請求項１０の何れかに記載の画像処理装置。
【請求項１２】
前記他階層加工手段は、前記下位階層データに対する追加データを含む上位階層データを前記他の階層データとし、当該上位階層データの一部である前記指定領域を加工処理することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記他階層加工手段は、前記上位階層データの前記指定領域内の少なくとも一部のデータを削除することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記他階層加工手段は、前記上位階層データの前記指定領域内の、画像データの前後のフレームに基づくフレーム間予測における当該フレームの相対移動を表す動き情報を削除することを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記他階層加工手段は、前記上位階層データの前記指定領域内の、画像データを離散コサイン変換することによって生成されたＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）係数を削除することを特徴とする請求項１３に記載の画像処理装置。
【請求項１６】
前記他階層加工手段は、前記上位階層データの前記指定領域内の少なくとも一部のデータを他のデータと置き換えるデータ置換手段を備えることを特徴とする請求項１２に記載の画像処理装置。
【請求項１７】
前記データ置換手段は、前記上位階層データの前記指定領域内の少なくとも一部のデータを予め定められた符号パタンに置き換えることを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記データ置換手段は、前記上位階層データの前記指定領域内の少なくとも一部のデータをブロック符号化データに基づいて生成される符号パタンに置き換えることを特徴とする請求項１６に記載の画像処理装置。
【請求項１９】
コンピュータに、
画像データを構成する複数の階層データのうち所定の階層データの一部である指定領域を加工処理する領域加工手段と、
前記指定領域を加工した前記所定の階層データと他の階層データとを多重化する多重化手段と、を実現させるためのプログラム。
【請求項２０】
コンピュータに
前記階層データのうち原画像に対して低品質な画像を表す下位階層データを前記所定の階層データとし、当該下位階層データの一部である前記指定領域を加工する領域加工処理を実現させることを特徴とする請求項１９に記載のプログラム。
【請求項２１】
コンピュータに、
前記階層データのうち前記領域加工手段にて加工処理しない前記他の階層データの前記指定領域を加工処理する他階層加工手段をさらに実現させるための請求項１９又は２０に記載のプログラム。
【請求項２２】
コンピュータに
前記下位階層データに対する追加データを含む上位階層データを前記他の階層データとし、当該上位階層データの一部である前記指定領域を加工する他階層加工処理を実現させることを特徴とする請求項２１に記載のプログラム。
【請求項２３】
画像データを構成する複数の階層データのうち所定の階層データの一部である指定領域を加工処理する領域加工工程と、
前記指定領域を加工した前記所定の階層データと他の階層データとを多重化する多重化工程と、を有することを特徴とする画像処理方法。
【請求項２４】
前記領域加工工程は、前記階層データのうち原画像に対して低品質な画像を表す下位階層データを前記所定の階層データとし、当該下位階層データの一部である前記指定領域を加工処理することを特徴とする請求項２３に記載の画像処理方法。
【請求項２５】
前記多重化工程の前に、前記階層データのうち前記領域加工工程にて加工処理しない前記他の階層データの前記指定領域を加工処理する他階層加工工程を有することを特徴とする請求項２３又は２４に記載の画像処理方法。
【請求項２６】
前記他階層加工工程は、前記下位階層データに対する追加データを含む上位階層データを前記他の階層データとし、当該上位階層データの一部である前記指定領域を加工処理することを特徴とする請求項２５記載の画像処理方法。
【請求項２７】
画像データを構成する複数の階層データのうち、所定の階層データの一部である指定領域を加工処理する領域加工手段と、
前記指定領域を加工した前記所定の階層データと他の階層データとを多重化する多重化手段と、を備えることを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置にかかり、特に、画像の一部に加工処理を施す画像処理装置に関する。
【背景技術】
【０００２】
撮影した画像データを第三者がアクセスできる場所に公開するにあたり、事前に撮影対象の一部に意図的にフィルタ処理を施す場合がある。例えば、公共の場で撮影したときの第三者の顔や乗用車のナンバープレート、あるいは、私的に屋内で撮影したときの背景画像など、被写体のプライバシーに影響をおよぼす映像は、被写体の許可が得られない場合に対象が判別できないよう処理する必要がある。また、公序良俗に反する映像は、倫理的な理由から処理する場合がある。具体的には、特定の撮影対象が判別できないようにすることを目的としたフィルタ処理として、劣化処理を行う場合がある。なお、以下では、劣化処理の対象となる映像内の部分領域を、注目領域と呼ぶことにする。【０００３】
上述した劣化処理としては、主に、ぼかしやモザイク化など元画像の概形を保つタイプと、単色での塗りつぶしや特定画像への置き換えなど元画像を完全に消去するタイプ、の２種類がある。そして、デジタルカメラとインターネットが普及し、個人的に撮影した映像を公開する機会が増大した今日においては、特に、注目領域への劣化処理を施した符号化データの生成を簡単かつ高速に行う技術の必要性が高まっている。【０００４】
ここで、注目領域に劣化処理を施した符号化データの生成方法の一つとして、符号化データのうち注目領域のデータを削除する、という方法がある。図１２は、この方法を用いる画像符号化データ変換処理の構成を示すブロック図である。この図に示す構成における画像符号化データ変換処理は、まず、入力となる画像符号化データＤ３０１を、ブロック符号化データ分割部３０１にて符号化単位となるブロック毎に分割して、符号変換部３０２に送る。そして、符号変換部３０２は、注目領域の位置を示す劣化領域情報Ｄ３０２を参照し、注目領域に含まれるブロックの符号化データに対し符号の削除や置き換えといった変換処理を施す。そして、生成された加工ブロック符号化データをブロック符号化データ部連結部３０３にて連結して、ピクチャの符号化データＤ３０３を生成する。【０００５】
ところが、上記処理は、高速に行える反面、元画像の概形を保ちつつ劣化させる処理は不可能である。また、劣化後の注目領域の映像が周囲と完全に不連続であるため、周囲の映像にも劣化の影響をおよぼすおそれがある。【０００６】
また、上述した注目領域に劣化処理を施した符号化データの生成方法の１つとして、映像に劣化処理を施した後に符号化する、という方法がある。ここで、図１３は、かかる方法を用いる画像符号化データ変換方法の構成を示すブロック図である。この方法では、まず、符号化データＤ４０１を画像復号部４０１にて復号した後、注目領域情報Ｄ４０２を参照して、注目領域加工部４０２にて復号画像の注目領域に劣化処理を施す。その後に、画像符号化部４０３にて符号化を行う（Ｄ４０３）。この方法によると、元画像の概形を保つタイプの劣化処理が可能である。同様に特許文献１は、注目領域をモザイク処理する技術を開示している。【０００７】
【特許文献１】特開２００３−８７６３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところが、上述した、元画像の概形を保つタイプの一般的な劣化処理を施した場合には、符号化データ生成において処理量が膨大になる、という問題があった。例えば、上記図１３を用いて説明した画像符号化データ変換方法の場合には、符号化データを一旦復号した後に再符号化する必要がある。また、注目領域の面積が大きい場合に、劣化処理にも相応の処理量を必要とする。【０００９】
このため、本発明の目的は、上述した課題である、一部の領域に加工処理を施す画像処理を高速に行うことにある。
【課題を解決するための手段】
【００１０】
そこで、本発明の一形態である画像処理装置は、
画像データを構成する複数の階層データのうち、所定の階層データの一部である指定領域を加工処理する領域加工手段と、
指定領域を加工した所定の階層データと他の階層データとを多重化する多重化手段と、を備えた、という構成を採る。
【発明の効果】
【００１１】
本発明は、以上のように構成されることにより、画像内における指定領域の認識が不可能となり、当該指定領域の秘匿性を確保することができる。このとき、指定領域以外は劣化していないため、画像全体としては、概形を保つことができる。そして、特に、特定の階層データにおいてのみ指定領域の処理を行っているため、処理量の低減を図ることができ、画像処理の高速化を図ることができる、という従来にない優れた効果を有する。
【図面の簡単な説明】
【００１２】
【図１】実施形態１における画像処理装置の構成を示すブロック図である。
【図２】図１に開示した画像加工部の構成を示すブロック図である。
【図３】図２に開示した符号変換部の構成を示すブロック図である。
【図４】画像データの構成の一例を示す図である。
【図５】画像処理装置の動作を示すフローチャートである。
【図６】画像処理装置の動作の一部である画像加工処理の動作を示すフローチャートである。
【図７】画像処理装置の動作の一部である画像加工処理の動作を示すフローチャートである。
【図８】実施形態２における画像加工部の構成を示すブロック図である。
【図９】実施形態２における画像処理装置の動作の一部である画像加工処理の動作を示すフローチャートである。
【図１０】実施形態２における画像処理装置の動作の一部である画像加工処理の動作を示すフローチャートである。
【図１１】実施形態３における画像加工部の構成を示すブロック図である。
【図１２】本発明に関連する画像処理装置の構成を示すブロック図である。
【図１３】本発明に関連する画像処理装置の構成を示すブロック図である。
【符号の説明】
【００１３】
１  画像処理装置
２  表示部
３  入力部
４  画像出力部
５  領域指定部
６，１００，２００  画像加工部
７  画像データ記憶部
１１  逆多重化部
１２，４０１  画像復号部
１３，１０２，４０２  注目領域加工部
１４，１０３，４０３  画像符号化部
１５，３０１  ブロック符号化データ分割部
１６，３０２  符号変換部
１７，１０９，３０３  ブロック符号化データ連結部
１８，１０４，２０３多重化部
２１，２４，１０５，１０８  切替部
２２  符号化データ削除部
２３  符号化データ変更部
１０１  解像度変換部
１０６  画像ブロック符号化部
１０７  注目領域符号化データ生成部
２０１  下位階層加工部
２０２  上位階層加工部
【発明を実施するための最良の形態】
【００１４】
本発明の一形態である画像処理装置は、画像データを構成する複数の階層データのうち所定の階層データの一部である指定領域を加工処理する領域加工手段と、指定領域を加工した所定の階層データと他の階層データとを多重化する多重化手段と、を備えた、という構成を採る。【００１５】
そして、画像処理装置は、予め複数に階層符号化された画像データから、複数の階層データに分割する逆多重化手段を備える。あるいは、画像処理装置は、画像データから複数の階層データを生成する階層データ生成手段を備える。【００１６】
また、上記領域加工手段は、階層データのうち原画像に対して低品質な画像を表す下位階層データを所定の階層データとし、当該下位階層データの一部である指定領域を加工処理する、という構成を採る。つまり、上記画像処理装置は、画像データを構成する複数の階層データのうち、原画像に対して低品質な画像を表す下位階層データの一部である指定領域を加工処理する領域加工手段と、指定領域を加工した下位階層データと他の階層データとを多重化する多重化手段と、を備えた、という構成を採る。そして、上記領域加工手段は、指定領域の画質が劣化するよう加工処理する、という構成を採る。例えば、領域加工手段は、指定領域をローパスフィルタ処理する、モザイク処理する、指定領域内の画像信号の少なくとも一部を異なる信号に置き換えるよう処理する、などの処理を行う。【００１７】
上記発明によると、まず、階層化された、あるいは、各階層が生成された画像データの各階層データのうち、所定の階層データの指定領域のみを、認識が不可能なよう加工処理する。例えば、ローパスフィルタ、モザイク処理、信号の置き換えなど、指定領域の画質が劣化するよう加工処理する。その後、この加工処理した階層データと他の階層データとを多重化して、階層化された画像データを生成する。これにより、画像内の指定領域の認識が不可能となり、当該指定領域の秘匿性を確保することができる。このとき、指定領域以外は劣化していないため、画像全体としては、概形を保つことができる。さらに、全ての階層データに対して復号処理、加工処理、符号化処理などの処理を施す必要は無く、特定の階層データにおいてのみ指定領域の処理を行えばよいため、処理量の低減を図ることができる。その結果、画像処理の高速化を図ることができる。特に、低品質な下位階層データの指定領域が劣化するよう加工処理を行うことで、さらに指定領域の認識が不可能となるよう劣化させることができると共に、さらなる処理量の低減を図ることができる。【００１８】
また、上記画像処理装置は、階層データのうち、領域加工手段にて加工処理しない他の階層データの指定領域を加工処理する他階層加工手段を備えた、という構成を採る。そして、上記他階層加工手段は、下位階層データに対する追加データを含む上位階層データを他の階層データとし、当該上位階層データの一部である指定領域を加工処理する、という構成を採る。つまり、上記画像処理装置は、画像データを構成する複数の階層データのうち、原画像に対して低品質な画像を表す下位階層データの一部である指定領域を加工処理する領域加工手段と、階層データのうち、下位階層データに対する追加データを含む上位階層データの一部である指定領域を加工処理する他階層加工手段と、指定領域を加工した下位階層データと上位階層データとを多重化する多重化手段と、を備えた、という構成を採る。【００１９】
このとき、上記他階層加工手段は、上位階層データの指定領域内の少なくとも一部のデータを削除する。例えば、他階層加工手段は、上位階層データの指定領域内の、画像データの前後のフレームに基づくフレーム間予測における当該フレームの相対移動を表す動き情報を削除したり、画像データを離散コサイン変換することによって生成されたＤＣＴ係数を削除する、という構成を採る。【００２０】
また、上記他階層加工手段は、上位階層データの指定領域内の少なくとも一部のデータを他のデータと置き換える。例えば、他階層加工手段は、上位階層データの指定領域内の、画像データの符号化における予測方法を表す情報を、下位階層データに基づいて符号化する階層間予測を指定する情報に置き換える、という構成を採る。【００２１】
これにより、上述した下位階層データ以外に、他の階層である、例えば下位階層に対する追加データを含む上位階層データの指定領域を加工することで、より画像内における指定領域の認識が不可能となり、画像の秘匿性を確保することができる。さらに、指定領域以外は劣化していないため、画像全体としては、概形も保つことができる。【００２２】
また、本発明の他の形態であるプログラムは、コンピュータに、画像データを構成する複数の階層データのうち所定の階層データの一部である指定領域を加工処理する領域加工手段と、指定領域を加工した所定の階層データと他の階層データとを多重化する多重化手段と、を実現させる、という構成を採る。そして、上記領域加工手段は、階層データのうち原画像に対して低品質な画像を表す下位階層データを前記所定の階層データとし、当該下位階層データの一部である指定領域を加工処理する、という構成を採る。つまり、上記プログラムは、コンピュータに、画像データを構成する複数の階層データのうち、原画像に対して低品質な画像を表す下位階層データの一部である指定領域を加工処理する領域加工手段と、指定領域を加工した下位階層データと他の階層データとを多重化する多重化手段と、を実現させる、という構成を採る。【００２３】
また、上記プログラムは、さらに、コンピュータに、階層データのうち領域加工手段にて加工処理しない他の階層データの指定領域を加工処理する他階層加工手段、を実現させる、という構成を採る。そして、上記他階層加工手段は、下位階層データに対する追加データを含む上位階層データを他の階層データとし、当該上位階層データの一部である指定領域を加工処理する、という構成を採る。つまり、上記プログラムは、コンピュータに、画像データを構成する複数の階層データのうち、原画像に対して低品質な画像を表す下位階層データの一部である指定領域を加工処理する領域加工手段と、階層データのうち、下位階層データに対する追加データを含む上位階層データの一部である指定領域を加工処理する他階層加工手段と、指定領域を加工した下位階層データと上位階層データとを多重化する多重化手段と、を実現させる、という構成を採る。【００２４】
また、本発明の他の形態である画像処理方法は、画像データを構成する複数の階層データのうち所定の階層データの一部である指定領域を加工処理する領域加工工程と、指定領域を加工した所定の階層データと他の階層データとを多重化する多重化工程と、を有する、という構成を採る。そして、上記領域加工工程は、階層データのうち原画像に対して低品質な画像を表す下位階層データを所定の階層データとし、当該下位階層データの一部である指定領域を加工処理する、という構成を採る。つまり、上記画像処理方法は、画像データを構成する複数の階層データのうち、原画像に対して低品質な画像を表す下位階層データの一部である指定領域を加工処理する領域加工工程と、指定領域を加工した下位階層データと他の階層データとを多重化する多重化工程と、を有する、という構成を採る。【００２５】
また、上記画像処理方法は、多重化工程の前に、階層データのうち領域加工工程にて加工処理しない他の階層データの指定領域を加工処理する他階層加工工程を有する、という構成を採る。そして、上記他階層加工工程は、下位階層データに対する追加データを含む上位階層データを他の階層データとし、当該上位階層データの一部である指定領域を加工処理する、という構成を採る。つまり、上記画像処理方法は、画像データを構成する複数の階層データのうち、原画像に対して低品質な画像を表す下位階層データの一部である指定領域を加工処理する領域加工工程と、この領域加工工程に前後して、階層データのうち、下位階層データに対する追加データを含む上位階層データの一部である指定領域を加工処理する他階層加工工程と、指定領域を加工した下位階層データと上位階層データとを多重化する多重化工程と、を有する、という構成を採る。【００２６】
以下、本発明である上述した画像処理装置、プログラム、画像処理方法の一例を、実施形態にて説明する。【００２７】
＜実施形態１＞
本発明の第１の実施形態を、図１乃至図７を参照して説明する。図１乃至図３は、画像処理装置の構成を示すブロック図である。図４は、画像データの構成を示す図である。図５乃至図７は、画像処理装置の動作を示すフローチャートである。【００２８】
［構成］
本発明である画像処理装置は、一般的なコンピュータに本発明であるプログラムが組み込まれることで実現される。ここで、本実施形態における画像処理装置１の構成を、図１乃至図３を参照して説明する。【００２９】
まず、図１に示すように、画像処理装置１は、画像データ等を表示するディスプレイといった表示部２と、操作者がデータの入力を行うキーボードやマウスといった入力部３と、を備えている。また、ＣＰＵといった演算装置（図示せず）は、所定のプログラムが組み込まれることによって実現された、画像出力部４と、領域指定部５と、画像加工部６と、を備えている。さらに、ハードディスクなどの記憶装置（図示せず）は、処理対象となる画像データを記憶する画像データ記憶部７を備えている。【００３０】
上記画像出力部４は、操作者からの指令に応じて画像データ記憶部７に記憶されている画像データを読み出して、表示部２に表示出力する。例えば、操作者が処理対象となる画像データを選択する際に、種々の画像データを表示させる指令を入力することで、表示部２に画像データを表示する。また、領域指定部５は、画像データの一部である所定の領域の指定を、入力部３から受け付けて画像加工部６に渡す。例えば、操作者は、表示部２に表示させた画像データ内で、意図的に認識を不可能にしたい領域を指定する情報を、キーボードやマウスなどの入力部３から入力する。すると、領域指定部５は、受け付けた領域を指定するデータを、画像データの注目領域情報として受け付けて、画像加工部６に渡す。【００３１】
そして、画像加工部６は、画像データ記憶部７から画像データを読み出し、上記注目領域情報にて指定された注目領域（指定領域）の認識が不可能となるよう画像処理を行う。かかる処理を行うために、画像加工部６は、図２に示すように、逆多重化部１１と、画像復号部１２と、注目領域加工部１３と、画像符号化部１４と、ブロック符号化データ分割部１５と、符号変換部１６と、ブロック符号化データ連結部１７と、多重化部１８と、を備えている。さらに、上記符号変換部１６は、図３に示すように、一対の切り替え部２１，２４と、符号化データ削除部２２と、符号化データ変更部２３と、を備えている。以下、各構成について詳述する。【００３２】
図２に示す逆多重化部１１（逆多重化手段）は、処理対象となる予め階層符号化され、複数の階層データからなる画像符号化データＤ１を各階層データに分割する。ここで、階層符号化とは、低品質な信号から高品質な信号へと段階的に品質をあげて符号化する技術である。これにより、画像における階層符号化では、データの追加と削除のみで、解像度やビットレートやフレームレートを即時かつ簡単に変換することができる。【００３３】
具体的に、本実施形態における画像符号化データＤ１は、図４（ａ）に示すように、低品質な画像データである下位階層符号化データＤ３（下位階層データ（所定の階層データ））と、この低品質な画像データに対する追加データである上位階層符号化データＤ７（上位階層データ（他の階層データ））と、からなる。この下位階層符号化データＤ３を復号すると、図４（ｂ）に示すように、低解像度画像Ｐ１を得ることができる。また、下位階層符号化データＤ３と上位階層符号化データＤ７とをあわせて復号すると、図４（ｃ）に示すように、高解像度画像Ｐ１０を得ることができる。なお、階層符号化の具体例として、ＩＳＯ/ＩＥＣの定めた国際標準化規格技術であるＭＰＥＧ‐２  Ｓｃａｌａｂｌｅ、ＭＰＥＧ‐４  ＦＧＳ、Ｈ.２６４／ＡＶＣ  Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇがある。また、ＪＰＥＧ２０００でも用いられているウェーブレットビデオ符号化がある。以下、本実施形態では、解像度が異なる複数階層からなる空間階層符号化における画像符号化データにおける変換手段および符号化について示す。なお、本発明は、ビットレートやフレームレートといった他の画像品質に関わる階層符号化にも適用可能である。【００３４】
以上のように画像符号化データＤ１は構成されているため、逆多重化部１１は、画像符号化データＤ１を、下位階層符号化データＤ３と上位階層符号化データＤ７とに分割する。そして、逆多重化部１１は、下位階層符号化データＤ３を画像復号部１２に渡し、上位階層符号化データＤ７をブロック符号化データ分割部１５に渡す。以下では、まず、下位階層符号化データＤ３の処理について説明する。【００３５】
図２に示す画像復号部１２は、下位階層符号化データＤ３を復号して、下位階層復号画像Ｄ４を生成する。また、上記注目領域加工部１３（領域加工手段）は、上述した領域指定部５から通知された注目領域情報Ｄ２に対応する、下位階層復号画像データＤ４の一部である注目領域に劣化処理を施す。ここで、劣化処理として、例えば、注目領域をローパスフィルタ処理してぼかしたり、モザイク化するなど、元画像の概形を保ちつつ、劣化させる処理を行う。但し、注目領域の全部又は一部を単色で塗りつぶしたり、特定画像に置き換えるといった、画像信号を他の信号に置き換えるなど、元画像を完全に消去するタイプの処理を行ってもよい。【００３６】
その後、注目領域加工部１３は、劣化処理の行われた加工画像データＤ５を画像符号化部１４に渡す。そして、画像符号化部１４は、加工画像データＤ５を符号化し、加工下位階層符号化データＤ６を生成して、多重化部１８に出力する。【００３７】
次に、逆多重化部１１で分割された上位階層符号化データＤ７の処理について説明する。まず、上記ブロック符号化データ分割部１５は、上位階層符号化データＤ７を符号化単位となるブロック単位にデータを分割してブロック符号化データＤ８を生成し、符号変換部１６に渡す。【００３８】
上記符号変換部１６（他階層加工手段）は、上述した領域指定部５から通知された注目領域情報Ｄ２に対応する注目領域を含むブロックを加工して、加工ブロック符号化データＤ９を生成する。ここで、符号変換部１６の構成について、さらに図３を参照して説明する。【００３９】
図３に示す切替部２１は、上述した領域指定部５から通知された注目領域情報Ｄ２を参照し、ブロック符号化データＤ７のうち注目領域に含まれているブロックについては、符号化データ削除部２２に出力する。一方、注目領域が含まれていないブロックについては、切替部２１，２４を介して、そのまま加工ブロック符号化データＤ９として、ブロック符号化データ連結部１７に出力する。【００４０】
そして、上記符号化データ削除部２２は、注目領域のブロック符号化データＤ２１に対して、その一部もしくは全てを削除する。ここで、一般的な動画像符号化手法では、前後のフレームを参照して符号化するフレーム間予測と、同一フレーム内の周囲信号を参照して符号化するフレーム内予測とを、符号化単位となるブロック単位で切り替えて行う。従って、ブロック符号化データＤ２１は、ブロックの予測方法を表す符号化モード、フレーム間予測の場合にフレームの相対移動を表す動き情報、信号をＤＣＴ変換（離散コサイン変換）した後に量子化する量子化ステップ、量子化後のＤＣＴ係数情報、ピクチャ先頭に付随されるピクチャサイズなどを示すヘッダ情報を含んでいる。また、階層符号化の場合には、さらにフレーム間予測とフレーム内予測とのそれぞれに下位階層の情報を参照する階層間予測モードが存在する。そして、上記符号化データ削除部２２は、上述した注目領域加工部１３の行う劣化処理に対応して、上記ＤＣＴ係数情報の削除や、動き情報の削除など、特定のブロック符号化データ内の情報の削除を行う。【００４１】
また、上記符号化データ変更部２３は、所定の情報を削除したブロック符号化データＤ２２に対し、その一部もしくは全ての符号の置き換えを行う。置き換え後の符号としては、例えば、予め定めた符号パタン、あるいは、ブロック符号化データＤ８に基づいて生成する符号パタン、がある。前者の予め定めた符号パタンの例としては、符号化モードを階層間予測モードに変更する、符号化モードをフレーム内予測（イントラ）とし黒、白、グレーなど固定の映像パタンの係数情報に変更する、がある。また、後者のブロック符号化データＤ８に基づいて生成する符号パタンの例としては、動き情報を周囲ブロックから得られる予測値に変更する、などが考えられる。他の符号置き換えとしては、注目領域とそれ以外の領域との映像の連続性を保つためのブロック境界平滑化処理（デブロッキング）に対し、その強さを増大させるようヘッダ情報もしくは量子化ステップの情報を変更することも考えられる。なお、注目領域の加工ブロック符号化データの一つの実施例として、階層間予測モードを設定し、残差成分のＤＣＴ係数情報をすべて０としたものがあげられる。このようにして、符号変換部１６にて処理された加工ブロック符号化データＤ２３は、切替部２４からブロック符号化データ連結部１７に出力される（符号Ｄ９）。【００４２】
そして、上記ブロック符号化データ連結部１７は、符号変換部１６の出力する加工ブロック符号化データＤ９を連結し、１フレーム分の符号化データである加工上位階層符号化データＤ１０を生成する。そして、多重化部１８に出力する。【００４３】
多重化部１８（多重化手段）は、上述した下位階層符号化データＤ３を加工処理した加工下位階層符号化データＤ６と、上述した上位階層符号化データＤ７を加工処理した加工上位階層符号化データＤ１０と、を多重化し、階層化された加工画像符号化データＤ１１を生成する。そして、多重化部１８は、生成された加工画像符号化データＤ１１を画像データ記憶部７に記憶しておく。場合によっては、上述した画像出力部４が加工画像符号化データＤ１１を表示部に出力することで、操作者は画像の加工状態を確認することができる。【００４４】
［動作］
次に、上記構成の画像処理装置１の動作を、図５乃至図７のフローチャートを参照して説明する。まず、操作者が画像の加工を行う場合には、入力部３から画像表示の指令を入力する。すると、画像処理装置１は、画像データ記憶部７に記憶されている画像データを読み出して、表示部２に表示出力する（ステップＳ１）。【００４５】
続いて、操作者は、入力部３から入力することで、目的の画像を選択する。そして、その画像データの一部である注目領域の指定を、入力部３から行う。これを受けた領域指定部５は、画像データを特定する情報と共に、注目領域情報Ｄ２を画像加工部６に通知する（ステップＳ２）。これにより、画像データの加工処理に移行する（ステップＳ３）。画像データの加工処理については、図６及び図７を参照して説明する。【００４６】
画像加工部６は、まず、画像データ記憶部７から画像データである画像符号化データＤ１を読み出す。そして、逆多重化部１１が、画像符号化データＤ１を下位階層符号化データＤ３と上位階層符号化データＤ７とに分割する（ステップＳ１１）。そして、下位階層符号化データＤ３を画像復号部１２に渡し、当該下位階層符号化データＤ３を処理する（ステップＳ１２でイエス）。なお、上位階層符号化データＤ７はブロック符号化データ分割部１５に渡し、別途処理する。【００４７】
そして、上記画像復号部１２は、下位階層符号化データＤ３を復号して（ステップＳ１３）、下位階層復号画像データＤ４を生成する。また、上記注目領域加工部１３は、上述した領域指定部５から通知された注目領域情報Ｄ２に対応する、下位階層復号画像データＤ４の一部である注目領域に劣化処理（例えば、ローパスフィルタ処理、モザイク処理、他データへの置き換え）を施す（ステップＳ１４、領域加工工程）。続いて、画像符号化部１４が、劣化処理の行われた加工画像データＤ５を符号化し、加工下位階層符号化データＤ６を生成して、多重化部１８に出力する（ステップＳ１５）。【００４８】
一方、逆多重化部１１で分割した上位階層符号化データＤ７は（ステップＳ１２でノー、図７へ進む）、まず、上記ブロック符号化データ分割部１５が、上位階層符号化データＤ７を符号化単位となるブロック単位にデータを分割してブロック符号化データＤ８を生成し、符号変換部１６に渡す（ステップＳ２１）。そして、上記符号変換部１６が、領域指定部５から通知された注目領域情報Ｄ２に対応する注目領域を含むブロックを加工して、加工ブロック符号化データＤ９を生成する（他階層加工工程）。具体的には、図３に示す切替部２１が、上述した領域指定部５から通知された注目領域情報Ｄ２を参照し、ブロック符号化データＤ７が注目領域に含まれているブロックについては、ブロック符号化データＤ７を符号化データ削除部２２に出力する（ステップＳ２２でイエス）。一方、注目領域が含まれていないブロックについては、切替部２１，２４を介して、そのまま加工ブロック符号化データＤ２４、Ｄ９として、ブロック符号化データ連結部１７に出力する（ステップＳ２２でノー）。【００４９】
続いて、上記符号化データ削除部２２は、注目領域のブロック符号化データＤ２１に対して、その一部もしくは全てを削除する（ステップＳ２３）。例えば、符号化データ削除部２２は、上述した注目領域加工部１３の行う劣化処理に対応して、上記ＤＣＴ係数情報の削除や、動き情報の削除など、特定のブロック符号化データの削除を行う。また、上記符号化データ変更部２３は、削除後のブロック符号化データＤ２２に対し、その一部もしくは全ての符号の置き換えを行う（ステップＳ２４）。置き換え後の符号としては、例えば、予め定めた符号パタン、あるいは、ブロック符号化データＤ８に基づいて生成する符号パタン、の２種類がある。【００５０】
このようにして加工された加工ブロック符号化データＤ２３は、切替部２４からブロック符号化データ連結部１７に出力される（Ｄ９）。続いて、ブロック符号化データ連結部１７は、符号変換部１６の出力する加工ブロック符号化データＤ９（Ｄ２３，Ｄ２４）を連結し、１フレーム分の符号化データである加工上位階層符号化データＤ１０を生成して、多重化部１８に出力する（ステップＳ２５）。【００５１】
その後、多重化部１８は、上述した下位階層符号化データＤ３を加工処理した加工下位階層符号化データＤ６と、上述した上位階層符号化データＤ７を加工処理した加工上位階層符号化データＤ１０と、を多重化する（ステップＳ１６、多重化工程）。そして、階層化された加工画像符号化データＤ１１を生成する。【００５２】
そして、操作者は、必要に応じて、加工処理を施した加工画像符号化データＤ１１の表示指令を入力することで、画像処理装置は加工画像符号化データＤ１１を表示部２に表示する。これにより、操作者は、加工状態を確認することができる。【００５３】
以上のように、本実施形態では、全ての階層データに対して復号処理、加工処理、符号化処理などの処理を施すことなく、下位階層符号化データＤ３のみを復号、加工、符号化しているため、処理量が極めて少なく、高速に処理を実行することができる。このとき、低品質な下位階層符号化データＤ３をさらに劣化させているため、当該劣化させた注目領域内の認識が不可能となり、当該指定領域の秘匿性を確保することができる。さらに、注目領域以外は劣化していないため、画像全体としては、概形を保つことができる。【００５４】
従って、撮影した画像データを第三者がアクセスできる場所に公開する場合に、事前に撮影対象の一部に容易かつ高速に、意図的にフィルタ処理を施すことができる。例えば、公共の場で撮影した画像内の第三者の顔や乗用車のナンバープレート、あるいは、私的に屋内で撮影したときの背景画像など、被写体のプライバシーに影響をおよぼす映像を、容易かつ迅速に加工処理することができる。【００５５】
＜実施形態２＞
次に、本発明の第２の実施形態を、図８乃至図１０を参照して説明する。図８は、画像処理装置の構成を示すブロック図であり、図９乃至図１０は、画像処理装置の動作を示すフローチャートである。【００５６】
［構成］
本実施形態における画像処理装置は、上記実施形態１で説明したものとほぼ同様の構成を採っている。但し、本実施形態では、画像処理装置に入力される画像データが、符号化されていない入力画像データＤ１０１（例えば、図４（ｃ）参照）であるため、当該入力画像データＤ１０１を処理可能なよう画像加工部１００は構成されている。本実施形態における画像処理装置の画像加工部１００は、所定のプログラムが組み込まれることによって実現される、解像度変換部１０１と、注目領域加工部１０２と、画像符号化部１０３と、多重化部１０４と、切替部１０５，１０８と、画像ブロック符号化部１０６と、注目領域符号化データ生成部１０７と、ブロック符号化データ連結部１０９と、を備えている。以下、各構成について詳述する。【００５７】
解像度変換部１０１は、符号化されていない入力画像データＤ１０１に対して縮小処理を行い、下位階層画像データＤ１０３を生成する。この下位階層画像データＤ１０３は、上述した実施形態１の画像復号部１２で復号したデータに相当するものである。そして、注目領域加工部１０２及び画像符号化部１０３は、上述した実施形態１で説明したものと同様に作動する。つまり、注目領域加工部１０３は、領域指定部５から通知された注目領域情報Ｄ１０２を参照して、下位階層画像Ｄ１０３の注目領域に劣化処理を施す。また、画像符号化部１０３は、注目領域加工部１０３が生成した加工下位階層画像データＤ１０４を符号化し、加工下位階層符号化データＤ１０５を生成して、多重化部１０４に渡す。【００５８】
また、切替部１０５は、入力画像Ｄ１０１を入力とし、注目領域情報Ｄ１０２を参照して、符号化単位となるブロックごとに、画像ブロック符号化部１０６もしくは注目領域符号化データ生成部１０７に出力を切り替える。このとき、注目領域が含まれないブロックについては、画像ブロック符号化部１０６が入力画像ブロックＤ１０６を符号化し、ブロック符号化データＤ１０７を生成する。一方、注目領域に含まれるブロックについては、注目領域符号化データ生成部１０７が、注目領域加工部１０２の行う劣化処理に対応した符号化データを、加工ブロック符号化データＤ１０８として出力する。例えば、注目領域符号化データ生成部１０７は、注目領域のブロックに対しては、下位階層の符号化モードおよび動き情報をそのままスケーリングするよう符号化モードを選択し、ＤＣＴ係数をすべて０として符号を生成する。そして、ブロック符号化データ連結部１０９は、画像ブロック符号化部１０６の生成するブロック符号化データＤ１０７および注目領域符号化データ生成部１０７の生成する加工ブロック符号化データＤ１０９を順次連結して、１ピクチャの符号化データである加工上位階層符号化データＤ１１１を生成する。【００５９】
そして、上記多重化部１０４（多重化手段）は、実施形態１の場合と同様に、加工下位階層符号化データＤ１０５および加工上位階層符号化データＤ１１１とを多重化し、加工画像符号化データＤ１１２を出力する。【００６０】
以上のように、上述した画像加工部１００は、入力画像データＤ１０１から複数の階層データを生成する階層データ生成手段として機能すると共に、下位階層の注目領域を加工処理する領域加工手段と、上位階層の注目領域を加工する他階層加工手段と、しても機能する。【００６１】
［動作］
次に、本実施形態における画像処理装置の動作を、図９乃至図１０を参照して説明する。まず、操作者が処理対象となる画像データを選択して、注目領域を指定する動作は、実施形態１にて図５を参照して説明した動作と同様であるので、その説明は省略する。従って、画像加工部１００にて入力画像データＤ１０１を処理するときの動作を説明する。【００６２】
まず、解像度変換部１０１は、入力画像データＤ１０１に対して縮小処理を行い、下位階層画像データＤ１０３を生成する（ステップＳ１０１）。続いて、この下位階層画像Ｄ１０３に対しては（ステップＳ１０２でイエス）、注目領域加工部１０２が、注目領域情報Ｄ１０２を参照し、注目領域に劣化処理を施す（ステップＳ１０３）。その後、画像符号化部１０３は、注目領域加工部１０２が生成した加工下位階層画像データＤ１０４を符号化し、加工下位階層符号化データＤ１０５を生成する（ステップＳ１０４）。【００６３】
一方、切替部１０５は（ステップＳ１０２でノー）、入力画像データＤ１０１を入力とし、注目領域情報Ｄ１０２を参照して、符号化単位となるブロックごとに、画像ブロック符号化部１０６もしくは注目領域符号化データ生成部１０７に出力を切り替える（ステップＳ１１１）。ブロックが注目領域に含まれない場合（ステップＳ１１１でノー）、画像ブロック符号化部１０６は入力画像ブロックＤ１０６を符号化し（ステップＳ１１３）、ブロック符号化データＤ１０７を生成する。ブロックが注目領域に含まれる場合（ステップＳ１１１でイエス）、注目領域符号化データ生成部１０７は注目領域加工部１０２の行う劣化処理に対応して、加工処理を施した符号化データを加工ブロック符号化データ（Ｄ１０９）として出力する（ステップＳ１１２）。【００６４】
その後、ブロック符号化データ連結部１０９は、画像ブロック符号化部１０６の生成するブロック符号化データＤ１０７および注目領域符号化データ生成部１０７の生成する加工ブロック符号化データＤ１０９を順次連結して、１ピクチャの符号化データである加工上位階層符号化データＤ１１１を生成する（ステップＳ１１４）。【００６５】
そして、多重化部１０４は、加工下位階層符号化データＤ１０５および加工上位階層符号化データＤ１１１を多重化し（ステップＳ１０５）、加工画像符号化データＤ１１２を出力する。【００６６】
以上のように、本実施形態の構成であっても、全ての階層データに対して加工処理、符号化処理、などの処理を施すことなく、下位階層画像データＤ１０３のみを加工、符号化しているため、処理量が極めて少なく、高速に処理を実行することができる。このとき、低品質な下位階層画像データＤ１０３をさらに劣化させているため、当該劣化させた注目領域内の認識が不可能となり、当該指定領域の秘匿性を確保することができる。さらに、注目領域以外は劣化していないため、画像全体としては、概形を保つことができる。【００６７】
＜実施形態３＞
次に、本発明の第３の実施形態を、図１１を参照して説明する。図１１（ａ），（ｂ），（ｃ）は、それぞれ画像処理装置が備える画像加工部２００の構成の概略を示すブロック図である。【００６８】
まず、図１１（ａ）に示すように、本発明は、入力された画像データＤ２０１の下位階層データＤ２０２及び上位階層データＤ２０３の注目領域をそれぞれ加工する下位階層加工部２０１及び上位階層加工部２０２と、加工された下位階層データ及び上位階層データを多重化して出力Ｄ２０４する多重化部２０３と、を備えていればよい。このように、各階層に分けて加工処理することで、全ての階層データに対して加工処理等を施すことがないため、処理量が極めて少なく、高速に処理を実行することができる。【００６９】
また、上記では、画像データを構成する下位階層データ及び上位階層データの両方を加工処理する場合を例示しているが、必ずしも両階層データを処理することに限定されない。例えば、図１１（ｂ）に示すように、上位階層加工部を設けずに、下位階層加工部２０１にて下位階層データＤ２１２の注目領域のみを加工し、上位階層データＤ２１３は何ら処理を施さなくてもよい。かかる場合であっても、劣化処理した下位階層データにより、再生した画像は注目領域においては認識不可能となりうる。【００７０】
また、逆に、図１１（ｃ）に示すように、下位階層加工部を設けずに、上位階層加工部２０２にて上位階層データＤ２２３の注目領域のみを加工し、下位階層データＤ２２２は何ら処理を施さなくてもよい。かかる場合であっても、劣化処理した上位階層データにより、再生した画像は注目領域においては認識不可能となりうる。【００７１】
ここで、上記実施形態では、２階層から成る画像データに対する画像処理を示したが、３階層以上の階層からなる画像データに対しても適用可能である。この場合、最下位階層のデータもしくは複数の下位階層のデータに対して、上述した注目画像加工部１３，１０３の劣化処理を行う。なお、必要に応じて、上述した画像復号部１２や画像符号化部１４さらには解像度変換部１０１の処理を実行する。また、最下位以外の複数階層のデータ、一つもしくは複数の上位階層のデータに対しては、上述した符号変換部１６（符号化データ削除部２２、符号化データ変動部２３）、画像ブロック符号化部１０６及び注目領域符号化データ生成部１０７による処理を行う。なお、必要に応じて、上述したブロック符号化データ分割部１５、ブロック符号化データ連結部１７，１０９の処理を実行する。【００７２】
また、上記では、主に動画像の場合を一例に挙げて説明したが、静止画像符号化データに対しても適用可能である。【００７３】
さらに、上記では、注目領域情報は操作者が指定する場合を例示したが、他の方法にて注目領域を指定してもよい。例えば、画像データ内の人の顔部分を注目領域としたい場合には、画像内から顔部分を認識する技術を用いて自動的に顔部分を特定し、当該顔部分として特定した領域情報を上述した注目領域情報として利用してもよい。【００７４】
この出願は、２００７年１１月２２日に出願された日本出願特願２００７−３０２５２７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【００７５】
本発明は、撮影対象のプライバシーや倫理基準を守るための劣化処理を行う画像処理システムとして適用可能であり、さらに、そのような画像処理を施した画像データを配信する画像配信システムに適用可能である。
【図１】
2009066677.tif 000003
【図２】
2009066677.tif 000004
【図３】
2009066677.tif 000005
【図４】
2009066677.tif 000006
【図５】
2009066677.tif 000007
【図６】
2009066677.tif 000008
【図７】
2009066677.tif 000009
【図８】
2009066677.tif 000010
【図９】
2009066677.tif 000011
【図１０】
2009066677.tif 000012
【図１１】
2009066677.tif 000013
【図１２】
2009066677.tif 000014
【図１３】
2009066677.tif 000015
【国際調査報告】
2009066677.tif 000016
2009066677.tif 000017
2009066677.tif 000018
2009066677.tif 000019