(57)【特許請求の範囲】
【請求項１】
第１の解像度のデータがスケーラブルに符号化された、前記第１の解像度のコードストリームを処理する情報処理装置であって、
前記第１の解像度のコードストリームを、前記第１の解像度よりも低解像度の第２の解像度で復号し、得られた前記第２の解像度のベースバンドデータを用いて、編集を行う編集領域を設定する設定手段と、
前記第１の解像度のコードストリームの、前記設定手段により設定された前記編集領域の部分が前記第１の解像度で復号されたベースバンドデータである、第１の解像度の部分ベースバンドデータを作成する第１の作成手段と、
前記第１の作成手段により作成された前記第１の解像度の部分ベースバンドデータに対して編集処理を行う編集手段と、
前記編集手段により編集された前記第１の解像度の部分ベースバンドデータをスケーラブルに符号化し、前記編集領域のコードストリームである部分コードストリームを作成する第２の作成手段と、
前記第１の解像度のコードストリームの前記編集領域の部分を、前記第２の作成手段により作成された前記部分コードストリームに置換するコードストリーム置換手段と
を備える情報処理装置。
【請求項２】
前記第１の作成手段は、
前記第２の解像度のベースバンドデータより、前記編集領域の部分を抽出する第１の抽出手段と、
前記第１の解像度のコードストリームより、前記編集領域の部分を抽出する第２の抽出手段と、
前記第２の抽出手段により抽出された前記第１の解像度のコードストリームの前記編集領域の部分を復号する復号手段と、
前記第１の抽出手段により抽出された前記第２の解像度のベースバンドデータの前記編集領域の部分、並びに、前記復号手段により前記第１の解像度のコードストリームの前記編集領域の部分が復号されて得られた前記第１の解像度の各高周波成分のサブバンドの前記編集領域の部分を逆ウェーブレット変換することにより、前記第１の解像度の部分ベースバンドデータを作成する逆ウェーブレット変換手段と
を備える請求項１に記載の情報処理装置。
【請求項３】
前記編集手段は、前記第１の解像度の部分ベースバンドデータに含まれるノイズ成分を除去する編集を行う
請求項１に記載の情報処理装置。
【請求項４】
前記第２の作成手段は、
編集された前記第１の解像度の部分ベースバンドデータを第１の解像度でウェーブレット変換するウェーブレット変換手段と、
前記ウェーブレット変換手段によるウェーブレット変換処理により得られた、前記第１の解像度の各高周波成分のサブバンドの前記編集領域の部分を符号化する第１の符号化手段と、
前記設定手段により得られた前記第２の解像度のベースバンドデータの前記編集領域の部分を、前記ウェーブレット変換手段によるウェーブレット変換処理により得られた前記第１の解像度の低周波成分のサブバンドに含まれる前記第２の解像度のベースバンドデータの前記編集領域の部分に置換するベースバンドデータ置換手段と、
前記編集領域の部分が置換された前記第２の解像度のベースバンドデータを符号化する第２の符号化手段と
を備える請求項１に記載の情報処理装置。
【請求項５】
前記第２の作成手段は、
編集された前記第１の解像度の部分ベースバンドデータを第１の解像度でウェーブレット変換するウェーブレット変換手段と、
前記ウェーブレット変換手段によるウェーブレット変換処理により得られた、前記第１の解像度の各高周波成分のサブバンドの前記編集領域の部分を符号化する第１の符号化手段と、
前記ウェーブレット変換手段によるウェーブレット変換処理により得られた、前記第２の解像度のベースバンドデータの前記編集領域の部分を符号化する第２の符号化手段と
を備える請求項１に記載の情報処理装置。
【請求項６】
第１の解像度のデータがスケーラブルに符号化された、前記第１の解像度のコードストリームを処理する情報処理装置の情報処理方法であって、
前記第１の解像度のコードストリームを、前記第１の解像度よりも低解像度の第２の解像度で復号し、得られた前記第２の解像度のベースバンドデータを用いて、編集を行う編集領域を設定し、
前記第１の解像度のコードストリームの、設定された前記編集領域の部分が前記第１の解像度で復号された前記第１の解像度のベースバンドデータである、第１の解像度の部分ベースバンドデータを作成し、
作成された前記第１の解像度の部分ベースバンドデータに対して編集処理を行い、
編集された前記第１の解像度の部分ベースバンドデータをスケーラブルに符号化し、前記編集領域のコードストリームである部分コードストリームを作成し、
前記第１の解像度のコードストリームの前記編集領域の部分を、作成された前記部分コードストリームに置換する
ステップを含む情報処理方法。
【請求項７】
第１の解像度のデータがスケーラブルに符号化された、前記第１の解像度のコードストリームを処理するプログラムにおいて、
前記第１の解像度のコードストリームを、前記第１の解像度よりも低解像度の第２の解像度で復号し、得られた前記第２の解像度のベースバンドデータを用いて、編集を行う編集領域を設定する設定ステップと、
前記第１の解像度のコードストリームの、前記設定ステップの処理により設定された前記編集領域の部分が前記第１の解像度で復号された前記第１の解像度のベースバンドデータである、第１の解像度の部分ベースバンドデータを作成する第１の作成ステップと、
前記第１の作成ステップの処理により作成された前記第１の解像度の部分ベースバンドデータに対して編集処理を行う編集ステップと、
前記編集ステップの処理により編集された前記第１の解像度の部分ベースバンドデータをスケーラブルに符号化し、前記編集領域のコードストリームである部分コードストリームを作成する第２の作成ステップと、
前記第１の解像度のコードストリームの前記編集領域の部分を、前記第２の作成ステップの処理により作成された前記部分コードストリームに置換するコードストリーム置換ステップと
をコンピュータに実行させるプログラム。
【請求項８】
第１の解像度のデータがスケーラブルに符号化された、前記第１の解像度のコードストリームを処理する情報処理装置であって、
前記第１の解像度のコードストリームを、前記第１の解像度よりも低解像度の第２の解像度で復号し、得られた前記第２の解像度のベースバンドデータを用いて、編集を行う編集領域を設定する設定手段と、
前記第１の解像度のコードストリームに含まれる、前記第１の解像度の各高周波成分のサブバンドのコードストリームより、前記設定手段により設定された前記編集領域の部分を抽出する抽出手段と、
前記抽出手段により抽出された前記第１の解像度の各高周波成分のサブバンドのコードストリームの前記編集領域の部分、並びに、前記第２の解像度のベースバンドデータの前記編集領域の部分のそれぞれに対して編集処理を行う編集手段と、
前記編集手段により前記編集領域の部分が編集された前記第２の解像度のベースバンドデータをスケーラブルに符号化する符号化手段と、
前記第１の解像度のコードストリームの、前記第２の解像度のコードストリームの部分を、前記編集領域の部分が編集された前記第２の解像度のベースバンドデータが前記符号化手段によりスケーラブルに符号化された前記第２の解像度のコードストリームに置換し、さらに、前記第１の解像度のコードストリームに含まれる、前記第１の解像度の各高周波成分のサブバンドのコードストリームの、前記編集領域の部分を、前記編集手段により前記編集処理が行われた前記第１の解像度の各高周波成分のサブバンドのコードストリームの前記編集領域の部分に置換する置換手段と
を備える情報処理装置。
【請求項９】
前記編集手段は、前記第１の解像度の各高周波成分のサブバンドのコードストリームの前記編集領域の部分、並びに、前記第２の解像度のベースバンドデータの前記編集領域の部分のそれぞれに対して、ノイズ成分を除去する編集を行う
請求項８に記載の情報処理装置。
【請求項１０】
前記編集手段は、前記第１の解像度の各高周波成分のサブバンドのコードストリームの前記編集領域の部分を、所定の他のコードストリームと置換することにより、前記ノイズ成分を除去する
請求項９に記載の情報処理装置。
【請求項１１】
第１の解像度のデータがスケーラブルに符号化された、前記第１の解像度のコードストリームを処理する情報処理装置の情報処理方法であって、
前記第１の解像度のコードストリームを、前記第１の解像度よりも低解像度の第２の解像度で復号し、得られた前記第２の解像度のベースバンドデータを用いて、編集を行う編集領域を設定し、
前記第１の解像度のコードストリームに含まれる、前記第１の解像度の各高周波成分のサブバンドのコードストリームより、設定された前記編集領域の部分を抽出し、
抽出された前記第１の解像度の各高周波成分のサブバンドのコードストリームの前記編集領域の部分、並びに、前記第２の解像度のベースバンドデータの前記編集領域の部分のそれぞれに対して編集処理を行い、
前記編集領域の部分が編集された前記第２の解像度のベースバンドデータをスケーラブルに符号化し、
前記第１の解像度のコードストリームの、前記第２の解像度のコードストリームの部分を、前記編集領域の部分が編集された前記第２の解像度のベースバンドデータがスケーラブルに符号化された前記第２の解像度のコードストリームに置換し、さらに、前記第１の解像度のコードストリームに含まれる、前記第１の解像度の各高周波成分のサブバンドのコードストリームの、前記編集領域の部分を、前記編集処理が行われた前記第１の解像度の各高周波成分のサブバンドのコードストリームの前記編集領域の部分に置換する
ステップを含む情報処理方法。
【請求項１２】
第１の解像度のデータがスケーラブルに符号化された、前記第１の解像度のコードストリームを処理するプログラムにおいて、
前記第１の解像度のコードストリームを、前記第１の解像度よりも低解像度の第２の解像度で復号し、得られた前記第２の解像度のベースバンドデータを用いて、編集を行う編集領域を設定する設定ステップと、
前記第１の解像度のコードストリームに含まれる、前記第１の解像度の各高周波成分のサブバンドのコードストリームより、前記設定ステップの処理により設定された前記編集領域の部分を抽出する抽出ステップと、
前記抽出ステップの処理により抽出された前記第１の解像度の各高周波成分のサブバンドのコードストリームの前記編集領域の部分、並びに、前記第２の解像度のベースバンドデータの前記編集領域の部分のそれぞれに対して編集処理を行う編集ステップと、
前記編集ステップの処理により前記編集領域の部分が編集された前記第２の解像度のベースバンドデータをスケーラブルに符号化する符号化ステップと、
前記第１の解像度のコードストリームの、前記第２の解像度のコードストリームの部分を、前記編集領域の部分が編集された前記第２の解像度のベースバンドデータが前記符号化ステップの処理によりスケーラブルに符号化された前記第２の解像度のコードストリームに置換し、さらに、前記第１の解像度のコードストリームに含まれる、前記第１の解像度の各高周波成分のサブバンドのコードストリームの、前記編集領域の部分を、前記編集ステップの処理により前記編集処理が行われた前記第１の解像度の各高周波成分のサブバンドのコードストリームの前記編集領域の部分に置換する置換ステップと
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、並びにプログラムに関し、特に、スケーラブルに符号化されたコードストリームの編集処理をより容易に行うことができるようにした情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、映画の製作、配給、および上映において、フィルムの代わりにデジタルデータを用いるデジタルシネマの普及が推進されており、米国映画配給主要会社７社で構成されるDCI（Digital Cinema Initiative）等の標準化団体により、規格の仕様の策定が行われている。
【０００３】
例えば、DCIで策定されたDCI規格では、画像の解像度として４Ｋ（4,096×2,160画素）と２Ｋ（2,048×1,080画素）の２つが定義され、映像圧縮には、複数の解像度で復号することができるように（スケーラブルに）符号化するJPEG2000（Joint Photographic Experts Group 2000）が利用されることが決められている（例えば、特許文献１参照）。
【０００４】
デジタルシネマ制作のワークフローにおいて、フィルムからスキャンされた画像は、Tiff（Tagged Image File Format）やDpx（Digital Picture Exchange）などの画像フォーマットで取り込まれ、非圧縮（ベースバンド）のデジタルデータ（ベースバンドデータ）にデータ化される。このベースバンドデータは、マスタデータとして管理され、ノイズ除去等の編集処理が施される。
【０００５】
図１は、編集処理の様子の例を示す図である。
【０００６】
図１に示されるように、映画フィルムをスキャンして得られたフレーム画像１０には、例えば、スキャンしたフィルムに付着した埃やゴミ、またはフィルムの傷等によってノイズ成分が含まれる場合ある。拡大図１１は、フレーム画像１０の、ノイズ成分を含む範囲１０Ａを拡大したものである。その拡大図１１に示されるように、図１の例の場合、フレーム画像１０には、フィルムに付着した埃によるノイズ１２が発生している。デジタルシネマ制作のワークフローにおいては、このようなノイズ成分の除去処理（編集処理）が行われる。
【０００７】
しかしながら、解像度が４Ｋのように非常に高解像度になると、データ量が非常に大きくなるので、ベースバンドデータをマスタデータとすると、保存に必要な記憶容量、転送に必要なネットワーク帯域、並びに、各種処理の負荷や処理時間等が増大してしまう。
【０００８】
そこで、データ量を低減させるために、例えばJPEG2000のような所定の圧縮方式で圧縮された圧縮データ（コードストリーム）をマスタデータとする方法が考えられる。上述したようにJPEG2000は、スケーラブル符号化方式の１つであるので、４Ｋと２Ｋのように複数の解像度に対応する。
【０００９】
【特許文献１】特開２００６−３１１３２７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、この場合も、ノイズ除去等の編集処理は、マスタデータが最高解像度で復号されてから施されていた。例えば、各フレーム画像の解像度が４Ｋの場合、JPEG2000方式で圧縮されたデジタルデータ（JPEG2000データ）であるマスタデータは、解像度４Ｋで復号され、解像度４Ｋの各フレーム画像が復元され、ノイズ除去等の編集処理は、その解像度４Ｋのベースバンドの各フレーム画像に対して行われていた。
【００１１】
このように、スケーラブル符号化されたデータは、スケーラブルでない符号化方式で符号化されたデータの場合と同様に最高解像度で復号されてから編集処理が施されていた。従って、スケーラブル符号化されたデータも、スケーラブルでない符号化方式で符号化されたデータの場合と同様に、高解像度化によりデータ量が増大すると、復号処理の負荷や処理時間が大幅に増大し、これにより、編集処理の負荷や処理時間も大幅に増大してしまう恐れがあった。
【００１２】
本発明はこのような問題を解決するためのものであり、低解像度のベースバンドデータを用いて編集箇所を特定し、その特定された編集箇所を編集するようにすることにより、スケーラブルに符号化されたコードストリームの編集処理を、より容易に行うことができるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の一側面は、第１の解像度のデータがスケーラブルに符号化された、前記第１の解像度のコードストリームを処理する情報処理装置であって、前記第１の解像度のコードストリームを、前記第１の解像度よりも低解像度の第２の解像度で復号し、得られた前記第２の解像度のベースバンドデータを用いて、編集を行う編集領域を設定する設定手段と、前記第１の解像度のコードストリームの、前記設定手段により設定された前記編集領域の部分が前記第１の解像度で復号された前記第１の解像度のベースバンドデータである、第１の解像度の部分ベースバンドデータを作成する第１の作成手段と、前記第１の作成手段により作成された前記第１の解像度の部分ベースバンドデータに対して編集処理を行う編集手段と、前記編集手段により編集された前記第１の解像度の部分ベースバンドデータをスケーラブルに符号化し、前記編集領域のコードストリームである部分コードストリームを作成する第２の作成手段と、前記第１の解像度のコードストリームの前記編集領域の部分を、前記第２の作成手段により作成された前記部分コードストリームに置換するコードストリーム置換手段とを備える情報処理装置である。
【００１４】
前記第１の作成手段は、前記第２の解像度のベースバンドデータより、前記編集領域の部分を抽出する第１の抽出手段と、前記第１の解像度のコードストリームより、前記編集領域の部分を抽出する第２の抽出手段と、前記第２の抽出手段により抽出された前記第１の解像度のコードストリームの前記編集領域の部分を復号する復号手段と、前記第１の抽出手段により抽出された前記第２の解像度のベースバンドデータの前記編集領域の部分、並びに、前記復号手段により前記第１の解像度のコードストリームの前記編集領域の部分が復号されて得られた前記第１の解像度の各高周波成分のサブバンドの前記編集領域の部分を逆ウェーブレット変換することにより、前記第１の解像度の部分ベースバンドデータを作成する逆ウェーブレット変換手段とを備えることができる。
【００１５】
前記編集手段は、前記第１の解像度の部分ベースバンドデータに含まれるノイズ成分を除去する編集を行うことができる。
【００１６】
前記第２の作成手段は、編集された前記第１の解像度の部分ベースバンドデータを第１の解像度でウェーブレット変換するウェーブレット変換手段と、前記ウェーブレット変換手段によるウェーブレット変換処理により得られた、前記第１の解像度の各高周波成分のサブバンドの前記編集領域の部分を符号化する第１の符号化手段と、前記設定手段により得られた前記第２の解像度のベースバンドデータの前記編集領域の部分を、前記ウェーブレット変換手段によるウェーブレット変換処理により得られた前記第１の解像度の低周波成分のサブバンドに含まれる前記第２の解像度のベースバンドデータの前記編集領域の部分に置換するベースバンドデータ置換手段と、前記編集領域の部分が置換された前記第２の解像度のベースバンドデータを符号化する第２の符号化手段とを備えることができる。
【００１７】
前記第２の作成手段は、編集された前記第１の解像度の部分ベースバンドデータを第１の解像度でウェーブレット変換するウェーブレット変換手段と、前記ウェーブレット変換手段によるウェーブレット変換処理により得られた、前記第１の解像度の各高周波成分のサブバンドの前記編集領域の部分を符号化する第１の符号化手段と、前記ウェーブレット変換手段によるウェーブレット変換処理により得られた、前記第２の解像度のベースバンドデータの前記編集領域の部分を符号化する第２の符号化手段とを備えることができる。
【００１８】
本発明の一側面は、また、第１の解像度のデータがスケーラブルに符号化された、前記第１の解像度のコードストリームを処理する情報処理装置の情報処理方法であって、前記第１の解像度のコードストリームを、前記第１の解像度よりも低解像度の第２の解像度で復号し、得られた前記第２の解像度のベースバンドデータを用いて、編集を行う編集領域を設定し、前記第１の解像度のコードストリームの、設定された前記編集領域の部分が前記第１の解像度で復号された前記第１の解像度のベースバンドデータである、第１の解像度の部分ベースバンドデータを作成し、作成された前記第１の解像度の部分ベースバンドデータに対して編集処理を行い、編集された前記第１の解像度の部分ベースバンドデータをスケーラブルに符号化し、前記編集領域のコードストリームである部分コードストリームを作成し、前記第１の解像度のコードストリームの前記編集領域の部分を、作成された前記部分コードストリームに置換するステップを含む情報処理方法である。
【００１９】
本発明の一側面は、さらに、第１の解像度のデータがスケーラブルに符号化された、前記第１の解像度のコードストリームを処理するプログラムにおいて、前記第１の解像度のコードストリームを、前記第１の解像度よりも低解像度の第２の解像度で復号し、得られた前記第２の解像度のベースバンドデータを用いて、編集を行う編集領域を設定する設定ステップと、前記第１の解像度のコードストリームの、前記設定ステップの処理により設定された前記編集領域の部分が前記第１の解像度で復号された前記第１の解像度のベースバンドデータである、第１の解像度の部分ベースバンドデータを作成する第１の作成ステップと、前記第１の作成ステップの処理により作成された前記第１の解像度の部分ベースバンドデータに対して編集処理を行う編集ステップと、前記編集ステップの処理により編集された前記第１の解像度の部分ベースバンドデータをスケーラブルに符号化し、前記編集領域のコードストリームである部分コードストリームを作成する第２の作成ステップと、前記第１の解像度のコードストリームの前記編集領域の部分を、前記第２の作成ステップの処理により作成された前記部分コードストリームに置換するコードストリーム置換ステップとをコンピュータに実行させるプログラムである。
【００２０】
本発明の他の側面は、第１の解像度のデータがスケーラブルに符号化された、前記第１の解像度のコードストリームを処理する情報処理装置であって、前記第１の解像度のコードストリームを、前記第１の解像度よりも低解像度の第２の解像度で復号し、得られた前記第２の解像度のベースバンドデータを用いて、編集を行う編集領域を設定する設定手段と、前記第１の解像度のコードストリームに含まれる、前記第１の解像度の各高周波成分のサブバンドのコードストリームより、前記設定手段により設定された前記編集領域の部分を抽出する抽出手段と、前記抽出手段により抽出された前記第１の解像度の各高周波成分のサブバンドのコードストリームの前記編集領域の部分、並びに、前記第２の解像度のベースバンドデータの前記編集領域の部分のそれぞれに対して編集処理を行う編集手段と、前記編集手段により前記編集領域の部分が編集された前記第２の解像度のベースバンドデータをスケーラブルに符号化する符号化手段と、前記第１の解像度のコードストリームの、前記第２の解像度のコードストリームの部分を、前記編集領域の部分が編集された前記第２の解像度のベースバンドデータが前記符号化手段によりスケーラブルに符号化された前記第２の解像度のコードストリームに置換し、さらに、前記第１の解像度のコードストリームに含まれる、前記第１の解像度の各高周波成分のサブバンドのコードストリームの、前記編集領域の部分を、前記編集手段により前記編集処理が行われた前記第１の解像度の各高周波成分のサブバンドのコードストリームの前記編集領域の部分に置換する置換手段とを備える情報処理装置である。
【００２１】
前記編集手段は、前記第１の解像度の各高周波成分のサブバンドのコードストリームの前記編集領域の部分、並びに、前記第２の解像度のベースバンドデータの前記編集領域の部分のそれぞれに対して、ノイズ成分を除去する編集を行うことができる。
【００２２】
前記編集手段は、前記第１の解像度の各高周波成分のサブバンドのコードストリームの前記編集領域の部分を、所定の他のコードストリームと置換することにより、前記ノイズ成分を除去することができる。
【００２３】
本発明の他の側面は、また、第１の解像度のデータがスケーラブルに符号化された、前記第１の解像度のコードストリームを処理する情報処理装置の情報処理方法であって、前記第１の解像度のコードストリームを、前記第１の解像度よりも低解像度の第２の解像度で復号し、得られた前記第２の解像度のベースバンドデータを用いて、編集を行う編集領域を設定し、前記第１の解像度のコードストリームに含まれる、前記第１の解像度の各高周波成分のサブバンドのコードストリームより、設定された前記編集領域の部分を抽出し、抽出された前記第１の解像度の各高周波成分のサブバンドのコードストリームの前記編集領域の部分、並びに、前記第２の解像度のベースバンドデータの前記編集領域の部分のそれぞれに対して編集処理を行い、前記編集領域の部分が編集された前記第２の解像度のベースバンドデータをスケーラブルに符号化し、前記第１の解像度のコードストリームの、前記第２の解像度のコードストリームの部分を、前記編集領域の部分が編集された前記第２の解像度のベースバンドデータがスケーラブルに符号化された前記第２の解像度のコードストリームに置換し、さらに、前記第１の解像度のコードストリームに含まれる、前記第１の解像度の各高周波成分のサブバンドのコードストリームの、前記編集領域の部分を、前記編集処理が行われた前記第１の解像度の各高周波成分のサブバンドのコードストリームの前記編集領域の部分に置換するステップを含む情報処理方法である。
【００２４】
本発明の他の側面は、さらに、第１の解像度のデータがスケーラブルに符号化された、前記第１の解像度のコードストリームを処理するプログラムにおいて、前記第１の解像度のコードストリームを、前記第１の解像度よりも低解像度の第２の解像度で復号し、得られた前記第２の解像度のベースバンドデータを用いて、編集を行う編集領域を設定する設定ステップと、前記第１の解像度のコードストリームに含まれる、前記第１の解像度の各高周波成分のサブバンドのコードストリームより、前記設定ステップの処理により設定された前記編集領域の部分を抽出する抽出ステップと、前記抽出ステップの処理により抽出された前記第１の解像度の各高周波成分のサブバンドのコードストリームの前記編集領域の部分、並びに、前記第２の解像度のベースバンドデータの前記編集領域の部分のそれぞれに対して編集処理を行う編集ステップと、前記編集ステップの処理により前記編集領域の部分が編集された前記第２の解像度のベースバンドデータをスケーラブルに符号化する符号化ステップと、前記第１の解像度のコードストリームの、前記第２の解像度のコードストリームの部分を、前記編集領域の部分が編集された前記第２の解像度のベースバンドデータが前記符号化ステップの処理によりスケーラブルに符号化された前記第２の解像度のコードストリームに置換し、さらに、前記第１の解像度のコードストリームに含まれる、前記第１の解像度の各高周波成分のサブバンドのコードストリームの、前記編集領域の部分を、前記編集ステップの処理により前記編集処理が行われた前記第１の解像度の各高周波成分のサブバンドのコードストリームの前記編集領域の部分に置換する置換ステップとをコンピュータに実行させるプログラムである。
【００２５】
本発明の一側面においては、第１の解像度のコードストリームが、第１の解像度よりも低解像度の第２の解像度で復号され、得られた第２の解像度のベースバンドデータを用いて、編集を行う編集領域が設定され、第１の解像度のコードストリームの、設定された編集領域の部分が第１の解像度で復号された第１の解像度のベースバンドデータである、第１の解像度の部分ベースバンドデータが作成され、作成された第１の解像度の部分ベースバンドデータに対して編集処理が行われ、編集された第１の解像度の部分ベースバンドデータがスケーラブルに符号化され、編集領域のコードストリームである部分コードストリームが作成され、第１の解像度のコードストリームの編集領域の部分が、作成された部分コードストリームに置換される。
【００２６】
本発明の他の側面においては、第１の解像度のコードストリームが、第１の解像度よりも低解像度の第２の解像度で復号され、得られた第２の解像度のベースバンドデータを用いて、編集が行われる編集領域が設定され、第１の解像度のコードストリームに含まれる、第１の解像度の各高周波成分のサブバンドのコードストリームより、設定された編集領域の部分が抽出され、抽出された第１の解像度の各高周波成分のサブバンドのコードストリームの編集領域の部分、並びに、第２の解像度のベースバンドデータの編集領域の部分のそれぞれに対して編集処理が行われ、編集領域の部分が編集された第２の解像度のベースバンドデータがスケーラブルに符号化され、第１の解像度のコードストリームの、第２の解像度のコードストリームの部分が、編集領域の部分が編集された第２の解像度のベースバンドデータがスケーラブルに符号化された第２の解像度のコードストリームに置換され、さらに、第１の解像度のコードストリームに含まれる、第１の解像度の各高周波成分のサブバンドのコードストリームの、編集領域の部分が、編集処理が行われた第１の解像度の各高周波成分のサブバンドのコードストリームの編集領域の部分に置換される。
【００２７】
ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。
【００２８】
また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。
【発明の効果】
【００２９】
本発明によれば、情報を処理することができる。特に、スケーラブルに符号化されたコードストリームの編集処理を、より容易に行うことができるようにするものである。
【発明を実施するための最良の形態】
【００３０】
図２は、本発明を適用した画像処理装置の主な構成例を示すブロック図である。図２に示される画像処理装置１００は、画像データの各フレーム画像よりノイズを除去する装置である。
【００３１】
処理される画像データは、デジタルシネマ制作のワークフローにおいて映画フィルムの各コマをスキャンして得られた解像度４Ｋ（4,096×2,160画素）の各画像をフレーム画像とする動画像データであり、JPEG2000方式によりスケーラブルに圧縮されている。つまり、この画像データ（コードストリーム）は、復号することにより、少なくとも、４Ｋまたは２Ｋ（2,048×1,080画素）の解像度でベースバンドの画像が得られるようにスケーラブルに圧縮されている（解像度を選択することができる）。JPEG2000方式では、ウェーブレット変換が採用されており、画像の周波数成分が高周波成分と低周波成分に再帰的に分解されるので、復号時には、複数段階の中から任意の解像度でベースバンドの画像を得ることができる。
【００３２】
画像処理装置１００は、このスケーラブル符号化されたコードストリームに対して、各フレームの画像から、図１を参照して説明したような、スキャンの際にフィルムに付着した埃やフィルムの傷等によるノイズ成分の除去を行う。このとき、画像処理装置１００は、そのノイズ成分の除去を、解像度２Ｋで復号したフレーム画像（低解像度の画像）で行うことにより、復号処理、ノイズ除去処理、および再符号化処理等の各処理の負荷を低減させ、処理時間を短縮させる。
【００３３】
画像処理装置１００は、主な構成として、２Ｋスケーラブルデコード部１０１、ノイズ除去部１０２、２Ｋ再エンコード部１０３、および２Ｋコードストリーム置換部１０４を有する。
【００３４】
２Ｋスケーラブルデコード部１０１は、画像処理装置１００に入力されたコードストリームを復号し、解像度２Ｋでベースバンドのフレーム画像を得る。JPEG2000方式においては、画像データは上述したようにウェーブレット変換によって低周波成分が再帰的に分離され、周波数帯毎に符号化される。従って、２Ｋスケーラブルデコード部１０１に入力される１フレーム画像分のコードストリーム１５０Ａは、図３Ａに示されるように、解像度４Ｋの画像を垂直方向および水平方向にそれぞれ１回ずつウェーブレット変換して得られる、水平方向および垂直方向に低周波成分のサブバンド（2K（4KLL））が符号化された部分コードストリームである2KS１５１Ａ、水平方向に高周波成分であり、かつ、垂直方向に低周波成分のサブバンド（4KHL）が符号化された部分コードストリームである4KSHL１５２、水平方向に低周波成分であり、かつ、垂直方向に高周波成分のサブバンド（4KLH）が符号化された部分コードストリームである4KSLH１５３、並びに、水平方向および垂直方向に高周波成分のサブバンド（4KHH）が符号化された部分コードストリームである4KSHH１５４により構成される。
【００３５】
ウェーブレット変換においては、画像データは、高周波成分と低周波成分に分離された後、２分の１にダウンサンプリングされる。つまり、この2KS１５１Ａを復号して得られるベースバンド（2K）の画像が解像度２Ｋの画像となる。２Ｋスケーラブルデコード部１０１は、このコードストリーム１５０Ａより2KS１５１Ａを抽出し、その2KS１５１Ａを復号して逆ウェーブレット変換することにより、解像度２Ｋの画像のベースバンドデータを得る。
【００３６】
なお、通常の場合、ウェーブレット変換は複数回再帰的に繰り返されるので、2KS１５１Ａに相当するウェーブレット係数は、さらに複数のサブバンドに分離されて符号化されている。つまり、２Ｋスケーラブルデコード部１０１は、これらの各サブバンドのコードストリームを全て抽出して復号し、逆ウェーブレット変換する。
【００３７】
ノイズ除去部１０２は、２Ｋスケーラブルデコード部１０１において得られた解像度２Ｋのベースバンドのフレーム画像についてノイズ除去を行う。ノイズ除去部１０２には、２Ｋスケーラブルデコード部１０１より、図３Ｂに示されるような、解像度２Ｋのフレーム画像のベースバンドデータである2KBB１５１Ｂが供給される。ノイズ除去部１０２は、例えばエッジ検出や前後のフレーム画像の同じ位置の画像との比較等により、この2KBB１５１Ｂからノイズ成分を検出し、そのノイズ成分を含むように除去処理を行う編集領域を設定する。ノイズ除去部１０２は、さらに、その編集領域に対して、例えば、フィルタ処理や前後のフレーム画像の同じ位置の画像や他の画像との置き換え等の編集処理を行い、ノイズを除去する。
【００３８】
ノイズ除去の編集処理が終了すると、ノイズ除去部１０２は、ノイズが除去された解像度２Ｋのフレーム画像のベースバンドデータを２Ｋ再エンコード部１０３に供給する。つまり、図３Ｃに示されるように、図３Ｂにおいて編集領域に設定された部分画像１５５Ａが編集（ノイズ除去）され、部分画像１５５Ｂとされた画像2KBB１５１Ｃがノイズ除去部１０２より２Ｋ再エンコード部１０３に供給される。
【００３９】
２Ｋ再エンコード部１０３は、ノイズ除去部１０２においてノイズが除去された解像度２Ｋのベースバンドデータである2KBB１５１ＣをJPEG2000方式で再度符号化する。２Ｋコードストリーム置換部１０４は、画像処理装置１００に入力されたコードストリームの、解像度２Ｋの部分を、２Ｋ再エンコード部１０３において得られたコードストリームと置換し、解像度２Ｋにおいてノイズが除去されたコードストリームを生成し、それを画像処理装置１００の外部に出力する。
【００４０】
つまり、２Ｋコードストリーム置換部１０４は、図３Ｄに示されるように、図３Ａに示されるコードストリーム１５０Ａの2KS１５１Ａを、２Ｋ再エンコード部１０３より供給された、ノイズが除去された解像度２Ｋの画像をJPEG2000方式で符号化して得られたコードストリームである2KS１５１Ｄに置換し、解像度２Ｋにおいてノイズが除去されたコードストリーム１５０Ｂを生成し、出力する。
【００４１】
このような、ノイズ成分をフレーム画像より除去する画像処理の流れの例を、図４のフローチャートを参照して説明する。
【００４２】
画像処理が開始されると、ステップＳ１０１において、２Ｋスケーラブルデコード部１０１は、入力されたコードストリームより、２Ｋ解像度のコードストリームを抽出し、復号する。ステップＳ１０２において、ノイズ除去部１０２は、２Ｋ解像度のベースバンドデータでノイズ成分を除去する編集処理を行う。ステップＳ１０３において、２Ｋ再エンコード部１０３は、ノイズ成分が除去された２Ｋ解像度のベースバンドデータを、JPEG2000方式により、スケーラブルに再符号化し、2KS１５１Ａと同様に符号化された2KS１５１Ｄを生成する。ステップＳ１０４において、２Ｋコードストリーム置換部１０４は、画像処理装置１００に入力されたコードストリームの、２Ｋ解像度のコードストリームを、ノイズ成分を除去したものと置き換え、解像度２Ｋにおいてノイズ成分が除去されたコードストリーム１５０Ｂを出力し、画像処理を終了する。
【００４３】
なお、この画像処理は、画像処理装置１００に入力される画像データの各フレーム画像について行われる。
【００４４】
以上のように、画像処理装置１００は、フレーム画像の本来の解像度４Ｋよりも低い解像度２Ｋでノイズ成分を除去する編集処理を行う。これにより、画像処理装置１００は、コードストリームを解像度４Ｋで復号し、ノイズ成分を除去し、再エンコードする場合と比べて、この編集処理に伴う、コードストリームの復号、ノイズ成分の除去、およびベースバンドデータの再符号化等の各処理の負荷、処理時間、およびデータ保持に必要なメモリ容量等を低減させることができる。つまり、画像処理装置１００は、解像度４Ｋで編集処理を行う場合よりも、より容易に編集処理を行うことができる。
【００４５】
以上においては、解像度２Ｋにおいてノイズ成分を除去するように説明したが、さらに、解像度４Ｋに含まれるノイズ成分も除去するようにしてもよい。
【００４６】
図５は、本発明を適用した画像処理装置の他の構成例を示すブロック図である。図５に示される画像処理装置２００は、図２の画像処理装置１００と同様に、画像データの各フレーム画像よりノイズを除去する装置である。ただし、解像度４Ｋで作成されたフレーム画像に含まれるノイズ成分（フィルムの埃や傷等の画像）は、一般的に、フレーム画像が解像度４Ｋでウェーブレット変換されたときの各高周波成分のサブバンドにも含まれる。そこで、画像処理装置２００は、さらに、その解像度４Ｋの各高周波成分のサブバンドに含まれるノイズ成分も除去する。その際、画像処理装置２００は、解像度２Ｋの画像においてノイズ検出を行って編集領域を設定し、その編集領域のみ解像度４Ｋ相当のベースバンドの画像を復元し、ノイズ成分の除去を行うようにする。
【００４７】
画像処理装置２００は、図５に示されるように、編集領域設定部２０１、部分ベースバンドデータ作成部２０２、ノイズ除去部２０３、部分コードストリーム作成部２０４、およびコードストリーム置換部２０５を有する。
【００４８】
編集領域設定部２０１は、画像処理装置１００の場合と同様に、解像度２Ｋのベースバンドデータを生成し、そのベースバンドデータにおいて、ノイズ成分の検出を行い、検出したノイズ成分を含むように編集領域の設定を行う。編集領域設定部２０１は、２Ｋスケーラブルデコード部２１１および編集領域特定部２１２を有する。
【００４９】
図６Ａに示されるように、画像処理装置２００に入力されるコードストリーム２５０Ａは、解像度４Ｋのフレーム画像をJPEG2000方式で符号化したものであり、その解像度４Ｋのフレーム画像を垂直方向および水平方向にそれぞれ１回ずつウェーブレット変換して得られる、水平方向および垂直方向に低周波成分のサブバンド（2K（4KLL））が符号化された部分コードストリームである2KS２５１Ａ、水平方向に高周波成分であり、かつ、垂直方向に低周波成分のサブバンド（4KHL）が符号化された部分コードストリームである4KSHL２５２Ａ、水平方向に低周波成分であり、かつ、垂直方向に高周波成分のサブバンド（4KLH）が符号化された部分コードストリームである4KSLH２５３Ａ、並びに、水平方向および垂直方向に高周波成分のサブバンド（4KHH）が符号化された部分コードストリームである4KSHH２５４Ａにより構成される。
【００５０】
一般的には、ウェーブレット変換は再帰的に繰り返されるので、2KS２５１Ａは、さらに複数のサブバンドに分離されて符号化されている。
【００５１】
２Ｋスケーラブルデコード部２１１は、図２の２Ｋスケーラブルデコード部１０１と同様に、画像処理装置２００に入力されたコードストリーム２５０Ａより2KS２５１Ａを抽出して復号し、逆ウェーブレット変換を行って、図６Ｂに示されるように、解像度２Ｋのフレーム画像のベースバンドデータである2KBB２５１Ｂ（すなわち、解像度４Ｋのウェーブレット変換により得られる低周波成分のサブバンド）を生成する。
【００５２】
編集領域特定部２１２は、その解像度２Ｋのフレーム画像のベースバンドデータにおいて、例えば、エッジ検出や前後のフレーム画像との対比等の所定の処理により、ノイズ成分の検出を行い、その検出したノイズ成分を含むように編集領域を設定する。図６Ｂは、2KBB２５１Ｂの部分画像２５５Ａが編集領域に設定されている例を示している。
【００５３】
部分ベースバンドデータ作成部２０２は、編集領域設定部２０１において設定された編集領域の画像のベースバンドデータ（部分ベースバンドデータ）を、解像度４Ｋのフレーム画像において作成する。部分ベースバンドデータ作成部２０２は、２Ｋ編集領域抽出部２２１、４Ｋ編集領域抽出部２２２、デコード部２２３、およびIDWT（Inverse Discrete Wavelet Transform）部２２４を有する。
【００５４】
２Ｋ編集領域抽出部２２１は、編集領域特定部２１２より取得された、編集領域を示す座標情報に基づいて、２Ｋスケーラブルデコード部２１１において生成された解像度２Ｋのフレーム画像のベースバンドデータより、編集領域のデータを抽出する。
【００５５】
なお、以下において、解像度２Ｋのフレーム画像のベースバンドデータ（解像度４Ｋのウェーブレット変換により得られる低周波成分のサブバンド）より抽出された部分ベースバンドデータを解像度２Ｋの部分ベースバンドデータと称し、その部分ベースバンドデータのコードストリームを解像度２Ｋの部分コードストリームと称する。
【００５６】
４Ｋ編集領域抽出部２２２は、編集領域特定部２１２より取得された、編集領域を示す座標情報に基づいて、画像処理装置２００に入力されたコードストリームに含まれる解像度４Ｋの高周波成分の各サブバンドのコードストリームより、編集領域のデータを抽出する。このとき、４Ｋ編集領域抽出部２２２は、符号化や復号の処理単位であるコードブロック単位でデータ抽出を行う。つまり、４Ｋ編集領域抽出部２２２は、編集領域を含むコードブロックのデータを抽出する。各コードブロックの符号列の長さは、パケットヘッダに記載されているため、４Ｋ編集領域抽出部２２２は、パケットヘッダを解析することで、コードブロック単位の符号列へのアクセスが可能である。
【００５７】
また、このとき、４Ｋ編集領域抽出部２２２は、ウェーブレット変換の画像境界のオーバーラップを考慮し、例えば図７に示されるように、編集領域より抽出範囲を広げるようにしてもよい。図７の例の場合、４Ｋ編集領域抽出部２２２は、編集領域２７１を含むコードブロック２７２−１乃至コードブロック２７２−８とともに、その周囲のコードブロック２７３−１乃至コードブロック２７３−１２のうち、そのサブバンドに対応する方向に隣接するコードブロック（すなわち、そのサブバンドにおいて、ウェーブレット変換の際にコードブロック２７２−１乃至コードブロック２７２−８のいずれかに影響を与えるコードブロック）も適宜抽出する。なお、その場合、２Ｋ編集領域抽出部２２１においても、４Ｋ編集領域抽出部２２２に合わせて抽出範囲を広げる。もちろん、この抽出範囲の拡大は任意の大きさで行うことができ、４Ｋ編集領域抽出部２２２が、周囲２コードブロック以上の範囲に拡大するようにしてもよい。
【００５８】
以下において、解像度４Ｋのフレーム画像の部分画像のベースバンドデータを解像度４Ｋの部分ベースバンドデータと称し、その部分ベースバンドデータのコードストリームを解像度４Ｋの部分コードストリームと称する。
【００５９】
また、以下において、解像度４Ｋのフレーム画像のウェーブレット変換により得られる高周波成分の各サブバンドより抽出された部分ベースバンドデータを解像度４Ｋのサブバンドの部分ベースバンドデータと称し、その部分ベースバンドデータのコードストリームを解像度４Ｋのサブバンドの部分コードストリームと称する。
【００６０】
デコード部２２３は、４Ｋ編集領域抽出部２２２において抽出された解像度４Ｋのサブバンドの部分コードストリームをそれぞれ復号する。
【００６１】
つまり、図６Ｃに示されるように、２Ｋ編集領域抽出部２２１は、2KBB２５１Ｂより部分画像２５５Ａのデータ（ウェーブレット係数）を抽出する。また、図６Ｃに示されるように、４Ｋ編集領域抽出部２２２は、4KSHL２５２Ａから、部分画像２５５Ａと空間的に対応する部分コードストリームをコードブロック単位で抽出し、デコード部２２３は、そのコードストリームを復号し、部分ウェーブレット係数２５６Ａを得る。同様に、図６Ｃに示されるように、４Ｋ編集領域抽出部２２２およびデコード部２２３により、4KSLH２５３Ａから部分画像２５５Ａと空間的に対応する部分コードストリームがコードブロック単位で抽出されて復号され部分ウェーブレット係数２５７Ａが得られ、4KSHH２５４Ａから部分画像２５５Ａと空間的に対応する部分コードストリームがコードブロック単位で抽出されて復号され部分ウェーブレット係数２５８Ａが得られる。
【００６２】
IDWT部２２４は、それらの部分画像２５５Ａ、並びに、部分ウェーブレット係数２５６Ａ乃至部分ウェーブレット係数２５８Ａ（部分ウェーブレット係数２５５Ａ乃至部分ウェーブレット係数２５８Ａ）を逆ウェーブレット変換し、編集領域の解像度４Ｋの部分ベースバンドデータ２６１Ａ（図６Ｄ）を作成する。
【００６３】
ノイズ除去部２０３は、図２のノイズ除去部１０２と同様に、その部分ベースバンドデータ２６１Ａより所定の方法でノイズ成分を除去する編集処理を行い、ノイズ成分が除去された部分ベースバンドデータ２６１Ｂ（図６Ｅ）を得る。
【００６４】
部分コードストリーム作成部２０４は、ノイズ成分を除去した解像度４Ｋの部分ベースバンドデータをJPEG2000方式で符号化し、解像度４Ｋの部分コードストリームを作成する。部分コードストリーム作成部２０４は、4KDWT部２３１、４Ｋ再エンコード部２３２、２Ｋベースバンド置換部２３３、および２Ｋ再エンコード部２３４を有する。
【００６５】
4KDWT（４Ｋ Discrete Wavelet Transform）部２３１は、ノイズ除去部２０３において生成されたノイズ成分が除去された、解像度４Ｋの部分ベースバンドデータ２６１Ｂを垂直方向および水平方向に１回ずつウェーブレット変換する。４Ｋ再エンコード部２３２は、そのウェーブレット変換により得られる高周波成分のサブバンドをそれぞれ再符号化する。つまり、４Ｋ再エンコード部２３２は、図６Ｆに示される解像度４Ｋのサブバンドの、部分コードストリーム２５６Ｂ、部分コードストリーム２５７Ｂ、および部分コードストリーム２５８Ｂを生成する。
【００６６】
なお、４Ｋ再エンコード部２３２は、符号化の際のコードブロックの分割を、元の解像度４Ｋのフレーム画像のコードストリームと同じ位置で行う。また、ウェーブレット変換のオーバーラップのためにデコードしたコードブロックは、編集領域に含まれておらず、データがノイズ除去前後で変わっていないため、改めて符号化する必要はない。また、不可逆符号化でレート制御が必要な場合、４Ｋ再エンコード部２３２は、コードブロックに含むコーディングパス数を、画像処理装置２００に入力されたコードストリームのコードブロックと同じにする。画像処理装置２００に入力されたコードストリームのコードブロックに含まれるコーディングパス数は、そのコードストリームのパケットヘッダから取得することができる。
【００６７】
２Ｋベースバンド置換部２３３は、２Ｋスケーラブルデコード部２１１において生成された解像度２Ｋのベースバンドデータ２５１Ｂ（図６Ｂ）の編集領域の部分画像２５５Ａのデータを、4KDWT部２３１において得られた垂直方向および水平方向に低周波成分のウェーブレット係数２５５Ｂ（図６Ｆ）に置換する。２Ｋ再エンコード部２３４は、その解像度２Ｋのフレーム画像のベースバンドデータをJPEG2000方式で再符号化（画像処理装置２００に入力されるコードストリームの場合と同様の構成となるように、さらに再帰的にウェーブレット変換し、得られた係数を所定の方式で符号化）し、ノイズ成分が除去された解像度２Ｋのフレーム画像のコードストリーム２５１Ｃ（図６Ｆ）を生成する。このとき、不可逆符号化でレート制御が必要な場合は、２Ｋ再エンコード部２３４は、４Ｋ再エンコード部２３２の場合と同様に、画像処理装置２００に入力されたコードストリームのパケットヘッダのコーディングパス数を参照し、値を合わせる。
【００６８】
コードストリーム置換部２０５は、画像処理装置２００に入力されたコードストリーム２５０Ａの、解像度２Ｋのフレーム画像のコードストリーム２５１Ａを、２Ｋ再エンコード部２３４において生成されたコードストリーム２５１Ｃに置き換える。また、コードストリーム置換部２０５は、コードストリーム２５０Ａの4KSHL２５２Ａの編集領域の部分コードストリームを部分コードストリーム２５６Ｂに置き換える。さらに、コードストリーム置換部２０５は、コードストリーム２５０Ａの4KSLH２５３Ａの編集領域の部分コードストリームを部分コードストリーム２５７Ｂに置き換える。また、コードストリーム置換部２０５は、コードストリーム２５０Ａの4KSHH２５４Ａの編集領域の部分コードストリームを部分コードストリーム２５８Ｂに置き換える。つまり、コードストリーム置換部２０５は、図６Ｇに示されるような、ノイズ成分が除去されたコードストリーム２５０Ｂを生成し、画像処理装置２００の外部に出力する。
【００６９】
なお、このとき、コードストリームの、置き換えられた部分は、各コードブロックの符号長やゼロビットプレーン数が変化する場合がある。つまり、置き換えられる前と後でこれらの情報が変化する場合がある。その場合、コードストリーム置換部２０５は、その置き換えられた部分のパケットヘッダ内の符号長やゼロビットプレーン数の情報もあわせて書き換える。
【００７０】
なお、ここで、ゼロビットプレーン数とは、全ての係数ビットの値が０であるビットプレーンが最上位ビット（ＭＳＢ：Most Significant Bit）側に幾つあるかを表したものである。ウェーブレット変換により得られたウェーブレット係数は、コードブロック毎に符号化されるが、この符号化の際に、そのコードブロックの各係数は、１ビット毎、つまり位毎に分割されて、各位毎にビットプレーンとしてまとめられる。つまり、ビットプレーンは、あるコードブロックの各係数の互いに同一の位のビット（係数ビット）の集合である。このように各係数の各位に形成されるビットプレーンにおいて、その位より上位の全ての係数ビットの値が０であるビットプレーンを、特にゼロビットプレーンと称する。つまり、ゼロビットプレーン数とは、このようなゼロビットプレーンが、係数の最上位ビットから連続する数を示す。
【００７１】
置き換えられたコードブロックでは、置き換える前と後で各係数の値が変化することにより、値が１の、最も上位のビットの位が変化する可能性がある。つまり、置き換えによって、そのコードブロックのゼロビットプレーン数が変化する可能性がある。このゼロビットプレーン数の情報は、コードストリームのパケットヘッダ内に記述されるので、少なくともこのようにゼロビットプレーン数が変化した場合は、コードストリームのパケットヘッダ内の情報も更新させる必要がある。もちろん、ゼロビットプレーン数の変化の有無に関わらず、置き換えが行われたコードブロックについてはゼロビットプレーン数を算出し、パケットヘッダの情報を更新させるようにしてもよい。
【００７２】
このような、ノイズ成分をフレーム画像より除去する画像処理の流れの例を、図８のフローチャートを参照して説明する。
【００７３】
画像処理が開始されると、ステップＳ２０１において、編集領域設定部２０１は、編集領域設定処理を行い、２Ｋ解像度で編集領域を設定する。ステップＳ２０２において、部分ベースバンドデータ作成部２０２は、部分ベースバンドデータ作成処理を行い、編集領域のベースバンドデータ（編集領域を含むコードブロックのベースバンドデータ）を作成する。ステップＳ２０３において、ノイズ除去部２０３は、作成された部分ベースバンドデータに対してノイズ成分を除去する編集処理を行う。ステップＳ２０４において、部分コードストリーム作成部２０４は、部分コードストリーム作成処理を行い、ノイズ成分を除去した部分ベースバンドデータをJPEG2000方式で符号化し、部分コードストリームを作成する。
【００７４】
ステップＳ２０５において、コードストリーム置換部２０５は、画像処理装置２００に入力されたコードストリームの解像度４Ｋの各サブバンドについて、４Ｋ再エンコード部２３２より供給された部分コードストリームに対応する部分を特定し、その部分のコードストリーム（つまりノイズ成分を含むコードストリーム）を、４Ｋ再エンコード部２３２より供給された部分コードストリーム（つまりノイズ成分が除去されたコードストリーム）に置換する。また、ステップＳ２０６において、コードストリーム置換部２０５は、画像処理装置２００に入力されたコードストリームの解像度２Ｋ以下の各サブバンドのコードストリーム（つまりノイズ成分を含むコードストリーム）を、２Ｋ再エンコード部２３４より供給されたコードストリーム（つまりノイズ成分が除去されたコードストリーム）に置換する。さらに、コードストリーム置換部２０５は、ステップＳ２０７において、置換したコードブロックを含むパケットのヘッダ内の、符号長およびゼロビットプレーン数に関する情報を更新する。
【００７５】
ステップＳ２０７の処理が終了すると、画像処理が終了される。なお、この画像処理は、画像処理装置２００に入力される画像データの各フレーム画像について行われる。
【００７６】
次に、図９のフローチャートを参照して、図８のステップＳ２０１において実行される編集領域設定処理の流れの例を説明する。
【００７７】
編集領域設定処理が開始されるとステップＳ２１１において、２Ｋスケーラブルデコード部２１１は、解像度２Ｋのコードストリームを復号し、逆ウェーブレット変換を行い、解像度２Ｋのフレーム画像のベースバンドデータを得る。編集領域特定部２１２は、ステップＳ２１２において、解像度２Ｋのフレーム画像のベースバンドデータでノイズを検出し、ステップＳ２１３において、そのノイズ検出結果に基づいて、編集領域を特定し、その座標情報を２Ｋ編集領域抽出部２２１および４Ｋ編集領域抽出部２２２に供給する。ステップＳ２１３の処理が終了すると、編集領域設定処理は終了され、図８のステップＳ２０１に処理が戻され、ステップＳ２０２以降の処理が実行される。
【００７８】
次に、図１０のフローチャートを参照して、図８のステップＳ２０２において実行される部分ベースバンドデータ作成処理の流れの例を説明する。
【００７９】
部分ベースバンドデータ作成処理が開始されると、ステップＳ２２１において、２Ｋ編集領域抽出部２２１は、解像度２Ｋのフレーム画像のベースバンドデータから、編集領域を含むコードブロックのデータ（解像度２Ｋの部分ベースバンドデータ）を抽出する。ステップＳ２２２において、４Ｋ編集領域抽出部２２２は、解像度４Ｋのフレーム画像のコードストリームから、編集領域を含むコードブロックのデータ（解像度４Ｋのサブバンドの部分コードストリーム）を抽出する。ステップＳ２２３において、デコード部２２３は、ステップＳ２２２の処理において抽出された解像度４Ｋのサブバンドの部分コードストリームを復号する。ステップＳ２２４において、IDWT部２２４は、ステップＳ２２１の処理により抽出された解像度２Ｋの部分ベースバンドデータ、および、ステップＳ２２３の処理により復号されて得られた解像度４Ｋのサブバンドの部分ベースバンドデータを用いて逆ウェーブレット変換し、解像度４Ｋの部分ベースバンドデータを生成する。ステップＳ２２４の処理が終了すると、部分ベースバンド作成処理は終了され、図８のステップＳ２０２に処理が戻され、ステップＳ２０３以降の処理が実行される。
【００８０】
次に、図１１のフローチャートを参照して、図８のステップＳ２０４において実行される部分コードストリーム作成処理の流れの例を説明する。
【００８１】
部分コードストリーム作成処理が開始されると、ステップＳ２３１において、4KDWT部２３１は、ノイズ成分が除去された、解像度４Ｋの部分ベースバンドデータを垂直方向および水平方向に１回ずつウェーブレット変換する。ステップＳ２３２において、４Ｋ再エンコード部２３２は、ステップＳ２３１の処理により生成された解像度４Ｋのサブバンドの部分ベースバンドデータを符号化する。ステップＳ２３３において、２Ｋベースバンド置換部２３３は、２Ｋスケーラブルデコード部２１１において得られた解像度２Ｋのフレーム画像のベースバンドデータの、編集領域の部分ベースバンドデータを、ステップＳ２３１の処理により得られた解像度２Ｋの部分ベースバンドデータ（ノイズ成分が除去されたベースバンドデータ）に置換する。ステップＳ２３４において、２Ｋ再エンコード部２３４は、ステップＳ２３３において置換が行われた解像度２Ｋのフレーム画像のベースバンドデータを符号化する。ステップＳ２３４の処理が終了すると、部分コードストリーム作成処理は終了され、図８のステップＳ２０４に処理が戻され、ステップＳ２０５以降の処理が実行される。
【００８２】
以上のように、画像処理装置２００は、ノイズ成分の検出を、本来の解像度４Ｋよりも低い解像度２Ｋで行い、ノイズ成分を含む部分のみ解像度４Ｋで復号し、編集処理を行う。これにより、画像処理装置２００は、フレーム画像全体のコードストリームを解像度４Ｋで復号し、ノイズ成分を除去し、再エンコードする場合と比べて、この編集処理に伴う、コードストリームの復号、ノイズ成分の除去、およびベースバンドデータの再符号化等の各処理の負荷、処理時間、およびデータ保持に必要なメモリ容量等を低減させることができる。つまり、画像処理装置２００は、フレーム画像全体を解像度４Ｋで復号し、編集処理を行う場合よりも、より容易に編集処理を行うことができる。
【００８３】
なお、以上においては、解像度２Ｋのサブバンド（2K）は全体を置換するように説明したが、これに限らず、解像度２Ｋのサブバンド（2K）についても、編集領域（編集領域を含むコードブロック）についてのみ置換するようにしてもよい。
【００８４】
図１２は、本発明を適用した画像処理装置の、さらに他の構成例を示すブロック図である。なお、図１２において、図５と同様の処理を行うブロックについては同一の符号を付してある。図１２に示される画像処理装置３００は、図２の画像処理装置１００と同様に、画像データの各フレーム画像よりノイズを除去する装置であり、図５の画像処理装置２００と基本的に同様の構成を有し、同様の処理を行うが、画像処理装置２００の部分コードストリーム作成部２０４およびコードストリーム置換部２０５のそれぞれの代わりに、部分コードストリーム作成部３０４およびコードストリーム置換部３０５を有する。
【００８５】
図５の部分コードストリーム作成部２０４が、ノイズが除去された解像度２Ｋのフレーム画像のコードストリームを生成するのに対して、部分コードストリーム作成部３０４は、解像度２Ｋの、編集領域を含むコードブロックの部分コードストリームを生成し、コードストリーム置換部３０５に供給する。
【００８６】
部分コードストリーム作成部３０４は、4KDWT部２３１および４Ｋ再エンコード部２３２の他に２Ｋ再エンコード部３３４を有する。２Ｋ再エンコード部３３４は、4KDWT部２３１において解像度４Ｋの部分ベースバンドデータがウェーブレット変換されて得られた解像度２Ｋの部分ベースバンドデータを、画像処理装置３００に入力されるコードストリームの場合と同様のサブバンド構成となるように、さらに再帰的にウェーブレット変換し、得られた係数を所定の方式で符号化し（JPEG2000方式で符号化し）、解像度２Ｋの部分コードストリームを作成する。つまり、部分コードストリーム作成部３０４は、解像度４Ｋの各サブバンドの部分コードストリームと解像度２Ｋの部分コードストリームをコードストリーム置換部３０５に供給する。
【００８７】
なお、２Ｋ再エンコード部３３４の詳細な構成および処理については後述する。
【００８８】
コードストリーム置換部３０５は、画像処理装置３００に入力されたコードストリームのノイズ成分を含む部分を、部分コードストリーム作成部３０４より供給された、ノイズ成分が除去された解像度４Ｋの各サブバンドの部分コードストリームと解像度２Ｋの部分コードストリームに置換し、画像処理装置３００の外部に出力する。
【００８９】
画像処理装置３００に入力されるコードストリーム３５０Ａは、図１３Ａに示されるように、解像度２Ｋのコードストリームである2KS３５１Ａ、解像度４Ｋのサブバンドのコードストリームである4KSHL３５２Ａ、4KSLH３５３Ａ、および4KSHH３５４Ａにより構成される。そして、図１３Ｂに示されるように、２Ｋスケーラブルデコード部２１１によって解像度２Ｋのフレーム画像のベースバンドデータである2KBB３５１Ｂが作成され、編集領域特定部２１２によってノイズ成分を含む編集領域が設定される（図１３Ｂの部分画像３５５Ａ）。
【００９０】
図１３Ｃに示されるように、２Ｋ編集領域抽出部２２１により、解像度２Ｋの部分画像３５５Ａが抽出され、４Ｋ編集領域抽出部２２２により、解像度２Ｋの部分画像３５５Ａに空間的に対応する解像度４Ｋの各サブバンドの部分コードストリームが抽出されてデコード部２２３によりそれらが復号され、解像度４Ｋの各サブバンドの部分ウェーブレット係数３５６Ａ、部分ウェーブレット係数３５７Ａ、および部分ウェーブレット係数３５８Ａが生成される。IDWT部２２４は、それらの部分ベースバンドデータを逆ウェーブレット変換し、解像度４Ｋの部分ベースバンドデータ３６１Ａ（図１３Ｄ）を生成する。
【００９１】
ノイズ除去部２０３は、この解像度４Ｋの部分ベースバンドデータ３６１Ａについてノイズ成分を除去する（図１３Ｅの解像度４Ｋの部分ベースバンドデータ３６１Ｂ）。
【００９２】
4KDWT部２３１は、この解像度４Ｋの部分ベースバンドデータ３６１Ｂを垂直方向および水平方向に１回ずつウェーブレット変換する。４Ｋ再エンコード部２３２は、そのウェーブレット変換により得られた解像度４Ｋの各サブバンドの部分ウェーブレット係数を符号化し、２Ｋ再エンコード部３３４は、そのウェーブレット変換により得られた解像度２Ｋの部分ベースバンドデータを、画像処理装置３００に入力されるコードストリームの場合と同様のサブバンド構成となるように、JPEG2000方式で符号化する。これらの処理により、図１３Ｆに示されるように、解像度２Ｋの部分コードストリーム３５５Ｂ、解像度４Ｋの部分コードストリーム３５６Ｂ、解像度４Ｋの部分コードストリーム３５７Ｂ、および、解像度４Ｋの部分コードストリーム３５８Ｂが生成される。なお、実際には、部分コードストリーム３５５Ｂは、ウェーブレット変換によりサブバンド毎に分割される。
【００９３】
コードストリーム置換部３０５は、座標情報に基づいてこれらの部分コードストリームを、それぞれに空間的に対応する位置のコードストリームと置換し、図１３Ｇに示されるように、ノイズを含む部分コードストリームが、ノイズが除去された部分コードストリームで置換されたコードストリーム３５０Ｂが生成されて出力される。
【００９４】
なお、コードストリーム置換部３０５は、必要に応じて、データを置換した部分のパケットヘッダに含まれる符号長やゼロビットプレーン数に関する情報を更新する。
【００９５】
図１４は、図１２の２Ｋ再エンコード部３３４の詳細な構成例を示すブロック図である。図１４に示されるように、２Ｋ再エンコード部３３４は、置換コードブロック特定部３７１、ベースバンド領域抽出部３７２、DWT（Discrete Wavelet Transform）部３７３、およびエンコード部３７４を有する。
【００９６】
置換コードブロック特定部３７１は、4KDWT部２３１より供給された部分ベースバンドデータに基づいて、画像処理装置３００に入力されるコードストリームの、置き換えの対象となる部分をコードブロック単位で特定する。
【００９７】
例えば、図１５Ａに示される画像３８０が２Ｋスケーラブルデコード部２１１より出力された解像度２Ｋの画像であり、右上左下の斜線模様で示される領域３８１がノイズ除去等の画像処理が行われた部分とする。このような解像度２Ｋのベースバンドデータに対して、２Ｋ再エンコード部３３４は、ウェーブレット変換し、得られた係数をサブバンド毎にコードブロック単位で符号化する。
【００９８】
領域３８１の部分ベースバンドデータをウェーブレット変換すると、例えば、図１５Ｂの、右上左下の斜線模様で示される係数３８２−１乃至係数３８２−１０のように、サブバンド毎のウェーブレット係数が得られるが、このサブバンド毎の係数の範囲がコードブロック単位より狭い場合、係数３８２−１乃至係数３８２−１０の符号化に、その周囲の係数も必要になる。例えば、図１５Ｂにおいて、右下左上の斜線模様で示されるコードブロック３８３−１乃至コードブロック３８３−４のように、最下位サブバンドにおいて、コードブロックが係数３８２−１乃至係数３８２−４より大きいとする。
【００９９】
上述したように符号化および復号は、このコードブロック単位で行われるので、この場合、コードブロック３８３−１乃至コードブロック３８３−４の範囲に含まれる係数全てに、係数３８２−１乃至係数３８２−４の変化の影響が及ぶことになる。つまり、ベースバンドレベルにおいては、図１５Ａに示されるように、右下左上の斜線模様で示される領域３８４のデータに影響が及ぶことになる。
【０１００】
つまり、領域３８１のデータを置換するためには、領域３８４のデータを全て置換する必要がある。このように、符号化・復号時の処理データ単位（コードブロック）の制限により、各サブバンドのコードストリームの置換処理にもそれぞれ処理データ単位の制限が発生する。
【０１０１】
そこでまず、置換コードブロック特定部３７１は、各サブバンドにおいて、符号化により4KDWT部２３１より供給された部分ベースバンドデータ（図１５の例の場合、領域３８１）をウェーブレット変換して得られる係数（図１５Ｂの例の場合、係数３８２−１乃至係数３８２−１０）の影響を受けるコードブロック（置換コードブロック）を特定する。
【０１０２】
つまり、置換コードブロック特定部３７１は、最下位のサブバンドにおいて、4KDWT部２３１より供給された部分ベースバンドデータをウェーブレット変換して得られる係数を含むコードブロックを特定し、さらに、その最下位のコードブロックに対応するコードブロック（その最下位のコードブロックを用いて逆ウェーブレット変換されるコードブロック）を、上位の各サブバンドにおいて特定する。
【０１０３】
置換コードブロック特定部３７１は、その特定したコードブロックの情報をベースバンド領域抽出部３７２に供給する。ベースバンド領域抽出部３７２は、置換コードブロック特定部３７１より供給された置換コードブロックの情報に基づいて、２Ｋスケーラブルデコード部２１１より供給される解像度２Ｋのベースバンドデータの、その置換コードブロックに対応する領域を特定し、その領域のデータを抽出する。ベースバンド領域抽出部３７２は、抽出した解像度２Ｋの部分ベースバンドデータをDWT部３７３に供給する。DWT部３７３は、ベースバンド領域抽出部３７２より供給された解像度２Ｋの部分ベースバンドデータをウェーブレット変換し、得られた係数をエンコード部３７４に供給する。エンコード部３７４は、DWT部３７３より供給された係数データを符号化し、解像度２Ｋの部分コードストリームを生成し、それをコードストリーム置換部３０５（図１２）に供給する。
【０１０４】
以上のような、ノイズ成分をフレーム画像より除去する画像処理の流れの例を、図１６のフローチャートを参照して説明する。
【０１０５】
ステップＳ３０１乃至ステップＳ３０３の各処理は、図８のステップＳ２０１乃至ステップＳ２０３の各処理と同様に実行される。ステップＳ３０４において、部分コードストリーム作成部３０４は、部分コードストリーム作成処理を行い、ノイズ成分を除去した部分ベースバンドデータをJPEG2000方式で符号化し、部分コードストリームを作成する。
【０１０６】
ステップＳ３０５において、コードストリーム置換部３０５は、画像処理装置２００に入力されたコードストリームの解像度４Ｋの各サブバンドについて、ステップＳ３０４の処理により生成された解像度４Ｋの各サブバンドの部分コードストリームに空間的に対応する部分を特定し、その部分（つまりノイズ成分を含むコードストリーム）を、ステップＳ３０４の処理により生成された解像度４Ｋの各サブバンドの部分コードストリーム（つまりノイズ成分が除去されたコードストリーム）に置換する。また、ステップＳ３０６において、コードストリーム置換部３０５は、画像処理装置２００に入力されたコードストリームの解像度２Ｋ以下の各サブバンドについて、ステップＳ３０４の処理により生成された解像度２Ｋ以下の各サブバンドの部分コードストリームに空間的に対応する部分を特定し、その部分（つまりノイズ成分を含むコードストリーム）を、ステップＳ３０４の処理により生成された解像度２Ｋ以下の各サブバンドの部分コードストリーム（つまりノイズ成分が除去されたコードストリーム）に置換する。さらに、コードストリーム置換部３０５は、ステップＳ３０７において、置換したコードブロックを含むパケットのヘッダ内の、符号長およびゼロビットプレーン数に関する情報を更新する。
【０１０７】
ステップＳ３０７の処理が終了すると、画像処理が終了される。なお、この画像処理は、画像処理装置３００に入力される画像データの各フレーム画像について行われる。
【０１０８】
次に、図１７のフローチャートを参照して、図１６のステップＳ３０４において実行される部分コードストリーム作成処理の流れの例を説明する。
【０１０９】
部分コードストリーム作成処理が開始されると、ステップＳ３１１において、4KDWT部２３１は、ノイズ成分が除去された、解像度４Ｋの部分ベースバンドデータを垂直方向および水平方向に１回ずつウェーブレット変換する。ステップＳ３１２において、４Ｋ再エンコード部２３２は、ステップＳ３１１の処理により生成された解像度４Ｋの各サブバンドの部分ベースバンドデータを符号化する。ステップＳ３１３において、２Ｋ再エンコード部３３４は、ステップＳ３１１の処理により生成された解像度２Ｋの部分ベースバンドデータを、画像処理装置３００に入力されるコードストリームの場合と同様の構成となるように、さらに再帰的にウェーブレット変換し、得られた係数を所定の方式で符号化する。ステップＳ３１３の処理が終了すると、部分コードストリーム作成処理は終了され、図１６のステップＳ３０４に処理が戻され、ステップＳ３０５以降の処理が実行される。
【０１１０】
次に、図１８のフローチャートを参照して、図１７のステップＳ３１３において実行される２Ｋ再エンコード処理の流れの例を説明する。
【０１１１】
２Ｋ再エンコード処理が開始されると、ステップＳ３２１において、置換コードブロック特定部３７１は、ステップＳ３１１の処理により生成された解像度２Ｋの部分ベースバンドデータの、解像度２Ｋのフレーム画像のベースバンドにおける位置を、所定回数再帰的にウェーブレット変換したときの各サブバンドにおいて特定する。すなわち、置換コードブロック特定部３７１は、解像度２Ｋのフレーム画像のベースバンドを所定回数再帰的にウェーブレット変換したときの各サブバンドの、編集の影響を受ける領域を特定する。ウェーブレット変換や符号化の条件が一定であれば、ベースバンドデータの各データと、そのベースバンドデータをウェーブレット変換して得られる各ウェーブレット係数の位置関係は一定である。したがって、その場合、置換コードブロック特定部３７１は、例えば変換表や変換式等のルール情報を予め用意しておき、そのルール情報を用いることにより、フレーム画像のベースバンドにおける、部分ベースバンドデータの位置（すなわち、編集領域の位置）から、その編集領域に対応する各サブバンドの係数の領域を、実際にウェーブレット変換をせずに容易に求めることができる。
【０１１２】
ステップＳ３２２において、置換コードブロック特定部３７１は、さらに、ステップＳ３２１において求めた、編集領域に対応する各サブバンドの係数の領域に基づいて、編集の影響を受ける置換コードブロックを特定する。つまり、置換コードブロック特定部３７１は、最下位のサブバンドにおいて、ステップＳ３２１において求めた係数を含むコードブロックを特定し、そのコードブロックに対応するコードブロックを各サブバンドにおいて特定する。ステップＳ３２１において各サブバンドの係数の位置が特定されれば、その位置情報によって、目的の置換コードブロックの位置は特定される。したがって、置換コードブロック特定部３７１は、例えば変換表や変換式等のルール情報を予め用意し、そのルール情報に基づいて、置換コードブロックを容易に求めることができる。
【０１１３】
上述したように、置換コードブロック特定部３７１は、ウェーブレット変換や符号化の条件を固定化することにより、所定のルールに基づいて、編集領域に対応する置換コードブロック（編集の影響を受けるコードブロック）を特定することができる。したがって、置換コードブロック特定部３７１は、ノイズが除去された部分ベースバンドデータの位置から置換コードブロックを特定する、例えば変換表や変換式等のルール情報を予め用意し、ステップＳ３２１およびステップＳ３２２の処理を一度の変換で行うようにしてもよい。
【０１１４】
置換コードブロックが特定されると、ベースバンド領域抽出部３７２は、ステップＳ３２３において、解像度２Ｋのベースバンドデータにおいて、特定された置換コードブロックを含む領域を抽出する。ベースバンド領域抽出部３７２は、特定された置換コードブロックに対応する範囲を、解像度２Ｋのベースバンドデータにおいて求め、ステップＳ３０１の処理において生成された解像度２Ｋのベースバンドデータから、その範囲のデータを抽出する。
【０１１５】
ステップＳ３２４において、DWT部３７３は、ステップＳ３２３において抽出された部分ベースバンドデータを所定回数再帰的にウェーブレット変換する。ステップＳ３２５において、エンコード部３７４は、ステップＳ３２４において得られたウェーブレット係数を所定の方式で符号化する。
【０１１６】
以上のように、画像処理装置３００は、ノイズ成分の検出を、本来の解像度４Ｋよりも低い解像度２Ｋで行い、ノイズ成分を含む部分のみ解像度４Ｋで復号し、編集処理を行う。これにより、画像処理装置３００は、フレーム画像全体のコードストリームを解像度４Ｋで復号し、ノイズ成分を除去し、再エンコードする場合と比べて、この編集処理に伴う、コードストリームの復号、ノイズ成分の除去、およびベースバンドデータの再符号化等の各処理の負荷、処理時間、およびデータ保持に必要なメモリ容量等を低減させることができる。つまり、画像処理装置３００は、フレーム画像全体を解像度４Ｋで復号し、編集処理を行う場合よりも、より容易に編集処理を行うことができる。
【０１１７】
なお、この画像処理装置３００の場合、画像処理装置２００の場合と比べて、置換するデータ量を低減させることができ、編集処理や置換等の処理により生じる画像の変化を低減させることができる。画像に含まれるノイズ成分の量等によっては、画像処理装置２００の場合よりも編集処理等の各処理の負荷や処理時間を低減させたり、データ保持に必要なメモリ量を低減させたりすることができる。
【０１１８】
また、以上においては、解像度４Ｋのサブバンドのノイズ成分を除去するために、解像度４Ｋで復号するように説明したが、これに限らず、例えば、解像度４Ｋのサブバンドに含まれるノイズ成分は、コードストリームのまま除去するようにしてもよい。
【０１１９】
図１９は、本発明を適用した画像処理装置の、さらに他の構成例を示すブロック図である。なお、図１９において、図５と同様の処理を行うブロックについては同一の符号を付してある。図１９に示される画像処理装置４００は、図２の画像処理装置１００と同様に、画像データの各フレーム画像よりノイズを除去する装置である。ただし、画像処理装置４００は、解像度２Ｋにおいてベースバンドデータを用いてノイズ成分を検出し、そのノイズ成分を除去する編集処理を行うとともに、解像度４Ｋのサブバンドに含まれるノイズ成分を、コードストリームのまま編集し、除去する。
【０１２０】
画像処理装置４００は、図５の編集領域設定部２０１の他に、４Ｋ編集領域抽出部４０２、ノイズ除去部４０３、２Ｋ再エンコード部４０４、およびコードストリーム置換部４０５を有する。
【０１２１】
画像処理装置４００に入力されるコードストリーム４５０Ａは、図２０Ａに示されるように、解像度２Ｋのコードストリームである2KS４５１Ａ、解像度４Ｋのサブバンドのコードストリームである4KSHL４５２Ａ、4KSLH４５３Ａ、および4KSHH４５４Ａにより構成される。そして、図１７Ｂに示されるように、２Ｋスケーラブルデコード部２１１によって解像度２Ｋのフレーム画像のベースバンドデータである2KBB４５１Ｂが作成され、編集領域特定部２１２によってノイズ成分を含む編集領域が設定される（図２０Ｂの部分画像４５５Ａ）。
【０１２２】
４Ｋ編集領域抽出部４０２は、図５の４Ｋ編集領域抽出部２２２と同様の処理を行い、画像処理装置４００に入力されたコードストリームから、編集領域特定部２１２によって特定された編集領域を含むコードブロックを抽出し、それをノイズ除去部４０３の４Ｋノイズ除去部４１２に供給する。つまり、図２０の例の場合、図２０Ｃに示されるように、４Ｋ編集領域抽出部４０２は、解像度２Ｋの部分画像４５５Ａに空間的に対応する解像度４Ｋのサブバンドの部分コードストリーム４５６Ａ、部分コードストリーム４５７Ａ、および部分コードストリーム４５８Ａを抽出する。
【０１２３】
なお、この画像処理装置４００においては、解像度４Ｋのサブバンドのノイズ成分は、コードストリームのまま除去されるので（逆ウェーブレット変換されないので）、図７に示されるように、編集領域を含まない周囲のコードブロックの抽出は不要である。
【０１２４】
ノイズ除去部４０３は、編集領域特定部２１２において検出されたノイズ成分を除去する編集処理を行う。ノイズ除去部４０３は、２Ｋノイズ除去部４１１および４Ｋノイズ除去部４１２を有する。
【０１２５】
２Ｋノイズ除去部４１１は、２Ｋスケーラブルデコード部２１１において生成された解像度２Ｋのフレーム画像のベースバンドデータの、編集領域特定部２１２において特定された編集領域について、例えばフィルタ処理や置換処理等の所定の画像編集処理によりノイズ成分の除去を行い、ノイズ成分が除去された解像度２Ｋのフレーム画像のベースバンドデータ（図２０Ｄの2KBB４５１Ｃ）を２Ｋ再エンコード部４０４に供給する。つまり、図２０Ｄの2KBB４５１Ｃに含まれる部分画像４５５Ｂは、部分画像４５５Ａよりノイズ成分を除去したものである。
【０１２６】
４Ｋノイズ除去部４１２は、４Ｋ編集領域抽出部４０２により抽出された、編集領域を含むコードブロックの、解像度４Ｋのサブバンドの部分コードストリームからノイズ成分を除去する（図２０Ｄの部分コードストリーム４５６Ｂ乃至部分コードストリーム４５８Ｂ）。４Ｋノイズ除去部４１２は、例えば、４Ｋ編集領域抽出部４０２より供給された部分コードストリームを、前後のフレーム画像の空間的に対応する部分コードストリームと置換したり、または、周辺のコードブロックから複製した部分コードストリームと置換したりしてノイズ成分を除去する。このノイズ成分の除去方法は、コードストリームのまま行うことができる方法であれば任意である。
【０１２７】
２Ｋ再エンコード部４０４は、２Ｋノイズ除去部４１１においてノイズ成分が除去された解像度２Ｋのフレーム画像のベースバンドデータをJPEG2000方式により符号化し、解像度２Ｋのフレーム画像のコードストリーム（図２０Ｅの2KS４５１Ｄ）をコードストリーム置換部４０５に供給する。この符号化により、図２０Ｄの部分画像４５５Ｂは、図２０Ｅの部分コードストリーム４５５Ｃに変換される。なお、実際には、部分コードストリーム４５５Ｃは、ウェーブレット変換によりサブバンド毎に分割される。
【０１２８】
コードストリーム置換部４０５は、画像処理装置４００に入力されたコードストリームの解像度２Ｋのフレーム画像のコードストリームを、２Ｋ再エンコード部４０４より供給されたデータに置換し、さらに、画像処理装置４００に入力されたコードストリームの解像度４Ｋのサブバンドのコードストリームのうち、編集領域に空間的に対応する部分を含むコードブロックを、４Ｋノイズ除去部４１２より供給されたデータに置換し、画像処理装置４００の外部に出力する。
【０１２９】
つまり、コードストリーム置換部４０５より出力されるコードストリーム４５０Ｂは、図２０Ｆに示されるように、ノイズ成分が除去された解像度２Ｋの部分コードストリーム４５５Ｃを有する、解像度２Ｋのフレーム画像のコードストリーム４５１Ｄ、ノイズ成分が除去された解像度４Ｋのサブバンドの部分コードストリーム４５６Ｂを有する、解像度４Ｋのサブバンドのコードストリームである4KSHL４５２Ｂ、ノイズ成分が除去された解像度４Ｋのサブバンドの部分コードストリーム４５７Ｂを有する、解像度４Ｋのサブバンドのコードストリームである4KSLH４５３Ｂ、および、ノイズ成分が除去された解像度４Ｋのサブバンドの部分コードストリーム４５８Ｂを有する、解像度４Ｋのサブバンドのコードストリームである4KSHH４５４Ｂにより構成される。
【０１３０】
なお、コードストリーム置換部４０５は、必要に応じて、データを置換した部分のパケットヘッダに含まれる符号長やゼロビットプレーン数に関する情報を更新する。
【０１３１】
このような、ノイズ成分をフレーム画像より除去する画像処理の流れの例を、図２１のフローチャートを参照して説明する。
【０１３２】
画像処理が開始されると、ステップＳ４０１において、編集領域設定部２０１は、編集領域設定処理を行い、２Ｋ解像度で編集領域を設定する。なお、この編集領域設定処理の詳細は、図９のフローチャートを参照して説明した場合と同様であるので、その説明を省略する。ステップＳ４０２において、４Ｋ編集領域抽出部４０２は、解像度４Ｋのサブバンドのコードストリームから、編集領域に空間的に対応する部分の部分コードストリームを抽出する。
【０１３３】
ステップＳ４０３において、ノイズ除去部４０３は、ノイズ除去処理を行い、画像よりノイズ成分を除去する。
【０１３４】
ステップＳ４０４において、２Ｋ再エンコード部４０４は、２Ｋノイズ除去部４１１によりノイズが除去された解像度２Ｋのフレーム画像のベースバンドデータをJPEG2000方式により符号化する。
【０１３５】
ステップＳ４０５において、コードストリーム置換部４０５は、画像処理装置４００に入力されるコードストリームの解像度４Ｋの各サブバンドについて、ステップＳ４０３の処理によりノイズが除去された部分コードストリームに対応する部分を特定し、その部分（つまりノイズ成分を含むコードストリーム）を、ステップＳ４０３の処理によりノイズが除去された部分コードストリームに置換する。また、ステップＳ４０６において、コードストリーム置換部４０５は、画像処理装置４００に入力されるコードストリームの解像度２Ｋ以下の各サブバンドのコードストリーム（つまりノイズ成分を含むコードストリーム）を、ステップＳ４０４の処理により符号化されて生成された解像度２Ｋのフレーム画像のコードストリーム（つまりノイズ成分が除去されたコードストリーム）に置換する。さらに、コードストリーム置換部４０５は、ステップＳ４０７において、置換したコードブロックを含むパケットのヘッダ内の、符号長およびゼロビットプレーン数に関する情報を適宜更新する。
【０１３６】
ステップＳ４０７の処理が終了すると、画像処理が終了される。なお、この画像処理は、画像処理装置４００に入力される画像データの各フレーム画像について行われる。
【０１３７】
次に、図２２のフローチャートを参照して、図２１のステップＳ４０３において実行されるノイズ除去処理の流れの例を説明する。
【０１３８】
ノイズ除去処理が開始されると、ステップＳ４１１において、２Ｋノイズ除去部４１１は、解像度２Ｋのフレーム画像のベースバンドデータの、ステップＳ４０１の処理において設定された編集領域のノイズ成分を除去する。ステップＳ４１２において、４Ｋノイズ除去部４１２は、ステップＳ４０２の処理により抽出された解像度４Ｋの各サブバンドの部分コードストリームのノイズ成分を、他のデータと置換することにより、コードストリームのまま除去する。
【０１３９】
ステップＳ４１２の処理が終了されると、ノイズ除去処理が終了され、処理が図２１のステップＳ４０３に戻され、ステップＳ４０４以降の処理が実行される。
【０１４０】
以上のように、画像処理装置４００は、ノイズ成分の検出を、本来の解像度４Ｋよりも低い解像度２Ｋで行い、解像度４Ｋのサブバンドに含まれるノイズ成分は、復号せずにコードストリームのまま除去する編集処理を行う。これにより、画像処理装置４００は、フレーム画像全体のコードストリームを解像度４Ｋで復号し、ノイズ成分を除去し、再エンコードする場合と比べて、この編集処理に伴う、コードストリームの復号、ノイズ成分の除去、およびベースバンドデータの再符号化等の各処理の負荷、処理時間、およびデータ保持に必要なメモリ容量等を低減させることができる。つまり、画像処理装置４００は、フレーム画像全体を解像度４Ｋで復号し、編集処理を行う場合よりも、より容易に編集処理を行うことができる。
【０１４１】
なお、この画像処理装置４００の場合、画像処理装置２００や画像処理装置３００の場合と比べて、解像度４Ｋのサブバンドについての復号処理や符号化処理を省略することができる。これにより、画像処理装置４００は、画像処理装置２００や画像処理装置３００の場合よりも編集処理等の各処理の負荷や処理時間を低減させたり、データ保持に必要なメモリ量を低減させたりすることができる。ただし、画像処理装置４００は、解像度４Ｋのサブバンドのノイズ成分をコードストリームのまま除去するので、画像処理装置２００や画像処理装置３００の方が、画像処理装置４００よりもより正確にノイズ成分を除去することができる。
【０１４２】
以上においては、編集処理の例としてノイズ成分を除去する場合について説明したが、編集処理の内容は、これに限らず、スケーラブルに符号化されたデータを編集する処理であればどのような処理であっても良い。例えば、フレーム画像に合成用画像や文字を合成させる処理であってもよい。つまり、以上においては画像処理装置について説明したが、本発明は、スケーラブルに符号化されたデータを処理する装置であれば、画像処理装置以外にも適用することができる。
【０１４３】
また、編集処理されるデータは、スケーラブルに符号化されたデータであれば何でもよく、例えば音声データ等、画像データ以外であってもよい。さらに、以上においては、JPEG2000方式でデータを圧縮するように説明したが、データをスケーラブルに符号化する方式であれば、例えばMPEG（Moving Picture Experts Group）方式、H.264/AVC方式、ウェーブレット変換を利用者各種符号化・復号方式等、どのような符号化・復号方式を用いるようにしてもよい。
【０１４４】
以上においては、編集領域が１箇所である場合を例に説明したが、この編集領域は、ノイズ成分の数だけ設定することができ、1フレーム画像に複数設定されても良い。また、1フレーム画像編集領域を複数設定する場合、各編集領域を１つずつ処理するようにしてもよいし、複数の編集領域に対する処理を、並列に実行させるようにしてもよい。例えば、１つの編集領域において得られた処理結果や中間データ等を、他の編集領域に対する処理に利用するようにしてもよい。
【０１４５】
また、以上においては、解像度として４Ｋと２Ｋを例に説明したが、解像度４Ｋは高解像度の一例であり、解像度２Ｋは低解像度の一例であり、各解像度は任意である。つまり、本発明は、高解像度のスケーラブル符号化されたデータを、低解像度で処理することができればよく、例えば、３段階以上で復号可能なデータを、最低解像度でノイズ検出し、最高解像度の部分画像でノイズ除去処理を行うようにしてもよい。
【０１４６】
さらに、以上においては、画像処理をフレーム画像単位で繰り返すように説明したが、これに限らず、画像処理を繰り返す単位を、フレーム画像より小さくしても良いし、複数フレーム画像を１度の画像処理で処理するようにしてもよい。
【０１４７】
また、以上においては、説明の便宜上、符号化処理の際の量子化処理、および、復号処理の際の逆量子化処理を省略して説明したが、これに限らず、符号化の際に量子化を行い、復号の際に逆量子化を行うようにしてももちろんよい。
【０１４８】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図２３に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０１４９】
図２３において、パーソナルコンピュータ５００のCPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５１３からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１５０】
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。
【０１５１】
入出力インタフェース５１０には、キーボード、マウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５１２、ハードディスクなどより構成される記憶部５１３、モデムなどより構成される通信部５１４が接続されている。通信部５１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０１５２】
入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。
【０１５３】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０１５４】
この記録媒体は、例えば、図２３に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどで構成される。
【０１５５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５６】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表わすものである。
【０１５７】
なお、以上において、１つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて１つの装置として構成されるようにしてもよい。また、各装置の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置の構成の一部を他の装置の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１５８】
【図１】編集処理の様子の例を示す図である。
【図２】本発明を適用した画像処理装置の主な構成例を示すブロック図である。
【図３】編集処理におけるデータの様子の例を説明する図である。
【図４】画像処理の流れの例を説明するフローチャートである。
【図５】本発明を適用した画像処理装置の、他の構成例を示すブロック図である。
【図６】編集処理におけるデータの様子の、他の例を説明する図である。
【図７】抽出するコードブロックの範囲の例を説明する図である。
【図８】画像処理の流れの、他の例を説明するフローチャートである。
【図９】編集領域設定処理の流れの例を説明するフローチャートである。
【図１０】部分ベースバンドデータ作成処理の流れの例を説明するフローチャートである。
【図１１】部分コードストリーム作成処理の流れの例を説明するフローチャートである。
【図１２】本発明を適用した画像処理装置の、さらに他の構成例を示すブロック図である。
【図１３】編集処理におけるデータの様子の、さらに他の例を説明する図である。
【図１４】図１２の２Ｋ再エンコード部の詳細な構成例を示すブロック図である。
【図１５】コードブロックの様子の例を説明する図である。
【図１６】画像処理の流れの、さらに他の例を説明するフローチャートである。
【図１７】部分コードストリーム作成処理の流れの、他の例を説明するフローチャートである。
【図１８】２Ｋ再エンコード処理の流れの例を説明するフローチャートである。
【図１９】本発明を適用した画像処理装置の、さらに他の構成例を示すブロック図である。
【図２０】編集処理におけるデータの様子の、さらに他の例を説明する図である。
【図２１】画像処理の流れの、さらに他の例を説明するフローチャートである。
【図２２】ノイズ除去処理の流れの例を説明するフローチャートである。
【図２３】本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１５９】
１００  画像処理装置，  １０１  ２Ｋスケーラブルデコード部，  １０２  ノイズ除去部，  １０３  ２Ｋ再エンコード部，  １０４  ２Ｋコードストリーム置換部，  ２００  画像処理装置，  ２０１  編集領域設定部，  ２０２  部分ベースバンドデータ作成部，  ２０３  ノイズ除去部，  ２０４  部分コードストリーム作成部，  ２０５  コードストリーム置換部，  ２１１  ２Ｋスケーラブルデコード部，  ２１２  編集領域特定部，  ２２１  ２Ｋ編集領域抽出部，  ２２２  ４Ｋ編集領域抽出部，  ２２３  デコード部，  ２２４  IDWT部，  ２３１  4KDWT部，  ２３２  ４Ｋ再エンコード部，  ２３３  ２Ｋベースバンド置換部，  ２３４  ２Ｋ再エンコード部，  ３００  画像処理装置，  ３０４  部分コードストリーム作成部，  ３０５  コードストリーム置換部，  ３３４  ２Ｋ再エンコード部，  ３７１  置換コードブロック特定部，  ３７２  ベースバンド領域抽出部，  ３７３  DWT部，  ３７４  エンコード部，  ４００  画像処理装置，  ４０２  ４Ｋ編集領域抽出部，  ４０３  ノイズ除去部，  ４０４  ２Ｋ再エンコード部，  ４０５  コードストリーム置換部，  ４１１  ２Ｋノイズ除去部，  ４１２  ４Ｋノイズ除去部
【図１】
0004697249.tif 000002
【図２】
0004697249.tif 000003
【図３】
0004697249.tif 000004
【図４】
0004697249.tif 000005
【図５】
0004697249.tif 000006
【図６】
0004697249.tif 000007
【図７】
0004697249.tif 000008
【図８】
0004697249.tif 000009
【図９】
0004697249.tif 000010
【図１０】
0004697249.tif 000011
【図１１】
0004697249.tif 000012
【図１２】
0004697249.tif 000013
【図１３】
0004697249.tif 000014
【図１４】
0004697249.tif 000015
【図１５】
0004697249.tif 000016
【図１６】
0004697249.tif 000017
【図１７】
0004697249.tif 000018
【図１８】
0004697249.tif 000019
【図１９】
0004697249.tif 000020
【図２０】
0004697249.tif 000021
【図２１】
0004697249.tif 000022
【図２２】
0004697249.tif 000023
【図２３】
0004697249.tif 000024