(57)【要約】      （修正有）【課題】エッジを含む領域において画像雑音を増幅することなく、画像の鮮鋭度を向上させることができるデジタル画像処理方法を提供する。【解決手段】デジタル画像データ（ＩＤ）を入力として処理するデジタル画像処理方法は、エッジを検出及び強調する処理を含み、入力データに関してマルチレート信号処理、マルチ解像度信号処理及び／又はマルチスケール信号処理を用いて、入力データに対するマルチレート、マルチ解像度及び／又はマルチスケール鮮鋭度強調を実現する。【効果】マルチレート信号処理に基づく非線形のエッジベース鮮鋭度強調方法によって、画像の雑音が増幅されることを防ぐことができ、マルチレート画像鮮鋭度強調方法が適用される画像鮮鋭度の改善にも有効である。ここでは、マルチレート処理を行うため、傾きが大きいエッジだけでなく、傾きが中間の及び小さいエッジも効果的に検出され、更に強調することができる。【選択図】図２
2007226791.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像データを処理するデジタル画像処理方法において、
（ａ）画像（Ｉ）、画像のシーケンス（ＳＩ）及びビデオ（Ｖ）の少なくとも１つを表す処理されるデジタル画像データ（ＩＤ）を入力データ（ｉｎｐＤ）として準備するステップ（Ｓ１）と、
（ｂ）上記入力データ（ｉｎｐＤ）を処理し、強調された鮮鋭度プロパティを有する処理済みの画像（ｐｒｏｃＩ）、処理済みの画像シーケンス（ｐｒｏｃＳＩ）、処理済みのビデオ（ｐｒｏｃＶ）を表す処理済みのデータ（ｐｒｏｃＤ）として、処理済みの画像データ（ｐｒｏｃＩＤ）を生成するステップ（Ｓ２）と、
（ｃ）上記処理済みのデータ（ｐｒｏｃＤ）を出力データ（ｏｕｔＤ）として提供するステップ（Ｓ３）とを有し、
上記入力データ（ｉｎｐＤ）を処理するステップ（Ｓ２）は、エッジを検出及び強調する処理（ＤＥＥ）を含み、上記入力データ（ｉｎｐＤ）に関してマルチレート信号処理、マルチ解像度信号処理及び／又はマルチスケール信号処理を用いて、上記入力データ（ｉｎｐＤ）に対するマルチレート、マルチ解像度及び／又はマルチスケール鮮鋭度強調を実現するデジタル画像処理方法。
【請求項２】
上記入力データ（ｉｎｐＤ）を処理するステップ（Ｓ２）、上記エッジを検出及び強調する処理（ＤＥＥ）及び／又はエッジベースの鮮鋭度強調は、上記入力データ（ｉｎｐＤ）を分解（Ｄ）及び再構築（Ｒ）する処理によって実現されることを特徴とする請求項１記載のデジタル画像処理方法。
【請求項３】
上記入力データ（ｉｎｐＤ）を処理するステップ（Ｓ２）、上記エッジを検出及び強調する処理（ＤＥＥ）、エッジベースの鮮鋭度強調、及び／又は上記分解（Ｄ）及び再構築（Ｒ）する処理は、ラプラシアンピラミッド分解及び再構築処理によって実現されることを特徴とする請求項１又は２記載のデジタル画像処理方法。
【請求項４】
上記入力データ（ｉｎｐＤ）を処理するステップ（Ｓ２）、上記エッジを検出及び強調する処理（ＤＥＥ）、エッジベースの鮮鋭度強調、上記分解（Ｄ）及び再構築（Ｒ）する処理、及び／又はラプラシアンピラミッド分解及び再構築処理は、間引き（ＤＥＣ）処理及び補間／統合（ＩＮＴ）処理に基づき又は間引き（ＤＥＣ）処理及び補間／統合（ＩＮＴ）処理を用いることを特徴とする請求項１乃至３いずれか１項記載のデジタル画像処理方法。
【請求項５】
上記間引き（ＤＥＣ）処理は、マルチレート信号処理、マルチスケール信号処理及び／又はマルチ解像度信号処理に基づくことを特徴とする請求項４記載のデジタル画像処理方法。
【請求項６】
上記補間／統合（ＩＮＴ）処理は、マルチレート信号処理、マルチスケール信号処理及び／又はマルチ解像度信号処理に基づくことを特徴とする請求項４又は５記載のデジタル画像処理方法。
【請求項７】
上記間引き（ＤＥＣ）処理は、所定の順序で、
（ｄ１）ローパスフィルタリング（Ｌ）及び／又はアンチエリアスフィルタリング（Ｌ）を行うサブ処理及び
（ｄ２）ダウンサンプリング（↓）を行うサブ処理を含むことを特徴とする請求項４乃至６いずれか１項記載のデジタル画像処理方法。
【請求項８】
上記補間／統合（ＩＮＴ）処理は、所定の順序で、
（ｉ１）アップサンプリング（↑）を行うサブ処理及び
（ｉ２）ローパスフィルタリング（Ｌ）及び／又はアンチエリアスフィルタリング（Ｌ）を行うサブ処理を含むことを特徴とする請求項４乃至７いずれか１項記載のデジタル画像処理方法。
【請求項９】
上記間引き処理（ＤＥＣ）及び／又は補間／統合処理（ＩＮＴ）、及び各サブ処理（ｄ１）、（ｄ２）、（ｉ１）、（ｉ２）は、
高周波成分、雑音成分及び／又はその各分散を減少させ、
各中間信号の有用な信号成分を実質的に変更しないように維持し、又は該有用な信号成分を比較的より少量又は比較的少量だけ変更し又は変更しないことを特徴とする請求項４乃至８いずれか１項記載のデジタル画像処理方法。
【請求項１０】
上記間引き処理（ＤＥＣ）及び／又は補間／統合処理（ＩＮＴ）、及びローパスフィルタリング（Ｌ）及び／又はアンチエリアスフィルタリング（Ｌ）の各サブ処理（ｄ１、ｉ２）は、ハミングウィンドウを含むウィンドウ化プロセスに基づいて実行されることを特徴とする請求項４乃至９いずれか１項記載のデジタル画像処理方法。
【請求項１１】
上記間引き処理（ＤＥＣ）及び／又は補間／統合処理（ＩＮＴ）、及びローパスフィルタリング（Ｌ）及び／又はアンチエリアスフィルタリング（Ｌ）の各サブ処理（ｄ１、ｉ２）は、実行されるローパスフィルタ（Ｌ）及び／又はアンチエリアスフィルタ（Ｌ）の伝達関数（Ｈ）に基づいて、事前推定されることを特徴とする請求項４乃至１０いずれか１項記載のデジタル画像処理方法。
【請求項１２】
上記分類される信号領域又は信号成分において、高周波信号成分及び雑音のいずれが支配的であるかを判定するために、基底のフィルタ（Ｌ）のそれぞれの伝達関数（Ｈ）を用いて、変化率、分散範囲及び分散公差範囲の少なくとも１つを定義することを特徴とする請求項１１記載のデジタル画像処理方法。
【請求項１３】
上記入力データ（ｉｎｐＤ）を処理するステップ（Ｓ２）、上記エッジを検出及び強調する処理（ＤＥＥ）、エッジベースの鮮鋭度強調、上記分解（Ｄ）及び再構築（Ｒ）する処理、ラプラシアンピラミッド分解及び再構築処理及び／又は上記間引き（ＤＥＣ）処理及び上記上記補間／統合（ＩＮＴ）処理は、複数の繰返しステップ（ｋ＝１，…，Ｎ）を繰り返すことによって実現されることを特徴とする請求項１乃至１２いずれか１項記載のデジタル画像処理方法。
【請求項１４】
上記繰返しステップ（ｋ＝１，…，Ｎ）のそれぞれにおいて、詳細信号（ｄｅｔｋ、ｋ＝０，１，…，Ｎ）が生成されることを特徴とする請求項１３記載のデジタル画像処理方法。
【請求項１５】
上記繰返し、及び各繰返し停止条件は、予め定義された手法で、各閾値及び／又は各閾値条件に基づいていることを特徴とする請求項１３又は１４記載のデジタル画像処理方法。
【請求項１６】
上記各繰返しステップ（ｋ＝１，…，Ｎ）において、各分解ステップ（Ｄｋ）及び各再構築ステップ（Ｒｋ）は、それぞれ上記分解処理内及び上記再構築処理内で実行されることを特徴とする請求項１３乃至１５いずれか１項記載のデジタル画像処理方法。
【請求項１７】
上記各繰返しステップ（ｋ＝１，…，Ｎ）において、各分解ステップ（Ｄｋ）は、直前の繰返しステップ（ｋ−１）から、該繰返しステップ（ｋ−１）によって生成された入力データ（ｉｎｋ）を受信し、又は、先行する繰返しステップがない場合、上記入力データ（ｉｎｐＤ）を受信することを特徴とする請求項１３乃至１６いずれか１項記載のデジタル画像処理方法。
【請求項１８】
上記各繰返しステップ（ｋ＝１，…，Ｎ−１）において、各分解ステップ（Ｄｋ）は、入力データ（ｉｎｋ＋１）を生成し、直後の繰返しステップ（ｋ＋１）における分解ステップ（Ｄｋ）に供給し、又は、後続する繰返しステップがない場合、同じ繰返しステップ（ｋ）における各再構築ステップ（Ｒｋ）に出力データ（ｏｕｔｋ）を供給することを特徴とする請求項１７記載のデジタル画像処理方法。
【請求項１９】
上記各繰返しステップ（ｋ＝１，…，Ｎ−１）において、各分解ステップ（Ｄｋ）は、処理全体の入力データをｉｎｐＤとし、ｋ番目の繰返しステップの入力データをｉｎｐｋとし、間引き処理（ＤＥＣ）をＤＥＣ（・）とし、ダウンサンプリング（ｄ２）を↓（・）とし、ローパスフィルタリング及び／又はアンチエイリアシングフィルタリング処理（ｄ１）をＬ（・）として、式（１）及び（２）に基づいて、上記入力データ（ｉｎｋ＋１）を生成及び供給することを特徴とする請求項１８記載のデジタル画像処理方法。
【数１】
2007226791.tif 000006
【請求項２０】
上記各繰返しステップ（ｋ＝１，…，Ｎ−１）において、各分解ステップ（Ｄｋ）は、詳細データ（ｄｅｔｋ）を生成し、同じ繰返しステップ（ｋ）における各再構築ステップ（Ｒｋ）に供給することを特徴とする請求項１３乃至１９いずれか１項記載のデジタル画像処理方法。
【請求項２１】
上記各繰返しステップ（ｋ＝１，…，Ｎ−１）において、各分解ステップ（Ｄｋ）は、ｋ番目の繰返しステップの詳細データをｄｅｔｋとし、ｋ番目の繰返しステップの入力データをｉｎｐｋとし、補間／統合の処理をＩＮＴ（・）とし、エッジ判定及び強調の処理をＤＥＥ（・）とし、アップサンプリング（ｉ１）を↑（・）とし、ローパスフィルタリング及び／又はアンチエイリアシングフィルタリング処理（ｉ２）をＬ（・）として、式（３）の（ａ）、（ｂ）、（ｃ）のいずれかに基づいて、詳細データ（ｄｅｔｋ）を生成することを特徴とする請求項２０記載のデジタル画像処理方法。
【数２】
2007226791.tif 000007
【請求項２２】
上記各繰返しステップ（ｋ＝１，…，Ｎ）において、各再構築ステップ（Ｒｋ）は、同じ繰返しステップの各分解ステップ（Ｄｋ）において生成された詳細データ（ｄｅｔｋ）を該分解ステップ（Ｄｋ）から受信し、及び直後の繰返しステップ（ｋ＋１）の各再構築ステップ（Ｄｋ＋１）において生成された出力データ（ｏｕｔｋ）を該再構築ステップ（Ｄｋ＋１）から受信し、又は、後続する繰返しステップがない場合、同じ繰返しステップの上記分解ステップ（Ｄｋ）の上記入力データ（ｉｎｋ）を受信することを特徴とする請求項１３乃至２１いずれか１項記載のデジタル画像処理方法。
【請求項２３】
上記各繰返しステップ（ｋ＝１，…，Ｎ）において、各再構築ステップ（Ｒｋ）は、出力データ（ｏｕｔｋ−１）を生成し、直前の繰返しステップ（ｋ−１）の再構築ステップ（Ｒｋ−１）に供給し、又は先行する繰返しステップがない場合、出力データ（ｏｕｔＤ）を処理全体に提供することを特徴とする請求項１３乃至２２いずれか１項記載のデジタル画像処理方法。
【請求項２４】
上記各繰返しステップ（ｋ＝１，…，Ｎ）において、各再構築ステップ（Ｒｋ）は、ｋ番目の繰返しステップにおける出力データをｏｕｔｋとし、ｋ番目の繰返しステップにおける入力データをｉｎｐｋとし、補間／統合の処理をＩＮＴ（・）とし、エッジ判定及び強調の処理をＤＥＥ（・）とし、アップサンプリング（ｉ１）を↑（・）とし、ローパスフィルタリング及び／又はアンチエイリアシングフィルタリング処理（ｉ２）をＬ（・）として、式（５）の（ａ）、（ｂ）、（ｃ）に基づいて、及び式（４）及び式（６）に基づいて、上記出力データ（ｏｕｔｋ）を生成及び準備及び／又は受信する請求項２３記載のデジタル画像処理方法。
【数３】
2007226791.tif 000008
【請求項２５】
上記エッジ検出（ＤＥＥ）は、元の入力信号（ｉｎｐＤ）及びマルチレート信号処理の分解側（Ｄ）で出力された間引き（ＤＥＣ）出力から実行されることを特徴とする請求項１乃至２４いずれか１項記載のデジタル画像処理方法。
【請求項２６】
上記エッジ検出（ＤＥＥ）は、マルチレート信号処理の分解側（Ｄ）の補間器（ＩＮＴ）の出力から実行されることを特徴とする請求項１乃至２４いずれか１項記載のデジタル画像処理方法。
【請求項２７】
上記エッジ検出（ＤＥＥ）は、マルチレート信号処理の再構築側（Ｒ）の補間器（ＩＮＴ）の出力から実行されることを特徴とする請求項１乃至２４いずれか１項記載のデジタル画像処理方法。
【請求項２８】
上記エッジ検出及び強調処理は、エッジベースの画像鮮鋭度強調の処理に基づいていることを特徴とする請求項１乃至２７いずれか１項記載のデジタル画像処理方法。
【請求項２９】
上記エッジ検出及び強調処理は、非エッジベースの画像鮮鋭度強調の処理に基づいていることを特徴とする請求項１乃至２８いずれか１項記載のデジタル画像処理方法。
【請求項３０】
上記エッジ検出は、マルチ解像度信号処理に基づいて実行され、上記エッジは、エッジベースの鮮鋭度強調方法によって強調されることを特徴とする請求項１乃至２９いずれか１項記載のデジタル画像処理方法。
【請求項３１】
より高い解像度レベルでは検出できないエッジを低い解像度レベルで検出し、該エッジを更に強調することを特徴とする請求項１乃至３０いずれか１項記載のデジタル画像処理方法。
【請求項３２】
上記異なる解像度レベルのエッジ検出は、異なるエッジ閾値又は同じエッジ閾値を用いて実行されることを特徴とする請求項１乃至３１いずれか１項記載のデジタル画像処理方法。
【請求項３３】
上記異なる解像度レベルのエッジ強調量は、制御され、異なる信号部分が制御された手法で強調されることを特徴とする請求項１乃至３２いずれか１項記載のデジタル画像処理方法。
【請求項３４】
請求項１乃至３３いずれか１項記載のデジタル画像処理方法及びそのステップを実現するよう適応化され、該デジタル画像処理方法及びそのステップ実現するための手段を備えるデジタル画像処理システム、装置又は機器。
【請求項３５】
コンピュータ又はデジタル信号処理手段に、請求項１乃至３３いずれか１項記載のデジタル画像処理方法及びそのステップを実行させるコンピュータプログラム。
【請求項３６】
請求項３５記載のコンピュータプログラムを記録したコンピュータにより読取可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像データを処理するデジタル画像処理方法に関する。特に、本発明は、エッジベースのマルチレート画像鮮鋭度強調を行うデジタル画像処理方法に関する。
【背景技術】
【０００２】
画像処理が行われる多くのアプリケーション及びユーザ機器において、画像の鮮鋭度を強調することが必要な場合がある。ここで、エッジ等を含む画像領域において、鮮鋭度を強調する際、多くの場合、鮮鋭度強調の過程で、画像に含まれている雑音も増幅されてしまうという問題がある。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
そこで、本発明の目的は、エッジを含む領域において画像雑音を増幅することなく、画像の鮮鋭度を向上させることができるデジタル画像処理方法を提供することである。
【課題を解決するための手段】
【０００４】
本発明の目的は、独立請求項１に定義されている本発明に基づくデジタル画像処理方法の特徴によって達成される。本発明に基づくデジタル画像処理方法の好適な実施の形態は、各従属請求項に定義されている。また、この目的は、独立請求項３４に基づくシステム又は装置、独立請求項３５に基づくコンピュータプログラム、及び独立請求項３６に基づくコンピュータにより読取可能な媒体によって達成される。
【０００５】
本発明に係るデジタル画像処理方法は、デジタル画像データを処理するデジタル画像処理方法において、（ａ）画像、画像のシーケンス及びビデオの少なくとも１つを表す処理されるデジタル画像データを入力データとして準備するステップＳ１と、（ｂ）入力データを処理し、強調された鮮鋭度プロパティを有する処理済みの画像、処理済みの画像シーケンス、処理済みのビデオを表す処理済みのデータとして、処理済みの画像データを生成するステップＳ２と、（ｃ）処理済みのデータを出力データとして提供するステップ（Ｓ３）とを有し、入力データを処理するステップＳ２は、エッジを検出及び強調する処理を含み、入力データに関してマルチレート信号処理、マルチ解像度信号処理及び／又はマルチスケール信号処理を用いて、入力データに対するマルチレート、マルチ解像度及び／又はマルチスケール鮮鋭度強調を実現する。
【０００６】
更に、本発明は、上述したデジタル画像処理方法及びそのステップを実現するよう適応化され、デジタル画像処理方法及びそのステップ実現するための手段を備えるデジタル画像処理システム、装置、機器、コンピュータプログラム製品、コンピュータにより読取可能な媒体を提供する。
【発明を実施するための最良の形態】
【０００７】
以下では、機能的及び構造的に類似又は同様の要素及び構造については、同じ参照符号を付す。これらが出現する毎に同じ詳細な説明は繰り返さない。
【０００８】
本発明に基づく、デジタル画像データを処理するデジタル画像処理方法は、（ａ）画像Ｉ、画像のシーケンスＳＩ及びビデオＶの少なくとも１つを表す処理されるデジタル画像データＩＤを入力データｉｎｐＤとして準備するステップＳ１と、（ｂ）入力データｉｎｐＤを処理し、強調された鮮鋭度プロパティを有する処理済みの画像ｐｒｏｃＩ、処理済みの画像シーケンスｐｒｏｃＳＩ、処理済みのビデオｐｒｏｃＶを表す処理済みのデータｐｒｏｃＤとして、処理済みの画像データｐｒｏｃＩＤを生成するステップＳ２と、（ｃ）処理済みのデータｐｒｏｃＤを出力データｏｕｔＤとして提供するステップＳ３とを有し、入力データｉｎｐＤを処理するステップＳ２は、エッジを検出及び強調する処理ＤＥＥを含み、入力データｉｎｐＤに関してマルチレート信号処理、マルチ解像度信号処理及び／又はマルチスケール信号処理を用いて、入力データｉｎｐＤに対するマルチレート、マルチ解像度及び／又はマルチスケール鮮鋭度強調を実現する。
【０００９】
本発明の好ましい実施の形態においては、入力データｉｎｐＤを処理するステップＳ２、エッジを検出及び強調する処理ＤＥＥ及び／又はエッジベースの鮮鋭度強調は、入力データｉｎｐＤを分解Ｄ及び再構築Ｒする処理によって実現される。
【００１０】
これに代えて又はこれに加えて、入力データｉｎｐＤを処理するステップＳ２、エッジを検出及び強調する処理ＤＥＥ、エッジベースの鮮鋭度強調、及び／又は分解Ｄ及び再構築Ｒする処理は、ラプラシアンピラミッド分解及び再構築処理ＬＰＤＲによって実現してもよい。
【００１１】
これに代えて又はこれに加えて、入力データｉｎｐＤを処理するステップＳ２、エッジを検出及び強調する処理ＤＥＥ、エッジベースの鮮鋭度強調、分解Ｄ及び再構築Ｒする処理、及び／又はラプラシアンピラミッド分解及び再構築処理は、間引きＤＥＣ処理及び補間／統合ＩＮＴ処理に基づき又は間引きＤＥＣ処理及び補間／統合ＩＮＴ処理を用いてもよい。
【００１２】
この場合、間引きＤＥＣ処理は、マルチレート信号処理、マルチスケール信号処理及び／又はマルチ解像度信号処理に基づいて行ってもよい。
【００１３】
これに代えて又はこれに加えて、補間／統合ＩＮＴ処理は、マルチレート信号処理、マルチスケール信号処理及び／又はマルチ解像度信号処理に基づいて行ってもよい。
【００１４】
間引きＤＥＣ処理は、所定の順序で、（ｄ１）ローパスフィルタリングＬ及び／又はアンチエリアスフィルタリングＬ及び（ｄ２）ダウンサンプリング↓のサブ処理を含んでいてもよい。
【００１５】
補間／統合ＩＮＴ処理は、所定の順序で、（ｉ１）アップサンプリング↑及び（ｉ２）ローパスフィルタリングＬ及び／又はアンチエリアスフィルタリングＬのサブ処理を含んでいてもよい。
【００１６】
間引き処理ＤＥＣ及び／又は補間／統合処理ＩＮＴ、及び各サブ処理ｄ１、ｄ２、ｉ１、ｉ２は、高周波成分、雑音成分及び／又はその各分散を減少させ、各中間信号の有用な信号成分を実質的に変更しないように維持し、又は有用な信号成分を比較的より少量又は比較的少量だけ変更し又は変更しない。
【００１７】
間引き処理ＤＥＣ及び／又は補間／統合処理ＩＮＴ、及びローパスフィルタリングＬ及び／又はアンチエリアスフィルタリングＬの各サブ処理ｄ１、ｉ２は、ハミングウィンドウを含むウィンドウ化プロセスに基づいて実行してもよい。
【００１８】
間引き処理ＤＥＣ及び／又は補間／統合処理ＩＮＴ、及びローパスフィルタリングＬ及び／又はアンチエリアスフィルタリングＬの各サブ処理ｄ１、ｉ２は、実行されるローパスフィルタＬ及び／又はアンチエリアスフィルタＬの伝達関数Ｈに基づいて、事前推定してもよい。
【００１９】
この場合、分類される信号領域又は信号成分において、高周波信号成分及び雑音のいずれが支配的であるかを判定するために、基底のフィルタＬのそれぞれの伝達関数Ｈを用いて、変化率、分散範囲及び分散公差範囲の少なくとも１つを定義してもよい。
【００２０】
入力データｉｎｐＤを処理するステップＳ２、エッジを検出及び強調する処理ＤＥＥ、エッジベースの鮮鋭度強調、分解Ｄ及び再構築Ｒする処理、ラプラシアンピラミッド分解及び再構築処理及び／又は間引きＤＥＣ処理及び補間／統合ＩＮＴ処理は、複数の繰返しステップｋ＝１，…，Ｎを繰り返すことによって実現してもよい。
【００２１】
繰返しステップｋ＝１，…，Ｎのそれぞれにおいて、詳細信号ｄｅｔｋ（ｋ＝０，１，…，Ｎ）を生成してもよい
繰返し、及び各繰返し停止条件は、予め定義された手法で、各閾値及び／又は各閾値条件に基づいて決定してもよい。
【００２２】
各繰返しステップｋ＝１，…，Ｎにおいて、各分解ステップＤｋ及び各再構築ステップＲｋは、それぞれ分解処理内及び再構築処理内で実行してもよい。
【００２３】
各繰返しステップｋ＝１，…，Ｎにおいて、各分解ステップＤｋは、直前の繰返しステップｋ−１から、繰返しステップｋ−１によって生成された入力データｉｎｋを受信し、又は、先行する繰返しステップがない場合、入力データｉｎｐＤを受信してもよい。
【００２４】
各繰返しステップｋ＝１，…，Ｎ−１において、各分解ステップＤｋは、入力データｉｎｋ＋１を生成し、直後の繰返しステップｋ＋１における分解ステップＤｋに供給し、又は、後続する繰返しステップがない場合、同じ繰返しステップｋにおける各再構築ステップＲｋに出力データｏｕｔｋを供給してもよい。
【００２５】
各繰返しステップｋ＝１，…，Ｎ−１において、各分解ステップＤｋは、処理全体の入力データをｉｎｐＤとし、ｋ番目の繰返しステップの入力データをｉｎｐｋとし、間引き処理ＤＥＣをＤＥＣ（・）とし、ダウンサンプリングｄ２を↓（・）とし、ローパスフィルタリング及び／又はアンチエイリアシングフィルタリング処理ｄ１をＬ（・）として、式（１）及び（２）に基づいて、入力データｉｎｋ＋１を生成及び供給してもよい。
【００２６】
【数１】
2007226791.tif 000003
各繰返しステップｋ＝１，…，Ｎ−１において、各分解ステップＤｋは、詳細データｄｅｔｋを生成し、同じ繰返しステップｋにおける各再構築ステップＲｋに供給してもよい。
【００２７】
各繰返しステップｋ＝１，…，Ｎ−１において、各分解ステップＤｋは、ｋ番目の繰返しステップの詳細データをｄｅｔｋとし、ｋ番目の繰返しステップの入力データをｉｎｐｋとし、補間／統合の処理をＩＮＴ（・）とし、エッジ判定及び強調の処理をＤＥＥ・とし、アップサンプリングｉ１を↑（・）とし、ローパスフィルタリング及び／又はアンチエイリアシングフィルタリング処理ｉ２をＬ（・）として、式（３）の（ａ）、（ｂ）、（ｃ）のいずれかに基づいて、詳細データｄｅｔｋを生成してもよい。
【００２８】
【数２】
2007226791.tif 000004
各繰返しステップｋ＝１，…，Ｎにおいて、各再構築ステップＲｋは、同じ繰返しステップの各分解ステップＤｋにおいて生成された詳細データｄｅｔｋを分解ステップＤｋから受信し、及び直後の繰返しステップｋ＋１の各再構築ステップＤｋ＋１において生成された出力データｏｕｔｋを再構築ステップＤｋ＋１から受信し、又は、後続する繰返しステップがない場合、同じ繰返しステップの分解ステップＤｋの入力データｉｎｐｋを受信するように構成してもよい。
【００２９】
各繰返しステップｋ＝１，…，Ｎにおいて、各再構築ステップＲｋは、出力データｏｕｔｋ−１を生成し、直前の繰返しステップｋ−１の再構築ステップＲｋ−１に供給し、又は先行する繰返しステップがない場合、出力データｏｕｔＤを処理全体に提供してもよい。
【００３０】
各繰返しステップｋ＝１，…，Ｎにおいて、各再構築ステップＲｋは、ｋ番目の繰返しステップにおける出力データをｏｕｔｋとし、ｋ番目の繰返しステップにおける入力データをｉｎｐｋとし、補間／統合の処理をＩＮＴ（・）とし、エッジ判定及び強調の処理をＤＥＥ（・）とし、アップサンプリングｉ１を↑（・）とし、ローパスフィルタリング及び／又はアンチエイリアシングフィルタリング処理ｉ２をＬ（・）として、式（５）の（ａ）、（ｂ）、（ｃ）に基づいて、及び式（４）及び式（６）に基づいて、出力データｏｕｔｋを生成及び準備及び／又は受信してもよい。
【００３１】
【数３】
2007226791.tif 000005
エッジ検出ＤＥＥは、元の入力信号ｉｎｐＤ及びマルチレート信号処理の分解側Ｄで出力された間引きＤＥＣ出力から実行してもよい。
【００３２】
エッジ検出ＤＥＥは、マルチレート信号処理の分解側Ｄの補間器ＩＮＴの出力から実行してもよい。
【００３３】
エッジ検出ＤＥＥは、マルチレート信号処理の再構築側Ｒの補間器ＩＮＴの出力から実行してもよい。
【００３４】
エッジ検出及び強調処理は、エッジベースの画像鮮鋭度強調の処理に基づいて実行してもよい。
【００３５】
エッジ検出及び強調処理は、非エッジベースの画像鮮鋭度強調の処理に基づいて実行してもよい。
【００３６】
エッジ検出は、マルチ解像度信号処理に基づいて実行し、エッジは、エッジベースの鮮鋭度強調方法によって強調してもよい。
【００３７】
より高い解像度レベルでは検出できないエッジを低い解像度レベルで検出し、エッジを更に強調してもよい。
【００３８】
異なる解像度レベルのエッジ検出は、異なるエッジ閾値又は同じエッジ閾値を用いて実行してもよい。
【００３９】
異なる解像度レベルのエッジ強調量は、制御され、異なる信号部分が制御された手法で強調される。
【００４０】
本発明の文脈では、エッジを検出及び強調するための如何なる既知の処理ＤＥＥを行ってもよい。
【００４１】
また、本発明の更なる側面として、本発明は、上述したデジタル画像処理方法及びそのステップを実現するよう適応化され、デジタル画像処理方法及びそのステップ実現するための手段を備えるデジタル画像処理システム、装置又は機器を提供する。
【００４２】
また、本発明の更なる側面として、本発明は、コンピュータ又はデジタル信号処理手段によって実行されると、上述したデジタル画像処理方法及びそのステップを実現するよう適応化されたコンピュータプログラム手段を備えるコンピュータプログラム製品を提供する。
【００４３】
また、本発明の更なる側面として、本発明は、上述したコンピュータプログラムを備えるコンピュータにより読取可能な媒体を提供する。
【００４４】
以下、本発明のこれらの及び更なる側面について説明する。
【００４５】
本発明は、特に、エッジベースのマルチレート画像鮮鋭度強調（edge-based multi rate image sharpness enhancement）を行うデジタル画像処理方法に関する。
【００４６】
本発明は、特に、マルチレート信号処理に基づく非線形の鮮鋭度強調方法を提供する。エッジベースの鮮鋭度強調方法によって、画像の雑音が増幅されることを防ぐことができ、マルチレート画像鮮鋭度強調が適用される画像鮮鋭度の改善にも有効である。ここでは、マルチレート処理を行うため、傾きが大きいエッジだけでなく、傾きが中間の及び小さいエッジも効果的に検出され、したがって、更に強調することができる。
【００４７】
画像鮮鋭度は、画像解像度に加えて、画質評価のための重要な特徴である。したがって、画像鮮鋭度の強調は、画像処理の重要な課題である。多数の画像鮮鋭度強調技術のうち、エッジベースの画像鮮鋭度強調技術は、最も有望であると考えられている［Ｓｃｈ００］。エッジベースの画像鮮鋭度強調技術は、画像鮮鋭度を向上させるだけではなく、雑音が増幅されることを防ぐことができる。エッジベースの画像鮮鋭度強調技術では、まず、画像のエッジを検出し、次に、エッジに沿った画素が強調される。
【００４８】
また、マルチスケール又はマルチ解像度信号処理として知られるマルチレート信号処理の研究は、多くの研究者によってなされている［ＣｒｏＲａ９６、Ｖａｉｄ９３、ＡｋａｎＨａ９０］。この技術は、多くの分野に応用されている。重要なアプリケーションの１つとして、鮮鋭度強調の分野がある［ＶｕｙＳｃｈ９１］。この技術は、ピラミッド分解（pyramid decomposition）に基づいている。ここでは、解像度が高いレベルでは、傾きが大きい信号部分が強調される。逆に、解像度が低いレベルでは、傾きが小さい信号部分が強調される。周知の非マルチレート信号処理方法では、大きな傾きを有する信号部分だけが強調されるが、本発明では、全て又は大部分の信号構造を強調できる。
【００４９】
ビデオ信号に含まれるピクチャの鮮鋭度を改善する方法は、（ａ）ステップ／エッジ強調アルゴリズムに基づいてピクチャを処理し、ステップ／エッジ強調ピクチャを生成するステップと、（ｂ）テクスチャ強調アルゴリズムに基づいてピクチャを処理し、テクスチャ強調されたピクチャを生成し、ステップ／エッジ強調ピクチャと、テクスチャ強調ピクチャとを混合することによって、鮮鋭度が改善されたピクチャを含むビデオ信号を生成するステップとを有し、ステップ（ａ）及び（ｂ）は、ピクチャに関連する動き情報に依存して実行される。この技術の詳細については、欧州特許第ＥＰ１３３９２２４号、「ピクチャ鮮鋭度を改善する方法及び装置（Method and Apparatus for Improving Picture Sharpness）」に開示されている。
【００５０】
特に低コントラスト構造を強調する必要があるため、マルチレート画像鮮鋭度強調技術は、画像鮮鋭度改善に関して最も効率的な技術である。しかしながら、周知のマルチレート画像鮮鋭度強調技術は、雑音による影響を非常に受けやすい。周知のエッジベースの画像鮮鋭度強調技術において、雑音の増幅を抑制すると、低コントラスト構造に対する強調の効果が低下する。
【００５１】
本発明は、画像雑音の増幅を防止しながら、低い、中間の、及び高いコントラストを有する画像信号の鮮鋭度を改善することを目的とする。マルチレート信号処理をエッジベースの画像強調技術と組み合わせることによって、雑音感度問題は、大幅に改善される。
【００５２】
周知のラプラシアンピラミッド分解及び再構築（Laplace pyramid decomposition and reconstruction）に基づくマルチレート信号処理を図１に示す。
【００５３】
マルチレート画像強調［ＶｕｙＳｃｈ９１］は、詳細信号（detail signal）に対して実行される。詳細信号自体が高周波成分であるので、その増幅、すなわち、１より大きい係数に乗算することによって、画像鮮鋭度が強調される。また、詳細信号には、画像雑音も含まれているので、この種の鮮鋭度強調技術では、鮮鋭度が改善される一方で、画像雑音も増幅される。雑音が過剰に増幅されることに対する対策として、例えば、コアリング技術（coring technique）が知られているが、雑音増幅問題は未解決である。
【００５４】
そこで、本発明は、新たな解決策として、図２によって示すようなエッジベースのマルチレート画像鮮鋭度強調技術を提供する。
【００５５】
エッジは、まず、解像度レベルが最も高い信号（元の入力信号）から検出され、次に、解像度レベルが低い信号から検出される。解像度レベルが低い信号は、ローパスフィルタ（Ｌ）及びダウンサンプラ（↓）を備える間引器（decimator）から出力される。外乱雑音に対してロバストなエッジ検出方法がある［Ｓｃｈ００］。エッジ検出のための前処理すなわち、直交フィルタリングによって、外乱雑音に対するエッジ検出のロバストネスを更に改善できる。そして、例えば、エッジ置換法、合成詳細信号加算法（synthetic detail-signal addition method）［Ｓｃｈ００］等によって、検出されたエッジに沿った画素を強調できる。
【００５６】
図２の構成では、エッジ検出及び強調は、間引器ＤＥＣの出力Ｌ↓を用いて行われる。また、アップサンプラ↑及びローパスフィルタＬからなる補間器又はインテグレータＩＮＴの出力↑Ｌを用いて、画像鮮鋭度を向上させることもでき、特に、再構築側の補間器の出力を用いることが有望である。
【００５７】
エッジの傾きは、図３に示すように、間引きの後により大きくなる。この結果、エッジ検出のために同じ閾値を適用しても、より高い解像度レベルでは、検出できないエッジをより低い解像度レベルで検出することができる。マルチレート処理の他の利点は、同じ画像について、エッジ検出のために２つ以上の閾値を適用でき、すなわち、異なるレベルに関して、エッジ検出のために異なる閾値を適用できるという点である。これにより、エッジ検出結果の精度を向上させることができる。
【００５８】
したがって、エッジベースの強調技術を用いて、より高い解像度レベルでは強調できないエッジをより低い解像度レベルにおいて強調することができる。この結果、高いコントラストを有する信号部分だけでなく、中間の及び低いコントラストを有する信号部分も強調することができる。
【００５９】
更に、信号強調量は、レベルによって異ならせることもでき、これにより、異なる信号部分を強調できる。例えば、解像度レベルが低い部分を解像度レベルが高い部分より強調することによって、コントラストが低い信号部分を強調することができる。
【００６０】
本発明は、元の入力信号及びマルチレート信号処理の分解側の間引器の出力信号からエッジ検出を行うことによって特徴付けられる画像鮮鋭度強調技術を開示する。この手法によって検出されたエッジは、エッジベース又は非エッジベースの画像鮮鋭度強調方法によって強調される。
【００６１】
これに代えて、マルチレート信号処理の分解側の補間器の出力からエッジ検出を行ってもよい。この手法によって検出されたエッジは、エッジベース又は非エッジベースの画像鮮鋭度強調方法によって強調される。
【００６２】
更に、これに代えて、マルチレート信号処理の再構築側の補間器の出力からエッジ検出を行ってもよい。この手法によって検出されたエッジは、エッジベース又は非エッジベースの画像鮮鋭度強調方法によって強調される。
【００６３】
これに加えて又はこれに代えて、画像鮮鋭度強調方法では、マルチ解像度信号処理に基づいてエッジ検出を行い、次に、エッジベースの鮮鋭度強調方法によってエッジを強調してもよい。
【００６４】
本発明の更なる側面では、高い解像度レベルにおいてエッジが検出できない場合、低い解像度レベルにおいてエッジを検出し、このエッジを強調できる。
【００６５】
本発明の更なる側面として、本発明に基づく画像鮮鋭度強調方法では、異なる又は同じエッジ閾値を用いて、異なる解像度レベルについてエッジを検出できる。
【００６６】
これに加えて又はこれに代えて、異なる解像度レベルについて、エッジ強調量を制御でき、これにより異なる信号部分を強調できる。
【００６７】
本発明は、マルチレート信号処理の利点とエッジベースの画像強調の利点の両方を組み合わせる。すなわち、本発明は、コントラストが低い、中間の及び高い画像信号の鮮鋭度を改善するとともに、雑音の増幅を防ぐ。
【００６８】
図１は、デジタル画像データ処理方法を実現するための構成の詳細を例示する概略的なブロック図であり、この構成は、入力データｉｎｐＤに基づき、出力データｏｕｔＤを生成し、出力する。
【００６９】
この処理は、入力データｉｎｐＤを分解するサブ処理Ｄと、再構築によって出力データｏｕｔＤを生成するサブ処理Ｒとから構成される。
【００７０】
更に、この処理全体を繰り返してもよく、すなわち分解のサブ処理Ｄ及び再構築のサブ処理Ｒをそれぞれ繰り返してもよい。各繰返しステップｋ＝１，…，Ｎにおいて、特定の繰返しステップｋのための入力データｉｎｐｋ−１が供給又は生成され、次に、その特定の繰返しステップｋについて、各出力データｏｕｔｋ−１が生成される。
【００７１】
最初に、すなわち、初期の又は繰返しステップｋ＝１において、処理全体の入力データｉｎｐＤによって入力データｉｎｐ０が与えられる。後続する各繰返しステップｋ＋１においては、先の繰返し処理ｋにおいて生成された各入力データｉｎｐｋのそれぞれを、まず、ローパスフィルタリング又はアンチエイリアシングフィルタＬし、次にダウンサンプリング↓する。
【００７２】
各繰返しステップｋにおいて、次の繰返しステップｋ＋１の出力データｏｕｔｋ＋１に基づいて、すなわち、所謂詳細データ又は詳細信号ｄｅｔｋに、まず、アップサンプリング↑され、次に、アンチエイリアシングフィルタリング処理Ｌされる出力データｏｕｔｋ＋１を加えることによって各出力データｏｕｔｋが生成される。
【００７３】
ローパスフィルタリング又はアンチエイリアシングフィルタリングＬと、ダウンサンプリング↓との組合せは、間引き処理ＤＥＣと呼ぶこともでき、アップサンプリング↑と、ローパスフィルタリング又はアンチエイリアシングフィルタリング処理Ｌとの組合せは、統合又は補間処理ＩＮＴと呼ぶこともできる。
【００７４】
各繰返しステップｋについて、各詳細データｄｅｔｋ又は詳細信号ｄｅｔｋは、各繰返しステップｋにおける各入力信号ｉｎｐｋ−１に減算又は各入力データｉｎｐｋ−１に対して、所定の順序でローパスフィルタリング又はアンチエイリアシングフィルタＬ、ダウンサンプリング↓、アップサンプリング↑、及びローパスフィルタリング又はアンチエイリアシング処理Ｌを適用することによって得られる逆データを適用することによって生成される。
【００７５】
図２は、本発明に基づくデジタル画像処理方法の好ましい実施の形態の具体例を示す更なる概略的なブロック図であり、この構成は、各繰返しステップにおいて、エッジを検出及び強調する処理ＤＥＥを含む点が図１に示す構成と異なり、この処理は、各繰返しレベルｋにおいて、各入力データｉｎｐｋに適用され、これにより、詳細信号ｄｅｔｋ又は詳細データｄｅｔｋが導出される。
【００７６】
図２の構成では、エッジを検出及び強調する処理ＤＥＥは、所定の繰返しレベルｋにおいて、各入力データｉｎｐｋ−１に直接適用され、これにより、各詳細信号ｄｅｔｋ又は詳細データｄｅｔｋは、エッジを検出及び強調する処理ＤＥＥが適用される入力データｉｎｐｋ−１と、ローパスフィルタ又はアンチエイリアシングフィルタＬ、ダウンサンプリング↓、アップサンプリング↑、及びローパスフィルタ又はアンチエイリアシングフィルタＬが所定の順序で実行される処理のカスケードが適用される各入力データｉｎｐｋ−１との間の差分として定義される。
【００７７】
入力データｉｎｐｋ及び出力データｏｕｔｋのそれぞれの関係は、図１の構成と同様である。
【００７８】
図３は、本発明に基づいて適用される傾き間引き処理ＤＥＣの前後の画像データのエッジの傾きの増加を示す例示的なグラフである。
【００７９】
図４は、本発明の好ましい実施の形態に基づく繰り返し処理の基本構造及び分解ステップＤｋと再構築ステップＲｋとの間の異なる関係を示す更なる概略的なブロック図である。
【００８０】
図５は、異なるサブ処理と、データｉｎｐｋ−１、ｉｎｐｋ、ｄｅｔｋ−１、ｄｅｔｋ、ｏｕｔｋ−１、ｏｕｔｋの相互の関係及び各繰り返しのレベルｋにおける分解のサブ処理Ｄｋ及び再構築のサブ処理Ｒｋに関する関係を示している。
【００８１】
図６Ａ〜図６Ｃは、図５に示す包括的な関係を概略的なブロック図によって示している。但し、この具体例では、エッジを検出及び強調する処理ＤＥＥが図５の構成とは異なる。
【００８２】
図６Ａは、単一の繰返しステップｋについて、図２に対応する状況を示している。ここでも、エッジを検出及び強調する処理ＤＥＥは、所定の繰返しステップｋにおいて、入力データｉｎｐｋ−１に適用できることが示されている。
【００８３】
図６Ｂに示す実施の形態では、エッジを検出及び強調する処理ＤＥＥは、各繰返しレベルｋにおいて、統合又は補間処理ＩＮＴの出力信号に直接適用される。
【００８４】
図６Ｃに示す実施の形態では、エッジを検出及び強調する処理ＤＥＥは、各繰返しレベルｋにおいて、分解処理Ｄｋから再構築処理Ｒｋに移され、すなわち、エッジを検出及び強調する処理ＤＥＥは、統合／補間処理ＩＮＴが適用された後に、ｋ番目の繰返しレベルにおいて受信された出力信号又は出力データｏｕｔｋに適用され、すなわち、アップサンプリング↑及びローパス又はアンチエイリアシングフィルタリングＬの適用の後、詳細信号又は詳細データｄｅｔｋに加算される直前に実行される。
【００８５】
参考文献
［Ｂｕｒｔ８１］P. J. Burt, "Fast Filter Transforms for Image Processing", Computer Graphics and Image Processing, Vol. 16, 1981.
［Ｃｒｏｗ８４］J. L. Crowley, R. M. Stern, "Fast Computation of the Difference of Low-Pass Transform", IEEE Trans. on  Pattern Analysis and Machine Intelligence, Vol. 6, No. 2, 1984.
［ＡｋａｎＨａ９０］A.N. Akansu, R.A. Haddad, "Multiresolution Signal Decomposition", ISBN: 0120471418, Academic Press, 1990.
［ＶｕｙＳｃｈ９１］Pieter Paul Vuylsteke, Emile Paul Schoeters, "Method and Apparatus for Contrast Enhancement", EP 527 525, 1991.
［Ｖａｉｄ９３］P. P. Vaidyanathanm, "Multirate Systems and Filter Banks", ISBN: 0-13-605718-7, Prentice Hall PTR, 1993.
［ＣｒｏＲａ９６］Lawrence R. Rabiner, Ronald E. Crochiere, "Multirate Digital Signal Processing", ISBN: 0136051626, Prentice Hall Signal Processing Series, 1996.
［Ｓｃｈ００］H. Schroder, "Mehrdimensionale Signalverarbeitung", ISBN: 3-519-06197-X, B.G. Teubner Stuttgart, Stuttgart, 2000.
【図面の簡単な説明】
【００８６】
【図１】従来の信号処理方法を示す概略的なブロック図である。
【図２】本発明に基づくデジタル画像処理方法、特にエッジベースのマルチレート画像強調の第１の実施の形態を示す概略的なブロック図である。
【図３】本発明に基づく間引き処理に基づくエッジの傾きの変化を示すグラフ図である。
【図４】本発明に基づくデジタル画像処理方法に関する本発明の繰返し処理の概念を説明する概略的なブロック図である。
【図５】図４に示す処理の各繰返しステップの詳細を説明する概略的なブロック図である。
【図６Ａ】本発明に基づくデジタル画像処理方法の異なる実施の形態について、図５に示す繰返しステップの構造の詳細を示す概略的なブロック図である。
【図６Ｂ】本発明に基づくデジタル画像処理方法の異なる実施の形態について、図５に示す繰返しステップの構造の詳細を示す概略的なブロック図である。
【図６Ｃ】本発明に基づくデジタル画像処理方法の異なる実施の形態について、図５に示す繰返しステップの構造の詳細を示す概略的なブロック図である。
【符号の説明】
【００８７】
Ｄ  分解処理、Ｄｋ  各繰返しレベルｋにおける分解処理、ＤＥＣ  分解処理、ｄｅｔｋ  各繰返しレベルｋにおける詳細データ／詳細信号、ＤＥＥ  エッジを検出及び強調する処理、ｉｎｐｋ  各繰返しレベルｋにおける入力データ、ｉｎｐＤ  処理／方法全体の入力データ、ｉｎｐＩ  処理／方法全体の入力画像、ｉｎｐＳＩ  処理／方法全体の入力画像のシーケンス、ｉｎｐＶ  処理／方法全体の入力ビデオ、ＩＮＴ  統合／補間処理、ｏｕｔｋ  前の繰返しレベルｋ−１の次の繰返しレベルｋからの出力データ、ｏｕｔＤ  処理／方法全体の出力データ、ｐｒｏｃＤ  処理／方法全体の処理済みのデータ、ｐｒｏｃＩ  処理／方法全体の処理済みの画像、ｐｒｏｃＳＩ  処理／方法全体の処理済みの画像シーケンス、ｐｒｏｃＶ  処理／方法全体の処理済みのビデオ、Ｒ  再構築処理、Ｒｋ  各繰返しレベルｋの再構築処理
【図１】
2007226791.tif 000009
【図２】
2007226791.tif 000010
【図３】
2007226791.tif 000011
【図４】
2007226791.tif 000012
【図５】
2007226791.tif 000013
【図６Ａ】
2007226791.tif 000014
【図６Ｂ】
2007226791.tif 000015
【図６Ｃ】
2007226791.tif 000016
【外国語明細書】
2007226791000001.pdf
2007226791000002.pdf
2007226791000003.pdf
2007226791000004.pdf