(57)【要約】【課題】エッジが強調されている領域の検出を容易に行えるようにする。【解決手段】エッジ検出部１１は、画像信号Ｙinに対してエッジ検出を行いエッジ画像信号Ｄａを生成する。二値化処理部１２は、エッジ画像信号Ｄａの二値化処理を行い二値化信号Ｄｂを生成する。エッジ評価部１３は、マクロブロック毎に二値化信号に基づいてエッジ領域であるか否かの評価を行い、評価結果を示す評価信号Ｅａを生成する。領域判別部１４は、評価信号Ｅａで示されたエッジ領域毎に、エッジ領域の連結性を示す第１の評価値を算出して、判定領域を構成するマクロブロックの数と、判定領域に含まれるエッジ領域の第１の評価値から、判定領域におけるエッジ領域の連結度合いを示す第２の評価値を算出して、第２の評価値から判定領域がエッジの強調されている画像領域であるか否かの判別を行う。【選択図】        図１
2010288053.tif 000002
【特許請求の範囲】
【請求項１】
画像信号に対してエッジ検出を行いエッジ画像信号を生成するエッジ検出部と、
前記エッジ画像信号の二値化処理を行い二値化信号を生成する二値化処理部と、
第１の画像領域毎に、該画像領域内の二値化信号に基づいてエッジ領域であるか否かの評価を行い、評価結果を示す評価信号を生成するエッジ評価部と、
前記評価信号で示されたエッジ領域毎に、エッジ領域の連結性を示す第１の評価値を算出して、判定領域を構成する前記第１の画像領域の数と、前記判定領域に含まれるエッジ領域の前記第１の評価値から、前記判定領域における前記エッジ領域の連結度合いを示す第２の評価値を算出して、該第２の評価値から前記判定領域がエッジの強調されている画像領域であるか否かの判別を行う領域判別部と、
を備える検出装置。
【請求項２】
前記二値化処理部は、前記画像信号のダイナミックレンジに応じて前記エッジ検出部で生成された前記エッジ画像信号の最大値を正規化した値に応じて設定した閾値を用いて、前記二値化処理を行う
請求項１記載の検出装置。
【請求項３】
前記領域判別部は、前記エッジの強調されている画像領域と判別された判定領域の連結度合いを示す第３の評価値を算出して、該第３の評価値が所定範囲であるとき、前記判定領域がエッジの強調されている画像領域であるか否かの判別結果を有効とする
請求項２記載の検出装置。
【請求項４】
前記領域判別部は、前記第２の評価値に基づき、前記判定領域における前記エッジ領域の連結度合いが閾値よりも高いとき、前記判定領域をテロップ領域と判別する
請求項１記載の符号化装置。
【請求項５】
画像信号に対してエッジ検出を行いエッジ画像信号を生成する第１のエッジ検出部と、
前記エッジ画像信号の二値化処理を行い二値化信号を生成する第１の二値化処理部と、
第１の画像領域毎に、該画像領域内の二値化信号に基づいてエッジ領域であるか否かの評価を行い、評価結果を示す評価信号を生成する第１のエッジ評価部と、
前記画像信号を記憶するメモリと、
前記メモリから画像信号を読み出して符号化処理を行う符号化部と、
前記評価信号で示されたエッジ領域毎に、エッジ領域の連結性を示す第１の評価値を算出して、判定領域を構成する前記第１の画像領域の数と、前記判定領域に含まれるエッジ領域の前記第１の評価値から、前記判定領域における前記エッジ領域の連結度合いを示す第２の評価値を算出して、該第２の評価値から前記判定領域がエッジの強調されている画像領域であるか否かの判別を行い、判別結果に応じて前記符号化部を制御して、前記エッジの強調されている画像領域の符号量の調整を行う制御部と
を備える符号化装置。
【請求項６】
前記制御部は、前記第２の評価値に基づき、前記判定領域における前記エッジ領域の連結度合いが閾値よりも高いとき、前記判定領域をエッジの強調されている画像領域と判別して、該エッジの強調されている画像領域に含まれる前記エッジ領域に多くの符号量を割り当てる
請求項５記載の符号化装置。
【請求項７】
前記メモリからマクロブロック毎に読み出された画像信号に対してエッジ検出を行いエッジ画像信号を生成する第２のエッジ検出部と、
前記第２のエッジ検出部で生成されたエッジ画像信号の二値化処理を行い二値化信号を生成する第２の二値化処理部と、
第１の画像領域毎に、該画像領域内の二値化信号に基づいてエッジ領域であるか否かの評価を行い、評価結果を示す評価信号を生成する第２のエッジ評価部をさらに有し、
前記第２の二値化処理部は、前記第１のエッジ検出部でエッジ検出を行うことにより得られたエッジ特徴量に応じて設定した閾値を用いて前記二値化処理を行う
請求項６記載の符号化装置。
【請求項８】
前記制御部は、前記評価信号として前記第１のエッジ評価部で生成された評価信号を用いて、前記エッジの強調されている画像領域である判定領域を判別して、該判定領域における前記第２のエッジ評価部で生成された評価信号によって示されたエッジ領域に対して、多くの符号量を割り当てる
請求項７記載の符号化装置。
【請求項９】
エッジ検出部で、画像信号に対してエッジ検出を行いエッジ画像信号を生成するステップと、
二値化処理部で、前記エッジ画像信号の二値化処理を行い二値化信号を生成するステップと、
エッジ評価部で、第１の画像領域毎に、該画像領域内の二値化信号に基づいてエッジ領域であるか否かの評価を行い、評価結果を示す評価信号を生成するステップと、
領域判別部で、前記評価信号で示されたエッジ領域毎に、エッジ領域の連結性を示す第１の評価値を算出して、判定領域を構成する前記第１の画像領域の数と、前記判定領域に含まれるエッジ領域の前記第１の評価値から、前記判定領域における前記エッジ領域の連結度合いを示す第２の評価値を算出して、該第２の評価値から前記判定領域がエッジの強調されている画像領域であるか否かの判別を行うステップと
を有する検出方法。
【請求項１０】
情報処理装置で画像信号の処理を実行させるプログラムであって、前記情報処理装置を、
画像信号に対してエッジ検出を行いエッジ画像信号を生成する機能手段と、
前記エッジ画像信号の二値化処理を行い二値化信号を生成する機能手段と、
第１の画像領域毎に、該画像領域内の二値化信号に基づいてエッジ領域であるか否かの評価を行い、評価結果を示す評価信号を生成する機能手段と、
前記評価信号で示されたエッジ領域毎に、エッジ領域の連結性を示す第１の評価値を算出して、判定領域を構成する前記第１の画像領域の数と、前記判定領域に含まれるエッジ領域の前記第１の評価値から、前記判定領域における前記エッジ領域の連結度合いを示す第２の評価値を算出して、該第２の評価値から前記判定領域がエッジの強調されている画像領域であるか否かの判別を行う機能手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、検出装置と符号化装置および検出方法およびプログラムに関する。詳しくは、テロップのようにエッジが強調されている領域の検出を容易とする。また、領域の検出結果に応じて、画像信号の符号化処理時における符号量の割り当てを制御することを目的とする。
【背景技術】
【０００２】
画像信号の符号化では、圧縮率が高く、かつ圧縮による画像の劣化が少ない高画質な符号化方法としてＭＰＥＧ(Moving Picture Expert Group)２方式やＨ．２６４／ＡＶＣ(Advanced Video Coding)方式が用いられている。これらの方式では、画像の時間的な相関性と空間的な相関性を元にした圧縮が行われている。また、画像信号を離散コサイン変換（ＤＣＴ）によって周波数領域の信号に変換して、さらに画像信号の特性と人間の視覚特性を考慮した形での量子化が行われている。
【０００３】
このような符号化を行うことにより得られた符号化信号の復号化を行った場合、再生画像の画質劣化やノイズの発生等を生じる場合がある。例えば、画像内に挿入されたテロップの画像は作られた画像であるため、自然画に比べてエッジが強調されており高周波成分を多く含んでいる。したがって、画像信号の符号化において高周波成分の量子化が粗く行われると、再生画像におけるテロップは画質が低下して表示されてしまう。このため、特許文献１では、テロップ領域の検出を行い、テロップ領域の符号化では量子化パラメータを変えることで、テロップ領域の画質劣化やノイズ等の低減が行われている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１９７８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、テロップのようにエッジが強調されている画像領域を検出対象として検出動作を行う場合、元画像もしくは一次微分などの処理を行って得られたエッジ検出画像から、テロップ領域を検出することが行われている。また、エッジ検出画像からテロップ領域を検出する方法として、パターンマッチングやアダマール変換、元画像との差分、ＤＣＴ係数の比較等の手法が用いられている。
【０００６】
これらの処理は、比較のために画像等を保持するメモリ、規定の処理時間でテロップ領域の検出を完了させるためのメモリ帯域、比較等の演算を行うためのハードウェア等のリソースが多く必要となり、例えばＬＳＩ化したときコストアップとなってしまう。
【０００７】
また、上述の方法では、検出した領域の近傍の状況を加味することが少ないため、必ずしも検出対象であるテロップ領域が見つかるわけではない。例えば、元画像に対してエッジが強調されている領域の検出を行ったとき、ノイズ等の影響で平坦な部分がエッジの強調されている領域として誤検出されてしまう場合がある。
【０００８】
そこで、この発明では、エッジが強調されている領域の検出を容易に行うことができる検出装置と、検出結果を用いて画像信号の符号化処理を行う符号化装置および検出方法とプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明の第１の側面は、画像信号に対してエッジ検出を行いエッジ画像信号を生成するエッジ検出部と、前記エッジ画像信号の二値化処理を行い二値化信号を生成する二値化処理部と、第１の画像領域毎に、該画像領域内の二値化信号に基づいてエッジ領域であるか否かの評価を行い、評価結果を示す評価信号を生成するエッジ評価部と、前記評価信号で示されたエッジ領域毎に、エッジ領域の連結性を示す第１の評価値を算出して、判定領域を構成する前記第１の画像領域の数と、前記判定領域に含まれるエッジ領域の前記第１の評価値から、前記判定領域における前記エッジ領域の連結度合いを示す第２の評価値を算出して、該第２の評価値から前記判定領域がエッジの強調されている画像領域であるか否かの判別を行う領域判別部とを備える検出装置にある。
【００１０】
この発明においては、画像信号に対して一次微分等を用いたエッジ検出を行いエッジ画像信号が生成される。また、画像信号のダイナミックレンジに応じてエッジ画像信号の最大値を正規化した値に応じて閾値を設定して、この閾値を用いてエッジ画像信号の二値化処理が行われて二値化信号が生成される。また、第１の画像領域毎、例えばマクロブロック毎に、画像領域内の二値化信号に基づいてエッジ領域であるか否かの評価結果に基づき、エッジ領域毎に、エッジ領域の連結性を示す第１の評価値が算出される。さらに、判定領域を構成するマクロブロックの数と、判定領域に含まれるエッジ領域の第１の評価値から、判定領域におけるエッジ領域の連結度合いを示す第２の評価値が算出されて、この第２の評価値に基づき、判定領域におけるエッジ領域の連結度合いが閾値よりも高いとき、判定領域がテロップ領域と判別される。また、エッジの強調されている画像領域と判別された判定領域の連結度合いを示す第３の評価値が算出されて、この第３の評価値が所定範囲であるとき、判定領域がエッジの強調されている画像領域であるか否かの判別結果が有効とされて、例えば複数の判定領域で構成されるテロップ領域の検出が行われる。
【００１１】
この発明の第２の側面は、画像信号に対してエッジ検出を行いエッジ画像信号を生成する第１のエッジ検出部と、前記エッジ画像信号の二値化処理を行い二値化信号を生成する第１の二値化処理部と、第１の画像領域毎に、該画像領域内の二値化信号に基づいてエッジ領域であるか否かの評価を行い、評価結果を示す評価信号を生成する第１のエッジ評価部と、前記画像信号を記憶するメモリと、前記メモリから画像信号を読み出して符号化処理を行う符号化部と、前記評価信号で示されたエッジ領域毎に、エッジ領域の連結性を示す第１の評価値を算出して、判定領域を構成する前記第１の画像領域の数と、前記判定領域に含まれるエッジ領域の前記第１の評価値から、前記判定領域における前記エッジ領域の連結度合いを示す第２の評価値を算出して、該第２の評価値から前記判定領域がエッジの強調されている画像領域であるか否かの判別を行い、判別結果に応じて前記符号化部を制御して、前記エッジの強調されている画像領域の符号量の調整を行う制御部とを備える符号化装置にある。
【００１２】
この発明においては、第１のエッジ検出部で、メモリに記憶する画像信号に対して一次微分等を用いたエッジ検出を行いエッジ画像信号が生成される。また、画像信号のダイナミックレンジに応じてエッジ画像信号の最大値を正規化した値に応じて閾値を設定して、この閾値を用いてエッジ画像信号の二値化処理が第１の二値化処理部で行われて二値化信号が生成される。また、第１の画像領域毎、例えばマクロブロック毎に、画像領域内の二値化信号に基づいてエッジ領域であるか否かの評価結果に基づき、エッジ領域毎に、エッジ領域の連結性を示す第１の評価値が算出される。さらに、判定領域を構成するマクロブロックの数と、判定領域に含まれるエッジ領域の第１の評価値から、判定領域におけるエッジ領域の連結度合いを示す第２の評価値が算出されて、この第２の評価値に基づき、判定領域におけるエッジ領域の連結度合いが閾値よりも高いとき、判定領域がテロップ領域と判別されて、エッジの強調されている画像領域のエッジ領域に対して多くの符号量を割り当てるように符号化処理が行われる。また、第２のエッジ検出部では、メモリからマクロブロック毎に読み出された画像信号に対してエッジ検出を行い、第２の二値化処理部では、第２のエッジ検出部で得られたエッジ画像信号に対して二値化処理が行われて二値化信号が生成される。この二値化処理では、第１のエッジ検出部でエッジ検出を行うことにより得られたエッジ特徴量に基づいて設定された閾値が用いられる。この第２の二値化処理部で得られた二値化信号に基づき、マクロブロック毎にエッジ領域であるか否かの評価が行われて、評価結果と判定領域がエッジの強調されている画像領域であるか否かの判別結果に基づいて、テロップ領域内のエッジ領域に対して多くの符号量を割り当てるように符号化処理が行われる。
【００１３】
この発明の第３の側面は、エッジ検出部で、画像信号に対してエッジ検出を行いエッジ画像信号を生成するステップと、二値化処理部で、前記エッジ画像信号の二値化処理を行い二値化信号を生成するステップと、エッジ評価部で、第１の画像領域毎に、該画像領域内の二値化信号に基づいてエッジ領域であるか否かの評価を行い、評価結果を示す評価信号を生成するステップと、領域判別部で、前記評価信号で示されたエッジ領域毎に、エッジ領域の連結性を示す第１の評価値を算出して、判定領域を構成する前記第１の画像領域の数と、前記判定領域に含まれるエッジ領域の前記第１の評価値から、前記判定領域における前記エッジ領域の連結度合いを示す第２の評価値を算出して、該第２の評価値から前記判定領域がエッジの強調されている画像領域であるか否かの判別を行うステップとを有する検出方法にある。
【００１４】
この発明の第４の側面は、情報処理装置で画像信号の処理を実行させるプログラムであって、前記情報処理装置を、画像信号に対してエッジ検出を行いエッジ画像信号を生成する機能手段と、前記エッジ画像信号の二値化処理を行い二値化信号を生成する機能手段と、第１の画像領域毎に、該画像領域内の二値化信号に基づいてエッジ領域であるか否かの評価を行い、評価結果を示す評価信号を生成する機能手段と、前記評価信号で示されたエッジ領域毎に、エッジ領域の連結性を示す第１の評価値を算出して、判定領域を構成する前記第１の画像領域の数と、前記判定領域に含まれるエッジ領域の前記第１の評価値から、前記判定領域における前記エッジ領域の連結度合いを示す第２の評価値を算出して、該第２の評価値から前記判定領域がエッジの強調されている画像領域であるか否かの判別を行う機能手段として機能させるためのプログラムにある。
【００１５】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用の情報処理装置に対して、可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムを情報処理装置で可読な形式で提供することにより、情報処理装置上でプログラムに応じた処理が実現される。
【発明の効果】
【００１６】
この発明によれば、画像信号に対してエッジ検出を行うことにより得られたエッジ画像信号の二値化処理が行われて二値化信号が生成される。また、第１の画像領域毎に、該画像領域内の二値化信号に基づいてエッジ領域であるか否かの評価を行い、評価信号で示されたエッジ領域毎に、エッジ領域の連結性を示す第１の評価値が算出されて、判定領域を構成する第１の画像領域の数と、判定領域に含まれるエッジ領域の第１の評価値から、判定領域におけるエッジ領域の連結度合いを示す第２の評価値が算出される。さらに、第２の評価値から判定領域がエッジの強調されている画像領域であるか否かの判別が行われる。
【００１７】
このように、検出したエッジ領域の近傍の状況を加味してエッジの強調されている画像領域の検出が行われるため、ノイズ等の影響を受けにくくなり、エッジが強調されている画像領域の検出を容易に行うことができる。また、検出結果を用いてエッジが強調されている画像領域の画質劣化が少なくなるように画像信号の符号化処理を行うことができる。
【図面の簡単な説明】
【００１８】
【図１】検出装置の構成を示す図である。
【図２】検出装置の動作を示すフローチャートである。
【図３】エッジの強さの検出を説明するための図である。
【図４】エッジ領域毎の連結数を例示した図である。
【図５】ノイズの画像とノイズのない画像を処理したときの動作を示した図である。
【図６】１２個の判定領域を設けた場合を示した図である。
【図７】横方向に３つの判定領域を連結した領域がテロップ領域と用いられる場合を示す図である。
【図８】第１の符号化装置の構成を示す図である。
【図９】第１の符号化装置の動作を示すフローチャートである。
【図１０】第２の符号化装置の構成を示す図である。
【図１１】第２の符号化装置の動作を示すフローチャートである。
【図１２】第２の符号化装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、発明を実施するための形態について説明する。この発明では、画像信号に対してエッジ検出を行うことで得られたエッジ画像信号の二値化処理を行い、二値化信号が生成される。また、第１の画像領域毎に、画像領域内の二値化信号に基づいてエッジ領域であるか否かの評価を行う。また、エッジ領域毎に、エッジ領域の連結性を示す第１の評価値を算出する。さらに、判定領域を構成する第１の画像領域の数と、判定領域に含まれるエッジ領域の第１の評価値から、判定領域におけるエッジ領域の連結度合いを示す第２の評価値が算出される。この算出された第２の評価値から判定領域が、エッジの強調されている検出対象の画像領域、例えば文字やロゴ等で構成されているテロップ領域であるか否かの判別が行われる。さらに、画像信号の符号化処理では、エッジの強調されている画像領域の領域判別結果に基づいて符号量の割り当てが行われる。なお、説明は以下の順序で行う。
１．検出装置の構成
２．検出装置の動作
３．第１の符号化装置の構成
４．符号化装置の動作
５．第２の符号化装置の構成
６．第２の符号化装置の動作
【００２０】
＜１．検出装置の構成＞
図１は、エッジが強調されている領域の検出を行う検出装置の構成を示している。検出装置１０は、エッジ検出部１１と二値化処理部１２、エッジ評価部１３、領域判別部１４、閾値設定部１５を有している。
【００２１】
エッジ検出部１１は、画像信号（例えばベースバンド輝度信号）Ｙinに対してエッジ検出処理を行う。エッジ検出処理では、例えば一次微分を用いてエッジ検出を行う。一次微分を用いた方式としては、ソーベル(Sobel)やプレヴィット(Prewitt)等が知られている。エッジ検出部１１は、エッジの強さを示すエッジ画像信号Ｄａを生成して二値化処理部１２に出力する。
【００２２】
二値化処理部１２は、エッジ画像信号Ｄａの二値化処理を行う。二値化処理部１２は、エッジ画像信号Ｄａと閾値設定部１５で設定された閾値Ｔｈ１の比較を行い、比較結果である二値化信号Ｄｂを生成してエッジ評価部１３に出力する。
【００２３】
エッジ評価部１３は、二値化信号Ｄｂに基づいて、第１の画像領域毎にエッジ評価を行い、第１の画像領域が有効なエッジを含むエッジ領域であるか否か判別する。例えばエッジ評価部１３は、画像をマクロブロックに区分して、各マクロブロックをそれぞれ第１の画像領域とする。エッジ評価部１３は、マクロブロック毎に、二値化信号Ｄｂが所定レベルである画素数を算出する。さらに、エッジ評価部１３は、算出した画素数と閾値Ｔｈ２を比較することでマクロブロックがエッジ領域となるか否かの評価を行い、評価結果を示す評価信号Ｅａを領域判別部１４に出力する。
【００２４】
領域判別部１４は、評価信号Ｅａに基づき、判定領域がエッジの強調されている画像領域であるか否かの判別を行う。領域判別部１４は、評価信号Ｅａに基づいて、エッジ領域と判別されたマクロブロック毎に、エッジ領域と判別されたマクロブロックとの連結性を示す第１の評価値を算出する。また、領域判別部１４は、判定領域を構成するマクロブロック数と、判定領域に含まれておりエッジ領域と判別されたマクロブロックの第１の評価値から、判定領域においてエッジ領域と判別されたマクロブロックの連結度合いを示す第２の評価値を算出する。さらに、領域判別部１４は、算出された第２の評価値に基づいて判定領域がエッジの強調されている領域であるか否かの判別を行い、判別結果を示す領域検出信号Ｅtrを出力する。
【００２５】
閾値設定部１５は、二値化処理で用いる閾値Ｔｈ１を二値化処理部１２に出力する。また、閾値設定部１５は、エッジ評価で用いる閾値Ｔｈ２をエッジ評価部１３に出力する。また、閾値設定部１５では、二値化処理において画像信号Ｙinのダイナミックレンジの違いによる影響が少なくなるように閾値Ｔｈ１を設定してもよい。この場合、閾値設定部１５は、エッジの強さの最大値ＥＤmaxを画像信号Ｙinのダイナミックレンジに応じて正規化して、正規化後のエッジの強さの最大値に応じて閾値Ｔｈ１を設定する。
【００２６】
＜２．検出装置の動作＞
次に、検出装置の動作について説明する。図２は、検出装置１０の動作を示すフローチャートである。ステップＳＴ１で検出装置１０は、画像信号の取り込みを行う。
【００２７】
ステップＳＴ２で検出装置１０はエッジ検出を行う。検出装置１０のエッジ検出部１１は、例えばソーベルフィルタを用いて画像信号（ベースバンド輝度信号）Ｙinに対してエッジ検出を行い、エッジの強さを示すエッジ画像信号Ｄａを生成する。エッジの強さは、式（１）から算出する。
【００２８】
【数１】
2010288053.tif 000003
【００２９】
なお、「ｆｘ２」は水平方向の一次微分によって検出されるエッジの強さを示している。また、「ｆｙ２」は垂直方向の一次微分によって検出されるエッジの強さを示している。「ｆｕ２」は水平方向に対して４５度傾いた方向の一次微分によって検出されるエッジの強さを示している。「ｆｖ２」は水平方向に対して−４５度傾いた方向の一次微分によって検出されるエッジの強さを示している。例えば、エッジの強さを検出する画像を図３の（Ａ）、水平方向の一次微分を行うソーベルフィルタを図３の（Ｂ）としたとき、「ｆｘ２」は「（Ｐｃ＋２Ｐｆ＋Ｐｉ−Ｐａ−２Ｐｄ−Ｐｇ）２」となる。
【００３０】
このように、エッジの強さＥＤとして、二乗の値を用いていることからエッジ強度が高いと「ＥＤ」の値は大きくなる。また、テロップは作られた画像であり、自然画に比べてエッジ強度が高い。したがって、式（１）に示すエッジの強さＥＤを用いれば、テロップ画像におけるエッジと自然画におけるエッジの区別が容易となり、エッジが強調されている領域の判別を容易に行うことができる。
【００３１】
ステップＳＴ３で検出装置１０は、エッジ画像信号Ｄａが閾値Ｔｈ１以上であるか否かを判別する。検出装置１０の二値化処理部１２は、エッジ画像信号Ｄａと閾値Ｔｈ１を比較して、エッジ画像信号Ｄａが閾値Ｔｈ１以上であるときステップＳＴ４に進み、エッジ画像信号Ｄａが閾値Ｔｈ１未満であるときステップＳＴ５に進む。
【００３２】
閾値Ｔｈ１は、検出装置１０の閾値設定部１５によって設定する。また、閾値設定部１５は、画像に応じた閾値Ｔｈ１を設定してもよい。例えば、式（２）に示すように、エッジの強さの最大値ＥＤmaxを画像信号Ｙinのダイナミックレンジに応じて正規化して、正規化後のエッジの強さの最大値に応じて閾値Ｔｈ１を設定して二値化処理部１２に出力する。
【００３３】
【数２】
2010288053.tif 000004
【００３４】
なお、「Ｙmax」は画面内における画像信号の最大値、「Ｙmin」は画面内における画像信号の最小値を示しており、「Ｙmax−Ｙmin」が画像信号Ｙinのダイナミックレンジを示している。
【００３５】
このように、画像信号Ｙinのダイナミックレンジやエッジの強さの最大値に応じて閾値Ｔｈ１を設定すれば、閾値Ｔｈ１を予め固定した値とする場合に比べて、二値化処理を画像に応じて最適化できる。
【００３６】
ステップＳＴ４で検出装置１０は、二値化信号の信号レベルを「１」に設定する。検出装置１０の二値化処理部１２は、エッジ画像信号Ｄａが閾値Ｔｈ１以上であるとき、二値化信号Ｄｂの信号レベルを「１」としてステップＳＴ６に進む。
【００３７】
ステップＳＴ５で検出装置１０は、二値化信号の信号レベルを「０」に設定する。検出装置１０の二値化処理部１２は、エッジ画像信号Ｄａが閾値Ｔｈ１未満であるとき、二値化信号Ｄｂの信号レベルを「０」としてステップＳＴ６に進む。
【００３８】
ステップＳＴ６で検出装置１０は、１画面に対する処理が終了したか否かを判別して、１画面の画像に対する処理が終了していないときはステップＳＴ２に戻り、１画面に対する処理が終了したときステップＳＴ７に進む。
【００３９】
ステップＳＴ７で検出装置１０は、信号レベルが「１」の画素数Ｗを算出する。検出装置１０のエッジ評価部１３は、マクロブロック毎に、マクロブロック内で信号レベルが「１」の画素数Ｗを算出してステップＳＴ８に進む。
【００４０】
ステップＳＴ８で検出装置１０は、画素数Ｗが閾値Ｔｈ２以上であるか否かを判別する。検出装置１０のエッジ評価部１３は、画素数Ｗと閾値Ｔｈ２を比較して、画素数Ｗが閾値Ｔｈ２以上であるときステップＳＴ９に進み、画素数Ｗが閾値Ｔｈ２未満であるときステップＳＴ１０に進む。
【００４１】
ステップＳＴ９で検出装置１０は、マクロブロックをエッジ領域に設定する。検出装置１０のエッジ評価部１３は、画素数Ｗが閾値Ｔｈ２以上となるマクロブロックを、有効なエッジを含むエッジ領域としてステップＳＴ１１に進む。ここで、閾値Ｔｈ２は、マクロブロックのサイズと、検出したいテロップのサイズから設定する。例えばマクロブロックのサイズが１６画素×１６画素であるとき、マクロブロックを直線的に横断するサイズのテロップであれば、１６画素程度でエッジが検出される。このため、このようなエッジを正しく検出できるように、閾値Ｔｈ２を例えば「６〜８」程度に設定する。
【００４２】
ステップＳＴ１０で検出装置１０は、マクロブロックを非エッジ領域に設定する。検出装置１０のエッジ評価部１３は、画素数Ｗが閾値Ｔｈ２未満となるマクロブロックを非エッジ領域としてステップＳＴ１１に進む。
【００４３】
ステップＳＴ１１で検出装置１０は、評価値の生成を行う。検出装置１０の領域判別部１４は、エッジ評価部１３で生成された評価信号Ｅａに基づいてエッジ領域の連結性を示す第１の評価値を算出する。領域判別部１４は、マクロブロックがエッジ領域であるか否かを示す評価信号Ｅａに基づいて、エッジ領域毎に他のエッジ領域との連結性を示す第１の評価値を算出してステップＳＴ１２に進む。
【００４４】
領域判別部１４は、例えばエッジ領域であるマクロブロックの上下左右に位置する４つのマクロブロックを連結性の評価の対象とする。ここで、連結性の評価の対象である上下左右のいずれか１つのマクロブロックがエッジ領域であるときは、第１の評価値を「１」とする。また、連結性の評価の対象である上下左右のすべてのマクロブロックがエッジ領域であるときは、第１の評価値を「４」とする。
【００４５】
ステップＳＴ１２で検出装置１０は、領域判別を行う。検出装置１０の領域判別部１４は、ステップＳＴ１１で生成した第１の評価値と判定領域を構成するマクロブロックの数を用いて、判定領域におけるエッジ領域の連結度合いを示す第２の評価値を算出する。さらに、検出装置１０は、第２の評価値から判定領域がエッジの強調されている画像領域であるか否かの判別を行う。
【００４６】
領域判別部１４は、第２の評価値として、判定領域における１つのエッジ領域あたりの連結数を示すエリアコスト「ａｒｅａ＿ｃｏｓｔ」を算出する。エリアコスト「ａｒｅａ＿ｃｏｓｔ」は、式（３）を用いて算出する。なお、式（３）において、「ｓｕｍ＿ｍｂ＿ｃｎ」は、判定領域に含まれるエッジ領域の第１の評価値の総和を示している。また「ｍｂ＿ｎｕｍ」は、判定領域においてエッジ領域と判別されたマクロブロックの数を示している。
【００４７】
【数３】
2010288053.tif 000005
【００４８】
図４は、エッジ領域毎の連結数を例示している。例えば判定領域において斜線で示すようにエッジ領域が分布しているとき、各エッジ領域の第１の評価値は、斜線内に示す値となる。この場合、「ｓｕｍ＿ｍｂ＿ｃｎ」は「１４」、「ｍｂ＿ｎｕｍ」は「６」となり、エリアコスト「ａｒｅａ＿ｃｏｓｔ」は「２．３３」となる。
【００４９】
領域判別部１４は、エリアコスト「ａｒｅａ＿ｃｏｓｔ」が例えば「２．０」以上であるとき、この判定領域をエッジが強調されている画像領域すなわちテロップ領域と判別して、判別結果を示す領域検出信号を生成して出力する。なお「２．０」は、２マクロブロック×２マクロブロックの判定領域において、各マクロブロックで表示のエッジが存在したときのエリアコスト「ａｒｅａ＿ｃｏｓｔ」の最小値である。
【００５０】
このような処理を行うと、テロップ領域はある程度のかたまりをもって存在するために、エッジ領域の連結性を示す第１の評価値を用いることで、ノイズなどの影響により単独で発生するエッジ領域の影響を軽減できる。
【００５１】
図５は、ノイズの画像とノイズのない画像を処理したときの動作を示している。図５の（Ａ）はノイズの画像を示している。また、図５の（Ｄ）はノイズのない文字画像を示している。図５の（Ａ）に示すノイズの画像についてエッジ検出と二値化処理を行うと、図５の（Ｂ）に示すように、ノイズの大きいマクロブロックがエッジ領域とされる。しかし、このエッジ領域はノイズに基づいたものであり単独で生じる場合が多い。また、図５の（Ｄ）に示すノイズのない文字画像についてエッジ検出と二値化処理を行うと、図５の（Ｅ）に示すように、文字のエッジを含むマクロブロックがエッジ領域とされて、エッジ領域は他のエッジ領域と連結した状態となる。したがって、判定領域毎に、この判定領域に含まれるエッジ領域の連結性を示す第１の評価値の総和を算出すると、ノイズの画像では第１の評価値の総和が小さくなる。また、文字画像では第１の評価値の総和が、ノイズの画像よりも大きくなる。したがって、第１の評価値の総和が大きくなる判定領域のみをテロップ領域とすれば、図５の（Ｃ）に示すように、ノイズによって生じたエッジ領域は無効にできる。また、図５の（Ｆ）に示すように、文字のエッジを示すエッジ領域のみが有効とされて、ノイズなどの影響を軽減できる。
【００５２】
図６は、画面を横方向に３分割、縦方向に４分割して、１２個の判定領域を設けた場合を示している。ここで、画面を横方向に分割する場合、画面の中央で判定領域の境界が生じることがないように、３以上の奇数の領域に分割する。
【００５３】
画像信号に対してエッジ検出と二値化を行い、例えば図６の（Ａ）において、斜線で示すようにエッジ領域が判別されたとき、領域判別部１４は、図６の（Ｂ）に示す１２個の判定領域のそれぞれで、第２の評価値を生成する。さらに、領域判別部１４は、生成した第２の評価値に基づき、判定領域がテロップ領域であるか否かの判別を行い、図６の（Ｃ）に示す判別結果を示す領域検出信号Ｅtrを出力する。なお、図６の（Ｃ）では、テロップ領域と判別された判定領域を斜線で示している。
【００５４】
このような処理を検出装置１０で行えば、ノイズ等の影響を軽減して、エッジが強調されている領域を検出できる。
【００５５】
また、領域判別部１４は、第２の評価値に基づく判別結果を仮判別結果として、仮判別結果でテロップ領域と判別された判定領域の連結性の評価を画面全体で行い、この連結性を示す第３の評価値を生成する。さらに、この第３の評価値が所定範囲内の値であるとき、仮判別結果を有効な判別結果として出力するようにしてもよい。
【００５６】
領域判別部１４は、第３の評価値として、テロップ領域と仮判別された判定領域の画面全体での連結性を示すピクチャコスト「ｐｉｃｔ＿ｃｏｓｔ」を算出する。ピクチャコスト「ｐｉｃｔ＿ｃｏｓｔ」は、式（４）から算出する。なお、式（４）において、「ｓｕｍ＿ａｒｅａ＿ｃｎ」は、画面においてテロップ領域と仮判別された判定領域の連結数の総和を示している。また、「ａｒｅａ＿ｎｕｍ」は、テロップ領域と仮判別された判定領域の数を示している。
【００５７】
【数４】
2010288053.tif 000006
【００５８】
図７に示すように、画面を横方向に３分割、縦方向に４分割した場合、例えば音楽番組での歌詞や緊急災害情報などのテロップを考えると、横方向に３つの判定領域を連結した領域がテロップ領域と用いられることが多いと想定される。ここで、図７の（Ａ）の斜線で示すように、テロップ領域と仮判別された判定領域が横方向に３つ連続する場合について説明する。
【００５９】
テロップ領域と仮判別された判定領域が横方向に３つ連続する場合、画面全体における判定領域の連結数の総和は「４」となり、判定領域の数は「３」となり、ピクチャコスト「ｐｉｃｔ＿ｃｏｓｔ」は「１．３３３３・・・」となる。なお、図７において、斜線で示す領域の数字は判定領域の連結数を示している。したがって、ピクチャコストが式（５）の条件を満たすとき、仮判別果を有効な判別結果として領域検出信号を出力する。
【００６０】
【数５】
2010288053.tif 000007
【００６１】
このようにすれば、例えば図７の（Ｂ）に示すように、テロップ領域と仮判別された判定領域が縦方向に４つ連続している場合、画面内における判定領域の連結数の総和は「６」となる。また、判定領域の数は「４」となることからピクチャコスト「ｐｉｃｔ＿ｃｏｓｔ」は「１．５」となる。この場合、式（５）の条件を満たさないことから仮判別結果は無効となり、縦方向に４つ連続した判定領域がテロップ領域と判別されてしまうことがない。
【００６２】
このように、目的とするテロップ領域に応じて、仮判別結果を有効とするピクチャコスト「ｐｉｃｔ＿ｃｏｓｔ」の範囲を設定することで、目的のテロップ領域の検出結果を得ることができるようになる。
【００６３】
さらに、判定領域の連結数に対して重み付けを行えば、画面上の所望の位置のテロップ検出結果を出力することができる。例えば、上段の３つの判定領域に対する重みを小さくして、下段の３つの判定領域に対する重みを大きくする。この場合、上段の３つの判定領域についてのピクチャコスト「ｐｉｃｔ＿ｃｏｓｔ」は、下段の３つの判定領域についてのピクチャコスト「ｐｉｃｔ＿ｃｏｓｔ」よりも小さい。すなわち、仮判別結果を有効とするピクチャコストの範囲を重み付けに応じて設定しておけば、上段の３つの判定領域をテロップ領域とする検出結果のみを出力したり、下段の３つの判定領域をテロップ領域とする検出結果のみを出力させることも可能となる。
【００６４】
＜３．第１の符号化装置の構成＞
次に、上述の検出装置を用いて得られたテロップ領域の検出結果に応じて符号量の調整を行う第１の符号化装置について説明する。図８は、第１の符号化装置の構成を示している。なお、符号化装置において、検出装置と対応する部分については同一符号を付している。
【００６５】
符号化装置２０は、エッジ検出部１１と二値化処理部１２、エッジ評価部１３、制御部２１、メモリ２２、符号化部２３を有している。
【００６６】
画像信号（ベースバンド輝度信号）ＤＶinは、エッジ検出部１１とメモリ２２に供給される。エッジ検出部１１は、画像信号ＤＶinに対してエッジ検出処理を行う。エッジ検出処理では、例えば一次微分を用いてエッジ検出を行う。エッジ検出部１１は、エッジ検出結果を示すエッジ画像信号Ｄａを生成して二値化処理部１２に出力する。
【００６７】
二値化処理部１２は、エッジ画像信号Ｄａの二値化処理を行う。二値化処理部１２は、エッジ画像信号Ｄａと制御部２１で設定された閾値Ｔｈ１の比較を行い、比較結果である二値化信号Ｄｂを生成してエッジ評価部１３に出力する。
【００６８】
エッジ評価部１３は、二値化信号Ｄｂに基づいて、第１の画像領域毎にエッジ評価を行い、第１の画像領域が有効なエッジを含むエッジ領域であるか否か判別する。例えばエッジ評価部１３は、マクロブロックをそれぞれ第１の画像領域とする。エッジ評価部１３は、マクロブロック毎に、二値化信号Ｄｂが所定レベルである画素数を算出する。さらに、エッジ評価部１３は、算出した画素数と閾値Ｔｈ２を比較することでマクロブロックがエッジ領域となるか否かの評価を行い、評価結果を示す評価信号Ｅａを制御部２１に出力する。
【００６９】
制御部２１は、評価信号Ｅａに基づき、判定領域がエッジの強調されている画像領域であるか否かの判別を行う。制御部２１は、評価信号Ｅａに基づいて、エッジ領域と判別されたマクロブロック毎に、エッジ領域と判別されたマクロブロックとの連結性を示す第１の評価値を算出する。また、制御部２１は、判定領域を構成するマクロブロック数と、判定領域に含まれておりエッジ領域と判別されたマクロブロックの第１の評価値から、判定領域においてエッジ領域と判別されたマクロブロックの連結度合いを示す第２の評価値を算出する。さらに、制御部２１は、算出された第２の評価値に基づいて判定領域がエッジの強調されている領域であるか否かの判別を行う。制御部２１は、テロップ領域と判別した領域のマクロブロックに対してより多くの符号量を割り当てるように符号量調整パラメータＰＭを設定して符号化部２３に出力する。
【００７０】
また、制御部２１は、二値化処理で用いる閾値Ｔｈ１を二値化処理部１２に出力する。また、制御部２１は、エッジ評価で用いる閾値Ｔｈ２をエッジ評価部１３に出力する。さらに、制御部２１は、閾値Ｔｈ１を画像に応じて設定する場合、画像信号ＤＶinとエッジ検出部１１から供給されたエッジの強さの最大値ＥＤmaxに応じて閾値Ｔｈ１を設定する。
【００７１】
制御部２１は、二値化処理で用いる閾値Ｔｈ１を二値化処理部１２に出力する。制御部２１は、エッジ評価で用いる閾値Ｔｈ２をエッジ評価部１３に出力する。また、制御部２１では、二値化処理において画像信号ＤＶinのダイナミックレンジの違いによる影響が少なくなるように閾値Ｔｈ１を設定してもよい。この場合、制御部２１は、エッジの強さの最大値ＥＤmaxを画像信号ＤＶinのダイナミックレンジに応じて正規化して、正規化後のエッジの強さの最大値に応じて閾値Ｔｈ１を設定する。
【００７２】
符号化部２３は、メモリ２２に記憶されている画像信号を読み出して符号化処理を行い、得られた符号化信号を出力する。また、符号化部２３は、符号量調整パラメータＰＭに基づき、制御部２１でテロップ領域と判別された領域における有効なエッジを含むマクロブロックに対して、より多くの符号量を割り当てるように符号化処理を行う。
【００７３】
＜４．第１の符号化装置の動作＞
次に、第１の符号化装置の動作について説明する。図９は、符号化装置の動作を示すフローチャートである。ステップＳＴ２１で符号化装置２０は、画像信号の取り込みを行う。符号化装置２０は、画像信号ＤＶinをエッジ検出部とメモリ２２に供給する。
【００７４】
ステップＳＴ２２で符号化装置２０はエッジ検出を行う。符号化装置２０のエッジ検出部１１は、例えばソーベルフィルタを用いて画像信号ＤＶinに対してエッジ検出を行い、エッジ画像信号Ｄａを生成する。
【００７５】
ステップＳＴ２３で符号化装置２０は、エッジ画像信号Ｄａが閾値Ｔｈ１以上であるか否かを判別する。符号化装置２０の二値化処理部１２は、エッジ画像信号Ｄａと閾値Ｔｈ１を比較して、エッジ画像信号Ｄａが閾値Ｔｈ１以上であるときステップＳＴ２４に進み、エッジ画像信号Ｄａが閾値Ｔｈ１未満であるときステップＳＴ２５に進む。
【００７６】
ステップＳＴ２４で符号化装置２０は、二値化信号の信号レベルを「１」に設定する。符号化装置２０の二値化処理部１２は、エッジ画像信号Ｄａが閾値Ｔｈ１以上であるとき、二値化信号Ｄｂの信号レベルを「１」としてステップＳＴ２６に進む。
【００７７】
ステップＳＴ２５で符号化装置２０は、二値化信号の信号レベルを「０」に設定する。符号化装置２０の二値化処理部１２は、エッジ画像信号Ｄａが閾値Ｔｈ１未満であるとき、二値化信号Ｄｂの信号レベルを「０」としてステップＳＴ２６に進む。
【００７８】
ステップＳＴ２６で符号化装置２０は、１画面に対する処理が終了したか否かを判別して、１画面に対する処理が終了していないときはステップＳＴ２２に戻り、１画面に対する処理が終了したときステップＳＴ２７に進む。
【００７９】
ステップＳＴ２７で符号化装置２０は、信号レベルが「１」の画素数Ｗを算出する。符号化装置２０のエッジ評価部１３は、マクロブロック毎に、マクロブロック内で信号レベルが「１」の画素数Ｗを算出してステップＳＴ２８に進む。
【００８０】
ステップＳＴ２８で符号化装置２０は、画素数Ｗが閾値Ｔｈ２以上であるか否かを判別する。符号化装置２０のエッジ評価部１３は、画素数Ｗと閾値Ｔｈ２を比較して、画素数Ｗが閾値Ｔｈ２以上であるときステップＳＴ２９に進み、画素数Ｗが閾値Ｔｈ２未満であるときステップＳＴ３０に進む。
【００８１】
ステップＳＴ２９で符号化装置２０は、マクロブロックをエッジ領域に設定する。符号化装置２０のエッジ評価部１３は、画素数Ｗが閾値Ｔｈ２以上となるマクロブロックを、有効なエッジを含むエッジ領域としてステップＳＴ３１に進む。
【００８２】
ステップＳＴ３０で符号化装置２０は、マクロブロックを非エッジ領域に設定する。符号化装置２０のエッジ評価部１３は、画素数Ｗが閾値Ｔｈ２未満となるマクロブロックを非エッジ領域としてステップＳＴ３１に進む。
【００８３】
ステップＳＴ３１で符号化装置２０は、評価値の生成を行う。符号化装置２０の制御部２１は、エッジ評価部１３で生成された評価信号Ｅａに基づいてエッジ領域の連結性を示す第１の評価値を算出する。制御部２１は、マクロブロックがエッジ領域であるか否かを示す評価信号Ｅａに基づいて、エッジ領域毎に他のエッジ領域との連結性を示す第１の評価値を算出してステップＳＴ３２に進む。
【００８４】
ステップＳＴ３２で符号化装置２０は、領域判別を行う。符号化装置２０の制御部２１は、ステップＳＴ３１で生成した第１の評価値と判定領域を構成するマクロブロックの数を用いて、判定領域におけるエッジ領域の連結度合いを示す第２の評価値を算出する。さらに、制御部２１は、第２の評価値から判定領域がエッジの強調されている画像領域であるか否かの判別を行う。
【００８５】
制御部２１は、第１の評価値と判定領域を構成するマクロブロックの数を用いて、上述のように第２の評価値であるエリアコスト「ａｒｅａ＿ｃｏｓｔ」を算出する。
【００８６】
このエリアコスト「ａｒｅａ＿ｃｏｓｔ」は、式（６）に示す範囲となる。
【００８７】
【数６】
2010288053.tif 000008
【００８８】
なお、式（６）において、「ｈ＿ｍｂ＿ｎｕｍ」は判定領域における水平方向のマクロブロックの数、「ｖ＿ｍｂ＿ｎｕｍ」は判定領域おける垂直方向のマクロブロックの数を示している。また「ｍａｘ＿ｍｂ＿ｃｎ」は、判定領域における第１の評価値の総和の理論上の最大値を示しており、式（７）から算出できる。
【００８９】
【数７】
2010288053.tif 000009
【００９０】
ここで、テロップの領域と判別された判定領域に有効なエッジを含むマクロブロックが多く存在していることにより符号化処理の破綻が想定される場合、エリアコスト「ａｒｅａ＿ｃｏｓｔ」の上限を制限して、符号量の調整を行う。例えば、テロップ領域と判別された判定領域において、領域の半分のマクロブロック数までを有効とする。この場合、式（８）に示すように、括弧内における左右の項のいずれか大きい値を上限値「ｍａｘ＿ｍｂ＿ｃｎ＿ｈａｌｆ」として、この上限値をエリアコスト「ａｒｅａ＿ｃｏｓｔ」の上限としてテロップ領域の判別を行う。
【００９１】
【数８】
2010288053.tif 000010
【００９２】
なお、式（８）において、「ｍａｘ＿ｍｂ＿ｃｎ＿ｈ＿ｈａｌｆ」は、式（９）に基づいて算出する。また「ｍａｘ＿ｍｂ＿ｃｎ＿ｖ＿ｈａｌｆ」は、式（１０）に基づいて算出する。
【００９３】
【数９】
2010288053.tif 000011
【００９４】
このようにエリアコスト「ａｒｅａ＿ｃｏｓｔ」の上限を制限すれば、テロップ領域と判別されたマクロブロックに対して多くの符号量を割り当てるとき、テロップ領域において有効なエッジを含むマクロブロックの数が多くなって符号化処理の破綻が生じてしまうことを防止できる。
【００９５】
ステップＳＴ３３で符号化装置２０は、符号量調整パラメータの設定を行う。符号化装置２０の制御部２１は、判定領域がテロップ領域であるか否かの判別結果に基づき、テロップ領域と判別した判定領域に多くの符号量を割り当てるように符号量調整パラメータＰＭを設定する。さらに、制御部２１は、設定した符号量調整パラメータＰＭを符号化部２３に出力してステップＳＴ３４に進む。
【００９６】
ステップＳＴ３４で符号化装置２０は、符号化処理を行う。符号化装置２０の符号化部２３は、ステップＳＴ３３で設定された符号量調整パラメータＰＭに基づき、符号化処理を行い、符号化信号を生成して出力する。
【００９７】
このようにすれば、エッジが強調されている領域を検出するために生成したエッジのエッジ画像信号をメモリに記憶する必要がないため、符号化装置を安価に構成できる。また、例えば画像信号ＤＶinが「１０８０ｉ」の信号であり、エッジ画像信号を８ビットとすると、１フレームあたりのエッジ画像信号は約４ＭＢとなる。また、画像信号ＤＶinが６０フレーム／秒とすると、エッジ画像信号に必要な帯域は２４０ＭＢ／秒となる。しかし、エッジ画像信号を記憶するメモリを設ける必要がないので、エッジ画像信号を記憶するためにこのような帯域を確保する必要がない。
【００９８】
さらに、符号化装置では、テロップ領域と判別された領域における有効なエッジを含むマクロブロックについて、他のマクロブロックよりも符号量を多く割り当てて符号化が行われることから、テロップ画像の画質劣化を改善できる。
【００９９】
＜５．第２の符号化装置の構成＞
次に、第２の符号化装置の構成について説明する。第２の符号化装置では、画像信号をメモリに記憶する際にエッジ検出やエッジ評価を行って、エッジに関する特徴パラメータを生成する。また、メモリから読み出された画像信号に基づいてエッジが強調されている領域の検出等を行うとき、生成された特徴パラメータに基づいて閾値等の設定を行う。さらに、特徴パラメータに基づいて設定された閾値等を用いて判別された例えばテロップ領域における有効なエッジを含むマクロブロックについて、他のマクロブロックよりも符号量を多く割り当てて符号化を行う。
【０１００】
図１０は、第２の符号化装置の構成を示している。符号化装置３０は、エッジ検出部１１，３１、二値化処理部１２，３２、エッジ評価部１３，３３、制御部４１、メモリ４２、符号化部４３を有している。
【０１０１】
画像信号（ベースバンド輝度信号）ＤＶinは、エッジ検出部１１とメモリ４２に供給される。エッジ検出部１１は、画像信号ＤＶinに対してエッジ検出処理を行う。エッジ検出処理では、例えば一次微分を用いてエッジ検出を行う。エッジ検出部１１は、エッジ検出結果を示すエッジ画像信号Ｄａを生成して二値化処理部１２に出力する。また、エッジ検出部１１は、画像内におけるエッジの強さの最大値や最小値・平均値、輝度の最大値や最小値等を求めてエッジ特徴量とする。また、エッジ特徴量を示すエッジ情報信号ＥＦを制御部４１に出力する。
【０１０２】
二値化処理部１２は、エッジ画像信号Ｄａの二値化処理を行う。二値化処理部１２は、エッジ画像信号Ｄａと制御部２１で設定された閾値Ｔｈ１の比較を行い、比較結果である二値化信号Ｄｂを生成してエッジ評価部１３に出力する。
【０１０３】
エッジ評価部１３は、二値化信号Ｄｂに基づいて、第１の画像領域毎にエッジ評価を行い、第１の画像領域が有効なエッジを含むエッジ領域であるか否か判別する。例えばエッジ評価部１３は、マクロブロックをそれぞれ第１の画像領域とする。エッジ評価部１３は、マクロブロック毎に、二値化信号Ｄｂが所定レベルである画素数を算出する。さらに、エッジ評価部１３は、算出した画素数と閾値Ｔｈ２を比較することでマクロブロックがエッジ領域となるか否かの評価を行い、評価結果を示す評価信号Ｅａを制御部４１に出力する。
【０１０４】
エッジ検出部３１は、符号化処理を行うためにメモリ４２からマクロブロック単位で読み出された画像信号ＤＶｍに対してエッジ検出処理を行う。エッジ検出処理では、例えば一次微分を用いてエッジ検出を行う。エッジ検出部３１は、エッジ検出結果を示すエッジ画像信号Ｄｄを生成して二値化処理部３２に出力する。
【０１０５】
二値化処理部３２は、エッジ画像信号Ｄｄの二値化処理を行う。二値化処理部３２は、エッジ画像信号Ｄｄと制御部４１で設定された閾値Ｔｈ３の比較を行い、比較結果である二値化信号Ｄｅを生成してエッジ評価部３３に出力する。
【０１０６】
エッジ評価部３３は、二値化信号Ｄｅに基づいて、マクロブロック毎にエッジ評価を行い、マクロブロックが有効なエッジを含むエッジ領域であるか否か判別する。エッジ評価部１３は、マクロブロック毎に、二値化信号Ｄｅが所定レベルである画素数を算出する。さらに、エッジ評価部３３は、算出した画素数と閾値Ｔｈ４を比較することでマクロブロックがエッジ領域となるか否かの評価を行い、評価結果を示す評価信号Ｅｄを制御部４１に出力する。
【０１０７】
制御部４１は、評価信号Ｅａに基づき、判定領域がエッジの強調されている画像領域であるか否かの判別を行う。制御部４１は、評価信号Ｅａに基づいて、エッジ領域と判別されたマクロブロック毎に、エッジ領域と判別されたマクロブロックとの連結性を示す第１の評価値を算出する。また、制御部４１は、判定領域を構成するマクロブロック数と、判定領域に含まれておりエッジ領域と判別されたマクロブロックの第１の評価値から、判定領域においてエッジ領域と判別されたマクロブロックの連結度合いを示す第２の評価値を算出する。さらに、制御部４１は、算出された第２の評価値に基づいて判定領域がエッジの強調されている領域であるか否かの判別を行う。制御部４１は、テロップ領域と判別した領域のマクロブロックに対してより多くの符号量を割り当てるように符号量調整パラメータＰＭを設定して符号化部２３に出力する。
【０１０８】
また、制御部４１は、二値化処理で用いる閾値Ｔｈ１，Ｔｈ３を設定して、閾値Ｔｈ１を二値化処理部１２、閾値Ｔｈ３を二値化処理部３２に出力する。制御部４１は、エッジ評価で用いる閾値Ｔｈ２，Ｔｈ４を設定して、閾値Ｔｈ２をエッジ評価部１３、閾値Ｔｈ４をエッジ評価部３３に出力する。
【０１０９】
さらに、制御部４１は、エッジ情報信号ＥＦで示されたエッジ特徴量例えばエッジの強さの最大値や最小値・平均値等、評価信号Ｅａに基づいて算出したエッジ領域であるマクロブロックの数、テロップ領域の判別結果等を特徴パラメータとする。制御部４１は、この特徴パラメータに基づいて閾値Ｔｈ３の設定を行う。例えば、制御部４１は、二値化処理部３２の二値化処理において画像信号ＤＶinのダイナミックレンジの違いによる影響が少なくなるように、エッジの強さの最大値ＥＤmaxを画像信号ＤＶinのダイナミックレンジに応じて正規化する。次に、制御部４１は、正規化後のエッジの強さの最大値に応じて閾値Ｔｈ３を設定する。
【０１１０】
また、制御部４１は、特徴パラメータに基づき、エッジの強さの平均値や画面内における有効なエッジを含むマクロブロックの分布から評価信号Ｅｄの妥当性を判断する。制御部４１は、この判断結果に基づき、テロップと判別した領域内において有効なエッジを含むマクロブロックに対して、多くの符号量を割り当てるように符号量調整パラメータＰＭを設定する。例えば、エッジの強さの平均値が極端に小さい場合は画面全体の輝度が低くなり、画面全体のほとんどすべてのマクロブロックに対して符号量を多めに割り当てるように判断されてしまう。制御部４１は、このような場合を、エッジの強さの平均値や有効なエッジを含むマクロブロックの分布などを示す特徴パラメータから判別して、符号量が不足しないように符号量調整パラメータＰＭの設定を行う。
【０１１１】
符号化部４３は、メモリ４２に記憶されている画像信号を読み出して符号化処理を行い、得られた符号化信号を出力する。また、符号化部４３は、符号量調整パラメータＰＭに基づき、制御部４１でテロップ領域と判別された領域のエッジを含むマクロブロックに対して、より多くの符号量を割り当てるように符号化処理を行う。
【０１１２】
＜６．第２の符号化装置の動作＞
図１１、１２は、第２の符号化装置の動作を示すフローチャートである。なお、図１１は、画像信号をメモリに記憶するときに行われる動作、図１２はメモリに記憶されている画像信号の符号化処理を行うときの動作を示している。
【０１１３】
図１１のステップＳＴ４１で符号化装置３０は、画像信号の取り込みを行う。符号化装置３０は、画像信号ＤＶinをエッジ検出部１１とメモリ４２に供給する。
【０１１４】
ステップＳＴ４２で符号化装置３０はエッジ検出を行う。符号化装置３０のエッジ検出部１１は、例えばソーベルフィルタを用いて画像信号ＤＶinに対してエッジ検出を行い、エッジ画像信号Ｄａを生成する。また、エッジ検出部１１は、画像内におけるエッジの強さの最大値や最小値・平均値、輝度の最大値や最小値等をエッジ特徴量として、このエッジ特徴量を示すエッジ情報信号ＥＦを制御部４１に出力する。
【０１１５】
ステップＳＴ４３で符号化装置３０は、エッジ画像信号Ｄａが閾値Ｔｈ１以上であるか否かを判別する。符号化装置３０の二値化処理部１２は、エッジ画像信号Ｄａと閾値Ｔｈ１を比較して、エッジ画像信号Ｄａが閾値Ｔｈ１以上であるときステップＳＴ４４に進み、エッジ画像信号Ｄａが閾値Ｔｈ１未満であるときステップＳＴ４５に進む。
【０１１６】
ステップＳＴ４４で符号化装置３０は、二値化信号の信号レベルを「１」に設定する。符号化装置２０の二値化処理部１２は、エッジ画像信号Ｄａが閾値Ｔｈ１以上であるとき、二値化信号Ｄｂの信号レベルを「１」としてステップＳＴ４６に進む。
【０１１７】
ステップＳＴ４５で符号化装置３０は、二値化信号の信号レベルを「０」に設定する。符号化装置２０の二値化処理部１２は、エッジ画像信号Ｄａが閾値Ｔｈ１未満であるとき、二値化信号Ｄｂの信号レベルを「０」としてステップＳＴ４６に進む。
【０１１８】
ステップＳＴ４６で符号化装置３０は、１画面の画像に対する処理が終了したか否かを判別して、１画面の画像に対する処理が終了していないときはステップＳＴ４２に戻り、１画面の画像に対する処理が終了したときステップＳＴ４７に進む。
【０１１９】
ステップＳＴ４７で符号化装置３０は、信号レベルが「１」の画素数Ｗを算出する。符号化装置２０のエッジ評価部１３は、マクロブロック毎に、マクロブロック内で信号レベルが「１」の画素数Ｗを算出してステップＳＴ４８に進む。
【０１２０】
ステップＳＴ４８で符号化装置３０は、画素数Ｗが閾値Ｔｈ２以上であるか否かを判別する。符号化装置３０のエッジ評価部１３は、画素数Ｗと閾値Ｔｈ２を比較して、画素数Ｗが閾値Ｔｈ２以上であるときステップＳＴ４９に進み、画素数Ｗが閾値Ｔｈ２未満であるときステップＳＴ５０に進む。
【０１２１】
ステップＳＴ４９で符号化装置３０は、マクロブロックをエッジ領域に設定する。符号化装置３０のエッジ評価部１３は、画素数Ｗが閾値Ｔｈ２以上となるマクロブロックを、有効なエッジを含むエッジ領域としてステップＳＴ５１に進む。
【０１２２】
ステップＳＴ５０で符号化装置３０は、マクロブロックを非エッジ領域に設定する。符号化装置３０のエッジ評価部１３は、画素数Ｗが閾値Ｔｈ２未満となるマクロブロックを非エッジ領域としてステップＳＴ５１に進む。
【０１２３】
ステップＳＴ５１で符号化装置２０は、評価値の生成を行う。符号化装置３０の制御部４１は、エッジ評価部１３で生成された評価信号Ｅａに基づいてエッジ領域の連結性を示す第１の評価値を算出する。制御部２１は、マクロブロックがエッジ領域であるか否かを示す評価信号Ｅａに基づいて、エッジ領域毎に他のエッジ領域との連結性を示す第１の評価値を算出してステップＳＴ５２に進む。
【０１２４】
ステップＳＴ５２で符号化装置３０は、領域判別を行う。符号化装置３０の制御部４１は、ステップＳＴ５１で生成した第１の評価値と判定領域を構成するマクロブロックの数を用いて、判定領域におけるエッジ領域の連結度合いを示す第２の評価値を算出する。さらに、制御部４１は、第２の評価値から判定領域がエッジの強調されている画像領域であるか否かの判別を行ってステップＳＴ５３に進む。
【０１２５】
ステップＳＴ５３で符号化装置３０は、特徴パラメータの設定を行う。符号化装置３０の制御部４１は、エッジの強さの最大値や最小値・平均値、エッジ領域であるマクロブロックの数、テロップ領域の判別結果等を特徴パラメータとして処理を終了する。
【０１２６】
図１２のステップＳＴ６１で符号化装置３０は、特徴パラメータを取得する。符号化装置３０の制御部４１は、上述のステップＳＴ５３で設定された特徴パラメータを用いるものとしてステップＳＴ６２に進む。
【０１２７】
ステップＳＴ６２で符号化装置３０は、画像信号の取り込みを行う。符号化装置３０のエッジ検出部３１は、符号化処理を行うためにメモリ４２からマクロブロック毎に読み出されて符号化部４３に供給される画像信号ＤＶｍを取り込んで、ステップＳＴ６３に進む。
【０１２８】
ステップＳＴ６３で符号化装置３０はエッジ検出を行う。符号化装置３０のエッジ検出部３１は、メモリ４２から読み出された画像信号ＤＶｍに対してエッジ検出を行い、エッジ画像信号Ｄｄを生成する。
【０１２９】
ステップＳＴ６４で符号化装置３０は、エッジ画像信号Ｄｄが閾値Ｔｈ３以上であるか否かを判別する。符号化装置３０の二値化処理部３２は、特徴パラメータに基づいて設定された閾値Ｔｈ３とエッジ画像信号Ｄｄを比較する。ここで、エッジ画像信号Ｄｄが閾値Ｔｈ３以上であるときステップＳＴ６５に進み、エッジ画像信号Ｄｄが閾値Ｔｈ３未満であるときステップＳＴ６６に進む。
【０１３０】
ステップＳＴ６５で符号化装置３０は、二値化信号の信号レベルを「１」に設定する。符号化装置３０の二値化処理部１２は、エッジ画像信号Ｄｄが閾値Ｔｈ３以上であるとき、二値化信号Ｄｅの信号レベルを「１」としてステップＳＴ６７に進む。
【０１３１】
ステップＳＴ６６で符号化装置３０は、二値化信号の信号レベルを「０」に設定する。符号化装置３０の二値化処理部３２は、エッジ画像信号Ｄｄが閾値Ｔｈ３未満であるとき、二値化信号Ｄｅの信号レベルを「０」としてステップＳＴ６７に進む。
【０１３２】
ステップＳＴ６７で符号化装置３０は、１マクロブロックに対する処理が終了したか否かを判別して、１マクロブロックに対する処理が終了していないときはステップＳＴ６３に戻り、１マクロブロックに対する処理が終了したときステップＳＴ６８に進む。
【０１３３】
ステップＳＴ６８で符号化装置３０は、信号レベルが「１」の画素数Ｗを算出する。符号化装置３０のエッジ評価部３３は、マクロブロック毎に、マクロブロック内で信号レベルが「１」の画素数Ｗを算出してステップＳＴ６９に進む。
【０１３４】
ステップＳＴ６９で符号化装置３０は、画素数Ｗが閾値Ｔｈ４以上であるか否かを判別する。符号化装置３０のエッジ評価部３３は、画素数Ｗと閾値Ｔｈ４を比較して、画素数Ｗが閾値Ｔｈ４以上であるときステップＳＴ７０に進み、画素数Ｗが閾値Ｔｈ４未満であるときステップＳＴ７１に進む。
【０１３５】
ステップＳＴ７０で符号化装置３０は、マクロブロックをエッジ領域に設定する。符号化装置２０のエッジ評価部３３は、画素数Ｗが閾値Ｔｈ４以上となるマクロブロックを、有効なエッジを含むエッジ領域としてステップＳＴ７２に進む。
【０１３６】
ステップＳＴ７１で符号化装置３０は、マクロブロックを非エッジ領域に設定する。符号化装置３０のエッジ評価部３３は、画素数Ｗが閾値Ｔｈ４未満となるマクロブロックを非エッジ領域としてステップＳＴ７２に進む。
【０１３７】
ステップＳＴ７２で符号化装置３０は、符号量調整パラメータの設定を行う。符号化装置３０の制御部４１は、エッジ領域の判定結果と特徴パラメータに基づき、テロップ領域と判別されている判定領域において、有効なエッジを含むマクロブロックに対して多くの符号量を割り当てるように符号量調整パラメータＰＭを設定する。制御部４１は、設定した符号量調整パラメータＰＭを符号化部４３に出力してステップＳＴ７３に進む。
【０１３８】
ステップＳＴ７３で符号化装置３０は、符号化処理を行う。符号化装置３０の符号化部４３は、ステップＳＴ７２で設定された符号量調整パラメータＰＭに基づき、符号化処理を行い、符号化信号を生成して出力する。
【０１３９】
また、ステップＳＴ６２からステップＳＴ７３の処理をマクロブロック毎に行うことで、１画面の符号化信号を生成する。
【０１４０】
このように、画像信号ＤＶinをメモリ４２に記憶させるとき、特徴パラメータの生成が行われる。特徴パラメータにおけるエッジの強さの最大値や最小値および平均値によって、画面全体のエッジの強さのレンジやテクスチャの複雑度を判別できる。例えば、画面全体が複雑なテクスチャで覆われていると、エッジの強さの最小値が大きくなる。また、強いエッジが画面に含まれると、エッジの強さの最大値が大きくなる。さらに、画面内で強いエッジが多くなると、エッジの強さの平均値が大きくなる。すなわち、エッジの強さの最大値や最小値および平均値によって、画面全体における強いエッジの量や偏り等の特徴を把握できる。また、有効なエッジを含むマクロブロックの分布から、テロップ領域が画面のいずれの位置であるか判別できる。
【０１４１】
また、メモリ４２からマクロブロック毎に画像信号を読み出して符号化する際に、特徴パラメータを利用して符号量調整パラメータＰＭの設定を行えば、テロップと判別された領域のマクロブロックについて、符号量を多く割り当てて符号化を行うことができる。さらに、画像信号ＤＶinをメモリ４２に記憶させるとき、エッジが強調されている領域の判別が行われているので、メモリ４２からマクロブロック毎に画像信号が読み出されても、このマクロブロックがエッジが強調されている領域のマクロブロックであるか否か、すなわち多くの符号量を割り当てるマクロブロックであるか否かを判別できる。したがって、エッジが強調されている領域の画質劣化が少なくなるように画像信号の符号化を容易に行うことができる。
【０１４２】
また、上述のようにエッジ画像信号を記憶するメモリを設ける必要がないので、符号化装置を安価に構成できる。また、エッジ画像信号をメモリに記憶させるための帯域を確保する必要がない。また、画像信号ＤＶinをメモリ４２に記憶させるとき、画面全体でのテロップ領域の分布と数を簡易計算することができるので、メモリ４２に記憶された画像信号を符号化する際に、テロップ領域にどの程度の符号量を割り当てる必要があるか予測できる。
【０１４３】
さらに、Ｈ．２６４／ＡＶＣ(Advanced Video Coding)方式では、ピクチャ毎にフィールドピクチャとフレームピクチャを切り換えるピクチャ適応型フレーム／フィールド符号化がフォーマット化されている。また、マクロブロックを縦に２つ合わせた単位でフレーム符号化とフィールド符号化を切り換えるマクロブロック適応型適応型フレーム／フィールド符号化がフォーマット化されている。このような場合でも、符号化装置３０では、画像信号ＤＶinと画像信号ＤＶｍに対して、エッジ検出や二値化処理およびエッジ評価が個々に行われるので、符号化のフォーマットに応じた符号量調整パラメータＰＭを生成できる。
【０１４４】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれた情報処理装置内のメモリにインストールして実行させる。あるいは、各種処理が実行可能な汎用の情報処理装置にプログラムをインストールして実行させることが可能である。
【０１４５】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０１４６】
なお、プログラムは、上述したようなリムーバブル記録媒体から情報処理装置にインストールする他、ダウンロードサイトから、情報処理装置に無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、情報処理装置に有線で転送し、情報処理装置では、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１４７】
なお、明細書に記載された各種の処理は、記載にしたがって時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【０１４８】
以上、本発明について詳解してきた。しかしながら、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【産業上の利用可能性】
【０１４９】
この発明の検出装置と符号化装置および検出方法およびプログラムでは、画像信号に対してエッジ検出を行うことにより得られたエッジ画像信号の二値化処理が行われて二値化信号が生成される。また、第１の画像領域毎に、該画像領域内の二値化信号に基づいてエッジ領域であるか否かの評価を行い、評価信号で示されたエッジ領域毎に、エッジ領域の連結性を示す第１の評価値が算出されて、判定領域を構成する第１の画像領域の数と、判定領域に含まれるエッジ領域の第１の評価値から、判定領域におけるエッジ領域の連結度合いを示す第２の評価値が算出される。さらに、第２の評価値から判定領域がエッジの強調されている画像領域であるか否かの判別が行われる。
【０１５０】
このように、検出したエッジ領域の近傍の状況を加味してエッジの強調されている画像領域の検出が行われるため、ノイズ等の影響を受けにくくなり、エッジが強調されている画像領域の検出を容易に行うことができる。また、検出結果を用いてエッジが強調されている画像領域の画質劣化が少なくなるように画像信号の符号化処理を行うことができる。このため、画像信号を符号化して記録する記録装置や撮像装置等に適している。
【符号の説明】
【０１５１】
１０・・・検出装置、１１，３１・・・エッジ検出部、１２，３２・・・二値化処理部、１３，３３・・・エッジ評価部、１４・・・領域判別部、１５・・・閾値設定部、２０，３０・・・符号化装置、２１，４１・・・制御部、２２，４２・・・メモリ、２３，４３・・・符号化部
【図１】
2010288053.tif 000012
【図２】
2010288053.tif 000013
【図３】
2010288053.tif 000014
【図４】
2010288053.tif 000015
【図５】
2010288053.tif 000016
【図６】
2010288053.tif 000017
【図７】
2010288053.tif 000018
【図８】
2010288053.tif 000019
【図９】
2010288053.tif 000020
【図１０】
2010288053.tif 000021
【図１１】
2010288053.tif 000022
【図１２】
2010288053.tif 000023