(57)【要約】  画像内の領域の意味的な重要度を適切に評価することができる画像内領域重要度評価装置を提供する。加工部７１は、画像の評価対象領域に対して、減色を含む加工を行う。重要度決定部７２は、加工前の評価対象領域の信号値と、加工後の評価対象領域の信号値との誤差の大きさの程度に基づいて、評価対象領域の重要度を決定する。
2014174799.tif 000002
【特許請求の範囲】
【請求項１】
画像の評価対象領域に対して、減色を含む加工を行う加工手段と、
加工前の評価対象領域の信号値と、加工後の評価対象領域の信号値との誤差の大きさの程度に基づいて、前記評価対象領域の重要度を決定する重要度決定手段とを備える
ことを特徴とする画像内領域重要度評価装置。
【請求項２】
加工前の評価対象領域の信号値と、加工後の評価対象領域の信号値との誤差の大きさの程度を表す減色誤差評価値を、前記誤差の平均２乗誤差として算出する減色誤差評価値算出手段を備える
請求項１に記載の画像内領域重要度評価装置。
【請求項３】
重要度決定手段は、減色誤差評価値が小さいほど、評価対象領域の重要度を大きな値として定める
請求項２に記載の画像内領域重要度評価装置。
【請求項４】
重要度決定手段は、加工前の評価対象領域の信号値の分散に対する減色誤差評価値の比が小さいほど、評価対象領域の重要度を大きな値として定める
請求項２に記載の画像内領域重要度評価装置。
【請求項５】
重要度決定手段は、加工前の評価対象領域の信号値の分散に対する減色誤差評価値の比が小さく、かつ、加工後の評価対象領域の信号値の分散が大きいほど、評価対象領域の重要度を大きな値として定める
請求項２に記載の画像内領域重要度評価装置。
【請求項６】
加工手段は、評価対象領域の信号成分の数を削減することによって減色を行う
請求項１から請求項５のうちのいずれか１項に記載の画像内領域重要度評価装置。
【請求項７】
加工手段は、評価対象領域の色数を削減することによって減色を行う
請求項１から請求項５のうちのいずれか１項に記載の画像内領域重要度評価装置。
【請求項８】
画像の評価対象領域に対して、減色を含む加工を行い、
加工前の評価対象領域の信号値と、加工後の評価対象領域の信号値との誤差の大きさの程度に基づいて、前記評価対象領域の重要度を決定する
ことを特徴とする画像内領域重要度評価方法。
【請求項９】
コンピュータに、
画像の評価対象領域に対して、減色を含む加工を行う加工処理、
加工前の評価対象領域の信号値と、加工後の評価対象領域の信号値との誤差の大きさの程度に基づいて、前記評価対象領域の重要度を決定する重要度決定処理
を実行させるための画像内領域重要度評価プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内の領域の重要度を評価する画像内領域重要度評価装置、画像内領域重要度評価方法および画像内領域重要度評価プログラムに関する。
【背景技術】
【０００２】
コンピュータの画面の画像情報をサーバからクライアントにネットワーク経由で送信する画面伝送システムが知られている。このような画面伝送システムにおいて、サーバとクライアントの通信データ量を削減するために、前画面から表示内容が変化した領域である差分領域の画像情報をサーバが送信する技術や、差分領域の画像情報を符号化する技術が適用されている。【０００３】
また、特許文献１には、個々の差分領域の優先度を定め、その優先度に応じて差分領域の送信順序を制御する技術が記載されている。特許文献１には、優先度を決定する方法の一例として、差分領域に含まれる画素の画素値と、差分領域の面積とに基づいて優先度を決定することが記載されている。【０００４】
また、画像内の領域のうち、例えば、文字やアイコン等を表示している領域は、意味的に重要度が高いと言える。文字表示領域を特定する一般的な方法として、例えば、使用されている色数の少なさ、ヒストグラム、エッジ密集度等に基づいて、文字表示領域を特定する方法が考えられる。また、領域内の信号値（画素値）の分散や、コントラストに基づいて文字表示領域を特定することも考えられる。【０００５】
文字表示領域を特定する技術の関連技術として、テロップ（television opaque projector）による文字表示領域を検出する技術が知られている（例えば、特許文献２，３，４参照）。特許文献２に記載された技術では、ユーザが画像上で文字領域を指定することにより、文字領域を示す領域指定信号を生成する。特許文献３に記載された技術では、最大輝度値と最小輝度値との差分値に基づいて、テロップらしさの情報を生成する。特許文献４に記載された技術では、エッジの密集度に応じてテロップ領域を判定する。【０００６】
また、二値化処理の一般的な方法として、ヒストグラムから閾値を算出して二値化を行う方法がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】再表２００９−００４９９６号公報
【特許文献２】特開２００２−２０４４５９号公報
【特許文献３】特開２００５−１９７８７９号公報
【特許文献４】特開２００７−７４０９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、上記の一般的な方法や、上記の各特許文献に記載された方法によって、意味的に重要度が高い領域を画像内で推定する場合、その精度に限界があった。例えば、色数の少なさに基づいて、意味的に重要度が高い領域を推定する場合、本来、重要度を高く評価すべき領域の重要度を低く推定してしまう場合がある。具体例を挙げると、アンチエイリアス化された文字を含む領域や、グレースケール表示されたアイコンを含む領域等は、本来、重要度を高く評価すべき領域であるが、色数の少なさに基づいて重要度を評価すると、これらの領域の重要度は低く評価されてしまう。【０００９】
また、画像の信号値の分散やコントラストに基づいて、意味的に重要度が高い領域を推定する場合、局所変化量が大きく圧縮符号化が難しい自然画像（例えば、雑草や毛髪等の画像）に該当する領域の重要度を過大評価してしまう。【００１０】
また、特許文献３，４に記載された技術では、やや低いコントラストで表示されたアイコンや、細い文字・線画に該当する領域の重要度を過小評価しやすい。【００１１】
そこで、本発明は、画像内の領域の意味的な重要度を適切に評価することができる画像内領域重要度評価装置、画像内領域重要度評価方法および画像内領域重要度評価プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明による画像内領域重要度評価装置は、画像の評価対象領域に対して、減色を含む加工を行う加工手段と、加工前の評価対象領域の信号値と、加工後の評価対象領域の信号値との誤差の大きさの程度に基づいて、評価対象領域の重要度を決定する重要度決定手段とを備えることを特徴とする。【００１３】
また、本発明による画像内領域重要度評価方法は、画像の評価対象領域に対して、減色を含む加工を行い、加工前の評価対象領域の信号値と、加工後の評価対象領域の信号値との誤差の大きさの程度に基づいて、評価対象領域の重要度を決定することを特徴とする。【００１４】
また、本発明による画像内領域重要度評価プログラムは、コンピュータに、画像の評価対象領域に対して、減色を含む加工を行う加工処理、加工前の評価対象領域の信号値と、加工後の評価対象領域の信号値との誤差の大きさの程度に基づいて、評価対象領域の重要度を決定する重要度決定処理を実行させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、画像内の領域の意味的な重要度を適切に評価することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の画像内領域重要度評価装置の実施形態を示すブロック図である。
【図２】本発明の処理経過の例を示すフローチャートである。
【図３】本発明の画像内領域重要度評価装置の主要部を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態を図面を参照して説明する。
【００１８】
本発明の画像内領域重要度評価装置は、画面を表す画像内の領域の意味的な重要度を評価する。意味的な重要度が高い領域の例として、例えば、文字を表示している領域や、アイコンを表示している領域等が挙げられる。これらの意味的な重要度が高い領域において、文字やアイコン等は、少ない色数で表されていることが多い。本発明の画像内領域重要度評価装置は、この点を利用して、画面を表す画像内の領域の意味的な重要度を評価する。
【００１９】
また、画像内の画素は信号によって表される。画素を表す信号の形式の例として、ＲＧＢ形式やＹＵＶ形式等が挙げられるが、画素の信号形式は特に限定されない。また、画像は、カラー画像に限定されず、グレースケール画像であってもよい。
【００２０】
また、本実施形態では、説明を簡単にするため、重要度の評価対象となる領域（以下、評価対象領域）が入力として与えられるものとして説明する。ただし、画像内領域重要度評価装置に、画像が与えられ、画像内領域重要度評価装置が、その画像から評価対象領域を抽出してもよい。１枚の画像から評価対象領域を抽出する方法は、特に限定されない。例えば、最新の画面の画像とその前の画面の画像とを比較して、前の画面から変化している個々の領域である差分領域を、それぞれ評価対象領域としてもよい。また、例えば、１画面を固定サイズの領域で分割した場合の個々の領域を、それぞれ評価対象領域としてもよい。
【００２１】
本発明の画像内領域重要度評価装置は、例えば、シンクライアントに画面の画像情報を送信するサーバに適用される。そして、画像内領域重要度評価装置によって決定された評価対象領域の重要度は、例えば、サーバによる各領域の送信順序制御等に利用されてもよい。
【００２２】
図１は、本発明の画像内領域重要度評価装置の実施形態を示すブロック図である。本発明の画像内領域重要度評価装置１０は、加工部１と、減色誤差評価値算出部２と、重要度決定部３とを備える。
【００２３】
加工部１は、評価対象領域に対して、減色を含む加工を行う。具体的には、加工部１は、評価対象領域に対して減色を行い、その後、伸張する。
【００２４】
まず、減色について説明する。減色の際、加工部１は、劣化が目立たないように、評価対象領域に含まれる画素の色を削減する。
【００２５】
減色の方法として、例えば、評価対象領域に含まれる画素の信号成分の数を削減する方法がある。以下、この方法を、第１の減色方法と記す。第１の減色方法の具体例を説明する。例えば、画素の信号がＲＧＢ形式であるとする。この場合、１画素の信号はＲ，Ｇ，Ｂの３つの信号成分で表される（換言すれば、３次元ベクトルで表される）。加工部１は、例えば、この３つの信号成分を１つの信号成分に削減することによって、減色を行ってもよい。減色後の１つの信号成分は、例えば、１次元グレースケール信号であってもよい。また、例えば、加工部１は、ＲＧＢ形式の信号をＹＵＶ形式の信号に変換し、そのＹの信号成分を、減色後の１つの信号成分として用いてもよい。
【００２６】
また、他の減色の方法として、評価対象領域に含まれる画素の色数を削減する方法がある。以下、この方法を、第２の減色方法と記す。第２の減色方法の具体例として、画素の信号成分の取り得る値の種類を削減すること（例えば、二値化）が挙げられる。画素の信号の信号値の下位ビットを切り捨てる方法等もある。
【００２７】
加工部１は、減色後の評価対象領域を伸張する。伸張後の評価対象領域の各画素の信号成分の種類は、加工（減色および伸張）前の評価対象領域の各画素の信号成分の種類と同じである。例えば、元の評価対象領域（Ｘとする。）が３２ビットカラーで表現されているとする。そして、加工部１がこの評価対象領域Ｘに対して、代表色を２つ選択し、２色に減色圧縮する処理を行ったとする。加工部１は、この減色後の評価対象領域に対して、伸張を行い、３２ビットカラーで表現した評価対象領域（Ｙとする。）を得る。評価対象領域Ｘと加工後の評価対象領域Ｙとでは、信号値に誤差が生じている。
【００２８】
加工部１による加工（減色および伸張）前の評価対象領域の信号値と、加工後の評価対象領域の信号値との誤差の大きさの程度を表す値を減色誤差評価値と記す。減色誤差評価値算出部２は、減色誤差評価値を算出する。
【００２９】
以下、画素の識別情報をｉで表すものとする。画素ｉの信号をｆ（ｉ）と記す。ここでは、画素ｉの信号ｆ（ｉ）が、例えばＲ，Ｇ，Ｂ等のように３つの信号成分を含んでいる場合を例にして説明する。この３つの信号成分の信号値をそれぞれｆ１（ｉ），ｆ２（ｉ），ｆ３（ｉ）と表すことにする。このとき、画素ｉの信号ｆ（ｉ）は、式（１）に示すように、３次元ベクトルで表すことができる。
【００３０】
【数１】
2014174799.tif 000003
【００３１】
また、加工部１による加工（減色および伸張）後の画素ｉの信号をｆＲＥＤ（ｉ）と記す。また、ｆ（ｉ）におけるｆ１（ｉ），ｆ２（ｉ），ｆ３（ｉ）の加工後の信号値をそれぞれ、ｆ１ＲＥＤ（ｉ），ｆ２ＲＥＤ（ｉ），ｆ３ＲＥＤ（ｉ）と記す。すなわち、加工後の画素ｉの信号ｆＲＥＤ（ｉ）は、式（２）のように表される。
【数２】
2014174799.tif 000004
【００３２】
従って、１つの画素に着目した場合、加工によって生じる信号値の誤差は、ｆ（ｉ）−ｆＲＥＤ（ｉ）である。減色誤差評価値算出部２は、評価対象領域全体におけるこの誤差の大きさの程度を表す減色誤差評価値を算出する。誤差が大きいほど、減色誤差評価値は大きな値として算出され、誤差が小さいほど、減色誤差評価値は小さな値として算出される。
【００３３】
減色誤差評価値算出部２は、例えば、加工前の評価対象領域の信号値と、加工後の評価対象領域の信号値との誤差の平均２乗誤差を減色誤差評価値として算出してもよい。以下、減色誤差評価値として平均２乗誤差を算出する例を説明する。減色誤差評価値をＨで表すこととする。
【００３４】
減色誤差評価値算出部２は、以下に示す式（３）の計算によって、平均２乗誤差を算出し、減色誤差評価値Ｈを算出してもよい。
【００３５】
【数３】
2014174799.tif 000005
【００３６】
なお、ｋは、３次元ベクトルの３つの成分の順番を示す変数であり、ｋ＝１，２，３である。
【００３７】
加工部１は、加工後の信号と加工前の信号が以下に示す式（Ａ）および式（Ｂ）の関係を満たす減色加工手法を用いてもよい。
【００３８】
【数４】
2014174799.tif 000006
【００３９】
【数５】
2014174799.tif 000007
【００４０】
例えば、２色への減色加工の場合、減色加工後の信号が取り得る２つの信号値を、同一色に変換される全画素の加工前の信号値の平均となるように定めると、式（Ａ）、式（Ｂ）の条件が満たされる。
【００４１】
この場合、減色誤差に関する平均２乗誤差は、加工前の評価対象領域の信号値の分散（σ２ＳＲＣと記す。）と、加工後の評価対象領域の信号値の分散（σ２ＲＥＤと記す。）との差として計算することもできる。従って、減色誤差評価値算出部２は、以下に示す式（４）の計算によって減色誤差評価値Ｈを算出してもよい。式（Ａ）、式（Ｂ）が満たされることが保証されない減色加工がなされる場合であっても、式（４）の計算式をＨの近似算出式として用いてもよい。
【００４２】
【数６】
2014174799.tif 000008
【００４３】
ここでは、減色誤差評価値Ｈの算出式として式（３）および式（４）を例示したが、減色誤差評価値算出部２は、他の計算によって減色誤差評価値Ｈを算出してもよい。
【００４４】
重要度決定部３は、減色誤差評価値Ｈに基づいて、評価対象領域の意味的な重要度を決定する。例えば、重要度決定部３は、減色誤差評価値Ｈが小さいほど（すなわち、減色および伸張によって生じる誤差が小さいほど）、重要度を大きな値として定める。この重要度決定態様を重要度決定態様Ａと記す。
【００４５】
重要度決定部３は、減色誤差評価値Ｈ以外の値も考慮して重要度を定めてもよい。以下、重要度決定部３が、減色誤差評価値Ｈの他に、加工前の評価対象領域の信号値の分散σ２ＳＲＣも考慮して、重要度を定める場合を説明する。この重要度決定態様を重要度決定態様Ｂと記す。
【００４６】
重要度決定態様Ｂでは、減色誤差評価値算出部２は、減色誤差評価値Ｈとともに、加工前の評価対象領域の信号値の分散σ２ＳＲＣも算出する。そして、重要度決定部３は、加工前の評価対象領域の信号値の分散σ２ＳＲＣに対する減色誤差評価値Ｈの比を算出する。以下、この比（Ｈ／σ２ＳＲＣ）を減色誤差率と記す。重要度決定部３は、Ｈ／σ２ＳＲＣの値が小さいほど、重要度を大きな値として定める。
【００４７】
なお、減色誤差率Ｈ／σ２ＳＲＣは、以下に示す式（５）の計算によって算出することもできる。
【００４８】
Ｈ／σ２ＳＲＣ＝１−（σ２ＲＥＤ／σ２ＳＲＣ）          式（５）
【００４９】
従って、重要度決定部３は、式（５）の計算によって、減色誤差率（Ｈ／σ２ＳＲＣ）を算出してもよい。この場合、減色誤差評価値算出部２は、加工前の評価対象領域の信号値の分散σ２ＳＲＣと、加工後の評価対象領域の信号値の分散σ２ＲＥＤとを算出すればよい。そして、重要度決定部３は、その値を用いて式（５）の計算を行えばよい。
【００５０】
また、重要度決定部３が、減色誤差評価値Ｈの他に、加工前の評価対象領域の信号値の分散σ２ＳＲＣ、および加工後の評価対象領域の信号値の分散σ２ＲＥＤも考慮して、重要度を定めてもよい。この重要度決定態様を重要度決定態様Ｃと記す。
【００５１】
重要度決定態様Ｃでは、減色誤差評価値算出部２は、減色誤差評価値Ｈとともに、加工前の評価対象領域の信号値の分散σ２ＳＲＣ、および加工後の評価対象領域の信号値の分散σ２ＲＥＤも算出する。そして、重要度決定部３は、減色誤差率（Ｈ／σ２ＳＲＣ）が小さく、かつ、加工後の評価対象領域の信号値の分散σ２ＲＥＤが大きいほど、評価対象領域の重要度を大きな値として定める。
【００５２】
なお、重要度決定態様Ｃを以下に示す処理で実現することもできる。減色誤差評価値算出部２は、加工前の評価対象領域の信号値の分散σ２ＳＲＣと、加工後の評価対象領域の信号値の分散σ２ＲＥＤとを算出する。そして、重要度決定部３は、算出された各分散σ２ＳＲＣ，σ２ＲＥＤを用いて、以下の式（６）に示す指標値を計算する。
【００５３】
【数７】
2014174799.tif 000009
【００５４】
式（６）におけるαは、０より大きい実数として定められた定数である。
【００５５】
そして、重要度決定部３は、式（６）に示す指標値が大きいほど、重要度を大きな値として定める。
【００５６】
加工部１、減色誤差評価値算出部２および重要度決定部３は、例えば、画像内領域重要度評価プログラムに従って動作するコンピュータのＣＰＵによって実現される。例えば、ＣＰＵが画像内領域重要度評価プログラムを読み込み、そのプログラムに従って、加工部１、減色誤差評価値算出部２および重要度決定部３として動作してもよい。画像内領域重要度評価プログラムは、コンピュータが読み取り可能な記録媒体によって記録されていてもよい。また、加工部１、減色誤差評価値算出部２および重要度決定部３が別々のハードウェアによって実現されてもよい。
【００５７】
次に、本発明の処理経過の例について説明する。図２は、本発明の処理経過の例を示すフローチャートである。なお、以下に示す説明では、１つの評価対象領域が与えられ、その評価対象領域の重要度を決定する場合を例にして説明する。複数の評価対象領域が与えられた場合、画像内領域重要度評価装置１０は、評価対象領域毎に、以下に示す処理と同様の処理を行えばよい。
【００５８】
また、以下の説明では、加工部１が、画素の信号成分を削減することによって減色を行う場合を例にして説明する。
【００５９】
まず、減色誤差評価値算出部２は、与えられた評価対象領域（すなわち、加工前の評価対象領域）の信号値の分散σ２ＳＲＣを算出する（ステップＳ１）。
【００６０】
ここで、加工前の評価対象領域の各画素の信号は、式（１）に示すように、３次元ベクトルで表されているものとする。そして、ここでは、ｆ１（ｉ），ｆ２（ｉ），ｆ３（ｉ）は、それぞれ、Ｒ，Ｇ，Ｂの信号値であるものとする。また、評価対象領域内の画素数をＮとする。
【００６１】
ステップＳ１において、減色誤差評価値算出部２は、評価対象領域内の画素の信号の平均ベクトルμ＝（μ１，μ２，μ３）Ｔと共分散行列（ΣＳＲＣと記す。）を算出する。なお、Ｔは、転置行列を意味する。減色誤差評価値算出部２は、以下に示す式（７）の計算によって、μを算出すればよい。
【００６２】
【数８】
2014174799.tif 000010
【００６３】
そして、減色誤差評価値算出部２は、以下に示す式（８）の計算によって、共分散行列ΣＳＲＣを算出する。
【００６４】
【数９】
2014174799.tif 000011
【００６５】
なお、減色誤差評価値算出部２は、式（８）の右辺の第１項を、以下に示す式（９）の計算によって求めればよい。
【００６６】
【数１０】
2014174799.tif 000012
【００６７】
共分散行列ΣＳＲＣは、３行３列の行列である。ここで、共分散行列ΣＳＲＣの第ｐ行第ｑ列の成分をΣｐｑと記す。また、行列Ａの対角成分の和をｔｒ（Ａ）と記すこととする。
【００６８】
減色誤差評価値算出部２は、共分散行列ΣＳＲＣの対角成分の和を計算することによって、加工前の評価対象領域の信号値の分散σ２ＳＲＣを算出する。すなわち、減色誤差評価値算出部２は、以下に示す式（１０）の計算によって、σ２ＳＲＣを算出する。
【００６９】
σ２ＳＲＣ＝ｔｒ（ΣＳＲＣ）＝Σ１１＋Σ２２＋Σ３３          式（１０）
【００７０】
次に、加工部１は、与えられた評価対象領域に対して減色を行い、さらに、減色後の評価対象領域に対して伸張を行う（ステップＳ２）。
【００７１】
ここでは、加工部１が、Ｒ，Ｇ，Ｂの信号値で表された３次元カラー信号を１次元グレースケール信号に線形射影することによって、減色圧縮を行うものとする。また、画素ｉの減色後の１次元グレースケール信号をｇ（ｉ）と記す。
【００７２】
加工部１は、評価対象領域内の画素毎に、以下に示す式（１１）の計算を行うことによって、評価対象領域内の各画素に対する減色を行う。
【００７３】
【数１１】
2014174799.tif 000013
【００７４】
式（１１）において、μは、式（７）の計算によって算出される評価対象領域内の画素の信号の平均ベクトルである。また、式（１１）において、ｗは、ｗ１，ｗ２，ｗ３を成分とする３次元ベクトルである。具体的には、減色誤差評価値Ｈが最小になるように、ｗは、以下のように決定される。まず、加工部１は、共分散行列ΣＳＲＣの固有ベクトルの中で、最大の固有値λＭＡＸに対応する固有ベクトルｖを求める。ｖは、ｖ１，ｖ２，ｖ３を成分とする３次元ベクトルである。そして、固有ベクトルｖを用いて、以下に示す式（１２）の計算によって、ベクトルｗを算出する。
【００７５】
【数１２】
2014174799.tif 000014
【００７６】
加工部１は、画素の信号の平均ベクトルμと、式（１２）で得られるベクトルｗとを用いて、式（１１）の計算を行うことによって、画素の信号を１次元グレースケール信号ｇ（ｉ）に変換（減色）する。
【００７７】
次に、加工部１は、減色後の評価対象領域に対して伸張を行う。上記のように減色を行った場合、加工部１は、減色後の評価対象領域内の画素毎に、以下に示す式（１３）の計算を行うことによって、減色および伸張後の信号ｆＲＥＤ（ｉ）を求める。
【００７８】
【数１３】
2014174799.tif 000015
【００７９】
ステップＳ２の後、減色誤差評価値算出部２は、ステップＳ２での加工後（減色および伸張後）の評価対象領域の信号値の分散σ２ＲＥＤを算出する（ステップＳ３）。
【００８０】
ステップＳ３において、減色誤差評価値算出部２は、共分散行列ΣＳＲＣの最大の固有値λＭＡＸによって分散σ２ＲＥＤを求めてもよい。すなわち、減色誤差評価値算出部２は、σ２ＲＥＤ＝λＭＡＸとして、σ２ＲＥＤを求めてもよい。
【００８１】
ステップＳ３の後、減色誤差評価値算出部２は、例えば、式（４）の計算によって、減色誤差評価値Ｈを算出する（ステップＳ４）。本例では、減色誤差評価値Ｈは、以下に示す式（１４）のように計算される。
【００８２】
【数１４】
2014174799.tif 000016
【００８３】
次に、重要度決定部３は、ステップＳ４で算出された減色誤差評価値Ｈに基づいて、与えられた評価対象領域の重要度を決定する（ステップＳ５）。例えば、重要度決定部３は、減色誤差評価値Ｈが小さいほど、重要度を大きな値に定めればよい。あるいは、重要度決定部３は、前述の重要度決定態様Ｂまたは重要度決定態様Ｃの方法で、重要度を決定してもよい。
【００８４】
上記の処理経過の説明では、減色の際、Ｒ，Ｇ，Ｂの３つの信号成分を、１つの信号成分（上記の例では、１次元グレースケール信号）に削減する場合を例にして説明した。上記の処理経過を、処理経過１とする。
【００８５】
以下では、減色の際に、評価対象領域の色数を削減する場合を例にして、処理経過を説明する。なお、減色後の色数をＭとする。以下に説明する処理経過を処理経過２と記す。処理経過２も、図２に示すフローチャートで表されるので、図２を参照して説明する。
【００８６】
減色誤差評価値算出部２は、与えられた評価対象領域の信号値の分散σ２ＳＲＣを算出する（ステップＳ１）。本例では、減色誤差評価値算出部２は、信号成分毎に、評価対象領域の信号値の分散を計算し、さらにその和を計算する。そして、減色誤差評価値算出部２は、その計算結果を、評価対象領域の信号値の分散σ２ＳＲＣとする。
【００８７】
また、減色誤差評価値算出部２は、ステップＳ１において、分散σ２ＳＲＣだけでなく、評価対象領域内の画素の信号の平均ベクトルμも算出する。減色誤差評価値算出部２は、前述の式（７）の計算によって、平均ベクトルμを算出すればよい。
【００８８】
次に、加工部１は、与えられた評価対象領域に対して減色を行い、減色後の評価対象領域に対して伸張を行う（ステップＳ２）。
【００８９】
本例では、加工部１は、減色処理として、評価対象領域の色数をＭ種類の色に削減する。加工部１は、例えば、以下のように減色を行う。加工部１は、評価対象領域の各画素の信号ｆ（ｉ）を対象にしてクラスタリングを行い、各画素の信号ｆ（ｉ）をＭ個のクラスに分類する。クラスタリングの手法は、特に限定されない。
【００９０】
加工部１は、Ｍ個に分類したクラス毎に、クラスに属している画素の信号の平均ベクトルを算出する。そして、加工部１は、クラス毎に算出した平均ベクトルが、クラスに対応する色信号であると定める。この結果、評価対象領域の色数が、Ｍ種類に削減されたことになる。
【００９１】
ステップＳ２の後、減色誤差評価値算出部２は、加工後の評価対象領域の信号値の分散σ２ＲＥＤを算出する（ステップＳ３）。本例では、減色誤差評価値算出部２は、以下に示す式（１５）の計算によって、行列ΣＲＥＤを算出する。
【００９２】
【数１５】
2014174799.tif 000017
【００９３】
ここで、ｃは、Ｍ個に分類された各クラスを表す変数であり、ｃ＝１，２，・・・，Ｍである。このｃを添え字として表したｐｃは、評価対象領域内の全画素数に対する、クラスｃに分類された画素数の割合である。従って、各クラスのｐｃの総和は、１である。すなわち、以下の式（１６）が成立する。
【００９４】
【数１６】
2014174799.tif 000018
【００９５】
また、クラスｃに分類された各画素の信号の平均ベクトルをμｃ＝（μｃ１，μｃ２，μｃ３）Ｔと記す。式（１５）では、ベクトルμｃのｋ番目の成分をμｃｋと表している。また、ステップＳ１で算出したμ（評価対象領域内の画素の信号の平均ベクトル）のｋ番目の成分をμｋと表している。
【００９６】
減色誤差評価値算出部２は、式（１５）の計算によって算出した行列ΣＲＥＤの対角成分の和を、加工後の評価対象領域の信号値の分散σ２ＲＥＤとして求める。すなわち、減色誤差評価値算出部２は、以下に示す式（１７）の計算によって、分散σ２ＲＥＤを算出する。
【００９７】
【数１７】
2014174799.tif 000019
【００９８】
分散σ２ＲＥＤ算出後の処理（ステップＳ４，Ｓ５）は、処理経過１と同様であり、ここでは説明を省略する。
【００９９】
なお、上記の処理は、評価対象領域がグレースケールで表されていても実施可能である。
【０１００】
また、処理経過２では、減色の際、色数をＭ色に削減する場合を示したが、Ｍ＝２として、加工部１が色数を２色に削減してもよい（すなわち、二値化を行ってもよい）。以下、二値化を行う場合のクラスタリングの例を説明する。
【０１０１】
（二値化を行う場合のクラスタリングの例１）
加工部１は、減色実行時に、評価対象領域を対象にして３行３列の共分散行列ΣＳＲＣを算出する。ΣＳＲＣの算出方法については既に説明しているので、ここでは説明を省略する。そして、加工部１は、共分散行列ΣＳＲＣの最大固有値に対応する固有ベクトルｖを求める。
【０１０２】
次に、加工部１は、評価対象領域内の画素毎に、信号ｆ（ｉ）と評価対象領域内の画素の信号の平均ベクトルμとの差（ｆ（ｉ）−μ）と、上記の固有ベクトルｖとの内積（ｆ（ｉ）−μ）・ｖを算出し、その内積が正の値であるか、負の値であるかによって、画素を２つのクラスのいずれかに分類する。すなわち、加工部１は、内積が正であれば、画素を第１のクラスに分類し、内積が負であれば、画素を第２のクラスに分類する。この結果、評価対象領域の色が二値化される。その他の点については、上述の処理経過２と同様である。
【０１０３】
（二値化を行う場合のクラスタリングの例２）
また、加工部１は、以下に示すように二値化を行ってもよい。加工部１は、評価対象領域内の画素の信号成分毎（換言すれば、Ｒ，Ｇ，Ｂ毎）に、信号値の分散を算出し、分散が最大となる信号成分を特定する。この信号成分をＸとする。加工部１は、評価対象領域内の各画素の信号成分Ｘの平均を算出する。この平均をμＸと記す。μＸはスカラである。加工部１は、評価対象領域内の画素毎に、画素の信号成分ＸとμＸとの比較によって、画素を２つのクラスのいずれかに分類する。例えば、加工部１は、画素の信号成分ＸがμＸ以上であれば、その画素を第１のクラスに分類し、画素の信号成分ＸがμＸ未満であれば、その画素を第２のクラスに分類する。その他の点については、上述の処理経過２と同様である。
【０１０４】
本実施形態では、信号の２色への偏りを判定できればよいので、処理経過２を採用する場合には、減色時に二値化を行えば十分である。減色時に二値化を行う際に、上記のような方法を用いれば、ヒストグラムから閾値を算出して二値化を行う一般的な二値化の方法に比べて、計算量やメモリ使用量を少なくすることができる。
【０１０５】
本発明によれば、評価対象領域に対する加工（減色および伸張）によって生じる誤差が小さいほど、その評価対象領域の意味的な重要度を大きな値に決定する。この誤差が小さいということは、評価対象領域が少ない色数で表現されていると言うことができる。さらに、画像内で、少ない色数で表現されている箇所は、意味的に重要な、文字、線画、アイコン等を表示していることが多い。よって、本発明によれば、意味的に重要な、文字、線画、アイコン等を表示している評価対象領域の重要度を、精度よく決定することができる。また、本発明によれば、アンチエイリアス表示された画像や、連続階調化された画像の領域に対しても、重要度を精度よく決定することができる。また、局所変化や分散の大きい自然画像の領域に対して、重要度を高く設定する確率を低くすることができる。
【０１０６】
以下、本発明の主要部について説明する。図３は、本発明の画像内領域重要度評価装置の主要部を示すブロック図である。本発明の画像内領域重要度評価装置は、加工部７１と、重要度決定部７２とを備える。
【０１０７】
加工部７１（例えば、加工部１）は、画像の評価対象領域に対して、減色を含む加工を行う。
【０１０８】
重要度決定部７２（例えば、重要度決定部３）は、加工前の評価対象領域の信号値と、加工後の評価対象領域の信号値との誤差の大きさの程度に基づいて、前記評価対象領域の重要度を決定する。
【０１０９】
そのような構成により、画像内の領域の意味的な重要度を適切に評価することができる。
【０１１０】
上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。
【０１１１】
（付記１）画像の評価対象領域に対して、減色を含む加工を行う加工手段と、加工前の評価対象領域の信号値と、加工後の評価対象領域の信号値との誤差の大きさの程度に基づいて、前記評価対象領域の重要度を決定する重要度決定手段とを備えることを特徴とする画像内領域重要度評価装置。
【０１１２】
（付記２）加工前の評価対象領域の信号値と、加工後の評価対象領域の信号値との誤差の大きさの程度を表す減色誤差評価値を、前記誤差の平均２乗誤差として算出する減色誤差評価値算出手段を備える付記１に記載の画像内領域重要度評価装置。
【０１１３】
（付記３）重要度決定手段は、減色誤差評価値が小さいほど、評価対象領域の重要度を大きな値として定める付記２に記載の画像内領域重要度評価装置。
【０１１４】
（付記４）重要度決定手段は、加工前の評価対象領域の信号値の分散に対する減色誤差評価値の比が小さいほど、評価対象領域の重要度を大きな値として定める付記２に記載の画像内領域重要度評価装置。
【０１１５】
（付記５）重要度決定手段は、加工前の評価対象領域の信号値の分散に対する減色誤差評価値の比が小さく、かつ、加工後の評価対象領域の信号値の分散が大きいほど、評価対象領域の重要度を大きな値として定める付記２に記載の画像内領域重要度評価装置。
【０１１６】
（付記６）加工手段は、評価対象領域の信号成分の数を削減することによって減色を行う付記１から付記５のうちのいずれかに記載の画像内領域重要度評価装置。
【０１１７】
（付記７）加工手段は、評価対象領域の色数を削減することによって減色を行う付記１から付記５のうちのいずれかに記載の画像内領域重要度評価装置。
【０１１８】
（付記８）画像の評価対象領域に対して、減色を含む加工を行う加工手段と、加工前の評価対象領域の信号値の分散および加工後の評価対象領域の信号値の分散を算出する算出手段と、加工前の評価対象領域の信号値の分散および加工後の評価対象領域の信号値の分散に基づいて、前記評価対象領域の重要度を決定する重要度決定手段とを備えることを特徴とする画像内領域重要度評価装置。
【０１１９】
（付記９）画像の評価対象領域に対して、減色を含む加工を行い、加工前の評価対象領域の信号値と、加工後の評価対象領域の信号値との誤差の大きさの程度に基づいて、前記評価対象領域の重要度を決定することを特徴とする画像内領域重要度評価方法。
【０１２０】
（付記１０）画像の評価対象領域に対して、減色を含む加工を行い、加工前の評価対象領域の信号値の分散および加工後の評価対象領域の信号値の分散を算出し、加工前の評価対象領域の信号値の分散および加工後の評価対象領域の信号値の分散に基づいて、前記評価対象領域の重要度を決定することを特徴とする画像内領域重要度評価方法。
【０１２１】
（付記１１）コンピュータに、画像の評価対象領域に対して、減色を含む加工を行う加工処理、加工前の評価対象領域の信号値と、加工後の評価対象領域の信号値との誤差の大きさの程度に基づいて、前記評価対象領域の重要度を決定する重要度決定処理を実行させるための画像内領域重要度評価プログラム。
【０１２２】
（付記１２）コンピュータに、画像の評価対象領域に対して、減色を含む加工を行う加工処理、加工前の評価対象領域の信号値の分散および加工後の評価対象領域の信号値の分散を算出する算出処理、および、加工前の評価対象領域の信号値の分散および加工後の評価対象領域の信号値の分散に基づいて、前記評価対象領域の重要度を決定する重要度決定処理を実行させるための画像内領域重要度評価プログラム。
【０１２３】
この出願は、２０１３年４月２５日に出願された日本特許出願２０１３−０９２２６７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【０１２４】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【産業上の利用の可能性】
【０１２５】
本発明は、画像内の領域の重要度を評価する画像内領域重要度評価装置に好適に適用される。
【符号の説明】
【０１２６】
１  加工部
２  減色誤差評価値算出部
３  重要度決定部
１０  画像内領域重要度評価装置
【図１】
2014174799.tif 000020
【図２】
2014174799.tif 000021
【図３】
2014174799.tif 000022
【国際調査報告】
2014174799.tif 000023
2014174799.tif 000024
2014174799.tif 000025