(57)【要約】【課題】  合成画像における関心を有される領域を検出する。【解決手段】  複数の合成画像の複数のサブブロックに関連付けられたカラー特性から導かれるカラー値を計算し、複数の該サブブロックの各々に関連付けられる情報値を決定し、関心を有される領域を形成するために該サブブロックをグルーピングする。カラー値は少なくとも一のカラー・バンドでサブブロック毎に計算される。【選択図】    図１
2006092556.tif 000002
【特許請求の範囲】
【請求項１】
合成画像における関心を有される領域を検出する方法であって、
（ａ）複数の合成画像の複数のサブブロックに関連付けられたカラー特性から導かれるカラー値を計算し、前記カラー値は少なくとも一のカラー・バンドでサブブロック毎に計算され、
（ｂ）複数の前記サブブロックの各々に関連付けられる情報値を決定し、
（ｃ）関心を有される領域を形成するために前記サブブロックをグルーピングする、
領域検出方法。
【請求項２】
（ｃ）が、（ｄ）各々の合成画像のサブブロック毎に前記情報値を二値化する、
ことを含む、請求項１に記載の領域検出方法。
【請求項３】
（ｄ）が、標準偏差より大きい情報値を有するサブブロックに値１を割り当てる、ことを含む、請求項２に記載の領域検出方法。
【請求項４】
（ｃ）が、所定の範囲にある情報値を有する隣接するサブブロックをグルーピングする、ことを含む、請求項１に記載の領域検出方法。
【請求項５】
前記情報値が二値化された値であり、
前記所定の範囲が情報値１を有するサブブロックを含む、
請求項４に記載の領域検出方法。
【請求項６】
グルーピングされた隣接する前記サブブロックの領域は、所定の閾値を乗された場合、前記サブブロックの交差領域より大きい、請求項４に記載の領域検出方法。
【請求項７】
グルーピングされた隣接する前記サブブロックの濃度は、複数の前記サブブロックの平均濃度を越えない、請求項４に記載の領域検出方法。
【請求項８】
サブブロックの最大グループである主グループを決定する、請求項４に記載の領域検出方法。
【請求項９】
関心を有される領域としてサブブロックの一以上のグループをユーザが選択する、請求項４に記載の領域検出方法。
【請求項１０】
（ａ）が、前記合成画像の各々の前記サブブロックの各々の三のカラー・バンドでカラー・ヒストグラムを計算することを含む、請求項１に記載の領域検出方法。
【請求項１１】
（ａ）が、前記合成画像の各々の前記サブブロックの各々の三のカラー・バンドでカラー・コレログラムを計算する、ことを含む、請求項１に記載の領域検出方法。
【請求項１２】
複数の前記合成画像の複数の前記サブブロックでのスペクトル分解を用いてテクスチャ値を計算し、該スペクトル分解は、複数の前記サブブロックの各々の前記カラー・バンドの少なくとも一で計算され、該スペクトル分解は、離散コサイン変換、ウェーブレット変換、及びハール分解の一であり、
前記カラー値と前記テクスチャ値とを組み合わせることによって、重み付けされた合計値を計算し、
重み付けされた前記合計値にもとづいて、複数の前記サブブロックの各々に関連付けられる前記情報値を決定する、
ことを更に含む、請求項１に記載の領域検出方法。
【請求項１３】
前記合成画像の均一なサブサンプリングを用いて、複数の前記合成画像から複数の関心を有される領域を選択する、ことを更に含む、請求項１に記載の領域検出方法。
【請求項１４】
関心を有される領域の各々のカラー・ヒストグラムと複数の前記合成画像の平均カラー・プロファイルとの間の距離関数を決定することによって、複数の前記合成画像から、複数の関心を有される領域を選択する、ことを更に含む、請求項１に記載の領域検出方法。
【請求項１５】
遺伝的セグメンテーション・アルゴリズムを用いることによって、複数の前記合成画像から、複数の関心を有される領域を選択する、ことを更に含む、請求項１に記載の領域検出方法。
【請求項１６】
カラー・バンドを含む複数のサブブロックを有する合成画像で関心を有される領域を検出する方法であって、
複数の前記サブブロックに関連付けられたカラー特性から導かれるカラー値を計算し、該カラー値は前記カラー・バンドの少なくとも一において前記サブブロック毎に計算され、
複数の前記サブブロックでのスペクトル分解を用いてテクスチャ値を計算し、該スペクトル分解は、複数の前記サブブロックの各々に対する前記カラー・バンドの少なくとも一において計算され、該スペクトル分解は、離散コサイン変換、ウェーブレット変換、及びハール分解の一であり、
前記カラー値と前記テクスチャ値とを組み合わせることによって、重み付けされた合計値を計算し、
重み付けされた前記合計値にもとづいて、複数の前記サブブロックの各々に関連付けられる前記情報値を決定する、
領域検出方法。
【請求項１７】
一以上のプロセッサによって処理されることにより、合成画像における関心を有される領域を検出することをシステムに実行させるプログラムであって、
（ａ）複数の合成画像の複数のサブブロックに関連付けられたカラー特性から導かれるカラー値を計算するステップであって、該カラー値は少なくとも一のカラー・バンドでサブブロック毎に計算される、ステップと、
（ｂ）複数の前記サブブロックの各々に関連付けられる情報値を決定するステップと、
（ｃ）関心を有される領域を形成するために前記サブブロックをグルーピングするステップと、
を含む、領域検出プログラム。
【請求項１８】
（ｃ）が、（ｄ）各々の合成画像のサブブロック毎に前記情報値を二値化する、
ことを含む、請求項１７に記載の領域検出プログラム。
【請求項１９】
（ｄ）が、標準偏差より大きい情報値を有するサブブロックに値１を割り当てる、ことを含む、請求項１８に記載の領域検出プログラム。
【請求項２０】
（ｃ）が、所定の範囲にある情報値を有する隣接するサブブロックをグルーピングする、ことを含む、請求項１７に記載の領域検出プログラム。
【請求項２１】
前記情報値が二値化された値であり、
前記所定の範囲が情報値１を有するサブブロックを含む、
請求項２０に記載の領域検出プログラム。
【請求項２２】
グルーピングされた隣接する前記サブブロックの領域は、所定の閾値を乗された場合、前記サブブロックの交差領域より大きい、請求項２０に記載の領域検出プログラム。
【請求項２３】
グルーピングされた隣接する前記サブブロックの濃度は、複数の前記サブブロックの平均濃度を越えない、請求項２０に記載の領域検出プログラム。
【請求項２４】
サブブロックの最大グループである主グループを決定する、請求項２０に記載の領域検出プログラム。
【請求項２５】
関心を有される領域としてサブブロックの一以上のグループをユーザが選択する、請求項２０に記載の領域検出プログラム。
【請求項２６】
（ａ）が、前記合成画像の各々の前記サブブロックの各々の三のカラー・バンドでカラー・ヒストグラムを計算することを含む、請求項１７に記載の領域検出プログラム。
【請求項２７】
（ａ）が、前記合成画像の各々の前記サブブロックの各々の三のカラー・バンドでカラー・コレログラムを計算する、ことを含む、請求項１７に記載の領域検出プログラム。
【請求項２８】
複数の前記合成画像の複数の前記サブブロックでのスペクトル分解を用いてテクスチャ値を計算するステップであって、該スペクトル分解は、複数の前記サブブロックの各々の前記カラー・バンドの少なくとも一で計算され、該スペクトル分解は、離散コサイン変換、ウェーブレット変換、及びハール分解の一である、ステップと、
前記カラー値と前記テクスチャ値とを組み合わせることによって、重み付けされた合計値を計算するステップと、
重み付けされた前記合計値にもとづいて、複数の前記サブブロックの各々に関連付けられる前記情報値を決定するステップと、
を更に含む、請求項１７に記載の領域検出プログラム。
【請求項２９】
前記合成画像の均一なサブサンプリングを用いて、複数の前記合成画像から複数の関心を有される領域を選択するステップ、を更に含む、請求項１７に記載の領域検出プログラム。
【請求項３０】
関心を有される領域の各々のカラー・ヒストグラムと複数の前記合成画像の平均カラー・プロファイルとの間の距離関数を決定することによって、複数の前記合成画像から、複数の関心を有される領域を選択するステップと、を更に含む、請求項１７に記載の領域検出プログラム。
【請求項３１】
遺伝的セグメンテーション・アルゴリズムを用いることによって、複数の前記合成画像から、複数の関心を有される領域を選択するステップ、を更に含む、請求項１７に記載の領域検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタル画像処理に係り、詳細には、合成画像における関心を有される領域を検出することに関する。即ち、本発明は、合成画像における関心を有される領域を検出する方法、カラー・バンドを含む複数のサブブロックを有する合成画像で関心を有される領域を検出する方法、および、合成画像における関心を有される領域を検出することをシステムに実行させるプログラムに関する。
【背景技術】
【０００２】
パワーポイント（ＰｏｗｅｒＰｏｉｎｔ）（登録商標）および他のプレゼンテーション・ソフトウェア・パッケージの開発以来、スライド・プレゼンテーションは、プレゼンテーションを行うための一般的な方法となった。該方法によれば、情報を伝えるためのカラフルな背景および図形を有するスライドが容易に生成可能である。該方法における重要な課題は、スライドとそれらのコンテンツの集合を管理し視覚化するための方法の具体化である。他の課題は、小型表示装置およびモバイル・デバイス上でプレゼンテーション・コンテンツを見ることであり、該小型表示装置およびモバイル・デバイスにおいて、小型スクリーンに効率的および効果的に表示されるように、コンテンツは凝縮される必要がある。
【０００３】
「関心を有されるビデオ領域の抽出（“EXTRACTING VIDEO REGIONS OF INTEREST”)」と題された米国特許出願第１０／８１５，３８９号および「高凝縮ビジュアル・サマリーの生成（“GENERATING A HIGHLY CONDENSED VISUAL SUMMARY”）」と題された米国特許出願第１０／８１５，３５４号において、上位ランクのビデオ・セグメントのキー・フレーム内で「関心を有される領域（ＲＯＩ）」から生成されたストーリー・ボードを用いてビデオを示すステンドグラス・ビジュアライゼーション（Ｓｔａｉｎｅｄ−Ｇｌａｓｓ Ｖｉｓｕａｌｉｚａｔｉｏｎ：ステンドグラス状の視覚化）を用いてビデオを要約し凝縮する方法が開示されている。該方法によれば、ＲＯＩはレイアウトされ、ヴォロノイ（Ｖｏｒｏｎｏｉ）技術を用いて該ＲＯＩを拡張することによって間隙が埋められる。これによって不規則な境界が生成され、結果的に、ビデオはステンドグラスのように見える。このようにして、視覚化方法と共にモーション解析に基づいたビデオ・セグメント内でＲＯＩを検出するためのアルゴリズムがもたらされた。
【０００４】
ステンドグラス・ビジュアライゼーションは、写真および画像に適用可能であり、所与のセットの画像からコラージュを作成する。ステンドグラス・タイプのコラージュは、多くの方法において使用可能である。例えば、財布サイズのコラージュの形態で、ＰＤＡ（パーソナル・デジタル・アシスタント）や携帯電話に、家族を表示することもできるし、より大きなパーティのコラージュをウェブ・ページに載せて友人と共有することもできる。休暇で撮った景色の写真のポスター・サイズのコラージュをプリントし額に入れてもよい。また、多数の画像のサマライゼーションが、ぎっしり詰まった状態で提供され得る。
【０００５】
遺伝的セグメンテーション方法に関する特許文献１、および、遺伝的セグメンテーション・アルゴリズムに関する非特許文献１は、本願発明に関連する。
【特許文献１】米国特許第６，８１９，７９５  Ｂ１号明細書
【非特許文献１】チウ（Ｃｈｉｕ）ら、「画像データ・ストリームおよびビデオの遺伝的セグメンテーション・アルゴリズム（"A Genetic Segmentation Algorithm for Image Data Streams and Video"）」、遺伝および進化計算学会（ＧＥＣＣＯ）予稿集(Proceedings of the Genetic and Evolutionary Computation Conference)、ネバダ州、ラスベガス、２０００年７月８日
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ビデオ内でＲＯＩを検出するための初期のアルゴリズムは、モーション解析に基づいているので、一続きのスライドなどの合成画像に対しては不適当である。更に、スライド・セットは、従来の画像処理方法では取り組まれなかった明確なカラーとテクスチャを有する背景および前景に関する特性を有する。したがって、画像の集合が管理され、視覚化され、表示装置に提示され得るように、合成画像内でＲＯＩを検出する方法が要求される。
【課題を解決するための手段】
【０００７】
一実施の形態において、本発明は、テクスチャ特性およびカラー特性アプローチにもとづいて合成画像セットのサブブロックの情報コンテンツまたは圧縮度が解析される情報駆動型アプローチに基づき、合成画像内で「関心を有される領域（ＲＯＩ）」を検出するアルゴリズムを含む。一実施の形態において、ＤＣＴ（離散コサイン変換）が画像セットのテクスチャ特性を解析するために使用され、カラー・ヒストグラムが該画像セットのカラー特性を解析するために使用される。圧縮度の低いサブブロックは、一種のモーフォロジー（形態的）技術を用いて、ＲＯＩヘグルーピングされる。かなり用途が特定されるタイプのＲＯＩに対して適用される他のアルゴリズム（例えば、ＯＣＲ（光学式文字認識）テキスト検出）とは異なり、本発明の方法は、一般に、任意の合成画像に適用可能である。本発明は、ステンドグラス・コラージュ・プレゼンテーションを含むいくつかの他の画像アプリケーションと共に使用され得る。
【０００８】
本発明の第１の態様は、合成画像における関心を有される領域を検出する方法であって、（ａ）複数の合成画像の複数のサブブロックに関連付けられたカラー特性から導かれるカラー値を計算し、前記カラー値は少なくとも一のカラー・バンドでサブブロック毎に計算され、（ｂ）複数の前記サブブロックの各々に関連付けられる情報値を決定し、（ｃ）関心を有される領域を形成するために前記サブブロックをグルーピングする。
【０００９】
本発明の第２の態様は、第１の態様の領域検出方法であって、（ｃ）が、（ｄ）各々の合成画像のサブブロック毎に前記情報値を二値化する、ことを含む。
【００１０】
本発明の第３の態様は、第２の態様の領域検出方法であって、（ｄ）が、標準偏差より大きい情報値を有するサブブロックに値１を割り当てる、ことを含む。
【００１１】
本発明の第４の態様は、第１の態様の領域検出方法であって、（ｃ）が、所定の範囲にある情報値を有する隣接するサブブロックをグルーピングする、ことを含む。
【００１２】
本発明の第５の態様は、第４の態様の領域検出方法であって、前記情報値が二値化された値であり、前記所定の範囲が情報値１を有するサブブロックを含む。
【００１３】
本発明の第６の態様は、第４の態様の領域検出方法であって、グルーピングされた隣接する前記サブブロックの領域は、所定の閾値を乗された場合、前記サブブロックの交差領域より大きい。
【００１４】
本発明の第７の態様は、第４の態様の領域検出方法であって、グルーピングされた隣接する前記サブブロックの濃度は、複数の前記サブブロックの平均濃度を越えない。
【００１５】
本発明の第８の態様は、第４の態様の領域検出方法であって、サブブロックの最大グループである主グループを決定する。
【００１６】
本発明の第９の態様は、第４の態様の領域検出方法であって、関心を有される領域としてサブブロックの一以上のグループをユーザが選択する。
【００１７】
本発明の第１０の態様は、第１の態様の領域検出方法であって、（ａ）が、前記合成画像の各々の前記サブブロックの各々の三のカラー・バンドでカラー・ヒストグラムを計算することを含む。
【００１８】
本発明の第１１の態様は、第１の態様の領域検出方法であって、（ａ）が、前記合成画像の各々の前記サブブロックの各々の三のカラー・バンドでカラー・コレログラムを計算する、ことを含む。
【００１９】
本発明の第１２の態様は、第１の態様の領域検出方法であって、複数の前記合成画像の複数の前記サブブロックでのスペクトル分解を用いてテクスチャ値を計算し、該スペクトル分解は、複数の前記サブブロックの各々の前記カラー・バンドの少なくとも一で計算され、該スペクトル分解は、離散コサイン変換、ウェーブレット変換、及びハール分解の一であり、前記カラー値と前記テクスチャ値とを組み合わせることによって、重み付けされた合計値を計算し、重み付けされた前記合計値にもとづいて、複数の前記サブブロックの各々に関連付けられる前記情報値を決定する、ことを更に含む。
【００２０】
本発明の第１３の態様は、第１の態様の領域検出方法であって、前記合成画像の均一なサブサンプリングを用いて、複数の前記合成画像から複数の関心を有される領域を選択する、ことを更に含む。
【００２１】
本発明の第１４の態様は、第１の態様の領域検出方法であって、関心を有される領域の各々のカラー・ヒストグラムと複数の前記合成画像の平均カラー・プロファイルとの間の距離関数を決定することによって、複数の前記合成画像から、複数の関心を有される領域を選択する、ことを更に含む。
【００２２】
本発明の第１５の態様は、第１の態様の領域検出方法であって、遺伝的セグメンテーション・アルゴリズムを用いることによって、複数の前記合成画像から、複数の関心を有される領域を選択する、ことを更に含む。
【００２３】
本発明の第１６の態様は、カラー・バンドを含む複数のサブブロックを有する合成画像で関心を有される領域を検出する方法であって、複数の前記サブブロックに関連付けられたカラー特性から導かれるカラー値を計算し、該カラー値は前記カラー・バンドの少なくとも一において前記サブブロック毎に計算され、複数の前記サブブロックでのスペクトル分解を用いてテクスチャ値を計算し、該スペクトル分解は、複数の前記サブブロックの各々に対する前記カラー・バンドの少なくとも一において計算され、該スペクトル分解は、離散コサイン変換、ウェーブレット変換、及びハール分解の一であり、前記カラー値と前記テクスチャ値とを組み合わせることによって、重み付けされた合計値を計算し、重み付けされた前記合計値にもとづいて、複数の前記サブブロックの各々に関連付けられる前記情報値を決定する。
【００２４】
本発明の第１７の態様は、一以上のプロセッサによって処理されることにより、合成画像における関心を有される領域を検出することをシステムに実行させるプログラムであって、（ａ）複数の合成画像の複数のサブブロックに関連付けられたカラー特性から導かれるカラー値を計算するステップであって、該カラー値は少なくとも一のカラー・バンドでサブブロック毎に計算される、ステップと、（ｂ）複数の前記サブブロックの各々に関連付けられる情報値を決定するステップと、（ｃ）関心を有される領域を形成するために前記サブブロックをグルーピングするステップと、を含む。
【００２５】
本発明の第１８の態様は、第１７の態様の領域検出プログラムであって、（ｃ）が、（ｄ）各々の合成画像のサブブロック毎に前記情報値を二値化する、ことを含む。
【００２６】
本発明の第１９の態様は、第１８の態様の領域検出プログラムであって、（ｄ）が、標準偏差より大きい情報値を有するサブブロックに値１を割り当てる、ことを含む。
【００２７】
本発明の第２０の態様は、第１７の態様の領域検出プログラムであって、（ｃ）が、所定の範囲にある情報値を有する隣接するサブブロックをグルーピングする、ことを含む。
【００２８】
本発明の第２１の態様は、第２０の態様の領域検出プログラムであって、前記情報値が二値化された値であり、前記所定の範囲が情報値１を有するサブブロックを含む。
【００２９】
本発明の第２２の態様は、第２０の態様の領域検出プログラムであって、グルーピングされた隣接する前記サブブロックの領域は、所定の閾値を乗された場合、前記サブブロックの交差領域より大きい。
【００３０】
本発明の第２３の態様は、第２０の態様の領域検出プログラムであって、グルーピングされた隣接する前記サブブロックの濃度は、複数の前記サブブロックの平均濃度を越えない。
【００３１】
本発明の第２４の態様は、第２０の態様の領域検出プログラムであって、サブブロックの最大グループである主グループを決定する。
【００３２】
本発明の第２５の態様は、第２０の態様の領域検出プログラムであって、関心を有される領域としてサブブロックの一以上のグループをユーザが選択する。
【００３３】
本発明の第２６の態様は、第１７の態様の領域検出プログラムであって、（ａ）が、前記合成画像の各々の前記サブブロックの各々の三のカラー・バンドでカラー・ヒストグラムを計算することを含む。
【００３４】
本発明の第２７の態様は、第１７の態様の領域検出プログラムであって、（ａ）が、前記合成画像の各々の前記サブブロックの各々の三のカラー・バンドでカラー・コレログラムを計算する、ことを含む。
【００３５】
本発明の第２８の態様は、第１７の態様の領域検出プログラムであって、複数の前記合成画像の複数の前記サブブロックでのスペクトル分解を用いてテクスチャ値を計算するステップであって、該スペクトル分解は、複数の前記サブブロックの各々の前記カラー・バンドの少なくとも一で計算され、該スペクトル分解は、離散コサイン変換、ウェーブレット変換、及びハール分解の一である、ステップと、前記カラー値と前記テクスチャ値とを組み合わせることによって、重み付けされた合計値を計算するステップと、重み付けされた前記合計値にもとづいて、複数の前記サブブロックの各々に関連付けられる前記情報値を決定するステップと、を更に含む。
【００３６】
本発明の第２９の態様は、第１７の態様の領域検出プログラムであって、前記合成画像の均一なサブサンプリングを用いて、複数の前記合成画像から複数の関心を有される領域を選択するステップ、を更に含む。
【００３７】
本発明の第３０の態様は、第１７の態様の領域検出プログラムであって、関心を有される領域の各々のカラー・ヒストグラムと複数の前記合成画像の平均カラー・プロファイルとの間の距離関数を決定することによって、複数の前記合成画像から、複数の関心を有される領域を選択するステップと、を更に含む。
【００３８】
本発明の第３１の態様は、第１７の態様の領域検出プログラムであって、遺伝的セグメンテーション・アルゴリズムを用いることによって、複数の前記合成画像から、複数の関心を有される領域を選択するステップ、を更に含む。
【発明の効果】
【００３９】
本発明は、複数の合成画像の複数のサブブロックに関連付けられたカラー特性から導かれるカラー値を計算し、複数の該サブブロックの各々に関連付けられる情報値を決定し、関心を有される領域を形成するために該サブブロックをグルーピングする、ようにしているので、合成画像における関心を有される領域を検出することができる。
【発明を実施するための最良の形態】
【００４０】
本発明の好ましい実施の形態を図面に基づいて詳細に説明する。
【００４１】
一実施の形態において、本発明は、テクスチャ特性およびカラー特性アプローチにもとづいて合成画像セットのサブブロックの情報コンテンツまたは圧縮度が解析される情報駆動型アプローチに基づき、合成画像内で「関心を有される領域（ＲＯＩ）」を検出するアルゴリズムを含む。一実施の形態において、ＤＣＴ（離散コサイン変換）が画像セットのテクスチャ特性を解析するために使用され、カラー・ヒストグラムが該画像セットのカラー特性を解析するために使用される。圧縮度の低いサブブロックは、一種のモーフォロジー（形態的）技術を用いて、ＲＯＩヘグルーピングされる。かなり用途が特定されるタイプのＲＯＩに対して適用される他のアルゴリズム（例えば、ＯＣＲ（光学式文字認識）テキスト検出）とは異なり、本発明の方法は、一般に、任意の合成画像に適用可能である。本発明は、ステンドグラス・コラージュ・プレゼンテーションを含むいくつかの他の画像アプリケーションと共に使用され得る。
【００４２】
本発明は、例えば、パーソナル・コンピュータ、ＰＤＡなどのコンピュータ・システムにおいて実施されることができる。該コンピュータ・システムは、例えば、スライド・セット等のデータやユーザの指示情報を入力する入力部、プロセッサによる実行の際の作業領域を形成すると共にプログラムや処理対象としてのデータを格納する記憶部、処理内容や関心を有される領域を示す処理結果を表示画面上に表示する表示部（表示装置）、およびデータを通信網などに出力する出力部などを含む。プロセッサは、プログラム（ソフトウェア）を読み出し実行することにより、処理対象のデータ等に対し当該プログラムの手順に対応した処理を当該コンピュータ・システムに実行させる。プロセッサは、複数であってもよい。
【００４３】
図１は、本発明の一実施の形態による合成画像内で関心を有される領域を検出する方法１００を示す図である。方法１００は、スタート・ステップ１０５から開始される。次に、ステップ１１０において、画像内のサブブロックが決定される。画像内のサブブロックが決定された後、ステップ１２０において、サブブロックは、ＲＯＩへグルーピングされる。これらのステップは、以下に詳細に説明される。方法１００の動作は、ステップ１２５で終了する。
【００４４】
ＲＯＩが決定される合成画像はスライド・セットを含んでいてもよい。図２Ａ〜図２Ｓは、関心を有される領域が決定され得るスライド・セット２００を示す。
【００４５】
「合成画像におけるサブブロックの決定」
一実施の形態において、合成画像のサブブロックを決定することは、上位の情報コンテンツを有するサブブロックを決定することを含む。図３は、本発明の一実施の形態による上位の情報コンテンツを有するサブブロックを検出する方法３００を示すフローチャートである。方法３００はスタート・ステップ３０５で開始される。次に、ステップ３１０において、合成画像はサブブロックへ分割される。サブブロックの実際のサイズは、システムの処理能力と、結果について望まれる詳細と、に応じて変化し得る。他の実施の形態において、画像のオリジナル・サイズはサブブロックを取り出すことができる所望のサイズに応じて拡大縮小され得る。例えば、画像は１２８×１２８画素に拡大縮小されてもよく、該画像は１６×１６画素の６４個のサブブロックに分割されることができる。
【００４６】
サブブロックが決定された後、ステップ３２０において、画像の一つ以上のカラー・バンドに対する画像のテクスチャ特性が解析され、量子化される。テクスチャ値は、画像のサブブロックに対するスペクトル特性と関連付けられてもよいし、サブブロックの各々に対するカラー・バンドの少なくとも一つにおいて計算されてもよい。一実施の形態において、テクスチャ値を計算することは、各サブブロック内のカラー・バンド上で２次元的な離散コサイン変換（ＤＣＴ）を計算することを含んでいてもよい。一実施の形態において、ＤＣＴはＲＧＢ空間(レッド・バンド、グリーン・バンド、およびブルー・バンド）の全３色のバンドにおいて実行される。カラー情報は、通常、オブジェクトをより顕著に見せるように支援するので、全３色のカラー・バンド上でＤＣＴを実行することは、単一輝度バンド上で単一ＤＣＴを実行するより良い。
【００４７】
２次元的ＤＣＴは、式（１）によって、定義付けられる。
【００４８】
【数１】
2006092556.tif 000003
【００４９】
ここで、
ｕ＝０，１，２，．．．，Ｍ−１、
ｖ＝０，１，２，．．．，Ｎ−１、
2006092556.tif 000004
であり、
ｆ［ｍ，ｎ］は、画素［ｍ，ｎ］におけるカラー・バンド毎のカラー値である。
【００５０】
テクスチャ値が各サブブロック上で決定された後、ステップ３３０において、カラー値が計算される。カラー値は、合成画像の一つより多くのカラー・バンドのカラー特性から得られる値である。一実施の形態において、カラー値は画像のカラー・ヒストグラムに関連付けられる。他の実施の形態において、カラー値は画像のカラー・コレログラムに関連付けられる。ステップ３３０において、カラー・ヒストグラムは、各サブブロックのバンド上で実行される。各カラー・バンドに対して一つずつ、三つのヒストグラムまでが、サブブロック毎に計算され得る。したがって、周波数領域においてＤＣＴを計算することによってスライドのテクスチャ特性を処理することに加えて、スライドのカラー特性もカラー・ヒストグラムを使用することによって計算される。画像のすべてのサブブロックに関するカラー・ヒストグラムが得られた後、ステップ３４０において、平均カラー・プロファイルが求められる。一実施の形態において、グループのすべてのスライドに対する各サブブロックに対するカラー・ヒストグラムの値を平均することによって、一グループのスライドに対する平均カラー・プロファイルが生成される。平均を求めた後、ステップ３５０において、サブブロック毎に値が得られる。一実施の形態において、カラー値およびテクスチャ値の重み付け平均を取ることによって、情報コンテンツ値が求められる。一実施の形態において、合成画像は個別のカラーと共に生成される場合が多いので、情報コンテンツ値のカラー値エレメントは、テクスチャ値よりも高く重み付けされ得る。一実施の形態において、カラー値は、平均カラー・プロファイルと各サブブロックに関する実際のカラー・ヒストグラムとの距離関数をとることによって求められ得る。
【００５１】
画像内の各サブブロックに関して情報コンテンツ値が求められた後、ステップ３５５において、方法３００のオペレーションが終了する。
【００５２】
「サブブロックのグルーピング」
サブブロックが決定され、情報コンテンツ値と関連付けられた後、サブブロックは、関心を有される領域（ＲＯＩ）にグルーピングされ得る。サブブロックをグルーピングする方法は、図４において方法４００として示される。方法４００は、スタート・ステップ４０５によって開始される。次に、ステップ４１０において、情報コンテンツ値は、サブブロック毎に二値化される。上記に説明されたように、情報コンテンツ値は、平均カラー・プロファイルと各合成画像に対する各サブブロックに対するカラー・ヒストグラム値との間の距離関数として得られる。情報コンテンツ値は、０または１いずれかの値に二値化される。一実施の形態において、一の標準偏差より上の値を有するサブブロックは、１にセットされ、残りのサブブロックは、０にセットされる。図５は、サブブロックへ分割され二値化された後の画像の例を示す。１に二値化されたブロックはブラックであり、残りのブロックはホワイトである。図示されているように、１に二値化されたブロックは、ブロック５１１、５１２、５２１、および５２２を含む。
【００５３】
二値化された後、ステップ４２０においてサブブロックはグルーピングされる。グルーピングは、所定範囲の情報コンテンツ値を有する隣接し合うサブブロックの「グループ」の形成を含む。一つの実施の形態において、グルーピングされる各ブロックに関するブロックの面積×所定のしきい値は、ブロックの交差部の面積より小さくてはならないし、連結されたブロックの濃度は、複数のブロックの平均濃度より高くてはならない。一つの実施の形態において、二値化されたサブブロックに関する範囲の値は１である。隣接するブロックは、辺や角を共有するブロックである。この処理は、グルーピングが作成されなくなるまで続けられる。図５において、本方法は、画像５００内に二つのグルーピングを生成した。このグループは、太線５１３で囲まれた大きなグループと太線５２３で囲まれた小さなグループを含む。性能改善のため、グルーピングに関しては、膨張浸食の標準のモーフォロジー操作が使用されることもある。しかしながら、本発明のグルーピング・システムはこれらの操作を必要としない。
【００５４】
サブブロックがグルーピングされた後、ステップ４３０において、主グループが決定される。一実施の形態において、主グループは、最大境界ボックス面積を有する画像内のグループである。次に、主グループの画像のＲＯＩが考慮される。実際の二値化されたグループに対応する画像の一部を選択するよりも、境界ボックスをＲＯＩとして選択することによって、より簡単な計算がもたらされる。最大の境界ボックスに対応する画像に大きく焦点を合わせた場合とは異なって、通常、小さな境界ボックスはランダム・ディテールを含む。主グループが選択された後、ステップ４３５において、方法４００の動作が終了する。
【００５５】
図６Ａ〜６Ｓは、本発明の方法３００および４００を用いてＲＯＩが決定されたスライド・セット６００を示す。図示されているように、スライドの各々は、スライドの残りの部分にグレーの陰影が付けられることによってハイライトされるＲＯＩを有する。
【００５６】
一実施の形態において、画像内に一つ以上の「関心が有される」ＲＯＩが発生する可能性がある。いくつかの場合において、非主グループは、「関心が有される」ＲＯＩに特に対応しないかもしれない。非主ＲＯＩを含むアプリケーションに関して、非主ＲＯＩを選択すべきか否かを解決する一つの方法は、ユーザ介入によるものである。本実施の形態において、ユーザに、複数のＲＯＩが提示され、ユーザが関心を有さないＲＯＩを該複数のＲＯＩから除いてもよい。すなわち、ステンドグラス・コラージュの場合は、まず、全てのＲＯＩが提示され、ユーザが適当でないＲＯＩを手動的に選択し取り除いてもよい。他の実現において、最小境界ボックス・サイズ等のしきい値に一致するＲＯＩがユーザ選択または除去のために提示され得る。
【００５７】
「ウェーブレットなどのスペクトル分解」
テクスチャ値を求めるために上述のようにＤＣＴ分解を使用することに加えて、本発明の他の実施の形態において、本発明の範囲を逸脱することがなければ、ウェーブレットおよびハール（Ｈａａｒ）分解などの他のスペクトル分解を使用することができる。例えば、ウェーブレットは、計算時間が長い割には、わずかに良好な画像の表示を提供できるにすぎない。また、ウェーブレットは、より複雑なアルゴリズムを必要とする。例えば、（ＪＰＥＧフォーマットにおけるＤＣＴのように）ウェーブレット・エンコーディングを使用するＪＰＥＧ２０００標準に関しては、上位の情報コンテンツのサブブロックを検出するためにウェーブレット分解を使用することも実行可能な方法である。
【００５８】
「画像のステンドグラス画像タイプ表示」
本発明のＲＯＩアルゴリズムは、米国特許出願第１０／８１５，３５４に開示されるようにステンドグラス・タイプの視覚化に使用され得る。目標は、合成画像セット内でＲＯＩを検出し、隙間のないレイアウトに凝縮することである。ステンドグラス効果は、領域間の空間を埋めるヴォロノイ（Ｖｏｒｏｎｏｉ）・ベースのアルゴリズムから現れる非矩形領域の境界から発揮される。ＰＤＡ（パーソナル・デジタル・アシスタント）および携帯電話の小型表示装置に関しては、画像の凝縮の結果として、隙間なく詰められた領域の人々、オブジェクト、および図形がより大きく示され、見やすくなる。より大きなディスプレイやプリントされたポスターに関しては、ステンドグラス・コラージュは、画像を表示するために美的に好ましい方法を提供する。例えば、図６Ａ〜図６ＳによるＲＯＩを用いるステンドグラス・コラージュ７００を図７に示す。
【００５９】
ステンドグラス・タイプの視覚化においてＲＯＩを提供するために、スライド・セットのうち、どのスライドを使用すべきかを決定するためのいくつかの方法が使用され得る。該方法には、均一なサブサンプリング、平均プロファイルからスコアを得るＲＯＩ、およびＧＳＡアルゴリズムが含まれる。均一なサブサンプリングは、三のスライド毎、などの均一な間隔において、または、他の数のスライド毎に、スライドのサンプルをとることを含む。平均プロファイルからスコアが得られるＲＯＩに基づいて、スライドを選ぶことは、ＲＯＩのサブブロックと平均的なカラー・プロファイルにおけるサブブロックとの間の差をとること、および、各ＲＯＩのスコアを得るために該差の値を加算すること、を含む。一番高いスコアを有するＲＯＩがステンドグラス視覚化に使用されることになる。ＧＳＡ（遺伝的セグメンテーション・アルゴリズム）方法は、セグメント・フェア・クロスオーバー・オペレーションを用いる、遺伝的セグメンテーション・アルゴリズムであってもよい。このタイプのＧＳＡは非特許文献１に開示されている。本明細書は非特許文献１の内容を含むものとする。
【００６０】
一実施の形態において、本発明は、テクスチャ特性およびカラー特性アプローチにもとづいて合成画像セットのサブブロックの情報コンテンツまたは圧縮度が解析される情報駆動型アプローチに基づき、合成画像内で「関心を有される領域（ＲＯＩ）」を検出するアルゴリズムを含む。一実施の形態において、ＤＣＴ（離散コサイン変換）が画像セットのテクスチャ特性を解析するために使用され、カラー・ヒストグラムが該画像セットのカラー特性を解析するために使用される。圧縮度の低いサブブロックは、一種のモーフォロジー（形態的）技術を用いて、ＲＯＩヘグルーピングされる。かなり用途が特定されるタイプのＲＯＩに対して適用される他のアルゴリズム（例えば、ＯＣＲ（光学式文字認識）テキスト検出）とは異なり、本発明の方法は、一般に、任意の合成画像に適用可能である。本発明は、ステンドグラス・コラージュ・プレゼンテーションを含むいくつかの他の画像アプリケーションと共に使用され得る。
【００６１】
本発明の他の特徴、態様、および目的は、図面および請求項を検討することによって得られる。本発明の他の実施の形態が開発されてもよく、該実施の形態が本発明および請求の範囲の精神および範囲を逸脱しないことが理解されよう。
【００６２】
上述された本発明の好ましい実施の形態についての説明は、例示および説明のみを目的としてなされているのであって、本発明のすべてを網羅すること、あるいは、本明細書中に開示された通りの形態に本発明を限定することを意図するものではない。多数の変更および変形が可能であることは当業者に明確である。実施の形態は、本発明の原則とその実践的な応用を最も良好に説明するために選択され記述されたものであり、他の当業者がこれによって考案される特別な用途に適した種々の変更を行いつつ、種々の実施の形態による本発明を理解することを可能とする。本発明の範囲は、請求の範囲およびそれらと同等のものによって規定されることを意図する。
【００６３】
具体的に設計された集積回路あるいは他の電子技術からなる実施の形態に加えて、本発明の種々の実施の形態は、コンピュータ技術における当業者に明確であるように、本発明の開示の教示によってプログラムされた従来の汎用または専用のデジタル・コンピュータまたはマイクロプロセッサを用いて好適に実現されてもよい。また、当業者に容易に理解されるように、本発明は、汎用または特定用途の集積回路の作成によって、および／または従来のコンポーネント回路の適切なネットワークを相互接続することによって、実現されてもよい。
【００６４】
本発明の種々の実施の形態は、本明細書中に提示された任意の機能を実行するために、コンピュータをプログラムするために使用され得るインストラクションを記憶した記憶媒体であるコンピュータ・プログラム・プロダクトを含む。この記憶媒体は、任意のタイプのディスクを含むことができるが、本発明はこれに限定はされるものではない。ディスクの種類には、フロッピー（登録商標）・ディスク、光学ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロ・ドライブおよび磁気光学ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュ・メモリ・デバイス、磁気的または光学的カード、ナノシステム（分子メモリＩＣを含む）、またはインストラクションおよび／またはデータの記憶に適する任意のタイプの複数の媒体またはデバイスを含むことができる。種々の実施の形態は、一つ以上のパブリック・ネットワークおよび／またはプライベート・ネットワークを介して転送され得るコンピュータ・プログラム・プロダクトを含み、ここで、転送は、本明細書中に提供される特徴のいずれかを実行するコンピュータ・デバイスをプログラムするために使用され得るインストラクションを含む。
【００６５】
コンピュータ可読媒体のいずれか一つに記憶された状態で、本発明は、汎用／専用コンピュータまたはマイクロプロセッサの両方のハードウェアをコントロールするとともに、本発明の結果を活用して、コンピュータまたはマイクロプロセッサがヒューマン・ユーザまたは他のメカニズムとインタラクションするのをイネーブルとするためのソフトウェアを含む。このようなソフトウェアは、デバイス・ドライバ、オペレーティング・システム、実行環境および／またはコンテナ、およびアプリケーションを含んでいてもよいが、本発明はこれに限定されるものではない。
【００６６】
本発明の教示を実現するためのソフトウェア・モジュールは、汎用／専用コンピュータまたはマイクロプロセッサのプログラミング（ソフトウェア）に含まれ、合成画像内の関心を有される領域を決定することを含むが、本発明はこれに限定されるものではない。
【００６７】
なお、特許明細書の開示内容の一部には、著作権保護を受けるべき事柄が含まれる。本著作権所有者は、特許庁の特許ファイルや記録データとして特許文献や特許開示のいずれかがファクシミリ複写されたとしても、これに異議を唱えない。しかしながら、これらの場合以外は、すべての著作権を保持する。
【図面の簡単な説明】
【００６８】
【図１】本発明の一実施の形態による合成画像内で関心を有される領域を決定する方法を示すフローチャートである。
【図２Ａ】本発明の一実施の形態による合成画像セットを示す図である。
【図２Ｂ】本発明の一実施の形態による合成画像セットを示す図である。
【図２Ｃ】本発明の一実施の形態による合成画像セットを示す図である。
【図２Ｄ】本発明の一実施の形態による合成画像セットを示す図である。
【図２Ｅ】本発明の一実施の形態による合成画像セットを示す図である。
【図２Ｆ】本発明の一実施の形態による合成画像セットを示す図である。
【図２Ｇ】本発明の一実施の形態による合成画像セットを示す図である。
【図２Ｈ】本発明の一実施の形態による合成画像セットを示す図である。
【図２Ｉ】本発明の一実施の形態による合成画像セットを示す図である。
【図２Ｊ】本発明の一実施の形態による合成画像セットを示す図である。
【図２Ｋ】本発明の一実施の形態による合成画像セットを示す図である。
【図２Ｌ】本発明の一実施の形態による合成画像セットを示す図である。
【図２Ｍ】本発明の一実施の形態による合成画像セットを示す図である。
【図２Ｎ】本発明の一実施の形態による合成画像セットを示す図である。
【図２Ｏ】本発明の一実施の形態による合成画像セットを示す図である。
【図２Ｐ】本発明の一実施の形態による合成画像セットを示す図である。
【図２Ｑ】本発明の一実施の形態による合成画像セットを示す図である。
【図２Ｒ】本発明の一実施の形態による合成画像セットを示す図である。
【図２Ｓ】本発明の一実施の形態による合成画像セットを示す図である。
【図３】本発明の一実施の形態による画像内でサブブロックを決定する方法を示すフローチャートである。
【図４】本発明の一実施の形態による関心を有される領域にサブブロックをグルーピングする方法を示すフローチャートである。
【図５】本発明の一実施の形態による画像の二値化されたブロックを示す図である。
【図６Ａ】本発明の一実施の形態による合成画像セットおよび該合成画像セットの対応する関心を有される領域を示す図である。
【図６Ｂ】本発明の一実施の形態による合成画像セットおよび該合成画像セットの対応する関心を有される領域を示す図である。
【図６Ｃ】本発明の一実施の形態による合成画像セットおよび該合成画像セットの対応する関心を有される領域を示す図である。
【図６Ｄ】本発明の一実施の形態による合成画像セットおよび該合成画像セットの対応する関心を有される領域を示す図である。
【図６Ｅ】本発明の一実施の形態による合成画像セットおよび該合成画像セットの対応する関心を有される領域を示す図である。
【図６Ｆ】本発明の一実施の形態による合成画像セットおよび該合成画像セットの対応する関心を有される領域を示す図である。
【図６Ｇ】本発明の一実施の形態による合成画像セットおよび該合成画像セットの対応する関心を有される領域を示す図である。
【図６Ｈ】本発明の一実施の形態による合成画像セットおよび該合成画像セットの対応する関心を有される領域を示す図である。
【図６Ｉ】本発明の一実施の形態による合成画像セットおよび該合成画像セットの対応する関心を有される領域を示す図である。
【図６Ｊ】本発明の一実施の形態による合成画像セットおよび該合成画像セットの対応する関心を有される領域を示す図である。
【図６Ｋ】本発明の一実施の形態による合成画像セットおよび該合成画像セットの対応する関心を有される領域を示す図である。
【図６Ｌ】本発明の一実施の形態による合成画像セットおよび該合成画像セットの対応する関心を有される領域を示す図である。
【図６Ｍ】本発明の一実施の形態による合成画像セットおよび該合成画像セットの対応する関心を有される領域を示す図である。
【図６Ｎ】本発明の一実施の形態による合成画像セットおよび該合成画像セットの対応する関心を有される領域を示す図である。
【図６Ｏ】本発明の一実施の形態による合成画像セットおよび該合成画像セットの対応する関心を有される領域を示す図である。
【図６Ｐ】本発明の一実施の形態による合成画像セットおよび該合成画像セットの対応する関心を有される領域を示す図である。
【図６Ｑ】本発明の一実施の形態による合成画像セットおよび該合成画像セットの対応する関心を有される領域を示す図である。
【図６Ｒ】本発明の一実施の形態による合成画像セットおよび該合成画像セットの対応する関心を有される領域を示す図である。
【図６Ｓ】本発明の一実施の形態による合成画像セットおよび該合成画像セットの対応する関心を有される領域を示す図である。
【図７】本発明の一実施の形態による合成画像のコラージュを示す図である。
【符号の説明】
【００６９】
２００  スライド・セット
５００  画像
５１１、５１２、５２１、５２２  ブロック
７００  ステンドグラス・コラージュ
【図１】
2006092556.tif 000005
【図２Ａ】
2006092556.tif 000006
【図２Ｂ】
2006092556.tif 000007
【図２Ｃ】
2006092556.tif 000008
【図２Ｄ】
2006092556.tif 000009
【図２Ｅ】
2006092556.tif 000010
【図２Ｆ】
2006092556.tif 000011
【図２Ｇ】
2006092556.tif 000012
【図２Ｈ】
2006092556.tif 000013
【図２Ｉ】
2006092556.tif 000014
【図２Ｊ】
2006092556.tif 000015
【図２Ｋ】
2006092556.tif 000016
【図２Ｌ】
2006092556.tif 000017
【図２Ｍ】
2006092556.tif 000018
【図２Ｎ】
2006092556.tif 000019
【図２Ｏ】
2006092556.tif 000020
【図２Ｐ】
2006092556.tif 000021
【図２Ｑ】
2006092556.tif 000022
【図２Ｒ】
2006092556.tif 000023
【図２Ｓ】
2006092556.tif 000024
【図３】
2006092556.tif 000025
【図４】
2006092556.tif 000026
【図５】
2006092556.tif 000027
【図６Ａ】
2006092556.tif 000028
【図６Ｂ】
2006092556.tif 000029
【図６Ｃ】
2006092556.tif 000030
【図６Ｄ】
2006092556.tif 000031
【図６Ｅ】
2006092556.tif 000032
【図６Ｆ】
2006092556.tif 000033
【図６Ｇ】
2006092556.tif 000034
【図６Ｈ】
2006092556.tif 000035
【図６Ｉ】
2006092556.tif 000036
【図６Ｊ】
2006092556.tif 000037
【図６Ｋ】
2006092556.tif 000038
【図６Ｌ】
2006092556.tif 000039
【図６Ｍ】
2006092556.tif 000040
【図６Ｎ】
2006092556.tif 000041
【図６Ｏ】
2006092556.tif 000042
【図６Ｐ】
2006092556.tif 000043
【図６Ｑ】
2006092556.tif 000044
【図６Ｒ】
2006092556.tif 000045
【図６Ｓ】
2006092556.tif 000046
【図７】
2006092556.tif 000047