(57)【特許請求の範囲】
【請求項１】
ディジタル画像内に、コンピュータにより自動的にテキストおよび／または図形的要素を配置する方法であって：
（ａ）前記テキストおよび／または図形的要素を配置するための候補領域を決定するために、前記ディジタル画像をコンピュータが分析するステップであって、候補領域マップを生成するために、前記ディジタル画像中の主対象の検出および／または空白部の検出に基づいて前記候補領域が特定されるところのステップと；
（ｂ）前記ディジタル画像と互換性のある要素階調画素マップを生成するために、前記テキストおよび／または図形的要素をコンピュータが変換するステップと；
（ｃ）ステップ（ａ）で検出された前記候補領域のうちの１つを、前記テキストおよび／または図形的要素を配置するための領域としてコンピュータにより選択するステップと、
を有し、
前記選択するステップは：
（ｃ１）ユーザにより選択された位置選択重み関数、またはデフォルトの位置選択重み関数を特定するステップと；
（ｃ２）前記候補領域マップの各々の画素の適合値を示す画素適合マップを生成するために、前記候補領域マップに前記位置選択重み関数を乗算するステップと；
（ｃ３）領域適合値を有する領域適合マップを生成するために、前記画素適合マップに亘って前記要素階調画素マップを畳み込むステップと；
（ｃ４）前記領域適合マップ内のピーク値を決定するステップと；
を有し、
当該方法は更に、
（ｄ）前記ピーク値に対応する位置に前記テキストおよび／または図形的要素をコンピュータにより配置するステップと；
（ｅ）前記配置されたテキストおよび／または図形的要素の、サイズおよび／または形状をコンピュータにより調整するステップと：
を有し、
前記調整するステップは、
（ｅ１）候補領域でない領域の画素を妨げている前記配置されたテキストおよび／または図形的要素の画素の割合を算出するステップと；
（ｅ２）前記妨げられた候補領域でない領域の画素の前記割合と、許容品質レベルを示す閾値とを比較するステップと；
（ｅ３）前記配置されたテキストおよび／または図形的要素の画素が非候補領域画素を妨げている場合、所定の規則を使って前記配置されたテキストおよび／または図形的要素の前記サイズおよび／または前記形状を変更するステップと；
を有する方法。
【請求項２】
前記畳み込みは、画素が間引かれた画素適合マップ、および、画素が間引かれた要素階調画素マップにおいて実行され、かつ、その後、画素が間引かれていない解像度によって、候補領域でない領域が前記要素によって妨げられている領域を最小化するために、前記ピークの位置周辺において、領域が広がったバージョンの前記要素階調画素マップを移動させ前記ステップ（ｃ３）および（ｃ４）の処理を行う位置改良ステップが実行される、請求項１記載の方法。
【請求項３】
一組の規則によって、結果として生成されるイメージの前記テキストおよび／または図形的要素の目立つことを強化するために、前記配置されたテキストおよび／または図形的要素を囲んでいる領域の色をコンピュータにより調整するステップ、を更に有する請求項１または２に記載の方法。
【請求項４】
前記色をコンピュータにより調整するステップは、前記領域と前記テキストおよび／または図形的要素との間のコントラストまたは混合における改善をするために、コンピュータにより前記配置されたテキストおよび／または図形的要素を囲んでいる前記領域内の前記画素を暗くしまたは明るくするステップ、を有する請求項３記載の方法。
【請求項５】
前記選択された位置に重ねられた前記要素を有する最終的に描かれた前記ディジタル画像を表示するステップ、を有する請求項３記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ディジタル画像処理及び、ディジタル画像理解の分野に関し、特に、画像内に図形的要素又は、テキストのようなアイテムを自動的に配置することに関する。
【０００２】
【従来の技術】
顧客は、絵葉書又は他の記念品の画像内に、テキストキャプションやソートバブルの組又は、図形的要素を配置する機会がある。現在では、ディジタル印刷キオスクやウェブサイトのようなこれらのサービスを提供する多くのシステムは、（画像コンテンツに関わらず）画像上の固定の位置又は、ユーザにより選択される位置の２つの選択肢をユーザに提供する。アイテムのサイズや色の選択も同様に制限される。しかし、システムがユーザに案内をを提供しないならば、選択は本質的には制限がない。他数の者にとっては、これは、決定するのに時間がかかる。ユーザの選択を制限することは、これらの処理を早くするが、しかし、選択がユーザの気に入らない場合には、ユーザをいらいらさせる。
【０００３】
１９９９年５月４日に発行された米国特許番号５，９０１，２４５は、画像の空白部分を検出する方法を開示する。方法は、ディジタル画像の活動度を決定するための活動度マップの生成を含み、そして、活動度マップのどの画素が閾値以下であるかを決定する。空白部は、所定の閾値以下の値を有する活動度マップの連接する画素として識別される。この方法は、画像中にテキストや図形的要素を含むのに適する画像内の領域を識別する。空白部の位置は、ユーザがアイテムを画像内で適切に配置する位置を見つけることの助けにならず、単なる空白領域の位置はユーザの気に入る空間の使用とならない。
【０００４】
【発明が解決しようとする課題】
従って、所定のディジタル画像内に望まれたアイテムを配置する更に完全に自動化された処理が要求される。特に、アイテムと、もし必要なら、周囲を美的に気に入る最終画像を生成するようにを描くこととが要求される。
【０００５】
【課題を解決するための手段】
本発明の目的は、上述の１つ又はそれ以上の問題を解決することである。簡単に説明すると、本発明の１つの特徴に従って、本発明は、ディジタル画像中に人間の理解できるアイテムを配置する方法であって、（ａ）アイテムを配置するために、ディジタル画像中の最適な位置を認識し且つ識別するためにディジタル的にディジタル画像を処理するステップと、（ｂ）ディジタル画像中の人間の理解できる画像コンテンツを隠すことを最小にするために、人間の理解できる画像コンテンツに関係するアイテムの配置を変更するステップとを有する。
【０００６】
最適位置の認識と識別は、ディジタル画像の空白領域を含む最適な領域を検出し、且つ最適な領域内の最適な位置を検出することを更に有する。アイテムの配置は、最適領域の他の領域又は、最適領域に隣接するディジタル画像の領域で、ディジタル画像中の人間の理解できる画像コンテンツを隠すことを最小にするために行われる。画像の配置の変更は、最適位置又は、最適領域のいずれかの外側の画素を妨げるアイテム内の画像画素の割合を推定することに基づいてもよい。本発明により処理される典型的なアイテムは、キャプション、テキスト又は、図形的要素を含む。
【０００７】
代わりに、本発明は、ディジタル画像の人間の理解できる画像コンテンツに関連するアイテムを顕著にするために、ディジタル画像中に人間の理解できるアイテムを配置する方法であって、（ａ）アイテムを配置するために、ディジタル画像中の最適な位置を認識し且つ識別するためにディジタル的にディジタル画像を処理するステップと、（ｂ）ディジタル画像のアイテムを顕著にするために、ディジタル画像の人間の理解できる画像コンテンツに関連するアイテムの１つ又はそれ以上の属性を変更するステップを有する。属性は、アイテムの色、サイズ又は、形状を含む。
【０００８】
本発明は、所定のディジタル画像内に配置される望まれたアイテムに関する位置、サイズ、及び色の組を自動的に選択できる優位点がる。美的に好まれ、それにより前記操作のためにユーザにより要求される時間と労力を削減する。
【０００９】
本発明のこれらの及び他の特徴、目的及び、優位点は、図を参照して、以下の好適な実施例の詳細な説明により更に明らかに理解され評価されよう。
【００１０】
【発明の実施の形態】
以下の説明では、本発明の実施例を、ソフトウェアプログラムとして説明する。当業者には、そのようなソフトウェアと等価なものは、ハードウェアで容易に構成されると認められる。画像操作アルゴリズム及びシステムは既知であるが、本説明は、特に、本発明に従った方法の一部として又は、直接的に共同して動作するアルゴリズム及びシステムに向けられている。ここで特に示されていない又は記載されていない、関連する画像信号を生成し及び処理するそのようなアルゴリズムとシステム及び、ハードウェア及び／又はソフトウェアの他の特徴は、従来知られたシステム、アルゴリズム、構成要素及び、要素から選択できる。以下の明細書の所定の記載、ソフトウェアの実効は従来のものでありそして、従来技術の範囲内である。
【００１１】
更に、コンピュータプログラムは、例えば、（フロッピーディスクのような）磁気ディスク又は磁気テープのような磁気蓄積媒体又は光ディスク、光テープ又は、機械の読み取り可能なバーコードのような光蓄積媒体、ランダムアクセスメモリ（ＲＡＭ）又は、読み出し専用メモリ（ＲＯＭ）のような固体電子蓄積媒体、又は、コンピュータプログラムそ蓄積するのに採用されている他の物理的な装置又は媒体のような、コンピュータ読出し可能な蓄積媒体に蓄積できる。本発明を説明する前に、本発明のパーソナルコンピュータのような既知のコンピュータシステムで使用するのが好ましいことに注意する。
【００１２】
最初に、本発明を実行するためのコンピュータシステム１１０を示す図５を参照する。コンピュータシステム１１０は、好適な実施例を説明するための目的で示されているが、本発明のコンピュータシステム１１０に制限されず、どのような電子的処理システムでも使用できる。コンピュータシステム１１０は、ソフトウェアプログラムを受信し処理し、且つ他の処理及び、機能を実行するマイクロプロセッサベースの装置１１２を含む。ディスプレイ１１４は、ソフトウェアに関連するユーザに関連する情報を表示するためにマイクロプロセッサベースの装置１１２に電子的に接続されている。キーボード１１６は、ユーザがソフトウェアに情報を入力するためにマイクロプロセッサベースの装置１１２に接続されている。入力のための、キーボード１１６の代わりに、既知のように、ディスプレイ１１４上でセレクタ１２０を動かし、かつセレクタ１２０に重なるアイテムを選択するために、マウス１１８も、使用できる。
【００１３】
コンパクトディスク読出し専用メモリ（ＣＤ−ＲＯＭ）１２２は、典型的には、ソフトウェアプログラムを含む、コンパクトディスク１２４を介して、ソフトウェアプログラムを受信し、且つソフトウェアプログラムへの入力手段を与えるために、マイクロプロセッサベースの装置１１２に接続されている。更に、フロッピーディスク１２６もソフトウェアプログラムを含み、そして、ソフトウェアを入力するためにマイクロプロセッサベースの装置１１２へ挿入される。更に、マイクロプロセッサベースの装置１１２は、従来技術で知られているように、内部にソフトウェアプログラムを蓄積するためにプログラムされる。マイクロプロセッサベースの装置１１２は、電話線、ローカルエリアネットワーク又は、インターネットのような外部ネットワークのようなネットワーク接続１２７を有する。プリンタ１２８は、コンピュータシステム１１０の出力のハードコピーを印刷するために、マイクロプロセッサベースの装置１１２に接続される。
【００１４】
画像は、カード１３０内に電子的に形成されたディジタル化された画像を有する（パーソナルコンピュータメモリーカードインターナショナルアソシエーションの仕様に基づく）ＰＣＭＣＩＡカードとして知られる、パーソナルコンピュータカード（ＰＣカード）１３０を介して、ディスプレイ１１４上に表示される。ＰＣカード１３０は、ディスプレイ１１４上に画像の視覚的な表示をするために、最後にマイクロプロセッサベースの装置１１２へ挿入される。画像は、コンパクトディスク１２４、フロッピーディスク１２６又は、１２７を介しても入力される。ＰＣカード１３０、フロッピーディスク１２６又は、コンピュータディスク１３４に蓄積された又は、１２７を介して入力された画像は、現場面を捕捉するディジタルカメラ（図示していない）、又は、銀円写真のようなもとの材料を走査するスキャナのような、種々の発生源から得られる。
【００１５】
本発明は、画像の空白部内に配置するのに好適な、キャプション、テキスト又は、画像要素のような人間の理解できるアイテムを扱う方法に関する。キャプションは、”誕生パーティ”のようなタイトルを含む。テキストは、パーティ参加者の氏名のような記述を含み、一方、図形的要素は、（例えば、バースデーキャンドルのような）ディジタルアイコン又は漫画、ロゴ、ソートバブル（内部にテキストを含む）及び、同様なものを含む。そのような人間が理解できるキャプション、テキスト、及び、図形要素は、本記載及び、請求項の中で”アイテム”と呼ばれる。”空白部”は、ここでは、（カラー画像に対しては）滑らかに色が変化する画像の隣接する領域又は、（モノクローム画像では）滑らかに濃度が変化する画像の隣接する領域として定義される。これの例としては、明るい青空、砂浜、又は、内部の壁や天井である。草原や水のような中間的にテクスチャのある領域は、空白部とも考えることができる。これらの空白部は、しばしば、最小にしか画像コンテンツ又は、情報を隠さないアイテムの位置として最適である。
【００１６】
画像の領域内に、そのような人間の理解できるアイテムを自動的に配置する処理に関連する幾つかの活動がある。アイテムは画素マップに表現される。アイテムの配置に好適な画像の領域は、識別される。識別された領域に、所定の位置にアイテムを配置する相対値の指示を提供する適合関数が適用される。特に、関心は、ディジタル画像中の人間の理解できる画像コンテンツがアイテムの配置によりどの程度隠されるかである。アイテムに色が選択され、そして、アイテムは画像に表現される。これらの活動は、所定のディジタル画像に望まれるアイテムを効果的に自動的に配置する重要な幾つかの段階に減少できる。図１を参照すると、ステップ１０で、画像内に配置されるべき画像とアイテムは、コンピュータ１１０へ入力された後、ステップ２０で、アイテムを配置するのに最適な領域又は、領域内の位置が確立される。第２の段階３０では、アイテムのサイズ及び／又は形状は、選択された最適な領域内の選択された最適な位置に最適に配置するために、特に画像内の人間の理解できる画像コンテンツを隠すのを最小にするために、適応される。（人間の目に見えるコンテンツの最小の障害は、隣接領域内に特定の人間の理解できる画像コンテンツの存在を実際に認識ことを有すること無しに、画像の隣接する位置又は領域に重なることを抑える可能な範囲に保つことにより達成できることに注意する。）最後の段階４０では、例えば、色のようなアイテムのある属性、又は、アイテムのまわりの隣接する領域に対して、結果の画像からアイテムを顕著にするために調整が行われる。
【００１７】
段階１：アイテムの配置のための、最適な領域及び最適な位置の選択
第１の段階２０では、入力画像は、アイテムの配置のための最適な領域又は、（最適な領域内の）最適な位置を認識するために自動的に分析される。そのような領域を認識するために、入力画像は最初にステップ２２で、重要な又は、価値のある画像コンテンツを有さない大きな隣接する領域を識別するために分析される。そのような領域は、候補領域内にある（画像コンテンツに関して重要でも貴重でもない）画像画素に重なり且つ妨げとなるアイテムの配置のための候補領域と考えられる。好適な実施例に従って、候補領域を識別するのに使用され得る幾つかの既知の方法がある。第１の方法に従って、入力画像は、前述の米国特許番号５，９０１，２４５に記載された方法及びアルゴリズムを使用して、画像の大きなサイズの空白部を検出するために分析される。そのような空白領域は更に、妨げられたり隠されたりすべきでない又は、アイテムを配置するのに適しない画像コンテンツを示すサイズ、形状及び、色のような特徴に従って、幾つかの領域を除外するために処理される。例えば、肉色領域又は、小領域は、アイテム位置としての更なる考慮から除外されうる。
【００１８】
候補領域を識別する第２の方法では、主対象を有しない大きなサイズの隣接領域を識別するために分析される。これは、１９９８年１２月３１日に出願された米国特許出願番号０９／２２３，８６０に記載されているような、主対象検出アルゴリズムを採用することにより達成される。図２は、その特許出願に採用された主対象検出アルゴリズムの概略のブロック図を示す。最初にステップ５０で、自然画の入力画像が、ディジタル形式で取得され蓄積される。そして、画像はステップ５２で、均一の特性を有する幾つかの領域にセグメント化される。領域セグメントは、ステップ５４で、意図の無い知覚的なグループ化を通して、同様な手段に基づいて、より大きな領域へグループ化される。そして、更に、ステップ５６で意図のあるグループ化を通して（意図のあるグループ化は特定の物に関係する）、知覚的に一貫した物に対応する大きな領域にグループ化される。意図の無い知覚的なグループ化は、例えば、長い距離に亘ってかなり輝度が減少するテーブル又は壁のような、大きな輝度差によりる分割全面を削除する。意図のある知覚的なグループ化は、一般的には、同じ物体の部分の間の連結の滑らかな、一致しない結合及び、特定の場合には、（例えば、頭とトルソと手足を有する人のような）典型的な物体のモデルである。
【００１９】
領域は、ステップ５８で、２つの独立した相補的な形式の突出特徴−構造的な突出特徴と、意味上の突出特徴を使用して、その突出度が評価される。低レベル早期視覚特徴の組と幾何学的特徴の組を含む構造的な突出特徴は、ステップ５８ａで抽出され、更に自己突出特徴の組と相互突出特徴の組を生成するために処理される。前景（例えば人物）又は、背景（例えば、空、草原）のいずれかの部分でありそうな、重要な主題の形式の意味上の突出特徴は、シーンの状況の手がかりと意味上の手がかりを与えるために、ステップ５８ｂで検出される。本出願では、低レベル早期視覚特徴は色、輝度及び、テクスチャを含む。幾何学的特徴は、位置（中心性）、サイズ、形状及び、対称性を含む。意味上の特徴は、肉、顔、空、草及び、緑の植物等を含む。意味的な及び、構造的な形式の両方の形跡は、ステップ６０で、ステップ６２で主対象の最終的な信頼性マップを生じるためにベイズネット（Ｂａｙｅｓ  ｎｅｔ）に基づた推論エンジンを使用して、統合される。
【００２０】
候補領域を識別する前述の両方法は、所定の画像の候補領域と非候補領域を含む例えば、それぞれの領域に割り当てられた１と０を有する２値マップに戻る。第３の方法は、前述の認識された両方法を採用し、論理的に、それぞれの方法の出力を論理積（ＡＮＤ）するのようなブーリアン演算子で、結果を（２値マップを）結合する。この方法では、サイズ、形状及び、色のような特徴に基づいて、幾つかの領域を上述のように除外するための空白部マップの更なる処理が不用である。どの方法が採用されても、候補領域の２値マップは、ここで、候補領域マップと呼ばれる。
【００２１】
望まれたアイテムを最適な候補領域に重ねるための準備では、望まれたアイテムを、ステップ２４で、ディジタル画像と同様なフォーマットに変換する必要がある。例えば、ＡＳＣＩＩテキストは、適切なタイプフェースで得ることが必要であり、また、画素マップを生成する解像度はディジタル画像と互換性がなければならない。グラフィック要素は、同様に画素マップで描かれ、又は、ディジタル画像と互換性のある大きさにスケーリングされねばならない。この変換は、ステップ２４で、通常はアルファチャネルと呼ばれる、階調画素マップを生じる。各画素の階調値は、表されている物体の画素に対応する不透明度を示す。アルファチャネル表現は、画像物体内のどの画素がディジタル画像に重ねられるか及び、どの程度、下の画像を隠すかを示す。
【００２２】
ステップ２６では、検出された候補領域の１つは、望まれるアイテムの配置のための最適領域として、図３及び図４に示される以下の基準と処理に基づいて、選択される。ステップ２６ｂでは、ユーザは配置の一般的位置の選択を示し得る。例えば、ユーザは、アイテムが画像の中心から離れて又は、１つの角の近くに配置されることを規定ても良い。そのようにする場合には、ステップ２６ａで、ユーザにより、規定された位置の選択に対応する階調重み関数が、選択されうる。ステップ２６ｂで、ユーザが位置の選択を表さない場合には、システムにより、デフォルト位置選択と関連する重み関数がステップ２６ｂで選択される。ステップ２６ｄで、２値の候補領域マップは階調重み関数がかけられ、画素適合マップを生成する。このマップは、各画素がその配置にどの程度適合するかを示す。好適な実施例では、画素の適合値（例えば、輝度）が高いほど、その配置に適していると考えられる。
【００２３】
最適な候補領域とアイテムの位置を見つけつるための１つのアプローチは、ステップ２６ｅで、領域適合マップを得るために、画素適合マップに亘って、表されたアイテムアルファチャネル表現を畳み込むことにより見つけられる。領域適合マップ内の各画素での領域適合値は、アイテムがその位置に配置されたときの、アイテムにより被われる画素適合値の和である。最も良いアイテム位置を示す領域適合マップ内のピーク値は、ステップ２６ｆで見つけられる。しかし、適度な大きさのアイテムでも、畳み込み動作は、計算的に高価であり、そして、アプリケーションが利用できる処理能力に依存する。以下のように、省略が必要とされる。
【００２４】
全サイズの画素適合マップに亘って、アイテムのアルファチャネル表現を畳み込む代わりに、ステップ２６ｇで、画素適合マップとアルファチャネル表現は、更に小さく計算的に扱いやすい対応する表現を生成するために同じ規模に、間引かれる。ステップ２６ｈで、最適なアイテム位置の粗い近似を得るために、この減少された解像度で、たたみこみ演算が行われ、そして、ピーク値がステップ２６ｉで配置される。間引き処理により、画素適合マップと物体のアルファ表現の詳細は失われるので、最適位置のこの粗い近似は、全解像度に改良される必要がある。
【００２５】
一旦初期位置が選択されると、粗いマップは捨てられる。この初期位置は、ステップ２６ｊで、アイテムにより（好適でない）非候補領域を妨げることを最小にするために、全解像度に改良される。非候補領域の画素に隣接してアイテムを配置することを避けるために、形態的に横に広がったアイテムアルファチャネルが発生される。この横に広がったアルファチャネルは、初期位置に配置され、そして、最良の位置を見つけるために、初期位置の領域の周りに移動される。この最適検索は、畳み込みを通して、又は、相関によるグラディエントに基づくブロック一致と同様な方法で、アルファチャネル表現を繰返し移動することにより行われる。（１９９９２年にＡｄｄｉｓｏｎ−Ｗｅｓｌｅｙ
【００２６】
【外１】
0004643812.tif 000002
より出版された、Ｇｏｎｚａｌｅｓ及びＷｏｏｄによる、”ディジタル画像処理”の第９．３．１章５８３頁から５８６ページを参照する。）ステップ２６ｋでは、ユーザは、次の最良の位置又は、画像の他の好みの部分の他の好適な位置を要求する選択ができる。一旦位置が決定すると、位置は、サイズの拡張を考慮して、補正され、オリジナルアイテムマスクが配置される。
【００２７】
段階２：アイテムのサイズ及び形状の容認又は変更
ある場合には、アイテムは、最適な領域のある位置に最適に適合し、そして、更に最適位置を超えて、又は、その最適領域を越えて伸び、そして、潜在的に最適領域の他の領域又は最適領域に隣接するディジタル画像の領域の人間が理解できるコンテンツを隠す。これは、例えば、ディジタル画像が特定のアイテムを配置するのに十分な大きさの空白領域を有しない場合に発生し得る。従って、第２段階３０では、アイテムは、サイズと形状を調整することにより、選択された最適領域内の選択された最適位置で、配置が適合される。アイテムのサイズと形状を調整するために、選択された位置の品質は、アイテムにより隠されるべきでない人間の理解できる画像コンテンツを含みうる非候補領域の画素を妨げるアイテム内の画素の割合を計算することにより、ステップ３２で測定される。隠された非候補領域の画素の割合は、ステップ３４で、許容品質レベルを示す、閾値と比較される。ステップ３４で適合の品質が不充分であると見なされたときには、そして、隠された非候補領域の画素の物理的分布が、適合は、サイズ及び／又は画像の形状を変更することにより改良され得ることを示す場合には、ステップ３６で、選択された画像領域により適合するような方法で、アイテムは変形される。例えば、アイテムは小さくされ、又は、アイテムがテキストの場合には、テキストは２つ又はそれ以上の行に分割される。
【００２８】
好適な実施例では、所定の規則の組がアイテムの変形に採用される。グラフィックアイテムの画素の５％以上が非候補領域画素を妨げ、且つ、アイテムの周辺に沿って、他数の妨げられた画素が発生したなら、アイテムは適切なアスペクト比を保ってサイズが３％縮小される。同様にテキストキャプションは、縮小したフォントサイズで表示される。テキストキャプションが長く、そして、それにより低い適合品質を示す単語を含む場合には、キャプションは２つ又はそれ以上の行に分割される。キャプションが複数の行に分割されるように、変形がアイテムの大きな変化となる場合には、処理はステップ２６に戻る。
【００２９】
段階３：配置されたアイテムを顕著にするための色の選択と調整
アイテムが色のついた図形要素の場合には、色を変えること無しに画像に重ねられる。代わりに、画像が単にアルファチャネルより成る場合には、又は、色が割り当てられている図形要素内の幾つかの領域を含む場合には、アイテムの色又はアイテムの領域はシステムにより自動的に選択される。
【００３０】
アイテムの色は、例えば、ステップ１０で、ユーザにより随意に選択されるか又は、後続の段階で自動的に選択される。アイテムの色が自動的に選択された場合には、アイテムが配置されている選択された画像領域と対比して、色が選択される。色は、アイテム配置領域の外側の画像で使用される支配的な色と同様にデフォルト色を含むカラーパレットから選択されるか又は、アイテム配置領域内で使用される支配的な色を考慮して得られる。自動色選択処理は、アイテムが配置される選択された領域で最も高いコントラストを得られるように選択するのが好ましい。適合されかつ色が付されたアイテムはステップ４４で、選択された領域の選択された最も良い位置に配置される。
【００３１】
好適な実施例では、色選択は、以下のステップよりなる。アイテム配置位置のまわりの領域と、全画像領域の色のヒストグラムが構成される。全画像ヒストグラム内で表される支配的な色は、候補色として識別される。アイテム配置位置の周りの領域のヒストグラム内の支配的な候補色は、捨てられる。適切な輝度コントラストをアイテム配置領域に提供しない候補色も同様に捨てられる。残りの候補は、色相によりグループ化され、そして、全てのしかし最も高く飽和した各グループのメンバは捨てられる。残りの候補はデフォルト色のリストに加えられる。周囲の領域に最も高いコントラストを与える色が選択され、残りの候補はユーザ選択の選択肢として残される。
【００３２】
第３段階４０では、アイテムが配置された後に、結果の画像に配置されたアイテムを顕著にするために、アイテムを囲む領域の色がステップ４２で調整される。このために、規則の組が使用される。例えば、アイテムの周りの領域内の多数の画素が、アイテムの色と一致又は、同様な色である場合には、アイテムの周りの領域内の画素は、コントラスト又は混合を改善するために、暗くされ又は明るくされ得る。配置領域が非候補領域に属する非常に多くの画素を有する場合には、同様に、アイテムの周りの領域は、暗くされ又は明るくされ得る。
【００３３】
選択された空白部領域にアイテムが重ねられて最終的に描かれた画像は、ステップ４４で、承認のためにディスプレイ（図３及び図４参照）を介して、ユーザに提示される。ユーザがステップ４６で承認を示すときには、ジョブは行われ、そうでない場合には、ユーザの受け入れられる方法でアイテムが描かれ重ねられるまで、ユーザ調整ステップを通して繰り返される。図１には、２つの可能性が示されている。アイテムの色が受け入れられないならば、ユーザはステップ４８で他の色選択を行っても良く、処理はステップ４４に戻り、ユーザにカラーパレットが提示され、そして、ステップは受け入れられる色が見つかるまで先に進む。サイズ及び／又は形状又は、重ね合わせの選択された位置が受け入れられないならば、処理はステップ２４に戻り、アイテムは再び重ね合わせの準備のために変形される。このような状況では、ユーザは、ユーザ調整ステップ４８で、サイズ又はタイプフェースと所定の空白領域のような、特定の再優先の考慮、を与えることを望んでもよい。処理は、満足の行く結果が得られるまで繰り返される。
【００３４】
本発明の主題はディジタル画像理解技術に関する。本発明は、好適な実施例を用いて説明した。しかし、当業者には種々の変更や変形が、本発明の範囲を離れること無く行われることは理解できる。
【００３５】
【発明の効果】
本発明によって、所定のディジタル画像内に望まれたアイテムを配置する完全に自動化された処理を提供できる。
【図面の簡単な説明】
【図１】本発明に従って、ディジタル画像内でテキスト又は図形的要素を自動的に配置し、サイズを変更し及び、色を付するのに関連するステップを示す図である。
【図２】本発明に従って、アイテムの位置を決めるための候補領域として使用される、主な対象を含まない画像内の大きなサイズの隣接する領域決定する方法を示す図である。
【図３】本発明に従って、アイテムの位置を決めるための最適な候補領域を決定する方法を示す図である。
【図４】本発明に従って、アイテムの位置を決めるための最適な候補領域を決定する方法を示す図である。
【図５】本発明を実施するためのコンピュータシステムの斜視図である。
【符号の説明】
１０  入力ステップ
２０  第１段階
２２  領域位置決めステップ
２４  ビットマップ変換ステップ
２６  最適選択ステップ
２６ａ  重み関数選択
２６ｂ  位置選択ステップ
２６ｃ  デフォルト選択ステップ
２６ｄ  乗算ステップ
２６ｅ  畳み込みステップ
２６ｆ  ピーク値ステップ
２６ｇ  間引きステップ
２６ｈ  畳み込みステップ
２６ｉ  ピーク値ステップ
２６ｊ  改良ステップ
２６ｋ  選択ステップ
３０  第２段階
３２  品質測定ステップ
３４  品質決定ステップ
３６  変形ステップ
４０  第３段階
４２  色決定ステップ
４４  重ね合わせステップ
４６  承認ステップ
４８  ユーザ調整ステップ
５０  画像取得ステップ
５２  セグメント化ステップ
５４  意図の無いグループ化ステップ
５６  意図のあるグループ化ステップ
５８  突出ステップ
５８ａ  構造抽出ステップ
５８ｂ  意味特徴抽出ステップ
６０  推論エンジン
６２  信頼性マップ
１１０  コンピュータシステム
１１２  マイクロプロセッサベースの装置
１１４  ディスプレイ
１１６  キーボード
１１８  マウス
１２０  セレクタ
１２４  ＣＤ
１２６  フロッピーディスク
１２７  ネットワーク接続
１２８  プリンタ
１３０  ＰＣカード
【図１】
0004643812.tif 000003
【図２】
0004643812.tif 000004
【図３】
0004643812.tif 000005
【図４】
0004643812.tif 000006
【図５】
0004643812.tif 000007