(57)【特許請求の範囲】
【請求項１】
画像内における空間コヒーレント関連色の生起頻度を示す画像色ヒストグラムを、前記画像内における複数の空間コヒーレント色クラスタに基づき且つプロセッサを用いて形成するステップであって、前記空間コヒーレント色クラスタは、前記画像内において空間的に隣接する類似して色付けられた画素のグループである、ステップ；
画像観察者にとって可視的となる程度に高い生起頻度を前記画像において有する画像色を、前記画像色ヒストグラムから前記プロセッサが選択するステップ；
前記選択された画像色を有する又は前記選択された画像色に対する補色を有する画像関連物を前記プロセッサが選択するステップであって、前記画像関連物を選択する動作は：
前記画像関連物における空間コヒーレント関連色の生起頻度を示す画像関連物色ヒストグラムを、前記画像関連物内における複数の空間コヒーレント色クラスタに基づき形成する動作であり、前記画像関連物内における前記空間コヒーレント色クラスタは、前記画像関連物内において空間的に隣接する類似して色付けられた画素のグループである、動作と、
画像観察者にとって可視的となる程度に高い生起頻度を前記画像関連物において有する画像関連物色を、前記画像関連物色ヒストグラムから選択する動作と、
前記選択された画像関連物色と前記選択された画像色とをマッチングさせる動作と、を含む、ステップ；および、
前記プロセッサが、前記画像と前記画像関連物を結合させるステップ；
を具備する方法。
【請求項２】
前記選択された画像色または前記画像色ヒストグラムから選択された別の画像色を有し、あるいは前記選択された画像色または前記画像色ヒストグラムから選択された別の画像色に対する補色を有する複数の画像関連物を選択するステップ、をさらに具備する請求項１記載の方法。
【請求項３】
前記複数の画像関連物又は前記複数の画像関連物の表象を提示するステップ、をさらに具備する請求項２記載の方法。
【請求項４】
前記複数の画像関連物又は前記複数の画像関連物の表象をある順序において提示するステップ、をさらに具備する請求項３記載の方法。
【請求項５】
前記複数の画像関連物の各々と前記画像とについてのマッチングの度合いを算出し、前記マッチングの度合いに基づいて前記順序を定めるステップ、をさらに具備する請求項４記載の方法。
【請求項６】
前記画像関連物は、高い生起頻度を有する複数の画像色を含む、請求項１記載の方法。
【請求項７】
前記画像関連物は、高い生起頻度を有する画像色に対する複数の補色を含む、請求項１記載の方法。
【請求項８】
前記画像関連物は、中性色と選択された画像色との双方を有する、請求項１記載の方法。
【請求項９】
前記画像関連物は、前記画像色が選択された後に構築される、請求項１記載の方法。
【請求項１０】
前記画像はディジタル画像であり、該ディジタル画像は、前記画像関連物にディジタル的に合成され、前記画像関連物と共に構築される、請求項１記載の方法。
【請求項１１】
前記画像の縁又は境界付近に存在しない空間コヒーレント色クラスタの色が優先的に選択されて、前記画像関連物に含まれる色との衝突または混合を防ぐ、請求項１記載の方法。
【請求項１２】
第２の画像内における空間コヒーレント関連色における画像色の生起頻度を示す第２の画像色ヒストグラムを、前記第２の画像内における複数の空間コヒーレント色クラスタに基づき形成するステップであって、前記空間コヒーレント色クラスタは、前記第２の画像内において空間的に隣接する類似して色付けられた画素のグループであり、前記第２の画像内における前記空間コヒーレント色クラスタの空間的最小サイズは、前記第２の画像に相応の目視距離において前記第２の画像から知覚されるサイズである、ステップと、
画像観察者にとって可視的となる程度に高い生起頻度を前記第２の画像において有する第２の画像色を、前記第２の画像色ヒストグラムから選択するステップと、
前記画像及び前記第２の画像の双方からの前記選択された画像色及び前記選択された第２の画像色の双方から共通色又は補色を選択するステップと、
前記共通色又は補色を自身の中に有する画像関連物を選択するステップと、
前記画像、前記第２の画像及び前記画像関連物を結合させるステップと、
をさらに具備する請求項１記載の方法。
【請求項１３】
画像に画像関連物を結合させる方法であって、
画像内における空間コヒーレント関連色における画像色の生起頻度を示す画像色ヒストグラムを、前記画像内における複数の空間コヒーレント色クラスタに基づき且つプロセッサを用いて形成するステップであって、前記空間コヒーレント色クラスタは、前記画像内において空間的に隣接する類似して色付けられた画素のグループである、ステップ；
画像観察者にとって可視的となる程度に高い生起頻度を前記画像において有する画像色を、前記画像色ヒストグラムから前記プロセッサが選択するステップ；
前記選択された画像色を有する又は前記選択された画像色に対する補色を有する画像関連物を前記プロセッサが選択するステップ；および、
前記プロセッサが、前記画像と前記画像関連物を結合させるステップ；
を具備し、前記画像関連物は、前記選択された画像色の一つ以上の領域内または前記選択された画像色に対する補色の一つ以上の領域内における模様を含むように選択され又は構築される、方法。
【請求項１４】
前記空間コヒーレント色クラスタは、前記画像における画素間の空間的距離を色距離と共に計測することによって特定される、請求項１記載の方法。
【請求項１５】
前記空間コヒーレント色クラスタは、色セグメンテーションによって特定される、請求項１記載の方法。
【請求項１６】
前記マッチングは、リストにおいて順序付けられる、請求項１記載の方法。
【請求項１７】
前記画像の主被写体を特定するステップと、前記主被写体に含まれる、肌色でない色を選択するステップと、をさらに具備する請求項１記載の方法。
【請求項１８】
前記画像関連物は、写真フレーム、アルバムカバー、マグカップ、カレンダページ、台紙またはページ枠である、請求項１記載の方法。
【請求項１９】
画像を含んだ画像ファイルを受信するように構成されたインターフェース；
前記画像ファイルを記憶するように構成されたメモリ；および、
プロセッサ；
を具備するシステムであって、前記プロセッサは：
前記画像内における空間コヒーレント関連色における画像色の生起頻度を示す画像色ヒストグラムを、前記画像内における複数の空間コヒーレント色クラスタに基づいて形成するステップであって、前記空間コヒーレント色クラスタは、前記画像内において空間的に隣接する類似して色付けられた画素のグループである、ステップ；
画像観察者にとって可視的となる程度に高い生起頻度を前記画像において有する画像色を、前記画像色ヒストグラムから選択するステップ；
前記選択された画像色を有する又は前記選択された画像色に対する補色を有する画像関連物を選択するステップであって、前記画像関連物を選択する動作は：
前記画像関連物における空間コヒーレント関連色の生起頻度を示す画像関連物色ヒストグラムを、前記画像関連物内における複数の空間コヒーレント色クラスタに基づき形成する動作であり、前記画像関連物内における前記空間コヒーレント色クラスタは、前記画像関連物内において空間的に隣接する類似して色付けられた画素のグループである、動作と、
画像観察者にとって可視的となる程度に高い生起頻度を前記画像関連物において有する画像関連物色を、前記画像関連物色ヒストグラムから選択する動作と、
前記選択された画像関連物色と前記選択された画像色とをマッチングさせる動作と、を含む、ステップ；および、
前記画像と前記画像関連物を結合させるステップ；
を実行するように構成されている、システム。
【請求項２０】
画像を含んだ画像ファイルを受信するように構成されたインターフェース；
前記画像ファイルを記憶するように構成されたメモリ；および、
プロセッサ；
を具備するシステムであって、前記プロセッサは：
前記画像内における空間コヒーレント関連色における画像色の生起頻度を示す画像色ヒストグラムを、前記画像内における複数の空間コヒーレント色クラスタに基づいて形成するステップであって、前記空間コヒーレント色クラスタは、前記画像内において空間的に隣接する類似して色付けられた画素のグループである、ステップ；
画像観察者にとって可視的となる程度に高い生起頻度を前記画像において有する画像色を、前記画像色ヒストグラムから選択するステップ；および
前記選択された画像色を有する又は前記選択された画像色に対する補色を有する画像関連物を選択するステップ；
を実行するように構成されており、
前記画像関連物は、前記選択された画像色の一つ以上の領域内または前記選択された画像色に対する補色の一つ以上の領域内における模様を含むように選択され又は構築される、システム。
【請求項２１】
命令コードを記録した記憶装置であって、前記命令コードは、コンピューティング装置によって実行されると、
画像内における空間コヒーレント関連色の生起頻度を示す画像色ヒストグラムを、前記画像内における複数の空間コヒーレント色クラスタに基づいて形成するステップであって、前記空間コヒーレント色クラスタは、前記画像内において空間的に隣接する類似して色付けられた画素のグループである、ステップ；
画像観察者にとって可視的となる程度に高い生起頻度を前記画像において有する画像色を、前記画像色ヒストグラムから選択するステップ；
前記選択された画像色を有する又は前記選択された画像色に対する補色を有する画像関連物を選択するステップであって、前記画像関連物を選択する動作は：
前記画像関連物における空間コヒーレント関連色の生起頻度を示す画像関連物色ヒストグラムを、前記画像関連物内における複数の空間コヒーレント色クラスタに基づき形成する動作であり、前記画像関連物内における前記空間コヒーレント色クラスタは、前記画像関連物内において空間的に隣接する類似して色付けられた画素のグループである、動作と、
画像観察者にとって可視的となる程度に高い生起頻度を前記画像関連物において有する画像関連物色を、前記画像関連物色ヒストグラムから選択する動作と、
前記選択された画像関連物色と前記選択された画像色とをマッチングさせる動作と、を含む、ステップ；および、
前記画像と前記画像関連物を結合させるステップ；
を具備する処理を前記コンピューティング装置に実行させる、記憶装置。
【請求項２２】
命令コードを記録した記憶装置であって、前記命令コードは、コンピューティング装置によって実行されると、
画像内における空間コヒーレント関連色における画像色の生起頻度を示す画像色ヒストグラムを、前記画像内における複数の空間コヒーレント色クラスタに基づいて形成するステップであって、前記空間コヒーレント色クラスタは、前記画像内において空間的に隣接する類似して色付けられた画素のグループである、ステップ；
画像観察者にとって可視的となる程度に高い生起頻度を前記画像において有する画像色を、前記画像色ヒストグラムから選択するステップ；
前記選択された画像色を有する又は前記選択された画像色に対する補色を有する画像関連物を選択するステップ；および、
前記画像と前記画像関連物を結合させるステップ；
を具備する処理を前記コンピューティング装置に実行させ、
前記画像関連物は、前記選択された画像色の一つ以上の領域内または前記選択された画像色に対する補色の一つ以上の領域内における模様を含むように選択され又は構築される、記憶装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に画像関連物を結合させることで美的調和を高める方法に関する。
【背景技術】
【０００２】
画像が組み込まれた品々は記念品や贈呈品として世人に人気がある。そうした品には、個人的に撮影された写真が、その写真が引き立つように或いは保存できるように組み込みたいものである。そうした品の例としては写真アルバム、ポスタ、カレンダ、マグカップ、装身具、マウスパッド、葉書等がある。画像の引き立て方としては、画像処理によってその画像のコンテンツを修正し見た目の質や値打ちを高める等、幾通りかの手法を使用可能である。画像を他の画像と結合させること、例えば背景画像付のテンプレートに設けられた１個又は複数個の画像配置孔に物理的に又はコンピュータ上の処理でユーザ手持ちの画像を組み込むことで、その画像が喜ばしい又は望ましいかたちで引き立つ結合画像を得ることができる。
【０００３】
ただ、ユーザ手持ちの画像を出来合いの画像関連物例えばテンプレートとうまく結合させられないこともある。例えば、未校正ディスプレイの画面上や人工照明下では、人の目で色を正確に識別できないため、画像・テンプレート間で色を見目よく整合させるのが難しい。即ち、出来合いのテンプレートに相応の画像を結合させて美しい結合画像を得るのが難しい。色を整合させるのが苦手な人や、色整合その他の画像関連物選定を実行し手持ちの画像を補う作業を嫌う人もいる。更に、単純な色選択では望ましくない結果にもつながりうる。例えば、画像の平均色は、カラフルな画像でもグレイになることが多い。そのため、画像の平均色に整合する色の画像関連物を選択すると、グレイの画像関連物が選択されることが多くなる。そうした中性色を好む人もいるが、もっと美的訴求力があるカラフルな画像関連物を好む人もいる。
【０００４】
これらの問題のうち幾つかについては従来から対策が提案されている。例えば、特許文献８（名称：スクラップブックで使用可能な縁取り付画像を生成する方法(Method  of  Producing  a  Matted  Image  Usable  in  a  Scrapbook)）には、スクラップブックで使用可能な縁取り付画像を生成する方法が記載されている。この方法では、ディジタル画像を画像配置孔及びそれを取り巻く縁取りエリアと共に表示させる。ユーザは、複数通り提示される候補色のなかから、縁取りエリアで使用される色を随意に指定しうる。提示される候補色はディジタル画像の解析を通じ決定されるので、縁取りの色がディジタル画像の色に整合しやすくなる。反面、画像内に頻出する色がそのまま候補色になるため受け入れがたい結果が生じかねない。例えば、模様の一部となっているため人の目では判じがたい色が候補色になることがある。また、その使用部位から見て縁取りを際立たせないであろう色、縁取りに相応しくない色等が候補色になることもある。ユーザが適切な色を指定することでこれらの問題を克服できるとはいえ、その色指定プロセスは手動的であり、ユーザにとってはやはり非効率且つ面倒である。
【０００５】
画像内の色を解析することで色パレットを生成する技術も知られている。そうした色パレットは、表示に使用できる色数が有限、例えば２５６色のカラーディスプレイ上にディジタル画像を表示させる場合等に有用である。例えば、非特許文献１には、所与ディジタル画像内色分布に基づき色パレットを生成する方法が記載されている。特許文献７（発明者：Ｌｕｏ  ｅｔ  ａｌ．，名称：重要色検知結果に基づく一組の色パレットを使用しディジタルカラー画像を表示させる方法(Method  for  representing  a  digital  color  image  using  a  set  of  palette  colors  based  on  detected  important  colors)）にも、それに似た方法が記載されている。これらの方法については、ウェブサイト用色パレットの決定にも有用であることが知られている。
【０００６】
特許文献６には、その画像に含まれる色に応じ画像に指定色で字幕を入れることが記載されている。指定色は、画像全体に亘る色ヒストグラムの生成によって、その画像に含まれる色のなかから選ばれる。即ち、そのヒストグラム中の諸色が候補色となり、その候補色のうち字幕配置対象エリアに対し秀逸なコントラストを呈する色が指定色となり、その色による字幕が画像と結合される。しかしながら、この方法でも望ましくない結果が生じることがある。色ヒストグラム内で高い頻度を呈した色が、例えば、複数通りの色を含む広い模様付エリアの一部をなしている場合である。この場合、その高頻度色を縁取り等で使用したとしても、模様付エリア内の対応する色が人目に判じがたくなるため、望ましい組合せになりにくい。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許出願公開第２００２／０４０３７５号明細書
【特許文献２】米国特許出願公開第２００８／３０１５４６号明細書
【特許文献３】特開２００５−２３６３７２号公報
【特許文献４】米国特許第５９０１２４５号明細書
【特許文献５】米国特許第６２８２３１７号明細書
【特許文献６】米国特許第６７１１２９１号明細書
【特許文献７】米国特許第６８５９２１０号明細書
【特許文献８】米国特許第７０００１９２号明細書
【非特許文献】
【０００８】
【非特許文献１】Balasubramanian  et  al.,  "A  new  approach  to  palette  selection  for  color  images,"  Journal  Imaging  Technology,  vol.17,  pp.284-290,  1991
【非特許文献２】Foley  et  al.,  "Computer  Graphics  Principles  and  Practice,"  Addison-Wesley,  Boston,  1996
【非特許文献３】Anil  K.Jain,  "Algorithms  for  Clustering  Data,"  Prentice-Hall,  Englewood  Cliffs,  NJ,  1988
【非特許文献４】Chevreul,  "The  Principles  of  Harmony  and  Contrast  of  Colors  and  Their  Applications  to  the  Arts,"  Schiffer,  West  Chester,  PA,  1987
【非特許文献５】Itten,  "The  Elements  of  Color,"  John  Wiley  &  Sons,  Germany,  2003
【非特許文献６】"Color  Palette  Generator,"  [online]  Internet  URL:  http://www.degraeve.com
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従って、画像から色を選定しその画像の結合先たる画像関連物との間で色を整合させる方法を改良する必要がある。
【課題を解決するための手段】
【００１０】
ここに、本発明は、画像に画像関連物(imaging-related  product)を結合させる方法であって、
（ａ）画像を準備するステップと、
（ｂ）その画像における空間コヒーレント関連色(spatially-coherent  related  colors)の生起頻度を示す画像色ヒストグラムを同画像内に存する空間コヒーレント色クラスタ(spatially-coherent  color  cluster)複数個に基づき生成するステップと、
（ｃ）その画像を見る人物にとり可視的なほど高い生起頻度を呈する画像色を一通り又は複数通り選択するステップと、
（ｄ）選択された一通り又は複数通りの高頻度色又はその補色を含む画像関連物を選択するステップと、
（ｅ）画像と画像関連物を結合させるステップと、
を有する。
【発明の効果】
【００１１】
本発明によれば、画像に含まれている色のなかからより相応しい色、即ちその画像の結合先となりうる画像関連物で使用されたときに秀逸な美観をもたらすであろう色を選択できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る方法のフローチャートである。
【図２】本発明の他の実施形態に係る方法のフローチャートである。
【図３】本発明の一実施形態に係る方法の理解に役立つ画像を示す図である。
【図４】本発明の一実施形態に係る方法で表示される選択窓画面の例を示す図である。
【図５】本発明の一実施形態に係る方法で表示される選択窓画面の例を示す図である（図中の「ＫＯＤＡＫ」は登録商標）。
【発明を実施するための形態】
【００１３】
以下、上述のものを含めその目的、構成及び効果がより明解に理解されるよう、別紙図面を参照しつつ本発明について詳細に説明する。同一の構成要素には諸図面を通じ可能な限り同一の参照符号を付してある。
【００１４】
図１に、本発明の一実施形態に係る画像対画像関連物結合方法を示す。本方法は、画像を準備するステップ１００、その画像から空間コヒーレント色クラスタを検知するステップ１０５、その画像における空間コヒーレント関連色の生起頻度を示す画像色ヒストグラムをその画像内に存する複数個の空間コヒーレント色クラスタに基づき生成するステップ１１０、その画像を見る人物にとり可視的なほど高い生起頻度を呈する画像色即ち高頻度色をその画像色ヒストグラムから一通り又は複数通り選択するステップ１１５、選択された一通り又は複数通りの高頻度色又はその補色を含む画像関連物を選択するステップ１３０、並びに画像と画像関連物を結合させることで所望の品を生成するステップ１４５を有している。
【００１５】
画像関連物選択ステップ１３０では、例えば、選択された一通り又は複数通りの高頻度色又はその補色を含む画像関連物を複数個選択する。それと併せ、選択された複数通りの画像関連物に対応する複数通りの選択肢をユーザに提示するステップ１３５を設けることもできる。このステップ１３５では、例えば、ウェブサイト上で又はアプリケーションソフトウェアに従い稼働するグラフィカルユーザインタフェース等を用い、複数個の画像関連物又はその表象をユーザ向けに表示する。画像関連物やその表象は、ユーザが簡便に選択できるよう、選択肢表示用のウェブページ上に例えば左から右へ、上から下への順序で表示させる。表示順序は、ユーザによって選択される頻度、画像・画像関連物間色整合に関連する整合品質指標等、様々な手段で設定可能である。例えば、各画像関連物の画像に対する整合度に基づき整合品質指標を算出し、その結果に基づき提示順序を定めることができる。こうした情報処理は、本件技術分野で既知の画像プロセッサで実行可能である。
【００１６】
高頻度色が複数通り含まれる画像関連物を選択すること、並びに複数通りの画像色を画像関連物の整合及び選択に使用することも可能である。複数通り選ぶのが整合色でも補色でも、選択される画像関連物はそれらの色が高い頻度で生起するものになる。更に、選択された整合色又は補色と併せ、中性色を含む画像関連物を選択する形態にしてもよい。画像内に際立った高頻度色又はそれに準ずる色が見られない場合は、多様な色選択肢を提示することが望ましい。
【００１７】
写真の分野では、従来から、光景内被写体の僅かな色合いや光景構成要素上の色ばらつきといった色ばらつきが頻出していた。そうした色ばらつきには、空間コヒーレント色クラスタを検知する際に対処できる。例えば、模様付の被写体領域から空間コヒーレント色クラスタを検知し、その模様を画像関連物内に再現することもできる。
【００１８】
本発明に係る方法は、諸ステップの実行順序を様々に入れ替えて実行することが可能である。例えば、画像関連物を構築してから画像を準備する順序でもよい。この順序での実行は、画像及び画像関連物を一括構築しない場合、例えば画像関連物がフレーム、マグカップ、ボール紙台紙等であり画像の印刷先となる場合に有用である。また、色の選択より後に、画像関連物を構築するステップ１４０を付加することも可能である。この段取りは、画像と画像関連物の結合物を一括構築する場合、例えば印刷で身分証明書を作成する場合に有用である。身分証明書用の画像関連物としては、例えば、縁取りたる写真合成枠か画像配置孔付背景テンプレートを有していて所定書式に則っているものが使用される。この形態の場合、画像プロセッサ等によって画像と画像関連物が結合され、同一の印刷用乃至写真印刷用紙シート上に両者が一緒に印刷される。その際に画像関連物上で使用されるのは、事前に構築されている出来合いの画像関連物群に対し最良整合する色というより、画像色選択ステップ１１５にて選択された画像色そのものである。
【００１９】
図１に示すように、本発明に係る方法は、画像関連物内の空間コヒーレント色クラスタを検知するステップ１２０、並びに画像色ヒストグラムではなく画像関連物色ヒストグラムを生成するステップ１２５が付加された形態でも実行可能である。画像関連物色ヒストグラムは、その画像関連物における空間コヒーレント関連色の生起頻度を示すヒストグラムである。それを受け、画像関連物選択ステップ１３０では、画像を見る人物にとり可視的なほど高い生起頻度を呈する画像関連物色を一通り又は複数通り特定し、その画像関連物色を画像色と整合させることで画像と画像関連物を組み合わせる。それらの組合せを上掲の例に倣いリスト化して提示しユーザに選択させるようにしてもよいし、その選択を自動実行するようにしてもよい。
【００２０】
実験結果によれば、光景内主被写体に由来する色クラスタが画像関連物での使用に適するのに対し、肌色は適していないと見られる。従って、図２に示すように、画像内被写体を検知するステップ１１６、主被写体内の空間コヒーレント色クラスタを検知するステップ１１７、それら空間コヒーレント色クラスタに含まれる色からなる画像色ヒストグラムを生成するステップ１１８、並びに主被写体に含まれる色のうち肌色でない色を選択するステップ１１９を有する形態にて、本発明を実施するようにしてもよい。主被写体検知は本件技術分野で習熟を積まれた方々（いわゆる当業者）にとり周知のプロセスであるので特許文献５等の記載を参照されたい。
【００２１】
また、本発明を実施するに当たっては、本件技術分野で既知の様々な事物、例えば写真フレーム、アルバムカバー、マグカップ、カレンダ構成ページ、台紙、枠状ページ台紙、身分証明書乃至アルバム構成ページで使用されるテンプレート等を画像関連物として使用できる。
【００２２】
画像準備ステップ１００で準備されるのは例えばディジタル画像である。写真プリント、写真スライド等のハードコピー画像をスキャンしディジタル画像を生成することで、そうした画像を準備するようにしてもよい。空間コヒーレント色クラスタの検知及び画像色ヒストグラムの生成には、準備された画像を処理可能なディジタルプロセッサ、例えばディジタルコンピュータ、画像プロセッサ、信号プロセッサ等の市販プロセッサを使用できる。
【００２３】
そうした情報処理ハードウェアは、画像に画像関連物を結合させる処理や、それによって得られた品を印刷させる処理、例えば熱転写プリンタを用い感熱紙上に印刷させる処理、インクジェットプリンタを用い専用の写真印刷用紙乃至普通紙上に印刷させる処理、電子写真プリンタで印刷させる処理等にも使用できる。写真フレーム等の画像関連物であれば、ユーザ手持ちの画像を手差しすることが可能である。
【００２４】
図３に、本発明の一実施形態におけるユーザの操作手順を示す。この手順では、ユーザが、まずディジタルカメラによる撮影又は写真プリントのスキャンでディジタル画像１０を準備し、次いで市販のブラウザを介しインターネット上のウェブサイトにアクセスすることで、そのサイトを介し記憶装置上にその画像１０をアップロードする。アップロードされた画像１０は、空間コヒーレント色クラスタ例えば１２，１６を検知すべくコンピュータによって処理される。次いで、空間コヒーレント色クラスタの検知結果に基づき画像色ヒストグラムが生成され、そのヒストグラムから一通り又は複数通りの画像色が選択される。
【００２５】
図４に、本発明の一実施形態にてインターネット上のウェブサイト又はアプリケーションソフトウェアを利用し提供されるユーザインタフェースに係る選択窓の例３０を示す。この窓３０上には、選択された一通り又は複数通りの画像色を含む画像関連物２０が１個又は複数個、選択肢としてユーザ向けに表示される。図示例では、別々の縁取り２４，２６，２８が付された３種類の関連物２０が表示されている。ユーザが好適に選択を行えるようにするには、諸色選択肢を順序立てて表示させるのが望ましい。例えば、色クラスタ１２に対応する色及び色クラスタ１６に対応する色を併含する縁取り２４、一方の色クラスタ１６に対応する色に加え中性色を含む縁取り２６、一方の色クラスタ１６に対応する色のみを含む縁取り２８、といった順序で表示させるのが望ましい。そして、関連物２０又はそれを構成するディジタル画像を処理し、画像関連物色クラスタ及びそれに対応する画像関連物色ヒストグラムを検知、生成するようにしてもよい。画像関連物色ヒストグラムに含まれる色を適宜使用することで、画像１０・関連物２０間の色整合度を高めることができる。
【００２６】
ディジタル画像１０に含まれる主被写体１４を主被写体検知アルゴリズムに従い検知する構成であれば、その結果に従い画像関連物２０の表示順序を定めることもできる。画像１０の背景に属する色クラスタ１６に対応する色を含む画像関連物２０より、主被写体１４に属する色クラスタ１２に対応する色を含む関連物２０を優先的に表示させる、といった具合である。
【００２７】
また、選択窓３０内には閲覧サンプル２２も表示される。即ち、ユーザが閲覧（プリビュー）機会を持てるよう、ディジタル画像１０がいずれかの画像関連物２０との組合せで表示される。相応のユーザインタフェースが準備されていれば、ユーザは、関連物２０の入替で逐次更新しつつ、そのサンプル２２をプリビューすることができる。
【００２８】
ユーザは、ディジタル画像１０と画像関連物２０の組合せに満足した時点で、その組合せをショッピングカートに入れていわゆる当業者にとり周知の商品発注手順に進むことができる。ユーザによる選択の内容は、ユーザから提供されたディジタル画像１０の転送と併せ製造設備に通知され、品の製造及び出荷に使用される。その関連物２０が写真フレーム又はそれに類する種類の場合、ユーザからの画像１０を印刷したものに出来合いの部材が組み合わされるのに対し、アルバム構成ページ、身分証明書又はそれに類する種類の場合、その関連物２０がユーザからの画像１０と同時に処理され、その画像１０が組み合わされた品が例えば画像プロセッサによって生成される。
【００２９】
なお、本願でいう「空間コヒーレント色クラスタ」は、画像内での空間的位置が隣り合わせで且つ色が似ている画素の集合（クラスタ）のことである。画像内に頻出する色の画素が空間コヒーレント色クラスタ内に現れない場合もある。例えば、その色の画素で形成される複数個の小領域が画像内に散らばっている場合である。そうした場合、平均色や画像内で優勢な色を使用しても、画像関連物に対する色の整合具合が良好になるとは限らない。寧ろ、画像を見る人物がその色を容易に視認できるよう、画像内のアクセント色を空間コヒーレント色クラスタから検知し、その画像内アクセント色に関し色整合を図ることで、そうした画像関連物に美的な効果を発揮させることができる。
【００３０】
空間コヒーレント色クラスタの検知には様々な画像処理手法を使用できる。例えば、その画像に含まれており色が似ている画素間の空間的距離を次の要領で測ることで、空間コヒーレント色クラスタを検知できる。色の類似性は、色相差に基づき画素間の色距離を求めることで検知できる。画素群の空間的サイズ及び画素間の色ばらつき即ち色距離に関し下限しきい値条件を適用することで、その条件を満たす画素群を検知できる。空間コヒーレント色クラスタの空間的最小サイズは、一般に、相応の目視距離にて画像から容易に知覚できる程度の大きさにするのが望ましい。
【００３１】
或いは、特許文献４等に記載の光景内被写体セグメンテーションによって光景内主要領域を検知し、検知した領域毎に領域内色クラスタを検知する、という手法を用いてもよい。各色クラスタのサイズに加え、その色クラスタにて対応する色の画素が生起する頻度を測ることで、その画像に色セグメンテーションを施し、好適に整合する色を特定することができる。
【００３２】
図５に、本発明に従いアクセント色を選択し画像をその色で縁取らせる際に使用可能なユーザインタフェースの一例を示す。この例では、コンピュータのグラフィカルユーザインタフェースを用い選択窓３０が提示され、ディジタル画像１０入りの閲覧サンプル２２がその窓３０内に表示されている。その画像１０の右側には、本発明に係る方法に従い画像１０を解析することで検知された色に対応する一群の色選択肢３４が表示されている。その脇には、画像関連物たる縁取りに期待される色及び空間ばらつきの指定に役立てるため、一群のユーザインタラクティブコントローラ３２が表示されている。コントローラ３２は、ユーザが何ら入力を行わなくともその値が自動的に特定、設定されるように構成するとよい。この図のユーザインタフェースを用いた選択を通じ合成された品は、電子写真プリンタ、レーザサーマルプリンタ、インクジェットプリンタ等で印刷することができる。
【００３３】
色選択肢３４は、ディジタル画像１０に係る画像色ヒストグラムを生成するアルゴリズムを利用し次の手順で生成するのが望ましい。この手順では、まず、情報処理難度が低くなるよう、通常の２４ビットＲＧＢ値で表現可能な色数より少数の色ビンをもたらす色表現を使用し画像色ヒストグラムの生成を開始する。次いで、その隣の画素に対するコヒーレンシをチェックした上で、各画素をそのヒストグラムに登録する。このチェックを行うのは、画像の縁又は明瞭なパターンに属していて見た目に通常の画素と弁別できる変わり目画素、例えば類似した色を共有する画素群で構成されたパッチに見られる画素を排除し、最終的な画像色ヒストグラムを空間，色共にコヒーレントにするためである。更に、そのヒストグラムを構成する空間的にコヒーレントな色を調べ、そのヒストグラム上で生起する頻度即ち個数比率が低い色や、中性に近すぎて見た目に区別できない色を除外する。次いで、ユーザ向け表示に使用される色数が少なくなるよう、且つユーザ向け表示に使用される色間に十分な相違が生じるよう、色相に従い残りの色を複数群に分類（クラスタ化）する。その上で、個々の色群を代表する色を、種々の手法を用い且つそれに対応する種々の選択条件に従い選択する。そして、選択した色をユーザ向けに表示し、それを受けユーザが選択した色をその画像周辺の背景に適用する。
【００３４】
色相に従い色を複数群にクラスタ化する処理は次の手順に従い実行するのが望ましい。まず、そのヒストグラムを構成する色ビン毎に、そのビンに属する標本間の平均的な画素色を、ＨＳＶ、ＨＳＬ等の輝度色度表色空間に準拠した表色空間内表現で求める。そうした表現であれば、非特許文献２第１３章記載のＣＩＥＬＡＢ、ＣＩＥＬＵＶ等に準拠した表現で、色相角を容易に求めることができる。次いで、その色相角同士の差から色ビン間の距離を求める。完全リンク集積的クラスタ化アルゴリズム、例えば非特許文献３第３章に記載のものであれば、こうして諸色を複数群にクラスタ化することができる。
【００３５】
個々の色群を代表する色は、所望の色特性に対する整合度判別を伴う手法のうちいずれかで選択乃至生成すればよい。例えば、その色群に属する全標本間の平均的な色や、その色群の平均色に最も近い色ビンの色を、個々の色群を代表する色とすればよい。用途によっては、ある特定の特性を伴う色が望まれる場合もある。例えば、その彩度が最高の色や、その彩度又は輝度が理想値に最も近い色が望まれる場合もある。その他の選択条件についてはまた後に言及する。
【００３６】
本発明は、複数枚の画像を処理し、それらに共通する色を識別し、その結果に基づき画像関連物を選択する形態でも実施することができる。例えば、それらの画像に共通する色を含む画像関連物、その共通色から見て補色に当たる色を含む画像関連物、画像のうち１枚に含まれる色であると共に他の１枚に含まれている色の補色に当たる色を含む画像関連物等を選択する形態である。こうした形態は、画像配置孔を複数個有する画像関連物を用い、複数枚の画像を保持可能なテンプレート背景や写真フレームを生産する際に役立つ。その画像関連物を更に解析し、複数枚の画像と整合する複数個の空間コヒーレント色クラスタを検知する形態にすることで、ややもすれば退屈で面倒なタスクを自動化することもできる。
【００３７】
使用する画像が複数枚の形態で本発明を実施する場合、選択に使用される画像色ヒストグラムは幾通りかの手法で生成可能である。例えば、画像間で画素同士を結合させた上で単一のヒストグラムを生成してもよいし、画像別にヒストグラムを生成し相互結合させることで単一のヒストグラムを生成してもよい。ヒストグラム同士を結合させる手法としては、ヒストグラム同士を重ね合わせる手法や交差させる手法がある。いわゆる当業者であれば、使用可能な結合方法がこの他にも多々あることを理解できよう。
【００３８】
本発明は、また、空間コヒーレント色クラスタを構成する色のうち画像の縁又は境界付近に存在しない色を優先的に選択する形態にて実施するのが望ましい。それにより、画像関連物に含まれる色との衝突乃至混合を防ぎ、画像に画像関連物を合成し又は結合させた品の美的品質を高めることができる。
【００３９】
また、「補色」関係とは、人の目に調和的な組合せとして映る色間関係のことである。本願では、色相環上で真向かいにある色同士の関係に加え、非特許文献４、５等の色整合関連文献に教示の如く同じ色弦の一部をなす色同士の関係も「補色」関係に含めている。同様に、「整合色」関係とは、その色相が密接していてユーザがその違いを認識できない関係、即ち色相が十分に近いため問題となる色衝突が生じない関係のことである。更に、整合色選択に当たり、輝度が違うが色相が似ている色、即ち画像内に見られるものより色合いが明るい色や暗い色を使用することが望ましい場合も多い。特に、結合させたい画像内の空間コヒーレント色クラスタに比べ違いの少ない色相及び低い輝度を整合色が呈するよう、縁取り、フレーム等の画像関連物に比べ画像が明るめであることが望まれる場合が多い。
【００４０】
従来技術、例えば平均的な画像色又は平均的な被写体色を求めることで縁取りの色を決定する技術は、画像関連物で使用されたときに対応する画像を美的に引き立てる色を特定するには相応しくない。被写体乃至画像を構成する画素の色がその被写体乃至画像における平均的な色と大きく異なっていると、アクセント色を好適に特定できないからである。画像やそれに含まれる被写体の平均色はグレイであることが多い。更に、コンピュータ上での色表現が、実際の画像乃至画像関連物のそれと異なっていることが多い。その点、本発明に係る方法であれば、画像と画像関連物を好適に整合させることができる。画像内で別々の色を呈する様々な色クラスタから様々な色選択肢が生成されることも、画像・画像関連物間の好適な整合に一役買っている。好適な色整合を維持しつつ、そうした色選択肢に個人的な嗜好を満足させることもできる。
【符号の説明】
【００４１】
１０  ディジタル画像、１２，１６  色クラスタ、１４  主被写体、２０  画像関連物、２２  閲覧サンプル、２４，２６，２８  縁取り、３０  選択窓、３２  ユーザインタラクティブコントローラ、３４  色選択肢、１００  画像準備ステップ、１０５  画像内空間コヒーレント色クラスタ検知ステップ、１１０  画像色ヒストグラム生成ステップ、１１５，１１９  画像色選択ステップ、１１６  主被写体検知ステップ、１１７  主被写体内空間コヒーレント色クラスタ検知ステップ、１１８  主被写体色ヒストグラム生成ステップ、１２０  画像関連物内空間コヒーレント色クラスタ検知ステップ、１２５  画像関連物色ヒストグラム生成ステップ、１３０  画像関連物選択ステップ、１３５  画像関連物選択肢提示ステップ、１４０  選択後画像関連物構築ステップ、１４５  画像対画像関連物結合ステップ。
【図１】
0005943845.tif 000002
【図２】
0005943845.tif 000003
【図３】
0005943845.tif 000004
【図４】
0005943845.tif 000005
【図５】
0005943845.tif 000006