(57)【要約】  芸術的に整った画像表示を提供する方法であり、それぞれ一種類又は複数種類の属性条件を伴う窓部を複数個有する画像表示用のディジタルテンプレートを準備するステップを有する。プログラムに従い作動するコンピュータシステムを用い画像データベースを自動検索することで、対応する属性条件を満たす画像を窓部毎に探し出す。見つかった割当対象画像上に縦線及び横線を１本又は複数本想定した上で、その線上又は線同士の交点上にその画像の主題が位置することになるよう、その画像に相応の変形及び位置修正を施す。更に、その画像内の主題を識別し、その大きさを基準計測単位と定め、それを手がかりにして画像内主題配置を美しい比率での配置にする。
2013500537.tif 000002
【特許請求の範囲】
【請求項１】
整った画像表示を提供すべくコンピュータ上で実行される方法であって、
それぞれ一種類又は複数種類の属性条件を伴う窓部を複数個有する画像表示用のディジタルテンプレートを準備するステップと、
データベース上にありそれぞれ一種類又は複数種類の画像属性を有する諸画像を自動検索することで、ディジタルテンプレート上の窓部毎に、その窓部に係る属性条件を満たしていて割当対象となりうる画像を１枚又は複数枚探し出すステップと、
見つかった割当対象画像上に第１縦線を想定するステップと、
割当対象画像上に第１横線を想定するステップと、
割当対象画像に含まれる顔を識別し、その顔の位置が第１縦線上又は第１横線上に来るように修正するステップと、
を有する方法。
【請求項２】
請求項１記載の方法であって、顔の位置が第１縦線上に来るよう上記修正を実行する方法。
【請求項３】
請求項１記載の方法であって、
割当対象画像上に第２縦線を想定するステップと、
割当対象画像上に第２横線を想定するステップと、
その顔の位置が第２縦線上又は第２横線上に来るよう上記修正を実行させるステップと、
を有する方法。
【請求項４】
請求項３記載の方法であって、顔の位置が第１又は第２縦線と第１又は第２横線との交点上に来るよう上記修正を実行する方法。
【請求項５】
請求項３記載の方法であって、第１縦線が割当対象画像の左端から画像幅の約１／３隔たり、第２縦線が右端から画像幅の約１／３隔たるよう、第１及び第２縦線を想定する方法。
【請求項６】
請求項３記載の方法であって、第１横線が割当対象画像の上端から画像高の約１／３隔たり、第２横線が下端から画像高の約１／３隔たるよう、第１及び第２横線を想定する方法。
【請求項７】
請求項６記載の方法であって、顔の位置が第１又は第２縦線と第１又は第２横線との交点上に来るよう上記修正を実行する方法。
【請求項８】
整った画像表示を提供すべくコンピュータ上で実行される方法であって、
それぞれ一種類又は複数種類の属性条件を伴う窓部を複数個有する画像表示用のディジタルテンプレートを準備するステップと、
データベース上にありそれぞれ一種類又は複数種類の画像属性を有する諸画像を自動検索することで、ディジタルテンプレート上の窓部毎に、その窓部に係る属性条件を満たしていて割当対象となりうる画像を１枚又は複数枚探し出すステップと、
見つかった割当対象画像に含まれる顔を識別し、その画像における顔の幅を識別した上で、その顔幅をその画像用の基準計測単位と定めるステップと、
を有する方法。
【請求項９】
請求項８記載の方法であって、割当対象画像における所定二点間の距離が基準計測単位に対しほぼ等しい値になるまでその画像を選択的にズーミングするステップを有する方法。
【請求項１０】
請求項８記載の方法であって、割当対象画像における所定二点間の距離が基準計測単位に対しほぼ所定比率になるまでその画像を選択的にズーミングするステップを有する方法。
【請求項１１】
請求項８記載の方法であって、割当対象画像における所定二点間の距離が基準計測単位に対しほぼ所定倍数になるまでその画像を選択的にズーミングするステップを有する方法。
【請求項１２】
請求項１１記載の方法であって、上記所定二点のうち一点が割当対象画像の左端、もう一点が右端にある方法。
【請求項１３】
整った画像表示を提供するコンピュータシステムであって、
それぞれ一種類又は複数種類の属性条件を伴う窓部を複数個有する画像表示用のディジタルテンプレートを保持する手段と、
一種類又は複数種類の画像属性を有する画像が複数枚登録されており本コンピュータシステムからアクセス可能なデータベースと、
プロセッサと、
を備え、そのプロセッサが、
データベース上の諸画像を自動検索することで、ディジタルテンプレート上の窓部毎に、その窓部に係る属性条件を満たしていて割当対象となりうる画像を１枚又は複数枚探し出すステップと、
見つかった割当対象画像上に第１縦線を自動想定するステップと、
割当対象画像上に第１横線を自動想定するステップと、
割当対象画像に含まれる顔を自動識別し、その顔の位置が第１縦線上又は第１横線上に来るように自動修正するステップと、
を実行するコンピュータシステム。
【請求項１４】
請求項１３記載のコンピュータシステムであって、そのプロセッサが、顔の位置が第１縦線上に来るよう上記自動修正を実行するコンピュータシステム。
【請求項１５】
請求項１３記載のコンピュータシステムであって、そのプロセッサが、
割当対象画像上に第２縦線を自動想定するステップと、
割当対象画像上に第２横線を自動想定するステップと、
その顔の位置が第２縦線上又は第２横線上に来るよう上記自動修正を実行させるステップと、
を実行するコンピュータシステム。
【請求項１６】
請求項１５記載のコンピュータシステムであって、そのプロセッサが、顔の位置が第１又は第２縦線と第１又は第２横線との交点上に来るよう上記自動修正を実行するコンピュータシステム。
【請求項１７】
請求項１５記載のコンピュータシステムであって、そのプロセッサが、第１縦線が割当対象画像の左端から画像幅の約１／３隔たり、第２縦線が右端から画像幅の約１／３隔たるよう、第１及び第２縦線を自動想定するコンピュータシステム。
【請求項１８】
請求項１５記載のコンピュータシステムであって、そのプロセッサが、第１横線が割当対象画像の上端から画像高の約１／３隔たり、第２横線が下端から画像高の約１／３隔たるよう、第１及び第２横線を自動想定するコンピュータシステム。
【請求項１９】
請求項１８記載のコンピュータシステムであって、そのプロセッサが、顔の位置が第１又は第２縦線と第１又は第２横線との交点上に来るよう上記自動修正を実行するコンピュータシステム。
【請求項２０】
整った画像表示を提供すべくべくコンピュータ上で実行される方法であって、
それぞれ一種類又は複数種類の属性条件を伴う窓部を複数個有する画像表示用のディジタルテンプレートを準備するステップと、
データベース上にありそれぞれ一種類又は複数種類の画像属性を有する諸画像を自動検索することで、ディジタルテンプレート上の窓部毎に、その窓部に係る属性条件を満たしていて割当対象となりうる画像を１枚又は複数枚探し出すステップと、
見つかった割当対象画像上に第１縦線を想定するステップと、
割当対象画像に含まれる顔を識別し、その顔の位置が第１縦線上に来るように修正するステップと、
を有する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のディジタル合成及び表示に使用されるコンピュータシステム、方法及びソフトウェア、特に画像データの検索、取得及び評価並びにディジタルテンプレートへの割当を所与の構図に従い自動実行する方法及び装置に関する。
【背景技術】
【０００２】
ディジタル印刷技術の発展につれ、画像コラージュ、画像付衣類、画像アルバム等、個人向け画像組込アイテムの普及が急速に進んでいる。しかしながら、画像組込アイテムが個人向けに普及するにつれ、そうしたアイテムに対する使用者の選別眼も鋭くなってきている。使用者がいま求めているのは、とりわけ、画像組込アイテムをより簡便、迅速、円滑、自動且つ調和的にカスタマイズ生成可能な手法及びシステムである。幾分一般的にはなってきているが、その内部に格納されている画像をカスタム表示可能なアイテムやその内部にある画像印刷物を差し替えられるアイテムは、まだまだ珍奇の目で見られることが多い。指定された外観条件を満たす画像コンテンツを認識する手法も、まだ十分なものとなっていない。例えば、内蔵画像をカスタマイズ表示可能なアイテムでは、画像の美観乃至属性に関する条件を決めるとそれを満たす画像が識別されるようになっていない。この種のアイテムでは画像として人物写真が使用されることが多いので、できれば、その写真に写っている人物・人数・表情・衣服・背景・季節・模様、その写真のズーム率・撮影日時・色調・色彩・鮮明度等に関する条件を決めるとそれを満たす画像が識別される、というようにしたいものである。うまく働く芸術的乃至美的要素はアイテムの形態によって異なるので、美的条件を含む複数通りの画像属性を画像複数枚について同時並行的に調べ、適合性スコアが最高の画像を自動識別するコンピュータアルゴリズムも、その実現が期待されている。更に、使用者満足度を高めるため、アイテムに組み込まれる画像乃至画像群を使用者が好き好きに選べるようにしたいものである。例えば、使用者お気に入りの画像に備わる属性を、画像自体からのリアルタイム抽出、その画像に関連付けられているファイル（メタデータファイル、ＤＰＯＦ（ディジタルプリントオーダフォーマット；登録商標；以下注記省略）ファイル、使用者が保存したファイル等）からの読込、その他の手法による生成、更には使用者による直接入力といった手法で求め、背景画像と調和させつつディジタルテンプレート内に配する、といったことを可能にしたいものである。その逆に、使用者の手持ち画像のうちどの画像がどのような組合せでそのテンプレートに割り当てられるかを決める際に、選択された画像組込先テンプレートの属性を利用可能にしたいものである。更に、その画像が表示される経緯乃至環境の属性をコンピュータシステムに入力し、それに基づき適切なテンプレート及び画像を選択させることや、そのためのアルゴリズムを様々に組み合わせて情報処理システム及び手法に統合することも求められている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第５４５９８１９号明細書
【特許文献２】米国特許第５８１５６４５号明細書
【特許文献３】米国特許第５９８６６７１号明細書
【特許文献４】米国特許第６２８５４６８号明細書
【特許文献５】米国特許第６３８９１８１号明細書
【特許文献６】米国特許第６４７６９０３号明細書
【特許文献７】米国特許第６６３６６４８号明細書
【特許文献８】米国特許第６７１１２９１号明細書
【特許文献９】米国特許第６７４８０９７号明細書
【特許文献１０】米国特許第６８１３６１８号明細書
【特許文献１１】米国特許第６８２２７５６号明細書
【特許文献１２】米国特許第６８６８１９０号明細書
【特許文献１３】米国特許第６９５６６７１号明細書
【特許文献１４】米国特許第６９５８８２１号明細書
【特許文献１５】米国特許第６９６７６６７号明細書
【特許文献１６】米国特許第６９９２７８７号明細書
【特許文献１７】米国特許第７０００１９２号明細書
【特許文献１８】米国特許第７００３７３１号明細書
【特許文献１９】米国特許第７０３５４６７号明細書
【特許文献２０】米国特許第７０４３０５３号明細書
【特許文献２１】米国特許第７０９２９６６号明細書
【特許文献２２】米国特許第７３４０６７６号明細書
【特許文献２３】米国特許第７３６２９１９号明細書
【特許文献２４】米国特許第７５３３１２９号明細書
【特許文献２５】米国特許第５７８１６５０号明細書
【特許文献２６】米国特許第７５０８９６１号明細書（Ｂ２）
【特許文献２７】米国特許第７３３６８１９号明細書
【非特許文献】
【０００４】
【非特許文献１】Yin, Loi, Xiong, "Facial Expression Analysis Based on Enhanced Texture and Topographical Structure", Conference Proceedings-IEEE International Conference on Systems, Man and Cyberneteics, v1, P586-591, 2004
【非特許文献２】Tivive, Bouzerdoun, "A Gender Recognition System Using Shunting Inhibitory Convolutional Neural Networks", IEEE International Conference on Neural Networks-Conference Proceedings, p5336-5341, 2006
【非特許文献３】P.Viola and M.Jones, "Rapid object detection using a boosted cascade of simple features," in Computer Vision and Pattern Recognition, 2001, Proceedings of the 2001 IEEE Computer Society Conference, 2001, pp.I-511~I-518 vol.1
【非特許文献４】H.Schneiderman, "Feature-centric evaluation for efficient cascaded object detection," in Computer Vision and Pattern Recognition, 2004, Proceedings of the 2004 IEEE Computer Society Conference, 2004, pp.II-29~II-36 Vol.2
【非特許文献５】Daniel F. DeMenthon, Larry S. Davis, "Model Based Pose in 25 Lines of Code", Proceedings from the Image Understanding Workshop, 1992
【非特許文献６】T.F.Cootes, C.J.Taylor, D.H.Cooper, and J.Graham in "Active shape models - their training and application," Computer Vision and Image Understanding, vol.61, pp.38-59, 1995
【非特許文献７】A.Savakis, M.Erhard, J.Schimmel, and J.Hnatow in "A multi-camera system for real-time pose estimation," Bellingham WA, 2007
【非特許文献８】Russell and Norvig, "Artificial Intelligence- A Modern Approach," 2nd Edition, Prentice Hall, 2003
【非特許文献９】A.Shai, S.Ariel in "Seam Carving for Content-Aware Image Resizing", ACM Transactions on Graphics, Vol.26, Issue 3, July 2007
【非特許文献１０】"Color Segmentation as an Aid to White Balancing for Digital Still Cameras", by Cooper, Proceedings of SPIE, v4300, pl64-171, 2001
【非特許文献１１】Avidan and Shamir in "Seam Carving for Content-Aware Image Resizing" in ACM, Vol.26, No.3, July 2007
【発明の概要】
【発明が解決しようとする課題】
【０００５】
こうした従来技術では、多くの画像のなかから必要なものを検索して自分なりのデザインにする作業を使用者がマニュアルで行わねばならず、使用者の手に負えなくなるほど長い時間がその作業にかかることがある。
【課題を解決するための手段】
【０００６】
本発明の好適な実施形態の一つは、芸術的に整った画像表示を提供する方法及びコンピュータシステムである。本実施形態では、それぞれ一種類又は複数種類の属性条件(required attribute)を伴う窓部を複数個有する画像表示用のディジタルテンプレートを準備する。次に、プログラムに従い作動するコンピュータシステムを用い画像データベースを自動検索することで、対応する属性条件を満たしておりその窓部に割り当てうる画像を窓部毎に探し出す。その画像上に縦線及び横線を１本又は複数本想定した上で、その線上又は線同士の交点上にその画像の主題乃至主被写体が位置することになるよう、その画像に相応の変形及び位置修正を施す。更に、その画像の主題を計測してその大きさを基準計測単位と定め、それを手がかりにして、画像内主題配置を美しい比率での配置にする。その画像における二点間距離例えば主題間距離が基準計測単位に対し同値、所定比率値又は所定倍数値になるようにするとよい。
【発明の効果】
【０００７】
従って、本発明によれば、美観に関わる画像属性上の条件を断片的レシピとして保存しておき、それに基づきコンピュータシステムを画像データベースと連携させているので、画像組込アイテム(image enhanceable product)の生成に必要であった長時間に亘る作業を自動化することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の好適な実施形態で使用可能なコンピュータシステムを示す図である。
【図２】本発明の好適な実施形態におけるコンピュータシステム使用者を示す図である。
【図３】本発明の好適な実施形態におけるディジタルテンプレートの図案を示す図である。
【図４】属性条件及びその加重係数を規定するコードを示す図である。
【図５】適合性スコア算出の手法及び結果を示す図である。
【図６】適合性評価、画像選択及び画像調整の手法を示す図である。
【図７】テンプレート選択手順を示すフローチャートである。
【図８】画像選択手順を示すフローチャートである。
【図９】画像選択手順を示すフローチャートである。
【図１０】テンプレート選択手順を示すフローチャートである。
【図１１】画像選択手順を示すフローチャートである。
【図１２Ａ】画像検索及び適合性スコア算出のアルゴリズムを示す図である。
【図１２Ｂ】画像検索及び適合性スコア算出のアルゴリズムを示す図である。
【図１２Ｃ】画像検索及び適合性スコア算出のアルゴリズムを示す図である。
【図１２Ｄ】画像検索及び適合性スコア算出のアルゴリズムを示す図である。
【図１３】基本メタデータ(recorded metadata)の例を示す図である。
【図１４】拡張メタデータ(extracted metadata)の例を示す図である。
【図１５Ａ】テンプレートに従い生成された印刷物が飾られるフレームを示す図である。
【図１５Ｂ】同じくそのフレームを示す図である。
【発明を実施するための形態】
【０００９】
以下、上掲のものを含め本発明の目的及び構成をより好適に理解できるよう、別紙図面を参照しつつ説明を行う。但し、以下の説明は要旨限定を目的とするものではなく、本発明の好適な実施形態及びその様々な詳細を例示することを目的とするものであので、その点を了解されたい。本発明はその技術的範囲を逸脱することなく様々に改変乃至修正可能なものであり、本発明の技術的範囲にはそうした改変乃至修正を経たものも包含される。
【００１０】
図１に、本発明の実施に適した画像組込アイテム自動生成用電子システム乃至コンピュータシステムの一例２６を示す。図示の通り、このシステム２６のハウジング２２内にはコンテンツ／プログラムデータファイル源２４がある。これは、アプリケーションソフトウェアに係るファイル、ディジタルテンプレートのレシピ乃至属性条件に係るファイル、画像乃至その属性に係るファイル等を提供する部材であり、種々の記憶／記録装置４０で構成されている。ハウジング２２内には使用者用の有線ローカル入力システム６８及び無線リモート入力システム５８、出力システム２８、並びにそれらと直接乃至通信するプロセッサ３４もある。プロセッサ３４は、図示しないが、一般的なプロセッサ類にチップ部品、例えば命令実行レジスタ、ＡＬＵ、各層キャッシュメモリ等を付した構成であり、ファイル源２４、入力システム６８及び出力システム２８と共にハウジング２２内に配置されている。但し、ファイル源２４、入力システム６８及び出力システム２８の回路乃至システムを、全体的又は部分的にハウジング２２外に配置することも可能である。例えば、画面上でポインタを操作する手段は、ハウジング２２外に設けたローカルマウス６８ｂ以外に、ハウジング２２内に設けたトラックボールとしても実現可能である。
【００１１】
ファイル源２４は、電子式、光学式又は磁気式記録／記録装置乃至システム、例えばフラッシュメモリ、光ディスク、磁気ディスク／ディスケット等のドライブを幾つか備えている。プロセッサ３４は、ソフトウェア、ディジタルテンプレートのレシピ乃至属性条件、画像のデータ・属性・基本乃至拡張メタデータ等、様々なディジタル情報をそこからロードし、或いは画像データ、メタデータ等を自ら生成した上で、画像組込アイテムを自動的に生成する。本願では、それら、静止画・動画・グラフィクス・コンピュータ生成画像のデータ・属性・メタデータ等に係るデータベース上のファイルや、アプリケーションソフトウェアに係るファイルのことを、コンテンツ／プログラムデータファイルと称している。コンテンツデータファイルとしては、ファイル源２４内の装置で画像を撮影しファイル化したもの、コンピュータシステム２６内の画像撮影装置から取得したもの、ファイル源２４外の装置から取得したもの、画像拡張／編集ソフトウェアで調製されたもの等を提供する。図示したシステムでは、こうしたファイル源２４が、センサ３８、記憶／記録装置４０及び通信システム５４で構成されている。
【００１２】
センサ３８としては、まず、コンピュータシステム２６がおかれている状況を検出し然るべき情報形態でプロセッサ３４に通知するもの、例えば在来型の光センサ、バイオメトリックセンサ等を使用することができる。画像を撮影してプロセッサ３４に送るもの、例えばカメラ、ビデオセンサ、スキャナ、マイクロホン、ＰＤＡ、パームトップデバイス、ラップトップデバイス、その組合せ等も使用できる。不随意運動や心理反応を検出して通知するもの、例えば音声抑揚、身体運動、眼球運動、瞳孔散大、体温、ｐ４０００波等を検出するバイオメトリックセンサ等も使用可能である。検出した画像等をケーブル等による直接接続でプロセッサ３４へと送るタイプでも、可搬なリムーバブルメモリ３９の取り外し及び及びメモリスロット４６への随時装着でプロセッサ３４へと送るタイプでもかまわない。センサ３８抜きでもかまわない。
【００１３】
記憶／記録装置４０としては、上述の通り、固体、磁気、光等の方式による在来型のディジタル記憶／記録装置をコンピュータシステム２６に固定実装又は可動可搬接続して使用している。図中のハードディスクドライブ４２は可搬な外付け型のドライブであり、コンピュータシステム２６稼働用のオペレーティングシステム、本発明の実施に資するものをはじめとする種々のアルゴリズム、ソフトウェア乃至プログラム、ディジタルテンプレートのレシピ乃至属性条件に係るデータベース、画像のデータ・属性・基本乃至拡張メタデータに係るデータベース等の格納に使用されている。リムーバブルディスクドライブ４４は図示しない光、磁気その他のディスクメモリにアクセス可能なドライブであり、本発明の実施に資する制御プログラム乃至ソフトウェア等の格納に使用されている。メモリスロット４６はメモリカード（登録商標）、フラッシュメモリ等の可着脱メモリをはじめとするリムーバブルメモリ４８を装着可能なスロットであり、そのメモリ４８とのやりとりに介在するリムーバブルメモリインタフェース５０を備えている。制御ソフトウェア等のアプリケーションソフトウェアに係るファイルや、テンプレートのレシピ乃至属性条件、画像のデータ・属性・基本乃至拡張メタデータ等のファイルは、パーソナルコンピュータ、コンピュータネットワーク、ネットワーク接続サーバ等のディジタルシステムをはじめとするリモートメモリシステム５２にも保存させうる。
【００１４】
通信システム５４としては、図中のコンピュータシステム２６とリモートメモリシステム５２、リモートディスプレイ５６、リモート入力システム５８等との通信を担えるものを使用している。通信システム５４は、画像未組込又は組込済のディジタルテンプレートといった形態で図案をコンピュータシステム２６側から送信する一方、リモートメモリシステム５２側にあるデータベースから、各種制御プログラム、アプリケーションソフトウェア、テンプレートのレシピ乃至属性条件、画像のデータ・属性・基本乃至拡張メタデータ等を受信する。図中の通信システム５４は無線方式であるが、システム２６をモデムで通信ケーブル越しにネットワークに接続し、そのネットワークを介しリモートメモリシステム５２に接続する構成を採ることも可能である。リモートステーションにありリモート入力システム５８を構成している入力デバイス群やリモートディスプレイ５６を、図示例の無線方式ではなく有線方式で通信システム５４に接続することも可能である。ローカルステーションにあり使用者用のローカル入力システム６８を構成している入力デバイス群やローカルディスプレイ６６を、プロセッサ３４やそれにつながる通信システム５４に対し図示の如く有線方式で接続するのではなく、無線方式に従い接続するようにしてもよい。
【００１５】
通信システム５４で行われる動作は、具体的には、光トランスデューサ、無線周波数トランスデューサ等のトランスデューサ回路乃至システムを１個又は複数個用い、情報を光信号、無線周波数信号等の形態に変換し、その信号をリモートメモリシステム５２、リモートディスプレイ５６等のリモートデバイスに送信する一方、図示しないホストコンピュータ、サーバコンピュータ、コンピュータネットワーク、リモートメモリシステム５２、リモート入力システム５８等から上掲の如く信号を受信し、その信号から画像データ等のディジタルデータや指令を抽出してプロセッサ３４へと供給する、といったものである。通信システム５４が然るべく構成されているので、インターネット、携帯電話網、ピアトゥピア接続等のモバイル通信網や、有線ローカルエリアネットワーク、無線ローカルエリアネットワーク等のローカル通信網をはじめ、在来型の有線又は無線データ転送網、データ通信網、データ通信システム等を介しリモートメモリシステム５２と通信することが可能である。
【００１６】
ローカル入力システム６８は、コンピュータシステム２６の使用者からプロセッサ３４への指示手段の一つである。与えられる指示の一つは、本発明の実施に資するアルゴリズムを稼働させるための指示、即ち芸術的に整った画像表示をテンプレートレシピに従い自動提供するソフトウェアを起動させるための指示である。他の一つは、ディジタルテンプレート、お気に入り画像等のコンテンツデータファイルを指定する指示であり、本発明に従い画像組込アイテムを自動的に生成する処理は例えばこの指示に従い実行される。更に他の一つは、画像組込アイテムの出力形態を指定する指示である。入力システム５８，６８に備わる入力デバイス５８ａ，５８ｂ，６８ａ，６８ｂは更に他の目的にも使用されうる。その一例は、既成の画像組込アイテム、テンプレート等に係るコンテンツデータファイルの組込、整頓及び編集による新たな画像組込アイテムの生成である。使用者は、システム２６上に搭載されている画像編集ソフトウェアに対する指示で、システム２６内画像組込アイテム自動生成を後述の如くオーバライドしうる。これにより、使用者乃至観客に関する情報、音声又はテキストによる注釈データ、ファイル化されたコンテンツデータ内に登場する人物を特定するデータ、システム２６とのやりとりに関わる後述の情報等が、その画像組込アイテムに組み込まれることとなる。
【００１７】
ローカル入力システム６８で行われる動作は、具体的には、使用者からの入力を種々の入力デバイスで受け取りプロセッサ３４向けの形態へと変換する動作である。入力デバイスとしては、タッチスクリーン付ローカルディスプレイ６６、タッチパッド、４ウェイスイッチ、６ウェイスイッチ、８ウェイスイッチ、スタイラス、トラックボール、ジョイスティック、音声認識システム、ジェスチャ認識システム、ローカルキーボード６８ａ、ローカルマウス６８ｂ、リモートコントローラ等を使用可能である。図中のローカルディスプレイ６６及びローカル入力システム６８はプロセッサ３４に直結されているが、これ以外の構成にすることも可能である。コンピュータシステム２６に接続されるリモート入力システム５８についても同様であり、図示の如くリモートキーボード５８ａ、リモートマウス５８ｂ及びハンドヘルド型のリモートコントローラ５８ｃを備える構成に限らず、様々なデバイスを様々な形態で使用可能である。
【００１８】
コンピュータシステム２６やそのローカル入力システム６８が設置されているのは図２に示す如き場所７０である。これは編集スタジオ乃至キオスクに設置した例であるが、ほかにも様々な場所に設置可能である。この図では、使用者７２がコンピュータシステム２６のコンソールに対峙している。そのコンソールは、マルチメディアコンテンツを適用できるよう、ローカルキーボード６８ａ、ローカルマウス６８ｂ、ローカルディスプレイ６６等で構成されている。図中の編集場所７０には、更に、カメラ乃至ビデオセンサ、オーディオセンサ２０１、使用セッション又は生成セッション中に使用者７２がモニタ可能なマルチメディアセンサ等、様々な種類のセンサ３８が配置されている。
【００１９】
そして、図１中の出力システム２８は、画像、テキスト、画像未組込乃至画像組込済のディジタルテンプレート等といったコンテンツを可視化させる手段であり、これを用い表現物を可視化させて組み込むことで画像組込アイテム、例えばディジタルフォトフレーム、液晶ディスプレイ、フォトアルバム、コラージュ等が得られる。その可視化の手段として、このシステム２８にはプリンタ、具体的には従来型の画像印刷、表示乃至記録装置が備わっている。図示例の出力システム２８にはこれに該当する複数個のプリンタ２９，３０が備わっているので、プロセッサ３４からの指令に応じプリンタ２９，３０を個別に動作させることも互いに連携して印刷を行わせることも可能である。種類や印刷可能フォーマットが違う複数個のプリンタを併用することや、標準的な画像記録媒体以外のもの、例えばＴシャツをはじめとする衣類の表面に印刷を施すことも可能である。印刷方式としては、従来型の四基本色オフセット印刷、その他の接触印刷、シルクスクリーン印刷、米国ニューヨーク州ロチェスター所在のＥａｓｔｍａｎＫｏｄａｋＣｏｍｐａｎｙが販売しているＮｅｘＰｒｅｓｓ（登録商標）２１００プリンタ等で用いられているドライ電子写真印刷、サーマル印刷、ドロップオンデマンドインクジェット印刷、連続インクジェット印刷等、様々な方式を使用可能である。図中のプリンタ３０ではサーマル印刷方式が使用されている。以下の説明では、プリンタ２９，３０としてカラー印刷可能なものを想定するが、自明な通りこれは不可欠な事柄ではない。本発明に係る方法及び装置を実施するに当たり、プリンタ２９，３０としてとしては、白黒画像、グレイスケール画像、セピアトーン画像等の単色画像を印刷するタイプのものも使用可能である。
【００２０】
これら、ファイル源２４、ローカル入力システム６８及び出力システム２８は、その構成部材を共有する形態にしてもよい。入力システム５８，６８、センサ３８、記憶／記録装置４０及び通信システム５４からの信号は、プロセッサ３４によるコンピュータシステム２６の稼働に使用されうる。そうしたプロセッサ３４は、プログラマブルディジタルコンピュータ、プログラマブルマイクロプロセッサ、プログラマブル論理プロセッサ、電子回路群、集積回路チップ化された電子回路群、ディスクリートチップ部品群等、様々な形態で実現可能である。
【００２１】
本発明で生成可能な画像組込アイテムとしては、例えば図３に示すフレーム状のアイテム３００がある。これに限らず、画像が形成、表示、出現、挿入、装着、接着、組込、埋込、載置等される画像組込部を備えていればよい。本願でいうところの画像組込アイテムは広範な概念であり、実体的な画像組込部３０２を備える実体的なアイテムのほか、ホログラム等のディジタル制御形バーチャル表示を用いる非実体的なアイテムや、ディジタルディスプレイ、プロジェクタ、ホームシアタシステム等でスライドショウ再生等することができるよう記録媒体上に保存されたアイテムも包含している。画像組込アイテムは、例えばハート形、人間形、地域輪郭形等、様々な形状を採りうる。これは本件技術分野で周知な画像用ディジタルテンプレート生成ツール乃至技術で行えるので、本願では画像組込アイテムの初期形状設定に関する説明を省略する。実体的な画像組込アイテムの例としては、コラージュ、フォトブック、スクラップブック、フォトカレンダ、マグカップ、ビアジョッキ、カップ、脚付グラス、宝石、タイル、モザイク、室内装飾、マウスパッド、枕カバー、筆入れ、カンバス上の絵画、カンバス上の絵画風画像、カンバス上の写真造形像、形見箱、毛布、コースタ、フレーム、装飾、耳状装飾、雪片装飾、線条装飾、しろめ装飾、休日装飾セット、記念日装飾セット、トランプ、パズル、動物のぬいぐるみ例えばテディベア（登録商標）、壁紙、梱包材、衣類・アクセサリ、例えばＴシャツ、タイ、トートバッグ、エプロン、産着、パフォーマンスシャツ等、フレーム・マット・画像のセット・コラージュ、宛名ラベル、ギフトタグ、切手等を挙げうる。
【００２２】
非実体的な画像組込アイテムも多々掲げうる。例えば、ディジタルフォトフレーム、ディジタル店頭ディスプレイ、ディジタルプロジェクタ、スコアボード、その一例たるスタジアム内スコアボード、広告板、インタラクティブディスプレイ等に表示される画像である。後述の通りその表示には空間的要素や時間的要素を反映させうる。例えば、時間的要素に従い情報、広告、装飾等を変化させることができる。それを保存しておき後刻の表示に使用することもできる。
【００２３】
こうした画像組込アイテム、例えば図３に示したアイテム３００の図案は、ディジタルテンプレートとしてディスプレイの画面上に随時表示される。例えば、本発明に係るソフトウェア乃至コンピュータシステム２６が導入された店舗では、このアイテム３００に係るフレームの姿がキオスクの画面上に図示の如く、即ちその店舗で購入可能な実際のフレームの如くリアルに表示される。使用者は、システム２６のローカルディスプレイ６６に表示されるバーチャルなテンプレートを見ながらキオスクを操作することで、自分が指定した画像がその窓部に埋め込まれていて美的に整っているアイテム３００を自動生成させることや、バーチャルなテンプレートに係る画像を付随するプリンタ２９で印刷させることができる。得られる印刷物は、電子的乃至バーチャルなテンプレートに係る画像、即ちバーチャルな窓部に使用者発の画像が組み込まれている印刷物は、実体のある窓部に使用者発の画像が収まるかたちで、その店舗で実際に売られているフレーム内に飾られる。また、画面上のバーチャルな窓部３０６，３０８，３１０には、静止画、動画乃至その組合せを表示させうる。テンプレートの一部たる背景部３１２の色乃至模様は、様々な素材に似せることができる。例えば、使用者自身が購入しようとしている実体的なフレームの素材に似た模様にすることができる。使用者は、その表示を見ることで、自分が指定乃至提供した画像がその窓部に割り当てられたときにそのフレームがどのような外観乃至印象になるかを、画像組込済テンプレートの印刷前に確認することができる。必要なら、本発明に係るソフトウェアが上述の如く本システム２６上で稼働している状態で、テンプレートの選択、画像の指定等をやり直すこともできる。画面上に表示されるテンプレートの形状は、使用者が、卵形、菱形、台形、方形、不定形等、様々な形状のなかから任意に指定することができる。表示画面におけるテンプレート内窓部３０６，３０８，３１０の形状、配置、個数、位置等も任意に設定することができる。上述の如くこのシステム２６に接続されているローカルディスプレイ６６の画面には、そうした指定に従いテンプレート及び画像が表示される。窓部に表示される静止画乃至動画の外観を引き立てるため、テンプレートの背景部３１２に背景装飾用の静止画乃至動画３２０，３３０が配されることもある。その場合、実際のフレームとしては、ディジタルフォトフレーム回路で制御される表示部及び印刷画像が組み込まれる部分を幾つかずつ有するものが使用されることになろう。例えば、窓部３０６，３０８，３１０のうち幾つかが液晶ディスプレイ、ＯＬＥＤディスプレイ等の電子ディスプレイ、他の幾つかが印刷画像装飾枠になっているフレームである。窓部３０６，３０８，３１０のうち幾つかで静止画乃至動画を固定表示させる一方、他の幾つかで表示を変化させることも可能である。表示される静止画乃至動画の遷移、即ちそれまでの表示画像から新たな表示画像への切り替わりが生じるタイミングを、窓部間で一致させることもずらすことも可能である。こうした構成では、システム２６内外のディスプレイ上にバーチャル表示されるテンプレートの形態や、それを構成する静止画、動画、テンプレート図案等の組合せを、生成される画像組込アイテムの外観が所望外観になるよう使用者が選択することも可能である。図示の如きバーチャルなテンプレートを例えばスタジアム内スコアボードの画面上に表示させる場合、スタジアム内の各所にあるカメラのうち幾つかからライブ映像を受け取り窓部内に表示させること等も可能である。
【００２４】
本発明の実施に当たっては、こうした画像組込アイテム乃至ディジタルテンプレートや、それに備わる個々の窓部に関し、デザイナが相応の言語、メソッド、プログラム乃至機構を用い芸術的構想を記述する。画像に関するこの構想は、図１及び図２に示すコンピュータシステム２６上でリアルタイムに自動充足される。本願では、相応の言語、メソッド、プログラム乃至機構を用いテンプレート内窓部毎に作成されるこの記述、即ち属性条件を様式に従い記述したもののことのことをレシピと呼んでいる。次に、それらについてより詳細に説明する。まず、レシピを作成するのはデザイナ、例えば芸術家、技術者、有名人、スポーツ選手等の人物である。作成されたレシピは、システム２６の使用者等が反復使用できるよう、同システム２６内の記憶／記録装置４０に送信、ロード乃至保存される。それらのうち、窓部毎のレシピ（窓部レシピ）は使用されるテンプレートに対し独立である。これに対し、同じテンプレート上の諸窓部に適用されるレシピ（テンプレートレシピ）は、組み込まれた画像を含むテンプレート全体の外観及び感触を踏まえ作成され、テンプレートレシピファイルとして保存されるのが原則である。そのファイル名は、対応するテンプレートレシピの美的効果がわかりやすい名称にするのが望ましい。ファイル名が例えば「FallColors」になっていれば、システム２６上でそのテンプレートレシピを指定、使用したとき自動発現する外観、印象がどのようなものになるか、使用者が容易に理解することができる。
【００２５】
ディジタルテンプレートの別例としては、その左側と右側に窓部があり、左側窓部・右側窓部間で属性条件乃至レシピが異なる例を挙げうる。この例における窓部レシピは、左側窓部内に「人間でない物体がカラーで写っており、且つその物体を１２０％ズームするとその窓部がいっぱいになる」、右側窓部内に「風景と共に二人の人物が写っており、顔占拠面積が各人共２０％であり、且つ各人の顔が２０％程左寄りに位置している」等の属性条件を定めるものになる。これらの属性条件をめいめい充足させるためには、例えば、そのコンピュータシステムからアクセス可能な複数枚の画像それぞれを、後述する情報処理プログラムの実行によって調べればよい。具体的には、まず、属性条件に対する適合性の度合い（適合性スコア）を画像毎に、且つバーチャルなテンプレート内窓部毎に求める。次いで、諸保存画像のなかで窓部別且つ画像別の適合性スコアが最高のものをプログラムに従い窓部毎に自動特定する。これは、そうした最高スコア画像ならばその窓部に係る属性条件群を最も好適に充足するであろう、といえるからである。この動作により、ほとんど使用者が介在することなく、全ての窓部に画像が自動割当されることとなる。使用者に求められるのは、専ら、コンピュータシステムに対し幾枚か分の画像データを提示することだけである。例えば、自前画像ファイル集又はその一部が格納されているフラッシュメモリをメモリスロット４６に装着するか、自前画像ファイル集又はその一部が所在するネットワークサーバの在処をコンピュータシステムに伝えればよい。それを受け、コンピュータシステムはそのメモリ乃至サーバから画像を読み込み、読み込んだ画像をテンプレート内に割り当てる。また、使用者がお気に入りの画像を幾枚か指定した場合は、どのような画像がお気に入り画像として指定されたかが、コンピュータシステムにおけるテンプレート自動選択の基準や画像未割当の窓部に画像を割り当てる際に、その指針として使用される。
【００２６】
適合性スコア算出用のプログラムは、諸窓部に対する画像の割当が最適になるよう作成される。ここでいう最適な割当とは、ディジタルテンプレート全体に亘る適合性スコアの総和（テンプレートスコア）が最高になる割当のことである。適合性スコア導出時には可識別乃至可計測な特性、例えば主題の素性・大きさ、写っている顔の個数・大きさ・向き・表情・年齢・性別、支配的な色、模様解析結果、物体照合結果、タイムスタンプ等を使用する。タイムスタンプは、特定の季節に撮影された画像を検索し効率的に見つけ出すのに役立つ。本願では、画像に備わるこうした多様な特性のことをメタデータ、それを指定するタグのことをメタデータタグ、画像データに関連付けて記録されていてその記録先から抽出乃至取得できる静的なメタデータのことを基本メタデータと呼んでいる。基本メタデータの記録は、一般に、使用者がカメラを操作したときや、撮影済画像のファイルを使用者がコンピュータシステム上で開いて保存するときに行われる。ディジタルカメラで画像を撮影する際には、大抵、タイムスタンプ、焦点設定、ファイル名、ＧＰＳ（汎地球測位システム）測位データ等のメタデータが、その画像に係るファイル関連付けて記録される。本願では、更に、カメラ内コンピュータ、ハンドヘルドデバイス、ワークステーション、キオスク、ラップトップコンピュータ等のシステム上で画像データのファイルを処理し相応のアルゴリズムに従いその画像の特性を抽出することで得られるメタデータのことを、拡張メタデータと呼んでいる。画像特性抽出用のコンピュータアルゴリズムとしては、例えば、特許文献２５（発明者：Ｌｏｂｏ  ａｎｄ  Ｋｗｏｎ，名称：人物画像データにおける自動顔特徴検出及び顔年齢分類(Automatic Feature Detection and Age Classification of Human Faces in Digital Images)）記載の画像データ内人物顔年齢推定アルゴリズム、非特許文献１記載の表情判別アルゴリズム、非特許文献２記載のディジタル性別推定アルゴリズム等を使用する。この参照を以て各文献の全内容を本願に繰り入れることにする。次に、本発明におけるレシピ乃至属性条件の役割についてより詳細に例示説明することとする。
【００２７】
まず、宝物として大切にされる写真の多くは人物画像、即ち人物を主題とする画像であるので、属性条件を充足させる上で人物が重視されることが多い。その点、特許文献２６（発明者：Ｃｈｅｎ，  Ｎｉｃｐｏｎｓｋｉ  ａｎｄ  Ｒａｙ）、非特許文献３又は非特許文献４には、個々の画像における顔の位置及び大きさをコンピュータを使用し探し出す方法が記載されている。この参照を以て各文献の全内容を本願に繰り入れることにする。非特許文献３に記載の方法は、顔有り画像及び顔無し画像からなるトレーニングセットを準備した上で、そのトレーニングセット内の全画像を利用し単純なハール様ウェーブレット弱分類子を導出する、というものである。画像内諸領域を顔領域と非顔領域とに分類する処理は、弱分類子単独ではともかく、弱分類子を多数束ねることで生成される強分類子ならば実行可能である。その分類に当たっては、画像上にある大きさの窓を想定し、その窓を画像全体に亘り縦横に移動させることで画像内の顔領域を探し出す。その後は、窓を拡げた上でその画像を再び走査する。こうした動作を反復していけば、その画像から様々な大きさの顔が漏れなく見つかるはずである。その実行には多大な情報処理能力が必要であるので、画像の統合等の最適化や弱分類子のカスケード化等で高速化を図る必要があろう。とはいえ、この方法であれは、画像における顔の位置や大きさを漏れなく検出可能である。また、様々な非変形性物体、例えば人物、菓子、風船、学帽、車、ボート等の位置及び大きさを検出する際にもこれを応用可能である。
【００２８】
顔が見つかったら、然るべくトレーニングされたニューラルネットワーク、サポートベクタマシン等の分類手段を用い目、鼻、口等といった特徴物の在処を検出し、次いで目、睫、顎等の鋭角部分や頬の輪郭を人体測定学的制約条件に基づく幾何学的規則に従い検出する。非特許文献５にはその人体測定学的制約条件の例が、非特許文献６には目、鼻、唇、輪郭、睫等様々な顔特徴の所在特定に使用可能な能動形状モデルが記載されている。この参照を以て両文献の全内容を本願に繰り入れることにする。全特徴が検出された後は、目や口の開閉の別、笑顔、満足顔、泣き顔、怯え顔、真顔、仏頂面等をはじめとする表情、向き等を、非特許文献７に記載の人体測定学的制約条件依拠性幾何学的モデル等に従い判別する。この参照を以て同文献の全内容を本願に繰り入れることにする。それら、表情乃至向きに関する情報を、対応する画像のメタデータ中に保存することで、本発明では、デザイナがメタデータタグを用い窓部レシピを「真剣な面持ちで左側を見ている人物の画像」等の如く具体的に記述すること、即ち画像組込アイテムのニュアンスを子細に定めることができるようにしている。
【００２９】
画像から顔が見つからなかったら、大抵は、その画像の主題が人物でないか、人物ではあるが顔を認識できなった、ということである。その際には、主題検出アルゴリズム、例えば１９９８年１２月３１日付米国特許出願第０９／２２３８６０号に記載のそれが役に立つ。この参照を以て同出願の全内容を本願に繰り入れることにする。これは、画像の主題を検出して対応するメタデータに保存するアルゴリズムである。レシピに従いそのメタデータに当たれば、個々の窓部に美しく当てはまる画像を検索できよう。例えば、「指定した物体が写っている」との属性条件がレシピ内で規定されている場合に、それに該当する画像を、対応するメタデータにおけるその物体への言及を頼りに検索することができよう。即ち、画像データベースに登録されている諸画像のメタデータに対する検索で、検索条件に合致するメタデータを伴う画像を探すことができよう。その上で、所定の評価手順に従いその画像を調べればよい。評価手順としては、例えば、ディジタルテンプレート内窓部の属性条件に対する画像の適合性を調べるものを使用する。
【００３０】
主題検出アルゴリズムとしては画像分割法も使用可能である。これは、その特性、例えば色や模様が均質な小領域へと画像を細分し、その細分で形成された小領域同士を類似性計測結果に基づき統合し、形成された大領域の重要度に関しアルゴリズミックに評価する、というアルゴリズムである。その評価には二種類の独立且つ相補的な重要度評価子、即ち構造的重要度評価子(structural saliency feature)及び意味的重要度評価子(semantic saliency feature)を使用する。構造的重要度評価子は、各画像内領域に備わる可計測な特性、例えばその位置、大きさ、形状、対称性等を調べることによって求まる。意味的重要度評価子は、画像内に前景として現れやすいことが知られている物体乃至領域、例えば碑、建物、人物等や、背景として現れやすいことが知られている物体乃至領域、例えば空、草等に関する予備知識を、色、輝度、模様等の計測結果に基づき表したものである。その取得には、例えば、文献によく記載されているアルゴリズミックな処理で主要特徴、例えば肌、顔、空、草、樹木等を識別する手法を使用すればよい。そして、それら二種類の重要度評価子に関するデータを、非特許文献８記載のベイズネット内で統合することで、その画像における主題の所在を最終判別する。この参照を以て同文献の全内容を本願に繰り入れることにする。即ち、諸領域に関する意味論的且つ確率的な予備知識を、目の前の構造的重要度評価子と併せ、ベイズネット内で統計的確率樹に結合することで、個々の物体乃至領域がその画像の主題に分類される蓋然性又は背景に分類される蓋然性を導出する。この主題検出アルゴリズムによれば、主題の所在に加えその主題の大きさも求まる。
【００３１】
デザイナは、レシピの作成を通じ、ディジタルテンプレート及びそれを構成する様々な窓部について属性条件を定め、それをコンピュータシステム内の記憶／記録装置に保存させることで、単一の画像組込アイテムに対し幾通りかの美的乃至実用的外観を創造的に創案する。本願記載のコンピュータシステムを個人向け販売に使用する小売店では、使用者向けに表示、販売される画像組込アイテムの外観を、保存されているテンプレートを利用し、ときどきの季節、休日、行事等に見合ったものへと変化させることが可能である。レシピの作成は、この種の製品サービスを提供する店舗からデザイナ乃至有名人へと依頼することも、デザイナから許諾を受け店舗側で行うこともあろう。使用者が気に入っている画像をコンピュータシステム上で自動解析し、それに備わるテーマ乃至外観を画像毎に調べて相応のテンプレートを選定することで、画像組込アイテムの外観を芸術的に整えることもあろう。本発明は、使用するテンプレートに相応しい画像群を初期選択する形態でも、使用する画像の特性を調べその結果に基づきテンプレートを初期選択する形態でも、好適に実施可能である。いずれの形態でも、基本乃至拡張メタデータをテンプレートレシピに照らして両者間の適合性を調べるのは同じである。更に、使用者が気に入っている画像又はそのコレクションから特性を抽出し、それをテンプレート内の他の窓部に係る窓部レシピに組み入れる形態でも好適に実施可能である。
【００３２】
画像データの情報コンテンツ、例えば人数、表情、色等をコンピュータシステム上で解析し、テンプレートレシピ乃至窓部レシピの基礎をなす芸術的構想との関連で適合性スコアを求めることも可能である。ここでいう芸術的構想とは、主に、デザイナ即ち画像レイアウトの愉快化・魅惑化に習熟した人物による画像レイアウトの構想のことである。デザイナの芸術的構想は、個人向けの実体的な画像組込アイテム、例えばコラージュ、フレーム、フォトブック等や、前述の画面表示型アイテムをはじめとする個人向けの表示画像遷移型画像組込アイテム、例えばディジタルフォトフレーム、カメラ等の場合、使用者にとり快適、新規、愉快、啓発的乃至懐古的なアイテムにすることにおかれるであろう。ただ、様々な大きさの画面が使用される商用の表示画像遷移型画像組込アイテムでは話が別物になってくる。そうした商用アイテムの例としては、まず、ショウウィンドウ内に配した大型乃至小型ディスプレイの画面上に商品ラインナップを魅力的・魅惑的に入替表示するディジタル店頭ディスプレイを挙げうる。主題及び関連性に従い画像を分類表示するニュース掲示板や、スポーツ会場内やその近傍等に集った観衆を不断に撮影して効果的な画像を選別表示するスポーツ会場内掲示板例えばスコアボード等、ユーザインタラクティブディスプレイも商用アイテムの一例であろう。ユーザインタラクティブディスプレイとは、多々あるライブ動画や既存のライブラリ内画像を利用し表示コンテンツを更新するディスプレイ、例えば在来型のマウス、キーボード等や触覚インタフェース等を介した使用者からの入力に基づき更新するディスプレイや、使用者の表情・行動を電子的に検出しつつ特定の反応が誘起される画像種別を判別して自動更新するディスプレイのことである。いずれにせよ、デザイナの芸術的構想に係る適合性スコアが求まったら、その値が最高となった好適な画像群が、その画像組込アイテムに表示され又は組み込まれるべき画像群として自動的に選択される。適合性スコアは双方向的であるので、指定されたテンプレートに係る適合性スコアが最高の画像群を選ぶ形態でも、指定された画像乃至画像群に係る適合性スコアが最高のテンプレートを選ぶ形態でもよい。個人向け画像組込アイテムを生成する場合は、適合性スコアが上位ｎ位以内の画像、テンプレート乃至レシピをコンピュータシステム内の使用者向けディスプレイ上に表示させ、表示されているもののうち任意のものを使用者が入力デバイスの操作で指定し、コンピュータシステムに伝える、という形態も採りうる。
【００３３】
レシピの作成を通じ美的外観が定められたら、画像組込アイテム内窓部それぞれに画像を割り当てる。これに使用可能な手法は幾通りかある。その一例は、バーチャルなディジタルテンプレート内の窓部それぞれに、画像データベース上に存する諸画像のなかで窓部別且つ画像別の適合性スコアが最高のものを割り当てる、というものである。テンプレート内窓部の個数及びデータベース内画像の枚数が共にｎならその組合せを網羅的に調べてもかまわないが、テンプレート内窓部がｎ個でデータベース内画像がｍ枚（但しｍ＞ｎ）だと組合せの個数が嵩むからである。この手法では、対応する窓部レシピに対する画像の適合性スコアを窓部毎且つ画像毎に自動算出した上で、個々の窓部に対しそのスコアが最高の画像を割り当てる。その結果、同一の画像に関し複数個の窓部が競合する状況になった場合は、それらの窓部のなかで加重係数が最高のもの、即ち最も重要なものにその画像を割り当てるようにする。後に詳示する通り、テンプレート内窓部に付されている加重係数の値は、そのテンプレートにおけるその窓部の優先度に対応している。同様に、同一の窓部に関し複数枚の画像が競合する状況になった場合は、メタデータフィールドのうちその画像に対するアクセス回数が記録されているフィールドを参照し、それらの画像のうち１枚をその窓部に割り当てるようにする。当該複数枚の画像から乱数的に１枚を選択するアルゴリズムでも、同様の競合を解決することができる。加重係数と画像及びテンプレート内窓部との関係については後により詳細に説明する。
【００３４】
テンプレートレシピに基づく画像割当には画像分割法(image splitting)も使用可能である。これは、使用者から提示される１枚の画像に個々のレシピを適用し、その画像の各部を別々の窓部に割り当てる手法である。この手法では、例えば、新郎新婦が一緒に写った画像１枚が入力された場合、その画像に相応のレシピを適用することで、画像中の新郎部分が例えば右側窓部、新婦部分が例えば左側窓部に割り当てられる。デザイナは、例えば、そのレシピを然るべく作成し保存させることで、同じ写真内で二人の人物が占めるべき面積及び位置並びに両者の間隔に関する条件を定める。また、この手法は、アイテム作成の依頼に添えられている画像群を前述の手法に従い解析し、そのアイテムに係る芸術的構想が充足されるよう適合性スコアが最高の画像を採用する形態にて実行可能である。その適合性スコアが所定のしきい値を上回る画像がない場合に新たなレシピを自動選択して同じ処理を繰り返すよう、そのアルゴリズムを策定するのが望ましい。
【００３５】
画像分割法使用時には、主題の在処や詳細な周囲状況について知っておくことがしばしば必要になる。それらがわかっていれば、デザイナは、「３個あるテンプレート内窓部のうち左側にある大きな窓部には主題が写っている顔有り画像、右側にある小さな２個の窓部には主題が写っていない暗い色の顔無し画像」等といった条件を記述し、テンプレートレシピとして保存させうる。主題例えば人物を検出するアルゴリズムと併せ、画像を細分するアルゴリズムをコンピュータシステム上で稼働させることは、デザイナが作成したテンプレートレシピに含まれる属性条件を充足させ画像を美しく分割する上で有用となろう。更に進んだ画像分割法としては、非特許文献９記載のシームカービングで画像内低エネルギ領域を判別する、というものもある。この参照を以て同文献の全内容を本願に繰り入れることにする。画像内低エネルギ領域は分割に適した領域であるので、デザイナは、それを大きな手助けとしてテンプレートレシピを作成すること、ひいては魅力的な画像表示を提供することが可能である。
【００３６】
デザイナは、画像組込アイテム３００及びそれに備わる個々の窓部に適用しうるよう、予めテンプレートレシピを作成しそれをテンプレートレシピファイルとして保存させる。例えば、窓部毎に窓部レシピファイルを作成しその集まりをテンプレートレシピファイルとして保存させる。それらのファイルはコンピュータシステム上で作成、実行される。その実行により様々なパラメタ、例えば風景モード・ポートレートモードの別、彩り・赤み・青み、人物・顔・主題の存在・大きさ・場所・周辺環境等に関し調べることが可能となる。
【００３７】
そうした物体の大きさを正しく特定する手法としては、画像内物体の大きさ及び位置をある種の可変指標を単位として測る比定(relative measurement)アルゴリズムを使用可能である。このアルゴリズムに則ったプログラムに従い稼働するシステムでは、画像内物体例えば顔、主題等の幅又は高さをその単位として使用する。その使用により、例えば、人物が一人入る窓部に関し「顔の占拠面積が２０％であり、その顔の左側及び上側に各二単位及び一単位の隙間があり、顔乃至主題の右側に二単位以上に亘り淡色模様付画像領域があり、且つその顔の下側に二単位以上に亘りその人物を覆う濃色のシャツ、ブラウス又はドレスがある」との属性条件を定め窓部レシピファイルとして保存させることが可能である。属性条件をこのような形態で定め、後刻の反復使用に備えコンピュータストア内に窓部レシピとして保存させることで、デザイナはその創造性を大いに発揮可能である。
【００３８】
窓部レシピに応じた画像の割当方としては、ある種の得点システムに従い且つ対応する窓部レシピ群に対し画像毎に適合性スコアを求め、そのスコアが諸画像のなかで最高の画像をその窓部に割り当てる、という割当方もある。この動作は、例えば、コンピュータシステム上であるアプリケーションが起動されたときに自動的に開始され、そのコンピュータシステムからアクセス可能な場所に存する画像群に基づき使用者の介在無しに実行される。使用者は、多くの画像を漏れなくチェックする等といた面倒で時間のかかる作業から解放される。しかも、自動的に生成される画像組込アイテム３００の質は、多くの場合、素人の使用者では達成できない水準のものになる。熟練したデザイナの手で外観が設計されているからである。無論、使用者がディジタルテンプレートや画像の自動選択を嫌う場合もあろう。そうした場合、使用者は、アプリケーションソフトウェアから提供されるオプションのうち相応のものを指定することで、システム側から自分の許へと制御を移し、マニュアル操作でのオーバライドに進むことも可能である。使用者は、また、市販されている種々の画像編集ソフトウェアを使用し画像にスケール変更、位置変更、再切除、再拡張又は修正を施すことや、バーチャルなテンプレート内窓部に自前画像を割り当てさせることも可能である。
【００３９】
次に、窓部レシピの一例をそのコードセグメント
<MetaDatum Label="EastmanKodakCompany" Tag="Orientation" Datum="1" />
<MetaDatum Label="EastmanKodakCompany" Tag="OrientationWeight" Datum="20" />
<MetaDatum Label="EastmanKodakCompany" Tag="FacialCloseToNum" Datum="3" />
<MetaDatum Label="EastmanKodakCompany" Tag="FacialCloseToNumWeight" Datum="10" />
<MetaDatum Label="EastmanKodakCompany" Tag="Favorite" Datum="1" />
<MetaDatum Label="EastmanKodakCompany" Tag="FavoriteWeight" Datum="10" />
<MetaDatum Label="EastmanKodakCompany" Tag="Resolution" Datum="2431800" />
<MetaDatum Label="EastmanKodakCompany" Tag="ResolutionWeight" Datum="100" />
<MetaDatum Label="EastmanKodakCompany" Tag="OffsetLeft" Datum="1" />
で示す（「EastmanKodak」は登録商標；以下注記省略）。これは、例えば、ディジタルテンプレートに複数個備わる窓部のうちある１個に関する記述である。
【００４０】
このコードセグメントでは、個々のエントリが「<」，「>」で括られている。そのうち属性条件を規定するエントリの多くに、加重係数を指定するエントリが後続している。一行目にある「Orientation」条件は撮影モードに関する属性条件であり、この例ではその値「Datum」として「1」、即ち風景モードを示す値が指定されているので、個々の画像がこの条件に対し呈する適合性スコアは、撮影モードが風景モードなら１、ポートレートモードなら０になる。ポートレートモードの画像を求める際には値「Datum」を「0」にすればよい。なお、この例でも後掲の例でもエントリの記載順序は任意である。スコア算出用の加重係数についてはまた後に説明する。
【００４１】
「FacialCloseToNum」条件は、顔個数が指定値に近い画像を求める属性条件である。この例では指定値「Datum」が３であるので、個々の画像がこの条件に対し呈する適合性スコアは、その画像における顔個数がちょうど３なら１、２又は４なら０．５、１又は５なら０．２５、０なら０、６なら０．１２５、そして７以上なら適合性スコア＝１／（２＾（顔実数−顔所要数））なる式で求まる値となる。この式中、顔所要数とは、対応する指定値に相当する顔個数（ここでは３）のことである。これに類似するが指定値域又は指定値規則が異なる別の属性条件を課すこともできる。顔個数が指定値と等しい画像を求める「FacialNumExact」、顔個数が指定値以上の画像を求める「FacialGreaterThanEqualToNum」、顔個数が指定値以下の画像を求める「FacialLessThanEqualToNum」等の条件である。
【００４２】
「Favorite」条件は、その画像乃至画像群が使用者のお気に入り画像であることを求める属性条件である。個々の画像がこの条件に対し呈する適合性スコアは、その画像がお気に入り画像なら１、それ以外は０となる。無論、これとは異なる指定値割当規則を窓部乃至テンプレートレシピに導入することも可能である。
【００４３】
「Resolution」条件は、解像度が指定値以上の画像を求める属性条件である。この例では指定値が「2431800」であるので、対応する加重係数に応じたスコア上乗せが実行されるのは、その画像の解像度＝幅方向画素数×高さ方向画素数が２４３１８００以上の場合である。個々の画像がこの条件に対し呈する適合性スコアは、その画像を構成する画素の総数が指定値以上なら１、それ以外なら０となる。
【００４４】
これらの属性条件エントリに後続するエントリでは加重係数、即ち画像毎の総スコアを求める際にその画像の重要度として参照される数値がデザイナによって設定されている。これを属性値に乗ずると属性条件毎の加重値が求まり、その加重値を諸属性条件に亘り総和すると画像毎の適合性スコア、即ちその画像についての評価指標が求まる。自明な通り、諸属性条件に対する諸画像の適合性は様々な手順で評価可能であり、そのためのプログラムは本発明の実施形態向けに容易に作成可能である。最高スコア画像は、対応する窓部レシピを最も好適に充足する（窓部に最適な）画像として扱われる。また、加重係数エントリを伴わない属性条件には加重係数のデフォルト値１０が自動的に適用される。対応する加重係数が１０超なら重要度が高い属性条件、１０未満なら重要度が低い属性条件である。１００以上なら充足必須の属性条件として扱われる。単に「属性」と呼ばず「条件」を付していることからわかるように、属性条件の性質はその属性に帰する加重係数によって違う。対応する加重係数として１００ならそれは充足必須、といった具合である。例えば、上掲のコードセグメントでは「ResolutionWeight」係数の値が「100」、即ち解像度に関する加重係数が１００であるので、その窓部に割り当てられうるのは画素数が２４３１８００以上の画像だけである。
【００４５】
これら、上掲のコードセグメント内の諸エントリは、最後のものを除き窓部別且つ画像別の適合性スコア算出に関連している。最後のエントリ、即ち「OffsetLeft」エントリはディジタルテンプレート乃至窓部の仕様を設定する仕様エントリの一種であり、画像の選択には関わらないので加重係数エントリと対にされていない。この種のエントリでは最高スコア画像、即ちバーチャルなテンプレート内窓部に割り当てられることとなった画像に指定値相当の変形を施せ、と指示される。選択された画像がこれに従い微細調整、例えばレイアウト調整を受けることから、この種のエントリは一種の後処理エントリであるといえる。上の例では、テンプレート内窓部へのバーチャル組込に先立ち主題の位置を三分割法左側分割線上に移せ、と指示されている。三分割法とは、多くの人々に受けがよくバランスのとれた写真が得られる、との定評がある写真構図法であり、コンピュータシステム２６上でソフトウェア的に実行可能である。三分割法では、縦線及び横線を２本ずつ用い画像上に３×３等間隔格子を設けた上で、着目中の主題がそれら４本の分割線のうちいずれかの上に来るよう画像を変位させる。三分割法による画像変形に当たっては、このほか、「OffsetRight」、「OffsetTop」、「OffsetBottom」、「OffsetUL」、「OffsetUR」、「OffsetLL」、「OffsetLR」等の仕様を適用可能である。前四者を適用すると、４本ある分割線のうち対応するものの上に主題が来るよう画像が変位する。後四者を適用すると、４個ある分割線間交点のうち対応するもの上に主題が来るよう画像が変位する。テンプレート仕様設定例えば選択後レイアウト調整には、このほか、個別主題乃至顔の位置乃至大きさ修正、画像全体の見栄え修正等の芸術的乃至美的効果を求める様々な処理、例えば「Sepia」、「B/W」、「colorful」、「light」、「highContrast」、「soft」、「cartoonization」、「emboss」等の仕様を使用可能である。
【００４６】
本発明では、画像を対応する基本メタデータ中でお気に入り画像乃至主画像に指定することや、その画像を画像組込アイテム上の目立つ場所で使用させること、その画像に対しその指定前後に施すべき特別又は独特な処理をタグで指定すること、その画像に備わる画像属性乃至属性群の主要特性に関し且つ属性条件指定を通じ他窓部内画像を従える主窓部向け画像に指定すること等も可能である。例えば、ディジタルテンプレートの中央に大きな窓部を設け、その窓部の属性条件を然るべく定めることで、その窓部をそのテンプレートの主窓部に指定し、使用者のお気に入り画像乃至主画像のうち１枚をそこに割り当てさせることが可能である。その窓部に割り当てられるのは、ソフトウェアに従い稼働中のコンピュータシステム２６から促され使用者が指定した画像か、対応する基本メタデータ中で主画像等と指定されている画像となろう。他のテンプレート内窓部については、主窓部との指定も従窓部等との指定も可能である。ソフトウェアに従い稼働するシステム２６で主窓部向け画像を検索、発見できるよう画像ファイルに随伴するメタデータにお気に入り画像乃至主画像該非情報を含ませることも可能である。既述の通り、使用者がお気に入り画像乃至主画像を幾枚か指定することや、対応するテンプレート内窓部におけるお気に入り画像の位置を使用者が指定することや、多数の画像をお気に入り画像に指定すること、ひいてはテンプレート乃至窓部レシピにて然るべく定められた属性条件に従い他の画像属性を選択条件として使用しお気に入り画像からの選出をソフトウェア的に自動実行させることも可能である。主窓部に隣接する他の窓部向けに、その窓部に係る窓部レシピに従いコンピュータソフトウェアに画像を自動選択させることも可能である。窓部レシピには、お気に入り画像の指定に使用しうる属性条件として、保存されている画像から検出された色、階調等の類似性等に係る条件を盛り込むことが可能である。
【００４７】
先にそのコードセグメントを示した窓部レシピでも、画像が満足すべき属性条件として、「お気に入り画像に指定されている」との条件に加え「風景モードで撮影されている」、「集合写真；好ましくは３名の人物を含む写真である」並びに「解像度が２４３１８００画素以上でなければならない」の諸条件が規定されており、これらが全て満たされると満点の適合性スコア＝４０が得られる。これは、属性毎に求めた加重値を窓部間で総和することで得られる。なお、同例では「ResolutionWeight」係数の値が「100」となっているが、「100」なる値は条件の相対的重要度を示す値ではなく「その解像度が必須であるので特別扱いせよ」とソフトウェアに指令するための値であり、実際にその値が加重されることはないので留意されたい。また、同例ではデザイナが他の諸属性条件（加重係数＝１０）に比べ撮影モードに係る属性条件（加重係数＝２０）を重視していることが、対応する加重係数の値からわかる。
【００４８】
デザイナは、こうした属性条件及び加重係数を同例の如くＸＭＬを用いキー値対として記述した後、自分の美的目論見を実現する手段の一つとして用いられることとなるよう、コンピュータシステム内の装置例えば記憶／記録装置４０にレシピの定義ファイルとして格納させる。そうしたレシピのうち、テンプレート内窓部毎に属性条件を定めるものを窓部レシピ、同一グループ名で括られる窓部群が共通して満たすべき属性条件を一通り又は複数通り定めるものをグループレシピ、同一テンプレート名で括られるテンプレート内窓部全てが満たすべき属性条件群を定めるものをテンプレートレシピと呼ぶ。それらは、「テンプレートレシピよりもグループレシピが優先し且つグループレシピよりも窓部レシピが優先する」等といった優先順位に従い適用される。デザイナが定めうるテンプレートレシピの例としては、各窓部に人物画像が収まることを求めるレシピ
<MetaDatum Label="EastmanKodakCompany" Tag="FacialGreaterThanEqualToNum" Datum="1" />
<MetaDatum Label="EastmanKodakCompany" Tag="FacialGreaterThanEqualToNumWeight" Datum="100" />
を掲げうる。
【００４９】
対応する加重係数が１００であるため、このレシピに係る属性条件は充足必須なものである。そのため、アクセス可能な種々の画像データベースを対象とした自動検索ソフトウェアの実行でこの属性条件を満たす画像が見つからなかった場合、コンピュータシステムは、この属性条件が満たされ得ない旨を使用者に通知する。また、このレシピ内の加重条件エントリを省いた場合、本発明の好適な実施形態では、加重係数のデフォルト値＝１０が自動適用されることとなる。以下の例では、記述の簡明化のため、加重係数エントリに関する記述を省略することとする。
【００５０】
個々の窓部に係る属性条件を窓部レシピで然るべく定めることで、タイムスタンプ、デートスタンプ、ＧＰＳ測位データ、カメラパラメタ等の使用者定義タグがある特定の値をとる画像を、その窓部に割り当てさせることも可能である。次に例示する諸エントリ
<MetaDatum Label="EastmanKodakCompany" Tag="DateMin" Datum="10/20/2008" />
<MetaDatum Label="EastmanKodakCompany" Tag="TimeMax" Datum="21:00" />
<MetaDatum Label="EastmanKodakCompany" Tag="Date" Datum="10/20/2008" />
<MetaDatum Label="EastmanKodakCompany" Tag="GPS" Datum="(44.613934,-110.558167)" />
<MetaDatum Label="EastmanKodakCompany" Tag="GPSRadius" Datum="75.5m" />
<MetaDatum Label="EastmanKodakCompany" Tag="ISO" Datum="400" />
<MetaDatum Label="EastmanKodakCompany" Tag="Title" Datum="Disney" />
は、いずれもそうした属性条件を定めるものであり、窓部レシピ内で任意に併用することができる（「Disney」は登録商標；以下注記省略）。
【００５１】
例示した属性条件のうち１個目は撮影日が指定値以降の画像を求める条件、２個目は撮影時刻が指定値以前の画像を求める条件である。「DateMax」条件及び「TimeMin」条件もこれに倣い指定することが可能である。「DateMin」条件の値「Datum」は、この例では「月／日／年」様式で指定されているが、世間で通用している他の諸様式、例えば「日／月／年」様式で指定する仕様を使用してもかまわない。「月／日／年」様式の一部だけが埋まったかたち、例えば値「Datum」のうち「日」部分が省略された「10//2008」等のかたちにしてもかまわない。また３個目の属性条件は日付の一致を求める「Date」条件である。「Time」条件もこれに倣い指定することが可能である。日付の一致を求めるのに代え周知休日への該当を求めることも可能である。例えば、値「Datum」を「ThanksGiving」、「MemorialDay」等にすることで、感謝祭、戦没将兵記念日等の日を指定することも可能である。「Time」条件では、値「Datum」を「Noon」、「Midnight」等にすることで、正午、真夜中等を指定することが可能である。更に、例示した属性条件のうち４個目は座標値に関する条件、５個目はそこから撮影場所までの距離に関する条件である。この例の場合、両条件によって、イエローストーン国立公園内のある観光スポットにほど近く、７５．５ｍ以内にあるキャンプ場で撮影された画像が要求されることとなる。また、６個目の属性条件は、画像撮影時のカメラ状態のうちＩＳＯ値に関する条件である。同様にして、焦点距離、Ｆナンバ等のカメラ状態を子細に指定することも可能である。そして、最後の属性条件は、特定の使用者乃至第三者を提供元とするメタデータが付された画像に限る、との条件である。この例の場合、対応する基本メタデータ中に「Disney」なる文字列がある画像に限られることとなる。同様に、ある窓部向けの画像を使用者による指定に従い「UncleJoe」即ちジョーおじさんの写真に限ることも可能である。そのメタデータ内で使用先が特定のテンプレート乃至テンプレート群に限定された画像を、ある特定のウェブサイトから探すよう、キオスク用のアプリケーションソフトウェアに求めることも可能である。例えば、使用者又はその友人のＦａｃｅｂｏｏｋ（登録商標；以下注記省略）アカウント上にあり「UncleJoe」なるメタデータを伴っている画像を求めるエントリや、Ｆｌｉｃｋｒ（登録商標；以下注記省略）上にありメタデータ「sunset」を伴っている画像を求めるエントリを設けることが可能である。使用するソフトウェアが然るべく作成されていれば、そのコンピュータシステムからアクセス可能なウェブサーバ上にある該当アカウントを自動的に検索し、指定されたメタデータを伴う画像を見つけ出すことができよう。自コンピュータシステム内、分散ネットワーク上で連結している他のコンピュータシステム内、或いはネットワーク経由でアクセス可能な他のサーバ上に、画像組込アイテム作成に際し使用者が組み合わせうる画像が登録されたローカルなカスタムデータベースを構築してもよい。
【００５２】
公私の別を問わず、そうした画像データベース上では、そのコンテンツを示すタグが画像に付されているものである。それらは、個人向けの画像組込アイテム３００を作成するに当たり利用可能である。タグとして使用されるコンテンツの例としては、「beach」、「palm trees」等の一般的語句、「KodakPremium」等の商品名付一意識別子、特定の有名人との権利関係乃至関連を示す「FamousDesigner」等の語句、「WalmartSummer2008」等の店舗広告構成語句、といったものを挙げうる。１個の窓部に対し複数個の「Title」条件を課すこと、例えば値＝「Disney」のものに加えて値＝「FamousDesignerFall2008Collection」のそれや値＝「ColorfulLeaves」のそれを課すことも可能である。そうした条件をレシピ内で課すことで、有名人が自分の名前を付け認証した最新の画像組込アイテム３００を購入するよう使用者に働きかけることや、認証元の有名人へと使用料を自動的に転送させることが可能となる。再三再四来店するよう使用者に訴えることで、ある特定の有名人、デザイナ、スポーツ選手乃至人物の名で提供される商品や、ある特定のイベント例えばＷｏｒｌｄＳｅｒｉｅｓ２００９コレクションにて提供される最新の商品を、その使用者に購入してもらうことも可能である。
【００５３】
また、窓部レシピ及びグループレシピは、その作成の仕方次第で、様々な種類のテンプレートレシピをもたらしうるものである。例えば、バーチャル絵本を制作する際には、絵を時間的な順序通りに並べねばならないことがしばしばである。絵本用のディジタルテンプレートに備わる個々の窓部にこのルールを緩く適用させるには、そのテンプレートに適用されるグループ乃至テンプレートレシピに次のようなエントリ
<MetaDatum Label="EastmanKodakCompany" Tag="Date" Datum="W1>=W0" />
を設けると共に、対応する加重係数を緩めの適用に適する小さめの値に設定すればよい。
【００５４】
ここで例示したのは、指定する窓部「W0」内の画像に比べデート乃至タイムスタンプが大きい画像（後刻の画像）を自窓部「W1」向けにするよう求める属性条件である。なお、「W」の引数「i」は窓部識別用の整数コードである。使用者から提供される画像を時間順通りに並べて絵本を制作する、というルールを他の属性条件に比しどの程度優先的に適用させるかは、このエントリに対応する加重係数エントリでの加重係数設定で調節可能である。時間順通りに並べることを必須としたい場合は、個々の窓部に関し、この加重係数を１００に設定すればよい。
【００５５】
色に関する所定の属性条件を満たす画像が個々のテンプレート内窓部に割り当てられるよう、「ColorIntent」条件を窓部レシピ内で課すことも可能である。次に示す諸エントリ
<MetaDatum Label="EastmanKodakCompany" Tag="ColorIntent" Datum="Cool" />
<MetaDatum Label="EastmanKodakCompany" Tag="ColorIntent" Datum="Cyan" />
<MetaDatum Label="EastmanKodakCompany" Tag="ColorIntent" Datum="150,220,75" />
<MetaDatum Label="EastmanKodakCompany" Tag="ColorIntent" Datum="W0" />
がその例である。
【００５６】
これらの色属性条件のうち１個目は値「Datum」として「Cool」、「Warm」等の語句を、２個目は「red」、「green」、「blue」等の語句を、３個目は２４ビットＲＧＢコードを使用する類のものである。２４ビットＲＧＢコードを使用する例では、社名ロゴ、ｐａｎｔｏｎｅ（登録商標）色等の所与色設定に整合するよう色属性条件を規定することができる。一番複雑なのが最後の条件である。即ち、値「Datum」が「Wi」形式を採るこの条件は、その値「Datum」でした窓部内の画像から基本色を抽出し、その色に類似又は関連する色を基本色とする画像を自窓部に割り当てよ、と求めている。
【００５７】
既に例示説明した通り、その画像属性が属性条件を満たす画像は、そうでない画像に比べ高い適合性スコアを呈する。最高スコア画像は、更なる選出後修正を経て窓部に割り当てられることとなる。最後の属性条件の場合、それに対する適合性スコアが最高とされるのは、指定した窓部「W0」に係る画像の基本色（例えば暖色系）に対する色の近接度が最高の画像である。この窓部向けに最終的に選出された画像は更なるチェック及び修正を受ける。即ち、他窓部「W0」内の画像のそれと同様の暖色系基本色を呈するよう、必要に応じ色調整を受けることになる。
【００５８】
階調に関する所定の属性条件を満たす画像が個々のテンプレート内窓部に割り当てられるよう、「ToneIntent」条件を窓部レシピ内で課すことも可能である。次に示す諸エントリ
<MetaDatum Label="EastmanKodakCompany" Tag="ToneIntent" Datum="Light" />
<MetaDatum Label="EastmanKodakCompany" Tag="ToneIntent" Datum="Low" />
<MetaDatum Label="EastmanKodakCompany" Tag="ToneIntent" Datum="W0" />
<MetaDatum Label="EastmanKodakCompany" Tag="ToneIntent" Datum="~W0" />
<MetaDatum Label="EastmanKodakCompany" Tag="ToneIntent" Datum="W0|W1" />
<MetaDatum Label="EastmanKodakCompany" Tag="ToneIntent" Datum="~(W0|W1)" />
がその例である。
【００５９】
これらの属性条件のうち、１個目は「light」、「dark」等の語句、２個目は「High」、「Low」、「Normal」等の語句で示されるコントラスト属性を画像に求める類のものである。３個目は「ColorIntent」タグでのそれと類似している。即ち、他窓部「Wi」を参照する形式を採るこの条件は、参照先の窓部に割り当てられた画像から基本階調特性を抽出し、その特性に類似又は関連する階調特性を基本階調特性とする画像を自窓部に割り当てよ、と求めるものである。この種の条件は、お気に入り画像の指定に絡めないで使用することも可能だが、お気に入り画像の指定に絡めて使用すること、例えばお気に入り画像から色情報や階調情報を抽出しその結果に基づき他の諸窓部に係る属性条件を規定する、といった形態で使用することも可能である。これは強力なプログラミング手段である。その利用により、例えば、同じディジタルテンプレート上で使用される全画像の色及び階調を、ある特定の基準画像のそれに整合させることも可能となる。その基準画像としては、同じテンプレート上で使用される画像のほか、同じテンプレート上で使用されない画像も使用可能である。基準画像として塗装見本、布、室内画像等のアイテムを用いてもかまわない。
【００６０】
この種の属性条件は他の業務でも使用可能である。例えば、学校の卒業アルバムを作成する際、個々の卒業写真が収まる窓部に相応の窓部レシピを関連付けることで、そのアルバムに収まる写真の色及び階調を基準画像のそれに一致乃至整合させることも可能である。同じことは広告の分野でもいえる。例えば、メールオーダカタログや毎週恒例の店舗チラシを作成する際、ページレイアウトを規定する窓部レシピでこの種の条件を課し画像間コントラスト差を抑えることが可能である。ディジタル店頭ディスプレイでも同様の属性条件規定が有益となろう。
【００６１】
４個目の属性条件では「Wi」形式の指定値に「~」が付されている。これは、指定した窓部内の画像から階調特性を抽出し、それと逆の階調特性を有する画像を割り当てよ、との条件である（基本色についても同様の指定が可能である）。従って、指定した窓部内の画像が高コントラスト画像なら自窓部には低コントラスト画像が割り当てられる。即ち、指定した窓部内の画像が高コントラストなほど自窓部内の画像は低コントラストになる。
【００６２】
５個目の属性条件ではｎ個の窓部「Wi1」〜「Win」（但し「i1」〜「in」は整数）が「Wi1|Wi2|…|Win」形式でつながれている。これは、それらの窓部「Wi1」〜「Win」内の画像から階調特性を抽出し、抽出した特性の画像間平均を求め、それに似た階調特性を有する画像を割り当てよ、との条件である（基本色についても同様の指定が可能である）。続く６個目の属性条件ではｎ個の窓部「Wi1」〜「Win」が「~(Wi1|Wi2|…|Win)」形式でつながれている。これは、窓部「Wi1」〜「Win」内の画像から階調特性を抽出し、抽出した階調特性の画像間平均を求め、それと逆の階調特性を有する画像を割り当てよ、との条件である（基本色についても同様の指定が可能である）。
【００６３】
こうして色や階調に関する属性条件を課すことで、デザイナは、窓部間で画像の色乃至階調コンテンツを似通わせること、異ならせること、また両形態を適宜交えることが可能である。自明な通り、上掲の二例を変形して対象を他の属性条件に拡げること、例えば模様、色彩、季節、年内時刻、日内時刻、人物、鮮明度、雑音等の条件に拡張することも可能である。
【００６４】
ある窓部内にある画像の色、階調、鮮明度、切除（クロッピング）等に関し使用者が入力デバイスの操作でマニュアル調整を施せる状況では、こうした属性条件を然るべく規定することで、同じアイテム内の別の窓部内にある画像の色、階調、鮮明度、切除等に関する調整を自動実行させることが可能である。例えば、窓部「W1」内画像のそれと同一のコントラスト比を有する画像を窓部「W5」に割り当てよ、と求める属性条件を課しておけば、使用者が窓部「W1」内画像のコントラスト比をマニュアル調整で高めた場合に、窓部「W5」内画像のコントラスト比が属性条件に従い自動的に上方調整されることになる。また、使用者は、この自動調整の実行を避け入力デバイス操作で調整する途を採ることも可能である。
【００６５】
画像内の物体や場面の検知に関わる属性条件を窓部レシピ内で課すことも可能である。例えば、個々の窓部に割り当てられるべき画像に関し、次の如き諸エントリ
<MetaDatum Label="EastmanKodakCompany" Tag="Object" Datum="Balloon" />
<MetaDatum Label="EastmanKodakCompany" Tag="Theme" Datum="Fall" />
<MetaDatum Label="EastmanKodakCompany" Tag="Similar" Datum="W1" />
を窓部レシピ内に設けることができる。
【００６６】
これらの属性条件のうち１個目は、指定した物体が写っている画像を求める趣旨の条件である。この例ではその物体として「Balloon」が指定されているが、「BirthdayCake」、「SoccerBall」、「Dog」等も指定可能である。この種の条件は、サッカーの試合やバースデイパーティで撮影された画像を漏れなく探し出すのに役立つ。２個目の属性条件は、指定したテーマに関する画像を求める趣旨の条件である。テーマとしては「city」、「colorful」、「dreamy」等も指定可能である。この種の条件は、どのような雰囲気の画像をその窓部に割り当てるべきかを定めるのに使用可能である。そして、最後の属性条件は、指定した窓部「W1」内の画像に対する類似度が高い（よく似ている）画像を求める趣旨の条件である。指定した窓部内の画像に対する類似度が低い（あまり似ていない）画像を求める属性条件を課す際には、その窓部名に「~」を付ければよい。複数個ある窓部それぞれに収まる画像間で平均を求め、その平均に対する類似度が高い（又は低い）画像を割り当てよ、と求める属性条件を課す際には、それらの窓部の名称同士を「|」でつなげばよい。類似度としては、多々ある有用な画像属性のなかでもＲＧＢヒストグラム統計値、特にχ自乗解析の結果や低解像度画素間相関指標等が有用、高速且つ実用的であるといえよう。後者のなかで特に実用的なのはマハラノビス距離、エッジマップ相関の二種類である。マハラノビス距離は色チャネル間相関を勘案した標準偏差類似の指標であり、エッジマップ相関は（６４×９６画素以下の低解像度画像を対象に）ソーベルフィルタによる基準画像の微分と他の諸画像の微分とを対照することで求まる相関である。複雑な意味論的情報を使用するより複雑な類似度指標も使用可能である。
【００６７】
物体や光景に関わる属性条件を、例えば次の如き諸エントリ
<MetaDatum Label="EastmanKodakCompany" Tag="Location" Datum="Beach" />
<MetaDatum Label="EastmanKodakCompany" Tag="SceneContains" Datum="Snow" />
を用いレシピ内で課すことも可能である。
【００６８】
これらのうち前者の属性条件は、指定した場所分類に該当する画像を求める趣旨の属性条件である。場所分類としては、「Beach」のほか「Water」、「City」、「Indoors」等も指定可能である。個々の画像がどのような場所・光景分類に属するのかは、その画像のデータを対象にして光景分類計算を実行することで導出可能である。また、後者の属性条件は、指定した物体乃至状況を捉えた画像を求める趣旨の条件であり、画像選択上の更なる拘束条件となっている。物体乃至状況としては、「Snow」のほか「Water」、「Sky」、「Foliage」、「Dirt」、「Skin」等も指定可能である。後者の条件は信念マップを利用した実現が可能である。指定値が「Snow」即ち雪となっているので、このエントリに対する返り値は、雪が見あたらない画像については０となる。雪が多く写っている画像、即ち雪に係る画素の比率が多い画像では、同じくその返り値が大きめの値になる。空(sky)検出については特許文献２７（発明者：Ｇａｌｌａｇｈｅｒ，  ｅｔ  ａｌ．，名称：ディジタルカラー画像からの空検出(Detection of Sky in Digital Color Images)）、藪(foliage)検出については非特許文献１０にその例が記載されている。この参照を以て両文献の全内容を本願に繰り入れることとする。
【００６９】
人物に関する属性条件を規定するエントリ、例えば次の如き諸エントリ
<MetaDatum Label="EastmanKodakCompany" Tag="AgeLessThanEqualToNum" Datum="2" />
<MetaDatum Label="EastmanKodakCompany" Tag="FacialPose" Datum="Left" />
<MetaDatum Label="EastmanKodakCompany" Tag="FacialExpression" Datum="Angry" />
<MetaDatum Label="EastmanKodakCompany" Tag="EyesOpen" Datum="1" />
をレシピ内に設けることも可能である。
【００７０】
これらの属性条件のうち１個目は、年齢が指定値以下の人物を捉えた画像、具体的には２歳以下の人物を捉えた画像を求める条件である。「AgeGreaterThanEqualToNum」、「AgeCloseToNum」等の条件もこれに倣い課しうる。２個目の属性条件は、写っている人物が指定値相当方向を向いている画像、具体的には左側に向いている画像を求める条件である。この条件は、人物が正面以外を向いていること、例えば別の窓部へと向いていることが望まれる場合に使用可能である。３個目の属性条件は、写っている人物が指定値相当の表情乃至態度を示している画像を求める、との条件である。この例ではその表情乃至態度として「angry」が指定されているが、「sad」、「surprised」、「happy」、「smile」、「neutral」等の表情を捉えた画像を求めることも可能である。そして、最後の属性条件は、写っている人物の目が開いている画像を求める趣旨の条件である。これと類似する属性条件を課すこと、例えば出身民族、性別、髪色、髪型、瞳色、肌色、身長、年齢、顔飾り（サングラス等）、髪飾り（ヘアバンド等）、髭、口の開閉等に関する条件を課すことも可能である。こうした諸特徴は、本件技術分野で習熟を積まれた方々（いわゆる当業者）にとり周知のアルゴリズム又は既に説明済のアルゴリズムに則り検出乃至評価することが可能である。
【００７１】
顔認識結果に基づき人物の画像を割り当てさせるエントリ、例えば次に示す諸エントリ
<MetaDatum Label="EastmanKodakCompany" Tag="PersonID" Datum="UncleJoe" />
<MetaDatum Label="EastmanKodakCompany" Tag="PersonID" Datum="W0" />
も設けることができる。
【００７２】
これらの属性条件のうち前者は、指定した人物「UncleJoe」が写っている画像を自窓部に割り当てよ、と求める条件である。これを充足する画像は、個々の画像に係る基本メタデータに当たることによって、或いは付随する顔認識データベースを参照し該当するメタデータを抽出することによって発見可能である。自明な通り、その結果を拡張メタデータとして保存すればよいので、この抽出処理を再実行する必要はない。昨今では、顔認識機能のあるカメラや画像処理ソフトウェアパッケージも多く存在している。また、後者の属性条件は、指定した窓部「W0」内の画像に写っている人物が写っている画像を自窓部に割り当てよ、と求める条件である。これは、複数個のテンプレート内窓部間に備わるべき属性条件的関連性、特に画像内登場人物の関連性を一般的な形態で規定する類のものである。この種の条件を課すことで、例えば、ある人物が大きく写っていてお気に入りに指定されている画像をテンプレート中央の窓部に割り当てさせる一方、それと同じ人物がどこかに写っている画像をその周辺の諸窓部に割り当てさせることが可能である。
【００７３】
更なる画像選択に関連し次の如き諸エントリ
<MetaDatum Label="EastmanKodakCompany" Tag="AspectRatio" Datum="1.5" />
<MetaDatum Label="EastmanKodakCompany" Tag="WindowShape" Datum="Oval" />
をレシピ内に設けることも可能である。
【００７４】
これらの属性条件のうち前者は、アスペクト比（高さに対する幅の比率）が指定値「1.5」の窓部に割り当てうる画像を求める、との条件である。後者は、指定した形状（この例では卵形）を有する窓部に割り当てうる画像を求める、との条件である。これらの条件を併せて課した場合、個々の画像を対象とした適合性スコアの算出対象がその卵形の部分だけとなる。「WindowShape」条件の値としては、この例における「Oval」のほか、「Rectangle」、「Circle」、「Pentagram」、「Hexagon」、「RoundedCornerRectangle」等、様々な形状を指定可能である。また、これら「AspectRatio」及び「WindowShape」条件による形状指定は、併用されている他のタグ、例えば「PersonID」、「FacialCloseToNum」等のタグ下での適合性スコア算出にも適用される。例えば、その画像がアスペクト比＝１．５で顔を５個含む方形画像であったとしても、指定された窓部形状が卵形(oval)で、その卵形のなかに収まる顔の個数が３個であるのなら、その画像についての適合性スコアは顔が３個であるとして算出されることとなる。
【００７５】
レシピ内で、これに類する条件を窓部１個当たり複数組課すことも可能である。この形態では、同一の窓部に重複適用される複数組の属性条件のうち、記載順序が後の条件群が最上位の条件群として扱われることとなる（「Order」条件使用時を除く）。ある同一の窓部に二組の条件を重複適用する例としては、次に示す第１条件群
<MetaDatum Label="EastmanKodakCompany" Tag="AspectRatio" Datum="0.5" />
<MetaDatum Label="EastmanKodakCompany" Tag="WindowShape "Datum="Oval" />
<MetaDatum Label="EastmanKodakCompany" Tag="PersonID" Datum="UncleJoe" />
<MetaDatum Label="EastmanKodakCompany" Tag="PersonID" Datum="AuntSuzie" />
<MetaDatum Label="EastmanKodakCompany" Tag="FacialEqualToNum" Datum="2" />
を適用した後、次に示す第２条件群
<MetaDatum Label="EastmanKodakCompany" Tag="AspectRatio" Datum="0.5" />
<MetaDatum Label="EastmanKodakCompany" Tag="WindowShape" Datum="InverseOval" />
<MetaDatum Label="EastmanKodakCompany" Tag="FacialEqualToNum" Datum="0" />
<MetaDatum Label="EastmanKodakCompany" Tag="Location" Datum="Sand" />
を適用する例があろう。
【００７６】
この例では、まず第１条件群で「幅が高さの半分の窓部に割り当てうる」、「卵形の内側に割り当てうる」、並びに「写っている人物がジョーおじさんとスージおばさん(AuntSuzie)の二人である」の諸属性条件が課され、次いで第２条件群で「幅が高さの半分の窓部に割り当てうる」、「卵形の外側に割り当てうる」、「人物が写っていない」並びに「砂(sand)が写っている」の諸属性条件が課されている。従って、適合性スコア算出には卵形領域の外側も使用されることになる。
【００７７】
これらの二例、即ち画像を窓部中央に配してその窓部をできるだけ埋めることを想定した例と異なり、窓部を各種コラージュ風に埋めていくことを想定したエントリ群を、個々の窓部に関し設けることも可能である。例えば、サブ窓部の位置［Ｘ，Ｙ］、幅及び高さを指定する次のようなエントリ群
<MetaDatum Label="EastmanKodakCompany" Tag="SubWindowX" Datum="0" />
<MetaDatum Label="EastmanKodakCompany" Tag="SubWindowY " Datum="0.5" / >
<MetaDatum Label="EastmanKodakCompany" Tag="SubWindowW" Datum="1" />
<MetaDatum Label="EastmanKodakCompany" Tag="SubWindowH" Datum="0.5" />
を、個々の窓部レシピ内に設けることである。
【００７８】
この例では、その窓部レシピに対する適合性スコアが最高の画像が、対応する窓部の下半分にはめ込まれる。「SubWindowX」、「SubWindowY」、「SubWindowW」及び「SubWindowH」の諸条件に係る指定値の値域は０〜１．０の範囲である。ここでは（０，０）を左上隅、（１，１）を右下隅と取り決めているが、これとは別の取り決めも使用可能である。そして、こうしたサブ窓部に対し、次に例示する諸エントリ
<MetaDatum Label="EastmanKodakCompany" Tag="Feather" Datum="0.1" />
<MetaDatum Label="EastmanKodakCompany" Tag="Order" Datum="0.75" />
で縁飾り幅や順位指定を施すことも可能である。
【００７９】
この例では、画像の縁飾り幅に関する属性条件として「Feather」条件が課されている。窓部の幅に対する縁飾り幅の比率はその指定値で任意に指定可能である。また、「Order」条件の値はその窓部に収まる画像の優先順を小数で表したものであり、その値が大きい窓部ほど上位とされ、その窓部内の画像が手前側に来ることとなる。例えば、同じ窓部に係るどのレシピでも「Order」条件に係る指定値を欠く場合や、同じ窓部に係る別々のレシピ内にうり二つな「Order」条件がある場合には、両レシピのうち後登場のものが先登場のものより上位とされる。「Order」条件に係る指定値を欠くレシピは、当該指定値がデフォルト値即ち０であると見なされる結果、同じ窓部に係る後登場のどのレシピよりも下位のレシピとして扱われることとなる。このように窓部の形状、内外、位置及び順位について指定することが可能なスクリプト言語は、有能なデザイナに相応しい強力な言語であるといえよう。
【００８０】
レシピ内に、画像内の特定領域を括り出すエントリを設けることも可能である。例えば、空、雪、肌、藪等の画像内領域をその色、位置等で判別し、背景領域をそこに模様がないことを以て判別するエントリである。次に例示する諸エントリ
<MetaDatum Label="EastmanKodakCompany" Tag="SelectSkyInverse" Datum="0" />
<MetaDatum Label="EastmanKodakCompany" Tag="SelectFace" Datum="50" />
<MetaDatum Label="EastmanKodakCompany" Tag="BackgroundColor" Datum="W0" />
は、該当する領域を自動的に括り出した上で、その領域の属性を他領域の属性と連携させ又はそれで置換させるものである。
【００８１】
これらの仕様のうち１個目は、空非該当領域の透明度を指定値相当、空該当領域の透明度を１００％にした画像を割り当てる仕様である。ここでは指定値が「0」となっているので、空非該当領域の透明度が０％、空該当領域の透明度が１００％となる。従って、その窓部内で、この画像を別のレシピを満たす別の画像より手前に置いた場合、前者の空該当領域を後者の対応部分で置き換えた（後者を背景とした）画像がその窓部内に現れる。使用するのを「SelectSky」仕様に変えれば、空非該当領域の透明度が１００％と見なされ表に現れなくなる。また、２個目の仕様は、顔領域の透明度を指定値相当、顔非該当領域の透明度を１００％にした画像を割り当てる仕様である。ここではその指定値が「50」となっている。従って、その窓部内で、この画像を別のレシピを満たす別の画像より手前に置いた場合、透明度＝５０％の顔を透かし透明度＝５０％で背景が見える画像が現れる。この条件と併せ、別の画像に対する「SelectFaceInverse」仕様を使用することで、２個の顔を交互に発現させることも可能である。この処置即ち顔スワップの効果を強めるには、先に例示したエントリのうちいずれかを使用し顔の輪郭線を厳密に特定しておけばよい。そして、最後の仕様は、指定した窓部「W0」に係る画像の基本色に見合った色の背景領域を割り当てる仕様である。背景領域は、非特許文献９に記載の画像エネルギが低い領域として画像から検出可能である。この参照を以て同文献の全内容を本願に繰り入れることにする。
【００８２】
１個目の仕様は、美的乃至実際的に重要な適合的モンタージュを作成するのに便利である。特殊な美的効果を発生させる際、例えば画像の空乃至背景に画像乃至文字列が入った広告用ポスタを作成する際にも便利である。２個目の仕様も、芸術的な効果を発生させるのに便利である。不適切な表情、目閉じ、首傾げ等を呈している顔を適切なそれに置き換えるのにも便利である。その他の商業目的、例えばモデルの頭部が客の子供の頭部に置き換わって表示されるタイプの店舗チラシを作成する際にも使用されうる。オンライン広告を個々の家族向けにカスタマイズすること、例えばその家族向けに売り込み商品をカスタマイズすること、家族が纏っている衣服、操作している装置、眺めている距離等をカスタマイズすること等も可能である。Ｆａｃｅｂｏｏｋ等のソーシャルネットワーク上でこの種の仕様を使用すれば、享楽用乃至商用のカスタムスライドショウも作成可能である。そして、最後の仕様は、そのアイテムのテーマやデザイナの構想に密着した最終製品が得られるよう、先行する適合的なレシピの流れに沿うかたちで使用されうる。例えば、背景の模様や色をお気に入り画像のそれに揃えることや、窓部内で主題が目立つよう背景を透明乃至白色にすることが可能である。
【００８３】
窓部レシピ内に、顔、主題等、特定物体の大きさ及び位置をある種の単位を用い指定する諸エントリ、例えば
<MetaDatum Label="EastmanKodakCompany" Tag="FacialEqualToNum" Datum="1" />
<MetaDatum Label="EastmanKodakCompany" Tag="FacialEqualToNumWeight" Datum="100" />
<MetaDatum Label="EastmanKodakCompany" Tag="FaceSize" Datum="0.5" />
<MetaDatum Label="EastmanKodakCompany" Tag="FaceLocation" Datum="Center" />
を設けることも可能である。
【００８４】
これらの属性条件のうち、１個目は指定した個数の顔を含む画像を自窓部に割り当てよとの条件であり、２個目は１個目の条件が充足必須であるとの条件である。この例では顔個数が１個に指定されているので、顔個数が０個又は２個以上の画像がその窓部に割り当てられることはない。顔個数がちょうど１個の画像が見つからなかった場合は、そのままジョブを終了させるか、使用者に通知する、その属性条件に対するオーバライドを求める、割り当てるべき画像の指定を求める等、使用者に何らかの介在を求めるようにする（この点は充足必須たる他の属性条件が満たされなかった場合も同様である）。また、３個目の属性条件は、画像内顔占拠率が指定値「0.5」の画像を求める条件である。この条件に対する画像の適合性スコアは、指定値相当の占拠率（５０％）に対する実際の占拠率の違いが小さいほど高く、大きいほど低くなる。その算出式としては１−ａｂｓ（指定値相当の占拠率−実際の占拠率）なる式を使用しているが、対数関数、ガンマ関数等の非線形関数を用いた式も使用可能である。顔個数及び顔占拠率が指定値に近い画像ほど適合性スコアが高くなる評価式であればよい。テンプレート内窓部に割り当てられるのは、この評価の結果適合性スコアが最高とされた画像、例えば顔個数が１個で顔占拠率が５０％に最も近い画像である。割当が決まった画像に後処理を施すこと、例えばその窓部における顔占拠率がちょうど５０％になるよう修正することも可能である。そして、最後の属性条件は、その顔の位置がその窓部の中央を占めることを求める条件である。これら、「FaceSize」乃至「FaceLocation」条件の記述に当たり、他窓部例えば「W0」を参照するかたちで値を指定すること等も可能である。それにより、その窓部に現れる画像での顔の大きさ乃至位置を、他のテンプレート内窓部「W0」に組み込まれるお気に入り画像でのそれに似通わせること等が可能となる。更に、顔の大きさ及び位置が重要な場合には、「FaceSize」乃至「FaceLocation」条件における他窓部「W0」の参照の仕方をより高度なかたち、例えば
<MetaDatum Label="EastmanKodakCompany" Tag="FaceSize" Datum="W0*0.8" />
のかたちにすることも可能である。
【００８５】
ここで例示した属性条件は、他窓部「W0」内画像中の顔に比し８０％の大きさで顔を捉えた画像を自窓部に割り当てよ、と求める条件である。顔が複数個ある画像に関しては、それらの顔の平均的な大きさ及び全体での重心が、「FaceSize」乃至「FaceLocation」条件によって参照されることとなる。「W0|W1|W2」形式を用い、窓部「W0」、「W1」及び「W2」を通じた顔の平均的な大きさ等を参照することも可能である。また、「FaceLocation」条件の値としては、上掲の「Center」のほか、「UpperLeft」、「UpperRight」、「LowerLeft」、「LowerRight」等、三分割法に則った値や、「Upper」、「Lower」、「Left」、「Right」等の値も指定可能である。「FaceLocation」条件では他窓部「W0」を
<MetaDatum Label="EastmanKodakCompany" Tag="FaceLocation" Datum="W0*HorizMirror" />
の如く参照することで、顔位置を鏡像反転させることも可能である。
【００８６】
ここで例示したエントリは、窓部「W0」内画像における顔位置が例えば上から１／３なら自窓部内画像における顔位置が下から１／３になるようにせよ、と求めている。また、他窓部「W0」でのそれを基準にして顔位置を定めるため
<MetaDatum Label="EastmanKodakCompany" Tag="FaceLocation" Datum="W0+0.2H-0.3V" />
の如くずれを指定することも可能である。
【００８７】
ここで例示したエントリは、窓部「W0」内画像における顔位置に対し自窓部内画像における顔位置が右に２０％、下に３０％ずれるようにせよ、と求めている。これと同様の値指定は、画像から検出される顔に限らず、顔以外の主題についての大きさ及び位置指定にも使用可能である。
【００８８】
次に、図４〜図６を参照し、特定の窓部向けの窓部レシピに対する諸画像の適合性を調べる処理について説明する。まず、図４に、写真フレーム等の個人向け画像組込アイテムを作成するに当たりある窓部に適用される窓部レシピの例を示す。属性条件として規定されているのは、「お気に入り画像である」（加重係数＝２０）、「２個の顔を含む」（加重係数＝４０）、「顔が前向きである」（加重係数＝２０）並びに「屋内画像である」の諸条件である。最後にある２個のエントリは、ディジタルテンプレート乃至窓部に対する仕様設定又は後処理に関するものであり、画像をより分ける手がかりではないので、加重係数エントリと対にはされていない。また、この例では、使用者が自分のお気に入り画像を幾枚か指定し、バーチャルなテンプレート上の任意個所、例えば人目を引く窓部への割当候補にすることができる。図６に、検索の対象となる一群の画像の例を示す。この図の左半にはｎ枚の画像があり、図４に示した窓部レシピに対する適合性はその画像それぞれについて調べられることとなる。説明の便宜上、ここでは、２枚目の画像６２０及びｎ枚目の画像６４０を使用者が予めお気に入り画像に指定済であるとする。
【００８９】
図５に、窓部レシピに対する適合性を画像毎に調べる方法を示す。本方法では、まず、メタデータエントリ又は意味論的アルゴリズムに従い、画像毎且つ属性条件毎に属性値を定める。属性値の値域は、０を下限、１．０を上限とする０〜１．０の範囲である。次いで、その属性値にその属性条件に係る加重係数を乗ずることで、画像毎且つ属性条件毎の加重値を求める。そして、その加重値を諸属性条件に亘り総和することで、窓部別且つ画像別の適合性スコアを求める。その適合性スコアが最高の画像が、そのレシピに対する適合性が最高の画像と見なされる。
【００９０】
図中、１個目の属性条件はお気に入り画像であることを求める条件である。そのため、同条件に係る属性値は、画像６２０及び６４０では１、画像６１０及び６３０では０となる。それらに同条件に係る加重係数を乗ずることで、画像６１０、６２０、６３０及び６４０に係る加重値が求まり、順に０、２０、０及び２０という値になる。
【００９１】
「FacialCloseToNum」条件は顔個数が２個の画像を求める属性条件である。残念なことに、どの画像も顔個数が２個でなく過多又は過少であるため、同条件に係る属性値はどの画像でも０．５となる。同条件に係る加重係数が４０であるため、それを属性値に乗じて求まる加重値は、４枚あるどの画像でも２０となる。
【００９２】
「FacialPose」条件は顔がいずれも前向きの画像を求める属性条件である。同条件に係る属性値は、顔方向推定ソフトウェアで導出されたピッチ角及びヨー角（度単位）を（１００−（ピッチ角＋ヨー角））／１００の式に代入し、その値域が０〜１．０の範囲に正規化されるようその結果を打ち切ることで得られたものである。従って、加重値はピッチ角＝ヨー角＝０の場合に最大になり、それ以外の向きではより小さな値になる。
【００９３】
「Location」条件は屋内光景を捉えた画像を求める属性条件である。同条件に係る属性値は、ＩＳＯ、露出時間及びフラッシュ有無に関するメタデータタグ、藪色画素や空色画素をはじめとする主立った意味論的情報、並びにその光景全体の色温度に基づき、屋内外推定ソフトウェアで導出された値であり、その光景の屋内らしさを表している。この例の画像では、１、２、３、ｎの順に属性値が１、０．７、０．２５、１、加重値が９、７、２．５、１０となっている。
【００９４】
画像別の適合性スコアは、こうして画像毎且つ属性条件毎に求めた加重値を画像毎に総和したものである。この例の画像では、１、２、３、ｎの順に、画像別適合性スコア６１５、６２５、６３５、６４５（図６参照）の値が４９、６７、４２．５、５５と求まる。そのうちの最高値は６７、即ち画像６２０に係る値である。この画像６２０、即ち図４に示した窓部レシピを最もよく充足する画像が、その窓部に割り当てるべき画像６５０として選択される。
【００９５】
そして、この画像６５０には、図４の窓部レシピ中で最後に記載されている２個のエントリに従い後処理が施される。ここでは「OffsetUR」仕様、即ち顔位置が三分割法の右上交点に来るよう画像を調整する処理や、「FaceFill」仕様、即ち窓部の幅に対する顔の大きさの比が２０％になるよう画像を調整する処理が指定されている。図６に模式的に示すように、これら二種類の処理６６０を施したものが最終的な画像６７０となる。
【００９６】
後処理としては、このほか、画像の色、階調、鮮明度等を調整する処理や、他窓部内の画像に対する色、階調、コントラスト比等の違いを調整する処理を、例えば
<MetaDatum Label="EastmanKodakCompany" Tag="AutoEnhance" Datum="1" />
<MetaDatum Label="EastmanKodakCompany" Tag="Contrast" Datum="<W0" />
等のエントリで指示することができる。
【００９７】
これらの仕様のうち１個目は、画像を自動的に修正乃至拡張して自窓部に割り当てるものである。同様にして「AutoNeuralBalance」、「AutoColorBalance」、「AutoContrast」、「AutoSharpness」、「AutoZoomCrop」等の仕様も適用可能である。例えば「AutoZoomCrop」仕様を適用した場合、切除しても高い適合性スコアが維持される限りで、またその画像組込アイテムに相応しい解像度が維持される限りで、画像の縁付近にある小さな顔も自動切除されることになる。また、２個目の仕様は、画像のコントラスト比を窓部「W0」のそれ未満にして自窓部に割り当てる仕様である。同様にして「Colorfulness」、「Brightness」、「Sharpness」等の仕様も適用可能である。自窓部に割り当てられる画像のコントラスト比は、指定値「Datum」が「>W0」なら窓部「W0」のそれより大きくなり、「>>W0」なら遙かに大きくなる。
【００９８】
「>」、「<」等の記号を使用した記述、例えば
<MetaDatum Label="EastmanKodakCompany" Tag="AgeCloseToNum" 'Datum=">W0" />
<MetaDatum Label="EastmanKodakCompany" Tag="AgeCloseToNum" 'Datum=">(W0+10)" />
<MetaDatum Label="EastmanKodakCompany" Tag="AgeCloseToNum" 'Datum="<(W0+30)" />
の如きレシピ記述は、コンテンツの窓部間相対指定に便利である。
【００９９】
これらの属性条件のうち１個目は、窓部「W0」内画像に写っている人物より年長らしき人物を捉えた画像を自窓部に割り当てよ、との条件である。遙かに年長、と指定する際には記号「>>」を使用すればよい。両者の違いはソフトウェア上で随意且つ容易に定義可能である。例えば、５歳違いなら「>」に該当、１５歳違いや２０歳違いなら「>>」に該当、といった具合である。また、それに続く２個の条件は、窓部「W0」内画像に写っている人物より１０〜３０歳年長らしき人物を捉えた画像を自窓部に割り当てよ、との条件である。このように、記号「>」、「>>」、「<」及び「<<」にずれ指定、平均化記号「|」及び論理反転記号「~」を併用する、という手法は、デザイナにとり重宝な手法である。
【０１００】
本発明では、上述のように、様々な画像属性、様々な属性値を使用し実施することが可能である。本願中に明示がなくても、何らかの適合性を見いだせるものであればよい。コンピュータ用や携帯デバイス用のアルゴリズムの発展につれ新たなメタデータが画像に付されることとなった場合、そうしたメタデータも検索対象に含めうる。タイムスタンプのように調べやすいメタデータに限らず、風船の有無のように調べにくいものでもかまわない。いずれにしても、ソフトウェアへのレシピ読込時に属性条件リストが作成されるので、画像組込アイテム３００の作成に当たり参照すべきメタデータを画像毎に特定可能である。
【０１０１】
本発明では、窓部レシピの適応性も活用可能である。例えば、ある使用者が、自宅の一室を改装していて、その部屋の壁に画像組込アイテムを飾りたいと思い至ったとする。この場合、その使用者は、本発明の実施に資するソフトウェアが稼働中の小売店内キオスクに塗装見本を持ち込み、コンピュータシステム２６に備わるセンサ３８にそれを読み取らせればよい。そうすれば、色や模様に関する属性条件を全般的に満たした壁掛け型の装飾用画像組込アイテムが得られる。塗装見本でなくフレームやマットの現物を持ち込み、その走査で壁の色、模様その他の属性を定めてもよい。センサ３８としては、走査用のフラットベッドスキャナのほか、適宜校正されたウェブカメラ、ビデオカメラ等も使用可能である。枕、布団、カーテン等の室内装飾物に使用されている素材の見本を持ち込み、同様の措置を執ることも可能である。現物や見本に似合った外観の画像組込アイテムを作成することだけでなく、その背景マットを現物や見本の外観に似通わせることも可能である。そして、使用者は、壁や装飾物を撮影し、得られた画像を基準画像として提供することも可能である。使用者から基準画像として塗装見本画像「R0」、カーテン画像「R1」、枕画像「R3」及び雑誌画像「R4」の都合四種類が提供されうるのであれば、例えば、次に示す窓部レシピ
<MetaDatum Label="EastmanKodakCompany" Tag="ColorIntent" Datum="R0" />
<MetaDatum Label="EastmanKodakCompany" Tag="ToneIntent" Datum="R1|R3" />
<MetaDatum Label="EastmanKodakCompany" Tag="MattColor" Datum="R0" />
<MetaDatum Label="EastmanKodakCompany" Tag="MattTexture" Datum="R4" />
をそれらに適用すればよい。
【０１０２】
ここで例示した属性条件のうち１個目は、塗装見本画像「R0」に似合う色の画像を自窓部に割り当てよ、と求める条件である。この条件を満たすには、自窓部向けに選択されている画像の色バランスをディジタル的に中性化し、塗装見本画像「R0」の色キャストに見合う色キャストをその画像に付加すればよい。２個目の属性条件は、同様に、カーテン画像・枕画像間の平均コントラスト比に見合った階調特性を有する画像を自窓部に割り当てよ、と求める条件である。３個目の属性条件は、塗装見本画像「R0」の色に似合う色の背景マットを割り当てよ、と求める条件である。最後の属性条件は、雑誌画像の模様に似合う模様の背景マットを割り当てよ、と求める条件である。なお、この例における基準画像参照は、先に示した他窓部参照（「Datum="W0"」等の記述）とよく似た形式を採っているが、表示されるディジタルテンプレートにも仕上がった画像組込アイテムにも基準画像が現れない点で大きく相違している。
【０１０３】
また、同じ画像群に適用可能な窓部レシピを複数組設けること、例えば「FamousDesigner」条件及び「Fall2008」条件を併含するディジタルテンプレートを複数通り設けることも可能である。この場合、複数通りのテンプレートのうちいずれかが使用者側画像群に基づき選択される。例えば、スポーツ光景の画像を含む画像群が提示された場合、「FamousDesigner」条件入りテンプレートのうちスポーツを題材とするものが、画像組込アイテムの生成開始に当たりまず使用される。子供達の画像を含む画像群が提示された場合は幼児乃至児童を題材とするテンプレート、水場の画像を含む画像群が提示された場合は浜辺を題材とするテンプレートが使用される。諸テンプレートの題材名が表示されるので、使用者は、自前画像群に相応しい経緯種別に該当するテンプレートを、適用させるべきものとして手始めに指定することが可能である。個々のテンプレートに係る適合性スコアはどういった画像がお気に入り画像に指定されるかに依存しており、お気に入りに指定される画像が違えば適合性スコアも大きく異なる値になる。使用者は、プログラムに従い算出される適合性スコアが最高のテンプレートを自動適用させることも、適合性スコアが上位ｎ位以内にあるテンプレートを表示させ好きなものを自ら選ぶことも可能である。なお、使用者から提示される画像にどのような光景が写っているかを識別する手順については、本件技術分野で周知であるのでその説明を省略することにする。
【０１０４】
使用者によってお気に入りに指定された画像が複数枚ある場合は、お気に入り画像毎に適合性スコアが最高のディジタルテンプレートが表示されるか、お気に入り画像毎に適合性スコアが上位ｎ位以内のテンプレートが表示されるか、全お気に入り画像を通じ適合性スコアが上位ｎ位以内のテンプレートが表示されるか、いずれかとなろう。概ねどのような種類のテンプレートでもその対象になりうるので、画像組込アイテム３００として、画像フレーム、衣類、グリーティングカード、フォトブック等の有形アイテムに限らず、携帯電話、ＰＤＡ、コンピュータ等で稼働する無形アイテム、例えばスクリーンセーバ、ディジタルグリーティングカード、ディジタルフォトフレーム等のほか、店頭用、事務所ロビー用、スタジアム用又は個人娯楽用の自動ディジタルプレゼンテーションも作成可能である。
【０１０５】
所与の窓部レシピ群に基づき独特なテンプレートレシピを現場で合成し、そのレシピに従い所定順乃至乱数順で画像を表示させることも可能である。例えば、家庭用写真フレーム、大型電子ショウウィンドウ等のディジタルフォトフレーム上で連続実行されるスライドショウに、公私のデータベースやローカルコンピュータから画像を自動抽出する機能を持たせればよい。所望なら、窓部毎及び回毎に別々の画像が表示され、同じ画像が再表示されることがないよう、プログラム上で再表示制限を課してもよい。また、一巡毎にレシピを変化させるループプログラムを連続実行させることも可能である。一巡の間に表示されるのは上位ｘ通りの組合せ、表示順は所定順又は乱数順である。画像取得元がオンラインフォトギャラリ、例えばＦａｃｅｂｏｏｋ、Ｆｌｉｃｋｒ、Ｐｈｏｔｏｂｕｃｋｅｔ（登録商標）等である場合は、適合性スコアが高水準になる組合せの個数が安定しないので、表示する組合せの個数ｘをループプログラムの一巡毎に定めるのが望ましい。レシピ内エントリを乱数順乃至所定順で変化させる小ループを、そのループプログラム内に幾つか入れ子にしてもよい。どのレシピが使用済であるかをデータベース上に保存し、使用済レシピの再使用を防ぐことや、使用済レシピを意図的に且つ所定順乃至乱数順で再使用させることも可能である。
【０１０６】
テンプレートレシピ内の諸エントリについては、製品系列毎に作成・グループ化して事後更新を容易化するのが望ましい。属性条件については、多々ある製品系列間に構成上の類似性を持たせつつ、低価格製品では指定余地を僅かにし、中価格製品では広めにし、高価格製品では最大限に拡げるとよい。そして、属性条件毎の指定値については、画像属性読取上の上位互換性が得られるよう、検知対象外のものや評価不能なものを無視する構成にするのが望ましい。無視されるのは、例えば、旧バージョンのプログラムでは認識できない指定値（例えば風船状物体を指定する値）が、新しいデザイナのディジタルテンプレート集内で使用されている場合である。この場合、旧バージョンのプログラムでその物体を検知できないとしても、その物体が単に無視されるだけである。
【０１０７】
検知された画像属性を評価・使用する手段は多々ある。そのなかで最上位にあるのは、一組の属性条件に従い画像毎且つテンプレート内窓部毎に適合性スコアを求める適合性スコア加重算出アルゴリズムである。このアルゴリズムの狙いは、画像毎且つテンプレート内窓部毎の属性条件照合を通じ個々の窓部に相応しい（最適な）画像を見つけ出すことにある。なお、本願では、窓部レシピにて定義されていてその充足が（加重係数相応程度に）要求される画像属性のことを属性条件、画像に備わる特性のうち画像からのディジタル抽出、使用者からの提供、カメラでの生成等の形態で得られメタデータとして画像と共に保存されたもの又は現場で得られたもののことを画像属性と呼んでいる。適合性スコア加重算出アルゴリズムでは、個々のテンプレート内窓部に係る属性条件に対する個々の画像の適合性スコアを窓部毎に算出することで、その窓部に最適な画像を窓部毎に選り出す。
【０１０８】
次に、図７〜図１２Ｄを参照し、本発明の好適な実施形態に係るアルゴリズムに関し説明する。このアルゴリズムの稼働にはコンピュータシステム、例えば図１及び図２を参照して説明したシステムが使用される。使用されるのは、前述の如く使用者がコンピュータシステムとのやりとりに使用可能な入力システム５８，６８に加え、それに必要な情報を表示可能なディスプレイ５６，６６を備えていて、使用者から与えられる指示や使用者から返ってくる情報乃至回答に基づき動作しつつディスプレイ５６，６６の画面上に情報を表示させるものである。本アルゴリズムでは、図７に示すように、それらディスプレイ５６，６６の画面を使用しディジタルテンプレート選択手順を開始する（７１０）。その対象となるディジタルテンプレートは、例えば、使用者が購入可能な写真フレームを図３の如く模した形態のものである。これに続く諸ステップでは、周知のグラフィカルユーザインタフェースを用い、使用者からオプション指定や情報入力を受ける。このとき、画面上には、選択可能なテンプレートが、使用者が実際に購入可能な写真フレームに似通った形状で表示される。マグカップやＴシャツを作成する場合も、同様に、その品に似通った形状を有するバーチャルなテンプレートを使用者向けに表示させる。従って、使用者は、自分が望んでいる画像組込アイテムに自分が指定した画像を組み込んだらどのような様子になるかを、十分リアルに把握可能である。次いで、本アルゴリズムでは、テンプレートに関する様々なオプション（テンプレートオプション）をデフォルト値に初期設定した後（７２０）、テンプレート選択をシステム側に委ねるかそれとも使用者自身が介在するかを使用者に選択させる（７０５）。委ねられた場合はデフォルト設定に従いテンプレートを選択・保存してステップ１０１０へと進み（７７０）、使用者介在が選択された場合はテンプレートオプションを表示する（７３０）。その表示に応じテンプレート非選択の途が採られた場合は自動モードに戻ってデフォルト設定に従い（７１５）、テンプレート選択が行われた場合は使用者にテンプレート特性を指定させる（７４０）。それを受け（７２５）、諸特性が漏れなく指定された場合は、テンプレートが完成しているのでステップ８１０へと進み、指定漏れの特性があった場合は、その特性に関しデフォルト値を自動適用してテンプレートを完成、保存させた上で（７６０）ステップ１０１０へと進む（７８０）。
【０１０９】
翻って、ディジタルテンプレートが使用者による指定で完成している場合は画像選択手順を開始する（８１０）。この手順では、まず使用者側画像にアクセス可能な場所をその使用者に指定させる（８２０）。画像の在処としては、ローカルコンピュータからアクセス可能なデータベース、ネットワーク経由でアクセス可能なデータベース、可搬乃至非可搬型の画像記録装置等を指定可能である。それらが前もって指定乃至接続されている場合はステップ８２０を省略可能である。その後は、使用者側にお気に入り画像を指定する意向があるか否かを調べる（８０５）。ある場合は使用者にお気に入り画像を指定させた上で自動的にステップ９０５へと進み（８３０）、ない場合は画像を自動的に選択して（１２１０）選択済テンプレートへのバーチャル組込を実行する（８４０）。組み込んだら、その画像入りテンプレートを画面上に表示し、それに基づくアイテム出力の可否を使用者に判断させる（８１５）。画像入りテンプレートの使用者閲覧は省略も可能である（８６０）。使用者がアイテム出力を認めた場合（８１５）及び使用者閲覧が省かれた場合（８６０）は、そのアイテムの出力へと進む（８７０）。逆に、使用者がアイテム出力を認めなかった場合は（８１５）、別構成を有する画像入りテンプレートが得られるまで画像自動選択を再実行するか（１２１０）、或いは画像組込アイテム生成ソフトウェア内外の画像編集ソフトウェアを用い使用者制御下で画像を選択させ（８５０）、その後にアイテムの出力へと移行する（８７０）。その出力は、使用者が選択した画像組込アイテム種別に従い実行する。例えばフレームが選択されている場合なら、選択された画像をそのフレームに組み込んだものが出力され、宅配便、店舗配送等で使用者に配送されるか、画面に表示されているテンプレートに対応する現実のフレームに挿入可能な画像入り印刷物が作成されることとなる。
【０１１０】
他方、使用者にお気に入り画像を指定させた場合は、そのお気に入り画像の枚数がテンプレート内窓部の個数を上回っているか否かを本アルゴリズムに従い判別する（９０５）。上回っていると判別した場合は、そのコンピュータシステム上で指定されたお気に入り画像のなかから窓部個数相当枚数の画像を自動選出する（１２４０）。その際には、できる限り、その画像属性がテンプレートレシピ及び窓部レシピを満たすものを選出する。次いで、選出したお気に入り画像を窓部に組み込んだ上で（９１０）、そのディジタルテンプレートを表示し使用者による閲覧に供する（９１５）。自動選出されたお気に入り画像やそれらが組み込まれたテンプレートの使用者による閲覧を省いてもよい（９１２）。使用者閲覧が省かれた場合や、閲覧したテンプレート及び画像を認容するとの意志が使用者からシステム側に示された場合は、選出済のお気に入り画像が組み込まれたテンプレートに基づきアイテムを出力する（９１６）。逆に、使用者からシステム側に認容の意志が示されなかった場合は、先に述べた自動的な画像選出を再実行することで（９１０）、これまでとは別の構成を有する画像入りテンプレートを生成する。通常の設定では、窓部レシピと良好に整合していて適合性スコアが高い画像の方が選出されやすいのであるが、使用者がそれらを認容しなければ、より適合性スコアが低い画像が選出されることとなる。また、コンピュータシステムによる自動選択（１２４０）に代え使用者制御（９１４）、即ち使用者によるお気に入り画像の選出を経るようにしてもよい。後者の場合、例えば、データベースから他の画像を取得しテンプレート内の画像をその画像で置換する、という途を使用者が採りうるよう、お気に入り画像が組み込まれたテンプレートと共に相応のオプションを表示する。使用者制御下で選出されたお気に入り画像は、アイテムの出力に当たり使用される（９１６）。なお、使用者が選出可能な範囲を、ステップ８３０で指定されたお気に入り画像に限ってもよいし、使用者の許にあるデータベース上の画像全体としてもよい。
【０１１１】
使用者がお気に入りに指定した画像の枚数がテンプレート内窓部の個数以下の場合は（９０５）、本アルゴリズムに従い、そのお気に入り画像枚数がテンプレート内窓部個数と等しいか否かをそのコンピュータシステム上で判別する（９２５）。等しいと判別した場合は、そのディジタルテンプレート全体に亘る適合性スコアの総和（テンプレートスコア）が最大になるよう個々のお気に入り画像を最適な窓部に割り当て（１２３０）、その窓部内にその画像を組み込み（９４０）、そしてそのアイテムを出力する（９４６）。画像入りテンプレートを使用者向けに表示させ、使用者制御下でテンプレート乃至画像の再選択や画像の再配置を行わせるようにしてもよい（９４２）。その後はアイテム出力を実行する（９４６）。
【０１１２】
お気に入り画像の枚数がテンプレート内窓部の個数と等しくないとコンピュータシステムが判別した場合は（９２５）、本アルゴリズムに従い、後述の如く新たな画像をお気に入り画像として自動補充する（１２２０）。次いで、それら自動補充された画像を含め、選択済のディジタルテンプレートへの画像のバーチャル組込を実行する（９３０）。組み込んだら、その画像入りテンプレートを画面上に表示し、それに基づくアイテム出力の可否を使用者に判断させる（９３５）。画像入りテンプレートの使用者閲覧を省いてもよい（９３４）。使用者がアイテム出力を認めた場合（９３５）及び使用者閲覧が省かれた場合（９３４）は、そのアイテムの出力を実行する（９３６）。逆に、使用者がアイテム出力を認めなかった場合は（９３５）、画像の自動選択を再実行することで（１２２０）、それまでとは別の構成を有する画像入りテンプレートを生成する。或いは、システムによる自動選択（１２２０）に代え使用者制御（９３２）、即ち使用者による選択に移行し、その結果に従いアイテムの出力を実行するようにしてもよい（９３６）。その出力は、既に説明した同類のステップと同様、使用者が選択した画像組込アイテム種別に従い実行する（９３６）。例えばフレームが選択されている場合なら、選択された画像をそのフレームに組み込んだものが出力され、宅配便、店舗配送等で使用者に配送されるか、画面に表示されているテンプレートに対応する現実のフレームに挿入可能で個々の画像が対応する窓部に収まる画像入り印刷物が作成されることとなる。既に述べた通り、本発明に係る方法で生成可能な画像組込アイテムは多様であり、またそのアイテムが採りうる出力形態も多様である。
【０１１３】
他方、図７に示す動作では、使用者からコンピュータシステムに対し、ディジタルテンプレート自体の選択が委ねられたり（７７０）一部テンプレートレシピの指定が委ねられたりもする（７８０）。これらの場合には、図１０に示す自動テンプレート選択手順を開始し（１０１０）テンプレートを完成させる。この手順では、まず使用者側画像にアクセス可能な場所をその使用者に指定させる（１０２０）。画像の在処としては、ローカルコンピュータからアクセス可能なデータベース、ネットワーク経由でアクセス可能なデータベース、可搬乃至非可搬型の画像記録装置等を指定可能である。これらが前もって指定乃至接続されている場合はステップ１０２０を省ける。
【０１１４】
次いで、使用者がお気に入り画像のマニュアル指定を望んでいる場合は（１００５）、使用者にお気に入り画像をマニュアル指定させた上で（１０３０）、それらに対する適合性スコアの総和が最高のディジタルテンプレートを選択する（１０４０）。使用者がお気に入り画像のマニュアル指定を望んでいない場合は、使用者側画像群を自動的に採用してステップ１０４０に移行する。適合性スコアの総和が最高のテンプレートを選択するに当たっては（１０４０）、それら一群のお気に入り画像と、そのコンピュータシステムから参照可能な諸テンプレートとの組合せを調べる。ここでいう適合性スコアの総和はテンプレート自体で決まるものではなく、寧ろ、属性条件に対する諸画像の属性的適合性を算出することによって決まるものであり、属性条件を規定する個別の窓部レシピやその集まりであるテンプレートレシピに左右される。テンプレートオプションのうち幾つかを使用者が指定済である場合、本アルゴリムではそれらがそのまま使用される。使用者によってお気に入り画像が幾枚か指定されている場合は、それらの画像（のうち幾枚か）が最終的な使用者向け画像組込アイテムに組み込まれることを必須とした上で、それらのお気に入り画像をそのテンプレートに組み込んだときに適合性スコアの総和が最高になるテンプレートを選択する。こうしてテンプレート選択を行った後は（１０４０）、そのテンプレートを最終的なテンプレートとして選択する（１０７０）。或いは、使用者による閲覧に進み（１０６０）、それまでのテンプレート選択手順に対するオーバライドを得心するまで行うことを認める（１０５０）。使用者が得心するに至ったら、そのテンプレートを最終的なテンプレートとして選択する（１０７０）。その後は、残りのテンプレート内窓部を埋めるため、図１１に示す手順に移行し判別を実行する（１１２５）。
【０１１５】
図１１の手順に進んだ時点では、使用者に対する質問、使用者によるお気に入り画像の指定（随意）、ディジタルテンプレートのアルゴリズム的選択、テンプレート選択処理に対する使用者のマニュアルオーバライド（随意）等が済んでいる。残っているのは画像組込アイテムの最終合成である。そのため、お気に入り画像が指定済である場合は（１１２５）図９に示す手順に移行し前述のステップ９３０を実行する。指定済でない場合は画像を選択した後（１２１０）フォーマットを実行する（１１３０）。その後は、最終的な画像組込アイテムの合成、配送、印刷、その他の出力動作を実行する（１１６０）。或いは、使用者による閲覧に進み（１１５０）、それまでの画像選択手順に対するオーバライドを得心するまで行うことを認める（１１４０）。使用者が得心するに至ったら、最終的な画像組込アイテムの合成、配送、印刷、その他の出力動作を実行する（１１６０）。
【０１１６】
図７に示したディジタルテンプレート選択手順に関しては、本発明に従い更に拡張又は変形を施すことが可能である。まず、先に述べた手順では、テンプレートの自動選択（１０７０）に際し、適合性スコアの総和が最高のテンプレートが使用者向けの画像組込アイテム用に選択される。適合性スコアの総和に基づくこの評価には、大きさ、向き、窓部個数、テーマ、色、模様等、複数通りの基準を適用可能である。それらのテンプレートオプションは前述の通りデフォルト値に初期設定される（７２０）。このデフォルト値は、アイテム製造者毎、画像組込アイテム生成ツールが設置されている小売店毎、或いは製品系列毎に制定可能である。例えば、同一店舗内に併設されている２台のキオスクのうち、一方では「FamousPerson」コレクションバージョンソフトウェア向け、他方では汎用無分岐バージョンソフトウェア向けのデフォルト値を使用する、といった具合である（７２０）。使用者が介在モードを選ばなかった場合（７０５）やテンプレートのマニュアル選択を避けた場合には（７１５）、そのデフォルト値に基づき（７７０）、図１０に示すテンプレート自動選択手順が開始される（１０１０）。
【０１１７】
使用者が自分でディジタルテンプレートを選択することを選んだ場合（７１５）、その使用者がテンプレートオプションを指定することがある（７４０）。その手段としてはバーコードや会話型インタフェースが有用である。例えば、テンプレート別のＵＰＣバーコードを、小売店にあるキオスクから購入可能な画像組込アイテム、或いはその一覧表に付しておけば、使用者によるバーコードのスキャンでテンプレートが特定されることとなる。会話型インタフェースは指定範囲の絞り込みに役立つ。使用者がテンプレートを厳密に特定しなかったこと或いは使用者がテンプレートオプションを漏れなく指定しなかったことが原因で（７２５）テンプレートを一意に特定できなかった場合には、使用者が指定したオプション（７６０）及びそれを補うデフォルト値（７２０）に基づき（７８０）、図１０に示すテンプレート自動選択手順が開始される（１０１０）。
【０１１８】
使用者がテンプレートオプションを漏れなく指定した場合には（７２５）、それによって特定されたディジタルテンプレートに基づき（７５０）図８に示す画像選択手順が開始される（８１０）。この手順では、画像の在処に関する自動判別（８２０）が適わない場合に、画像の在処を示すよう使用者が督促を受ける。その手段としては、要求メッセージの画面表示、可聴信号出力等の手段を使用可能である。その後は、使用者の意志に従い（８０５）、使用者自身によるお気に入り画像の指定（８３０）又は使用者側画像からの自動選択（１２１０）が実行される。ここでは、画像の自動選択について詳細に説明するのに先立ち、使用者自身がお気に入り画像を指定する手順及びそれに応じ実行される処理について説明することにする。
【０１１９】
お気に入り画像の指定（８３０）に際しては、例えば、お気に入りに指定可能な画像のサムネイルが画面上に一覧表示される。選択済のディジタルテンプレートに備わる窓部の個数がｎなら、使用者は、そこからｎ枚のお気に入り画像を指定しうる。画像分割が行われている場合は、分割によって切り出された画像が占める窓部の個数分だけ、指定可能な画像の枚数が減る。以下、本発明に係るアルゴリズムの一例を簡明に説明するため、画像分割が行われないものと仮定する。使用者は、自分が気に入った画像を指定するだけでなく、そのなかでどの画像が最もお気に入りかを指定することも可能である。その画像は、原則として、最も目立つ形態にてその使用者向けの画像組込アイテムに組み込まれる。他のテンプレート内窓部に係る属性条件は、最も気に入られた画像の属性、例えば色、鮮明度、人物の素性、情景等に従い定めるのが望ましい。
【０１２０】
使用者によってお気に入り画像が指定された後は図９に進む。この手順では、まず、お気に入りに指定された画像の枚数ｎが、その使用者向けの画像組込アイテムにおける窓部の個数ｍを上回っているか否かが判別される（９０５）。その結果ｎ≦ｍと判別された場合はｎ＝ｍであるか否かが判別され（９２５）、ｎ＝ｍであると判別された場合は画像の割当先窓部がシステム側で自動決定される（９４０）。
【０１２１】
その自動決定（９４０）は次のように実行される。まず、本アルゴリズムでは、諸画像に対する分析によって個々の画像からメタデータや意味論的情報が抽出され、そのメタデータ、意味論的情報又はその双方に基づき個々の画像の属性が判別される。抽出されたメタデータや意味論的情報の格納先ファイルは、抽出元画像のファイルと同じでも別でもかまわない。次いで、テンプレート内窓部毎且つ画像毎に適合性スコアを算出し、その窓部に係る適合性スコアが最高の画像を個々の窓部に割り当てる、という処理を通じ、ディジタルテンプレートに対する画像の割当が初期化される。同一画像が複数個の窓部に対し同等の適合性スコアで競合している場合は窓部番号が小さい方が割当先となり、複数枚の画像が同一の窓部に関し同値の適合性スコアで競合している場合は所定の選択法に従いその競合が解消される。窓部番号としては、優先度が最も高い窓部は０（窓部「W0」）、その次に高い窓部は１（窓部「W1」）等々と優先度に応じデフォルト設定されたものが使用される。その格納先は、例えばテンプレートレシピや窓部レシピのファイル内である。競合解消法としては、メタデータフィールド上の画像アクセス回数記録に基づく選択、乱数的選択等の選択法が使用される。その後は、画像割当済テンプレート全体に亘り適合性スコアの総和が算出され、求まったテンプレートスコアが基準スコアに初期設定される。本アルゴリズムでは、次いで、諸窓部における画像の組合せを変えたらその基準スコアを上回るテンプレートスコアが得られるか否かを調べる処理が、一群の窓部を対象にして反復実行される。諸窓部における画像の組合せを変えるとテンプレートスコアがそれまでの基準スコアを上回る場合には、その組合せがその時点で最高のテンプレートスコアをもたらす組合せであるので、そのテンプレートスコアを以て基準スコアが更新される。テンプレートスコアが更に高い組合せが見つかるか、所定の終了条件が満たされるまでは、その組合せが維持される。
【０１２２】
本アルゴリズムによるテンプレートスコア算出は、一群のテンプレート内窓部及び画像に基づく処理が終わるたびに、且つ所定の終了条件（画像の組合せ全てを調べ終えた、所定の時間が経過した等）が満たされるまで反復される。本アルゴリズムでは、更に、個々の画像に備わる属性を個々のテンプレート内窓部に係る属性条件（のうち一部）と比較し、その画像に関し適合性スコアを算出する、という処理が全部又は一部の画像に基づき実行されうる。その算出の結果、割り当てる画像を入れ替えると適合性スコアが高まる窓部が見つかった場合、本アルゴリズムでは画像入替検討が開始される。
【０１２３】
画像入替検討とは、２個の窓部間で画像を入れ替えたとして適合性スコアを算出し、どちらの窓部についても適合性スコアが高まったか否かを調べ、高まった場合にその画像入替を行うと決定する、という処理である。従って、画像入替を行うと決定されるのは、画像を入れ替えた方が適合性スコアが高まり、ひいてはそのディジタルテンプレート全体に亘る適合性スコアの総和が高まる場合のみである。
【０１２４】
例えば、一群のテンプレート内窓部Ｈ及び一群の画像Ｉが存する場合、本アルゴリズムでは、画像Ｉ1を窓部Ｈ1、画像Ｉnを窓部Ｈnに割り当てる画像対窓部マッピング、適合性スコアの算出、並びに画像属性及び属性条件別加重係数に基づく総和の算出が反復される。反復が終了するのは、例えば、反復回数が画像枚数×窓部個数（又はそれ以下の値）に達したときである。或いは、所定の適合性スコアが得られたとき、反復による改善の幅が所定のしきい値を下回ったとき等、所定の中断条件が満たされたときである。
【０１２５】
こうした処理は、
・  テンプレート内窓部Ｈiに割り当てられている画像Ｉiを別の画像Ｉrに入れ替えたとして、諸属性条件のうちその画像Ｉrが満足するものに係る加重値を総和することでその窓部Ｈi及び画像Ｉrに係る適合性スコアを求め、窓部Ｈi及び画像Ｉiに係る適合性スコアに比べ高いか否かを調べる、という動作を一群の画像Ｉrそれぞれについて実行する；
・  窓部Ｈi及び画像Ｉrに係る適合性スコアの方が高い場合は、画像Ｉi，Ｉrをテンプレート内窓部Ｈi，Ｈrに割り当てたときに比べ窓部Ｈr，Ｈiに割り当てたときの方が平均的に見て適合性スコアが高いか否かを、適合性スコアの比較によって判別する（符号同順）。高いと判別した場合はその窓部間画像入替を行い、それ以外の場合は行わない；
といったテンプレート内窓部毎の処理としてプログラムに組み込むことが可能である。
【０１２６】
この処理がディジタルテンプレート上の全窓部に関し実行された後は、窓部別且つ画像別の適合性スコアをテンプレート全体に亘り総和する処理が、窓部と画像の組合せを網羅的に変えつつ反復される。その反復に際しては、新たに求まったテンプレートスコアを従前のテンプレートスコアと比較することによって、最も高いテンプレートスコアをもたらす組合せが特定される。所与画像の集合を「imageList」、窓部の集合を「imageWindowList」とした場合、次に示すアルゴリズム
PerformFitting(imageList,imageWindowList)
OverallTemplatescore=0;
AssignlmagesToImageWindows();
FOR each image Window in imageWindowList
FOR each image in imageList
Calculate newImageWindowScore
IF newImageWindowScore>imageWindowScore
CheckForSwap(imageWindow,candidatelmageWindow)
ENDIF
END FOR
END FOR
FOR each image Window in imageWindowList
ADD the imageWindow.image.score to OverallTemplatescore
END FOR
RETURN OverallTemplatescore
END PerformFitting
CheckForSwap(imageWindow,candidatelmageWindow)
currentScore=Calculate2WindowScore(imageWindow,currentimage,candidateWindow,candidateimage)
newScore=Calculate2WindowScore(imageWindow,candidateimage,candidateWindow,currentimage)
IF newScore>currentScore THEN
Swaplmage(imageWindow,candidatelmageWindow);
ENDIF
END CheckForSwap
AssignlmagesTolmageWindows(imageList,imageWindowList)
N=Numberlmages;
FOR i=1:N
WindowScore[i]=Scorelmage(imageList[i],imageWindow[i])
END FOR
End AssiglmagesToImageWindows
Scorelmage(image,imageWindow)
imageScore=0
FOREACH entry in recipe
imageScore+=PerformMeasurement(image, recipeEntry);
END FOR
RETURN imageScore
END Scorelmage
を使用することで、画像枚数が窓部個数に等しい場合に関し、画像対窓部マッピングの最適解を見つけることが可能である。
【０１２７】
こうして図９中のステップ９４０が済んだ後は、閲覧省略モードが発動している場合（９４４）、最終的な使用者向け画像組込アイテムが合成、印刷、配送等されることとなる（９４６）。閲覧省略モードが発動していない場合は、画像割当結果が使用者制御モード下でオーバライドされることがある（９４２）。本アルゴリズムによる自動的な画像割当を好まない場合や、自分で選んだ画像をそのアイテムに入れたい場合等、使用者は得心するまでこのオーバライドを継続可能である。使用者が得心したら、同様に、最終的な使用者向け画像組込アイテムが合成、印刷、配送等されることとなる（９４６）。
【０１２８】
翻って、使用者がお気に入りに指定した画像の枚数ｎが使用者向け画像組込アイテムにおけるテンプレート内窓部個数ｍを上回っている場合は（９０５）、ｎ枚のお気に入り画像のうち上位ｍ枚の画像だけがソフトウェア的に選択される。上位ｍ枚を選択するに当たっては、個々の窓部レシピを充足させるのに必要なメタデータ及び意味論的情報がｎ枚のお気に入り画像から自動的に抽出され、個々の窓部にて個々の窓部レシピが画像毎に評価される。ｎ＝ｍの場合は、窓部毎且つお気に入り画像毎に適合性スコアが算出された後、それら適合性スコアの総和によってテンプレートスコアが算出される。
【０１２９】
画像対窓部マッピングの最適解を見つける手法は幾通りかある。最も簡略なのは、窓部毎且つ画像毎の適合性スコアを評価し、その窓部に対する適合性スコアが他のどの画像よりも高い画像を個々の窓部に割り当てる、という手法である。同一の画像が複数個の窓部に関し同値の適合性スコアで競合している場合は、個々の窓部に付されている優先順位に従い、優先順位が高い方の窓部にその画像が割り当てられる。複数枚の画像が同一の窓部に関し同値の適合性スコアで競合している場合は、メタデータフィールドに記録されている画像アクセス回数に基づく選択、乱数的な選択等、所定の手法で画像の割当先が決定される。
【０１３０】
より洗練された手法としては、テンプレートスコアを最大化させる手法がある。窓部個数ｍ及び画像枚数ｎが小さい場合は、画像と窓部の組合せを網羅的に調べ、その全体に亘る適合性スコアの総和が最大になるようｍ枚の画像をディジタルテンプレートに割り当てるのが現実的である。窓部個数ｍ又は画像枚数ｎが大きい場合は（但しｍ＞ｎ）、後述の通り、線形最小自乗法等による線形回帰マッピングか、より複雑な非線形的乃至反復的手法で、ｍ枚の画像をｍ個の窓部に割り当てることが可能である。
【０１３１】
上位ｍ枚の画像が選択された後は、閲覧省略モードが発動している場合（９１２）、最終的な使用者向け画像組込アイテムが出力されることとなる（９１６）。閲覧省略モードが発動していない場合は、画像割当結果が使用者制御モード下でオーバライドされることがある（９１４）。使用者は得心するまでこのオーバライドを継続可能である。使用者が得心したら、随時、最終的な使用者向け画像組込アイテムが合成、出力等されることとなる（９１６）。
【０１３２】
図９には第３の場合、即ちお気に入り画像の枚数ｎが窓部個数ｍを下回る場合の処理も記されている。この場合、使用者側画像群をプログラムに従い検索し、そのうち適合性スコアが上位ｍ−ｎ位までの諸画像をｎ枚あるお気に入り画像と共にｍ個ある窓部への割当に使用する必要がある。窓部個数ｍ及び画像枚数ｎが小さい場合は、画像と窓部の組合せを網羅的に調べ、その全体に亘る適合性スコアの総和が最大になるよう、ｎ枚のお気に入り画像及び自動選出されたｍ−ｎ枚の画像をディジタルテンプレートに割り当てればよい（９３０）。ただ、使用者側画像が多すぎ、ｍ−ｎ枚の画像を選出するのに数百回或いは数千回の画像解析が必要になることも多い。そうした場合は、テンプレートスコアが最高になるよう適合性スコアが高い画像を選出する処理を、システマティックで実行速度が高い反復的な手法で実現すればよい。例えば、使用者がお気に入りに指定した画像それぞれを、その画像が最高の適合性スコアを呈する窓部に割り当てることで、テンプレートスコアが高いテンプレートを部分的に完成させた後、使用者側画像から選出された諸画像を残りｍ−ｎ個の窓部に割り当てる、といった手法である。
【０１３３】
選出された諸画像を残りｍ−ｎ個の窓部に割り当てる手法のなかで、最も簡略なのは、窓部毎且つ画像毎の適合性スコアを調べ、その値が最高の画像を窓部毎に選出する、という手法である。窓部間の競合は窓部毎の優先順位に従い解決可能である。ただ、選出母体となる画像の集合が無闇に大きいと、画像毎の意味論的情報収集にかなりの時間が費やされてしまう。その場合は、基本メタデータのみに基づき個々の画像の適合性スコアを求めた上で、そのメタデータと意味論的情報を併用して更なる精査向けに上位ｘ％又はｐ枚までの諸画像を選出すればよい（但しｘ及びｐは使用者が定義するパラメタ）。この手法では、画像集合の規模を問わず迅速に画像を選出することが可能である。これとは別の例としては、諸画像を階層に解析する手法がある。例えば、全画像をメタデータのみで評価し上位ｘ％又はｐ枚までの画像を選出する第１層、色やヒストグラムといった単純且つ高速な意味論的アルゴリズムに従い上位ｙ％又はｑ枚までの画像を選出する第２層、顔検知等の若干複雑な意味論的アルゴリズムに従い上位ｚ％又はｒ枚までの画像を選出する第３層、顔認識やカスタム物体認識といったより複雑な意味論的アルゴリズムに従い画像を選出する第４層等々からなる手法である。この手法は任意の層数へと拡張可能である。第１層から最終層（例えば第４層）へと進むにつれ、選出される画像の枚数が減るのに対し解析毎の情報処理難度は高まっていく。
【０１３４】
プログラムに組み込める処理としては更に次のようなものがある。
【０１３５】
まず、ステップ７７０を通るときにテンプレートオプションが全てデフォルト値であるのに対し、ステップ７８０を通るときには、使用者によるオーバライドによって一部がデフォルト値でなくなっていることがある。ここでは、一例として、ステップ７８０におけるオプションの値がステップ７７０でのそれと概ね等しいけれども、窓部個数が使用者によるオーバライドで２個以下に制限されている場合を考える。この場合、図１０に示す手順に移行し（１０１０）、使用者側画像群に基づく判別でいずれかのディジタルテンプレートを選択する。具体的には、使用者側画像群（例えば秋の風景を捉えた画像群）に対する適合性スコアの総和が最高になるテンプレート（例えば秋向けのテンプレート）を選択する。また、コンピュータシステムによる使用者側画像群の自動所在判別が適わなかった場合は、その所在を示すよう使用者に督促する（１０２０）。お気に入り画像をマニュアル指定することを使用者が望んでいる場合は（１００５）使用者に幾枚かのお気に入り画像を指定させ（１０３０）、望んでいない場合は使用者側画像群を自動的に採用する（１０４０）。お気に入り画像の指定に当たっては、例えば、画面上にサムネイルサイズ画像を一覧表示させ、そのなかから使用者にお気に入り画像を指定させる。お気に入り画像を何枚指定するかは使用者の意図次第であるが、指定可能な枚数はｚ枚に制限可能である。ｚはテンプレート内窓部個数の最大値であり、この例ではオーバライドで２個に設定されている。従って、テーマが同じで窓部個数が違うテンプレートを幾つか生成し保存しておくことで、使用者の嗜好をより好適に受容可能となる。なお、ここでも画像分割はないものと仮定している。お気に入り画像の指定に加え、使用者は、大お気に入り画像、主画像乃至崇拝画像を指定することも可能である。
【０１３６】
テンプレートスコアが最高になるテンプレートを選択する際には、そのコンピュータシステムから参照可能な範囲内で、画像群をディジタルテンプレートとめあわせる（１０４０）。使用者からお気に入り画像の指定を受けている場合は、最終的な使用者向け画像組込アイテムにそれらの画像（のうち幾枚か）が組み込まれることを条件としてテンプレートを選択し、使用者から崇拝画像の指定を受けている場合は、その崇拝画像に対する適合性が高い窓部を主窓部として備えることを条件としてテンプレートを選択する。テンプレートスコアは、テンプレート別の初期スコアをいずれも０に設定した上で算出する。製造者、小売店等の管理下で、ある種のテンプレートに係る初期スコアを他のテンプレートに係る初期スコアに比べわざと高くすること、即ち前者を後者に比べ選択されやすくすることも可能である。例えば、多額の使用権料収入をもたらすテンプレート、高速処理が可能なテンプレート、高品質アイテム生成用のテンプレート等に係る初期スコアを高め（例えば正値）にしてもよいし、それ以外の劣後的なテンプレートに係る初期スコアを低め（例えば負値）にしてもよい。そうすることで、前者の使用が促進されることとなる。常に同じテンプレートを使用するのであれば、そのテンプレートに係る初期スコアを例えば＋１０００にしておけばよい。＋１０００の初期スコアを有するテンプレートが複数個あったとしても、それに続く画像評価を通じテンプレートスコアが最高になったものが選択されることとなろう。テンプレート間競合は、優先順位を示す数値を個々のテンプレートに割り当てておき、優先順位が最高のテンプレートを選択することによって、解決することが可能である。
【０１３７】
テンプレートスコアが最高になるディジタルテンプレートを選択する際には、そのテンプレートに全画像を照らし判別する処理を、そのコンピュータシステムから参照可能なテンプレート毎に反復すればよい。高速化のためこの処理は階層的な形態にする。即ち、崇拝画像が指定されている場合はその画像に係る適合性を全テンプレートについて調べ、上位ｘ％までのテンプレートを選出する一方（但しｘは調整及び指定が可能なパラメタ）、残り１００−ｘ％のテンプレートを除外する。次に、選出されたテンプレート上の窓部それぞれに関し諸お気に入り画像に係る適合性スコアを求め、そのテンプレートに係る適合性スコアが最高になる画像の組合せをテンプレート毎に保存する。使用者が指定したお気に入り画像の枚数ｎが窓部個数ｍより大きい場合、これでテンプレート選択が完了する。そうでない場合は、プログラムに従い上位ｙ％までのテンプレートを選出して更に評価する一方（但しｙは調整可能なパラメタ）、残り１００−ｙ％のテンプレートを除外する。次いで、前述の如く、選出したテンプレートに備わる窓部のうち残りのものに関し、個々の画像に係る適合性を調べた上で、テンプレートスコアが上位のテンプレートを保存する。こうした階層的な処理手法を使用すると、テンプレートの個数や評価すべき画像の枚数が多いときでも、プログラムの実行速度がかなり高まる。
【０１３８】
テンプレートスコアが最高になるディジタルテンプレートを選択した後、閲覧省略モードに移行した場合は（１０６０）、そのテンプレートを自動的に選択し（１０７０）、そのテンプレート及び対応する諸画像を以て、図１１中のステップ１１２５に移行する。閲覧省略モードに移行しなかった場合は、そのテンプレートを受け容れるか否かを使用者に問い合わせる（１０１５）。使用者がそのテンプレートを受け容れなかった場合、適合性の降順に従い残りのテンプレートを使用者に提示し、使用者がいずれかのテンプレートを受け容れるに至った時点で（１０７０）、そのテンプレートを以てステップ１１２５に移行する。
【０１３９】
図１３に、タグ指定可能な基本メタデータの例を示す。これは、画像を取得乃至利用する装置、例えばスタンドアロン型のディジタルカメラ、カメラ付携帯電話、パーソナルコンピュータ、ディジタルフォトフレーム、カメラドッキングシステム、イメージング装置、ネットワークディスプレイ、プリンタ等の装置から得られるものである。従って、基本メタデータ、言い換えれば入力メタデータは、画像を取得する装置から自動的に得られる情報、そうした装置に対し使用者が与える情報、画像を利用する装置から得られる情報等に大別可能である。画像取得装置から自動的に得られる基本メタデータの代表例は、タイムスタンプ、デートスタンプ、ＧＰＳ測位データ、至近の携帯電話基地局、携帯電話基地局を利用した三角測量の結果、カメラ設定、画像ヒストグラム、音声ヒストグラム、ファイルフォーマット情報、自動画像補正（例えば赤目補正や階調補正）等である。使用者から与えられる基本メタデータの例は、共有指定、お気に入り指定、消去不可指定、ＤＰＯＦ指定、カメラ付携帯電話向け壁紙画像設定、カメラ付携帯電話向けピクチャメッセージング設定、携帯電話音声乃至携帯メール受信者向けピクチャメッセージング設定、撮影モード設定（例えば「スポーツ」、「マクロ／クローズアップ」、「花火」、「ポートレート」）等である。画像利用装置、例えばＫｏｄａｋＥａｓｙＳｈａｒｅ（登録商標）が稼働しているパーソナルコンピュータ等の画像管理システムやスタンドアロン型又はネットワーク接続型の画像プリンタから得られる基本メタデータの例は、画像が何回印刷されたかを示す印刷履歴、画像がどこにいつ保存又はバックアップされたかを示す保存履歴、適用されたデータ操作の種類及び規模を示す編集履歴等である。
【０１４０】
図１４に、タグ指定可能な拡張メタデータの例を示す。これは、画像を取得又は利用する装置、例えばスタンドアロン型のディジタルカメラ、カメラ付携帯電話、パーソナルコンピュータ、ディジタルフォトフレーム、カメラドッキングシステム、イメージング装置、ネットワークディスプレイ、プリンタ等の装置で画像コンテンツや既存の基本メタデータを解析することで得られるものである。拡張メタデータは、所定条件の成立に応じ自動的に生成されるものと、使用者との直接的なやりとりを通じ生成されるものとに大別可能である。基本メタデータの解析による拡張メタデータ生成の例としては、カメラから画像の撮影日時を示すタイムスタンプ及びデートスタンプを取得し、それに基づき使用者用のスケジュールリストを参照する、という例を掲げうる。カメラ及びスケジュールリストは、カメラ付携帯電話等では同一装置上に搭載され、パーソナルコンピュータにカメラをドッキングして使用する場合等には別々の装置上に搭載される。スケジュールリストには、一般的重要日、例えばシンコ・デ・マヨ、独立記念日、ハロウィン、クリスマス等のほか、個人的重要日、例えば「両親の結婚記念日」、「ベティおばさんの誕生日」、「トミーのリトルリーグ祝勝会」等が登録されるので、カメラで生成されたタイムスタンプやデートスタンプをクエリとしてスケジュールリストを参照することで、一般的重要日や個人的重要日に撮影された画像の存否を判別することが可能である。該当する画像があった場合は、そうした重要日に撮影された画像であることを示す情報を、その画像に係るメタデータに付加すればよい。また、その他の拡張乃至基本メタデータ、例えば測位データや場所認識結果を併用し、より詳細に経緯を特定することも可能である。例えば、取り立てて出来事のない数週間が過ぎた後、幾枚かの画像と動画が撮影されたとする。また、撮影日が９月５日、撮影場所の認識結果が「両親の家」であったとする。更に、使用者用のスケジュールリストに、９月５日が「両親の結婚記念日」として登録されていたとする。加えて、画像のうち幾枚かが、「お父さん、お母さん、結婚記念日おめでとう」と読める文字付のケーキを捉えた写真であったとする。これらの基本メタデータ及び拡張メタデータからは、「両親の結婚記念日」に撮影が行われた、という経緯を正しく且つ自動的に特定可能である。こうして特定された経緯に基づきオプションが絞り込まれ、使用者に提示されるため、テーマ選択に必要な労力がかなり軽減される。出来事の種類や主要参加者が明らかになっているため、ラベル付け、字幕付け、タグ付け、ブログ投稿等も省力的又は自動的に行える。
【０１４１】
顔、物体、音声乃至文字を認識するアルゴリズムを使用し、蓄積された画像、動画及び音声のコンテンツを解析することも可能である。画像乃至画像群における顔の個数及び位置関係は画像の要点ひいては撮影経緯を解明するのに有用である。例えば、画像中に多数の顔が行列をなして並んでいるならそれは記念写真、恐らくは親族旅行、団体競技会、卒業式等で撮影されたものであるといえよう。写っているのがロゴ付又は文字付のチームユニフォームなら団体競技会での写真、揃いの学帽・制服なら卒業式での写真、揃いのジャケットなら親族旅行での写真、ドレス・ベール・正装男性なら結婚披露宴での写真、といった具合に、その他の情報も利用可能である。こうした情報をその他の基本メタデータや拡張メタデータと併用すれば、撮影の経緯がかなり明らかになるので、システムにその経緯に基づき適切な画像を正確に選択させ、その画像向けのテーマを正確に提示させ、そして元々の画像集に関連画像を随時付加させることが可能となる。
【０１４２】
図１５Ａ及び図１５Ｂに、一例に係る画像組込アイテム１５００の頂面（図１５Ａ）及び断面（図１５Ｂ）を示す。このアイテム１５００は、従来型のマット１５１８を外枠材１５２４で囲んだ構成であり、光を通す透光部及び画像印刷物を保持する内部空間１５０５を有している。図示の通り、そのマット１５１８には、光が通うように複数個の窓部１５３０，１５３２，１５３４が設けられているので、画像の位置が窓部１５３０，１５３２，１５３４の位置に揃うよう空間１５０５内に印刷物を配置すると、その画像がアイテム１５００の外側から見える状態になる。空間１５０５のその他の部分は見えない。図１５Ａ中の１５１０は、このとき画像印刷物のシートが占める位置の例である。また、窓部１５３０，１５３２，１５３４については、ここでは基本的に中空であると想定しているが、窓部１５３０，１５３２，１５３４を透明素材又は半透明素材で埋めるようにしてもよい。即ち、透光性がある別の形態にしてもよい。例えば、窓部１５３０，１５３２，１５３４にて透過光をフィルタリングさせ、和らげ、或いは部分的に阻止することも可能である。液晶ディスプレイ等、能動的又は半能動的遮光素材を用いてもよい。更に、芸術的乃至美的目的でのフィルタリングに限らず、保護目的でのフィルタリングを施し、装着されている画像を損ねかねない損ねる光を阻止するようにしてもよい。
【０１４３】
また、図１５Ａ及び図１５Ｂに示す例では、内部空間１５０５の寸法及び形状が裏打ち材１５２８によって設定されている。裏打ち材１５２８は、例えば、実装フック等の実装構造（図示せず）によって外枠材１５２４に固定され、その内側に保持されている。テンプレートに従い生成された画像印刷物は、裏打ち材１５２８の表面に載った状態で、その面を内側に向けてアイテム１５００内に装着、固定される。なお、この裏打ち材１５２８は省略も可能である。空間１５０５内に収まる寸法の保護層、例えば従来からあるガラス等の透明乃至半透明シート（図示せず）によって印刷物を保護、保持乃至固定すればよい。
【符号の説明】
【０１４４】
２２  ハウジング、２４  コンテンツ／プログラムデータファイル源、２６  コンピュータシステム、２８  出力システム、２９，３０  プリンタ、３２，３５  Ｉ／Ｏ、３４  プロセッサ、３８  センサ、３９  ポータブルメモリ、４０  記憶／記録装置、４２  ハードディスクドライブ、４４  リムーバブルディスクドライブ、４６  スロット、４８  リムーバブルメモリ、５０  リムーバブルメモリインタフェース、５２  リモートメモリシステム、５４  通信システム、５６  リモートディスプレイ、５８  リモート入力システム、５８ａ  リモートキーボード、５８ｂ  リモートマウス、５８ｃ  リモートコントローラ、６６  ローカルディスプレイ、６８  ローカル入力システム、６８ａ  ローカルキーボード、６８ｂ  ローカルマウス、７０  編集場所、７２  使用者、２０１  オーディオセンサ、３００，１５００  画像組込アイテム、３０２  画像組込部、３０６〜３１０，１５３０〜１５３４  窓部、３１２  背景部、３２０，３３０  背景装飾画像、６１０，６２０，６３０，６４０，６５０，６６０，６７０  画像、６１５，６２５，６３５，６４５  ラベル、７０５〜７８０，８０５〜８７０，９０５〜９４６，１００５〜１０７０，１１０５〜１１６０，１２１０〜１２４０  ステップ、１５０４  透光部、１５０５  内部空間、１５１０  画像印刷物のシート、１５１８  マット、１５２４  外枠材、１５２８  裏打ち材。
【図１】
2013500537.tif 000003
【図２】
2013500537.tif 000004
【図３】
2013500537.tif 000005
【図４】
2013500537.tif 000006
【図５】
2013500537.tif 000007
【図７】
2013500537.tif 000008
【図８】
2013500537.tif 000009
【図９】
2013500537.tif 000010
【図１０】
2013500537.tif 000011
【図１１】
2013500537.tif 000012
【図１２Ａ】
2013500537.tif 000013
【図１２Ｂ】
2013500537.tif 000014
【図１２Ｃ】
2013500537.tif 000015
【図１２Ｄ】
2013500537.tif 000016
【図１３】
2013500537.tif 000017
【図１４】
2013500537.tif 000018
【図１５Ａ−１５Ｂ】
2013500537.tif 000019
【図６】
2013500537.tif 000020
【国際調査報告】
2013500537.tif 000021
2013500537.tif 000022
2013500537.tif 000023