(57)【要約】  本発明の画像のコラージュを生成する方法は、背景画像４１における関心領域４３を決定するステップと、関心領域４３外の背景画像４１上に少なくとも１つの前景画像を表示するステップと、を有する。本発明の電子装置は、本発明の方法を実行するように動作可能である。本発明のコンピュータプログラムは、プログラム可能な装置に本発明の方法を実行させるように動作可能である。
2010503101.tif 000002
【特許請求の範囲】
【請求項１】
画像のコラージュを生成する方法であって、
背景画像における関心領域を決定するステップと、
前記関心領域外の前記背景画像上に少なくとも１つの前景画像を表示するステップと、
を有する方法。
【請求項２】
前記少なくとも１つの前景画像を表示するステップは、複数の前景画像を表示するステップを有し、前記背景画像は前記前景画像間で可視である、請求項１に記載の方法。
【請求項３】
前記関心領域を決定するステップは、前記背景画像における高コントラスト部分及び／又は顔部分を探すステップを有する、請求項１に記載の方法。
【請求項４】
関心領域が比較的小さい及び／又は不規則な形状を持たない画像を探すことにより、前記背景画像を選択するステップを更に有する、請求項１に記載の方法。
【請求項５】
情報の少ない部分を除去するために前記前景画像を切り取るステップを更に有する、請求項１に記載の方法。
【請求項６】
前記前景画像をサイズ変更するステップを更に有する、請求項１に記載の方法。
【請求項７】
前記背景画像が更なる背景画像により置換される速度よりも速い速度で、前記前景画像を更なる前景画像により置換するステップを更に有する、請求項１に記載の方法。
【請求項８】
前記前景画像が表示される継続時間は、前記前景画像の格付けに依存する、請求項７に記載の方法。
【請求項９】
プログラム可能な装置が請求項１に記載の方法を実行することを可能とするためのコンピュータプログラム。
【請求項１０】
画像のコラージュを生成するための、電子回路を有する電子装置であって、前記電子回路は、
背景画像における関心領域を決定し、
前記関心領域外の前記背景画像上に少なくとも１つの前景画像を表示する
ように動作可能な電子装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のコラージュを生成する方法に関する。
【０００２】
本発明は更に、画像のコラージュを生成するための、電子回路を有する電子装置に関する。
【０００３】
本発明はまた、プログラム可能な装置が画像のコラージュを生成する方法を実行することを可能とするためのコンピュータプログラムに関する。
【背景技術】
【０００４】
画像のコラージュ（collage）を生成するための方法の一例は、米国特許出願公開US2005/0220345に記載されている。米国特許出願公開US2005/0220345に記載された方法においては、複数の画像から関心領域が決定され、該複数の画像に対して情報の少ない部分を除去するために切り取り（crop）が行われ（即ち関心領域のみが保持され）、該切り取りを行われた該複数の画像が単一の画像中に隣接して配置され、コラージュを形成する。米国特許出願公開US2005/0220345に記載された方法の欠点は、コラージュが特定の画像の群の雰囲気を適切に伝えないことである。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の第１の目的は、画像の群の雰囲気をより適切に伝える画像のコラージュを生成する、最初のパラグラフにおいて記載されたタイプの方法を提供することにある。
【０００６】
本発明の第２の目的は、画像の群の雰囲気をより適切に伝える画像のコラージュを生成する、最初のパラグラフにおいて記載されたタイプのシステムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明よれば、前記第１の目的は、当該方法が、背景画像における関心領域を決定するステップと、前記関心領域外の前記背景画像上に少なくとも１つの前景画像を表示するステップと、を有することによって達成される。背景画像は、画像の群の雰囲気を伝え、前景画像についての状況（context）を提供するものである。背景画像の関心領域は、該雰囲気を効果的に伝えるため、遮られない必要がある。背景画像は例えば、遠くから撮影された砂浜を表しても良い。前景は例えば、撮影された人物及び／又はモニュメントを表しても良い。
【０００８】
本方法の一実施例においては、前記少なくとも１つの前景画像を表示するステップは、複数の前景画像を表示するステップを有し、前記背景画像は前記前景画像間で可視である。複数の前景画像を表示する場合には更なる情報が伝えられ得るが、画像の群の雰囲気を伝えることを維持するためには、背景画像は前景画像間で可視であるべきである。
【０００９】
前記関心領域を決定するステップは、前記背景画像における高コントラスト部分及び／又は顔部分を探すステップを有しても良い。高コントラスト部分及び／又は顔部分は一般に観測者によって重要であるとみなされ、好適には背景画像において前景画像によって遮られるべきではない。
【００１０】
本方法は更に、関心領域が比較的小さい及び／又は不規則な形状を持たない画像を探すことにより、前記背景画像を選択するステップを有しても良い。これらの基準の一方又は両方を満たす背景画像は、前景画像が表示され得る比較的多くの領域を持つ。
【００１１】
本方法は更に、情報の少ない部分を除去するために前記前景画像を切り取るステップを有しても良い。このことは、前景画像を、コラージュの一部を形成するために十分に小さくする。加えて又は代替として、本方法は更に、前景画像を、コラージュの一部を形成するために十分に小さくするために、前景画像をサイズ変更するステップを有しても良い。前景画像の切り取りは、該前景画像が複数の別個の関心領域を有する場合には、複数の画像へと帰着し得る。これら複数の別個の関心領域のそれぞれは、背景画像の上に、独立して表示されても良い。
【００１２】
本方法は更に、前記背景画像が更なる背景画像により置換される速度よりも速い速度で、前記前景画像を更なる前景画像により置換するステップを有しても良い。このことは、例えば人物又はモニュメントの写真が撮影された場所を表す背景画像の上に、当該人物又はモニュメントが連続して表示され得るような、動的な画像のコラージュに帰着する。
【００１３】
前景画像が表示される継続時間は、前景画像の格付け（rating）に依存しても良い。このようにして、最も重要な被写体及びオブジェクトが、動的な写真コラージュにおいて最も目立つものとなる。
【００１４】
ユーザが例えばマウスのクリック又はタッチによって前景のオブジェクトを選択することを可能とすることにより、動的なコラージュがインタラクティブなものとされても良い。このとき、前景のオブジェクトが属するコンテンツアイテムは拡大され、背景画像として選択される。このようにして、動的なコラージュが、コンテンツの集合の視覚的に魅力的な表現としてのみならず、閲覧ツールとして利用されることができる。
【００１５】
本発明によれば、前記第２の目的は、電子装置の電子回路が、背景画像における関心領域を決定し、前記関心領域外の前記背景画像上に少なくとも１つの前景画像を表示するように動作可能であることにより、達成される。該電子装置は、写真機能付きｍｐ３プレイヤ、モバイル電話、ディジタルスチルカメラ若しくはＰＤＡのような携帯型装置、又はパーソナルコンピュータ、ＨＤＤレコーダ若しくはテレビジョンセットのような固定装置であっても良い。該電子装置は、例えば写真／ビデオ共有及びバックアップサービス、ビデオ・オン・デマンド及びメディアオンラインショップのようなオンラインサービスにおけるコンテンツ集合の概観を提供するための、家庭用コンピュータ又はサーバコンピュータであっても良い。
【００１６】
本発明のこれらの及び他の態様は、図面を参照しながら、例として更に説明され明らかとなるであろう。
【００１７】
図面において対応する要素は、同一の参照番号により示される。
【図面の簡単な説明】
【００１８】
【図１】本発明の方法のフロー図である。
【図２】本発明の方法の実施例のフロー図である。
【図３】コントラストに基づく関心領域の検出の４つの例を示す。
【図４】背景画像中の検出された関心領域の第５の例を示す。
【図５】前景画像をはめ込み得る図４の背景画像における領域を示す。
【図６】本発明の電子装置のブロック図である。
【発明を実施するための形態】
【００１９】
本発明の方法は、背景画像における関心領域を決定するステップ１と、該関心領域外の背景画像上に少なくとも１つの前景画像を表示するステップ３と、を有する。図１を参照されたい。
【００２０】
本方法の一実施例においては（図２を参照されたい）、複数の画像１１が入力として働く。複数の画像１１は例えば、写真のコンテンツ集合のディレクトリであっても良いし、又はビデオから抽出されたキーフレームであっても良い。
【００２１】
ステップ１３は、複数の画像１１における関心領域の決定を有する。静止画像におけるオブジェクト及び要素が２つのカテゴリに分けられる。即ち、（１）顔部分、人物及びモニュメントのような、通常画像の被写体である関心部分と、（２）空、ビルの部屋の壁及び草地のような、通常画像の背景として働く退屈な興味をひかない部分と、である。第１のカテゴリは、関心領域として定義される。人間の注意は、画像の高コントラスト部分によって、及び顔によって、捕捉される（加えてビデオについては、動きが重要な役を担う）。これらの領域は、画像中の高コントラスト領域を探すことにより、ステップ１５において選択される。この手順の一例は、図３に示される。任意に、顔部分が関心領域に含まれることを確認するため、顔検出が実行されても良い。
【００２２】
ステップ１７は、適切な背景画像の決定を有する。写真コラージュにおいて可能な限り多くの情報を伝えるため、該コラージュは、前景画像を埋め込まれた背景画像から作成される。しかしながら、画像の領域はオーバラップするべきではなく又は塞がれるべきではない。それ故、前のステップにおいて検出された関心領域は、該領域のサイズ及び形状を決定するために解析される。該関心領域が元の形状に対して大きい場合には、又は該関心領域が不規則な形状を持つ場合には、対応する画像は背景画像としてはあまり適さない。該領域のサイズは、該関心領域に属する画素の数を合計することにより算出されることができる。代替として、該関心領域全体を含む最小の長方形のサイズが決定されても良い。これら２つの方法の比率は、関心領域の不規則性のとり得る尺度の１つである。該比率はまた、適切な背景画像を探す際に考慮に入れられても良い。このようにして、画像が前景画像２１と背景画像２３とに分けられる。加えて、他の視覚的な特徴（例えばエッジの数、画像の複雑度、テクスチャ）が考慮に入れられても良い。
【００２３】
ステップ１９は、前景画像の切り取りを有する。前景画像は、有用且つ情報のあるオブジェクト又は要素のみであるべきである。それ故、情報の少ない部分を除去するため、前景画像が切り取られる必要がある。該切り取りは、関心領域に基づいて実行される。関心領域全体を含む最小の長方形が、この目的のために利用され得る。加えて、該関心領域は、サイズ及び形状について個々に解析される、幾つかの接続されたサブ領域から成るものとみなすことができる。従って、前景画像の切り取りの処理において、これらサブ領域が併合され又は無視されても良い。
【００２４】
ステップ２５は、コラージュの作成を有する。前のステップから、（切り取りされた）画像の２つのセット、即ち前景画像２１と背景画像２３とが得られる。画像のコラージュの作成において、前景画像は背景画像中に適切に配置される。このことは、これら前景画像が互いとオーバラップせず、且つ背景の関心領域を塞がないことを意味する。各前景画像の位置及びサイズを見出す問題は、オーバラップせず且つ塞がないという条件が分離軸定理（separating axis theorem）を用いてモデリングされる、条件付き最適化問題（２次元ビンパッキング）にマッピングされることができる（コンピュータゲームにおいて利用される既知の手法である）。該問題の変数は、各前景画像の位置及びサイズである。サイズ変数は、前景画像のコンテンツに依存し得る最小サイズを下限とされる。制約は、前景間でオーバラップしないこと及び背景を塞がないことである。更なる制約は、背景画像の十分の部分を自由のままにする（例えば前景画像の周囲に空の境界を追加することによって）ことであり得る。最大化すべき目的関数は、前景画像の数及び画素の数で表される該前景画像の面積である。このとき、標準的な方法を用いて、２次元ビンパッキング問題に対する解が見出される。２次元ビンパッキング問題が適切な解を見出さない場合には、部分的にオーバラップする／塞ぐことを許容するように幾つかの条件が緩和されても良い。この場合、「最良の」解（最小のオーバラップを伴う）が受け入れられる。図４及び５は、関心領域が境界箱（箱を含む最小の長方形）を用いてモデル化されたケースを示す。図４は、検出された関心領域４３を持つ、元の画像４１を示す。図５は、前景画像をはめ込むべき領域、即ち領域５１乃至５４及び５６乃至５９と、禁止領域５５とを示す。
【００２５】
以上のステップは、静的なコラージュを自動的に構築する方法を詳細に説明した。しかしながら、静的なコラージュはかなり限られた数の画像のみしか示すことができず、集合のかなり制限された概観しか与えない。前景画像及び背景画像を時間的に動的に変化させることによりコラージュを動画化することは、このことを解決し得る。視覚的な連続性のため、前景画像は、背景画像よりも高速に変化させられる。コラージュの時間的な変化は、前景画像の配置を複雑化する。２次元ビンパッキング問題は、２次元問題から３次元問題へと変換される（背景画像における２つの空間次元と、１つの時間次元）。関心領域は全ての背景画像において同一ではないため、利用可能な空間のサイズは変化し、動的な境界条件を構成する。分離軸定理は３次元ビンパッキング問題にも適用されることができ、ここでもまた標準的な方法を用いて解が見出される。該問題の制約が大き過ぎる場合（オーバラップのない解が存在しない場合）には、最も小さい（及び最も短い）量のオーバラップを伴う解が選択されても良い。加えて、あまり重要でない前景画像に比べて重要な画像を早く及び／又は長い時間の間表示するように、コンテンツアイテムの相対的な重要度（格付け）が、最適化手順において考慮に入れられても良い。該重要度／格付けは例えば、関心領域のサイズ、アノテーション、手動の格付け、画像が閲覧された回数に基づいて決定されても良い。
【００２６】
図６の電子装置７１は、画像のコラージュを生成するための電子装置である。電子装置７１の電子回路７３は、背景画像における関心領域を決定し、該関心領域外の背景領域上に少なくとも１つの前景画像を表示するように動作可能である。電子装置７１は更に、記憶手段７５、再生手段７７、入力部７９及び／又は出力部８１を有しても良い。電子装置７１は、固定装置であっても良いし、又は携帯型装置であっても良い。電子装置７１は、消費者向け装置であっても良いし、又はプロフェッショナル用装置であっても良い。電子回路７３は、汎用プロセッサであっても良いし、又は特定用途向けプロセッサであっても良い。電子回路７３は、コンピュータプログラムを実行することが可能であっても良い。
【００２７】
記憶手段７５は、例えばハードディスク、固体メモリ、光ディスク読み取り器又はホログラフィック記憶手段を有しても良い。記憶手段７５は、前景及び／又は背景画像及び／又は画像のコラージュを保存しても良い。再生手段７７は、例えばディスプレイ及び／又はラウドスピーカを有しても良い。再生手段７７は、画像のコラージュを表示するために利用されても良い。代替として、出力部８１が、外部のディスプレイ（図示されていない）に画像のコラージュを表示するために利用されても良い。電子装置７１は、例えばタッチスクリーン又はタッチパッドのような入力手段（図示されていない）を有しても良い。代替として、入力部７９が、外部の入力装置（図示されていない）からユーザ入力を受信するために利用されても良い。外部の入力装置は、例えばマウス、トラックボール又はディジタルペンであっても良い。入力部７９及び出力部８１は例えば、ＵＳＢコネクタ若しくはEthernet（登録商標）コネクタのようなネットワークコネクタ、シンチコネクタ若しくはＳＣＡＲＴコネクタのようなアナログオーディオ及び／又はビデオコネクタ、又はＨＤＭＩ若しくはＳＰＤＩＦコネクタのようなディジタルオーディオ及び／又はビデオコネクタを有しても良い。入力部７９及び出力部８１は、無線受信器及び／又は送信器を有しても良い。
【００２８】
本発明は好適な実施例に関連して説明されたが、以上に概説された原理内の変更は当業者には明らかであり、それ故本発明は好適な実施例に限定されるものではなく、斯かる変更を包含することを意図したものであることは、理解されるであろう。本発明は、それぞれの及び全ての新規な特徴及び特徴のそれぞれの及び全ての組み合わせに存する。請求項における参照番号は、請求項の保護範囲を限定するものではない。動詞「有する（comprise）」及びその語形変化の使用は、請求項に記載されたもの以外の要素の存在を除外するものではない。要素に先行する冠詞「１つの（a又はan）」の使用は、複数の斯かる要素の存在を除外するものではない。
【００２９】
当業者には明らかであるように、「手段（means）」は、単独の又は他の要素と協働する、いずれのハードウェア（別個の又は集積された回路又は電子素子のような）をも又は、単独で若しくは他の機能と組み合わせて特定の機能を動作時に実行する若しくは実行するように構成されたソフトウェア（単独で又は他の要素と協働して）をも含むことを意図している。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。幾つかの手段を列記した装置請求項において、これら手段の幾つかは同一のハードウェアのアイテムによって実施化されても良い。「コンピュータプログラム」とは、フロッピー（登録商標）ディスクのようなコンピュータ読み取り可能な媒体に保存された、インターネットのようなネットワークを介してダウンロード可能な、又は他のいずれかの方法で入手可能な、いずれのソフトウェア製品をも意味するものと理解されるべきである。
【図１】
2010503101.tif 000003
【図２】
2010503101.tif 000004
【図３】
2010503101.tif 000005
【図４】
2010503101.tif 000006
【図５】
2010503101.tif 000007
【図６】
2010503101.tif 000008
【国際調査報告】
2010503101.tif 000009
2010503101.tif 000010