(57)【要約】      （修正有）【課題】自動アニメーションのための方法および装置を提供する。【解決手段】方法は、画像内の１つまたは複数の関心領域（ＲＯＩ）を、上記ＲＯＩの顕著度の値に少なくとも部分的に基づいて、検出するステップと、上記ＲＯＩを提示するシーケンスを決定するステップと、上記ＲＯＩおよび上記シーケンスに基づいて、アニメーションを生成するステップと、を含む。隣接ＲＯＩの間で表示エリアがそれに沿って上記シーケンスで動かされるアニメーションパスは、上記パスに沿った場合の上記ＲＯＩの上記顕著度の値の和を最大化するように決定される。【選択図】図２
2016110649.tif 000002
【特許請求の範囲】
【請求項１】
画像内の１つまたは複数の関心領域（ＲＯＩ）を、前記１つまたは複数のＲＯＩの顕著度の値に少なくとも部分的に基づいて、検出するステップと、
前記１つまたは複数のＲＯＩを提示するシーケンスを決定するステップと、
前記ＲＯＩおよび前記シーケンスに基づいて、アニメーションを生成するステップと、
を含み、隣接ＲＯＩの間で表示エリアがそれに沿って前記シーケンスで動かされる、アニメーションパスは、前記パスに沿った場合の前記１つまたは複数のＲＯＩの前記顕著度の値の和を最大化するように決定される、方法。
【請求項２】
前記ＲＯＩおよび前記表示エリアは、各々、長方形領域である、請求項１に記載の方法。
【請求項３】
前記長方形領域は、各々、前記画像を表示するためのスクリーンのそれに対応するアスペクト比を有する、請求項２に記載の方法。
【請求項４】
前記表示エリアは、それが第１のＲＯＩから第２のＲＯＩに動かされるとき、前記第１のＲＯＩのそれから前記第２のＲＯＩのそれに変化させられるサイズを有することができる、請求項１から３のいずれかに記載の方法。
【請求項５】
前記表示エリアの前記サイズは、線形関数または他の任意の連続関数に従って変化させられる、請求項３に記載の方法。
【請求項６】
前記１つまたは複数のＲＯＩは、相対的に高い顕著度の値を有するように選択される、請求項１から５のいずれかに記載の方法。
【請求項７】
前記画像に基づいて顕著性マップを計算するステップであって、前記ＲＯＩは前記顕著性マップに基づいて検出される、前記計算するステップをさらに含む、請求項１から６のいずれかに記載の方法。
【請求項８】
前記シーケンスは、それぞれのＲＯＩのサイズに少なくとも部分的に基づいて決定される、請求項１から７のいずれかに記載の方法。
【請求項９】
前記シーケンスは、前記それぞれのＲＯＩの平均顕著度の値に少なくとも部分的に基づいて決定される、請求項１から８のいずれかに記載の方法。
【請求項１０】
ＲＯＩの前記シーケンスは、完全な画像によって開始および／または終了する、請求項１から９のいずれかに記載の方法。
【請求項１１】
装置であって、
前記装置の動作のために必要とされる画像およびデータを記憶するように構成されたメモリと、
前記画像内の１つまたは複数の関心領域（ＲＯＩ）を、前記１つまたは複数のＲＯＩの顕著度の値に少なくとも部分的に基づいて検出することと、
前記１つまたは複数のＲＯＩを提示するシーケンスを決定することと、
前記ＲＯＩおよび前記シーケンスに基づいてアニメーションを生成することと、を行うように構成されたプロセッサーと、
を備え、隣接ＲＯＩの間で表示エリアがそれに沿って前記シーケンスで動かされるアニメーションパスは、前記パスに沿った場合の前記１つまたは複数のＲＯＩの前記顕著度の値の和を最大化するように決定される、前記装置。
【請求項１２】
前記シーケンスを決定する規則および／または前記アニメーションパスを決定する規則を定めるための入力を受け取るように構成された入力デバイスをさらに備える、請求項１１に記載の装置。
【請求項１３】
外部デバイスから前記画像を受け取るように構成されたインターフェースをさらに備える、請求項１１に記載の装置。
【請求項１４】
請求項１から１０の少なくとも１つに従った方法のステップを実行するためのプロセッサーによって実行可能なプログラムコード命令を含むコンピュータプログラム。
【請求項１５】
非一時的なコンピュータ可読媒体上に記憶され、請求項１から１０の少なくとも１つに従った方法のステップを実行するためのプロセッサーによって実行可能なプログラムコード命令を含む、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に、画像処理の分野に関し、より詳細には、自動アニメーションのための方法および装置に関する。
【背景技術】
【０００２】
このセクションは、本開示で説明される技術の様々な実施形態の背景を提供することが意図されている。このセクションにおける説明は、追求されることができたが、必ずしもこれまでに着想または追求されたものではない概念を含むことができる。したがって、本明細書で別段の指摘がない限り、このセクションにおいて説明されることは、本開示の説明および／または特許請求の範囲の先行技術ではなく、単にこのセクションに含まれることによって、先行技術であると認められてはいない。
【０００３】
ＰｏｗｅｒＰｏｉｎｔまたはＰｕｌｐＭｏｔｉｏｎなどの多くのツールが、静止画を提示するためのスライドショーの作成、または静止画、ビデオ、もしくはメディアファイルからのアニメーションの作成を提供する。
【０００４】
さらに、ＰｕｌｐＭｏｔｉｏｎまたはＭｅｍｏｒｙＭｉｎｅｒなどのツールは、位置目標を定めるために、ピクチャ内の点／エリアを選択する可能性を提供し、ピクチャをその全サイズから点／エリア上のフォーカスにまで、またはフォーカスされた点／エリアから全画面表示にまでの視覚化を行うアニメーションが、作成されるようにする。いくつかのケースでは、仮想カメラを移動させるために使用される軌道を定めるための一組の点および関連するランキングを定め、合成ビデオシーケンスを生成することも可能である。これらのツールは、点およびそれらがアニメーション内で使用される順序を選択するために、人間の行為を常に必要とする。
【発明の概要】
【０００５】
本開示は、特に、自動的にアニメーションを作成することを可能にする、自動アニメーションのための方法および装置を提供することを目的とする。
【０００６】
本開示の第１の態様によると、方法が、提供される。上記方法は、画像内の１または複数の関心領域（ＲＯＩ）を、上記１つまたは複数のＲＯＩの顕著度の値に少なくとも部分的に基づいて検出するステップと、上記１つまたは複数のＲＯＩを提示するシーケンスを決定するステップと、上記ＲＯＩおよび上記シーケンスに基づいてアニメーションを生成するステップと、を含み、隣接ＲＯＩの間で表示エリアがそれに沿って上記シーケンスで動かされる、アニメーションパスは、上記パスに沿った場合の上記１つまたは複数のＲＯＩの上記顕著度の値の和を最大化するように決定される、ことができる。
【０００７】
実施形態では、上記ＲＯＩおよび上記表示エリアは、各々、長方形領域であることができる。
【０００８】
実施形態では、上記長方形領域は、各々、上記画像を表示するためのスクリーンのそれに対応するアスペクト比を有することができる。
【０００９】
実施形態では、上記表示エリアは、それが第１のＲＯＩから第２のＲＯＩに動かされるとき、上記第１のＲＯＩのそれから上記第２のＲＯＩのそれに変化させられるサイズを有することができる。
【００１０】
実施形態では、上記表示エリアの上記サイズは、線形関数または他の任意の連続関数に従って変化させられることができる。
【００１１】
実施形態では、上記１つまたは複数のＲＯＩは、相対的に高い顕著度の値を有するように選択されることができる。
【００１２】
実施形態では、上記方法は、上記画像に基づいて顕著性マップを計算するステップであって、上記ＲＯＩは上記顕著性マップに基づいて検出される、上記計算するステップをさらに含むことができる。
【００１３】
実施形態では、上記シーケンスは、それぞれのＲＯＩのサイズに少なくとも部分的に基づいて決定されることができる。
【００１４】
実施形態では、上記シーケンスは、上記それぞれのＲＯＩの平均顕著度の値に少なくとも部分的に基づいて決定されることができる。
【００１５】
実施形態では、ＲＯＩの上記シーケンスは、完全な画像によって開始および／または終了することができる。
【００１６】
実施形態では、上記シーケンスは、最大のＲＯＩから開始して最小のＲＯＩに到ること、または最小のＲＯＩから開始して最大のＲＯＩに到ることを含むことができる。
【００１７】
実施形態では、上記シーケンスを決定する動作は、上記ＲＯＩの上記シーケンスを画像のたびに交替させるステップをさらに含むことができる。
【００１８】
実施形態では、上記シーケンスは、上記それぞれのＲＯＩの位置に少なくとも部分的に基づいて決定されることができる。
【００１９】
実施形態では、上記シーケンスは、現在のＲＯＩから上記現在のＲＯＩに最も近い隣のＲＯＩに移ることをさらに含むことができる。
【００２０】
実施形態では、上記シーケンスを決定する上記動作は、第１の画像が相対的に小さいＲＯＩで終了する場合、上記シーケンス内で上記第１の画像の隣の第２の画像が上記終了ＲＯＩに近いＲＯＩで開始するステップをさらに含むことができる。
【００２１】
実施形態では、上記シーケンスを決定する上記動作は、フル画像を上記１つまたは複数のＲＯＩの前方または後方に配置するステップをさらに含むことができる。
【００２２】
本開示の第２の態様によると、装置が、提供される。上記装置は、上記装置の動作のために必要とされる画像およびデータを記憶するように構成されたメモリと、上記画像内の１つまたは複数の関心領域（ＲＯＩ）を、上記１つまたは複数のＲＯＩの顕著度の値に少なくとも部分的に基づいて、検出することと、上記１つまたは複数のＲＯＩを提示するシーケンスを決定することと、上記ＲＯＩおよび上記シーケンスに基づいて、アニメーションを生成することと、を行うように構成されたプロセッサーと、を備えることができ、隣接ＲＯＩの間で表示エリアがそれに沿って上記シーケンスで動かされるアニメーションパスは、上記パスに沿った場合の上記１つまたは複数のＲＯＩの上記顕著度の値の和を最大化するように決定される。結果として、アニメーションのために、上記ＲＯＩを上記シーケンスで（および上記フル画像も）提示または表示することが可能である。
【００２３】
実施形態では、上記プロセッサーは、顕著性に少なくとも部分的に基づいて、隣接ＲＯＩの間で表示エリアがそれに沿って上記シーケンスで動かされるアニメーションパスを決定するようにさらに構成されることができる。
【００２４】
実施形態では、上記装置は、上記シーケンスを決定する規則および／または上記アニメーションパスを決定する規則を定めるための入力を受け取るように構成された入力デバイスをさらに備えることができる。
【００２５】
実施形態では、上記装置は、外部デバイスから上記画像を受け取るように構成されたインターフェースをさらに備えることができる。
【００２６】
いくつかの実施形態によると、上記ＲＯＩは、相対的に高い顕著度の値を有するように選択されることができる。例えば、最も高い顕著度の値を有する領域またはエリアが上記ＲＯＩとして決定されることができる。
【００２７】
いくつかの実施形態によると、顕著性マップが上記画像に基づいて計算されることができ、上記ＲＯＩは上記顕著性マップに基づいて検出されることができる。顔検出が人の顔を有するＲＯＩを見つけるためにさらに実行されることができる。
【００２８】
さらに、隣接ＲＯＩの間で表示エリアがそれに沿って上記シーケンスで動かされる、アニメーションパスは、顕著性に少なくとも部分的に基づいて決定されることができる。例では、上記アニメーションパスは、上記パスに沿った場合の上記顕著性を最大化するように決定されることができる。したがって、第１のＲＯＩの提示と上記第１のＲＯＩの隣の第２のＲＯＩの提示との間に、上記第１のＲＯＩと上記第２のＲＯＩとを橋渡しする上記アニメーションパスの延びに沿って、上記ＲＯＩとは異なる上記画像のいくつかの領域またはエリアも、すなわち、上記第１のＲＯＩから上記第２のＲＯＩへと上記パスに沿って上記画像上をそれが動いていくときに、上記表示エリアによって取り囲まれる領域またはエリアも提示されることができる。上記パスは、上記領域またはエリアが（上記ＲＯＩ以外で）最も高い顕著性を有することができるように選択されることができる。
【００２９】
上記ＲＯＩおよび上記表示エリアは、各々、長方形領域であること、例えば、上記画像／ＲＯＩを表示するためのスクリーンのそれに対応するアスペクト比を有するそれらであることができる。上記表示エリアは、それが第１のＲＯＩから第２のＲＯＩに動かされるとき、上記第１のＲＯＩのそれから上記第２のＲＯＩのそれに変化させられるサイズを有することができる。例では、上記表示エリアの上記サイズは、線形関数または他の任意の連続関数に従って変化させられることができる。
【００３０】
いくつかの実施形態によると、上記シーケンスは、それぞれのＲＯＩのサイズに少なくとも部分的に基づいて決定されることができる。例えば、上記アニメーションパスは、最大のＲＯＩから開始して最小のＲＯＩに到るもの、またはその反対のものを含むことができる。
【００３１】
いくつかの実施形態によると、上記シーケンスは（上記サイズ基準に加えて、またはそれに代わって）上記それぞれのＲＯＩの位置に少なくとも部分的に基づいて決定されることができる。例えば、上記シーケンスは、現在のＲＯＩから上記現在のＲＯＩに最も近い隣のＲＯＩに移ることを含むことができる。
【００３２】
さらに、上記アニメーションパスは、上記（フル）画像自体を上記１つまたは複数のＲＯＩの前方または後方に配置することをさらに含むことができる。あるいは、上記フル画像は、ＲＯＩとも見なされることができ、したがって、上記シーケンスは、上記ＲＯＩおよび上記フル画像（すなわち、最大のＲＯＩ）の両方に関して決定されることができる。
【００３３】
スライドショーのためにシーケンスで提示されるべき複数の画像が存在することができる。上記画像のうちの少なくともいくつかは、上述のように処理されることができる。したがって、上記画像の各々を提示する際、この画像についてのアニメーションが提示されることができる。さらに、上記シーケンスは、上記スライドショー内の隣接する画像に対しては、異なるように決定されることができ、そのため、第１の画像は、上記第１の画像の隣の第２の画像の第２のシーケンスとは異なる第１のシーケンスを有することができる。例えば、上記ＲＯＩの上記提示シーケンスは、画像のたびに交替させられることができる。第１の画像が、相対的に小さいＲＯＩで終了する場合、上記第１の画像の隣の第２の画像は、上記第１の画像の上記終了ＲＯＩに近いＲＯＩで開始することができる。
【００３４】
上記アニメーションは、固定サイズのスクリーン上で表示することを意図されることができる。そのような場合、クロッピングおよび／またはズームイン／アウトが、上記アニメーションパスに沿って、上記ＲＯＩおよび／または上記フル画像に対して実行されることができる。上記クロッピングまたはズーミングのためのファクタは、上記アニメーションパス内の２地点間で、内挿されることができる。
【００３５】
本開示の第３の態様によると、本開示の上記第１の態様による方法の上記ステップを実現するための、プロセッサーによって実行可能な製品プログラムコード命令を含む、コンピュータプログラムが、提供される。
【００３６】
本開示の第４の態様によると、非一時的なコンピュータ可読媒体上に記憶された、本開示の上記第１の態様による方法の上記ステップを実現するための、プロセッサーによって実行可能なプログラムコード命令を含む、コンピュータプログラム製品が、提供される。
【００３７】
本開示の実施形態によると、検出、決定、および生成する上記動作は、人が介入する対話を伴わずとも、コンピューティングデバイスによって自動的に実行されることができる。
【図面の簡単な説明】
【００３８】
本開示の上述および他の目的、特徴、および利点は、添付の図面を参照する、その実施形態についての以下の説明からより明らかになる。
【図１】本開示の実施形態による装置を概略的に示すブロック図である。
【図２】本開示の実施形態による方法を概略的に示すフローチャートである。
【図３（ａ）】画像、および本開示の実施形態に従って処理された画像の結果を概略的に示す図である。
【図３（ｂ）】画像、および本開示の実施形態に従って処理された画像の結果を概略的に示す図である。
【図３（ｃ）】画像、および本開示の実施形態に従って処理された画像の結果を概略的に示す図である。
【図３（ｄ）】画像、および本開示の実施形態に従って処理された画像の結果を概略的に示す図である。
【図４】画像、その中で検出されたＲＯＩ、および本開示の実施形態によるＲＯＩ間のアニメーションパスを概略的に示す図である。
【図５（ａ）】隣接する画像間のシーケンス切り換えを概略的に示す図である。
【図５（ｂ１）】隣接する画像間のシーケンス切り換えを概略的に示す図である。
【図５（ｂ２）】隣接する画像間のシーケンス切り換えを概略的に示す図である。
【図６】可能な応用のフローを概略的に示すフローチャートである。
【発明を実施するための形態】
【００３９】
これ以降、本開示が、添付の図面に示された実施形態を参照して説明される。しかしながら、それらの説明は、本開示を限定するためではなく、説明に役立てる目的で提供されるにすぎないことを理解されたい。さらに、以下では、知られた構造および技法についての説明は、本開示の概念をいたずらに曖昧にすることがないように、省かれる。
【００４０】
本明細書で使用される用語は、特定の実施形態を説明することを目的としたものにすぎず、本開示を限定することは意図されていない。本明細書で使用される場合、「ａ」、「ａｎ」、および「ｔｈｅ」を冠する単数形は、文脈が明示的に別途定めない限り、複数形も同様に含むことが意図されている。さらに、本明細書で使用される場合、「備える／含む（ｃｏｍｐｒｉｓｅｓ）」または「備える／含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、述べられた特徴、ステップ、動作、および／またはコンポーネントの存在を明示するが、１または複数の他の特徴、ステップ、動作、またはコンポーネントの存在または追加を排除しない。
【００４１】
本明細書で使用される（技術および科学用語を含む）すべての用語は、別段の定義がなされない限り、当業者によって一般に理解されているのと同じ意味を有する。本明細書で使用される用語は、本明細書および関連技術の文脈におけるその意味と整合性のある意味を有すると解釈されるべきであり、理想化されてまたは過度に形式的に解釈されないことに留意されたい。
【００４２】
本開示の技術が、本開示の実施形態によるブロック図および／またはフローチャートを参照して、以下で説明される。ブロック図および／もしくはフローチャートのいくつかのブロック、またはそれらの組合せは、コンピュータプログラム命令によって実現されることができることを理解されたい。これらのコンピュータプログラム命令は、命令が、プロセッサーによって実行されたときに、ブロック図および／またはフローチャートにおいて明示された機能／動作を実現するための手段を生成するように、汎用コンピュータ、専用コンピュータ、および／または他のプログラム可能なデータ処理装置のプロセッサーに提供されることができる。
【００４３】
したがって、本明細書で説明される技術は、ハードウェアおよび／または（ファームウェア、マイクロコードなどを含む）ソフトウェアで、具体化されることができる。さらに、技術は、命令実行システムによって使用するための、または命令実行システムと関連した、その上に記憶された命令を有するコンピュータ可読媒体上のコンピュータプログラム製品の形態を取ることができる。本開示の文脈では、コンピュータ可読媒体は、命令を格納し、記憶し、伝達し、伝搬させ、または転送することができる、任意の媒体であることができる。例えば、コンピュータ可読媒体は、電子的な、磁気的な、光学的な、電磁気的な、赤外線の、または半導体のシステム、装置、デバイス、または伝搬媒体を含むことができるが、それらに限定されない。コンピュータ可読媒体の具体的な例は、磁気テープもしくはハードディスクドライブ（ＨＤＤ）などの磁気記憶、コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）などの光記憶、ランダムアクセスメモリ（ＲＡＭ）もしくはフラッシュメモリなどのメモリ、および／または有線もしくは無線通信リンクを含む。
【００４４】
図１は、本開示の実施形態による装置を概略的に示すブロック図である。
【００４５】
図１に示されるように、装置１００は、プロセッサー１０２と、インターフェース１０４と、メモリ１０６と、を備えることができる。
【００４６】
プロセッサー１０２は、データ、特に、画像データに対して所望の処理を実行することが可能な、任意の適切なデバイスを含むことができる。例えば、プロセッサー１０２は、汎用中央処理装置（ＣＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサー（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または専用画像プロセッサーであることができる。より具体的には、プロセッサー１０２は、以下で説明される方法を実行するように構成される。
【００４７】
インターフェース１０４は、装置１００とカードリーダなどの外部デバイスとの間のインターフェースとして機能することができる。例えば、写真および／またはビデオを記録するためにデジタルカメラ（ＤＣ）および／またはデジタルビデオレコーダ（ＤＶＲ）によって使用される、メモリカードは、カードリーダに挿入されることができる。カードリーダは、それに挿入されたメモリカードから、記憶された写真および／またはビデオ（すなわち、「画像」）を読み取り、その後、読み取られた画像を、インターフェース１０４を介して、プロセッサー１０２に送ることができる。ここでは、「画像」という用語は、静止画または動画（例えば、それのフレーム）を指すことができる。
【００４８】
外部デバイスは、上で例示されたカードリーダに限定されないことに留意されたい。様々な外部デバイス、および外部デバイスに適合された１または複数のインターフェースが、存在することができる。例えば、プロセッサー１０２は、ネットワーク（例えば、インターネット）上でサービスプロバイダから、有線接続（例えば、ＵＳＢ）もしくは無線接続（例えば、赤外線、Ｂｌｕｅｔｏｏｔｈ、もしくはＮＦＣ）上でモバイルデバイスから、通信リンク（例えば、ＲＦ）上で通信デバイスから、または記憶デバイス（例えば、ＨＤＤ）から、インターフェース１０４を介して、データを受け取ることができる。
【００４９】
メモリ１０６は、外部から受け取られたデータ、装置１００の動作のために必要とされるデータ、および／または装置１００の動作からもたらされたデータを記憶することができる。例えば、メモリ１０６は、外部デバイスからインターフェース１０４を介して受け取られた画像データ、および本明細書で説明される方法を実行するようにプロセッサー１０２に命令するための命令を記憶することができる。プロセッサー１０２は、命令をロードし、命令を実行して画像データを処理し、処理結果をメモリ１０６に記憶することができる。
【００５０】
装置１００は、入力デバイス１０８をさらに備えることができる。入力デバイス１０８は、装置への入力を、例えば、ユーザから、受け取ることができる。入力デバイスは、キーボード、タッチパッド、またはリモートコントローラなど、様々な形態で具体化されることができる。入力デバイス１０８は、プロセッサー１０２の処理についてのいくつかの規則を、ユーザがカスタマイズすることを可能にする。例えば、ユーザは、以下で説明されるように、提示シーケンスおよび／またはアニメーションパスを決定するための規則を定めるために、入力デバイス１０８を使用することができる。
【００５１】
加えて、装置１００は、ディスプレイ１１０をさらに備えることができる。ディスプレイ１１０は、受け取られた画像および／または処理された画像を表示することができる。例えば、ディスプレイ１１０は、液晶ディスプレイ（ＬＣＤ）、または有機発光ダイオード（ＯＬＥＤ）ディスプレイなどを含むことができる。入力デバイス１０８が、タッチパッドとして具体化される場合、入力デバイスは、ディスプレイ１１０に組み込まれることができる。
【００５２】
本開示の実施形態によると、装置１００は、汎用コンピュータ、タブレットコンピュータ、モバイルデバイス、またはスマートフォン内などで、具体化されることができる。
【００５３】
図２は、本開示の実施形態による方法を概略的に示すフローチャートである。方法は、例えば、装置によって、特に、図１に示されるような、プロセッサー１０２によって、実行されることができる。
【００５４】
図２に示されるように、方法２００は、画像内の１または複数の関心領域（ＲＯＩ）を検出する動作２１０を含むことができる。画像は、例えば、ＤＶによって撮影された静止画、またはＤＶＲによって記録されたビデオのフレームである。装置１００の場合、画像は、インターフェース１０４を介して受け取られ、その後、メモリ１０６内に記憶されることができる。ＲＯＩは、各々、サイズおよび顕著度など、関連するメタデータを有することができる。
【００５５】
ここで、「ＲＯＩ」という用語は、関心がある画像の部分または領域を指すことができる。一般に、ＲＯＩは、画像の他の部分または領域よりも魅力的であることができ、そのため、見る人は、画像を見たときに、最初にＲＯＩに注意を向ける。例えば、そのようなＲＯＩは、画像内に存在する人の顔、または画像内の焦点が合っている物体であることができる。
【００５６】
本開示の実施形態によると、ＲＯＩは、その顕著度に少なくとも部分的に基づいて、検出されることができる。例えば、（画像の他のエリアに対して）相対的に高い顕著度を有する、特に、最も高い顕著度を有する、画像のエリアは、ＲＯＩとして決定されることができる。例では、画像に基づいて、顕著性マップが、顕著度を達成するために、計算されることができ、２値化されることもできる。さらなる実施形態によると、顔検出が、人の顔を有するＲＯＩを見つけるために、さらに実行されることができる。
【００５７】
図３を参照することができる。図３（ａ）は、処理される例示的な写真である。顕著度に基づいて、ＲＯＩが、上で説明されたように、写真内で見つけられることができる。例えば、顕著性マップが、計算されることができる。図３（ｂ）は、顕著性マップを示している。この図では、相対的に高い顕著度を有するエリアは、相対的に明るくなるように示されている。この例では、３つのＲＯＩが、図３（ｃ）に示されるように、この写真内で見つけられる。
【００５８】
そのようなＲＯＩが見つけられない場合、それは、画像がほぼ一様であることを意味する。この場合、ズームインされるほど十分に興味深いエリアは、存在しない。したがって、（この画像のあるエリアをアニメーション化することなく）フル画像のみを表示すること、またはこの画像をスキップすることが、ふさわしい。
【００５９】
一般に、画像またはＲＯＩを提示または表示するためのスクリーン、例えば、図１に示されたようなディスプレイ１１０は、（例えば、４：３または１６：９の）アスペクト比を有する長方形の形状を有する。ＲＯＩをスクリーンに適合させるために、ＲＯＩは、長方形領域であると、例えば、スクリーンのそれに対応するアスペクト比を有するそれらであると決定されることができる。長方形（図３（ｄ）に示される長方形を参照）は、相対的に高い顕著度を有するそれぞれのエリア（相対的に明るくなるように図３（ｂ）で示されたそれら）を取り囲むことができる。長方形は、各々、対応するエリアを完全に取り囲むのに十分な大きさのサイズを有することができる。さらに、サイズは、大きすぎないように、例えば、対応するエリアをちょうど取り囲むのに足りるだけにすることができる。
【００６０】
図２を再び参照すると、方法は、その後、１または複数のＲＯＩを提示するシーケンスを決定する動作２２０に進むことができる。その後、ＲＯＩは、アニメーションのために、このシーケンスで提示されることができる。シーケンスは、例えば、昇順または降順での、ＲＯＩのサイズに少なくとも部分的に基づいて、決定されることができる。例えば、アニメーションパスは、最大のＲＯＩから開始して最小のＲＯＩに到るもの、または最小のＲＯＩから開始して最大のＲＯＩに到るものを含むことができる。
【００６１】
さらに、シーケンスは、（サイズ基準に加えて、またはそれに代わって）それぞれのＲＯＩの位置に少なくとも部分的に基づいて、決定されることができる。例えば、シーケンスは、重複を避けて、現在のＲＯＩから現在のＲＯＩに最も近い隣のＲＯＩに移ることを含むことができる。
【００６２】
シーケンスは、画像自体、すなわち、（ＲＯＩに対して）「フル画像」をさらに含むことができる。例えば、フル画像は、シーケンス内でＲＯＩの前方または後方に配置されることができる。または、さもなければ、フル画像は、フル画像に対応するサイズを有するＲＯＩと見なされることができ、したがって、上で説明されたそれらのような事前に定められた規則に従って、上で検出されたような他のＲＯＩと一緒に配置されることができる。結果として、フル画像と一緒に検出されたＲＯＩは、アニメーション表示のために、決定されたシーケンスで提示されることができる。
【００６３】
さらに、シーケンスは、（サイズ／位置基準に加えて、またはそれらに代わって）それぞれのＲＯＩの「重要さ」に少なくとも部分的に基づいて、決定されることができる。ここでは、各ＲＯＩの「重要さ」は、それの顕著度によって、評価されることができる。シーケンスの非網羅的な例は、最も重要でないＲＯＩから最も重要なＲＯＩに到った後に、フル画像が続くこと、最も重要なＲＯＩから最も重要でないＲＯＩに到った後に、フル画像が続くこと、フル画像の後に、最も重要でないＲＯＩから最も重要なＲＯＩに到ること、またはフル画像の後に、最も重要なＲＯＩから最も重要でないＲＯＩに到ることを含む。
【００６４】
図３（ｄ）を参照すると、この例では、シーケンスは、ＲＯＩ３→ＲＯＩ２→ＲＯＩ１→フル画像と決定される。
【００６５】
図２を再び参照すると、方法は、その後、ＲＯＩおよびシーケンスに基づいて、アニメーションを生成する動作２４０に進むことができる。この動作は、決定されたシーケンスに従って、ＲＯＩを（およびフル画像も）連結することを含むことができる。その後、ＲＯＩが（およびフル画像も）、決定されたシーケンスで提示されることができるように、生成されたアニメーションが、表示のために出力されることができる。例えば、図３の例では、ＲＯＩ３、ＲＯＩ２、ＲＯＩ１、およびフル画像が、このシーケンスで表示されることができる。
【００６６】
ＲＯＩは、再生されるとき、ズームインされること、または特に、ＲＯＩが、上で説明されたように、スクリーンのアスペクト比を有する長方形である場合、フルスクリーンに拡大されることができる。しかしながら、本開示は、それに限定されない。ＲＯＩは、様々な方法で提示されることができる。例えば、ＲＯＩは、例えば、ＲＯＩを画像から取り出し、それをある（しかし、フルスクリーンにはならない）程度まで拡大し、その後、それを画像上に重ね合せること、または画像の残りの部分をぼやけさせながら、ＲＯＩを提示することなどによって、強調して提示されることができる。
【００６７】
したがって、それは、（仮想）カメラが存在するのに似ている。仮想カメラは、画像のエリアをフレームとしてキャプチャすることができる。例えば、仮想カメラは、ＲＯＩをキャプチャすることができる。キャプチャされたエリアは、その後、提示または表示されることができる。ここでは、そのようなエリアは、「表示エリア」と、すなわち、一瞬間表示される画像のエリアと呼ばれる。一連のキャプチャされたフレームは、アニメーション表示またはビデオとして、提示されることができる。
【００６８】
決定されたシーケンスでフレーム（すなわち、それぞれのＲＯＩ）を含む、アニメーション表示またはビデオを生成するために、仮想カメラ、したがって、表示エリアは、１つのＲＯＩから別のＲＯＩにシーケンスで動かされるべきである。仮想カメラまたは表示エリアの移動は、パスに沿って行われることができる。ここでは、そのようなパスは、「アニメーションパス」と呼ばれる。
【００６９】
方法２００は、アニメーションパスを決定する動作２３０をさらに含むことができる。
【００７０】
図４を参照することができる。図４は、２つのＲＯＩ、ＲＯＩ１およびＲＯＩ２が示された、画像４００を示している。画像４００内には、より多くのＲＯＩが、存在することができる。仮想カメラがそれに沿って動かされる軌道、すなわち、アニメーションパスが、４０５として示されている。仮想カメラは、ＲＯＩ１およびＲＯＩ２をキャプチャして、キャプチャされたＲＯＩ１およびＲＯＩ２をこのシーケンスで再生するために、パス４０５に沿ってＲＯＩ１からＲＯＩ２へと動かされることができる。
【００７１】
本開示の実施形態によると、仮想カメラは、ＲＯＩ１およびＲＯＩ２に加えて、パス内の１または複数のエリア、例えば、４０７および４０９をキャプチャし、キャプチャされた１または複数のエリアが、ＲＯＩ１とＲＯＩ２の間で、再生されることができるようにすることができる。それらのエリア４０７および４０９は、ＲＯＩと重なり合っても、または重なり合わなくてもよく、互いに重なり合っても、または重なり合わなくてもよい。仮想カメラがどれだけの頻度でキャプチャを実行するかは、仮想カメラのフレーム周波数に依存することができ、キャプチャされたエリアが互いにどれだけ遠く離れているかは、フレーム周波数および仮想カメラを動かすスピードの両方に依存することができる。
【００７２】
それらのエリアは、（例えば、それらは、ＲＯＩよりも相対的に低い顕著性を有するので）ＲＯＩほど興味深いものではないが、何が表示されているか、および表示されるＲＯＩの間の関係を理解するのに役立てることができる。例えば、ＲＯＩ１が、人の手であるとして検出され、ＲＯＩ２が、その人の顔として検出された場合、パスは、その人の腕または胴体を示すことができる。
【００７３】
言い換えると、表示エリア（例えば、長方形）は、ＲＯＩ１からＲＯＩ２にパスに沿って動かされ、表示エリアによって取り囲まれた画像の部分が、提示または表示される。ＲＯＩ１が、ＲＯＩ２とサイズが異なる（例えば、図４に示されるように、より小さい）場合、表示エリアは、ＲＯＩに適合させられるために、サイズ的に変化させられるべきである。より具体的には、表示エリア（または長方形）は、ＲＯＩ１のサイズからＲＯＩ２のサイズに変化させられたサイズを有するべきである。例えば、表示エリアのサイズは、線形関数または他の任意の連続関数に従って、変化させられることができる。
【００７４】
実施形態によると、アニメーションパスは、顕著性に少なくとも部分的に基づいて、決定されることができる。例えば、アニメーションパスは、そのパスに沿った場合の顕著性を最大化するように、決定されることができる。具体的には、パスは、そのパスに沿ってキャプチャされたエリアが、最も高い顕著性を有するように、選択されることができる。
【００７５】
アニメーションが、固定サイズのスクリーン上、例えば、図１に示されたディスプレイ１１０上で表示することを意図されている場合、表示される写真（例えば、ＲＯＩおよびフル画像）は、スクリーンに適合させられるために、アニメーションパスに沿って、クロッピングおよび／またはズームイン／アウトされることができる。クロッピングおよび／またはズーミングのためのファクタは、パス内の２地点間で、すなわち、２つのＲＯＩの間、またはＲＯＩとフル画像の間で、内挿されることができる。
【００７６】
図１を再び参照すると、本開示のさらなる実施形態によると、プロセッサー１０２は、インターフェース１０４を介して外部デバイスから複数の画像を受け取り、それらの画像をスライドショーのためにシーケンスで（例えば、画像をつなげた時刻によって決定されるような時間順のシーケンスで）表示することができる。さらに、プロセッサー１０２は、アニメーション効果のために、複数の画像の少なくともいくつかの上で、図２から図４に関連して上で説明されたものなどの処理を実行することができる。
【００７７】
提示シーケンスを決定する際、スライドショー内で互いに隣接する画像は、別々に決定されたそれらのそれぞれの提示シーケンスを有することができ、したがって第１の画像が、第１の画像の隣の第２の画像の第２の提示シーケンスと異なる、第１の提示シーケンスを有することができる。例えば、第１の提示シーケンスは、第２の提示シーケンスとは反対方向であることができる。
【００７８】
より具体的には、第１の画像については、シーケンスは、任意に選択されることができ、例えば、最も重要でないＲＯＩから最も重要なＲＯＩに到った後に、フル画像が続くことであることができる。第ｉの画像についてシーケンスが選択された後（ここで、ｉは、１以上の整数である）、第ｉ＋１の画像についてのシーケンスは、異なるように選択されることができる。例えば、第ｉの画像についてのシーケンスは、ＲＯＩからフル画像に到ることであることができ、第ｉ＋１の画像についてのシーケンスは、フル画像からＲＯＩに到ることであることができる。第ｉの画像内のＲＯＩは、複数ある場合、昇順もしくは降順で、またはパスを最小化する順序で、配置されることができ、第ｉ＋１の画像内のＲＯＩは、複数ある場合、第ｉの画像のそれと同じ方向であることができる昇順もしくは降順（すなわち、ともに昇順もしくは降順）で、もしくは第ｉの画像のそれと異なる方向であることができる昇順もしくは降順（すなわち、一方は昇順、他方は降順）で、またはパスを最小化する順序で、配置されることができる。
【００７９】
図５は、そのような例を示している。具体的には、図５（ａ）は、第ｉの画像のために選択された提示シーケンスを示しており、すなわち、図において矢印によって示されるように、（ブロックによって示される）ＲＯＩからフル画像に移ることである。その後、図５（ｂ１）に示されるように、第ｉ＋１の画像のための提示シーケンスは、図５（ｂ２）に示される、ＲＯＩからフル画像に移ることの代わりに、図において矢印によって示されるように、フル画像からＲＯＩに移ることとして、選択されることができる。
【００８０】
例では、ＲＯＩを提示するシーケンスは、画像のたびに交替させられることができる。例えば、第１の画像についてのシーケンスは、最小のＲＯＩから開始して最大のＲＯＩ（またはフル画像）に到ることであることができ、第１の画像の隣の第２の画像についてのシーケンスは、最大のＲＯＩから開始して最小のＲＯＩに到ることであることができ、第２の画像の隣の第３の画像についてのシーケンスは、第１の画像についてのそれと同じであることができ、第３の画像の隣の第４の画像についてのシーケンスは、第２の画像についてのそれと同じであることができ、以降も同様である。第１の画像が、相対的に小さいＲＯＩで終了する場合、第１の画像の隣の第２の画像は、第１の画像の終了ＲＯＩに近いＲＯＩで開始することができる。
【００８１】
提示シーケンスおよびアニメーションパスを決定するための規則は、ユーザによって（例えば、図１に示された入力デバイス１０８によって）カスタマイズされること、またはアルゴリズム内で事前に設定されることができる。
【００８２】
本明細書で開示される技術は、広範な用途を有することができる。例えば、それは、個人的なビデオ／写真のコレクションを管理する人々を手助けすることができる。
【００８３】
図６は、可能な応用のフローを概略的に示すフローチャートである。
【００８４】
図６に示されるように、フロー６００は、取り込みの動作６１０を含むことができる。この動作では、コンテンツは、特徴付けられることができ、その後、メタデータが、コンテンツに追加されることができる。ここでは、コンテンツは、ユーザによって、例えば、旅行中に、または誕生日パーティにおいて撮影された一連の写真またはビデオを含むことができる。彼は、写真またはビデオから電子アルバムを作成したいと思っている。
【００８５】
その後、フローは、編成の動作６２０に進むことができる。この動作では、コンテンツは、位置（ＧＰＳ）、日付、またはカラーなどの、類似性尺度に従って、分類されることができる。
【００８６】
フローは、その後、編集の動作６３０に進むことができる。この動作では、コンテンツは、実質的に均一な品質に達するように、拡充および変更されることができる。例えば、それらのサイズが、実質的に同じになるように、変更されることができ、それらの解像度が、実質的に同じになるように、調整されることができる。
【００８７】
その後、フローは、要約作成の動作６４０に進むことができる。この動作では、興味深いコンテンツが、選択されることができ、選択されたコンテンツは、スマートな方法でアニメーション化される必要がある写真と一緒に連結されることができる。例えば、アニメーションは、上で説明されたように、実現されることができる。
【００８８】
本開示は、その実施形態を参照して、上で説明されている。しかしながら、それらの実施形態は、本開示を限定するためではなく、説明に役立てる目的で提供されたにすぎない。本開示の範囲は、添付の特許請求の範囲およびその均等物によって確定される。当業者は、本開示の範囲から逸脱することなく、様々な代替および変更を行うことができ、それらは、すべて、本開示の範囲内に包含される。
【図１】
2016110649.tif 000003
【図２】
2016110649.tif 000004
【図４】
2016110649.tif 000005
【図６】
2016110649.tif 000006
【図３（ａ）】
2016110649.tif 000007
【図３（ｂ）】
2016110649.tif 000008
【図３（ｃ）】
2016110649.tif 000009
【図３（ｄ）】
2016110649.tif 000010
【図５（ａ）】
2016110649.tif 000011
【図５（ｂ１）】
2016110649.tif 000012
【図５（ｂ２）】
2016110649.tif 000013
【外国語明細書】
2016110649000001.pdf