(57)【要約】  ユーザにとって最も有意なマルチメディアコンテンツを予測するシステムおよび方法は、ユーザがマルチメディア動作を要求することに応答して、ユーザ装置上の感知装置を有効にするステップと、マルチメディアコンテンツに対してマルチメディア動作を実行するステップと、マルチメディア動作に応答して、実質的にマルチメディア動作が実行されているときに感知装置によってユーザの挙動および対話キューを識別するステップと、識別された挙動および対話キューによって表される前記マルチメディアコンテンツを含むマルチメディアコンテンツのセットからの推奨を更新するステップと、更新された推奨をユーザに提示するステップとを含む。
2019504409.tif 000002
【特許請求の範囲】
【請求項１】
方法であって、
ユーザがマルチメディア動作を要求することに応答して、ユーザ装置上の感知装置を有効にするステップと、
マルチメディアコンテンツに対して前記マルチメディア動作を実行するステップと、
前記マルチメディア動作に応答して、実質的に前記マルチメディア動作が実行されているときに前記感知装置によって前記ユーザの挙動および対話キューを識別するステップと、
識別された前記挙動および対話キューによって表される前記マルチメディアコンテンツを含むマルチメディアコンテンツのセットからの推奨を更新するステップと、
前記更新された推奨を前記ユーザに提示するステップと
を含む、方法。
【請求項２】
前記更新された推奨を提示することに応答して前記ユーザからのフィードバックを要求するステップと、
フィードバックキューを生成するために、前記ユーザからの前記フィードバックを肯定的な反応または否定的な反応として分類するステップと、
前記フィードバックキューによってマルチメディアコンテンツの前記セットからの前記推奨をさらに更新するステップと、
をさらに含む、請求項1に記載の方法。
【請求項３】
前記ユーザの前記挙動および対話キューを識別するステップが、
前記挙動および対話キューにマルチメディアサブキューがないか検索するステップと、
前記マルチメディアサブキューを肯定的な反応または否定的な反応として分類するステップと、
を含む、請求項1に記載の方法。
【請求項４】
マルチメディアサブキューを検索するステップが、前記マルチメディアコンテンツの視聴時間に応答して前記マルチメディアサブキューを生成するステップを含む、請求項3に記載の方法。
【請求項５】
マルチメディアサブキューを検索するステップが、前記ユーザが前記マルチメディアコンテンツを共有することに応答して前記マルチメディアサブキューを生成するステップを含む、請求項3に記載の方法。
【請求項６】
マルチメディアサブキューを検索するステップが、前記ユーザが前記マルチメディアコンテンツを編集することに応答して前記マルチメディアサブキューを生成するステップを含む、請求項3に記載の方法。
【請求項７】
マルチメディアサブキューを検索するステップが、前記ユーザが前記マルチメディアコンテンツを拡大表示することに応答して前記マルチメディアサブキューを生成するステップを含む、請求項3に記載の方法。
【請求項８】
マルチメディアサブキューを検索するステップが、前記ユーザ装置の向きを前記マルチメディアコンテンツの向きと一致させるために、前記ユーザが前記ユーザ装置を回転させることに応答して前記マルチメディアサブキューを生成するステップを含む、請求項3に記載の方法。
【請求項９】
前記ユーザの前記挙動および対話キューを識別するステップが、
前記感知装置によって前記ユーザの表情を捕捉するステップと、
前記挙動および対話キューを生成するために前記ユーザの前記表情を認識するステップと、
を含む、請求項1に記載の方法。
【請求項１０】
前記表情を認識するステップが、前記ユーザの前記表情を、肯定的な顔反応、否定的な顔反応、または顔反応なしとして分類するステップを含む、請求項9に記載の方法。
【請求項１１】
前記表情を認識するステップが、前記ユーザが前記ユーザ装置のディスプレイ上のホットスポットを凝視したときに、前記ユーザの視線を認識するステップを含む、請求項9に記載の方法。
【請求項１２】
前記ユーザの前記挙動および対話キューを識別するステップが、
前記感知装置によって周囲の活動を捕捉するステップと、
前記挙動および対話キューを生成するために、前記周囲の活動を分析するステップと、
を含む、請求項1に記載の方法。
【請求項１３】
前記周囲の活動を捕捉するステップが、前記マルチメディア動作を実行しながら前記感知装置によって音声を捕捉するステップと、を含む、請求項12に記載の方法。
【請求項１４】
前記周囲の活動を捕捉するステップが、
前記感知装置によってビデオを捕捉するステップと、
前記ビデオ内の被写体を検出するために顔認識を実行するステップと、
前記ビデオ内の被写体を前記ユーザ装置上の連絡先リスト内のエントリと相関させるステップと、
を含む、請求項12に記載の方法。
【請求項１５】
前記マルチメディア動作が、写真またはビデオを捕捉するステップを含む、請求項1に記載の方法。
【請求項１６】
前記マルチメディア動作が、写真またはビデオを表示するステップを含む、請求項1に記載の方法。
【請求項１７】
方法であって、
ユーザ装置上に複数のマルチメディアコンテンツを提供するステップと、
前記ユーザが前記マルチメディアコンテンツにアクセスするときに、感知装置によってユーザの挙動および対話動作を捕捉するステップと、
マルチメディアキューを生成するために前記挙動および対話動作を分析するステップと、
前記マルチメディアキューの各々に重みを割り当てるステップと、
前記複数のマルチメディアコンテンツの各々について、前記重みおよび前記マルチメディアキューによってスコアを生成するステップと、
前記スコアによって、前記マルチメディアコンテンツの推奨を前記ユーザに提示するステップと、
を含む、方法。
【請求項１８】
前記ユーザの前記挙動および対話動作によって前記マルチメディアキューの各々の前記重みを調整するステップと、
前記重みを正規化するステップと、
をさらに含む、請求項17に記載の方法。
【請求項１９】
前記複数のマルチメディアコンテンツの各々について前記スコアを生成するステップが、
前記重みによって前記マルチメディアキューの各々について生スコアを計算し、合計するステップと、
相関係数を計算し前記生スコアに適用するステップと、
前記スコアを生成するために前記生スコアに学習係数を適用するステップと、
を含む、請求項17に記載の方法。
【請求項２０】
前記スコアを生成するステップが、
【数１】
2019504409.tif 000005
によって前記スコアを計算するステップを含み、
ここでtがマルチメディアキューの総量、wnがマルチメディアキューの前記重み、pnがマルチメディアキューの値、wcが相関係数重み、pcが相関係数値、およびfが前記学習係数である、
請求項19に記載の方法。
【請求項２１】
装置であって、
感知装置と、
プロセッサと、
前記プロセッサによって実行されるプログラムを格納したコンピュータ可読記憶媒体と、
を含み、前記プログラムが、
ユーザがマルチメディア動作を要求することに応答して前記感知装置を有効にするステップと、
前記マルチメディア動作を実行している間に、前記ユーザの挙動および対話キューを前記感知装置によって識別するステップと、
前記挙動および対話キューを前記マルチメディア動作に関連付けるステップと、
モデルによってマルチメディアコンテンツをランク付けするステップであって、前記モデルが前記挙動および対話キューを含む、ステップと、
前記マルチメディアコンテンツの前記ランクによって、前記マルチメディアコンテンツのサブセットの推奨を前記ユーザに提示するステップと、
を含む方法を実行するための命令を含む装置。
【請求項２２】
前記挙動および対話キューを識別するための前記命令が、前記挙動および対話キューを生成するために周囲の音声を捕捉および分析する命令を含む、請求項21に記載の装置。
【請求項２３】
前記挙動および対話キューを識別するための前記命令が、前記挙動および対話キューを生成するために前記ユーザの表情を捕捉し認識するための命令を含む、請求項21に記載の装置。
【請求項２４】
前記挙動および対話キューを識別する前記命令が、前記マルチメディアコンテンツ内の写真サブキューを検索し、前記挙動および対話キューを生成するために、前記写真サブキューを肯定的な反応または否定的な反応として分類するための命令を含む、請求項21に記載の装置。
【請求項２５】
前記プログラムが、
前記マルチメディアコンテンツを前記ユーザに提示し、
前記マルチメディアコンテンツを提示することに応答して前記ユーザからのフィードバックを要求し、
フィードバックキューを生成するために、前記ユーザからの前記フィードバックを肯定的な反応または否定的な反応として分類し、
前記モデルによって、前記マルチメディアコンテンツをさらにランク付けし、前記モデルが前記フィードバックキューならびに前記挙動および対話キューを含む、
ための命令をさらに含む、請求項21に記載の装置。
【請求項２６】
装置であって、
感知装置と、
複数のマルチメディアコンテンツを格納するメモリと、
プロセッサと、
前記プロセッサによって実行されるプログラムを格納したコンピュータ可読記憶媒体と
を含み、前記プログラムが、
ユーザからのマルチメディア動作の実行要求を受け、
前記感知装置によってデータを取得しながら前記マルチメディア動作を実行し、
前記要求および前記取得したデータによって前記マルチメディアコンテンツのサブセットの推奨を更新し、
前記更新された推奨を前記ユーザに提示する、
ための命令を含む、装置。
【請求項２７】
前記プログラムが、
前記更新された推奨を提示することに応答して前記ユーザからのフィードバックを要求し、
前記フィードバックによって前記マルチメディアコンテンツの前記サブセットの前記推奨をさらに更新する、
ための命令をさらに含む、請求項26に記載の装置。
【請求項２８】
前記感知装置によってデータを取得するための前記命令が、前記感知装置によって前記ユーザの挙動を感知するための命令を含む、請求項26に記載の装置。
【請求項２９】
前記感知装置が、マイクロフォンまたは前部カメラのうちの1つである、請求項26に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本出願は、2015年12月29日に出願された「ユーザ挙動ベースのコンテンツ推奨のためのシステムおよび方法」と題する米国非仮特許出願第14／982，842号に対する優先権を主張するものであり、その全体は再記載されているかのように参照により本明細書に組み込まれる。
【０００２】
本発明は、一般に、マルチメディアコンテンツの管理に関し、特定の実施形態では、ユーザにとって最も有意なマルチメディアコンテンツを予測するための技術およびメカニズムに関する。
【背景技術】
【０００３】
ストレージコストの減少に伴い、ユーザ機器（UE）は、現在、膨大な量のマルチメディアコンテンツ（例えば、写真、ビデオ、音楽）を格納することができる。結果として、最近、UE上のマルチメディアの構成は困難な作業となっている。しばしばユーザは、消費したい単一のファイルを見つけるために、数百または数千のマルチメディアファイルを分類する必要がある。
【０００４】
ユーザがマルチメディアを特定するのを支援するいくつかの手法が提案されている。従来の画像検索および把握手法は、マルチメディアコンテンツ内のオブジェクトの位置を特定しようと試みる。例えば、顔、ランドマーク、動物などのオブジェクトがマルチメディアコンテンツに配置されてもよく、マルチメディアコンテンツは、認識されたオブジェクトによってグループ化されてもよい。他の手法はまた、捕捉時間および場所のようなマルチメディアコンテンツのメタデータを考慮してもよい。
【０００５】
残念なことに、マルチメディアコンテンツは、通常、伝統的な手法を使用して大雑把にグループ化され、編成される。ほとんどのユーザは、依然として消費したいコンテンツを検索する必要がある。さらに、従来の手法では、しばしば、マルチメディアコンテンツを分析するために膨大な処理および記憶容量が必要とされる。
【発明の概要】
【０００６】
ユーザにとって最も有意であるマルチメディアコンテンツを予測するためのシステムおよび方法を説明する本開示の実施形態によって、概して技術的利点が達成される。
【課題を解決するための手段】
【０００７】
一実施形態によって、方法が提供される。この方法は、ユーザのマルチメディア動作要求に応答して入力装置を有効にするステップと、マルチメディア動作を実行しながらユーザの挙動および対話キューを入力装置によって記録するステップと、ユーザ用の第1のマルチメディア推奨基準を作成するためにモデルによって挙動および対話キューをランク付けするステップと、第1のマルチメディア推奨基準によってユーザに複数のマルチメディアファイルを推奨するステップと、を含む。
【０００８】
別の実施形態によって、方法が提供される。この方法は、ユーザのマルチメディアファイル視聴に応答して装置の前部カメラを有効にするステップと、前部カメラによってユーザの挙動および対話動作を記録するステップと、マルチメディアキューを生成するために、挙動および対話動作を分析するステップと、マルチメディアキューの各々に重みを割り当てるステップと、ユーザの挙動および対話動作によってマルチメディアキューの各々の重みを調整するステップと、重みによって複数のマルチメディアファイルの画像スコアを生成するステップと、を含む。
【０００９】
さらに別の実施形態によって、装置が提供される。この装置は、入力装置、プロセッサ、およびプロセッサによって実行可能な命令を含むプログラムを格納するコンピュータ可読記憶媒体を含み、プロセッサは、命令を実行するとき、ユーザのマルチメディアファイル視聴に応答して入力装置を有効にするステップと、マルチメディアファイルを表示しながらユーザの挙動および対話キューを入力装置によって記録するステップと、ユーザ用の第1のマルチメディア推奨基準を作成するためにモデルによって挙動および対話キューをランク付けするステップと、第1のマルチメディア推奨基準によってユーザに複数のマルチメディアファイルを推奨するステップと、を含む方法を実行するように構成されている。
【００１０】
さらに別の実施形態によって、装置が提供される。この装置は、感知装置と、複数のマルチメディアコンテンツを格納するメモリと、プロセッサと、プロセッサによって実行されるプログラムを格納するコンピュータ可読記憶媒体と、を含む。このプログラムは、ユーザからのマルチメディア動作の実行要求を受けるステップと、感知装置によってデータを取得しながらマルチメディア動作を実行するステップと、要求および取得したデータによってマルチメディアコンテンツのサブセットの推奨を更新するステップと、更新された推奨をユーザに提示するステップと、のための命令を含む。
【００１１】
本発明およびその利点のより完全な理解のために、添付の図面と併せて以下の説明を参照する。
【図面の簡単な説明】
【００１２】
【図１Ａ】例示的な処理システムを示すブロック図である。
【図１Ｂ】例示的な推奨システムを示すブロック図である。
【図２】マルチメディアギャラリーを含む例示的なユーザインタフェースを示す。
【図３】マルチメディア推奨動作を実行するための例示的なプロセスを示す。
【図４】ユーザプロファイルにアクセスするための例示的なプロセスを示す。
【図５Ａ】ユーザの挙動、対話、およびフィードバックを表すキューを識別および記録するための様々な例示的なプロセスを示す。
【図５Ｂ】ユーザの挙動、対話、およびフィードバックを表すキューを識別および記録するための様々な例示的なプロセスを示す。
【図６】ユーザの挙動を表すキューを記録する例示的なプロセスを示す。
【図７】ユーザの表情を表すキューを分類する例示的なプロセスを示す。
【図８】ユーザ視線キューを識別して追跡する例示的なプロセスを示す。
【図９】本発明の一実施形態による、マルチメディア動作を実行する装置とのユーザ対話を識別し記録する例示的なプロセスを示す。
【図１０Ａ】写真サブキューを検出する様々な例示的なプロセスを示す。
【図１０Ｂ】写真サブキューを検出する様々な例示的なプロセスを示す。
【図１０Ｃ】写真サブキューを検出する様々な例示的なプロセスを示す。
【図１０Ｄ】写真サブキューを検出する様々な例示的なプロセスを示す。
【図１１】マルチメディア推奨のユーザフィードバックを表すキューを識別する例示的なプロセスを示す。
【図１２】本発明の一実施形態におけるユーザフィードバックによって推奨エンジンを構成する例示的なプロセスを示す。
【図１３】本発明の一実施形態における推奨エンジン中の重み係数を調整する例示的なプロセスを示す。
【図１４】本発明の一実施形態におけるランク付けスコアを生成する例示的なプロセスを示す。
【発明を実施するための形態】
【００１３】
異なる図面における対応する数字および記号は、他に示されない限り、対応する部分を総括的に指す。図面は、実施形態の関連する態様を明確に示すために描かれたものであり、必ずしも縮尺通りに描かれていない。
【００１４】
本開示の実施形態の作成および使用について、以下に詳細に説明する。しかし、本明細書に開示された概念は、多種多様な特定の状況において具体化することができ、本明細書で論じる特定の実施形態は単なる例示であり、特許請求の範囲を限定するものではないことを理解されたい。さらに、添付の特許請求の範囲によって規定される本開示の精神および範囲から逸脱することなく、本明細書において様々な変更、置換および改変を行うことができることを理解されたい。
【００１５】
本明細書では、ユーザにとって最も有意であるマルチメディアコンテンツを予測するためのシステムおよび方法を開示する。低コストのストレージの普及に伴い、ユーザ装置には数千の写真、ビデオ、および曲を格納できるようになった。これらの膨大なコンテンツの集合体の中で、最も有意であるマルチメディアを見つけるのは難しいだろう。したがって、ユーザにとって有意であるコンテンツを局所的かつ自動的に提供する技術が望まれている。
【００１６】
実施形態は、装置の特定ユーザにとって有意である、または関連性のあるマルチメディアを自動的に予測し、提案する（または識別する、推奨するなどの）システムおよび方法を提供する。ユーザの挙動および対話入力はセンサによって捕捉され、ユーザがユーザ装置によってマルチメディアを視聴または捕捉している間にキューが分析される。これらの入力は、どのマルチメディアがユーザにとって最も有意であるかをユーザ装置が知ることができるように、キューについて分析される。ユーザからの挙動および対話入力は、従来の検出−認識−分類方式と組み合わせて、ユーザへのマルチメディアコンテンツの予測および推奨をさらに精緻化することもできる。現代のユーザ装置は、多くの場合、前部および後部カメラならびにマイクロフォンなどの複数のセンサが組み込まれているので、挙動および対話入力の捕捉およびキューの分析が可能である。
【００１７】
様々な実施形態が利点を達成してもよい。ユーザにとって有意であるマルチメディアを自動的に予測し、提案することにより、ユーザは自分のお気に入りのコンテンツを保存し、ユーザ装置上で容易にアクセスすることができる。例えば、何千ものマルチメディアファイルを含むコレクションを、ユーザにとって有意である数十個の好みのマルチメディアファイルの推奨に絞り込むことができる。これらの推奨に関するユーザからのフィードバックは、ユーザ装置のための機械学習入力として使用され、マルチメディアの推奨をさらに精緻化することができる。したがって、ユーザ装置は、特定のユーザの好みに合わせてより個人的なものにすることができる。そのような学習手法は、従来の検出−認識−分類手法よりも比較的簡単な方法で実施することができ、ユーザ装置上でのローカル実装を可能にし、処理能力または記憶容量に関してクラウドコンピューティングに依存するのを防ぐ。
【００１８】
図1Aは、ホスト装置に実装することができる、本明細書に記載の方法を実行するための実施形態の処理システム100のブロック図を示す。図示のように、処理システム100は、プロセッサ102と、メモリ104と、インタフェース106〜110とを含み、これらは図1に示すように配置されてもよい（または配置されなくてもよい）。プロセッサ102は、計算および／または他の処理関連タスクを実行するように構成された構成要素または構成要素の集合であってもよく、メモリ104は、プロセッサ102が実行するためのプログラミングおよび／または命令を格納するように構成された構成要素または構成要素の集合であってもよい。一実施形態では、メモリ104は、非一時的なコンピュータ可読媒体を含む。インタフェース106、108、110は、処理システム100が他の装置／構成要素および／またはユーザと通信することを可能にする任意の構成要素または構成要素の集合であってもよい。例えば、インタフェース106、108、110のうちの1つ以上は、データ、制御、または管理メッセージをプロセッサ102からホスト装置および／またはリモート装置にインストールされたアプリケーションに通信するように構成されてもよい。別の例として、インタフェース106、108、110のうちの1つ以上は、ユーザまたはユーザ装置（例えば、パーソナルコンピュータ（PC）など）が処理システム100と対話／通信することを可能にするように構成されてもよい。処理システム100は、長期記憶（例えば、不揮発性メモリなど）のような、図1に示していない追加の構成要素を含むことができる。
【００１９】
図1Bは、一実施形態のマルチメディア推奨システム150のブロック図を示す。マルチメディア推奨システム150は、メインモジュール152と、コンテンツ記憶装置154と、キュー記憶装置156と、ユーザ嗜好記憶装置158と、ランク付けモデル（または推奨エンジン）160と、ユーザインタフェース162と、を含む。メインモジュール152は、コンテンツ記憶装置154に格納されたマルチメディアコンテンツをランク付けモデル160によってランク付けし、マルチメディアコンテンツをユーザインタフェース162を介してユーザに提示する。メインモジュール152はセンサコントローラに結合されて、センサデータを受け、および／または取り付けられたセンサ装置を制御する（開始、停止、開く、閉じるなど）。
【００２０】
マルチメディアコンテンツは、マルチメディアコンテンツに関連付けられたキューおよびユーザの好みによってランク付けすることができる。キューは、キュー記憶装置156に格納され、コンテンツ記憶装置154内のマルチメディアコンテンツに関連付けられてもよい。例えば、マルチメディアコンテンツ（例えば、写真またはビデオ）に関連付けられたキューを表す要素または特徴は、関連するマルチメディアコンテンツを作成する（例えば、カメラを介して写真を撮影するまたはビデオレコーダーまたはカメラを介してビデオを撮影する）ことに応答して（または実質的にそのときに）、関連するマルチメディアコンテンツが完全に生成される前に生成されてもよい。一部の実施形態では、コンテンツ記憶装置154、キュー記憶装置156、およびユーザ嗜好記憶装置158は、すべて、データベースなどの同じ記憶装置の同じ場所に配置することができる。ランク付けモデル160は、キューおよびユーザの好みによって定期的に更新されてもよい。
【００２１】
図2は、一実施形態のマルチメディアギャラリー200を示す。マルチメディアギャラリー200は、写真、ビデオ、および音楽を表示する。マルチメディアギャラリー200は、いくつかの表示に分割され、全写真表示202および自動お気に入り表示204を含む。全写真表示202は、ユーザが装置によって捕捉したすべての写真を含む。マルチメディアギャラリー200は写真の4つの表示を示すが、マルチメディアギャラリー200が他の表示を含み、多くのタイプのマルチメディアコンテンツを表示し、自動的に推奨できることを理解されたい。
【００２２】
自動お気に入り表示204は、マルチメディアギャラリー200が、ユーザからの挙動および対話入力に基づいて、有意であるコンテンツとしてユーザに推奨する写真を含む。そのため、全写真表示202は、一般に、自動お気に入り表示204より多くの写真を含む。例えば、図示された実施形態では、マルチメディアギャラリー200は、全写真表示202に5，508枚の写真を有するが、それらの写真のうち89枚のみが自動お気に入り表示204でユーザに自動的に推奨されている。マルチメディアギャラリー200は、モバイルユーザ装置上のアプリケーションとして示されているが、マルチメディアギャラリー200およびその上で実行される方法は、スマートフォン、タブレット、カメラ、および写真管理ソフトウェアなどの多種多様な製品に組み込むことができる。
【００２３】
自動お気に入り表示204は、キューのためのユーザの挙動および対話入力を分析することによって充実されてもよい。ユーザの表情または視線のような挙動キューは、ユーザがマルチメディアを視聴または捕捉している間に分析されてもよい。例えば、マルチメディアファイルを視聴している間のユーザの表情の笑顔または渋面を検出することにより、そのマルチメディアファイルがユーザにとって有意であることを示す重要なキューを提供することができる。同様に、ユーザの視線は、ユーザがマルチメディアコンテンツを視聴するときに分析され、写真内の「ホットスポット」、例えば好きな人物またはオブジェクトを判定することができる。
【００２４】
ユーザの対話キューは、ユーザがマルチメディアコンテンツを視聴する際に分析することもできる。例えば、ユーザが特定のマルチメディアコンテンツを視聴するのに費やす総時間が集計および分析されて、そのマルチメディアコンテンツが有意であるかどうかが判定されてもよい。他の対話メトリックも、サブキューについて考慮して分析することができる。そのようなメトリックは、ユーザがマルチメディアコンテンツを共有し、編集し、ズームし、または方向付けしたかどうかの決定を含むことができる。
【００２５】
ユーザの環境入力または状況入力はまた、ユーザがマルチメディアを捕捉するとき（例えば、写真またはビデオを捕捉する）ときにキューについて分析されてもよい。環境キューを分析することは、音声や背景雑音を捕捉して認識し、写真やビデオを捕捉する際に発生するイベントを識別することを含んでもよい。例えば、ユーザが写真を撮影している間にバックグラウンドで誕生日の歌を検出することは、写真がユーザにとって比較的より有意であることを示す環境キューであり得る。また、顔認識を使用して、ユーザが知っている写真またはビデオの被写体を検出することもできる。例えば、捕捉された写真の顔認識が実行され、その後、ユーザの連絡先リストまたはアドレス帳のプロフィール画像と照合されてもよい。このような例では、写真から近親家族の存在を検出することは、この写真がユーザにとって有意であることをより強く示す環境キューであり得る。
【００２６】
マルチメディアギャラリー200はまた、複数のユーザをサポートすることができるので、有意であるマルチメディアを特定のユーザに推奨することができる。例えば、マルチメディアギャラリー200を操作するユーザが検出され、自動お気に入り表示204が、そのユーザに個人化された推奨で満たされてもよい。ユーザは、例えば、ユーザがマルチメディアギャラリー200を操作するときに、顔または音声認識によって検出されてもよい。
【００２７】
図3は、実施形態のマルチメディア推奨方法300を示す。マルチメディア推奨方法300は、ユーザが装置によってマルチメディアコンテンツを閲覧および捕捉するとき、装置によって実行されてもよい。例えば、マルチメディア推奨方法300は、ユーザがマルチメディアギャラリー200を操作している間に実行されてもよい。
【００２８】
マルチメディア推奨方法300は、ステップ302の、ユーザ装置上のセンサ装置の状態を取得するステップによって開始する。一部の実施形態では、マルチメディアギャラリー200が提示されているときに、装置上のセンサへのアクセスを無効にすることができる。例えば、装置上でマイクロフォンへのアクセスが無効になっている可能性がある。次に、ステップ304で、動作モードが識別される。ユーザ装置は、マルチメディアコンテンツが捕捉されるキャプチャモードで動作してもよく、マルチメディアコンテンツが視聴される閲覧モードで動作してもよい。動作モードはユーザによって選択されてもよく、例えば、ユーザはマルチメディアを閲覧したいか捕捉したいかを選択することができる。一部の実施形態では、動作モードは、センサ装置の検出された状態によって自動的に選択または制限されてもよい。例えば、前部または後部カメラへのアクセスが装置上で無効になっている可能性がある。そのような実施形態では、動作モードは閲覧モードに限定されてもよい。一部の実施形態では、装置へのアクセスは、特定の動作モードでは無効にされてもよい。例えば、ユーザは、キャプチャモードでは装置の前部カメラを無効にするが、閲覧モードでは装置の前部カメラを有効にすることもできる。
【００２９】
次に、ステップ306で、ユーザプロファイルが作成および／または開かれる。現在のユーザのプロファイルは、まだない場合、そのプロファイルを開く前にまず作成されてもよい。ユーザのプロファイルは、（例えば、受けたユーザフィードバックによると）ユーザにとって有意であってもよいマルチメディアコンテンツを、基準に基づいてユーザに推奨することを可能にする、キュー分析の嗜好および結果を含むことができる。したがって、各ユーザに対して個人化されたマルチメディア推奨を作成するための推奨基準を構築することができる。
【００３０】
次に、ステップ308で、マルチメディア動作の間に、ユーザの挙動、対話、および／またはフィードバックが捕捉される。マルチメディア動作は、マルチメディアコンテンツのユーザインタフェースとの対話（例えば、提示、選択、閲覧動作）、および／またはカメラ、マイクロフォン、または他の適用可能なセンサなどの少なくとも1つの感知装置を介したマルチメディアコンテンツの捕捉（例えば、作成または生成）を含んでもよい。挙動および対話入力は、ユーザがマルチメディアコンテンツを捕捉または閲覧しているときに、装置上のセンサからデータを受けることによって捕捉されてもよく、特定のマルチメディアコンテンツとのユーザの対話に基づいて識別されてもよい。フィードバックは、ユーザがマルチメディアコンテンツを視聴しているときにマルチメディア推奨をユーザに提示し、フィードバックを促すことによって捕捉されてもよい。ユーザがマルチメディアコンテンツを捕捉または閲覧している間、挙動、対話、および／またはフィードバックは、バックグラウンドで定期的または連続的に捕捉されてもよい。一部の実施形態では、捕捉された挙動、対話、および／またはフィードバックの生データを格納し、後で分析することができる。一部の実施形態では、データをリアルタイムで分析できる。
【００３１】
次に、ステップ310で、捕捉されたユーザの挙動、対話、および／またはフィードバック内のキューが識別される。キューには、例えば、マルチメディアコンテンツを視聴または捕捉するときにユーザが微笑んだり顔をしかめたという兆候が含まれてもよい。挙動および対話キューは、装置上のセンサによって捕捉された入力内で識別される。例えば、挙動キューには、特定のマルチメディアコンテンツを視聴または捕捉するときにユーザが微笑んだり顔をしかめたという兆候が含まれてもよい。同様に、対話キューには、例えば特定のマルチメディアを複数回視聴したユーザが、マルチメディアを共有したり、マルチメディアを編集したなどの兆候が含まれてもよい。同様に、フィードバックキューには、ユーザがマルチメディアの推奨に同意したかどうかを示す兆候が含まれていてもよい。様々な実施形態を特定のタイプの挙動および対話キューに関して説明してきたが、多種多様なキューを捕捉および識別できることを理解されたい。
【００３２】
最後に、ステップ312で、識別されたキューによって、マルチメディアコンテンツ推奨がユーザに提供される。マルチメディア推奨は、ユーザプロファイル用に構成され、識別されたキューを含むモデルによって提供されてもよい。モデルは、ユーザが装置を操作するときに、機械学習フィードバックによって更新されてもよい。例えば、モデルを更新するステップは、ユーザの使用パターンに基づいて様々なキューの重みを調整するステップを含んでいてもよい。
【００３３】
図4は、実施形態のユーザプロファイルアクセス方法400を示す。ユーザプロファイルアクセス方法400は、マルチメディア推奨方法300のステップ306の、ユーザプロファイルを作成または開くときに生じる動作のより詳細な説明であってもよい。
【００３４】
ユーザプロファイルアクセス方法400は、ステップ402で、ユーザの顔が認識可能であるかどうかを判定するステップで開始する。顔認識は、ユーザの顔を認識し、それを既知の顔のデータベースと照合するために使用されてもよい。ユーザの顔が認識されない場合、ステップ404で、ユーザのために新しいプロファイルが作成される。ユーザが認識または作成されると、ステップ406で、認識されたユーザに対応するユーザプロファイルが開かれる。ユーザプロファイルが開かれると、ユーザプロファイルアクセス方法400は終了する。
【００３５】
図5Aは、実施形態の挙動および対話記録方法510を示す。挙動および対話記録方法510は、マルチメディア推奨方法300のステップ308において、ユーザの挙動、対話およびフィードバックを捕捉するときに生じる動作のより詳細な説明であってもよい。挙動および対話記録方法510は、ユーザがマルチメディアコンテンツを捕捉しているときに実行されてもよい。
【００３６】
挙動および対話記録方法510は、ステップ512で、マルチメディアコンテンツを捕捉するときに周囲キューを捕捉するステップで開始する。環境認識は、捕捉されたマルチメディアコンテンツがユーザにとって有意である可能性が高いかどうかを判定するために、周囲キューに対して実行されてもよい。例えば、ユーザが誕生日パーティーで写真を捕捉している場合、音響認識を使用して周囲キュー中の誕生日の歌を検出することができるが、これは捕捉された写真が他の写真よりもユーザにとって有意である可能性が比較的高いことを示す。同様に、ユーザが後部カメラで写真を捕捉している間に、前部カメラでユーザの表情を捕捉することができる。ユーザの表情の顔認識は、例えば、微笑みや笑顔など、ユーザの特定の表情を検出するために実行されてもよい。一部の顔反応は、捕捉された写真が他の写真よりもユーザにとってより有意である可能性が比較的高いことを示している場合がある。
【００３７】
周囲キューが捕捉されると、ステップ514で、マルチメディアコンテンツは、環境モデルおよびキューによってランク付けされる。環境モデルは、捕捉された写真またはビデオのスコアを生成するために、様々な周囲キューをランク付けおよび合計することができる。マルチメディアコンテンツが周囲キューでランク付けされると、挙動および対話記録方法510は終了する。
【００３８】
図5Bは、実施形態の挙動および対話記録方法530を示す。挙動および対話記録方法530は、マルチメディア推奨方法300のステップ308において、ユーザの挙動、対話およびフィードバックを捕捉するときに生じる動作のより詳細な説明であってもよい。挙動および対話記録方法530は、ユーザがマルチメディアコンテンツを閲覧および捕捉しているときに実行されてもよい。
【００３９】
挙動および対話記録方法530は、ステップ532で、有意であるマルチメディアの推奨を生成するのに十分な情報が収集されたかどうかを判定するステップで開始する。
【００４０】
十分な情報が収集されていない場合、ステップ534で、ユーザがマルチメディアを閲覧している間に挙動キューを検出するためにユーザの動作が捕捉される。次いで、ステップ536で、マルチメディアコンテンツは、挙動モデルおよび挙動キューによってランク付けされる。挙動モデルは、（例えば、加重和演算を介して）様々な動作キューの組み合わせに基づいて、捕捉された写真またはビデオのスコアを生成することができる。
【００４１】
ステップ538で、ユーザがマルチメディアを閲覧している間に、対話キューを検出するためにユーザの対話も捕捉される。次いで、ステップ540で、マルチメディアコンテンツは、対話モデルおよび対話キューによってランク付けされる。対話モデルは、捕捉された写真またはビデオのスコアを生成するために、様々な対話キューを結合（例えば、ランク付けおよび合計）することができる。
【００４２】
十分な情報が収集されている場合、ステップ542で、マルチメディア推奨が生成され、フィードバックとしてエンドユーザに提示される。マルチメディアはユーザに提示されてもよく、ユーザは推奨を保存または破棄するように促されてもよい。次いで、ステップ544で、マルチメディアコンテンツは、後処理モデルおよびフィードバックによってランク付けされる。後処理モデルは、ユーザに提示してもよい他のマルチメディアコンテンツのスコアを生成するために、様々なユーザフィードバックをランク付けおよび合計することができる。したがって、ユーザのフィードバックは、機械学習プロセスに使用され得る。ユーザのフィードバック、挙動および／または対話キューが捕捉されて、様々なモデルによって推奨が生成されると、挙動および対話記録方法530は終了する。
【００４３】
図6は、実施形態のユーザ挙動記録方法600を示す。ユーザ挙動記録方法600は、挙動および対話記録方法530のステップ534において、マルチメディアを閲覧しているユーザの挙動を捕捉するときに生じる動作のより詳細な説明であってもよい。
【００４４】
ユーザ挙動記録方法600は、ステップ602で、ユーザが次のマルチメディアファイルを見るためにスワイプしたかどうかを判定するステップによって開始する。ユーザが次のマルチメディアファイルにスワイプした場合、ステップ604で、ユーザの表情が捕捉され、スワイプしたと認識される。マルチメディアファイルがビデオである場合、ユーザの表情は、ビデオの再生中捕捉され続ける。ステップ606で、ユーザの表情が捕捉されて認識されると、表情が分類され、タイムスタンプされる。例えば、新しい写真にスワイプするときのユーザの表情は、笑顔または渋面として分類され、その笑顔または渋面は、ユーザが写真を見て笑顔や渋面になったときを示すタイムスタンプと共に保存することができる。
【００４５】
ユーザがまだ次のマルチメディアファイルにスワイプしていない場合、ステップ608で、ユーザ挙動記録方法600は、ユーザが現在のマルチメディアファイルを所定時間tsより長く凝視したかどうかを判定する。一部の実施形態では、tsは約2秒である。ユーザが所定時間tsより長く写真またはビデオを視聴すると、ステップ610で、画面のホットスポットおよび対応するマルチメディアが決定される。ユーザ挙動記録方法600は、マルチメディアホットスポットが決定された後、またはユーザの表情が認識され、分類された後に終了する。次いで、ユーザ挙動記録方法600から得られた挙動キューは、挙動および対話記録方法530のステップ536において、挙動モデルによってランク付けされてもよい。
【００４６】
図7は、実施形態の表情分類方法700を示す。表情分類方法700は、ユーザ挙動記録方法600のステップ606において表情を分類する際に生じる動作のより詳細な説明であってもよい。
【００４７】
表情分類方法700は、ステップ702で、ユーザの顔が肯定的な顔反応を有するかどうかを判定するステップによって開始する。肯定的な顔反応は、例えば、ユーザが写真やビデオを見ているときに捕捉された笑顔のような表情であってもよい。肯定的な反応が検出された場合、ステップ704で、タイムスタンプと共に肯定的顔反応キューとして格納される。肯定的な反応およびタイムスタンプは、ユーザが現在視聴しているマルチメディアコンテンツに関連付けられる。
【００４８】
肯定的な反応が検出されない場合、表情分類方法700は、ステップ706で、ユーザの顔が否定的な顔反応を有するかどうかを判定するステップによって継続する。否定的な顔反応は、例えば、ユーザが写真やビデオを見ているときに捕捉された渋面のような表情であってもよい。否定的な反応が見つかった場合、ステップ708で、タイムスタンプと共に否定的顔反応キューとして格納される。ユーザがマルチメディアを視聴しているときに肯定的な反応も否定的な反応も検出されなければ、ステップ710で、「顔反応なし」キューがタイムスタンプと共に格納される。格納された表情は、ユーザが視聴しているマルチメディアコンテンツに関連付けることができる。顔反応キューまたはその欠如が格納され、タイムスタンプされると、表情分類方法700は終了する。得られた顔反応キューは、挙動および対話記録方法530のステップ536において、挙動モデルによってランク付けされた挙動キューに含まれてもよい。
【００４９】
図8は、視線追跡方法800の一実施形態を示す。視線追跡方法800は、ユーザ挙動記録方法600のステップ610において、画面のホットスポットおよび対応する写真を決定するときに生じる動作のより詳細な説明であってもよい。
【００５０】
視線追跡方法800は、ステップ802で、マルチメディアファイル内のホットスポットを検索するステップで開始する。ホットスポットは、ユーザが凝視しているマルチメディアファイル内の場所であってもよい。例えば、ユーザは、複数の個人を含む写真の特定の個人を見ている可能性がある。ユーザの視線は、装置ディスプレイ上のホットスポットが検出されるまで追跡される。ホットスポットが検出されると、ステップ804で、マルチメディアファイルは、装置ディスプレイ上のホットスポット位置と整合される。例えば、ユーザが装置ディスプレイの特定の場所を見ている場合、ユーザが凝視していた画像内の特定の被写体またはオブジェクトを決定するために、画像が装置ディスプレイと整合される。写真またはビデオが整合されると、ステップ806で、ホットスポットが認識される。ホットスポットの認識は、例えば、ホットスポット内でユーザが何を凝視していたかを判定するために顔認識を実行するステップを含んでもよい。ホットスポット内の被写体が認識され決定されると、ステップ808で、マルチメディアファイル用にホットスポットキューが格納される。ホットスポットキューが格納された後、視線追跡方法800は終了する。得られたホットスポットキューは、挙動および対話記録方法530のステップ536において、挙動モデルによってランク付けされた挙動キューに含まれてもよい。
【００５１】
図9は、実施形態のユーザ対話記録方法900を示す。ユーザ対話記録方法900は、挙動および対話記録方法500のステップ538において、マルチメディアを閲覧しているユーザの対話またはキューを捕捉するときに生じる動作のより詳細な説明であってもよい。ユーザ対話記録方法900は、例えば、ユーザが装置上の写真またはビデオを視聴している間に実行されてもよい。
【００５２】
ユーザ対話記録方法900は、ステップ902で、ユーザが新しい写真にスワイプしたかどうかを判定するステップで開始する。ユーザが新しい写真にスワイプした場合、ステップ904で、写真のメタデータが読み取られる。写真のメタデータが読み取られると、ステップ906で、ユーザが写真を閲覧するのに費やした時間が記録され、格納される。視聴時間が格納されると、ステップ908で、写真とのユーザの対話は、肯定的なサブキューがないか検索される。写真に対する肯定的なサブキューには、以下でより詳細に説明するように、ユーザが写真を編集、公開、共有、または方向付けたという兆候が含まれてもよい。肯定的なサブキューが検出されると、ステップ910で、サブキューを格納することができる。
【００５３】
ユーザが新しい写真にスワイプしなかった場合、ユーザ対話記録方法900は、ステップ912で、ユーザが新しいビデオにスワイプしたかどうかを判定する。ユーザが新しいビデオにスワイプすると、ステップ914で、ビデオとのユーザの対話は、肯定的なサブキューがないか検索される。ビデオの肯定的なサブキューには、ユーザがビデオを一時停止または巻き戻したという記録が含まれている場合がある。ビデオの肯定的なサブキューが見つかると、ステップ916で、ビデオの肯定的なサブキューが格納される。
【００５４】
肯定的な写真またはビデオサブキューが格納されると、ユーザ対話記録方法900は終了する。次いで、ユーザ対話記録方法900から得られた対話キューは、挙動および対話記録方法530のステップ540において、対話モデルによってランク付けされてもよい。
【００５５】
図10Aは、実施形態の写真サブキュー検出方法1010を示す。写真サブキュー検出方法1010は、ユーザ対話記録方法900のステップ908において、写真とのユーザの対話に肯定的なサブキューがないか検索するときに生じる動作のより詳細な説明であってもよい。写真サブキュー検出方法1010は、ユーザが写真を編集したかどうかを検出することができる。
【００５６】
写真サブキュー検出方法1010は、ステップ1012で、ユーザが写真を編集したかどうかを判定するステップで開始する。写真の編集には、写真を切り取る、または画像処理スイートで処理するなどの動作が含まれる。例えば、写真のメタデータが、ユーザ装置の後部カメラ以外の装置によって写真が捕捉されたことを示す場合、写真の編集を検出することができる。ユーザが写真を編集した場合、ステップ1014で、写真に対する肯定的な編集反応キューが格納される。ユーザが写真を編集していない場合、編集反応キューは格納されない。編集反応キューが格納された後、写真サブキュー検出方法1010は終了する。ユーザが写真を編集したかどうかを判定するステップによって、写真サブキュー検出方法1010は、ユーザが写真を修正したいと思ったほどに、ユーザにとって写真が有意であったかどうかを測定する。
【００５７】
図10Bは、実施形態の写真サブキュー検出方法1030を示す。写真サブキュー検出方法1030は、ユーザ対話記録方法900のステップ908において、写真とのユーザの対話に肯定的なサブキューがないか検索するときに生じる動作のより詳細な説明であってもよい。写真サブキュー検出方法1030は、ユーザが写真を共有したかどうかを検出することができる。
【００５８】
写真サブキュー検出方法1030は、ステップ1032で、ユーザが写真を共有したかどうかを判定するステップで開始する。写真の共有には、写真を電子メールで送信する、SMS経由で送信する、ソーシャルメディアのWebサイトに投稿するなどの動作が含まれる。ユーザが写真を共有した場合、ステップ1034で、写真に対する肯定的な共有反応キューが格納される。ユーザが写真を共有していない場合、共有反応キューは格納されない。共有反応キューが格納された後、写真サブキュー検出方法1030は終了する。ユーザが写真を共有したかどうかを判定するステップによって、写真サブキュー検出方法1030は、ユーザが写真を例えば家族や友人と共有したいと思ったほどに、ユーザにとって写真が有意であったかどうかを測定する。
【００５９】
図10Cは、実施形態の写真サブキュー検出方法1050を示す。写真サブキュー検出方法1050は、ユーザ対話記録方法900のステップ908において、写真とのユーザの対話に肯定的なサブキューがないか検索するときに生じる動作のより詳細な説明であってもよい。写真サブキュー検出方法1050は、ユーザが写真を拡大表示したかどうかを検出することができる。
【００６０】
写真サブキュー検出方法1050は、ステップ1052で、ユーザが写真を拡大表示したかどうかを判定するステップで開始する。写真の拡大表示は、例えば、ピンチポイントで拡大表示するために装置ディスプレイをつまむことによって実現できる。ユーザが写真を拡大表示した場合、ステップ1054で、写真に対する肯定的な拡大表示反応キューが格納される。ユーザが写真を拡大表示していない場合、拡大表示反応キューは格納されない。拡大表示反応キューが格納された後、写真サブキュー検出方法1050は終了する。ユーザが写真を拡大表示したかどうかを判定するステップによって、写真サブキュー検出方法1050は、ユーザが写真をよりよく見たいと思ったほどに、ユーザにとって写真が有意であったかどうかを測定する。
【００６１】
図10Dは、実施形態の写真サブキュー検出方法1070を示す。写真サブキュー検出方法1070は、ユーザ対話記録方法900のステップ908において、写真とのユーザの対話に肯定的なサブキューがないか検索するときに生じる動作のより詳細な説明であってもよい。写真サブキュー検出方法1070は、ユーザが写真の向きを回転させたかどうかを検出することができる。
【００６２】
写真サブキュー検出方法1070は、ステップ1072で、写真が最初に閲覧されたときの写真の向きに注目するステップで開始する。例えば、写真は縦または横の向きで撮影されている可能性がある。装置ディスプレイの向きとは異なる向きで撮影された写真は、装置に表示されたときに回転されることがある。最初の写真の向きが注目されると、ステップ1074で、写真がユーザ装置ディスプレイの向きとは異なる向きで撮影されたかどうかを決定するために、最初の写真の向きとユーザ装置ディスプレイの現在の向きとが比較される。写真の最初の向きとユーザ装置ディスプレイの向きとが同じである場合、写真サブキュー検出方法1070は終了する。
【００６３】
写真の最初の向きとユーザ装置ディスプレイの向きとが異なる場合、写真サブキュー検出方法1070は、ステップ1076で、ユーザが装置の表示方向を変更するためにユーザ装置を回転させたかどうかを判定するステップによって継続する。方向を回転させたかどうかの判定は、例えば、ユーザ装置に組み込まれた加速度計の変化を感知するステップによって達成され得る。ユーザがディスプレイの向きを変更するために装置を回転させていない場合、写真サブキュー検出方法1070は終了する。
【００６４】
ユーザが表示方向を変更するために装置を回転させた場合、写真サブキュー検出方法1070は、ステップ1078で、写真の肯定的な回転反応キューを格納するステップによって継続する。肯定的な回転反応キューが格納されると、写真サブキュー検出方法1070は終了する。写真の元の向きと一致するようにユーザが装置を回転させたかどうかを判定するステップによって、写真サブキュー検出方法1070は、ユーザが写真をよりよく見たいと思ったほどに、ユーザにとって写真が有意であったかどうかを測定する。
【００６５】
図11は、実施形態のユーザフィードバックおよび予測方法1100を示す。ユーザフィードバックおよび予測方法1100は、ユーザ挙動および対話記録方法530のステップ542において、フィードバックのためにユーザに推奨を生成して提示するときに生じる動作のより詳細な説明であってもよい。
【００６６】
ユーザフィードバックおよび予測方法1100は、ステップ1102で、提案されたマルチメディアをユーザに提示するステップによって開始する。マルチメディアがユーザに提示されると、ステップ1104で、ユーザからフィードバックが要求され、ユーザが提案に同意するかどうかを判定するためにフィードバックが分析される。ユーザのフィードバックは、例えば、それがユーザに提示されたときにマルチメディア上に重ねられた好き嫌いボタンであってもよい。ユーザが提案に同意すると、ステップ1106で、その提案に対する肯定的なフィードバックキューが格納される。しかし、ユーザが提案に同意しない場合、ステップ1108で、その提案に対する否定的なフィードバックキューが格納される。マルチメディアに対するフィードバックキューが格納されると、ユーザフィードバックおよび予測方法1100は終了する。
【００６７】
図2に関して上述したように、自動お気に入り表示204は、特定のユーザにとっての予測された有意性によって推奨を提供することができる。異なる入力キューは、特定のユーザにとって有意であり得る。ユーザにマルチメディア提案を提示し、ユーザフィードバックを受けるステップによって、ユーザフィードバックおよび予測方法1100は、ユーザ装置が、特定のユーザにとってどのようなキューが比較的有意であるか判定することを可能にする。例えば、図10A〜図10Bに関連して説明した編集または共有の写真サブキューは、第1の種類のユーザにとってより有意であり得るが、図10C〜図10Dに関連して説明した写真の拡大表示および方向付けのサブキューは、第2の種類のユーザにとってより有意であり得る。したがって、ユーザフィードバックおよび予測方法1100は、どのキューおよびサブキューが特定のユーザにとってより有意であるかを学習する機械学習プロセスの一部であってもよい。各ユーザにとってのキューおよびサブキューの有意性は、各ユーザに関連付けられたプロファイルに格納され、次いで、図4に関連して説明したように、そのユーザが装置を操作するときユーザのプロファイルと共にロードされる。
【００６８】
図12は、実施形態のキューランク付け方法1200を示す。キューランク付け方法1200は、図5Aのステップ514または図5Bのステップ536、540、または544のような、上述の様々なモデルによってキューまたはサブキューをランク付けするときに生じる動作のより詳細な説明であってもよい。
【００６９】
キューランク付け方法1200は、ステップ1202で、ユーザのためにキューまたはサブキューをランク付けするのに十分なデータサンプルがあるかどうかを判定するステップによって開始する。データサンプルの十分性は、例えば、データサンプルの量を閾値量と比較することによって決定することができる。十分なデータサンプルがある場合、ステップ1204で、キューの重みが正規化される。キューの重みが正規化されると、ステップ1206で、装置上のマルチメディアファイルが分析され、各マルチメディアファイルについてスコアが生成される。各マルチメディアファイルについてのスコアが生成された後、ステップ1208で、スコアが付けられたマルチメディアの上位5％が推奨のために選択され、自動お気に入り表示に追加される。自動お気に入り表示が推奨マルチメディアで満たされると、ステップ1210で、ユーザは推奨マルチメディアを提示され、フィードバックを促される。ユーザに提示されるフィードバックプロンプトは、例えば、好き嫌いのボタンを含むことができる。ユーザに推奨マルチメディアが提示されると、キューランク付け方法1200は、ステップ1212で、ユーザが推奨マルチメディアに対するフィードバックを提供したかどうかを判定する。ユーザがフィードバックを提供していない場合、キューランク付け方法1200は終了する。
【００７０】
ユーザがフィードバックを提供した場合、キューランク付け方法1200は、ステップ1212で、フィードバックを学習入力として使用し、キューランク付け方法1200のステップを繰り返すことによって継続する。図11に関して上述したように、異なる入力キューは、特定のユーザにとって有意であり得る。フィードバックを学習入力として使用することは、ステップ1210で提示された推奨マルチメディアに応答してユーザが提供したフィードバックに基づいて、どのキューまたはサブキューが特定のユーザにとってより有意であるかを決定するステップを含み得る。学習入力は、キューランク付け方法1200のステップを、毎回新しい学習入力を伴って複数回繰り返すステップによって精緻化することができる。このプロセスを繰り返すことによって、特定のユーザにとってより有意であるキューおよびサブキューをより正確に決定することができる。
【００７１】
図13は、実施形態のキュー重み正規化方法1300を示す。キュー重み正規化方法1300は、キューランク付け方法1200のステップ1204において、キューの重みを正規化するときに生じる動作のより詳細な説明であってもよい。
【００７２】
キュー重み正規化方法1300は、ステップ1302で、標準重みテーブルを読み出すステップによって開始する。標準重みテーブルは、ユーザ装置によって予め決定されるか、またはユーザ装置に格納されていてもよく、学習入力を生成するために使用されるフィードバックを精緻化するための出発点として役立つことができる。標準重みテーブルは、典型的なユーザから予想される挙動および対話入力の重み、例えば「モデルユーザ挙動」を含む。標準重みテーブルが読み出されると、ステップ1304で、入力キュー内のすべての利用可能なフィードバックのうちの肯定的なフィードバックの割合が計算される。肯定的なフィードバックの割合が計算された後、ステップ1306で、閾値tf1と比較され、肯定的なフィードバックの割合がtf1を超えるかどうかが判定される。一部の実施形態では、閾値tf1は、入力キューにおける約60％の肯定的なフィードバックである。
【００７３】
入力キューにおける肯定的なフィードバックの割合が閾値tf1を超える場合、ステップ1308で、キューの重みが下げられる。所定のステップによって各キューの重みを減少させるステップによって、キューの重みを下げることができる。各キューのための所定のステップは、そのキューの重みに対するパーセンタイルによって決定されてもよい。例えば、重みの上位10％のキューは、重みの上位50％のキューよりも大きな段差で下げることができる。キューの重みは、各キューの重みがそのキューの次の重み減少に関連する段差にほぼ等しくなるまで下げられてもよい。
【００７４】
キューの重みが下げられた後、または入力キュー内の肯定的なフィードバックの割合が閾値tf1よりも小さい場合、ステップ1310で、肯定的なフィードバックの割合が再度計算され、閾値tf2と比較されて、肯定的なフィードバックの割合が閾値より低いかどうかが判定される。一部の実施形態では、閾値tf2は、入力キューにおける約30％の肯定的なフィードバックである。入力キューにおける肯定的なフィードバックの割合が閾値tf2より低い場合、ステップ1312で、キューの重みが上げられる。所定のステップによって各キューの重みを引き上げるステップによって、キューの重みを上げることができる。各キューのための所定のステップは、そのキューの重みに対するパーセンタイルによって決定されてもよい。例えば、重みの下位10％のキューは、重みの下位50％のキューより大きな段差で上げることができる。
【００７５】
キューの重みが調整されると、ステップ1314で、キューの重みが正規化される。重みは、全重みの合計を合計し、各重みをその合計で除算することによって正規化することができる。キューの重みが正規化された後、ステップ1316で、標準重みテーブルの重みを更新または変更するためのフィードバックとしてキューが使用される。特定のユーザの挙動は、標準重みテーブルからのモデルユーザの挙動を正確に追跡しない可能性が高い。したがって、特定のユーザの挙動とモデルユーザの挙動との相違は、予測にバイアスをかける可能性がある。標準的な重みテーブルからの重みを調整することで、このバイアスを緩和することができる。標準重み調整が実行されると、キュー重み正規化方法1300は終了する。
【００７６】
図14は、実施形態のスコア生成方法1400を示す。スコア生成方法1400は、キューランク付け方法1200のステップ1206において、各写真またはビデオのスコアを生成するときに生じる動作のより詳細な説明であってもよい。
【００７７】
スコア生成方法1400は、ステップ1402で、キューがバイナリ値かワード値かを決定するステップで開始する。キューが真または偽の値を単に示す場合、キューはバイナリであってもよく、これは肯定的または否定的な反応の有無に相関する。バイナリキューは、ユーザの挙動の顔認識を行う際に検出される笑顔または渋面のようなキューを含むことができる。キューがバイナリ値である場合、ステップ1404で、キューには、肯定的な結果に対して1のスコアが割り当てられ、否定的な結果に対して0のスコアが割り当てられる。
【００７８】
キューがバイナリ値でない場合、ワード値である。キューが離散メトリックを測定する場合、キューはワード値であってもよい。ワードキューには、視聴時間、視聴回数、ソーシャルメディアへの共有数などのキューが含まれ得る。キューがワード値である場合、ステップ1406で、キューの最大値が計算される。キューの最大値は、考慮するすべての画像内のキューの最大値を決定するステップによって計算される。例えば、視聴時間キューの最大値は、考慮する各画像の視聴時間を測定し、次にそれらの測定のうち最大のものを最大値とするステップによって決定される。一部の実施形態では、毎回最大値を計算する代わりに、特定のキューの最大値を計算して定期的に格納し、必要なときに取り出すことができる。キューの最大値が計算または取得された後、ステップ1408で、キューの現在値をキューの最大値で割ることによってキュー値が正規化される。例えば、考慮されるキューの1つが視聴時間であり、視聴時間の最大値が60秒であると判定された場合、視聴時間が45秒の写真については、その写真の視聴時間キューの正規化値は45÷60＝0．75と計算される。
【００７９】
各写真またはビデオの各キューにスコアが割り当てられると、ステップ1410で、各キューの正規化値にそのキューの重みを掛けることによって生スコアが計算される。上記の写真の例を続けると、視聴時間キューの重みが0．5と判定された場合、写真の視聴時間キューの生スコアは、0．5×0．75＝0．375と計算される。
【００８０】
画像ごとに各キューについて生スコアが計算されると、ステップ1412で、写真またはビデオの相関スコアが計算される。相関スコアは、写真またはビデオの1つ以上のキューを基準の写真またはビデオと比較することによって計算される。相関スコアは、信頼性の高い予測やユーザのフィードバックにおけるパターンを認識することによって、予測の信頼性を強化するのに役立つ。次に、ステップ1414で、ユーザフィードバックに基づいて各キューについて学習係数が計算される。ユーザフィードバックは、例えば、ユーザフィードバックおよび予測方法1100から得られたフィードバックであってもよい。最後に、ステップ1414で、生スコア、相関スコア、および学習係数を合計することによって画像スコアが計算される。したがって画像スコアは次のように計算される。
【数１】
2019504409.tif 000003
ここで、simgは画像スコア、tはキューの総量、wnはキューの重み、pnはキューの値、wcは相関キューの重み、pcは相関キューの値、そしてfは学習係数である。画像スコアが計算されると、スコア生成方法1400は終了する。次に、画像スコアが比較され、上位スコアの画像がユーザに推奨される。
【００８１】
以下に示す表1は、2つの画像例について実施形態の技術を使用したスコア結果を示す。
【００８２】
【表１】
2019504409.tif 000004
【００８３】
上記の表1から分かるように、2つの例示的な写真は、そのキューの重みおよび値によってランク付けされている。写真1は、視聴時間が長く、何度も共有、視聴、方向付け、拡大表示されている。したがって、写真1の画像スコアは0．99と計算され、この写真がユーザにとって有意である可能性が比較的高いことを示している。逆に、写真2は、視聴時間が比較的短く、数回共有、視聴、方向付け、拡大表示されている。したがって、写真2の画像スコアは0．02と計算され、この写真がユーザにとって有意である可能性が比較的低いことを示している。したがって、写真1はユーザに推奨されるが、写真2はユーザに推奨されない。
【００８４】
説明を詳細に説明したが、添付の特許請求の範囲によって規定される本開示の精神および範囲から逸脱することなく、様々な変更、置換および改変を行うことができることを理解されたい。さらに、本開示の範囲は、本明細書に記載される特定の実施形態に限定されるものではなく、当業者が本開示から容易に理解するように、現在存在するまたは後に開発されるプロセス、機械、製品、組成物、手段、方法、またはステップは、本明細書に記載される対応する実施形態と実質的に同じ機能を実行し得るか、または実質的に同じ結果を達成し得る。したがって、添付の特許請求の範囲は、そのようなプロセス、機械、製品、組成物、手段、方法、またはステップをその範囲内に含むことが意図されている。
【符号の説明】
【００８５】
100  処理システム
102  プロセッサ
104  メモリ
106  インタフェース
107  インタフェース
108  インタフェース
109  インタフェース
110  インタフェース
150  マルチメディア推奨システム
152  メインモジュール
154  コンテンツ記憶装置
156  キュー記憶装置
158  ユーザ嗜好記憶装置
160  ランク付けモデル
162  ユーザインタフェース
200  マルチメディアギャラリー
202  全写真表示
204  自動お気に入り表示
300  マルチメディア推奨方法
400  ユーザプロファイルアクセス方法
500  挙動および対話記録方法
510  挙動および対話記録方法
530  挙動および対話記録方法
600  ユーザ挙動記録方法
700  表情分類方法
800  視線追跡方法
900  ユーザ対話記録方法
1010  写真サブキュー検出方法
1030  写真サブキュー検出方法
1050  写真サブキュー検出方法
1070  写真サブキュー検出方法
1100  ユーザフィードバックおよび予測方法
1200  キューランク付け方法
1300  キュー重み正規化方法
1400  スコア生成方法
【図１Ａ】
2019504409.tif 000006
【図１Ｂ】
2019504409.tif 000007
【図２】
2019504409.tif 000008
【図３】
2019504409.tif 000009
【図４】
2019504409.tif 000010
【図５Ａ】
2019504409.tif 000011
【図５Ｂ】
2019504409.tif 000012
【図６】
2019504409.tif 000013
【図７】
2019504409.tif 000014
【図８】
2019504409.tif 000015
【図９】
2019504409.tif 000016
【図１０Ａ】
2019504409.tif 000017
【図１０Ｂ】
2019504409.tif 000018
【図１０Ｃ】
2019504409.tif 000019
【図１０Ｄ】
2019504409.tif 000020
【図１１】
2019504409.tif 000021
【図１２】
2019504409.tif 000022
【図１３】
2019504409.tif 000023
【図１４】
2019504409.tif 000024
【手続補正書】
【提出日】平成30年8月8日(2018.8.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
方法であって、
ユーザ装置上に複数のマルチメディアコンテンツを提供するステップと、
前記ユーザが前記マルチメディアコンテンツにアクセスするときに、感知装置によってユーザの挙動および対話動作を捕捉するステップと、
マルチメディアキューを生成するために前記挙動および対話動作を分析するステップと、
前記マルチメディアキューの各々に重みを割り当てるステップと、
前記複数のマルチメディアコンテンツの各々について、前記重みおよび前記マルチメディアキューによってスコアを生成するステップと、
前記スコアによって、前記マルチメディアコンテンツの推奨を前記ユーザに提示するステップと、
を含む、方法。
【請求項２】
前記ユーザの前記挙動および対話動作によって前記マルチメディアキューの各々の前記重みを調整するステップと、
前記重みを正規化するステップと、
をさらに含む、請求項1に記載の方法。
【請求項３】
前記複数のマルチメディアコンテンツの各々について前記スコアを生成するステップが、
前記重みによって前記マルチメディアキューの各々について生スコアを計算し、合計するステップと、
相関係数を計算し前記生スコアに適用するステップと、
前記スコアを生成するために前記生スコアに学習係数を適用するステップと、
を含む、請求項1に記載の方法。
【請求項４】
前記スコアを生成するステップが、
【数１】
2019504409.tif 000025
によって前記スコアを計算するステップを含み、
ここでtがマルチメディアキューの総量、wnがマルチメディアキューの前記重み、pnがマルチメディアキューの値、wcが相関係数重み、pcが相関係数値、およびfが前記学習係数である、
請求項3に記載の方法。
【請求項５】
方法であって、
ユーザがマルチメディア動作を要求することに応答して、ユーザ装置上の感知装置を有効にするステップと、
マルチメディアコンテンツに対して前記マルチメディア動作を実行するステップと、
前記マルチメディア動作に応答して、実質的に前記マルチメディア動作が実行されているときに前記感知装置によって前記ユーザの挙動および対話キューを識別するステップと、
識別された前記挙動および対話キューによって表される前記マルチメディアコンテンツを含むマルチメディアコンテンツのセットからの推奨を更新するステップと、
前記更新された推奨を前記ユーザに提示するステップと
を含む、方法。
【請求項６】
前記更新された推奨を提示することに応答して前記ユーザからのフィードバックを要求するステップと、
フィードバックキューを生成するために、前記ユーザからの前記フィードバックを肯定的な反応または否定的な反応として分類するステップと、
前記フィードバックキューによってマルチメディアコンテンツの前記セットからの前記推奨をさらに更新するステップと、
をさらに含む、請求項5に記載の方法。
【請求項７】
前記ユーザの前記挙動および対話キューを識別するステップが、
前記挙動および対話キューにマルチメディアサブキューがないか検索するステップと、
前記マルチメディアサブキューを肯定的な反応または否定的な反応として分類するステップと、
を含む、請求項5に記載の方法。
【請求項８】
マルチメディアサブキューを検索するステップが、前記マルチメディアコンテンツの視聴時間に応答して前記マルチメディアサブキューを生成するステップを含む、請求項7に記載の方法。
【請求項９】
マルチメディアサブキューを検索するステップが、前記ユーザが前記マルチメディアコンテンツを共有することに応答して前記マルチメディアサブキューを生成するステップを含む、請求項7に記載の方法。
【請求項１０】
マルチメディアサブキューを検索するステップが、前記ユーザが前記マルチメディアコンテンツを編集することに応答して前記マルチメディアサブキューを生成するステップを含む、請求項7に記載の方法。
【請求項１１】
マルチメディアサブキューを検索するステップが、前記ユーザが前記マルチメディアコンテンツを拡大表示することに応答して前記マルチメディアサブキューを生成するステップを含む、請求項7に記載の方法。
【請求項１２】
マルチメディアサブキューを検索するステップが、前記ユーザ装置の向きを前記マルチメディアコンテンツの向きと一致させるために、前記ユーザが前記ユーザ装置を回転させることに応答して前記マルチメディアサブキューを生成するステップを含む、請求項7に記載の方法。
【請求項１３】
前記ユーザの前記挙動および対話キューを識別するステップが、
前記感知装置によって前記ユーザの表情を捕捉するステップと、
前記挙動および対話キューを生成するために前記ユーザの前記表情を認識するステップと、
を含む、請求項5に記載の方法。
【請求項１４】
前記表情を認識するステップが、前記ユーザの前記表情を、肯定的な顔反応、否定的な顔反応、または顔反応なしとして分類するステップを含む、請求項13に記載の方法。
【請求項１５】
前記表情を認識するステップが、前記ユーザが前記ユーザ装置のディスプレイ上のホットスポットを凝視したときに、前記ユーザの視線を認識するステップを含む、請求項13に記載の方法。
【請求項１６】
前記ユーザの前記挙動および対話キューを識別するステップが、
前記感知装置によって周囲の活動を捕捉するステップと、
前記挙動および対話キューを生成するために、前記周囲の活動を分析するステップと、
を含む、請求項5に記載の方法。
【請求項１７】
前記周囲の活動を捕捉するステップが、前記マルチメディア動作を実行しながら前記感知装置によって音声を捕捉するステップと、を含む、請求項16に記載の方法。
【請求項１８】
前記周囲の活動を捕捉するステップが、
前記感知装置によってビデオを捕捉するステップと、
前記ビデオ内の被写体を検出するために顔認識を実行するステップと、
前記ビデオ内の被写体を前記ユーザ装置上の連絡先リスト内のエントリと相関させるステップと、
を含む、請求項16に記載の方法。
【請求項１９】
前記マルチメディア動作が、写真またはビデオを捕捉するステップを含む、請求項5に記載の方法。
【請求項２０】
前記マルチメディア動作が、写真またはビデオを表示するステップを含む、請求項5に記載の方法。
【請求項２１】
装置であって、
感知装置と、
プロセッサと、
前記プロセッサによって実行されるプログラムを格納したコンピュータ可読記憶媒体と、
を含み、前記プログラムが、
ユーザがマルチメディア動作を要求することに応答して前記感知装置を有効にするステップと、
前記マルチメディア動作を実行している間に、前記ユーザの挙動および対話キューを前記感知装置によって識別するステップと、
前記挙動および対話キューを前記マルチメディア動作に関連付けるステップと、
モデルによってマルチメディアコンテンツをランク付けするステップであって、前記モデルが前記挙動および対話キューを含む、ステップと、
前記マルチメディアコンテンツの前記ランクによって、前記マルチメディアコンテンツのサブセットの推奨を前記ユーザに提示するステップと、
を含む方法を実行するための命令を含む装置。
【請求項２２】
前記挙動および対話キューを識別するための前記命令が、前記挙動および対話キューを生成するために周囲の音声を捕捉および分析する命令を含む、請求項21に記載の装置。
【請求項２３】
前記挙動および対話キューを識別するための前記命令が、前記挙動および対話キューを生成するために前記ユーザの表情を捕捉し認識するための命令を含む、請求項21に記載の装置。
【請求項２４】
前記挙動および対話キューを識別する前記命令が、前記マルチメディアコンテンツ内の写真サブキューを検索し、前記挙動および対話キューを生成するために、前記写真サブキューを肯定的な反応または否定的な反応として分類するための命令を含む、請求項21に記載の装置。
【請求項２５】
前記プログラムが、
前記マルチメディアコンテンツを前記ユーザに提示し、
前記マルチメディアコンテンツを提示することに応答して前記ユーザからのフィードバックを要求し、
フィードバックキューを生成するために、前記ユーザからの前記フィードバックを肯定的な反応または否定的な反応として分類し、
前記モデルによって、前記マルチメディアコンテンツをさらにランク付けし、前記モデルが前記フィードバックキューならびに前記挙動および対話キューを含む、
ための命令をさらに含む、請求項21に記載の装置。
【請求項２６】
装置であって、
感知装置と、
複数のマルチメディアコンテンツを格納するメモリと、
プロセッサと、
前記プロセッサによって実行されるプログラムを格納したコンピュータ可読記憶媒体と
を含み、前記プログラムが、
ユーザからのマルチメディア動作の実行要求を受け、
前記感知装置によってデータを取得しながら前記マルチメディア動作を実行し、
前記要求および前記取得したデータによって前記マルチメディアコンテンツのサブセットの推奨を更新し、
前記更新された推奨を前記ユーザに提示する、
ための命令を含む、装置。
【請求項２７】
前記プログラムが、
前記更新された推奨を提示することに応答して前記ユーザからのフィードバックを要求し、
前記フィードバックによって前記マルチメディアコンテンツの前記サブセットの前記推奨をさらに更新する、
ための命令をさらに含む、請求項26に記載の装置。
【請求項２８】
前記感知装置によってデータを取得するための前記命令が、前記感知装置によって前記ユーザの挙動を感知するための命令を含む、請求項26に記載の装置。
【請求項２９】
前記感知装置が、マイクロフォンまたは前部カメラのうちの1つである、請求項26に記載の装置。
【請求項３０】
記録されたプログラムを有するコンピュータ可読記憶媒体であって、前記プログラムは、コンピュータに請求項1から20のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
【請求項３１】
コンピュータに請求項1から20のいずれか一項に記載の方法を実行させるプログラム。
【国際調査報告】
2019504409.tif 000026
2019504409.tif 000027