(57)【要約】      （修正有）【課題】メディアコンテンツを表すデータにテキスト要約を関連付ける方法及びシステムを提供する。【解決手段】この方法は、各テキスト要約がイベントを表す複数のテキスト要約を受信すること、複数のテキストとデータのペアリングを生成するために、ニューラルネットワークによって、各データがメディアコンテンツを表す複数のデータの各々と受信した各テキスト要約とをペアリングすること及び複数のテキストとデータのペアリングの各々における受信された各テキスト要約から抽出されたコンテンツ特徴と各データから抽出されたコンテンツ特徴との類似性に基づいて、第１の選択されたテキスト要約を第１のデータに関連付けること、を含む。【選択図】図１
2019185738.tif 000002
【特許請求の範囲】
【請求項１】
メディアコンテンツを表すデータにテキスト要約を関連付ける方法であって、
イベントを表すテキスト要約を受信すること、
ニューラルネットワークによって、複数のメディアコンテンツを表すデータの各々と前記受信されたテキスト要約の各々とをペアリングすること、及び
前記複数のテキストとデータのペアリングの各々において前記受信された各テキスト要約から抽出されたコンテンツ特徴と各データから抽出されたコンテンツ特徴との類似性に基づいて、前記複数のテキスト要約から選択された第１のテキスト要約を前記複数のデータから選択された第１のデータに関連付けること
を含む、方法。
【請求項２】
前記方法が、
前記複数のテキストとデータのペアリングの各々において前記受信された各テキスト要約から抽出されたコンテンツ特徴と各データから抽出されたコンテンツ特徴との類似性に基づいて、前記複数のテキスト要約から選択された第２のテキスト要約を前記複数のデータから選択された第２のデータに関連付けることであって、前記第１のデータを前記第２のテキスト要約に関連付けることから除外すること、及び
前記第１のテキスト要約と前記第１のデータとの間の関連性、及び前記第２のテキスト要約と前記第２のデータとの間の関連性に基づいてメディアコンテンツアルバムを生成すること
をさらに含む、請求項１に記載の方法。
【請求項３】
前記第１のテキスト要約を前記第１のデータに関連付けることが、前記第１のデータから抽出されたコンテンツ特徴と前記第１のテキスト要約との類似性が前記複数のテキストとデータのペアリングのうちのいずれかの最も高い類似性であることに基づいており、
前記第２のテキスト要約を前記第２のデータに関連付けることが、前記第２のデータから抽出されたコンテンツ特徴と前記第２のテキスト要約との類似性が前記複数のテキストとデータのペアリングのうちのいずれかの２番目に高い類似性であることに基づいている、
請求項２に記載の方法。
【請求項４】
前記第１のテキスト要約を前記第１のデータに関連付けることが、前記第１のデータから抽出されたコンテンツ特徴と前記第１のテキスト要約との類似性が前記複数のテキストとデータのペアリングから選択されたテキストとデータのペアの第１のサブセットの最も高い類似性であることに基づいており、前記第１のサブセットは、前記第１のテキスト要約が前記複数のデータの各々とペアリングされているテキストとデータのペアのみを含み、
前記第２のテキスト要約を前記第２のデータに関連付けることが、前記第２のデータから抽出されたコンテンツ特徴と前記第２のテキスト要約との類似性が前記複数のテキストとデータのペアリングから選択されたテキストとデータのペアの第２のサブセットの最も高い類似性であることに基づいており、前記第２のサブセットは、前記第２のテキスト要約が前記複数のデータの各々とペアリングされているテキストとデータのペアのみを含む、
請求項２に記載の方法。
【請求項５】
前記第１のテキスト要約を前記第１のデータに関連付けることが、
第１のデータクラスタを形成するために、サブセット内の前記データの各々から抽出されたコンテンツ特徴に基づいて前記複数のデータの第１のサブセットをクラスタ化すること、
前記第１のデータクラスタ内の前記データの各々と前記第１のテキスト要約との間の類似性を決定すること、
前記第１のデータクラスタ内の前記データの各々と前記第１のテキスト要約との間の前記決定された類似性に基づいて、前記第１のデータクラスタに対する第１の集約類似性スコア（ａｇｇｒｅｇａｔｅ  ｓｉｍｉｌａｒｉｔｙ  ｓｃｏｒｅ）を決定すること、及び
前記第１の集約類似性スコアに基づいて前記第１のテキスト要約に前記第１のデータクラスタを関連付けること、
を含み、
第２のテキスト要約を第２のデータに関連付けることが、
第２のデータクラスタを形成するために、前記サブセット内の前記データの各々から抽出されたコンテンツ特徴に基づいて前記複数のデータの第２のサブセットをクラスタ化すること、
前記第２のデータクラスタ内の前記データの各々と前記第２のテキスト要約との間の類似性を決定すること、
前記第２のデータクラスタ内の前記データの各々と前記第２のテキスト要約との間の前記決定された類似性に基づいて、前記第２のデータクラスタに対する第２の集約類似性スコアを決定すること、及び
前記第２の集約類似性スコアに基づいて前記第２のテキスト要約に前記第２のデータクラスタを関連付けること
を含む、請求項１に記載の方法。
【請求項６】
前記複数のテキストとデータのペアリングの各々における前記受信された各テキスト要約から抽出されたコンテンツ特徴と各データから抽出されたコンテンツ特徴との類似性が、前記テキスト要約とメディアコンテンツを表す前記データとの関連付けを要求するユーザに関連するユーザプロファイルに基づいて計算される、請求項２に記載の方法。
【請求項７】
前記複数のテキスト要約の各々が、前記テキスト要約と前記メディアコンテンツを表す前記データとの関連付けを要求する前記ユーザに関連するユーザアカウントに関連するソーシャルメディア投稿に基づいて生成される、請求項６に記載の方法。
【請求項８】
前記複数のテキストとデータのペアリングの各々における前記受信されたテキスト要約から抽出されたコンテンツ特徴と各データから抽出されたコンテンツ特徴との類似性が、メディアコンテンツを表す前記複数のデータの少なくとも１つをキャプチャするために使用されるメディアキャプチャデバイスに関連する少なくとも１つのキャプチャ設定に基づいて計算される、請求項２に記載の方法。
【請求項９】
メディアコンテンツを表すデータにテキスト要約を関連付ける方法をコンピュータに実行させるためのプログラムであって、前記方法は、
イベントを表すテキスト要約を受信すること、
ニューラルネットワークによって、複数のメディアコンテンツを表すデータの各々と前記受信されたテキスト要約の各々とをペアリングすること、
前記複数のテキストとデータのペアリングの各々における前記受信された各テキスト要約から抽出されたコンテンツ特徴と各データから抽出されたコンテンツ特徴との類似性に基づいて、前記複数のテキスト要約から選択された第１のテキスト要約を前記複数のデータから選択された第１のデータに関連付けること
を含む、プログラム。
【請求項１０】
前記方法が、
前記複数のテキストとデータのペアリングの各々において前記受信された各テキスト要約から抽出されたコンテンツ特徴と各データから抽出されたコンテンツ特徴との類似性に基づいて、前記複数のテキスト要約から選択された第２のテキスト要約を前記複数のデータから選択された第２のデータに関連付けることであって、前記第１のデータを前記第２のテキスト要約に関連付けることから除外すること、及び
前記第１のテキスト要約と前記第１のデータとの間の関連性、及び前記第２のテキスト要約と前記第２のデータとの間の関連性に基づいてメディアコンテンツアルバムを生成すること
をさらに含む、請求項９に記載のプログラム。
【請求項１１】
前記第１のテキスト要約を前記第１のデータに関連付けることが、前記第１のデータから抽出されたコンテンツ特徴と前記第１のテキスト要約との類似性が前記複数のテキストとデータのペアリングのうちのいずれかの最も高い類似性であることに基づいており、
前記第２のテキスト要約を前記第２のデータに関連付けることが、前記第２のデータから抽出されたコンテンツ特徴と前記第２のテキスト要約との類似性が前記複数のテキストとデータのペアリングのうちのいずれかの２番目に高い類似性であることに基づいている、
請求項１０に記載のプログラム。
【請求項１２】
前記第１のテキスト要約を前記第１のデータに関連付けることが、前記第１のデータから抽出されたコンテンツ特徴と前記第１のテキスト要約との類似性が前記複数のテキストとデータのペアリングから選択されたテキストとデータのペアの第１のサブセットの最も高い類似性であることに基づいており、前記第１のサブセットは、前記第１のテキスト要約が前記複数のデータの各々とペアリングされているテキストとデータのペアのみを含み、
前記第２のテキスト要約を前記第２のデータに関連付けることが、前記第２のデータから抽出されたコンテンツ特徴と前記第２のテキスト要約との類似性が前記複数のテキストとデータのペアリングから選択されたテキストとデータのペアの第２のサブセットの最も高い類似性であることに基づいており、前記第２のサブセットは、前記第２のテキスト要約が前記複数のデータの各々とペアリングされているテキストとデータのペアのみを含む、
請求項１０に記載のプログラム。
【請求項１３】
前記第１のテキスト要約を前記第１のデータに関連付けることが、
第１のデータクラスタを形成するために、サブセット内の前記データの各々から抽出されたコンテンツ特徴に基づいて前記複数のデータの第１のサブセットをクラスタ化すること、
前記第１のデータクラスタ内の前記データの各々と前記第１のテキスト要約との間の類似性を決定すること、
前記第１のデータクラスタ内の前記データの各々と前記第１のテキスト要約との間の前記決定された類似性に基づいて、前記第１のデータクラスタに対する第１の集約類似性スコアを決定すること、及び
前記第１の集約類似性スコアに基づいて前記第１のテキスト要約に前記第１のデータクラスタを関連付けること、
を含み、
前記第２のテキスト要約を前記第２のデータに関連付けることが、
第２のデータクラスタを形成するために、前記サブセット内の前記データの各々から抽出されたコンテンツ特徴に基づいて前記複数のデータの第２のサブセットをクラスタ化すること、
前記第２のデータクラスタ内の前記データの各々と前記第２のテキスト要約との間の類似性を決定すること、
前記第２のデータクラスタ内の前記データの各々と前記第２のテキスト要約との間の前記決定された類似性に基づいて、前記第２のデータクラスタに対する第２の集約類似性スコアを決定すること、及び
前記第２の集約類似性スコアに基づいて前記第２のテキスト要約に前記第２のデータクラスタを関連付けること
を含む、請求項１０に記載のプログラム。
【請求項１４】
前記複数のテキストとデータのペアリングの各々における前記受信された各テキスト要約から抽出されたコンテンツ特徴と各データから抽出されたコンテンツ特徴との類似性が、前記テキスト要約とメディアコンテンツを表す前記データとの関連付けを要求するユーザに関連するユーザプロファイルに基づいて計算される、請求項１０に記載のプログラム。
【請求項１５】
前記複数のテキスト要約の各々が、前記テキスト要約と前記メディアコンテンツを表す前記データとの関連付けを要求する前記ユーザに関連するユーザアカウントに関連するソーシャルメディア投稿に基づいて生成される、請求項１４に記載のプログラム。
【請求項１６】
前記複数のテキストとデータのペアリングの各々における前記受信されたテキスト要約から抽出されたコンテンツ特徴と各データから抽出されたコンテンツ特徴との類似性が、メディアコンテンツを表す前記複数のデータの少なくとも１つをキャプチャするために使用されるメディアキャプチャデバイスに関連する少なくとも１つのキャプチャ設定に基づいて計算される、請求項１０に記載のプログラム。
【請求項１７】
メディアコンテンツを表すデータにテキスト要約を関連付けるように構成されたコンピュータ装置であって、
前記コンピュータ装置は、
メディアコンテンツを表す複数のデータを記憶するメモリと、
視聴されたメディアコンテンツに基づいてメディアコンテンツの推奨部分を視覚化するプロセスを実行するプロセッサと
を備え、
前記プロセスは、
各テキスト要約がイベントを表す複数のテキスト要約を提出するためのインタフェースをユーザに提供すること、
ニューラルネットワークによって、メモリに記憶された複数のデータの各々と提供された各テキスト要約とをペアリングすること、
前記複数のテキストとデータのペアリングの各々における受信された各テキスト要約から抽出されたコンテンツ特徴と各データから抽出されたコンテンツ特徴との類似性に基づいて、前記複数のテキスト要約から選択された第１のテキスト要約を前記複数のデータから選択された第１のデータに関連付けること
を含む、コンピュータ装置。
【請求項１８】
前記プロセッサが、
前記複数のテキストとデータのペアリングの各々における前記受信された各テキスト要約から抽出されたコンテンツ特徴と各データから抽出されたコンテンツ特徴との類似性に基づいて、前記複数のテキスト要約から選択された第２のテキスト要約を前記複数のデータから選択された第２のデータに関連付け、前記第１のデータを前記第２のテキスト要約に関連付けることから除外し、
前記第１のテキスト要約と前記第１のデータとの間の関連性、及び前記第２のテキスト要約と前記第２のデータとの間の関連性に基づいて前記ユーザにメディアコンテンツアルバムを提供する
ようにさらに構成されている、請求項１７に記載のコンピュータ装置。
【請求項１９】
前記第１のテキスト要約を前記第１のデータに関連付けることが、前記第１のデータから抽出されたコンテンツ特徴と前記第１のテキスト要約との類似性が前記複数のテキストとデータのペアリングのうちのいずれかの最も高い類似性であることに基づいており、
第２のテキスト要約を第２のデータに関連付けることが、前記第２のデータから抽出されたコンテンツ特徴と前記第２のテキスト要約との類似性が前記複数のテキストとデータのペアリングのうちのいずれかの２番目に高い類似性であることに基づいている、
請求項１７に記載のコンピュータ装置。
【請求項２０】
前記第１のテキスト要約を前記第１のデータに関連付けることが、
第１のデータクラスタを形成するために、サブセット内の前記データの各々から抽出されたコンテンツ特徴に基づいて前記複数のデータの第１のサブセットをクラスタ化すること、
前記第１のデータクラスタ内の前記データの各々と前記第１のテキスト要約との間の類似性を決定すること、
前記第１のデータクラスタ内の前記データの各々と前記第１のテキスト要約との間の前記決定された類似性に基づいて、前記第１のデータクラスタに対する第１の集約類似性スコアを決定すること、及び
前記第１の集約類似性スコアに基づいて前記第１のテキスト要約に前記第１のデータクラスタを関連付けること、
を含み、
第２のテキスト要約を第２のデータに関連付けることが、
第２のデータクラスタを形成するために、前記サブセット内の前記データの各々から抽出されたコンテンツ特徴に基づいて前記複数のデータの第２のサブセットをクラスタ化すること、
前記第２のデータクラスタ内の前記データの各々と前記第２のテキスト要約との間の類似性を決定すること、
前記第２のデータクラスタ内の前記データの各々と前記第２のテキスト要約との間の前記決定された類似性に基づいて、前記第２のデータクラスタに対する第２の集約類似性スコアを決定すること、及び
前記第２の集約類似性スコアに基づいて前記第２のテキスト要約に前記第２のデータクラスタを関連付けること
を含む、請求項１７に記載のコンピュータ装置。
【請求項２１】
メディアコンテンツを表すデータにテキスト要約を関連付けるように構成されたコンピュータ装置であって、
前記コンピュータ装置は、
各テキスト要約がイベントを表す複数のテキスト要約を受信するための手段と、
複数のメディアコンテンツを表すデータの各々と前記受信されたテキスト要約の各々とをペアリングするための手段と、
前記複数のテキストとデータのペアリングの各々における受信された各テキスト要約から抽出されたコンテンツ特徴と各データから抽出されたコンテンツ特徴との類似性に基づいて、選択された第１のテキスト要約を複数のデータから選択された第１のデータに関連付けるための手段と、
を含む、コンピュータ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、コンテンツメディアアルバムの生成に関し、より詳細には、コンテンツメディアアルバムを生成するためにコンテンツメディアにテキスト要約を関連付けるためのシステム及び方法、プログラム、及びコンピュータ装置に関する。
【背景技術】
【０００２】
メディアキャプチャデバイス（ｍｅｄｉａ  ｃａｐｔｕｒｅ  ｄｅｖｉｃｅ）（例えば、モバイルデバイスにおけるカメラ、画像キャプチャデバイス、ビデオキャプチャデバイスなど）の普及に伴い、ユーザは、イベントに出席したり、休暇に行ったり、又は生涯を通して、写真やビデオなどのかなりの数のデジタルコンテンツメディアを取得した状況にしばしば遭遇する。ユーザは、より一貫性のあるより小さいセットの写真、ビデオ、又はそれらの組み合わせにコレクションを編集し、最良の品質のメディアを表示し、ストーリーを伝えたい場合がある。そのようなコレクションは、ソーシャル写真共有プラットフォーム上の「アルバム」や「セット」を介して共有されることや、印刷及び物流用のブック（本明細書では「フォトブック」と呼ぶ）にまとめられることが多い。しかし、関連技術システムでは、ユーザが、デスクトップ上のアプリケーションやオンラインを利用して、アルバムやフォトブックの作成ツールによって、写真やビデオなどを選択したり編集したりして注文するような視覚的要約の作成に苦労しなければならないことがよくある。多くの関連技術システムは、ユーザが最良のショットを選択し、コンテンツ特徴又はトピックに基づいてまたは写真やビデオなどのコンテンツメディアに撮影された人々によってそれらをグループ化し、キャプションや他の視覚効果を用いてユーザによる編集を支援するような、あるレベルの自動化を提供することができる。
【０００３】
しかしながら、既存の関連技術のメディア構成ツールは、ユーザによって提供される一連の写真を有する出発点から動作し、分析を適用して写真のコンテンツ及び品質を決定するように進行する。その後、関連技術システムは、より大きなセットを表すために写真のグループをサブ選択することができ、それらをページごとに複数の写真のプレゼンテーションにしばしば編成し、ユーザがページ上の写真を並べ替えたり、再構成したりすることを可能にする。既存の関連技術システムは逆の状況に対処しておらず、ユーザはフォトブック又はアルバムの各セクションにキャプション又はテキスト要約を提供し、それによってどのように、あるいはどのような話が伝えられるかに関するいくつかの指針を提供することができる。本出願の例示的実装形態は、この欠点に対処することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開2012/0082401
【非特許文献】
【０００５】
【非特許文献１】COVINGTON, P. et al "Deep Neural Networks for YouTube Recommendations" September 15-19, 2016, pp 191-198, RecSys ’16 Boston, MA, USA (8 pages).
【非特許文献２】DENG, J. et al. "ImageNet: A Large-Scale Hierarchical Image Database" IEEE Conference on Computer Vision and Pattern Recognition, 2009, pages 1-8 (8 pages).
【非特許文献３】HlLL, F. et al, "Learning Distributed Representations of Sentences from Unlabelled Data" 2016 (11 pages).
【非特許文献４】KRIZHEVSKY, A. et al., "ImageNet Classification with Deep Convolutional Neural Networks" Communications of the ACM7 June 2017, pp.1-9, VoL 60 No. 6 (9 pages).
【非特許文献５】MIKOLOV, T. et al.，"Distributed Representations of Words and Phrases and their Compositionality" Advances in Neural Information Processing Systems 26 (NIPS 2013), January 1, 2013, pp.1-9 (9 pages).
【非特許文献６】WANG, B. et al., "Adversarial Cross-Modal Retrieval” ACM Multimedia'17, October 23-27, 2017, pp.154-162, Mountain View, CA, USA (9 pages)-
【非特許文献７】YAN, F. et al.，"Deep Correlation for Matching Images and Text" CVPR 2015, pp. 3441-3450, Boston, MA, USA 2015 (9pages).
【非特許文献８】ZHU, Y. et al., "Aligning Books and Movies: Towards Story-like Visual Explanations by Watching Movies and Reading Books" ICCV 2015, pp. 19-27, Santiago. Chile 2015 (9pages).
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本開示の技術は、メディアコンテンツを表すデータにテキスト要約を関連付ける方法、プログラム、及びコンピュータ装置を目的とする。
【課題を解決するための手段】
【０００７】
本出願の第１の態様は、メディアコンテンツを表すデータにテキスト要約を関連付ける方法に関連し得る。この方法は、イベントを表すテキスト要約を受信すること、ニューラルネットワークによって、複数のメディアコンテンツを表すデータの各々と前記受信されたテキスト要約の各々とをペアリングすること、及び前記複数のテキストとデータのペアリングの各々において前記受信された各テキスト要約から抽出されたコンテンツ特徴と各データから抽出されたコンテンツ特徴との類似性に基づいて、前記複数のテキスト要約から選択された第１のテキスト要約を前記複数のデータから選択された第１のデータに関連付けることを含む。
本出願の第２の態様では、第１の態様において、前記方法が、前記複数のテキストとデータのペアリングの各々において前記受信された各テキスト要約から抽出されたコンテンツ特徴と各データから抽出されたコンテンツ特徴との類似性に基づいて、前記複数のテキスト要約から選択された第２のテキスト要約を前記複数のデータから選択された第２のデータに関連付けることであって、前記第１のデータを前記第２のテキスト要約に関連付けることから除外すること、及び前記第１のテキスト要約と前記第１のデータとの間の関連性、及び前記第２のテキスト要約と前記第２のデータとの間の関連性に基づいてメディアコンテンツアルバムを生成することをさらに含む。
本出願の第３の態様では、第２の態様において、前記第１のテキスト要約を前記第１のデータに関連付けることが、前記第１のデータから抽出されたコンテンツ特徴と前記第１のテキスト要約との類似性が前記複数のテキストとデータのペアリングのうちのいずれかの最も高い類似性であることに基づいており、前記第２のテキスト要約を前記第２のデータに関連付けることが、前記第２のデータから抽出されたコンテンツ特徴と前記第２のテキスト要約との類似性が前記複数のテキストとデータのペアリングのうちのいずれかの２番目に高い類似性であることに基づいている。
本出願の第４の態様では、第２の態様において、前記第１のテキスト要約を前記第１のデータに関連付けることが、前記第１のデータから抽出されたコンテンツ特徴と前記第１のテキスト要約との類似性が前記複数のテキストとデータのペアリングから選択されたテキストとデータのペアの第１のサブセットの最も高い類似性であることに基づいており、前記第１のサブセットは、前記第１のテキスト要約が前記複数のデータの各々とペアリングされているテキストとデータのペアのみを含み、前記第２のテキスト要約を前記第２のデータに関連付けることが、前記第２のデータから抽出されたコンテンツ特徴と前記第２のテキスト要約との類似性が前記複数のテキストとデータのペアリングから選択されたテキストとデータのペアの第２のサブセットの最も高い類似性であることに基づいており、前記第２のサブセットは、前記第２のテキスト要約が前記複数のデータの各々とペアリングされているテキストとデータのペアのみを含む。
本出願の第５の態様では、第１の態様において、前記第１のテキスト要約を前記第１のデータに関連付けることが、第１のデータクラスタを形成するために、サブセット内の前記データの各々から抽出されたコンテンツ特徴に基づいて前記複数のデータの第１のサブセットをクラスタ化すること、前記第１のデータクラスタ内の前記データの各々と前記第１のテキスト要約との間の類似性を決定すること、前記第１のデータクラスタ内の前記データの各々と前記第１のテキスト要約との間の前記決定された類似性に基づいて、前記第１のデータクラスタに対する第１の集約類似性スコア（ａｇｇｒｅｇａｔｅ  ｓｉｍｉｌａｒｉｔｙ  ｓｃｏｒｅ）を決定すること、及び前記第１の集約類似性スコアに基づいて前記第１のテキスト要約に前記第１のデータクラスタを関連付けること、を含み、第２のテキスト要約を第２のデータに関連付けることが、第２のデータクラスタを形成するために、前記サブセット内の前記データの各々から抽出されたコンテンツ特徴に基づいて前記複数のデータの第２のサブセットをクラスタ化すること、前記第２のデータクラスタ内の前記データの各々と前記第２のテキスト要約との間の類似性を決定すること、前記第２のデータクラスタ内の前記データの各々と前記第２のテキスト要約との間の前記決定された類似性に基づいて、前記第２のデータクラスタに対する第２の集約類似性スコアを決定すること、及び前記第２の集約類似性スコアに基づいて前記第２のテキスト要約に前記第２のデータクラスタを関連付けることを含む。
本出願の第６の態様では、第２の態様において、前記複数のテキストとデータのペアリングの各々における前記受信された各テキスト要約から抽出されたコンテンツ特徴と各データから抽出されたコンテンツ特徴との類似性が、前記テキスト要約とメディアコンテンツを表す前記データとの関連付けを要求するユーザに関連するユーザプロファイルに基づいて計算される。
本出願の第７の態様では、第６の態様において、前記複数のテキスト要約の各々が、前記テキスト要約と前記メディアコンテンツを表す前記データとの関連付けを要求する前記ユーザに関連するユーザアカウントに関連するソーシャルメディア投稿に基づいて生成される。
本出願の第８の態様では、第２の態様において、前記複数のテキストとデータのペアリングの各々における前記受信されたテキスト要約から抽出されたコンテンツ特徴と各データから抽出されたコンテンツ特徴との類似性が、メディアコンテンツを表す前記複数のデータの少なくとも１つをキャプチャするために使用されるメディアキャプチャデバイスに関連する少なくとも１つのキャプチャ設定に基づいて計算される。
【０００８】
本出願の第９の態様は、メディアコンテンツを表すデータにテキスト要約を関連付ける方法をコンピュータに実行させるためのプログラムであって、前記方法は、イベントを表すテキスト要約を受信すること、ニューラルネットワークによって、複数のメディアコンテンツを表すデータの各々と前記受信されたテキスト要約の各々とをペアリングすること、前記複数のテキストとデータのペアリングの各々における前記受信された各テキスト要約から抽出されたコンテンツ特徴と各データから抽出されたコンテンツ特徴との類似性に基づいて、前記複数のテキスト要約から選択された第１のテキスト要約を前記複数のデータから選択された第１のデータに関連付けることを含む。
本出願の第１０の態様では、第９の態様において、前記方法が、前記複数のテキストとデータのペアリングの各々において前記受信された各テキスト要約から抽出されたコンテンツ特徴と各データから抽出されたコンテンツ特徴との類似性に基づいて、前記複数のテキスト要約から選択された第２のテキスト要約を前記複数のデータから選択された第２のデータに関連付けることであって、前記第１のデータを前記第２のテキスト要約に関連付けることから除外すること、及び前記第１のテキスト要約と前記第１のデータとの間の関連性、及び前記第２のテキスト要約と前記第２のデータとの間の関連性に基づいてメディアコンテンツアルバムを生成することをさらに含む。
本出願の第１１の態様では、第１０の態様において、前記第１のテキスト要約を前記第１のデータに関連付けることが、前記第１のデータから抽出されたコンテンツ特徴と前記第１のテキスト要約との類似性が前記複数のテキストとデータのペアリングのうちのいずれかの最も高い類似性であることに基づいており、前記第２のテキスト要約を前記第２のデータに関連付けることが、前記第２のデータから抽出されたコンテンツ特徴と前記第２のテキスト要約との類似性が前記複数のテキストとデータのペアリングのうちのいずれかの２番目に高い類似性であることに基づいている。
本出願の第１２の態様では、第１０の態様において、前記第１のテキスト要約を前記第１のデータに関連付けることが、前記第１のデータから抽出されたコンテンツ特徴と前記第１のテキスト要約との類似性が前記複数のテキストとデータのペアリングから選択されたテキストとデータのペアの第１のサブセットの最も高い類似性であることに基づいており、前記第１のサブセットは、前記第１のテキスト要約が前記複数のデータの各々とペアリングされているテキストとデータのペアのみを含み、前記第２のテキスト要約を前記第２のデータに関連付けることが、前記第２のデータから抽出されたコンテンツ特徴と前記第２のテキスト要約との類似性が前記複数のテキストとデータのペアリングから選択されたテキストとデータのペアの第２のサブセットの最も高い類似性であることに基づいており、前記第２のサブセットは、前記第２のテキスト要約が前記複数のデータの各々とペアリングされているテキストとデータのペアのみを含む。
本出願の第１３の態様では、第１０の態様において、前記第１のテキスト要約を前記第１のデータに関連付けることが、第１のデータクラスタを形成するために、サブセット内の前記データの各々から抽出されたコンテンツ特徴に基づいて前記複数のデータの第１のサブセットをクラスタ化すること、前記第１のデータクラスタ内の前記データの各々と前記第１のテキスト要約との間の類似性を決定すること、前記第１のデータクラスタ内の前記データの各々と前記第１のテキスト要約との間の前記決定された類似性に基づいて、前記第１のデータクラスタに対する第１の集約類似性スコアを決定すること、及び前記第１の集約類似性スコアに基づいて前記第１のテキスト要約に前記第１のデータクラスタを関連付けること、を含み、前記第２のテキスト要約を前記第２のデータに関連付けることが、第２のデータクラスタを形成するために、前記サブセット内の前記データの各々から抽出されたコンテンツ特徴に基づいて前記複数のデータの第２のサブセットをクラスタ化すること、前記第２のデータクラスタ内の前記データの各々と前記第２のテキスト要約との間の類似性を決定すること、前記第２のデータクラスタ内の前記データの各々と前記第２のテキスト要約との間の前記決定された類似性に基づいて、前記第２のデータクラスタに対する第２の集約類似性スコアを決定すること、及び前記第２の集約類似性スコアに基づいて前記第２のテキスト要約に前記第２のデータクラスタを関連付けることを含む。
本出願の第１４の態様では、第１０の態様において、前記複数のテキストとデータのペアリングの各々における前記受信された各テキスト要約から抽出されたコンテンツ特徴と各データから抽出されたコンテンツ特徴との類似性が、前記テキスト要約とメディアコンテンツを表す前記データとの関連付けを要求するユーザに関連するユーザプロファイルに基づいて計算される。
本出願の第１５の態様では、第１４の態様において、前記複数のテキスト要約の各々が、前記テキスト要約と前記メディアコンテンツを表す前記データとの関連付けを要求する前記ユーザに関連するユーザアカウントに関連するソーシャルメディア投稿に基づいて生成される。
本出願の第１６の態様では、第１０の態様において、前記複数のテキストとデータのペアリングの各々における前記受信されたテキスト要約から抽出されたコンテンツ特徴と各データから抽出されたコンテンツ特徴との類似性が、メディアコンテンツを表す前記複数のデータの少なくとも１つをキャプチャするために使用されるメディアキャプチャデバイスに関連する少なくとも１つのキャプチャ設定に基づいて計算される。
【０００９】
本出願の第１７の態様は、メディアコンテンツを表すデータにテキスト要約を関連付けるように構成されたコンピュータ装置であって、前記コンピュータ装置は、メディアコンテンツを表す複数のデータを記憶するメモリと、視聴されたメディアコンテンツに基づいてメディアコンテンツの推奨部分を視覚化するプロセスを実行するプロセッサとを備え、前記プロセスは、各テキスト要約がイベントを表す複数のテキスト要約を提出するためのインタフェースをユーザに提供すること、ニューラルネットワークによって、メモリに記憶された複数のデータの各々と提供された各テキスト要約とをペアリングすること、前記複数のテキストとデータのペアリングの各々における受信された各テキスト要約から抽出されたコンテンツ特徴と各データから抽出されたコンテンツ特徴との類似性に基づいて、前記複数のテキスト要約から選択された第１のテキスト要約を前記複数のデータから選択された第１のデータに関連付けることを含む。
本出願の第１８の態様では、第１７の態様において、前記プロセッサが、前記複数のテキストとデータのペアリングの各々における前記受信された各テキスト要約から抽出されたコンテンツ特徴と各データから抽出されたコンテンツ特徴との類似性に基づいて、前記複数のテキスト要約から選択された第２のテキスト要約を前記複数のデータから選択された第２のデータに関連付け、前記第１のデータを前記第２のテキスト要約に関連付けることから除外し、前記第１のテキスト要約と前記第１のデータとの間の関連性、及び前記第２のテキスト要約と前記第２のデータとの間の関連性に基づいて前記ユーザにメディアコンテンツアルバムを提供するようにさらに構成されている。
本出願の第１９の態様では、第１７の態様において、前記第１のテキスト要約を前記第１のデータに関連付けることが、前記第１のデータから抽出されたコンテンツ特徴と前記第１のテキスト要約との類似性が前記複数のテキストとデータのペアリングのうちのいずれかの最も高い類似性であることに基づいており、第２のテキスト要約を第２のデータに関連付けることが、前記第２のデータから抽出されたコンテンツ特徴と前記第２のテキスト要約との類似性が前記複数のテキストとデータのペアリングのうちのいずれかの２番目に高い類似性であることに基づいている。
本出願の第２０の態様では、第１７の態様において、前記第１のテキスト要約を前記第１のデータに関連付けることが、第１のデータクラスタを形成するために、サブセット内の前記データの各々から抽出されたコンテンツ特徴に基づいて前記複数のデータの第１のサブセットをクラスタ化すること、前記第１のデータクラスタ内の前記データの各々と前記第１のテキスト要約との間の類似性を決定すること、前記第１のデータクラスタ内の前記データの各々と前記第１のテキスト要約との間の前記決定された類似性に基づいて、前記第１のデータクラスタに対する第１の集約類似性スコアを決定すること、及び前記第１の集約類似性スコアに基づいて前記第１のテキスト要約に前記第１のデータクラスタを関連付けること、を含み、第２のテキスト要約を第２のデータに関連付けることが、第２のデータクラスタを形成するために、前記サブセット内の前記データの各々から抽出されたコンテンツ特徴に基づいて前記複数のデータの第２のサブセットをクラスタ化すること、前記第２のデータクラスタ内の前記データの各々と前記第２のテキスト要約との間の類似性を決定すること、前記第２のデータクラスタ内の前記データの各々と前記第２のテキスト要約との間の前記決定された類似性に基づいて、前記第２のデータクラスタに対する第２の集約類似性スコアを決定すること、及び前記第２の集約類似性スコアに基づいて前記第２のテキスト要約に前記第２のデータクラスタを関連付けることを含む。
【００１０】
本出願の第２１の態様は、メディアコンテンツを表すデータにテキスト要約を関連付けるように構成されたコンピュータ装置であって、前記コンピュータ装置は、各テキスト要約がイベントを表す複数のテキスト要約を受信するための手段と、複数のメディアコンテンツを表すデータの各々と前記受信されたテキスト要約の各々とをペアリングするための手段と、前記複数のテキストとデータのペアリングの各々における受信された各テキスト要約から抽出されたコンテンツ特徴と各データから抽出されたコンテンツ特徴との類似性に基づいて、選択された第１のテキスト要約を複数のデータから選択された第１のデータに関連付けるための手段と、を含む。
【００１１】
特許又は出願ファイルには、カラーで示される少なくとも１つの図面が含まれている。カラー図面を伴うこの特許又は特許出願の刊行物の写しは、請求及び必要な手数料の支払いを受けて特許庁が提供する。
【図面の簡単な説明】
【００１２】
【図１】本出願の例示的実装形態に従ってフォトブックを生成するためのプロセスのフローチャートである。
【図２】本出願の別の例示的実装形態に従ってフォトブックを生成するためのプロセスのフローチャートである。
【図３】本出願の例示的実装形態に従ってコンテンツ類似性に基づいて関連ペアを形成するためのサブプロセスのフローチャートである。
【図４】本出願の別の例示的実装形態に従ってコンテンツ類似性に基づいて関連ペアを形成するためのサブプロセスのフローチャートである。
【図５】本出願の別の例示的実装形態に従ってフォトブックを生成するためのプロセスのフローチャートである。
【図６】本出願の例示的実装形態に従ってシステムを制御するために使用され得るユーザインタフェース（Ｕｉｓ）を示す図である。
【図７】本出願の例示的実装形態に従ってシステムを制御するために使用され得るユーザインタフェース（Ｕｉｓ）を示す図である。
【図８】本出願のいくつかの例示的実装形態における使用に適した例示的なコンピューティングデバイスを有するコンピューティング環境の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下の詳細な説明は、本出願の図面及び例示的実装形態のさらなる詳細を提供する。図面間の重複する要素の参照符号及び説明は、明確にするために省略されている。明細書全体を通して使用されている用語は、例として提供されており、限定を意図するものではない。例えば、「自動（ａｕｔｏｍａｔｉｃ）」という用語の使用は、本出願の実装形態を実行する当業者の所望の実装に応じて、実装形態の特定の態様に対するユーザ又はオペレータの制御を含む完全自動又は半自動の実装形態を含んでもよい。さらに、「第１」、「第２」、「第３」等の逐次的な用語は、単に表示目的のために説明及び請求項において使用されてもよく、説明したシーケンスで記述された動作又は項目を参照することに限定されるべきではない。動作又は項目は、本出願の範囲から逸脱することなく、異なるシーケンスに順序付けられてもよいし、並行して又は動的に実行されてもよい。
【００１４】
本出願では、「画像」、「コンテンツメディア」、「コンテンツメディア表現」、又は「メディア表現」という用語は、写真、ビデオ、３次元若しくは３６０°画像記録、描画、ペイント、スケッチ、コンピュータ生成画像、又は現実世界でのイベント若しくは出来事を生成、キャプチャ、又は他の方法で表現することができる他の視覚的表現のうちの１又は複数を説明するために交換可能に使用され得る。これらの用語には、現実世界でのイベント若しくは出来事を生成、キャプチャ、又は他の方法で表現することができる記録又は他の音声表現も含まれ得る。「画像」、「コンテンツメディア」、「コンテンツメディア表現」、又は「メディア表現」は、限定するものではないが、カメラ、デジタルレコーダ、アナログレコーダ、モバイル通信デバイスを含む任意のメディアキャプチャデバイス、又は当業者に明らかであり得る任意の他のメディアキャプチャデバイスによってキャプチャされてもよい。「コンテンツメディア」、「コンテンツメディア表現」、又は「メディア表現」は、限定するものではないが、磁気記憶デバイス、光学記憶デバイス、固体記憶デバイス、有機記憶デバイス、又は当業者に明らかであり得る任意の他の記憶デバイスを含むコンピュータ可読媒体上にデータファイル又は他のデータ構造として格納されてもよい。さらに、コンピュータ可読媒体は、ローカル記憶デバイス、クラウドベースの記憶デバイス、遠隔配置されたサーバ、又は当業者には明らかであり得る任意の他の記憶デバイスを含んでもよい。
【００１５】
さらに、本出願では、「キャプション」、「テキスト要約（ｔｅｘｔｕａｌ  ｓｕｍｍａｒｙ）」、又は「テキスト要約（ｔｅｘｔ  ｓｕｍｍａｒｙ）」という用語はすべて、説明された「画像」、「コンテンツメディア」、「コンテンツメディア表現」、又は「メディア表現」の１又は複数のコンテンツを表すことができる記述的なテキストベースの要約を表すために交換可能に使用されてもよい。
【００１６】
本出願の例示的実装形態によれば、ユーザは、１又は複数のイベントに関連する一連のキャプション又はテキスト要約を提供してもよく、システムは、その後、キャプションを「例示」するために、ユーザのコレクションからマッチングする写真、ビデオなどのセットを提供してもよい。これは、キャプチャされた状況やイベントを記憶している状況でユーザに権限を与える可能性があるが、手持ちのコレクションからそれらの瞬間を適切に取り出すためのツールとリソースは限られている。
【００１７】
例えば、ユーザが写真でいっぱいのメモリカードを持って休暇から帰る場合が挙げられる。ユーザは、例示的実装形態に従ってシステムを使用して、その後、「ビーチで素晴らしい一日を過ごしました」「お父さんはパラセーリングをしました」「ブリトーはおいしかった」など、描写したいイベントを記述する一連のキャプションを提供することによって、フォトブック又はアルバムに要約したい瞬間の概要を提供することができる。システムは、その後、各キャプションに対するそれらの関連性に従って画像のすべてをランク付けし、キャプションに対応するようにそれぞれビーチデー、パラセーリング、及びブリトーの画像を提供することができる。
【００１８】
別の例示的実装形態では、旅行中にユーザがソーシャルメディアアカウント又はマイクロブログプラットフォーム（例えば、ＴＷＩＴＴＥＲ（登録商標）など）に投稿することが可能であり、ユーザは、ユーザのソーシャルメディアアカウント又はマイクロブログへのアクセスをシステムに提供することができ、投稿は、システムによって検索されてキャプション又はテキスト要約として使用され、代表写真又は他のメディアコンテンツで例示されてフォトブック又はアルバムを作成することができる。
【００１９】
他の例示的実装形態では、システムは、監視ビデオ、視点ビデオ若しくは自撮りビデオ（ｐｏｉｎｔ−ｏｆ−ｖｉｅｗ  ｏｒ  ｅｇｏｃｅｎｔｒｉｃ  ｖｉｄｅｏ）（例えば、ＧｏＰｒｏビデオ）、教育講義録画、拡張されたインタビュー録画などの大容量コンテンツメディア表現、又は当業者に明らかであり得る任意の他のタイプの大容量コンテンツメディア表現の関連セクションを索引付け及び識別するために使用され得る。例えば、システムは、ユーザによって提供されるキャプション又はテキスト要約に基づいて、コンテンツ特徴に関連付けられた大容量コンテンツメディア表現内の１又は複数の画像フレーム又はオーディオセクションを識別するために使用され得る。
【００２０】
さらに、他の例示的実装形態は、画像のコレクションを照会することによってユーザ提供のキャプションからフォトブックを生成するように構成されたシステムを含み得る。これらの実装形態では、システムへの入力は、ユーザのフォトコレクション、又はそのコレクションの一時的な、局所的な、若しくは地理的なサブセグメントだけでなく、ユーザが提供されたコレクションの写真を使用して「例示」したいと思う一連のキャプション又は他のテキスト要約であってもよい。このシステムは、複数のユーザが、ブック又は写真セット作成ツールを使って手動で作成されたフォトブック又は写真セット（例えば、ユーザーが設定したキャプションと選択された写真との関係を用いたトレーニング）から学習することによって機能することができる。これらの実装形態では、アルバム又はブック内の（トレーニングデータの）写真のサブセットに関連付けるようにユーザが選択した（トレーニングデータの）キャプションが抽出されてもよく、ユーザのコレクションからの追加写真及びキャプションと一緒に（トレーニングデータ内に）含まれるかどうかのステータスが抽出されてもよい。このトレーニングデータセットを使用して、システムは、提供されたキャプション又はテキスト要約の表現、並びに画像及び関連メタデータの視覚コンテンツを学習することができる。その後、システムは、関連するキャプションに対する各画像の関連性を予測するためにモデルを使用することができる。その後、これらの表現及びモデルを使用して、ユーザが所与の画像を選択して所与のキャプションに関連付けるかどうかを予測することができる。これらの予測を使用して、各キャプションに対して予測された関連性に従って画像をランク付けし、ラウンドロビン選択アプローチを使用して画像を各キャプションに対して選択することができる。
【００２１】
本明細書で説明する例示的実装形態の各々は、ユーザが提供するキャプションと画像のペアの過去の例に基づいて、画像とキャプションとの関連性を学習することができる機械学習型マッチングシステムを使用してキャプションを説明するためのアプローチを示している。このアプローチには、画像とキャプションとの自動関連付けを提供するために以下の幾つかのコンポーネントが含まれてもよい：
関連するキャプション又はテキスト要約を有するグループに手動でサブ選択された画像の大容量データベース；
データベース内の画像と関連付けられたキャプションの両方の意味コンテンツを表現する方法；及び
所与の画像の提供されたキャプションとの関連性を予測する方法。
【００２２】
例示的実装形態の他の態様については、添付の図面を参照して以下に詳細に説明する。
【００２３】
図１は、本出願の例示的実装形態によるフォトブックを生成するためのプロセス１００のフローチャートを示している。プロセス１００は、後述する図８に示す例示的なコンピューティング環境８００の例示的なコンピューティングデバイス８０５などのコンピューティング環境内のコンピューティングデバイスによって実行され得る。プロセス１００の要素は、特定のシーケンスで例示され得るが、例示的実装形態は、示された特定のシーケンスに限定されない。例示的実装形態は、当業者には明らかであり得るように、異なるシーケンスに順序付けられた動作を含むことができ、又は本出願の範囲から逸脱することなく、並行して若しくは動的に動作を実行することができる。
なお、コンピューティングデバイス８０５は、本開示の技術の「コンピュータ装置」の一例である。
【００２４】
図１に示すように、１０５で、ユーザによる画像セットの入力やユーザが例示したいと思うユーザ提供のキャプションといった入力を受信する。ユーザ入力が受信された後、システムは、ユーザによって提供された画像のセット内の選択候補となる各画像と提供された各キャプションとをペアリングすることによって、１１０において、キャプションと画像のペアを生成することができる。
【００２５】
１１５において、キャプションと画像の両方の特徴が抽出されて、キャプションと画像に関連する特徴埋め込み（ｆｅａｔｕｒｉｎｇ  ｅｍｂｅｄｄｉｎｇｓ）を生成することができる。１１５の特徴抽出は、トレーニングデータを使用して１３５で訓練されたニューラルネットワークを使用して実行され得る。トレーニングデータは、ウェブベース、モバイルアプリケーションベース、あるいはローカルマシンにインストールされた、フォトアルバム編集又はフォトブック生成プラットフォームを使用して、ユーザによって入力されたキャプション、ユーザが手動で選択した画像コレクションやフォトブック、などを含み得る。各画像とキャプションのペアについて、特徴（埋め込み）同士を関連付けることができる。
【００２６】
いくつかの例示的実装形態では、コンテンツ特徴抽出は、ユーザによって提供されるキャプションのための表現空間、及びそれらのキャプションを示すために適用され得る候補画像を生成することを含み得る。各候補写真及び各キャプションのコンテンツ特徴を表現するために、サブネットワークは異なるタスクで訓練され、埋め込みを学習することができる。
【００２７】
例えば、テキスト埋め込みは、既存の技術（例えば、「ｗｏｒｄ２ｖｅｃ」）を使用して学習され、キャプション又はテキスト要約から抽出された単語を表すためにベクトル符号化を学習することができる。さらに、いくつかの例示的実装形態では、画像から単語を抽出するために、テキスト認識技術（例えば、光学文字認識など）を使用することもできる。このタイプのネットワークは、ボキャブラリの高い次元のワンホット（ｏｎｅ−ｈｏｔ）表現を取得し、その後それをはるかに低い次元のノードのセットにマッピングして、最終レイヤの同じワンホット表現の用語を予測するという単純なアーキテクチャを有することができる。このネットワークは、テキストの大きなコーパスを提供し、現在の用語のワンホット表現を使用し、ネットワークを訓練して、テキスト内の後続の用語を予測するように訓練され得る。ユーザが提供するテキストキャプションについて、各用語はこのネットワークを通過することができ、各用語の表現を中間の低次元レイヤに保持することができる。表現値は、テキスト用語の特徴表現として使用され得る。
【００２８】
さらに、センテンス又はフレーズを埋め込むために、いくつかの方法を使用することができる。例えば、入力として議論されたｗｏｒｄ２ｖｅｃ表現を使用し、キャプションを低次元埋め込みに埋め込むことによって、隣接する単語又はセンテンスのコンテキストを利用するニューラル手法を効果的に使用することができる。
【００２９】
画像を表す特徴を抽出するために、深い畳み込みニューラルネットワークを、大きなコーパス（例えば、「ＩｍａｇｅＮｅｔ」）上で訓練することができる。このタイプのネットワークでは、画像は、最大プール及びＲｅＬＵアクティベーションを伴う一連の畳み込みレイヤ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｌａｙｅｒ）を通過できる。畳み込みレイヤの後に、画像を通常ＩｍａｇｅＮｅｔクラスの１つに分類する最後のタスクのために、いくつかのフラット化された完全接続レイヤが適用される。ネットワークがこのデータで訓練されると、ユーザ提供画像がネットワークを通過することが可能になり、最後から２番目のレイヤ出力が、後述する選択タスクに適用される特徴表現として使用され得る。
【００３０】
いくつかの例示的実装形態では、画像は、タイムスタンプ、地理座標、及びカメラ設定などの画像のキャプチャに関するさらなる情報（ｉｎｆｏｒｍａｔｉｏｎａｌ  ｃｕｅｓ）を反映するメタデータでさらに強化され得る。さらにいくつかの例示的実装形態では、自動システムを使用して、画像内の人のアイデンティティや画像の投影された美的品質など、画像から抽出された情報を用いてこのようなメタデータを強化することもできる。さらに、特定のユーザの過去の好み又は過去のアルバム若しくはフォトブックの生成選択を示すデータも、特徴抽出及び画像選択をさらに改善するためにモデルに供給されてもよい。
【００３１】
１２０において、各画像／キャプションのペアは、各画像の各キャプションへの関連性を予測するために、トレーニングデータに基づいてニューラルネットワークによって開発されたスコアリングモデルを通過することができる。各キャプションについて、その後、スコアモデルを使用して画像をランク付けすることができる。いくつかの例示的実装形態では、コンテンツ表現が１１５から得られると、１２０において、提供されたキャプションに関連するユーザのより大きなコレクションからの画像の尤度を学習するためのモデルを適用して、キャプション／画像ペアを選択、スコア付けし、ランク付けすることができる。これを、様々なユーザに属する画像コレクションのデータセットと、それらの写真コレクションから生成された後続のアルバム又はフォトブックとを、様々なユーザが各画像又は画像グループに対して提供したキャプションと共にコンパイルすることによって行うことができる。ユーザがフォトブックにおいて手動で使用した各キャプションについて、そのキャプション及びユーザの画像コレクション全体の各画像についてトレーニングペアを作成することができる。その後、バイナリ分類子を使用して、そのキャプションに含めるために写真が実際にユーザによって選択されたかどうかをモデル化することができる。キャプションは、ニューラルネットワークを通過して、テキストをモデル化するための埋め込みを抽出することができる。同様に、各画像は画像モデリングサブネットワークを通過し、そこでの埋め込みが画像を表すために使用される。メタデータ特徴も抽出することができる。各画像とキャプションのペアについて、これらの表現を、さらなるモデリングのための入力として一緒に連結することができる。その後、最終レイヤがキャプションセットからの包含（「１」）又は除外（「Ｏ」）のいずれかを予測するソフトマックスレイヤである高密度レイヤのディープネットワーク（ｄｅｅｐ  ｎｅｔｗｏｒｋ  ｏｆ  ｄｅｎｓｅ  ｌａｙｅｒｓ）を適用することができる。
ランク付け中、各ユーザ提供のキャプションは、そのコレクション内のすべての画像とペアリングされ、キャプションとの関連性に基づいてスコア付けされる。その後、返されたスコアに従って画像がランク付けされる。
【００３２】
ランキングに基づいて、その後、各キャプションについて必要な数の画像が見つかるまで、置き換えなく（例えば、新しい画像が提供されないように）、１２５で各キャプションについて画像を選択することができる。例えば、トップｋセット（ｔｏｐ−ｋ  ｓｅｔ）内の画像又はいくつかの閾値を超える画像を、所与のキャプションに対してマッチングする写真のセットとして返すことができる。いくつかの例示的実装形態では、１２５でグリーディ（ｇｒｅｅｄｙ）な選択アルゴリズムを使用して、各キャプションに対して最適な（例えば、最高ランクの）画像を選択することができる。さらに、いくつかの例示的実装形態では、画像が所与のキャプションとの関連付けのために選択されると、その同じ画像は、所与のアルバム又はフォトブック内の任意の他のキャプションとの関連付けから除外される。これの例示的実装形態は、以下により詳細に説明される。
【００３３】
必要な数の画像が各ユーザ提供のキャプションに関連付けられると、１３０でユーザ設定に従って画像アルバム又はフォトブックが生成され得、処理を終了することができる。いくつかの例示的実装形態では、ユーザ設定は、以下でより詳細に説明する図６及び図７に示すユーザインタフェース６００及び７００などのユーザインタフェースによって提供されてもよい。いくつかの例示的実装形態では、ユーザ設定は、画像キャプチャデバイスに関連する設定及び／又はユーザの以前のアルバム若しくはフォトブックに基づく追加のトレーニングデータによって提供されてもよい。
【００３４】
図２は、本出願の別の例示的実装形態によるメディアコンテンツアルバムを生成するためのプロセス２００のフローチャートを示している。プロセス２００のいくつかの態様は、図１に関して上述したプロセス１００と同様であってもよく、したがって、ここでは重複する説明は省略されてもよい。プロセス２００は、後述する図８に示す例示的なコンピューティング環境８００の例示的なコンピューティングデバイス８０５などのコンピューティング環境内のコンピューティングデバイスによって実行され得る。プロセス２００の要素を特定のシーケンスで例示することができるが、例示的実装形態は、示された特定のシーケンスに限定されない。例示的実装形態は、当業者には明らかであり得るように、異なるシーケンスに順序付けられた動作を含むことができ、又は本出願の範囲から逸脱することなく、並行して若しくは動的に動作を実行することができる。
【００３５】
ここでもまた、ユーザ入力が、２０５でシステムによって受信される。プロセス２００において、このユーザ入力は、ユーザが例示したいと思うユーザ提供のテキスト要約又はキャプションを含み得る。画像又はコンテンツ表現は、事前にシステムに提供されていてもよく、又はシステムは、画像管理システム若しくはソーシャルメディアプラットフォームに既に統合されていてもよい。いくつかの例示的実装形態では、ソーシャルメディアプラットフォームからソーシャルメディア投稿又はマイクロブログ投稿を抽出することによってテキスト要約が提供されてもよい。
【００３６】
ユーザ入力が受信された後、システムは、各提供されたテキスト要約を各可能なコンテンツ表現とペアリングすることによって、２１０でテキスト要約とコンテンツ表現のペアを生成することができる。
【００３７】
２１５において、各テキスト要約とコンテンツ表現のペアについてコンテンツ類似性値が決定される。図１の例示的実装形態で説明したように、これは、キャプションと画像の両方に関連する特徴埋め込みを生成するために、テキスト要約とコンテンツ表現画像の両方のコンテンツ特徴を抽出することを含み得る。特徴抽出は、トレーニングデータを用いて訓練されたニューラルネットワークを使用して実行され得る。トレーニングデータは、ウェブ、モバイルアプリケーション、若しくはローカルマシンにインストールされたソフトウェアを介してアクセス可能なアルバム編集又はフォトブック生成プラットフォームの他のユーザによってキャプションされた、ユーザが手動で生成した画像コレクション又はフォトブックを含み得る。各コンテンツ表現／テキスト要約ペアについて、抽出された特徴（埋め込み）を一緒に連結することができる。
【００３８】
ここでもまた、各コンテンツ表現及びテキスト要約のコンテンツ特徴を表すために、サブネットワークを異なるタスクで訓練して、埋め込みを学習することができる。例えば、テキスト埋め込みは、既存の技術（例えば、「ｗｏｒｄ２ｖｅｃ」）を使用して、キャプション又はテキスト要約から抽出された単語を表すベクトル符号化を学習することを含み得る。いくつかの実装形態では、テキスト抽出の一部分として画像から単語を抽出するために、テキスト認識技術（例えば、光学文字認識など）を使用することもできる。ニューラルネットワークは、ボキャブラリの高い次元のワンホット表現を取得し、その後それをはるかに低い次元のノードのセットにマッピングして、最終レイヤの同じワンホット表現の用語を予測するという単純なアーキテクチャを有することができる。このタイプのネットワークは、テキストの大きなコーパスを提供し、現在の用語のワンホット表現を使用し、ネットワークを訓練して、テキスト内の後続の用語を予測するように訓練され得る。ユーザが提供するテキスト要約については、各用語がこのネットワークを通過することができ、各用語の表現を中間の低次元レイヤに保持することができる。表現値は、テキスト用語の特徴表現として使用され得る。
【００３９】
さらに、センテンス又はフレーズを埋め込むために、いくつかの方法を使用することができる。例えば、入力として議論されたｗｏｒｄ２ｖｅｃ表現を使用し、キャプションを低次元埋め込みに埋め込むことによって、隣接する単語又はセンテンスのコンテキストを利用するニューラル手法を効果的に使用することができる。
【００４０】
画像を表すコンテンツ特徴を抽出することに関して、深い畳み込みニューラルネットワークを、大きなコーパス（例えば、「ＩｍａｇｅＮｅｔ」）上で訓練することができる。このネットワークでは、画像は最大プールとＲｅＬＵアクティベーションを伴う一連の畳み込みレイヤを通過できる。畳み込みレイヤの後に、画像を通常ＩｍａｇｅＮｅｔクラスの１つに分類する最後のタスクのために、いくつかのフラット化された完全接続レイヤが適用される。ネットワークがこのデータで訓練されると、ユーザ提供画像がネットワークを通過することが可能になり、最後から２番目のレイヤ出力が、後述する選択タスクに適用される特徴表現として使用され得る。
【００４１】
いくつかの例示的実装形態では、画像表現は、タイムスタンプ、地理座標、及びカメラ設定などの画像のキャプチャに関するさらなる情報の合図を反映するメタデータでさらに強化され得、自動システムを使用して、画像内の人のアイデンティティや画像の投影された美的品質など、画像から抽出された情報を用いてこのメタデータを強化することもできる。さらに、特定のユーザの過去の好み又はさらに過去のアルバム若しくはフォトブックの生成選択を示すデータも、特徴抽出及び画像選択をさらに改善するためにモデルに供給され得る。
【００４２】
各テキスト要約とコンテンツ表現のペアについてコンテンツ類似性が決定されると、２２０において、テキスト要約とコンテンツ表現のペアの各々についてのコンテンツ類似性に基づいて、第１のテキスト要約を第１のコンテンツプレゼンテーション（ｃｏｎｔｅｎｔ  ｐｒｅｓｅｎｔａｔｉｏｎ）に関連付けて、第１の関連ペアを生成することができる。同様に、２２５において、テキスト要約とコンテンツ表現のペアの各々についてのコンテンツ類似性に基づいて、第２のテキスト要約を第２のコンテンツ表現に関連付けて、第２の関連ペアを生成することができる。２２０及び２２５の例示的実装形態は、それぞれ図３及び図４に以下に示す１又は複数のサブプロセス３００及び４００を使用して実行され得る。さらに、いくつかの例示的実装形態では、各テキスト要約とコンテンツ表現のペアについて決定されたコンテンツ類似性に基づいて所望の数の関連ペア（例えば、３つ、４つ、５つなどのテキスト要約とコンテンツ表現の関連ペア）になるまで、２２０及び２２５を繰り返すことができる。
【００４３】
所望の数の関連ペアが生成されると、２３０でユーザ設定に従って画像アルバム又はフォトブックが生成され得、処理を終了することができる。いくつかの例示的実装形態では、ユーザ設定は、以下でより詳細に説明する図６及び図７に示すユーザインタフェース６００及び７００などのユーザインタフェースによって提供されてもよい。いくつかの例示的実装形態では、ユーザ設定は、画像キャプチャデバイスに関連する設定及び／又はユーザの以前のアルバム若しくはフォトブックに基づく追加のトレーニングデータによって提供されてもよい。
【００４４】
図３は、コンテンツの類似性に基づいて関連ペアを形成するためのサブプロセス３００のフローチャートを示している。サブプロセス３００は、本明細書で説明した図１のプロセス１００、図２のプロセス２００、図５のプロセス５００などのコンテンツメディアアルバムを生成するためのより大きなプロセスの一部として実行され得る。サブプロセス３００は、後述する図８に示す例示的なコンピューティング環境８００の例示的なコンピューティングデバイス８０５などのコンピューティング環境内のコンピューティングデバイスによって実行され得る。図３に関して使用されるように、「ペア」という用語は、キャプションと画像のペア、テキスト要約とコンテンツ表現のペア、テキスト要約とデータクラスタ（ｄａｔａ  ｃｌｕｓｔｅｒ）のペア、又は、当業者には明らかであり得る他のテキスト要約と画像表現のペアであってもよい。
【００４５】
サブプロセス３００の要素を特定のシーケンスで例示することができるが、例示的実装形態は、示された特定のシーケンスに限定されない。例示的実装形態は、当業者には明らかであり得るように、異なるシーケンスに順序付けられた動作を含むことができ、又は本出願の範囲から逸脱することなく、並行して若しくは動的に動作を実行することができる。
【００４６】
フォトブック又はアルバムを作成するとき、ユーザは複数のキャプションを「例示」し、すべてのキャプションと画像のセットをより大きなコレクションにコンパイルしようとしていることがある。
このような状況ではシステムに追加の制約が課せられる可能性があり、より大きなブックの中の写真の繰り返しを避けるため、通常は各写真を１つのキャプションにのみ関連付ける必要がある。いくつかの例示的実装形態では、サブプロセス３００によって示されるように、画像をキャプションにマッチングさせるためにグリーディ（ｇｒｅｅｄｙ）なアプローチを適用することができる。サブプロセス３００では、各キャプションが必要な数の画像を収集するまで、又は「良好な」マッチの数（いくつかの閾値スコアを超えるもの）が各キャプション画像セットに使い果たされるまで、残っている類似性が最も高いペアをフォトブック又は画像アルバムに繰り返し選択することができる。
【００４７】
サブプロセス３００において、ランク付けされたペアのセットは３０５で評価され、コンテンツの類似性が最も高いペアが既に選択されているかどうかが判定される。コンテンツの類似性が最も高いペアがまだ選択されていない場合（３０５でＮＯ）、コンテンツの類似性が最も高いペアが、３１０で第１の関連ペアとして選択され、選択されたペアの両方のコンポーネント（例えば、キャプション／テキスト要約及び画像／コンテンツ表現／データクラスタ）がさらなる検討から除去され、サブプロセス３００は３０５に戻る。
【００４８】
逆に、コンテンツの類似性が最も高いペアが既に選択されている場合（３０５でＹＥＳ）、３１５で残りのペアから、コンテンツの類似性が最も高いペアが第２の又は後続の関連ペアとして選択され、選択されたペアの両方のコンポーネント（例えば、キャプション／テキスト要約及び画像／コンテンツ表現／データクラスタ）がさらなる検討から除去され、サブプロセス３００は３２０に進む。
【００４９】
３２０において、これまでに選択された関連ペアの数が閾値未満であるかどうかの判定が行われる。いくつかの例示的実装形態では、閾値は、生成されたメディアコンテンツアルバムにおいて生成されるキャプション／テキスト要約又は画像／コンテンツ表現／データクラスタの数のユーザ設定を表すことができる。いくつかの例示的実装形態では、閾値は、以下により詳細に説明する図６及び図７に示すユーザインタフェース６００又は７００などのユーザインタフェースを使用して設定され得る。これまでに選択された関連ペアの数が閾値未満である場合（３２０でＹＥＳ）、サブプロセス３００は３０５に戻り、そこから継続する。逆に、これまでに選択された関連ペアの数が閾値未満でない場合（３２０でＮＯ）、サブプロセス３００は終了し、コンテンツメディアアルバムを生成するためのメインプロセスが継続することができる。
【００５０】
図４は、コンテンツ類似性に基づいて関連ペアを形成するためのサブプロセス４００のフローチャートを示している。サブプロセス３００は、本明細書で説明した図１のプロセス１００、図２のプロセス２００、図５のプロセス５００などのコンテンツメディアアルバムを生成するためのより大きなプロセスの一部として実行され得る。サブプロセス４００は、後述する図８に示す例示的なコンピューティング環境８００の例示的なコンピューティングデバイス８０５などのコンピューティング環境内のコンピューティングデバイスによって実行され得る。図４に関して使用されるように、「ペア」という用語は、キャプションと画像のペア、テキスト要約とコンテンツ表現のペア、テキスト要約とデータクラスタのペア、又は、当業者には明らかであり得る他のテキスト要約画像表現ペアであってもよい。
【００５１】
サブプロセス４００の要素を特定のシーケンスで例示することができるが、例示的実装形態は、示された特定のシーケンスに限定されない。例示的実装形態は、当業者には明らかであり得るように、異なるシーケンスに順序付けられた動作を含むことができ、又は本出願の範囲から逸脱することなく、並行して若しくは動的に動作を実行することができる。
【００５２】
フォトブック又はアルバムを作成するとき、ユーザが複数のキャプションを「例示」し、すべてのキャプションと画像のセットをより大きなコレクションとしてコンパイルしようとしていることがある。このような状況ではシステムに追加の制約が課せられる可能性があり、より大きなブックの中である写真が繰り返し使用されることを避けるため、通常は各写真を１つのキャプションにのみ関連付ける必要がある。いくつかの例示的実装形態では、第１のキャプションがそのセットに含まれるようにそのトップランクの画像を選択し、それにより選択された画像は他のキャプションセットの候補から除去されるという、ラウンドロビン画像選択アプローチによって提供されてもよい。次に、第２のキャプションは、第1のキャプションで選択された画像以外の残りの画像からトップランクの画像を取る。このプロセスは、すべての画像セットが必要な数の画像をプールから選択するまで繰り返されてもよい。図４のサブプロセス４００は、このアプローチの一例を示している。
【００５３】
サブプロセス４００において、テキスト要約又はキャプションのうちの第１のものが４０５で選択される。第１のテキスト要約又はキャプションの選択は、ランダムであってもよく、ユーザによる入力順に基づいてもよく、ユーザ入力に応答して選択されてもよく、又は以前のユーザの好みに基づいて選択されてもよい。
【００５４】
第１のテキスト要約又はキャプションが選択されると、選択された第１のテキスト要約が関連付けられ、コンテンツの類似性が最も高いペアが、４１０で第１の関連ペアとして選択される。選択されたペアの両方のコンポーネント（例えば、キャプション／テキスト要約及び画像／コンテンツ表現／データクラスタ）がそれ以降の検討から除去され、サブプロセス４００は４１５に進む。
【００５５】
４１５において、第２又は後続のテキスト要約又はキャプションの１つが４１５で選択される。第２の若しくは後続のテキスト要約又はキャプションの選択は、ランダムであってもよく、ユーザによる入力順に基づいてもよく、ユーザ入力に応答して選択されてもよく、又は以前のユーザの好みに基づいて選択されてもよい。第２の若しくは後続のテキスト要約又はキャプションが選択されると、選択された第２の若しくは後続のテキスト要約が関連付けられ、コンテンツの類似性が最も高いペアが、４２０で第２の若しくは後続の関連ペアとして選択され、選択されたペアの両方のコンポーネント（例えば、キャプション／テキスト要約及び画像／コンテンツ表現／データクラスタ）がそれ以降の検討から除去され、サブプロセス４００は４２５に進む。
【００５６】
４２５において、これまでに選択された関連ペアの数が閾値未満であるかどうかの判定が行われる。いくつかの例示的実装形態では、閾値は、生成されたメディアコンテンツアルバムにおいて生成されるキャプション／テキスト要約又は画像／コンテンツ表現／データクラスタの数のユーザ設定を表すことができる。いくつかの例示的実装形態では、閾値は、以下により詳細に説明する図６及び図７に示すユーザインタフェース６００又は７００などのユーザインタフェースを使用して設定され得る。これまでに選択された関連ペアの数が閾値未満である場合（４２５でＹＥＳ）、サブプロセス４００は４１５に戻り、そこから継続する。逆に、これまでに選択された関連ペアの数が閾値未満でない場合（４２５でＮＯ）、サブプロセス４００は終了し、コンテンツメディアアルバムを生成するためのメインプロセスが継続することができる。
【００５７】
図５は、本出願の別の例示的実装形態によるメディアコンテンツアルバムを生成するためのプロセス５００のフローチャートを示している。プロセス５００のいくつかの態様は、上記の図１及び図２に関して上述したプロセス１００及び２００と同様であってもよく、したがって、ここでは重複する説明は省略されてもよい。プロセス５００は、後述する図８に示す例示的なコンピューティング環境８００の例示的なコンピューティングデバイス８０５などのコンピューティング環境内のコンピューティングデバイスによって実行され得る。プロセス５００の要素を特定のシーケンスで例示することができるが、例示的実装形態は、示された特定のシーケンスに限定されない。例示的実装形態は、当業者には明らかであり得るように、異なるシーケンスに順序付けられた動作を含むことができ、又は本出願の範囲から逸脱することなく、並行して若しくは動的に動作を実行することができる。
【００５８】
プロセス５００では、５０５において、複数の画像若しくはコンテンツ表現がクラスタ化され、又は異なる画像若しくはコンテンツ表現間のコンテンツ類似性に基づいて、画像若しくはコンテンツ表現のサブセットに分割され得る。これは、コンテンツの表現又は画像からコンテンツ特徴を抽出して、特徴の埋め込みを生成することを含み得る。特徴抽出は、トレーニングデータを用いて訓練されたニューラルネットワークを使用して実行され得る。
【００５９】
ここでもまた、各コンテンツ表現のコンテンツ特徴を表すために、サブネットワークを異なるタスクで訓練して、埋め込みを学習することができる。例えば、テキスト埋め込みは、既存の技術（例えば、「ｗｏｒｄ２ｖｅｃ」）を使用して、テキスト抽出の一部として画像から単語を抽出することによって、テキスト認識技術（例えば、光学文字認識など）を使用してコンテンツ表現から抽出された単語を表すベクトル符号化を学習することを含み得る。ニューラルネットワークは、ボキャブラリの高い次元のワンホット表現を取得し、その後それをはるかに低い次元のノードのセットにマッピングして、最終レイヤの同じワンホット表現の用語を予測するという単純なアーキテクチャを有することができる。このタイプのネットワークは、テキストの大きなコーパスを提供し、現在の用語のワンホット表現を使用し、ネットワークを訓練して、テキスト内の後続の用語を予測するように訓練され得る。表現値は、テキスト用語の特徴表現として使用され得る。
【００６０】
さらに、センテンス又はフレーズを埋め込むために、いくつかの方法を使用することができる。例えば、入力として議論されたｗｏｒｄ２ｖｅｃ表現を使用し、キャプションを低次元埋め込みに埋め込むことによって、隣接する単語又はセンテンスのコンテキストを利用するニューラル手法を効果的に使用することができる。
【００６１】
画像を表すコンテンツ特徴を抽出することに関して、深い畳み込みニューラルネットワークを、大きなコーパス（例えば、「ＩｍａｇｅＮｅｔ」）上で訓練することができる。このネットワークでは、画像は最大プールとＲｅＬＵアクティベーションを伴う一連の畳み込みレイヤを通過できる。畳み込みレイヤの後に、画像を通常ＩｍａｇｅＮｅｔクラスの１つに分類する最後のタスクのために、いくつかのフラット化された完全接続レイヤが適用される。ネットワークがこのデータで訓練されると、コンテンツ表現がネットワークを通過することが可能になり、最後から２番目のレイヤ出力がコンテンツ表現のクラスタに適用される特徴表現として使用され、コンテンツ表現のサブセットのデータクラスタを形成することができる。
【００６２】
いくつかの例示的実装形態では、画像表現は、タイムスタンプ、地理座標、及びカメラ設定などの画像のキャプチャに関するさらなる情報の合図を反映するメタデータでさらに強化され得、自動システムを使用して、画像内の人のアイデンティティや画像の投影された美的品質など、画像から抽出された情報を用いてこのメタデータを強化することもできる。
【００６３】
決定された埋め込みを使用して、コンテンツ表現は、それらを特定のテキスト要約キャプションに割り当てる前にクラスタ化されてもよい。各データクラスタ又はコンテンツ表現のサブセットは、各グループに関連付けられた画像の集約強度に基づいてキャプションに関連付けられてもよい。時間コンテンツ表現などの強力なメタデータの合図がキャプチャされた場合、それらが撮影された場所を使用して、画像のイベント駆動グループを複数のテキスト要約とコンテンツ表現のセットに分割しないようにすることもできる。
【００６４】
データクラスタが生成された後、ユーザ入力が５１０でシステムによって受信される。プロセス５００において、このユーザ入力は、ユーザが例示したいと思うユーザ提供のテキスト要約又はキャプションを含み得る。いくつかの例示的実装形態では、ソーシャルメディアプラットフォームからソーシャルメディア投稿又はマイクロブログ投稿を抽出することによってテキスト要約が提供されてもよい。
【００６５】
ユーザ入力が受信された後、システムは、各提供されたテキスト要約を各可能なデータクラスタ又はコンテンツ表現のサブセットとペアリングすることによって、５１５でテキスト要約とデータクラスタのペアを生成する。
【００６６】
５２０において、各テキスト要約とデータクラスタのペアについてコンテンツ類似性値が決定される。図１の例示的実装形態で説明したように、これは、テキスト要約のコンテンツ特徴を抽出し、各データクラスタの５０５で決定された集約コンテンツ埋め込みと比較して、キャプションとデータクラスタの両方に関連する特徴埋め込みを生成することを含み得る。特徴抽出は、トレーニングデータを用いて訓練されたニューラルネットワークを使用して実行され得る。トレーニングデータは、ウェブ、モバイルアプリケーション、若しくはローカルマシンにインストールされたソフトウェアを介してアクセス可能なアルバム編集又はフォトブック生成プラットフォームの他のユーザによってキャプションされた、ユーザが手動で生成した画像コレクション又はフォトブックを含み得る。各テキスト要約とデータクラスタのペアについて、抽出された特徴（埋め込み）を一緒に連結することができる。
【００６７】
ここでもまた、各データクラスタのコンテンツ特徴及びテキスト要約を表すために、サブネットワークを異なるタスクで訓練して、埋め込みを学習することができる。例えば、テキスト埋め込みは、既存の技術（例えば、「ｗｏｒｄ２ｖｅｃ」）を使用して、キャプション又はテキスト要約から抽出された単語を表すベクトル符号化を学習することを含み得る。いくつかの実装形態では、テキスト抽出の一部分として、各データクラスタの画像から単語を抽出するために、テキスト認識技術（例えば、光学文字認識など）を使用することもできる。ニューラルネットワークは、ボキャブラリの高い次元のワンホット表現を取得し、その後それをはるかに低い次元のノードのセットにマッピングして、最終レイヤの同じワンホット表現の用語を予測するという単純なアーキテクチャを有することができる。このタイプのネットワークは、テキストの大きなコーパスを提供し、現在の用語のワンホット表現を使用し、ネットワークを訓練して、テキスト内の後続の用語を予測するように訓練され得る。ユーザが提供するテキスト要約については、各用語がこのネットワークを通過することができ、各用語の表現を中間の低次元レイヤに保持することができる。表現値は、テキスト用語の特徴表現として使用され得る。
【００６８】
さらに、センテンス又はフレーズを埋め込むために、いくつかの方法を使用することができる。例えば、入力として議論されたｗｏｒｄ２ｖｅｃ表現を使用し、キャプションを低次元埋め込みに埋め込むことによって、隣接する単語又はセンテンスのコンテキストを利用するニューラル手法を効果的に使用することができる。
【００６９】
画像を表すコンテンツ特徴を抽出することに関して、深い畳み込みニューラルネットワークを、大きなコーパス（例えば、「ＩｍａｇｅＮｅｔ」）上で訓練することができる。このネットワークでは、画像は最大プールとＲｅＬＵアクティベーションを伴う一連の畳み込みレイヤを通過できる。畳み込みレイヤの後に、画像を通常ＩｍａｇｅＮｅｔクラスの１つに分類する最後のタスクのために、いくつかのフラット化された完全接続レイヤが適用される。ネットワークがこのデータで訓練されると、各データクラスタのユーザ提供画像がネットワークを通過することが可能になり、最後から２番目のレイヤ出力が、後述する選択タスクに適用される特徴表現として使用され得る。
【００７０】
いくつかの例示的実装形態では、各データクラスタの画像表現は、タイムスタンプ、地理座標、及びカメラ設定などの画像のキャプチャに関するさらなる情報の合図を反映するメタデータでさらに強化され得、自動システムを使用して、画像内の人のアイデンティティや画像の投影された美的品質など、画像から抽出された情報を用いてこのメタデータを強化することもできる。
さらに、特定のユーザの過去の好み又はさらに過去のアルバム若しくはフォトブックの生成選択を示すデータも、特徴抽出及び画像選択をさらに改善するためにモデルに供給されてもよい。
【００７１】
各テキスト要約とデータクラスタのペアについてコンテンツ類似性が決定されると、５２５で、テキスト要約とデータクラスタのペアの各々についてのコンテンツ類似性に基づいて第１のテキスト要約を第１のデータクラスタに関連付けて、第１の関連ペアを生成することができる。同様に、５３０において、テキスト要約とデータクラスタのペアの各々についてのコンテンツ類似性に基づいて、第２のテキスト要約を第２のデータクラスタに関連付けて、第２の関連ペアを生成することができる。５２５及び５３０の例示的実装形態は、図３及び図４にそれぞれ上述した１又は複数のサブプロセス３００及び４００を使用して実行され得る。さらに、いくつかの例示的実装形態では、各テキスト要約とデータクラスタのペアについて決定されたコンテンツ類似性に基づいて所望の数の関連ペア（例えば、３つ、４つ、５つなどのテキスト要約とデータクラスタの関連ペア）になるまで、５２５及び５３０を繰り返すことができる。
【００７２】
所望の数の関連ペアが生成されると、５３５でユーザ設定に従って画像アルバム又はフォトブックが生成され得、処理を終了することができる。いくつかの例示的実装形態では、ユーザ設定は、以下でより詳細に説明する図６及び図７に示すユーザインタフェース６００及び７００などのユーザインタフェースによって提供されてもよい。いくつかの例示的実装形態では、ユーザ設定は、画像キャプチャデバイスに関連する設定及び／又はユーザの以前のアルバム若しくはフォトブックに基づく追加のトレーニングデータによって提供されてもよい。
【００７３】
図６及び図７は、本出願の例示的実装形態に従ってシステムを制御するために使用され得るユーザインタフェース（Ｕｉｓ）６００及び７００を示している。Ｕｉｓ６００及びＵｉｓ７００は、限定されないが、コンピュータモニタ、ＴＶ、モバイルデバイスのタッチスクリーンディスプレイ、ラップトップディスプレイスクリーン、又は当業者には明らかであり得る他の任意のディスプレイデバイスを含むディスプレイデバイス上に表示され得る。
【００７４】
図６に示すように、ＵＩ６００は、コンテンツメディア表現又は画像６０５ａ〜６０５ｃ及びテキスト要約６１０ａ〜６１０ｃの表示を含み得る。ＵＩ６００はまた、生成されるアルバムのための設定コントロール６４０〜６５０を提供するためにユーザによって使用され得るアルバム生成設定領域６１５と、ユーザが追加のテキスト要約をタイプすることができるテキスト入力ウィンドウ６２０とを含み得る。
【００７５】
アルバム生成設定領域６１５内では、上下にクリック可能なアイコンを有するテキスト入力フィールドとして示された設定コントロール６４０を使用して、アルバムの生成に使用される表現の最小閾値を選択することができる。この閾値設定は、プロセス又はサブプロセスがいつ終了されるべきかを決定するために、上述のプロセス（例えば、プロセス１００，２００，５００及びサブプロセス３００，４００）において使用され得る。さらに、上下にクリック可能なアイコンを有するテキスト入力フィールドとして図示されている設定コントロール６４５を使用して、任意のキャプション又はテキスト要約に関連する表現の最大閾値を選択することができる。この閾値設定は、上述のプロセス（例えば、プロセス１００，２００，５００及びサブプロセス３００，４００）においてデータクラスタを形成するために使用されるコンテンツ表現のサブセットのサイズを規定し、又は生成を制限するために使用され得る。さらに、スライダバー制御として示された設定コントロール６５０を使用して、メディアアルバム内の異なるテキスト要約とペアになるように選択されたコンテンツメディア表現における多様性を規定することができる。例えば、スライダバーを使用して多種多様なコンテンツメディア表現を使用すべきであると規定する場合、システムは、異なるキャプションとのペアリングのために選択されたコンテンツメディア表現の類似性を比較し、生成されるアルバムの多様性を高めるために、より大きな相違点を有する代替コンテンツメディア表現を選択してもよい。逆に、スライダバーを使用して、多様性の小さいコンテンツメディア表現を使用すべきであると規定する場合、システムは、異なるキャプションとのペアリングのために選択されたコンテンツメディア表現の類似性を比較し、より高い類似性を有するコンテンツメディア表現を選択して、生成されるアルバムの多様性を低減することができる。
【００７６】
ＵＩ６００はまた、ユーザがアルバム生成プロセスを制御するために使用することができる１又は複数のボタン又はアイコン６２５〜６３５、６５５を含み得る。例えば、ボタン６２５を使用して、テキスト入力ウィンドウ６２０を介して編集するために事前に入力されたテキスト要約６１０ａ〜６１０ｃを再び開くことができる。逆に、ボタン６３０を使用して、テキスト入力ウィンドウ６２０に入力されたテキストをテキスト要約６１０ａ〜６１０ｃとして提出することができる。さらに、ボタン６５５を使用して、メディアアルバムを生成する際に使用するための追加のコンテンツメディア表現６０５ａ〜６０５ｃをアップロードすることができる。さらに、ユーザがＵＩ６００を使用して、全ての所望のコンテンツメディア表現６０５ａ〜６０５ｃ、テキスト要約６１０ａ〜６１０ｃを入力し、コントロール６４０〜６５０を使用してアルバム生成設定を調整すると、ボタン６３５を使用して、システムにメディアアルバムを生成させることができる。システムがメディアアルバムを生成すると、ＵＩ６００は、図７に示されるＵＩ７００に移行することができる。
【００７７】
ＵＩ７００は、ＵＩ６００に示されたものと同様のいくつかの特徴を含み、したがって、同様の参照番号が使用されており、重複する説明は省略されている。図示のように、ＵＩ７００は、テキスト要約コンテンツメディア表現ペアを表示するアルバム又はフォトブックプレビューウィンドウ７０５を含む。例えば、コンテンツメディア表現６０５ｃは、コンテンツメディア表現１として選択され、テキスト要約１として選択されたテキスト要約６１０ｂとペアリングされる。同様に、コンテンツメディア表現６０５ａがコンテンツメディア表現２として選択され、テキスト要約２として選択されたテキスト要約６１０ｃとペアリングされる。さらに、新しいテキスト要約６１０ｄ及び６１０ｅと新しいコンテンツメディア表現６０５ｄ及び６０５ｅがＵＩ７００に追加されている。
【００７８】
ＵＩ７００をユーザが使用して、ＵＩ６００に関して先に説明したアルバム生成設定領域６１５を使用してアルバム生成設定を修正するため、及び／又は異なるコンテンツメディア表現６０５ｂ、６０５ｄ、６０５ｅ若しくはテキスト要約６１０ａ、６１０ｄ、６１０ｅをアルバムプレビューウィンドウ７０５にドラッグすることによって、生成されたアルバムを修正することができる。ユーザがＵＩ７００を使用して生成されたアルバムを修正すると、ボタン７３５を使用して、ユーザが指定した変更に基づいてメディアアルバムを再生成することができる。
【００７９】
例示的なコンピューティング環境
【００８０】
図８は、いくつかの例示的実装形態における使用に適した例示的なコンピューティングデバイス８０５を有するコンピューティング環境８００の一例を示している。コンピューティング環境８００内のコンピューティングデバイス８０５は、１又は複数の処理ユニット、コア、又はプロセッサ８１０、メモリ８１５（例えば、ＲＡＭ、ＲＯＭなど）、内部ストレージ８２０（例えば、磁気、光学、ソリッドステートストレージ、及び／又は有機）、及び／又はＩ／Ｏインタフェース８２５を含むことができ、これらのうちの任意のものを、情報を通信するため、又はコンピューティングデバイス８０５に埋め込まれるために通信機構又はバス８３０上で接続することができる。
【００８１】
コンピューティングデバイス８０５を、入力／インタフェース８３５及び出力デバイス／インタフェース８４０に通信可能に接続することができる。入力／インタフェース８３５及び出力デバイス／インタフェース８４０の一方又は両方を、有線又は無線インタフェースとすることができ、取り外し可能とすることができる。入力／インタフェース８３５は、入力（例えば、ボタン、タッチスクリーンインタフェース、キーボード、ポインティング／カーソル制御、マイクロフォン、カメラ、点字、モーションセンサ、光学式リーダなど）を提供するために物理的又は仮想的に使用することができる任意のデバイス、コンポーネント、センサ、又はインタフェースを含んでもよい。
【００８２】
出力デバイス／インタフェース８４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含んでもよい。いくつかの例示的実装形態では、入力／インタフェース８３５（例えば、ユーザインタフェース）及び出力デバイス／インタフェース８４０を、コンピューティングデバイス８０５に埋め込むか、又は物理的に接続することができる。他の例示的実装形態では、他のコンピューティングデバイスは、コンピューティングデバイス８０５のための入力／インタフェース８３５及び出力デバイス／インタフェース８４０として機能するか又はその機能を提供してもよい。これらの要素は、ユーザがＡＲ環境と対話することを可能にするように、公知のＡＲハードウェア入力を含むことができるが、これに限定されない。
【００８３】
コンピューティングデバイス８０５の例は、高度モバイルデバイス（例えば、スマートフォン、車両及び他のマシンのデバイス、人間及び動物が携行するデバイスなど）、モバイルデバイス（例えば、タブレット、ノートパソコン、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど）、及び移動式に設計されていないデバイス（例えば、デスクトップコンピュータ、サーバデバイス、他のコンピュータ、情報キオスク、１又は複数のプロセッサが埋め込まれたテレビ、及び／又はそれに接続されたテレビ、ラジオなど）を含んでもよいが、これらに限定されるものではない。
【００８４】
コンピューティングデバイス８０５は、同じ構成又は異なる構成の１又は複数のコンピューティングデバイスを含む任意の数のネットワークコンポーネント、デバイス、及びシステムと通信するために、外部ストレージ８４５及びネットワーク８５０に（例えば、Ｉ／Ｏインタフェース８２５を介して）通信可能に接続され得る。コンピューティングデバイス８０５又は任意の接続されたコンピューティングデバイスは、サーバ、クライアント、シンサーバ、汎用マシン、専用マシン、又は別のラベルとして機能するか、これらのサービスを提供するか、又はこれらを指すことができる。
【００８５】
Ｉ／Ｏインタフェース８２５は、コンピューティング環境８００内の少なくともすべての接続されたコンポーネント、デバイス、及びネットワークに、及び／又はそれらから情報を通信するために、任意の通信又はＩ／Ｏプロトコル若しくは規格（例えば、イーサネット（登録商標）、８０２．１ｌｘｓ、ユニバーサルシステムバス、ＷｉＭＡＸ、モデム、セルラネットワークプロトコルなど）を使用した有線及び／又は無線インタフェースを含むことができるが、これらに限定されるものではない。ネットワーク８５０を、任意のネットワーク又はネットワークの組み合わせ（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラネットワーク、衛星ネットワークなど）とすることができる。
【００８６】
コンピューティングデバイス８０５は、一時的媒体及び非一時的媒体を含むコンピュータ使用可能媒体又はコンピュータ可読媒体を使用する、及び／又はこれを使用して通信することができる。一時的媒体には、伝送媒体（例えば、金属ケーブル、光ファイバ）、信号、搬送波などが含まれる。非一時的媒体には、磁気媒体（例えば、ディスク及びテープ）、光媒体（例えば、ＣＤ−ＲＯＭ、デジタルビデオディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク）、ソリッドステート媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステートストレージ）、及び他の不揮発性ストレージ又はメモリが含まれる。
【００８７】
コンピューティングデバイス８０５を、いくつかの例示的なコンピューティング環境において、技法、方法、アプリケーション、プロセス、又はコンピュータ実行可能命令を実装するために使用することができる。
コンピュータ実行可能命令は、一時的媒体から検索され、非一時的媒体に記憶され、そこから検索され得る。実行可能命令を、プログラミング、スクリプティング、及び機械語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ  Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）など）のうちの１又は複数から生成することができる。
【００８８】
１又は複数のプロセッサ８１０は、ネイティブ環境又は仮想環境において、任意のオペレーティングシステム（ＯＳ）（図示せず）下で実行することができる。１又は複数のアプリケーションには、論理ユニット８５５、アプリケーションプログラミングインタフェース（ＡＰＩ）ユニット８６０、入力ユニット８６５、出力ユニット８７０、ペアリングユニット８７５、特徴抽出ユニット８８０、ランク付けユニット８８５、ペア関連付けユニット８９０、及び異なるユニットが互いに、ＯＳ及び他のアプリケーション（図示せず）と通信するためのユニット間通信機構８９５が配備され得る。
【００８９】
例えば、ペアリングユニット８７５、特徴抽出ユニット８８０、ランク付けユニット８８５、及びペア関連付けユニット８９０は、図１〜図５に示す１又は複数の処理を実施することができる。説明されたユニット及び要素は、設計、機能、構成、又は実装において変更されることができ、提供される説明に限定されない。
【００９０】
いくつかの例示的実装形態では、情報又は実行命令がＡＰＩユニット８６０によって受信されると、それを１又は複数の他のユニット（例えば、論理ユニット８５５、入力ユニット８６５、ペアリングユニット８７５、特徴抽出ユニット８８０、ランク付けユニット８８５、ペア関連付けユニット８９０）と通信することができる。例えば、ペアリングユニット８７５は、各キャプション又はテキスト要約を、画像アルバム又はフォトブックのための検討中の画像又はコンテンツ表現のすべてとペアリングすることができ、すべてのペアを特徴抽出ユニット８８０に通信することができる。さらに、特徴抽出ユニット８８０は、各テキスト要約とコンテンツ表現のペアからコンテンツ特徴又は埋め込みを抽出し、抽出されたコンテンツ特徴又は埋め込みをランク付けユニット８８５に提供することができる。さらに、ランク付けユニット８８５は、各ペアにおけるテキスト要約の類似性をコンテンツ表現にスコア付けし、そのスコアに基づいてすべてのペアをランク付けすることができる。すべてのペアのランキングは、出力ユニット８７０を使用して出力され得る画像アルバム又はフォトブックの生成に使用するための個々のペアを選択する又は関連付けるペア関連付けユニット８９０に提供され得る。
【００９１】
いくつかの例では、論理ユニット８５５は、ユニット間の情報フローを制御し、上述のいくつかの例示的実装形態におけるＡＰＩユニット８６０、入力ユニット８６５、ペアリングユニット８７５、特徴抽出ユニット８８０、ランク付けユニット８８５、及びペア関連付けユニット８９０によって提供されるサービスを指示するように構成され得る。例えば、１又は複数のプロセス又は実装のフローは、論理ユニット８５５によって単独で、又はＡＰＩユニット８６０と連携して制御されてもよい。
【００９２】
いくつかの例示的実装形態が示され、説明されているが、これらの例示的実装形態は、本明細書に記載される主題をこの分野に精通した人々に伝えるために提供されている。本明細書に記載された主題は、記載された例示的実装形態に限定されることなく、様々な形態で実施されてもよいことを理解されたい。本明細書に記載された主題を、具体的に定義又は記載された事項や、記載されていない他の若しくは異なる要素又は事項なしに実施することができる。この分野に精通した者は、添付の特許請求の範囲及びその均等物で定義された本明細書に記載された主題から逸脱することなく、これらの例示的実装形態で変更を行うことができることを理解されよう。
【図１】
2019185738.tif 000003
【図２】
2019185738.tif 000004
【図３】
2019185738.tif 000005
【図４】
2019185738.tif 000006
【図５】
2019185738.tif 000007
【図６】
2019185738.tif 000008
【図７】
2019185738.tif 000009
【図８】
2019185738.tif 000010