(57)【要約】【課題】  メッセージ拡張システム及び方法を提供する。【解決手段】  メッセージング拡張システムは、テキスト、オーディオ、又はビデオメッセージをユーザから受信するメッセージ入力モジュールを含む。パーズモジュールが、メッセージを少なくとも１つのメッセージフラグメントにパーズし、照合モジュールが、メッセージフラグメントのそれぞれを記憶クリップのデータベースと比較して、一致するクリップを識別し、送出モジュールが、一致クリップをユーザに送出して、受信者に送信されているメッセージを拡張する。各記憶クリップは、オーディオ部分を含み、クリップデータベースは、クリップ毎に、オーディオメッセージのテキストキャプションを含むキャプションデータと、対応するファイルロケーションデータとを更に含む。好ましくは、システムは、メッセージ入力モジュールは、ユーザのクライアントデバイスに常駐し、照合モジュールはサーバに常駐するように、ネットワークを介して分散する。【選択図】      図１
2017138954.tif 000002
【特許請求の範囲】
【請求項１】
ユーザからメッセージを受信するように構成されるメッセージ入力モジュールと、
前記メッセージを少なくとも１つのメッセージフラグメントに分割するように構成されるパーズモジュールと、
前記少なくとも１つのメッセージフラグメントのそれぞれを記憶クリップのデータベースと比較して、前記少なくとも１つのメッセージフラグメントに一致するクリップを識別するように構成される照合モジュールと、
任意の一致するクリップを前記ユーザに送出して、前記メッセージを拡張するように構成される送出モジュールと
を含む、メッセージング拡張システム。
【請求項２】
前記メッセージはテキストメッセージであり、前記パーズモジュールは、前記メッセージを少なくとも１つのテキストメッセージフラグメントに分割するように構成される、請求項１に記載のメッセージング拡張システム。
【請求項３】
前記メッセージはオーディオメッセージを含み、前記パーズモジュールは、前記オーディオメッセージをテキストメッセージに変換する音声認識モジュールを含む、請求項１に記載のメッセージング拡張システム。
【請求項４】
各記憶クリップはオーディオメッセージを含み、前記クリップデータベースは、クリップ毎に、前記オーディオメッセージのテキストキャプションを含むキャプションデータと、対応するファイルロケーションデータとを更に含む、請求項１に記載のメッセージング拡張システム。
【請求項５】
前記ファイルロケーションデータは、タイムスタンプデータを含む、請求項４に記載のメッセージング拡張システム。
【請求項６】
前記クリップデータベースは、より大きなオーディオ又はビデオ作品からとられた任意のクリップについて、前記より大きなオーディオ又はビデオ作品を購入するためのオンラインストアへの今すぐ購入リンクを含み、前記送出モジュールは、前記今すぐ購入リンクを前記ユーザに送信するように更に構成される、請求項１に記載のメッセージング拡張システム。
【請求項７】
前記照合モジュールは、前記少なくとも１つの一致するメッセージフラグメントのうちの任意のメッセージフラグメントについて、一致する２つ以上のクリップを識別する場合、選択インターフェースを前記ユーザに提供するように更に構成され、それにより、前記ユーザは、前記送出モジュールにより送出される前記識別された一致するクリップのうちの１つを選択する、請求項１に記載のメッセージング拡張システム。
【請求項８】
前記ユーザのクリップを前記クリップデータベースにアップロードするように構成されるクリップアップロードモジュールを更に含み、各ユーザクリップは、前記ユーザクリップの前記オーディオのテキストキャプションを含む前記キャプションデータと、対応するファイルロケーションデータとを含む、請求項１に記載のメッセージング拡張システム。
【請求項９】
各ユーザに固有の設定モジュールを更に含み、前記クリップデータベースは、お気に入りのクリップアーティスト、より大きな作品、曲、映画、ショー、パフォーマーについてのユーザ嗜好又は各クリップ若しくはより大きな作品の人気度において選択的に更にフィルタリングされる、請求項１に記載のメッセージング拡張システム。
【請求項１０】
前記メッセージ入力モジュールは、キーボードアプリケーションに組み込まれる、請求項１に記載のメッセージング拡張システム。
【請求項１１】
無線ネットワークを更に含み、前記メッセージ入力モジュールは、前記ユーザのポータブル電子デバイスに常駐し、前記ネットワークと通信し、前記照合モジュールは、前記ネットワークと通信するサーバに常駐し、それにより、前記メッセージ又は前記少なくとも１つのメッセージフラグメントは、前記ポータブル電子デバイスから前記ネットワークを通して前記サーバに送信され、それにより、前記照合クリップは、前記サーバから前記ネットワークを通して前記ユーザのポータブル電子デバイスに送出される、請求項１に記載のメッセージング拡張システム。
【請求項１２】
ユーザのメッセージを拡張するプロセッサ実施方法であって、
ａ）メッセージング拡張システムを提供するステップであって、前記メッセージング拡張システムは、ユーザからメッセージを受信するように構成されるメッセージ入力モジュール、前記メッセージを少なくとも１つのメッセージフラグメントに分割するように構成されるパーズモジュール、前記少なくとも１つのメッセージフラグメントのそれぞれを記憶クリップのデータベースと比較して、前記少なくとも１つのメッセージフラグメントに一致するクリップを識別するように構成される照合モジュール、任意の一致クリップを前記ユーザに送出して、前記メッセージを拡張するように構成される送出モジュールを含む、提供するステップと、
ｂ）前記メッセージ入力モジュールが、前記メッセージを前記ユーザから受信するステップと、
ｃ）前記パーズモジュールが、前記メッセージを少なくとも１つのメッセージフラグメントに分割するステップと、
ｄ）前記照合モジュールが、前記少なくとも１つのメッセージフラグメントのそれぞれを記憶クリップのデータベースと比較して、前記少なくとも１つのメッセージフラグメントに一致するクリップを識別するステップと、
ｅ）前記送出モジュールが、任意の前記一致クリップを前記ユーザに送出して、前記メッセージを拡張するステップと
を含む、方法。
【請求項１３】
ａ２）オーディオメッセージをテキストメッセージに変換する音声認識モジュールを提供するステップと、
ｂ２）前記パーズモジュールが前記音声認識モジュールを利用して、前記メッセージの任意のオーディオ部分をテキストメッセージに変換するステップと
を更に含む、請求項１２に記載の方法。
【請求項１４】
ｂ３）前記照合モジュールが、前記少なくとも１つの一致するメッセージフラグメントのうちの任意のメッセージフラグメントに一致する２つ以上のクリップを識別する場合、選択インターフェースを前記ユーザに提供するステップと、
ｂ５）前記ユーザが、前記送出モジュールにより送出する前記識別された一致クリップのうちの１つを選択するのを待つステップと
を更に含む、請求項１２に記載の方法。
【請求項１５】
ｂ４）お気に入りのクリップアーティスト、より大きな作品、曲、映画、ショー、パフォーマーについてのユーザ嗜好又は各クリップ若しくはより大きな作品の人気度に基づいて、前記２つ以上の一致クリップをソートするステップを更に含む、請求項１４に記載の方法。
【請求項１６】
ａ３）無線ネットワークを提供するステップであって、前記メッセージ入力モジュールは、前記ユーザのポータブル電子デバイスに常駐し、前記ネットワークと通信し、前記照合モジュールは、前記ネットワークと通信するサーバに常駐する、無線ネットワークを提供するステップと、
ｂ６）前記メッセージ入力モジュールが、前記ネットワークを通して前記サーバに前記メッセージを送信するステップと、
ｅ２）前記送出モジュールが、任意の前記一致クリップを前記ネットワークを通して前記ユーザに送出するステップと
を更に含む、請求項１２に記載の方法。
【請求項１７】
１組の命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令は、少なくとも１つのプロセッサによって実行されると、前記プロセッサに、
ｂ）ユーザからメッセージを受信する動作と、
ｃ）前記メッセージを少なくとも１つのメッセージフラグメントにパーズする動作と、
ｄ）前記少なくとも１つのメッセージフラグメントのそれぞれを記憶クリップのデータベースと比較して、前記少なくとも１つのメッセージフラグメントに一致するクリップを識別する動作と、
ｅ）任意の前記一致クリップを前記ユーザに送出して、前記メッセージを拡張する動作と
を含む動作を実行させる、非一時的コンピュータ可読記憶媒体。
【請求項１８】
前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記プロセッサに、
ｂ２）音声認識を前記メッセージに対して実行して、前記メッセージの任意のオーディオ部分をテキストメッセージに変換する動作
を更に実行させる、請求項１７に記載の非一時的コンピュータ可読記憶媒体。
【請求項１９】
前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記プロセッサに、
ｄ３）前記少なくとも１つの一致するメッセージフラグメントのうちの任意のメッセージフラグメントに一致する２つ以上のクリップを識別する場合、選択インターフェースを前記ユーザに提供する動作と、
ｂ４）前記ユーザが、送出する前記識別された一致クリップのうちの１つを選択するのを待つ動作と
を含む動作を更に実行させる、請求項１７に記載の非一時的コンピュータ可読記憶媒体。
【請求項２０】
前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記プロセッサに、
ｄ１）お気に入りのクリップアーティスト、より大きな作品、曲、映画、ショー、パフォーマーについてのユーザ嗜好又は各クリップ若しくはより大きな作品の人気度に基づいて、前記２つ以上の一致クリップをソートする動作
を更に実行させる、請求項１９に記載の非一時的コンピュータ可読記憶媒体。
【請求項２１】
前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記プロセッサに、
ｂ３）前記メッセージを前記ネットワークを通してサーバに送信する動作と、
ｅ２）前記ネットワークを通して任意の前記一致クリップを前記ユーザに送出する動作と
を含む動作を更に実行させる、請求項１７に記載の非一時的コンピュータ可読記憶媒体。
【請求項２２】
前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記プロセッサに、
ｄ５）前記少なくとも１つのメッセージフラグメントのそれぞれを記憶クリップのデータベースと比較して、前記少なくとも１つのメッセージフラグメントに一致するクリップ及び予期されるクリップを識別する動作と、
ｄ６）前記少なくとも１つの一致するメッセージフラグメントのうちの任意のメッセージフラグメントに一致する２つ以上のクリップ及び予期されるクリップを識別する場合、選択インターフェースを前記ユーザに提供する動作と、
ｄ７）前記ユーザが、送出する前記識別された一致クリップ又は予期されるクリップのうちの１つを選択するのを待つ動作と
を含む動作を更に実行させる、請求項１７に記載の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子メッセージングに関し、より詳細には、人気のあるオーディオ又はビデオクリップを電子メッセージに追加する方法に関する。
【背景技術】
【０００２】
現在、メッセージをある人から別の人に送信する多種多様な方法があり、より一般的なものの幾つかは、電子メール、テキスト（ＳＭＳ）メッセージ、チャットセッションメッセージ、ソーシャルメディアメッセージ等である。通常、そのような大半のメッセージはテキストであるが、今日、Skype及び他のビデオベースのサービスを通して等、同様に利用可能な幾つかのビデオ及びオーディオメッセージング選択肢がある。
【０００３】
人気のある文化要素としては、曲、アーティスト、映画、インターネットビデオ等が挙げられる。多くの場合、ある人から別の人に送信されるメッセージの部分は、これらの人気のある文化要素の幾つかに一致する言葉又は語句を含む。例えば、テキストメッセージが、「hello（こんにちは）」という言葉で始まる場合、タイトルが「hello」であるか、又は曲内に「hello」という言葉を含む、人気のあるアーティストにより歌われるかなり多数の曲がある。したがって、その言葉を歌う人気のあるアーティスト又はメッセージフラグメントでそのようなテキストメッセージを拡張することが可能である。現在、市場にはこれを達成するものはない。
【発明の概要】
【０００４】
したがって、ユーザが、人気のある文化要素でメッセージ又はメッセージの部分を拡張できるようにするシステムが必要とされる。そのような必要とされる発明では、２つ以上の一致がある場合、ユーザは１つの一致するオーディオクリップを選択することができ、ユーザがメッセージをタイプ又は記録しているとき、クリップデータベースのリアルタイム検索が可能である。そのような必要とされるシステムは、広域ネットワークに分散することができるか、又は個人のスマートフォン若しくは他の電子デバイス内に常駐することができる。本発明はこれらの目的を達成する。
【０００５】
本デバイスは、ユーザにより生成される、テキストメッセージ、オーディオメッセージ、又はオーディオを含むビデオメッセージ等のメッセージを拡張するメッセージング拡張システムである。メッセージは、チャットアプリケーションを通して送信されるテキストメッセージ、電子メールメッセージングシステムを通して送信される電子メールメッセージ、ＳＭＳテキストメッセージングシステムを通して送信されるテキストメッセージ等であり得る。
【０００６】
本システムは、ユーザからメッセージを受信するように構成されるメッセージ入力モジュールを含む。パーズモジュールが、メッセージを少なくとも１つのメッセージフラグメントに分割又はパーズ（parse）するように構成される。メッセージがオーディオ又はビデオである場合、音声認識モジュールが含まれ、オーディオメッセージ又はビデオメッセージのオーディオ部分がテキストトランスクリプトに変換され得、次に、テキストトランスクリプトは、テキストメッセージとして送信される。各メッセージフラグメントは、１つ、２つ、又は３つ以上等の任意の数の単語であり得る。
【０００７】
照合モジュールが、各メッセージフラグメントを記憶クリップのデータベースと比較して、各メッセージフラグメントに一致するクリップを識別するように構成され、送出モジュールが、任意の一致クリップをユーザに送出して、メッセージを拡張するように構成される。各記憶クリップはオーディオ部分を含み、クリップデータベースは、クリップ毎に、オーディオメッセージのテキストキャプションを含むキャプションデータと、対応するファイルロケーションとを更に含む。２つ以上のオーディオクリップがメッセージフラグメントに一致する場合、照合モジュールは、選択インターフェースをユーザに提供するように更に構成され、ユーザは、識別された一致クリップのうち、送出モジュールにより送出する１つを選択する。
【０００８】
ユーザは、一般的な人気度順でソートされた、選択インターフェースに表示される複数の一致クリップ、又はユーザが選択したお気に入りのアーティストによる複数の一致クリップ、又はユーザが前にアップロードしたクリップによる複数の一致クリップを有することを選択し得る。本発明のそのような実施形態では、クリップアップロードモジュールが更に含まれ、ユーザのクリップをクリップデータベースにアップロードする。各ユーザクリップは、データベース内の他のクリップと同様に、ユーザクリップのオーディオのテキストキャプションを含むキャプションデータと、対応するファイルロケーションデータとを含む。各ユーザには、ユーザから発せられたユーザクリップのみへのアクセスが提供され、好ましくは、任意の他のユーザのユーザアップロードクリップへのアクセスは提供されない。
【０００９】
好ましくは、設定モジュールは各ユーザに固有であり、クリップデータベースは、お気に入りのクリップアーティスト、より大きな作品、曲若しくはトラック、映画、ショー、パフォーマー、又は各クリップ若しくはより大きな作品の人気度等のユーザの嗜好において選択的に更にフィルタリングし得る。したがって、例えば、特定のメッセージに関して返された全てのクリップは、所望の場合、同じアーティストのものであり得る。
【００１０】
好ましくは、本システムは、インターネット、携帯電話網等のネットワークにわたり分散する。したがって、メッセージ入力モジュールは、ポータブル又はデスクトップコンピュータ、スマートフォン等のユーザのクライアントデバイスのメモリモジュールに常駐し得る。クライアントデバイスは、無線で又は有線ネットワーク接続を通してネットワークと通信する。
【００１１】
照合モジュールは、そのような実施形態では、ネットワークと通信するサーバに常駐し、パーズモジュールは、ネットワークの空き帯域幅及びクライアントデバイスの計算能力に応じて、クライアントデバイス又はサーバに常駐し得る。メッセージ又はメッセージフラグメントは、ネットワークを通してクライアントデバイスからサーバに送信される。データベース内のクリップに一致すると、一致クリップは、サーバからネットワークを通してクライアントデバイスに返される。
【００１２】
使用に当たり、ユーザは、クライアントデバイスにおいてメッセージング拡張システムを開始し、メッセージ入力モジュールを用いて、遠隔ユーザに送信されるメッセージを入力、発話、又は記録する。メッセージ入力モジュールは、クライアントデバイス上で実行中の別のチャット、ビデオ会議、電話、又は他のアプリケーション内に組み込み得る。代替的には、入力モジュールは、ウェブサイトアプリケーションからのＡＰＩルーチン等と呼ばれ得る。
【００１３】
各メッセージフラグメントは、照合のためにクリップのデータベースと比較され、２つ以上のクリップが任意の特定のメッセージフラグメントに一致する場合、ユーザには、ユーザがどのクリップの使用を好むかを選ぶ選択インターフェースが提供される。全てのクリップが一致し、選択されると、送出モジュールは、各クリップをユーザ及びユーザのクライアントデバイスに送出する。次に、１つ又は複数のクリップは、メッセージと共に受信者に送信し得、クリップは、受信時若しくは閲覧時に即座に再生されるか、又は選択されたときに、各クリップを受信者の電子デバイスで再生し、任意選択的に、メッセージ全体を表示するリンクとして提示される。
【００１４】
ユーザの嗜好に基づいて返される各クリップは、同じアーティスト又は特に異なるアーティスト、若しくは同じジャンル若しくはスタイルの音楽を共有するアーティストからのものであり得る。ユーザは、メッセージ内の各メッセージフラグメントが少なくとも１つのクリップに一致する場合、クリップによって表されるメッセージ全体を有するという選択肢を有するか、又はユーザは、クリップを用いて表される特定のメッセージのフラグメントのみを有することができる。一実施形態では、複数の堂々巡りのメッセージを含む会話全体をパーズし、サーバにアップロードし得、その結果生成される、送出されるクリップは、複数のクリップのマッシュアップとして会話全体を表す。
【００１５】
本発明は、ユーザが人気のある文化要素でメッセージ又はメッセージの部分を拡張できるようにするシステムである。本システムでは、ユーザは、２つ以上の一致がある場合、１つの一致するオーディオクリップを選択することができ、ユーザがメッセージをタイプしているか、又は他の方法で準備しているとき、クリップデータベースをリアルタイム検索することができる。本発明は、広域ネットワークに分散することもでき、又は人のスマートフォン若しくは他の電子デバイス内に常駐することができる。本発明の他の特徴及び利点は、添付図面と併せて解釈される以下のより詳細な説明から明らかになり、添付図面は、本発明の原理を例として示す。
【図面の簡単な説明】
【００１６】
【図１】１つの電子処理デバイスにおいて実施される本発明の図である。
【図２】特定の機能がクライアント電子デバイスとサーバとの間のネットワークを介して分散して実施される本発明の図である。
【図３】クライアントデバイスのサンプル表示画面である。
【図４】クライアントデバイスの代替のサンプル表示画面である。
【図５】本発明の複数のデータベース記録のサンプルである。
【図６】一致クリップの選択インターフェースを示す、クライアントデバイスの代替のサンプル表示画面である。
【発明を実施するための形態】
【００１７】
好ましい実施形態の詳細な説明
本発明の例示的な実施形態について以下に説明する。以下の説明は、これらの実施形態を完全に理解するため、及びこれらの実施形態を説明できるように、特定の詳細を提供する。そのような詳細なしで本発明が実施可能なことを当業者は理解する。他の場合、周知の構造及び機能については、実施形態の説明を不必要に曖昧にしないように、詳細に示さず、又は詳細に説明しなかった。
【００１８】
文脈により明らかに別段のことが要求される場合を除き、説明及び特許請求の範囲全体を通して、「含む」、「含んでいる」等の用語は、排他的又は網羅的な意味とは対照的に、包含の意味で解釈されるべきであり、すなわち、「〜を含むが、これ（ら）に限定されない」という意味で解釈されるべきである。単数形又は複数形を使用する用語はそれぞれ、複数及び単数も包含する。さらに、「本明細書では」、「上記」、「下記」という用語及び同様の意味の用語は、本願で使用される場合、本願のいかなる特定の部分でもなく、本願を全体として指すものとする。請求項において、２つ以上の項目のリストを参照して「又は」という用語が使用される場合、その用語は、用語の以下の解釈の全てを包含する：リスト内の項目のいずれか、リスト内の全ての項目、及びリスト内の項目の任意の組合せ。「各」という用語が、数の上で少なくとも１つとして先に紹介された要素を指すために使用される場合、「各」という用語は必ずしも、その要素が複数であることを暗示するわけではなく、単数の要素を意味することもできる。
【００１９】
図１及び図３〜図５は、テキストメッセージ１６、オーディオメッセージ１７、又はオーディを含むビデオメッセージ１８等の、ユーザ１３によって生成されるメッセージ１５を拡張するメッセージング拡張システム１０を示す。メッセージ１５は、チャットアプリケーションを通して送信されるテキストメッセージ１６、電子メールメッセージングシステムを通して送信される電子メールメッセージ、ＳＭＳテキストメッセージングシステムを通して送信されるテキストメッセージ等であり得る。
【００２０】
システム１０は、ユーザ１３からメッセージ１５を受信するように構成されるメッセージ入力モジュール２０を含む。そのようなメッセージ入力モジュール２０は、キーボードアプリケーション１６０、チャットアプリケーション、ビデオメッセージング又はビデオコールアプリケーション若しくはウェブサイト、又は電子メールアプリケーション等内に含まれ得る。したがって、テキストメッセージ１６は、．ＴＸＴ、ＳＭＳ、又は同様のテキストベースのフォーマット等の任意の有用なテキストフォーマットで具現し得る。同様に、オーディオメッセージ１７は、．ｍｐ３、．ｗａｖ、又は．ｗｍｐ等の任意のオーディオフォーマット内で具現し得る。ビデオメッセージ１８の場合、ビデオメッセージ１８のオーディオ部分は、．ｍｐ４、．ｍｏｖ、又は同様のビデオフォーマット内で具現し得る。
【００２１】
パーズモジュール３０は、メッセージ１５を少なくとも１つのメッセージフラグメント１００に分割又はパーズ（parse）するように構成される。メッセージ１５がオーディオメッセージ１７又はビデオメッセージ１８である場合、音声認識モジュール６０が含まれ、オーディオメッセージ１７又はビデオメッセージ１８のオーディオ部分がテキストトランスクリプトに変換され得、テキストトランスクリプトは次に、テキストメッセージ１６として使用され、パーズされる。各メッセージフラグメント１００は、１つ、２つ、３つ、又は４つ以上等の任意の数の単語であり得る。代替的には、各メッセージフラグメント１００は、１つの語句又は文章全体であり得る。設定モジュール８０がシステム１０に含まれ、設定モジュール８０は、各メッセージフラグメント１００がどれくらい長いか又はメッセージフラグメント１００が文法規則等に基づいて決定されるべきであるかを制御する。
【００２２】
照合モジュール４０は、各メッセージフラグメント１００を記憶クリップ１２０のデータベース１１０と比較して、各メッセージフラグメント１００に一致するクリップ１２０を識別するように構成され、送出モジュール５０は、任意の一致クリップ１２０をユーザ１３に送出して、メッセージ１５を拡張するように構成される。各記憶クリップ１２０は、オーディオ部分を含み、クリップデータベース１１０は、クリップ１２０毎に、オーディオメッセージのテキストキャプション１２４を含むキャプションデータ１２２と、対応するファイルロケーションデータ１２６とを更に含む。
【００２３】
例えば、オーディオクリップが、人気のあるより大きなオーディオ又はビデオ作品１９からとられた「hello」という言葉のものである場合、テキストキャプション１２４は、「hello」という言葉のみであり、ファイルロケーションデータ１２６は、より大きな作品１９内のその単語の開始点及び停止点である。そのようなファイルロケーションデータ１２６は、タイムスタンプデータ１２８、フレーム番号（図示せず）、又はより大きなオーディオ若しくはビデオ作品１９を含むオーディオ若しくはビデオファイル内のクリップ１２０の開始点及び停止点を識別する他の手段に基づき得る。今すぐ購入リンク１３０を含めることもでき、ユーザ１３又はユーザのメッセージ受信者がより大きな作品１９を購入する機会を提供する。
【００２４】
メッセージフラグメント１００が、データベース１１０内に厳密な一致を有さず、クリップ１２０の部分に一致する場合、音声認識を利用して、メッセージフラグメント１００を含むクリップ１２０の部分を分離し得る。これは、オーディオ認識、ワードカウント、音節カウント、又は視覚的にマッピングされた歌詞の音波及びキャプション１２４にマッピングされた音声でのスパイクの画像認識を通して達成して、メッセージフラグメント１００の開始時間及び停止時間を特定することができる。
【００２５】
２つ以上のオーディオクリップ１２０がメッセージフラグメント１００に一致する場合、照合モジュール４０は、選択インターフェース１４０（図４）をユーザ１３に提供するように更に構成され、選択インターフェース１４０において、ユーザ１３は、クライアントデバイス１２のディスプレイ１８３に触れることによる等、識別された一致クリップ１２０のうち、送出モジュール５０により送出する１つを選択する。例えば、「hello」という言葉は、同じ曲又はより大きな作品内で数回使用され得るが、異なる強調又はスタイルで有声音化され得る。同様に、多くの曲は、「hello」という用語を含み得、したがって、設定モジュール８０内に記憶されるソート嗜好に基づき、「hello」という言葉の各一致クリップ１２０は、選択インターフェース１４０において別様にソートされる。例えば、ユーザ１３は、ラップ音楽スタイルを好まない場合、嗜好１５０のリスト中のそのスタイルを選択解除し得、それにより、望ましくないスタイル又はアーティストに一致するクリップ１２０は、選択肢として提示されない。
【００２６】
ユーザ１３は、一般的な人気度順でソートされた、選択インターフェース１４０に表示される複数の一致クリップ１２０、又はユーザが選択したお気に入りのアーティスト１３２による複数の一致クリップ１２０、又はユーザが前にアップロードしたクリップ１２０を有することを選択し得る。本発明のそのような実施形態では、クリップアップロードモジュール７０が更に含まれ、ユーザ１３のクリップ１２０をクリップデータベース１１０にアップロードする。各ユーザクリップ１２０は、データベース１１０内の他のクリップ１２０と同様に、ユーザクリップ１２０のオーディオのテキストキャプション１２４を含むキャプションデータ１２２と、対応するファイルロケーションデータ１２６とを含む。各ユーザ１３は、自分がアップロードしたユーザクリップ１２０のみにアクセスすることができ、好ましくは、他のユーザ１３のユーザクリップ１２０にアクセスすることはできない。設定モジュール８０は各ユーザ１３に固有であり、クリップデータベース１１０は、お気に入りのクリップアーティスト１３２、より大きな作品１９、曲若しくはトラック１３３、映画、ショー、パフォーマー、又は各クリップ１２０若しくはより大きな作品１９の人気度１３４等のユーザの嗜好１５０で選択的に更にフィルタリングし得る。
【００２７】
好ましくは、システム１０は、インターネット又は携帯電話網等のネットワーク１７０（図２）に分散する。したがって、メッセージ入力モジュール２０は、ポータブル若しくはデスクトップコンピュータ又はスマートフォン等のユーザ１３のクライアントデバイス１２に常駐し得、クライアントデバイス１２は、少なくとも１つのプロセッサ１８２と、システム１０及びそのモジュールを実施する１組の命令１８５を記憶する非一時的コンピュータ可読記憶媒体１８１と、ディスプレイ１８３と、好ましくはカメラ１８４及びマイクロホン１８５の両方とを含む。
【００２８】
クライアントデバイス１２は、無線又は有線ネットワーク接続により、ネットワーク１７０と通信する。そのような実施形態では、照合モジュール４０は、ネットワーク１７０と通信するサーバ１８０に常駐し、パーズモジュール３０は、ネットワーク１７０の空き帯域幅及びクライアントデバイス１２の計算能力に応じて、クライアントデバイス１２又はサーバ１８０に常駐し得る。メッセージ１５又はメッセージフラグメント１００は、ネットワーク１７０を通してクライアントデバイス１２からサーバ１８０に送信される。データベース内のクリップ１２０に一致すると、一致クリップ１２０は、サーバ１８０からネットワーク１７０を通してクライアントデバイス１２に返される。そのようなサーバ１８０は、好ましくは、少なくとも１つのプロセッサ１８２と、システム１０及びそのモジュールを可能にする１組の命令１８５を保持する、ＲＡＭ又はＲＯＭ等の非一時的コンピュータ可読記憶媒体１８１とを含む。
【００２９】
使用に当たり、ユーザ１３は、クライアントデバイス１２においてメッセージング拡張システム１０を開始し、メッセージ入力モジュール２０を用いて、遠隔ユーザ（図示せず）に送信されるメッセージ１５を入力、発話、又は記録する。メッセージ入力モジュール２０は、クライアントデバイス１２上で実行中の別のチャット、ビデオ会議、電話、又は他のアプリケーション内に組み込み得る。代替的には、入力モジュール２０は、ウェブサイトアプリケーションからのＡＰＩルーチン等と呼ばれ得る。
【００３０】
好ましくは、メッセージ１５は次に、ネットワーク１７０を通してサーバ１８０に送信され、サーバ１８０において、パーズモジュール３０はメッセージを少なくとも１つのメッセージフラグメント１００に分割する。代替的には、パーズモジュール３０はクライアントデバイス１２に常駐し、各メッセージフラグメント１００は、ネットワーク１７０を通してサーバ１８０及び照合モジュール４０に送信される。メッセージ１５がオーディオ又はビデオフォーマットである場合、オーディオ部分は、クライアントデバイス１２又はサーバ１８０に常駐する音声認識モジュール６０を用いてテキストメッセージ１６に変換され、そのようなテキストメッセージ１６は、少なくとも１つのメッセージフラグメントにパーズされ、照合モジュール４０に送信される。
【００３１】
各メッセージフラグメント１００は、照合のためにクリップ１２０のデータベース１１０と比較され、２つ以上のクリップが任意の特定のメッセージフラグメント１００に一致する場合、ユーザ１３には、ユーザがどのクリップ１２０の使用を好むかを選ぶ選択インターフェース１４０が提供される。全てのクリップ１２０が一致し、選択されると、送出モジュール５０は、各クリップ１２０をユーザ１３及びユーザのクライアントデバイス１２に送出する。随時、ユーザ１３は、好ましくは、返された各クリップ１２０を再生して、適切性を確認し、望ましくない任意のクリップ１２０を拒絶する選択肢を有する。次に、最終組の選ばれたクリップ１２０は、メッセージ１５と共に受信者に送信され、クリップ１２０は、受信時又は閲覧時に即座に再生されるか、又は選択されたときに、各クリップ１２０を受信者の電子デバイス（図示せず）で再生し、任意選択的に、元のメッセージ１５全体を表示若しくは再生するリンクとして提示される。
【００３２】
ユーザの嗜好１５０に基づいて、返される各クリップ１２０は、同じアーティスト１３２又は特に異なるアーティスト１３２、若しくは同じジャンル若しくはスタイルの音楽（例えば、ラップ又はカントリー）を共有するアーティスト１３２からのものであり得る。ユーザ１３は、メッセージ１５内の各メッセージフラグメント１００が少なくとも１つのクリップ１２０に一致する場合、クリップ１２０によって表されるメッセージ１５全体を有するという選択肢を有するか、又はユーザは、クリップ１２０を用いて表される特定のメッセージのフラグメント１００のみを有することができる。一実施形態では、複数の堂々巡りのメッセージ１５を含む会話全体をパーズし、サーバ１８０にアップロードし得、その結果生成される、送出されるクリップ１２０は、複数のクリップ１２０のマッシュアップとして会話全体を表す。そのような会話の片側は、あるアーティストからのクリップ１２０を含み得、一方、会話の他方の側は、所望であれば、全体的に別のアーティストからのクリップ１２０を含み得る。例えば、ユーザ１３からの会話の片側は全体的に、ロックバンドＵ２のボノが歌うことがあり、一方、受信者からの会話の他方の側は、アーティスト・ビヨンセが歌うことがある。
【００３３】
好ましくは、ユーザがメッセージ１５をタイプするか、又は他の方法で生成しているとき、パーズモジュール３０が機能して、メッセージ１５の適するメッセージフラグメント１００を特定し、これらのメッセージフラグメント１００を照合モジュール４０に送信している。照合モジュール４０は迅速に、受信したメッセージフラグメント１００を比較し、適する一致クリップ１２０を返しており、それにより、ユーザ１３の経験は、ユーザが１３がメッセージ１５をタイプ（図３及び図４）又は発話する際、一致するクリップ１２０のサジェスションが基本的にリアルタイムで表示されるようなものである。オートコンプリート機能（図６）を有する一実施形態では、メッセージ１５に一致する最も人気のあるクリップ１２０が、完全なメッセージ１５であり得るものを自動的に完了するように選択し得る予期されるクリップ１２９と共に表示される。好ましくは、これらの予期されるクリップ１２９は、人気度により選択インターフェース１４０でソートされる。
【００３４】
本発明の特定の形態を示し説明したが、本発明の趣旨及び範囲から逸脱せずに、様々な変更を行い得ることが明らかである。例えば、クリップ１２０は、少なくともオーディオ部分を有するものとして上記開示されたが、純粋にビデオ又は静止画等であってもよい。したがって、添付の特許請求の範囲による以外、本発明の限定は意図されない。
【００３５】
本発明の特定の特徴又は態様を記述する際に使用された特定の用語は、その用語が本明細書において、用語が関連付けられた本発明の任意の特定の特徴、特性、又は態様に制限されるように再定義されていることを暗示するものとして解釈されるべきではない。一般に、以下の特許請求の範囲において使用される用語は、上記の詳細な説明セクションが明示的にそのような用語を定義しない限り、本明細書で開示される特定の実施形態に本発明を限定するように解釈されるべきではない。したがって、本発明の実際の範囲は、開示される実施形態のみならず、本発明の実施又は実行する全ての均等な方法も包含する。
【００３６】
本発明の実施形態の上記詳細な説明は、網羅的であること、又は本発明を上記開示される厳密な形態又は本開示において述べられた特定の使用分野に限定することは意図されない。本発明の特定の実施形態及び例が、例示のために上述されたが、関連分野の当業者が認識するように、様々な均等な変更が本発明の範囲内で可能である。また、本明細書に提供される本発明の教示は、必ずしも上述されたシステムではなく、他のシステムにも適用することができる。上述した様々な実施形態の要素及び動作を結合して、更なる実施形態を提供することができる。
【００３７】
添付の出願用紙に列挙し得る任意を含む、上記特許、出願、及び他の引用文献は全て、参照により本明細書に援用される。本発明の態様は、必要であれば、上記開示される様々な参照のシステム、機能、及び概念を利用するように変更されて、本発明の更なる実施形態を提供することができる。
【００３８】
上記「詳細な説明」に照らして、本発明に変更を行うことができる。上記説明は、本発明の特定の実施形態を詳述し、意図される最良の形態を説明するが、上記でテキストでいかに詳細に見えようと、本発明は多くて方法で実施することができる。したがって、実施の詳細は、本明細書に開示される本発明によりなお包含されながら、かなり変更することが可能である。上述したように、本発明の特定の特徴又は態様を説明する場合に使用される特定の用語は、その用語が関連付けられた本発明のいかなる特定の特徴、特性、又は態様に限定されるようにその用語が本明細書において再定義されていることを暗示するものとして解釈されるべきではない。
【００３９】
本発明の特定の態様は、特定のクレーム形式で以下に提示されるが、本発明者は、任意の数のクレーム形式での本発明の様々な態様を意図する。したがって、本発明者は、本願を出願した後、追加のクレームを追加して、本発明の他の態様に対するそのような追加のクレーム形式を追求する権利を保有する。
【符号の説明】
【００４０】
１０  メッセージング拡張システム
１２  クライアントデバイス
１３  ユーザ
１５  メッセージ
１６  テキストメッセージ
１７  オーディオメッセージ
１８  ビデオメッセージ
１９  より大きな作品
２０  メッセージ入力モジュール
３０  パーズモジュール
４０  照合モジュール
５０  送出モジュール
６０  音声認識モジュール
７０  クリップアップロードモジュール
８０  設定モジュール
１００  メッセージフラグメント
１１０  データベース
１２０  クリップ
１２２  キャプションデータ
１２４  テキストキャプション
１２６  ファイルロケーションデータ
１２８  タイムスタンプデータ
１２９  予期されるクリップ
１３０  今すぐ購入リンク
１３２  アーティスト
１３４  人気度
１５０  ユーザの嗜好
１６０  キーボードアプリケーション
１７０  ネットワーク
１８１  非一時的コンピュータ可読記憶媒体
１８２  プロセッサ
１８３  ディスプレイ
１８４  カメラ
１８５  命令、マイクロホン
【図１】
2017138954.tif 000003
【図２】
2017138954.tif 000004
【図３】
2017138954.tif 000005
【図４】
2017138954.tif 000006
【図５】
2017138954.tif 000007
【図６】
2017138954.tif 000008
【外国語明細書】
2017138954000001.pdf