(57)【要約】【課題】ＯＳや端末に依存しないで音声や画像等の入力情報を、文字情報に変換して利用できるようにした通信システムを提供する。【解決手段】コンテンツ配信装置２０は、コンテンツサーバ１０からＷｅｂコンテンツを取得し、Ｗｅｂコンテンツに含まれるスクリプトに応じた処理を実行して、Ｗｅｂページの要素を複数のクライアント端末に配信する。クライアント端末４０ａは、コンテンツ配信装置２０から受信したスクリプトに基づいて入力された入力情報を取得し、クライアント端末４０ａを識別する識別情報と入力情報とを認識サーバ３０に送信する。認識サーバ３０は、入力情報を文字情報に変換し、文字情報と識別情報をコンテンツ配信装置２０に送信する。コンテンツ配信装置２０は、受信した文字情報と上記識別情報とに基づいてＷｅｂコンテンツを進行させ、進行させたＷｅｂページの要素を複数のクライアント端末４０ａ，４０ｂに配信する。【選択図】図１
2015210721.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して接続されるコンテンツ配信装置と複数のクライアント端末と認識サーバとを有する通信システムのデータ送受信方法であって、
上記コンテンツ配信装置は、
コンテンツサーバからＷｅｂコンテンツを取得するコンテンツ取得ステップと、
上記Ｗｅｂコンテンツに含まれるスクリプト及び受信した文字情報と識別情報とに応じた処理を実行するコンテンツ実行ステップと、
上記Ｗｅｂコンテンツの処理の進行に伴うＷｅｂページの要素、又は、上記識別情報と上記文字情報とに基づいて進行させたＷｅｂページの要素、を上記複数のクライアント端末に配信する分散コンテンツ配信ステップと、を行い、
上記複数のクライアント端末の一つであるクライアント端末は、
上記コンテンツ配信装置から受信したスクリプトに基づいて入力された入力情報を取得する入力情報取得ステップと、
上記入力情報と上記クライアント端末を識別する上記識別情報とを上記認識サーバに送信する入力情報送信ステップと、を行い、
上記認識サーバは、
上記入力情報と上記識別情報とを受信する入力情報受信ステップと、
上記入力情報を文字情報に変換する文字情報変換ステップと、
当該文字情報と上記識別情報とをコンテンツ配信装置に送信する文字情報送信ステップと、を行う、
ことを特徴とする通信システムのデータ送受信方法。
【請求項２】
ネットワークを介して接続されるとコンテンツ配信装置と複数のクライアント端末と認識サーバとを有する通信システムであって、
上記コンテンツ配信装置は、
コンテンツサーバからＷｅｂコンテンツを取得するコンテンツ取得部と、
上記Ｗｅｂコンテンツに含まれるスクリプト及び受信した文字情報と識別情報とに応じた処理を実行するコンテンツ実行部と、
上記Ｗｅｂコンテンツの処理の進行に伴うＷｅｂページの要素、又は、上記識別情報と上記文字情報とに基づいて進行させたＷｅｂページの要素、を上記複数のクライアント端末に配信する分散コンテンツ配信部と、を具備し、
上記複数のクライアント端末の一つであるクライアント端末は、
上記コンテンツ配信装置から受信したスクリプトに基づいて入力された入力情報を取得する入力情報取得部と、
上記入力情報と上記クライアント端末を識別する上記識別情報とを上記認識サーバに送信する入力情報送信部と、を具備し、
上記認識サーバは、
上記入力情報と上記識別情報とを受信する入力情報受信部と、
上記入力情報を文字情報に変換する文字情報変換部と、
当該文字情報と上記識別情報とをコンテンツ配信装置に送信する文字情報送信部と、を具備する、
ことを特徴とする通信システム。
【請求項３】
請求項１に記載したデータ送受信方法を、コンピュータに実行させるためのデータ送受信プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１つのブラウザで動作するWebアプリケーションを、複数のブラウザに分割配信する通信システムと、データ送受信方法とデータ送受信プログラムに関する。
【背景技術】
【０００２】
スマートフォンやタブレットＰＣの他、ＴＶやカーナビなど、ネットワークにつながるディスプレイ端末の普及が進むにつれ、各端末間をＷｅｂの技術で連携させる仕組みが登場している。WebSocketプロトコルなど、サーバプッシュの仕様をサポートするようになり、１つのＷｅｂサーバに接続する複数端末のブラウザ間を連携させて利用するＷｅｂコンテンツが作成できるようになり、端末の特性やＯＳ(Operating System)に依存しない、Ｗｅｂブラウザ上で動作するマルチデバイスアプリケーションが登場している。
【０００３】
しかし、アプリケーション開発者にとっては、各デバイス毎にＨＴＭＬデータやJavaScript（登録商標）データを製作するだけでなく、各ブラウザ間の通信部分を記述したサーバサイドのプログラムも構築する必要があるため、アプリケーション製作コストがかかるという問題がある。
【０００４】
これに対し、Ｗｅｂベースでのマルチデバイスアプリケーションをアプリケーション開発者が容易に構築できる仕組みが提案されている。例えば、非特許文献１では、中間サーバがＨＴＭＬで記述された１つのＷｅｂコンテンツをＤＯＭ(Document Object Model)要素毎に分割し、JavaScript（登録商標）の実行を中間サーバ上で行いながら中間サーバにアクセスしている各デバイスへ各ＤＯＭ要素の表示を配信し、複数デバイス間で同期を保ちながら動作するアプリケーションフレームワークが開示されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】徳永徹郎ほか、「Ｗｅｂアプリケーションへのマルチデバイス連携フレームワークの適用と評価」日本電信電話株式会社、ＮＴＴサービスエボリューション研究所、第12回情報科学技術フォーラム(FIT2013),M-030,2013.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、Ｗｅｂコンテンツに基づくマルチデバイスアプリケーションの中で、音声や画像といったテキストデータでは無い情報を、ユーザの利用したい端末から自由に入力してテキストデータに変換し、音声や画像を入力した端末とは別の端末で変換したテキストデータを利用したい場合がある。例えば、ＶＯＤ（Video On Demand）サービスのビデオコンテンツのタイトルを、リモコンであるスマートフォンから音声で入力し、視聴するＴＶでその音声入力に基づく文字情報によってタイトルを選択するような場合が考えられる。
【０００７】
このような場合、従来のＷｅｂアプリケーションでは、リモコンであるスマートフォンにＷｅｂコンテンツとは別に音声入力を認識処理するための専用のアプリケーションを予め用意（インストール）しておく必要がある。具体的には、音声認識機能や光学文字認識機能を搭載したＩＭＥ（Input Method Editor）が必要である。したがって、ＯＳや端末の性能によっては、サービスを利用できない課題がある。
【０００８】
この発明は、このような課題に鑑みてなされたものであり、ＯＳや端末に依存しないで音声や画像を文字情報に変換して利用できるようにした通信システムと、データ送受信方法とデータ送受信プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の通信システムは、ネットワークを介して接続されるコンテンツ配信装置と複数のクライアント端末と認識サーバとを有する通信システムであって、コンテンツ配信装置は、コンテンツ取得部とコンテンツ実行部と分散コンテンツ配信部とを具備する。コンテンツ取得部は、コンテンツサーバからＷｅｂコンテンツを取得する。コンテンツ実行部は、Ｗｅｂコンテンツに含まれるスクリプト及び受信した文字情報と識別情報とに応じた処理を実行する。分散コンテンツ配信部は、Ｗｅｂコンテンツの処理の進行に伴うＷｅｂページの要素、又は、識別情報と文字情報とに基づいて進行させたＷｅｂページの要素、を複数のクライアント端末に配信する。複数のクライアント端末の一つであるクライアント端末は、入力情報取得部と入力情報送信部とを具備する。入力情報取得部は、コンテンツ配信装置から受信したスクリプトに基づいて入力された入力情報を取得する。入力情報送信部は、入力情報と当該入力情報が入力されたクライアント端末を識別する識別情報とを認識サーバに送信する。認識サーバは、入力情報受信部と文字情報変換部と文字情報送信部とを具備する。入力情報受信部は、入力情報と上識別情報とを受信する。文字情報変換部は、入力情報を文字情報に変換する。文字情報送信部は、当該文字情報と識別情報とをコンテンツ配信装置に送信する。
【００１０】
また、本発明の通信システムのデータ送受信方法は、ネットワークを介して接続されるコンテンツ配信装置と複数のクライアント端末と認識サーバとを有する通信システムのデータ送受信方法であって、コンテンツ配信装置は、コンテンツサーバからＷｅｂコンテンツを取得するコンテンツ取得ステップと、Ｗｅｂコンテンツに含まれるスクリプト及び受信した文字情報と識別情報とに応じた処理を実行するコンテンツ実行ステップと、Ｗｅｂコンテンツの処理の進行に伴うＷｅｂページの要素、又は、識別情報と文字情報とに基づいて進行させたＷｅｂページの要素、を複数のクライアント端末に配信する分散コンテンツ配信ステップと、を行う、複数のクライアント端末の一つであるクライアント端末は、コンテンツ配信装置から受信したスクリプトに基づいて入力された入力情報を取得する入力情報取得ステップと、入力情報と当該入力情報が入力されたクライアント端末を識別する識別情報とを認識サーバに送信する入力情報送信ステップと、を行う。
【００１１】
また、本発明のデータ送受信プログラムは、上記したデータ送受信方法をコンピュータに実行させるようにしたものである。
【発明の効果】
【００１２】
この発明によれば、ユーザ自身が操作するクライアント端末に、録音した音声や撮影した画像等の入力情報を文字情報に変換する専用の機能（アプリケーション）が無くても、ユーザ自身が操作するクライアント端末に入力した音声や画像等から変換した文字情報を、ユーザ自身が操作する他のクライアント端末で利用することが可能になる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態の通信システム１００の機能構成例を示す図。
【図２】通信システム１００の動作シーケンスを示す図。
【図３】クライアント端末４０ａにおけるJavaScriptファイルの実行の様子を例示する図。
【図４】クライアント端末４０ｂの表示例を示す図。
【図５】本実施形態のコンテンツ配信装置２０の機能構成例を示す図。
【図６】コンテンツ配信装置２０の動作フローを示す図。
【図７】本実施形態のクライアント端末４０ａの機能構成例を示す図。
【図８】クライアント端末４０ａの動作フローを示す図。
【図９】本実施形態の認識サーバ３０の機能構成例を示す図。
【図１０】認識サーバ３０の動作フローを示す図。
【図１１】クライアント端末４０ｃに表示されたアイコンの例を示す図。
【発明を実施するための形態】
【００１４】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには
同じ参照符号を付し、説明は繰り返さない。
【００１５】
図１に、本実施形態の通信システム１００の機能構成例を示す。通信システム１００は、コンテンツサーバ１０と、複数のクライアント端末４０ａ，４０ｂと、コンテンツ配信装置２０と、認識サーバ３０と、を備える。コンテンツサーバ１０と複数のクライアント端末４０ａ，４０ｂとコンテンツ配信装置２０と認識サーバ３０とは、それぞれがネットワーク９０を介して接続され、相互間で通信が可能である。なお、コンテンツサーバ１０は、従来技術で構成される一般的なものである。
【００１６】
コンテンツ配信装置２０は、コンテンツ取得部２２１と、コンテンツ実行部２２２と、分散コンテンツ配信部２２３と、を具備する。コンテンツ取得部２２１は、コンテンツサーバ１０からＷｅｂコンテンツを取得する。コンテンツ実行部２２２は、コンテンツ取得部２２１で取得したＷｅｂコンテンツに含まれるスクリプト及び受信した文字情報とに応じた処理を実行する。分散コンテンツ配信部２２３は、Ｗｅｂコンテンツの処理の進行に伴うＷｅｂページの要素、又は、識別情報と文字情報に基づいて進行させたＷｅｂページの要素、を複数のクライアント端末４０ａ,４０ｂに配信する。
【００１７】
複数のクライアント端末の一つであるクライアント端末４０ａは、入力情報取得部４２１ａと、入力情報送信部４２２ａとを具備する。入力情報取得部４２１ａは、コンテンツ配信装置２０から受信したスクリプトに基づいて入力された入力情報を取得する。入力情報送信部４２２ａは、入力情報とクライアント端末４０ａを識別する識別情報とを認識サーバ３０に送信する。
【００１８】
認識サーバ３０は、入力情報受信部３２０と、文字情報変換部３２１と、文字情報送信部３２２と、を具備する。入力情報受信部３２０は、クライアント端末４０ａに入力された入力情報と当該端末の識別情報とを受信する。文字情報変換部３２１は、入力情報を文字情報に変換する。文字情報送信部３２２は、当該文字情報と上記識別情報とをコンテンツ配信装置に送信する。
【００１９】
本実施形態では、複数のクライアント端末として、クライアント端末４０ａと、クライアント端末４０ｂと、の２台の例を示す。ここでは、例えばクライアント端末４０ａをリモコンとして利用するスマートフォン、クライアント端末４０ｂをビデオを視聴するＴＶとして、ＶＯＤサービスを利用する場合を例に説明する。
【００２０】
図２に示す通信システム１００の動作シーケンスも参照して、その動作を説明する。コンテンツ配信装置２０のコンテンツ取得部２２１は、コンテンツサーバ１０からＨＴＭＬファイル，ＣＳＳファイル，JavaScriptファイルによって構成されるＷｅｂコンテンツを受信する（ステップＳ２２１）。
【００２１】
コンテンツ実行部２２２は、コンテンツ取得部２２１で受信したＷｅｂコンテンツに含まれるスクリプトに応じた処理を実行する（ステップＳ２２２）。ここで、スクリプトとは、あるタスクを完了するために必要な手順を記述した１つのファイルであって、例えばJavaScriptファイルなどである。以下、JavaScriptファイルを例に説明する。
【００２２】
分散コンテンツ配信部２２３は、Ｗｅｂコンテンツの処理の進行に伴うＷｅｂページの要素を、複数のクライアント端末４０ａ，４０ｂに配信する。ここでＷｅｂコンテンツの処理の進行に伴うＷｅｂページの要素とは、JavaScriptファイルの実行によるＷｅｂコンテンツの処理の進行に伴う変化を反映させたＨＴＭＬファイル，ＣＳＳファイル，JavaScriptファイルのことである。分散コンテンツ配信部２２３は、それらのファイルをクライアント端末４０ａとクライアント端末４０ｂに送信する（ステップＳ２２３）。
【００２３】
クライアント端末４０ａの入力情報取得部４２１ａは、コンテンツ配信装置２０から受信したJavaScriptスクリプトに基づいて入力情報を取得する（ステップＳ４２１ａ）。例えば音声データを取得するためのJavaScriptファイルが、クライアント端末４０ａで実行されると、音声の録音が開始される。
【００２４】
図３に、音声データを取得するためのJavaScriptファイルが実行された場合のクライアント端末４０ａのディスプレイ上の表示を例示する。例えば、ユーザが指でマイクロフォンが表示されたアイコンをタップすると、「マイクロフォンに向かって発声して下さい。」の表示が現れ、音声の録音が開始される。この時、上記したステップＳ２２３の処理によって、例えばＴＶであるクライアント端末４０ｂには、例えば図４に示すようにＶＯＤサービスのビデオコンテンツのタイトル選択画面が表示される。選択可能な複数のビデオタイトルの上に、視聴するビデオタイトルを選択する選択枠４２３ｂが表示されている。
【００２５】
入力情報送信部４２２ａは、録音された入力情報（音声データ）を、クライアント端末４０ａを識別する識別情報と共に認識サーバ３０に送信する（ステップＳ４２２ａ）。
【００２６】
認識サーバ３０の入力情報受信部３２０は、クライアント端末４０ａで取得された入力情報とクライアント端末４０ａを識別する識別情報とを受信する（ステップＳ３２０）。識別情報とは、例えばＩＰアドレス（Internet Protocol address）である、例えばクライアント端末で指定するURLのクエリパラメタで指定した識別情報などである。
【００２７】
文字情報変換部３２１は、入力情報受信部３２０で受信した入力情報を、文字情報に変換する（ステップＳ３２１）。この例では、入力情報が音声情報であるので、当該音声情報を音声認識処理によって文字情報に変換する。
【００２８】
文字情報送信部３２２は、文字情報変換部３２１で変換した文字情報とクライアント端末４０ａから受信した当該端末を識別する識別情報とを、コンテンツ配信装置２０に送信する（ステップＳ３２２）。
【００２９】
コンテンツ配信装置２０のコンテンツ実行部２２２は、認識サーバ３０から受信した識別情報と文字情報とに応じた処理を実行する（ステップＳ２２２′）。コンテンツ配信装置２０は、クライアント端末４０ａを識別できる固有の識別情報をもとに、受信した文字情報を、その識別情報を持つ端末から送信された戻り値として扱う。ここでのＷｅｂコンテンツの処理は、ビデオコンテンツのタイトルを選択する場面である。したがって、認識サーバ３０から受信した文字情報に、図４に示したビデオタイトルの文字情報が含まれていれば、コンテンツ実行部２２２はビデオタイトル決定の状況までＷｅｂコンテンツの処理を進行させる（ステップＳ２２２′）。
【００３０】
分散コンテンツ配信部２０３は、識別情報と文字情報とに基づいて進行させたＷｅｂページの要素（ＨＴＭＬファイル，ＣＳＳファイル，JavaScriptファイル）を、クライアント端末４０ａとクライアント端末４０ｂに配信する（ステップＳ２２３′）。例えば、Ｗｅｂコンテンツの処理の進行の結果を反映させ、ビデオタイトルの文字情報を、ＴＶ（クライアント端末４０ｂ）のビデオタイトルの選択枠４２３ｂに表示されるように、クライアント端末４０ｂに送信する（ステップＳ２２３′）。
【００３１】
以上説明したように本実施形態の通信システム１００によれば、ユーザ自身が操作するクライアント端末４０ａに、音声や画像等の入力情報を文字情報に変換する専用のアプリケーションが無くても、ユーザ自身が操作するクライアント端末に入力した音声や画像等から変換した文字情報に基づいて、ユーザ自身が操作する他のクライアント端末４０＊（＊：ｂ,ｃ,…）に、その表示や処理の内容を変更するためのイベントを送信することができる。
【００３２】
つまり、認識サーバ３０の仲介によって、音声認識処理の能力を持たないクライアント端末４０ａに入力した音声情報に基づいて、クライアント端末４０ｂの動作を制御することが可能である。したがって、クライアント端末のＯＳや性能に依存しないで、マルチデバイスを連携させたサービスを提供することができる。なお、複数のクライアント端末として、クライアント端末４０ａとクライアント端末４０ｂとの２台の例を示して説明を行ったが、複数のクライアント端末は３台以上で有っても良い。次に、通信システム１００を構成する各装置のより具体的な機能構成例を示して更に詳しく本実施形態を説明する。
【００３３】
〔コンテンツ配信装置〕
図５に、コンテンツ配信装置２０の機能構成例を示す。コンテンツ配信装置２０は、通信インターフェース２１と、制御部２２とで構成される。制御部２２は、コンテンツ取得部２２１、コンテンツ実行部２２２、分散コンテンツ配信部２２３、の機能構成部を具備する。各機能構成部は、通信インターフェース２１を介してネットワーク９０に接続される。コンテンツ配信装置２０は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。以降に説明する他の装置についても同様である。なお、コンテンツ配信装置２０で行う処理は、非特許文献１に開示されたものと同じである。よって、その説明は簡単にする。
【００３４】
ここでは、より具体的な構成を示したコンテンツ実行部２２２を中心に説明する。コンテンツ実行部２２２は、ＤＯＭ保持部２２２０と、JavaScript実行部２２２１と、ＤＯＭ操作部２２２２と、で構成される。
【００３５】
図６に示すコンテンツ配信装置２０の動作フローも参照して説明する。ＤＯＭ保持部２２２０は、コンテンツ取得部２０１で受信したＷｅｂコンテンツを入力として、当該Ｗｅｂコンテンツを構成するＨＴＭＬからＤＯＭツリーを構築して保持する（ステップＳ２２２０）。ＤＯＭツリーとは、ＨＴＭＬドキュメントをツリー構造で表現したものである。
【００３６】
JavaScript実行部２２２１は、Ｗｅｂコンテンツ内のJavaScriptファイルを実行し、Ｗｅｂコンテンツの処理を進行させる（ステップＳ２２２１）。また、認識サーバ３０から入力される文字情報と識別情報とに基づいてＷｅｂコンテンツの処理を進行させる（ステップＳ２２２１′）。
【００３７】
ＤＯＭ操作部２２２２は、Ｗｅｂコンテンツの処理の進行に伴う変化をＤＯＭツリーに反映させる。JavaScript実行部２２２１と同様に、ＤＯＭ操作部２２２２は、JavaScriptファイルの実行に伴うＷｅｂコンテンツの進行（ステップＳ２２２２）と、認識サーバ３０から入力される文字情報と識別情報とに基づくＷｅｂコンテンツの進行（ステップＳ２２２２′）と、の両方の結果をＤＯＭツリーに反映させる。
【００３８】
分散コンテンツ配信部２０３は、Ｗｅｂコンテンツの進行が反映されたＤＯＭの部分木単位で、対象とするクライアント端末（上記した例では４０ａと４０ｂ）に配信する（ステップＳ２２３）。
【００３９】
〔クライアント端末〕
図７に、クライアント端末４０ａの機能構成例を示す。なお、クライアント端末は複数あり、それぞれの機能構成は同じである。
クライアント端末４０ａは、通信インターフェース４１ａと、制御部４２ａとで構成される。制御部４２ａは、入力情報取得部４２１ａ、入力情報送信部４２２ａ、の機能構成部を具備する。各機能構成部は、通信インターフェース４１ａを介してネットワーク９０に接続される。入力情報取得部４２１ａは、更に、JavaScript実行部４２１０ａと、音声ストリーム取得部４２２０ａと、音声データ圧縮部４２３０ａと、で構成される。
【００４０】
クライアント端末４０ａは、ユーザが操作する例えばスマートフォンであり、Ｗｅｂブラウザを実行している。よって、コンテンツ配信装置２０から配信されたＷｅｂコンテンツの表示は、クライアント端末４０ａの表示手段に表示される。図７では、表示手段とＷｅｂブラウザの表記を省略している。
【００４１】
図８に示すクライアント端末４０ａの動作フローも参照して説明する。コンテンツ配信装置２０から音声データを取得するためのJavaScriptファイルが送信されて来たと仮定する。JavaScript実行部４２１０ａが、当該JavaScriptファイルを実行すると、クライアント端末４０ａに接続されているマイクロフォンが利用可能かどうかを判断する（ステップＳ４２１０ａ）。Ｗｅｂの標準仕様として策定中のStreamAPI（参考URL：http://www.w3.org/TR/mediacapture-streams/#stream-api）を用いることでマイクロフォンが利用可能かどうかの判定をすることができる。
【００４２】
次に、JavaScript実行部４２１０ａは、ネットワーク９０を介して通信する認識サーバ３０と通信が可能かどうかの判断を行う（ステップＳ４２１１ａ）。この処理はWebSocketのデータ送信（参考URL：http://tools.ietf.org/html/rfc6455）において、通信のためのセッション接続が完了したかを判断することで行う。
【００４３】
認識サーバ３０との接続が完了すると、音声ストリーム取得部４２２０ａは、利用できるマイクロフォンから音声ストリームを取得する（ステップＳ４２２０ａ）。そして、音声ストリーム取得部４２２０ａにおいて、一定バイト以上のストリームデータが蓄積されると（ステップＳ４２２１ａのＹｅｓ）、取得した音声データをプログラムが処理できる数値データ配列に格納する（ステップＳ４２２２ａ）。ステップＳ４２２０ａ〜Ｓ４２２２ａまでの処理は、例えばＷ３Ｃで標準仕様として策定中のWeb Audio APIで定義されているcreateScriptProcessor();メソッド等を用いて行うことができる。
【００４４】
音声のストリームデータを数値データとしてバッファに格納後、音声データ圧縮部４２３０ａは音声データの圧縮を行う（ステップＳ４２３０ａ）。データの圧縮は、公知の例えばSpeex（参考URL：http://tools.ietf.org/search/rfc5574）やOpus（参考URL：http://tools.ietf.org/html/rfc3548）といったオープンソースのコーディックを用いて行うことができる。
【００４５】
入力情報送信部４２２ａは、圧縮された音声データ（入力情報）とクライアント端末４０ａを識別する識別情報とを認識サーバ３０に送信する（ステップＳ４２２ａ）。クライアント端末４０ａから認識サーバ３０に送信する入力情報として、音声データを例に説明を行ったが、送信する入力情報は音声データに限られない。例えば、画像データでも良いし座標データ等でも良い。入力情報は、どのような種類の情報でも構わないことについて、詳しくは後述する。
【００４６】
〔認識サーバ〕
図９に、認識サーバ３０の機能構成例を示す。認識サーバ３０は、通信インターフェース３１と、制御部３２とで構成される。制御部３２は、入力情報受信部３２０、文字情報変換部３２１、文字情報送信部３２２、の機能構成部を具備する。各機能構成部は、通信インターフェース３１を介してネットワーク９０に接続される。文字情報変換部３２１は、更に、圧縮復元部３２１０と、音声区間検出部３２２０と、音声認識部３２３０と、で構成される。
【００４７】
図１０に示す認識サーバ３０の動作フローも参照して説明する。認識サーバ３０がクライアント端末４０ａから接続要求を受けると、入力情報受信部３２０がクライアント端末４０ａとの接続を確立する（ステップＳ３２００）。接続確立後、入力情報受信部３２０はクライアント端末４０ａからの音声データを受信する（ステップＳ３２０１）。
【００４８】
クライアント端末４０ａからひとまとまりの音声データが全て受信されたことが確認されると（ステップＳ３２０２のＹｅｓ）、圧縮復元部３２１０は圧縮された音声データの復元処理を行う（ステップＳ３２１０）。そして、復元処理した音声データをバッファに格納する（ステップＳ３２１１）。
【００４９】
音声区間検出部３２２０は、例えば混合ガウス分布モデルに基づく識別手法（参考文献１：J. Sohn, N.S. Kim, and W. Sung, “A Statistical model-based voice activity detection,” IEEE Signal Process. Lett., vol.6, no.1, pp.1-3, 1999.）などを用いて格納された音声データから音声区間を検出する（ステップＳ３２２０）。音声区間検出部３２２０は、音声区間の検出が終了したことを判定すると（ステップＳ３２２１のＹｅｓ）、クライアント端末４０ａに対して音声データの入力終了を通知する（ステップＳ３２２２）。
【００５０】
音声認識部３２３０は、検出した音声区間の音声データを、音声認識処理により文字データに変換する（ステップＳ３２３０）。文字情報送信部３２２は、音声データ取得時に添付されていたクライアント端末４０ａを識別する識別情報と共に、変換した文字データ（入力情報）をコンテンツ配信装置２０に送信する（ステップＳ３２２）。
【００５１】
変換した文字データ（入力情報）を受信したコンテンツ配信装置２０は、上記したステップＳ２２２１′とＳ２２２２′の処理を行って、Ｗｅｂコンテンツの処理を進行させる。
【００５２】
なお、認識サーバ３０からコンテンツ配信装置２０に送信する入力情報は、クライアント端末４０ａと同様に、音声データに限られない。次に、この発明の通信システムが利用できる入力情報について説明する。
【００５３】
〔入力情報〕
入力情報の説明に合わせて、本実施形態の変形例についても説明する。ここまでの説明は、入力情報として音声データを取り上げて行った。しかし、扱える入力情報のデータの種類は、音声に限られないのは上記した通りである。例えば、画像データを扱うようにした変形例も考えられる。
【００５４】
画像データを扱う変形例の場合でも、通信システム１００（図１）の構成に変わりは無い。コンテンツサーバ１０と、複数のクライアント端末４０ａ，４０ｂと、コンテンツ配信装置２０と、認識サーバ３０と、で変形例１の通信システムも構成される。
【００５５】
画像データを扱う場合に、本実施形態から変わる部分について簡単に説明する。クライアント端末４０ａの入力情報取得部４２１ａと、認識サーバ３０の文字情報変換部３２１とが、画像データに対応するように変化する。なお、図面を参照して変形例を説明することは省略する。
【００５６】
画像データを扱う場合、入力情報取得部４２１ａではクライアント端末４０ａに搭載されているカメラを利用する（ステップＳ４２１０ａ、図８）。その場合でも、上記した標準仕様のStreamAPIを用いることができる点で変わりは無い。
【００５７】
また、ステップＳ４２３０ａ（図８）のデータの圧縮も、画像データの場合は公知の例えばBase64（参考URL：http://tools.ietf.org/html/rfc3548）といったオープンソースコーデックを用いることができる。また、ステップＳ３２３０（図１０）の認識処理も公知の画像認識処理技術を用いて実現することが可能である。このように画像データを扱うようにした変形例の通信システムも容易に実現することができる。
【００５８】
なお、本実施形態ではマルチデバイス連携の利用法としてＶＯＤサービスを例に説明を行ったが、画像データを扱う変形例では利用法が変わってくる。例えば、名刺情報を管理するサービスにこの発明の考えを適用することもできる。
【００５９】
その場合、上記したようにクライアント端末４０ａのカメラを用いて名刺を撮影する。その入力情報（画像データ）とクライアント端末４０ａの識別情報とは、認識サーバ３０に送信される。認識サーバ３０は、入力情報を認識し名前の情報を抽出する。その名前の情報は、クライアント端末４０ａの識別情報と共にコンテンツ配信装置２０に送信される。コンテンツ配信装置２０は、その識別情報と名前の情報から、その名前に関連するパーソナル情報を、クライアント端末４０ｂに送信する。ユーザは、クライアント端末４０ａよりもディスプレイの大きなクライアント端末４０ｂで、パーソナルデータを閲覧することができる。
【００６０】
また、音声データや画像データの他に、座標データを利用する変形例も考えられる。座標データを扱う場合、クライアント端末４０ａに搭載されているＧＰＳ受信器を利用する。認識サーバ３０は、クライアント端末４０ａから受信した座標データを住所に変換して、コンテンツ配信装置２０に送信する。
【００６１】
コンテンツ配信装置２０は認識サーバ３０から受信した住所から、例えば、古地図情報をクライアント端末４０ｂに送信する、あるいは、受信した住所の周辺のスポット情報をクライアント端末４０ｂに送信する。といったサービスを提供することが可能である。
【００６２】
このように「入力情報」は、どのような種類の情報であっても構わない。また、本実施形態と変形例とでは、入力情報を文字情報に変換する文字情報変換部を、クライアント端末４０ａの内部に持つ必要が無い。したがって、クライアント端末４０ａのコストを下げることができる。また、認識サーバ３０の内部に認識処理機能を備えるので、何時でも最新の認識処理技術を利用することができる効果も奏する。
【００６３】
図１１に、他のクライアント端末４０ｃの入力情報取得部４２１ｃで、画像データと音声データと座標データとを取得できるようにした場合のディスプレイ上の表示例を示す。アイコン４２４ｃを指でタップすると画像データを取得するためのJavaScriptファイルが実行され画像データの取得を開始する。アイコン４２３ｃを指でタップすると同様に音声データの取得を開始する。アイコン４２５ｃを指でタップすると同様に座標データの取得を開始する。このように１つのクライアント端末で複数の種類のデータが扱えるようにしても、文字情報変換部を端末内部に持たなくて良いので、コストの上昇を最小限に抑制することができる。
【００６４】
以上説明したように本実施形態と変形例の通信システムによれば、ユーザ自身が操作するクライアント端末に、音声や画像等の入力情報を文字情報に変換する専用の機能（アプリケーション）が無くても、ユーザ自身が操作するクライアント端末に入力した音声や画像等から変換した文字情報に基づいて、ユーザ自身が操作する他のクライアント端末の表示や処理の内容を変更するためのイベントを送信することができる。
【００６５】
上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００６６】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００６７】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。このように本願発明は、上記した実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
【符号の説明】
【００６８】
１０  ：コンテンツサーバ
２０  ：コンテンツ配信装置
２２１：コンテンツ取得部
２２２：コンテンツ実行部
２２３：分散コンテンツ配信部
３０  ：認識サーバ
３２０：文字情報受信部
３２１：文字情報変換部
３２２：文字情報送信部
４０ａ,ｂ：クライアント端末
４２１ａ,ｂ：入力情報取得部
４２２ａ,ｂ：入力情報送信部
【図１】
2015210721.tif 000003
【図２】
2015210721.tif 000004
【図３】
2015210721.tif 000005
【図４】
2015210721.tif 000006
【図５】
2015210721.tif 000007
【図６】
2015210721.tif 000008
【図７】
2015210721.tif 000009
【図８】
2015210721.tif 000010
【図９】
2015210721.tif 000011
【図１０】
2015210721.tif 000012
【図１１】
2015210721.tif 000013