(57)【特許請求の範囲】
【請求項１】
複数出席者間での会議に関連し、ユーザが身に付けたウェアラブル装置で実行される方法であって、
前記ウェアラブル装置は、中央処理ユニット、表示デバイス及びメモリを含み、
前記ウェアラブル装置には、複数のライブ会議ストリームの各々から抽出された複数のキーフレームが転送され、
前記中央処理ユニットは、
前記複数のライブ会議ストリームのうち一つから前記複数のキーフレームのうち一つを前記表示デバイスで前記ユーザに表示し、
前記ユーザからの入力を検知し、
検知された前記ユーザからの入力が第一タイプである場合に、前記複数のライブ会議ストリームのうち一つから前記複数のキーフレームの他の一つを表示し、
検知された前記ユーザからの入力が第二タイプである場合に、前記複数のライブ会議ストリームのうち他の一つから前記複数のキーフレームのうち一つを表示する、
方法。
【請求項２】
前記第一タイプのユーザ入力は、第一方向のユーザジェスチャを含む、
請求項１に記載の方法。
【請求項３】
前記第一方向は、左右方向である、
請求項２に記載の方法。
【請求項４】
前記第二タイプのユーザ入力は、第二方向のユーザジェスチャを含む、
請求項１〜請求項３の何れか１項に記載の方法。
【請求項５】
前記第二方向は、上下方向である、
請求項４に記載の方法。
【請求項６】
検知された前記ユーザからの入力が第三タイプである場合に、前記表示されたキーフレームを拡大すること、
をさらに含む、
請求項１〜請求項５の何れか１項に記載の方法。
【請求項７】
前記第三タイプのユーザ入力は、ダブルタップのジェスチャを含む、
請求項６に記載の方法。
【請求項８】
検知された前記ユーザからの入力が第四タイプである場合に、前記複数のライブ会議ストリームのうち一つをユーザに表示する、
ことをさらに含む、
請求項１〜請求項７の何れか１項に記載の方法。
【請求項９】
前記第四タイプのユーザ入力は、前記ウェアラブル装置の表示を前記ユーザの顔へ向けることを含む、
請求項８に記載の方法。
【請求項１０】
前記ユーザが前記ウェアラブル装置の表示から顔を逸らしたときに、前記複数のライブ会議ストリームのうち一つをユーザに表示することを停止すること、
をさらに含む、
請求項８に記載の方法。
【請求項１１】
前記複数のキーフレームの各々は、対応するライブ会議ストリームでの２つのキーフレーム間の差異に基づき生成される、
請求項１〜請求項１０の何れか１項に記載の方法。
【請求項１２】
前記複数のキーフレームの各々は、前記対応するライブ会議ストリームでの２つのキーフレーム間の差異が予め定められた閾値を超えたときに生成される、
請求項１１に記載の方法。
【請求項１３】
前記予め定められた閾値は、前記対応するライブ会議ストリームでのコンテンツのタイプに基づき決定される、
請求項１２に記載の方法。
【請求項１４】
前記ユーザへのチャットメッセージの表示に前記表示デバイスを用いること、
をさらに含む、
請求項１〜請求項１３の何れか１項に記載の方法。
【請求項１５】
前記ユーザからチャット入力を受け付け、前記チャット入力を前記複数の会議出席者に転送すること、
をさらに含む、
請求項１〜請求項１４の何れか１項に記載の方法。
【請求項１６】
前記チャット入力を、前記表示デバイスに生成されたグラフィカルユーザインターフェイスを用いてユーザから受け付ける、
請求項１５に記載の方法。
【請求項１７】
前記グラフィカルユーザインターフェイスは、少なくとも一つのユーザ選択が可能なウィジェットを含み、前記ユーザにより選択されたウィジェット上で対応するチャット入力が生成される、
請求項１６に記載の方法。
【請求項１８】
前記チャット入力を、前記ユーザの音声をテキスト形式のチャットメッセージに変換することによりユーザから受け付ける、
請求項１５に記載の方法。
【請求項１９】
検知された前記ユーザからの入力は、前記ユーザにより発話されたワードを検知し、検知した発話ワードを前記第一タイプまたは第二タイプに対応するユーザ入力に変換すること、
をさらに含む、
請求項１〜請求項１８の何れか１項に記載の方法。
【請求項２０】
ユーザが身に付けるウェアラブルシステムであって、
前記ウェアラブルシステムには、複数のライブ会議ストリームの各々から抽出された複数のキーフレームが転送され、
中央処理ユニットと、
表示デバイスと、
コンピュータ実行可能命令セットを記憶するメモリと、
前記複数のライブ会議ストリームのうち一つから前記複数のキーフレームのうち一つを前記表示デバイスで前記ユーザに表示する手段と、
前記ユーザから入力を検知する手段と、
検知された前記ユーザからの入力が第一タイプである場合に、前記複数のライブ会議ストリームのうち一つから前記複数のキーフレームの他の一つを表示し、前記検知されたユ
ーザからの入力が第二タイプである場合に、前記複数のライブ会議ストリームのうち他の一つから前記複数のキーフレームのうち一つを表示する制御手段と、
を含む、
複数出席者間での会議に関連して実行されるウェアラブルシステム。
【請求項２１】
複数出席者間の会議に関連し、ユーザが身に付けたウェアラブル装置で実行される処理をコンピュータに実行させるためのプログラムであって、
前記ウェアラブル装置には、複数のライブ会議ストリームの各々から抽出された複数のキーフレームが転送され、
前記処理は、
前記複数のライブ会議ストリームのうち一つから前記複数のキーフレームのうち一つを表示デバイスでユーザに表示し、
前記ユーザから入力を検知し、
検知された前記ユーザからの入力が第一タイプである場合に、前記複数のライブ会議ストリームのうち一つから前記複数のキーフレームの他の一つを表示し、
前記検知されたユーザからの入力が第二タイプである場合に、前記複数のライブ会議ストリームのうち他の一つから前記複数のキーフレームのうち一つを表示する、
ことを含む、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ウェアラブル装置で実行される会議表示方法、ウェアラブルシステム及びプログラムに関する。
【背景技術】
【０００２】
かつて会議室またはオフィスの領域に限定されていた会議は、スペース及び時間、装置をわたって段々と分散し始めている。このような分散会議は、主に、個人で構成されるグループに関連し、グループを構成する個人は通信を行い、情報を共有するために必要な技術的インフラストラクチャへアクセス可能なラップトップ、デスクトップまたは電話ベースの設定から通信を行う。しかしながら、会議出席者が旅行や移動中、オフサイトに居る（例えば、病院の待合室に居る）ときには、このような会議を意識し続けることは容易ではない。従って、分散会議を適切に進めるためには、会議出席者、ファイルまたはスクリーン、その他資料の共有を表す方法を出席者個人各々のコンテクストに適合させなければならない。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】ポールら（Ｐａｕｌ）、「 エキスパートに尋ねる：コラボレイティブなトラブルシューティングのためのモバイルワークスペース（Ａｓｋ ａｎ Ｅｘｐｅｒｔ: Ｍｏｂｉｌｅ Ｗｏｒｋｓｐａｃｅｓ ｆｏｒ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｒｏｕｂｌｅｓｈｏｏｔｉｎg）」、システムサイエンス（Ｓｙｓｔｅｍ Ｓｃｉｅｎｃｅｓ （ＨＩＣＳＳ））、２０１５年米国電気電子学会（ＩＥＥＥ）第４８回ハワイ国際学会誌、頁４４２〜４５１
【発明の概要】
【発明が解決しようとする課題】
【０００４】
分散会議の進行において個人参加が可能で、簡易で邪魔にならないツールが所望されている。
【課題を解決するための手段】
【０００５】
第１の態様は、複数出席者間での会議に関連し、ユーザが身に付けたウェアラブル装置で実行される方法であって、前記ウェアラブル装置は、中央処理ユニット、表示デバイス及びメモリを含み、前記中央処理ユニットは、複数のライブ会議ストリームの各々から複数のキーフレームを抽出し、前記複数のライブ会議ストリームのうち一つから前記複数のキーフレームのうち一つを前記表示デバイスで前記ユーザに表示し、前記ユーザからの入力を検知し、検知された前記ユーザからの入力が第一タイプである場合に、前記複数のライブ会議ストリームのうち一つから前記複数のキーフレームの他の一つを表示し、検知された前記ユーザからの入力が第二タイプである場合に、前記複数のライブ会議ストリームのうち他の一つから前記複数のキーフレームのうち一つを表示する。
【０００６】
第２の態様は、第１の態様の方法であって、前記第一タイプのユーザ入力は、第一方向のユーザジェスチャを含む。
【０００７】
第３の態様は、第２の態様の方法であって、前記第一方向は、左右方向である。
【０００８】
第４の態様は、第１〜第３の何れかの態様の方法であって、前記第二タイプのユーザ入力は、第二方向のユーザジェスチャを含む。
【０００９】
第５の態様は、第４の態様の方法であって、前記第二方向は、上下方向である。
【００１０】
第６の態様は、第１〜第５の何れかの態様の方法であって、検知された前記ユーザからの入力が第三タイプである場合に、前記表示されたキーフレームを拡大すること、をさらに含む。
【００１１】
第７の態様は、第６の態様の方法であって、前記第三タイプのユーザ入力は、ダブルタップのジェスチャを含む。
【００１２】
第８の態様は、第１〜第７の何れかの態様の方法であって、検知された前記ユーザからの入力が第四タイプである場合に、前記複数のライブ会議ストリームのうち一つをユーザに表示する、ことをさらに含む。
【００１３】
第９の態様は、第８の態様の方法であって、前記第四タイプのユーザ入力は、前記ウェアラブル装置の表示を前記ユーザの顔へ向けることを含む。
【００１４】
第１０の態様は、第８の態様の方法であって、前記ユーザが前記ウェアラブル装置の表示から顔を逸らしたときに、前記複数のライブ会議ストリームのうち一つをユーザに表示することを停止すること、をさらに含む。
【００１５】
第１１の態様は、第１〜第１０の何れかの態様の方法であって、前記複数のキーフレームの各々は、対応するライブ会議ストリームでの２つのキーフレーム間の差異に基づき生成される。
【００１６】
第１２の態様は、第１１の態様の方法であって、前記複数のキーフレームの各々は、前記対応するライブ会議ストリームでの２つのキーフレーム間の差異が予め定められた閾値を超えたときに生成される。
【００１７】
第１３の態様は、第１２の態様の方法であって、前記予め定められた閾値は、前記対応するライブ会議ストリームでのコンテンツのタイプに基づき決定される。
【００１８】
第１４の態様は、第１〜第１３の何れかの態様の方法であって、前記ユーザへのチャットメッセージの表示に前記表示デバイスを用いること、をさらに含む。
【００１９】
第１５の態様は、第１〜第１４の何れかの態様の方法であって、前記ユーザからチャット入力を受け付け、前記チャット入力を前記複数の会議出席者に転送すること、をさらに含む。
【００２０】
第１６の態様は、第１５の態様の方法であって、前記チャット入力を、前記表示デバイスに生成されたグラフィカルユーザインターフェイスを用いてユーザから受け付ける。
【００２１】
第１７の態様は、第１６の態様の方法であって、前記グラフィカルユーザインターフェイスは、少なくとも一つのユーザ選択が可能なウィジェットを含み、前記ユーザにより選択されたウィジェット上で対応するチャット入力が生成される。
【００２２】
第１８の態様は、第１５の態様の方法であって、前記チャット入力を、前記ユーザの音声をテキスト形式のチャットメッセージに変換することによりユーザから受け付ける。
【００２３】
第１９の態様は、第１〜第１８の何れかの態様の方法であって、検知された前記ユーザからの入力は、前記ユーザにより発話されたワードを検知し、検知した発話ワードを前記第一タイプまたは第二タイプに対応するユーザ入力に変換すること、をさらに含む。
【００２４】
第２０の態様は、ユーザが身に付けるウェアラブルシステムであって、中央処理ユニットと、表示デバイスと、コンピュータ実行可能命令セットを記憶するメモリと、複数のライブ会議ストリームの各々から複数のキーフレームを抽出する手段と、前記複数のライブ会議ストリームのうち一つから前記複数のキーフレームのうち一つを前記表示デバイスで前記ユーザに表示する手段と、前記ユーザから入力を検知する手段と、検知された前記ユーザからの入力が第一タイプである場合に、前記複数のライブ会議ストリームのうち一つから前記複数のキーフレームの他の一つを表示し、前記検知されたユーザからの入力が第二タイプである場合に、前記複数のライブ会議ストリームのうち他の一つから前記複数のキーフレームのうち一つを表示する制御手段と、を含み、複数出席者間での会議に関連して実行される。
【００２５】
第２１の態様は、プログラムであって、複数のライブ会議ストリーム各々から複数のキーフレームを抽出し、前記複数のライブ会議ストリームのうち一つから前記複数のキーフレームのうち一つを表示デバイスでユーザに表示し、前記ユーザから入力を検知し、検知された前記ユーザからの入力が第一タイプである場合に、前記複数のライブ会議ストリームのうち一つから前記複数のキーフレームの他の一つを表示し、前記検知されたユーザからの入力が第二タイプである場合に、前記複数のライブ会議ストリームのうち他の一つから前記複数のキーフレームのうち一つを表示する、複数出席者間の会議に関連し、ユーザが身に付けたウェアラブル装置で実行される処理をコンピュータに実行させる。
【発明の効果】
【００２６】
本発明は、分散会議の進行において個人参加が可能で、簡易で邪魔にならないツールを提供する。
【図面の簡単な説明】
【００２７】
【図１Ａ】スマートウォッチのようなウェアラブル装置を用いて会議に接続する少なくとも一人の出席者との分散会議を可能にするシステムの実施例を示す。
【図１Ｂ】スマートウォッチのようなウェアラブル装置を用いて会議に接続する少なくとも一人の出席者との分散会議を可能にするシステムの実施例を示す。
【図２】ユーザウェアラブル装置で実行するソフトウェアアプリケーションのグラフィカルユーザインターフェイス画面の種々の実施例を示す。
【図３】ユーザのウェアラブル装置を実行するソフトウェアアプリケーションの操作シーケンス例を示す。
【図４】本実施例が展開できるウェアラブル計算機システムの実施例を示す。
【発明を実施するための形態】
【００２８】
以下の詳細な説明において、添付の図面を参照する。添付の図面において、同様の機能を有する構成要素は同様の参照符号で参照される。上記添付の図面は、本発明の原理と矛盾しない特定の実施例及び実装の例示を目的とし、限定を意図していない。これらの実装は、本発明を実行することを可能とする程度に十分詳細に説明されている。また、他の実装も利用可能であり、本発明の範囲及び思想と乖離することなく、構造の変更及び／もしくは様々な構成要素の置き換えも可能である。以下の詳細な説明は、限定的に解釈されるべきではない。また、説明される本発明の様々な実施例は、汎用目的コンピュータで稼動するソフトウェアの形態で実装されてもよいし、特定用途ハードウェアの形態で実装されてもよいし、ソフトウェア及びハードウェアの組み合わせで実装されてもよい。
【００２９】
本記載の実施例の一態様によれば、当業者に知られているスマートウォッチのようなウェアラブル装置を用いて、会議出席者に会議の音声や映像のコンテンツに関する基本的なアウェアネスの維持を可能にするシステムと関連方法が提供される。本記載のシステム及び方法の実施例は、リモートまたはモバイルユーザが他のタスクから気を逸らすことなく分散会議と関わることが可能なように、本質的なインタラクションメカニズムも提供する。一実施例において、本記載の技術は、ビデオ会議アプリケーションのスマートウォッチベースのインターフェイスを用いて、ユーザが進行中の分散会議に出席する邪魔にならない方法を提供する。
【００３０】
一つもしくは複数の実施例において、本記載のソリューションは、キーフレームのコンセプトを用いる。キーフレームは、会議中に出席者が共有した画面の画面キャプチャであり、後で参照するために記録される。出席者の共有した画面コンテンツを描写した静止画のキャプチャである上記キーフレームの活用は、会議のリアルタイムでのビデオストリームを表示することではなく、分散会議でのビデオストリームにおける現状アイディアを素早くユーザに提供することである。これにより、ユーザのウェアラブル装置のバッテリー寿命を消耗させないことになる。
【００３１】
図１Ａ及び図１Ｂは、スマートウォッチのようなウェアラブル装置を用いて会議に接続する少なくとも一人の出席者との分散会議を可能にするシステムの２つの実施例を示す。図１Ａに示されるシステム例１００は、中央サーバ１０１を含み、コンピュータネットワークを介して分散会議出席者の計算システム１０２、１０３、１０４と通信可能に接続される。一つもしくは複数の実施例において、データ接続はＨＴＴＰプロトコルを用いて実行される。会議参加者が身に付けたウェアラブル装置１０５は、中央サーバ１０１にも通信可能に接続されている。一実施例において、会議参加者の計算システム１０２、１０３、１０４は、例えば他の会議出席者と共有する出席者のコンピュータ画面のコンテンツと同様に、出席者の顔、関連音声またはチャットのテキストメッセージを含み、進行中の会議ストリームを生成する。一実施例において、出席者の計算システム１０２、１０３、１０４の各々は、参加者の進行中の会議ストリームのコンテンツに基づきキーフレームを生成する。進行中の会議ストリーム及び生成されたキーフレームは、計算システム１０２、１０３、１０４の各々からサーバ１０１に転送される。他の実施例において、キーフレームは、受け取った会議ストリームのコンテンツを用いてサーバ１０１で生成されてもよい。
【００３２】
一つもしくは複数の実施例において、生成されたキーフレーム及びチャットメッセージ（１０７でまとめて参照する）は、ネットワークを介して中央サーバ１０１からウェアラブル装置１０５に転送される。一つもしくは複数の実施例において、生成されたキーフレーム及びチャットメッセージは、ウェアラブル装置１０５のディスプレイでユーザに表示される。一方、受け取った音声は、例えば、当業者に知られたＢｌｕｅｔｏｏｔｈ（登録商標）ワイヤレスプロトコルを用いてユーザが身に付けたヘッドセット１０６に、ウェアラブル装置１０５によって転送される。一つもしくは複数の実施例において、ウェアラブル装置１０５の独創的なグラフィカルユーザインターフェイスを用いて、ユーザはチャットテキストメッセージをサーバ１０１へ返送することができる。
【００３３】
図１Ｂに示される変形例１１０では、携帯装置１１１が追加される。実施例では、携帯装置１１１は、中央サーバ１０１とウェアラブル装置１０５の両方と通信する。中央サーバとの通信はセルラーまたはＷＩＦＩデータ接続を用いて行われてもよく、ウェアラブル装置１０５との接続はＢｌｕｅｔｏｏｔｈまたはＷｉＦｉデータ接続を用いて実行されてもよい。一実施例において、上記音声または生成されたキーフレーム、チャットメッセージ（１０７でまとめて参照する）は、まず中央サーバ１０１からスマートフォンのような携帯装置１１１に転送される。次に携帯装置１１１は、例えばＢｌｕｅｔｏｏｔｈワイヤレスプロトコルまたは有線接続を用いて、会議音声１０９をユーザが身に付けたヘッドセット１０６に転送し、生成したキーフレームまたはチャットメッセージをユーザに表示するためウェアラブル装置１０５に転送する。一つもしくは複数の実施例において、携帯装置１１１はまた、ユーザによる適切な会議への接続を制御する。
【００３４】
一つもしくは複数の実施例において、サーバ１０１で生成されたキーフレームとキーフレームの生成始動で用いられたパラメータは、ユーザが特定期間に共有しているコンテンツタイプに基づいて変更される。一実施例において、キーフレーム生成システムは、ユーザ各々により共有される会議ビデオストリームの先のビデオキーフレームと後のビデオキーフレームとの間の差異（距離）を連続して計算及び監視し、当該差異（距離）と予め定められた閾値とを比較する。上記閾値を超えたときに、新たなキーフレームの生成が自動的に始動する。上記閾値はコンテンツのタイプが異なれば、異なっていてもよい。
【００３５】
例えば、一つの実施例において、ユーザが標準のウェブカメラ（Ｗｅｂｃａｍ）のビューを共有しているときには、例えば、ユーザの顔を表示する同一の関連のないフレームを避けるために、新たなキーフレーム生成は、ある予め定められたレベルのビュー（ビデオストリーム）の変更を必要とする。従って、ユーザの顔に関するビデオコンテンツのケースについては、上記閾値は比較的高くてもよい。一方、会議参加者がスライドショーを共有しるときには、いかなるビューの変更においても新たなキーフレームが生成される。従って、スライドショーコンテンツにおける上記のキーフレーム生成閾値は極めて低くてもよい。
【００３６】
一つもしくは複数の実施例において、生成されたキーフレームは、ユーザ特定の（分散会議参加者特定の）キーフレームストリームに分割される。このようなキーフレームストリームは、ウェアラブル装置１０５に供給され、ウェアラブル装置１０５のディスプレイで生成されるグラフィカルユーザインターフェイスを用いて表示し、会議出席者により選択されてもよい。一つもしくは複数の実施例において、ウェアラブル装置１０５で実行されるアプリケーションは予め定められたユーザジェスチャを検知し、検知した予め定められたユーザジャスチャに基づき上記のキーフレームストリーム間を切り替える。一つもしくは複数の実施例において、ユーザジェスチャは、例えばユーザウェアラブル装置１０５のタッチスクリーンインターフェイスを用いて検知されてもよい。
【００３７】
一実施例において、ユーザの指または他の適した手段を用いて実行され得る、検知された上下にスワイプするユーザジェスチャによって、ウェアラブル装置１０５のソフトウェアアプリケーションは、異なるユーザのストリームに変更し、ディスプレイ装置にユーザ選択ストリームのコンテンツ（例えば、キーフレームを表示する。一方、同様のまたは異なる実施例において、検知された左右にスワイプするユーザジェスチャによって、ウェアラブル装置１０５のソフトウェアアプリケーションは、特定ストリームの中のキーフレームを循環する。また、検知されたダブルタップのユーザジェスチャによって、キーフレームをズームイン、ズームアウトする。最後に、２つの指で摘むジェスチャによって、ズームインされたフレームを自由にパンすることができる。当業者に理解されている通り、その他の多くのタイプのユーザジェスチャが、ウェアラブル装置１０５で実行されるソフトウェアアプリケーションにより検知されてもよく、したがって、本発明は特定のユーザジェスチャに制限されるものではない。
【００３８】
さらに、一つもしくは複数の実施例において、キーフレーム及びストリームの間のナビゲーションは後述する音声認識インターフェイスを用いて実行されてもよい。本実施例において、ウェアラブル装置１０５で実行されるソフトウェアアプリケーションは、例えば“次のストリーム”、“前のストリーム”、 “次のフレーム”、“前のフレーム”等といったユーザが発した特定の発話コマンドを検知する。特定のユーザ発話コマンドの検知により、ウェアラブル装置１０５で実行されるソフトウェアアプリケーションは、対応するコマンドを実行する。当業者に理解されている通り、その他の多くのタイプのユーザの発話コマンドは、ウェアラブル装置１０５で実行されるソフトウェアアプリケーションによって検知されてもよく、したがって、本発明は特定の発話コマンドに制限されるものではない。
【００３９】
一つもしくは複数の実施例において、会議ストリームで最新のキーフレームが閲覧されるときはいつでも、中央サーバ１０１からの、新たなまたはより最新のキーフレームがウェアラブル装置１０５で受信され、ウェアラブル装置１０５で実行されるソフトウェアアプリケーションは、自動的に新たなキーフレームに移動し、新たに受信されたキーフレームをユーザに表示する。本特徴は、分散会議で議論される対象によって更新されるキーフレームの自動フローを生成する。これにより、ユーザは、会議におけるビジュアルコンテンツのアウェアネスを維持することができる。一つもしくは複数の実施例において、ユーザがズームやパンなどを行うことで、キーフレームとやり取りをしているときに、新たなキーフレームがサーバ１０１から受信されると、ウェアラブル装置１０５で実行されるソフトウェアアプリケーションは、古いキーフレームと関連するユーザによる現活動の中断を避けるために、最新の受信したキーフレームをユーザに対して即座に表示しない。
【００４０】
一つもしくは複数の実施例において、ウェアラブル装置１０５で実行するソフトウェアアプリケーションは、また、別のチャットチャンネルを含む。上記チャットチャンネルによって、ウェアラブル装置１０５のユーザは、他の会議出席者から送られたチャット（テキスト）メッセージを閲覧すること、グラフィカルユーザインターフェイスにより与えられた、例えば、予め定められた「はい／いいえ」の回答を用いて、自身のメッセージを会議チャットに送信すること、ができる。他の実施例において、ウェアラブル装置１０５で実行されるソフトウェアアプリケーションは、上記チャットチャンネルを通して他の分散会議出席者に送るテキストメッセージに、ユーザ音声を自動的に変換する、音声テキスト変換機能を含む。音声テキスト変換ソフトウェアは当業者により知られており、どのようなソフトウェアであっても上記発明の範囲を制限せずに利用できる。
【００４１】
図２は、ユーザウェアラブル装置で実行するソフトウェアアプリケーションのグラフィカルユーザインターフェイス画面の種々の実施例を示す。一つもしくは複数の実施例において、ウェアラブル装置１０５のユーザは、図２に示すアプリケーションのグラフィカルユーザインターフェイスメニュー画面２０１からチャットビュー及びストリームビューの両方にアクセスしてもよい。一つもしくは複数の実施例において、次画面の１つ以上は、両方のビューを素早い切り替えを可能にするため画面下部にパネル２１０を含む。
【００４２】
図２はまた、ストリームビュー画面２０２の実施例を示す。現在または履歴のキーフレームは、本画面を用いてユーザに表示される。ユーザは、ウェアラブル装置１０５の画面で左右にスワイプするジェスチャを用いることで、次または以前のキーフレームのスクロールを行うことができる。図２はまた、パネル２１０が開かれたストリームビュー画面２０３の実施例を示す。図２はチャットビュー画面２０４の実施例も示す。図２で示される通り、チャットビュー画面２０５は、Ｙ’、‘Ｎ’、 ‘録音’、‘ストリーム’ボタンを含む。‘Ｙ’、‘Ｎ’ボタンは、迅速な「はい／いいえ」応答を可能とし、‘録音’ボタンは、音声テキスト変換を可能とする。また‘ストリーム’ボタンは、ストリームビュー画面２０３のナビゲートを可能とする。
【００４３】
図２はまた、画面２０６に示すように、スライドショーを表示する他のストリームをユーザがスワイプすることを示す。図２はまた、スライドキーフレームを表示するグラフィカルユーザインターフェイス画面２０７の実施例を示す。図２はスライドキーフレームでズームを表示するグラフィカルユーザインターフェイス画面２０８の実施例も示す。最後に、図２はまた、異なる位置にパンされたスライドキーフレームのズームを表示するグラフィカルユーザインターフェイス画面２０９の実施例を示す。画面２０２〜２０９は上記のナビゲーションパネル２１０を含む。
【００４４】
図３は、ユーザのウェアラブル装置１０５で実行されるソフトウェアアプリケーションの操作シーケンス例を示す。まず、ステップ３０１で、ウェアラブル装置１０５で実行されるソフトウェアアプリケーションは、既知の会議に接続する。ステップ３０２で、ウェアラブル装置１０５で実行されるソフトウェアは、リモートユーザ各々のストリームに対応するキーフレームを登録する。ステップ３０３で、ウェアラブル装置１０５で実行されるソフトウェアアプリケーションは、キーフレームを表示し、個々のキーフレーム同様にリモートユーザのストリーム間のスワイプを可能にする。ステップ３０４で、ウェアラブル装置１０５で実行されるソフトウェアは、ウェアラブル装置のディスプレイでキーフレームのズームやパンを可能にする。ステップ３０５で、ウェアラブル装置１０５で実行されるソフトウェアアプリケーションは、チャットコンテンツと同期する。ステップ３０６で、ウェアラブル装置１０５で実行されるソフトウェアアプリケーションは、音声テキスト変換を介したチャットまたは、「はい／いいえ」ボタンに、ユーザが関与することを可能にする。上記のステップ３０２〜３０６は適切な何れのシーケンスで実行してもよい。一実施例において、ウェアラブル装置はネットワークへの直接接続が可能でなくとも、スマートフォンのような携帯装置１１１で実行されるミドルウェアアプリケーションを介して本機能のすべてを実行することができる。
【００４５】
一つもしくは複数の実施例において、ウェアラブル装置１０５は、ライブ会議ストリームをユーザに表示するよう構成されてもよい。バッテリーを消耗させないよう、ライブ会議ストリームは、ユーザがウェアラブル装置１０５のディスプレイに顔を向けたときに表示してもよい。このためにウェアラブル装置１０５は、複数のジャイロスコープのような姿勢／方向センサを備えてもよい。また、ウェアラブル装置１０５で実行されるソフトウェアアプリケーションは、会議中に書き取りや他のメモ入力を可能にする筆記機能を提供してもよい。
【００４６】
図４は、本実施例が展開できる計算機ウェアラブルシステムの実施例を示す。一つもしくは複数の実施例において、計算機ウェアラブルシステム１０５はスマートウォッチである。
【００４７】
計算機ウェアラブルシステム１０５は、計算機ウェアラブルシステム１０５の様々なハードウェア構成要素をわたるもしくはハードウェア構成要素間の情報を伝達する、もしくは相互に接続するための通信機構であるデータバス４０４、情報を処理し、他の計算タスク及び制御タスクを実行するためにデータバス４０４に電気的に接続されている中央処理ユニット（ＣＰＵもしくは単なるプロセッサ）４０１を含んでいてもよい。計算機ウェアラブルシステム１０５は、様々な情報及びプロセッサ４０１によって実行される命令を記憶するためにデータバス４０４に接続されている、ランダムアクセスメモリ（ＲＡＭ）もしくは他のダイナミックストレージデバイスなどの、メモリ４１２を含む。メモリ４１２は磁気ディスク、光ディスク、ソリッドステートフラッシュメモリデバイスもしくは他の不揮発性ソリッドステートストレージデバイスなどの永続的ストレージデバイスを含んでいてもよい。
【００４８】
一つもしくは複数の実施例において、メモリ４１２は、プロセッサ４０１によって命令を実行している間、一時的変数もしくは他の中間情報を記憶するために使用されてもよい。追加的に、計算機ウェアラブルシステム１０５は、さらに、静的情報及び計算機ウェアラブルシステム１０５の動作に必要なファームウェアなどのプロセッサ４０１のための命令、ＢＩＯＳ（basic input-output system）、計算機ウェアラブルシステム１０５の様々な構成パラメータを記憶するために、データバス４０４に接続されているリードオンリーメモリ（ＲＯＭもしくはＥＰＲＯＭ）４０２もしくは他のスタティックストレージデバイスを含んでいてもよい。
【００４９】
一つもしくは複数の実施例において、計算機ウェアラブルシステム１０５は表示デバイス（ディスプレイ）４０９を含んでいてもよい。表示デバイス４０９はデータバス４０４に電気的に接続されていてもよく、図２に示されるユーザインターフェイスやキーフレームなどの様々な情報を、計算機ウェアラブルシステム１０５のユーザに対して表示する。代替的な実施例において、表示デバイス４０９は（図示しない）グラフィックコントローラ及び／もしくはグラフィックプロセッサと関連付けられていてもよい。表示デバイス４０９は、よく知られたＬＣＤ（liquid crystal display）として実装されてもよいし、ＴＦＴ（thin-film transistor）もしくは有機ＬＥＤ（organic light emitting diode）技術を用いて製作されてもよい。様々な実施例において、表示デバイス４０９は、計算機ウェアラブルシステム１０５の残りの構成要素と共に一般的な筐体に組み込まれてもよい。
【００５０】
一つもしくは複数の実施例において、計算機ウェアラブルシステム１０５は、データバス４０４に電気的に接続されており、よく知られているように、記録されたミーティングの音声成分である、ＭＰＥＧ−３ファイルなどの様々な音声ファイル、もしくは、ＭＰＥＧ−４ファイルなどの様々なビデオファイルの音声トラックを再生するように構成されている音声（オーディオ）再生デバイス４２５を、さらに、含んでいてもよい。これにより、計算機ウェアラブルシステム１０５は、（図示しない）波形もしくは音声プロセッサもしくは同様のデバイスを含んでいてもよい。
【００５１】
一つもしくは複数の実施例において、計算機ウェアラブルシステム１０５は、ユーザの触覚コマンドを受け付けるタッチスクリーンインターフェイス４１０のような一つもしくは複数の入力デバイスを含んでいてもよい。タッチスクリーンインターフェイス４１０は、抵抗、音響、静電、当業者に知られたその他の物理的な原理または効果に基づき操作してもよい。表示デバイス４０９と共に用いられるタッチスクリーンインターフェイス４１０は、表示デバイス４０９にタッチスクリーン機能を持たせることが可能である。従って、タッチスクリーンインターフェイス４１０と共に動作する表示デバイス４０９は、簡易な‘タッチスクリーン’または接触ディスプレイ装置としてここで参照されてもよい。
【００５２】
計算機ウェアラブルシステム１０５は、さらに、ユーザのビデオ及び静止画像を取得するカメラ４１１を含み、これらのすべては情報を伝達するためにデータバス４０４に接続されていてもよい。情報は、画像、ビデオ、プロセッサ４０１へのユーザコマンドを含み得るが、これらに限定されない。
【００５３】
一つもしくは複数の実施例において、計算機ウェアラブルシステム１０５は、さらに、データバス４０４を介してプロセッサ４０１に接続されている計算機ウェアラブルシステム１０５の加速度及び、現在の方位に関するデータを提供するように構成された方位センサ４０３を含んでもよい。方位情報は、重力を含む３軸すべての加速度測定を用いて取得してもよい。一つもしくは複数の実施例において、方位センサ４０３により与えられた方位メタデータは連続して記録され、データストレージ４２１に記録される。さらに、音声取得（オーディオキャプチャ）モジュール４０６が、ユーザ音声を用いたチャットメッセージまたは発話コマンドを取得するために含まれていてもよい。
【００５４】
一つもしくは複数の実施例において、計算機ウェアラブルシステム１０５は、さらに、データバス４０４に接続されているネットワークインターフェイス４０５などの通信インターフェイスを含んでいてもよい。ネットワークインターフェイス４０５は、計算機ウェアラブルシステム１０５及びインターネット４２４の間の接続を、ＷｉＦｉインターフェイス（アダプタ）４０７、携帯電話ネットワーク（ＧＳＭ（登録商標）もしくはＣＤＭＡ）アダプタ４０８の少なくとも一つを用いて確立するように構成されていてもよい。ネットワークインターフェイス４０５は、計算機ウェアラブルシステム１０５及びインターネット４２４の間で双方向データ通信が可能なように構成されていてもよい。ＷｉＦｉアダプタ４０７は、よく知られている８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ及び／もしくは８０２．１１ｎプロトコル及びＢｌｕｅｔｏｏｔｈプロトコルに準拠して動作する。例示的な実施形態において、ＷｉＦｉアダプタ４０７、携帯電話ネットワーク（ＧＳＭもしくはＣＤＭＡ）アダプタ４０８は、電気信号もしくは電磁信号を送受信して、様々なタイプの情報を表すデジタルデータストリームを搬送する。
【００５５】
一つもしくは複数の実施例において、インターネット４２４は、一般的に、一つもしくは複数のサブネットワークを介した他のネットワークリソースへのデータ通信を提供する。したがって、計算機ウェアラブルシステム１０５は、リモートメディアサーバ、ウェブサーバ、他のコンテンツサーバ、及び他のネットワークデータストレージリソースなどのインターネット４２４のどこかに配置されている様々なネットワークリソースにアクセスすることができる。一つもしくは複数の実施例において、計算機ウェアラブルシステム１０５は、ネットワークインターフェイス４０５によって、インターネット４２４を含む様々なネットワークを介して、メッセージ、メディア及び、アプリケーションプログラムコードを含む他のデータを送受信するように構成される。インターネットの例において、計算機ウェアラブルシステム１０５がネットワーククライアントとして動作する場合、計算機ウェアラブルシステム１０５は、計算機ウェアラブルシステム１０５で稼働するアプリケーションプログラムのためのコードもしくはデータを要求してもよい。同様に、計算機ウェアラブルシステム１０５は、他のネットワークリソースに様々なデータもしくはコンピュータコードを送信してもよい。
【００５６】
一つもしくは複数の実施例において、ここで説明する機能は、メモリ４１２に含まれている一つもしくは複数の命令の一つもしくは複数のシーケンスを実行するプロセッサ４０１に応答して、計算機ウェアラブルシステム１０５によって実装される。このような命令は他のコンピュータ可読媒体からメモリ４１２に読み込まれてもよい。メモリ４１２に含まれる命令シーケンスを実行することにより、ここで説明される様々なプロセスのステップをプロセッサ４０１が実行する。代替的な実施例において、本発明の実施例を実装するために、ソフトウェア命令に替えて、もしくは、ソフトウェア命令と組み合わせて、ハードウェア回路が使用されてもよい。このように、本発明の実施例は、ハードウェア回路及び／もしくはソフトウェアの任意の特定の組み合わせに限定されない。
【００５７】
ここで使用される用語「コンピュータ可読媒体」は、実行するためにプロセッサ４０１に命令を提供するために使用される任意の媒体を参照する。コンピュータ可読媒体は機械可読媒体の一例であり、ここで説明される任意の方法及び／もしくは技術を実装するための命令を搬送することができる。このような媒体は多くの形態をとることができ、不揮発性媒体及び揮発性媒体を含むが、これらに限定されない。
【００５８】
非一時的コンピュータ可読媒体の一般的な形態は、例えば、フロッピー（登録商標）ディスク、ハードディスク、磁気テープ、もしくは任意の他の磁気媒体、ＣＤ−ＲＯＭ、任意の他の光媒体、パンチカード、ペーパーテープ、任意の他の孔パターンを有する物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、フラッシュドライブ、メモリカード、任意の他のメモリチップもしくはカートリッジ、もしくは、コンピュータが読み取ることが可能な任意の他の媒体を含む。コンピュータ可読媒体の様々な形態が、実行するプロセッサ４０１に、一つもしくは複数の命令の一つもしくは複数のシーケンスを搬送するために使用されてもよい。例えば、命令は、まず、リモートコンピュータから磁気ディスクに搬送されてもよい。代替的に、リモートコンピュータは、ダイナミックメモリに命令をロードし、インターネット４２４を介して命令を送信することができる。詳細には、コンピュータ命令は、よく知られている様々なネットワークデータ通信プロトコルを用いて、インターネット４２４を介して、リモートコンピュータから計算機ウェアラブルシステム１０５のメモリにダウンロードされてもよい。
【００５９】
一つもしくは複数の実施例において、計算機ウェアラブルシステム１０５のメモリ４１２は、以下のソフトウェアプログラム、アプリケーションもしくはモジュールの何れかを記憶していてもよい。
【００６０】
１．オペレーティングシステム（ＯＳ）４１３。オペレーティングシステム（ＯＳ）４１３は、基本システムサービスを実装し、計算機ウェアラブルシステム１０５の様々なハードウェア構成要素を管理する。オペレーティングシステム４１３の実施例は、よく知られており、現在知られている、又は今後開発されるモバイルオペレーティングシステムの何れかを含んでもよい。
【００６１】
２．アプリケーション４１４。アプリケーション４１４は、例えば、計算機ウェアラブルシステム１０５のプロセッサ４０１によって実行されるソフトウェアアプリケーションセットを含んでいてもよい。プロセッサ４０１によってソフトウェアアプリケーションセットが実行されることにより、例えば図３に示された機能または上記の機能、など所定の機能を、計算機ウェアラブルシステム１０５に実行させる。一つもしくは複数の実施例において、アプリケーション４１４は、以下で説明するように、独創的な会議アプリケーション４１５を含んでいてもよい。
【００６２】
３．データストレージ４２１。データストレージ４２１は、例えば、キーフレーム４２２またはチャットメッセージ４２３を記憶してもよい。
【００６３】
一つもしくは複数の実施例において、独創的な会議アプリケーション４１５は、計算機ウェアラブルシステム１０５のディスプレイ４０９に描写されたユーザインターフェイスを生成するように構成されているユーザインターフェイス生成モジュール４１６を含む。さらに、独創的な会議アプリケーション４１５は、タッチスクリーン４１０に接続され実行されるユーザジェスチャを検知するユーザジェスチャ検出モジュール４１７、ユーザの発話ワードを検知する音声検知（オーディオキャプチャ）モジュール４１８、検知した音声をコマンドに変換する音声テキスト変換モジュール４１９、上記のチャット機能を可能にするチャットモジュール４２０、チャットメッセージ、を含んでもよい。
【００６４】
最後に、ここで説明したプロセス及び技術は任意の特定の装置に固有に関連するものではなく、構成要素の任意の適切な組み合わせによって実装され得る。さらに、様々なタイプの汎用目的デバイスが、ここで説明した教示によって使用されてもよい。ここで説明した方法を実行する特定用途装置を構築することも有用である。本発明は、特定の例と関連して説明されたが、特定の例は、制限ではなく、例示を意図している。ハードウェア、ソフトウェア、ファームウェアの多くの異なる組み合わせが本発明を実行するために適している。例えば、説明するソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、オブジェクティブ−Ｃ、Ｐｅｒｌ、ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）などの様々なプログラム言語及びスクリプト言語及び現在知られているもしくは今後開発されるプログラミング言語もしくはスクリプト言語で、実装することができる。
【００６５】
さらに、本発明の他の実装が、本発明の詳細の検討及びここで説明された実用から明らかである。ここで説明した実施例の様々な態様及び／もしくは構成要素は、再生プランによるハイパービデオを自動的に再生する、上記再生プランを可視化するシステム及び方法において、単独で、もしくは、任意の組み合わせで使用され得る。
【符号の説明】
【００６６】
４０１  ＣＰＵ
４０９  表示デバイス
４１２  メモリ
４２４  インターネット
４１１  カメラ
【図１Ａ】
0006617641.tif 000002
【図１Ｂ】
0006617641.tif 000003
【図２】
0006617641.tif 000004
【図３】
0006617641.tif 000005
【図４】
0006617641.tif 000006