(57)【要約】  本発明は通信処理方法及び電子装置を開示し、前記方法は、第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行うことと、第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアすることと、第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御することと、を含む。【選択図】図１
2018515979.tif 000002
【特許請求の範囲】
【請求項１】
通信処理方法であって、第１電子装置に適用され、
前記第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行うことと、
第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアすることと、
第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御することと、
を含む、前記通信処理方法。
【請求項２】
前記第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアすることは、
第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持することと、
少なくとも一つのビデオフレームを収集し、前記少なくとも一つのビデオフレームを前記少なくとも一つの第２電子装置に送信することと、
を含む、請求項１に記載の通信処理方法。
【請求項３】
前記第１操作に応答する前に、前記通信処理方法はさらに、第１タッチ操作エリアに対して操作する時間の長さが第１閾値より大きいと検出された場合、第１操作を検出したと確定することを含み、
前記第２操作に応答する前に、前記通信処理方法はさらに、前記第１タッチ操作エリアに対するタッチ操作をキャンセルしたと検出された場合、第２操作を検出したと確定することを含む、
請求項２に記載の通信処理方法。
【請求項４】
前記少なくとも一つの第２電子装置とビデオフレームをシェアすることは、
少なくとも一つの第２電子装置より送信された少なくとも一つのビデオフレームを受信することと、
少なくとも一つの第２電子装置より送信された前記少なくとも一つのビデオフレームを解析することと、
を含む、請求項１又は２に記載の通信処理方法。
【請求項５】
前記少なくとも一つの第２電子装置とビデオフレームをシェアすることは、
少なくとも一つのビデオフレームを前記少なくとも一つの第２電子装置のうちの全ての第２電子装置に送信すること、
又は、
前記少なくとも一つの第２電子装置のうちからターゲット第２電子装置を選出し、前記ビデオフレームを前記ターゲット第２電子装置に送信すること、
を含む、請求項１に記載の通信処理方法。
【請求項６】
音声データを収集した時に、音声データにタイムスタンプを追加することと、
ビデオフレームを収集した時に、収集されたビデオフレームに対応するタイムスタンプを追加することと、
をさらに含む、請求項４に記載の通信処理方法。
【請求項７】
前記少なくとも一つの第２電子装置より送信された前記少なくとも一つのビデオフレームを解析することは、
音声データ内の音声とタイムスタンプを解析し、ビデオフレームとそれに対応するタイムスタンプを解析することと、
解析されたタイムスタンプに基づいて、音声データとビデオフレームを出力するように制御することと、
を含む、請求項６に記載の通信処理方法。
【請求項８】
電子装置であって、
第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、少なくとも一つの第２電子装置と音声データのインタラクションを行い、第２操作に応答して、第２通信状態から第１通信状態に切り替えるように制御するように構成される第１処理ユニットと、
第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアするように構成される第２処理ユニットと、
を含む、電子装置。
【請求項９】
少なくとも一つの画像情報を収集するように構成される画像収集ユニットをさらに含み、
前記第２処理ユニットは、第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、前記ビデオフレームを前記少なくとも一つの第２電子装置に送信するように構成される、
請求項８に記載の電子装置。
【請求項１０】
第１タッチ操作エリアに対して操作する時間の長さが第１閾値より長いと検出された場合、第１操作を検出したと確定し、前記第１タッチ操作エリアに対するタッチ操作をキャンセルしたと検出された場合、第２操作を検出したと確定するように構成されるタッチ検出ユニット、
をさらに含む、請求項９に記載の電子装置。
【請求項１１】
少なくとも一つの第２電子装置から送信してきた少なくとも一つのビデオフレームを解析するように構成される解析ユニットをさらに含み、
前記第２処理ユニットは、少なくとも一つの第２電子装置から送信してきた第２ビデオフレームを受信するように構成される、
請求項９又は１０に記載の電子装置。
【請求項１２】
前記第２処理ユニットは、少なくとも一つのビデオフレームを前記少なくとも一つの第２電子装置のうちの全ての第２電子装置に送信するように構成され、
又は、
前記第２処理ユニットは、前記少なくとも一つの第２電子装置のうちからターゲット第２電子装置を選出し、前記少なくとも一つのビデオフレームを前記ターゲット第２電子装置に送信するように構成される、
請求項９に記載の電子装置。
【請求項１３】
音声データを収集し、音声データにタイムスタンプを追加するように構成される音声収集ユニットをさらに含み、
前記画像収集ユニットは、ビデオフレームを収集した時に、収集されたビデオフレームに対応するタイムスタンプを追加するように構成される、
請求項１１に記載の電子装置。
【請求項１４】
前記第１処理ユニットは、音声データ内の音声及びタイムスタンプを解析し、解析されたタイムスタンプによって音声データを出力するように制御するように構成され、
前記解析ユニットは、ビデオフレーム及びそれに対応するタイムスタンプを解析し、解析されたタイムスタンプによってビデオフレームを出力するように制御するように構成される、
請求項１３に記載の電子装置。
【請求項１５】
電子装置であって、
プロセッサ、メモリ、マイク及びカメラを含み、
前記メモリは、実行する時に、少なくとも一つのプロセッサに操作を実行させるための命令セットを記憶するように構成され、
前記プロセッサは、第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行い、第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアし、第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御するように構成される、
前記電子装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理分野の通信管理技術に関し、特に通信処理方法及び電子装置に関する。
【背景技術】
【０００２】
技術の発展に伴い、ネットワーク電話（ＶＯＩＰ：Ｖｏｉｃｅ  ｏｖｅｒ  Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）に基づく現在の音声インタラクション製品において、通話の参加者全員が単に音声通話だけを行うか、それとも単にビデオ通話だけを行い、しかも、基本的にビデオ通話を閉じると共に、今回の通話もまるごと閉じられている。このようなビデオ通話のコミュニケーション方式には以下の二つの欠点がある。第１に、片方により一方的にビデオをシェアすることができない。例えば、双方のうち、片方が相手側をビデオ通話に招待した場合、相手側がビデオ通話に応答さえすれば、自分のカメラが自動的に起動されてビデオフレームを収集し始める。当時、相手側が応答の都合がよくない場合、通常、招待側の招待を直接に拒否し、今回の通話を終了する。だが、このようなケースでは、招待側の意図は、相手側のビデオを同時に見る必要がなく、単に自分のビデオを相手側とシェアすることだけを望んでいる可能性がある。第２に、通話中、ビデオを実施するか否かを制御する主導権がない。例えば、いつ自分のビデオを開閉するかを随時に制御することができず、即ち、自分がビデオを起動する時に、通話の参加者は自分のビデオを見ることができるが、そうではない場合、自分がビデオを終了する時に、通話の参加者は自分のビデオを見ることができない。
【０００３】
そのため、先行技術においては、通話の参加者はビデオフレームをシェアするタイミングを主動的に制御することができず、サーバの処理リソースの使用を低減することができなく、通話双方の滑らかさ（流暢度）を保つことができない。
【発明の概要】
【０００４】
これを鑑みて、本発明の実施例は、通信処理方法及び電子装置を提供して、少なくとも先行技術における上記の課題を解決することを目的とする。
【０００５】
本発明の実施例は通信処理方法を提供し、第１電子装置に適用し、前記方法は、
前記第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行うことと、
第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアすることと、
第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御することと、
を含む。
【０００６】
本発明の実施例はさらに、電子装置を提供し、
第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行い、第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御するように構成される第１処理ユニットと、
第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアするように構成される第２処理ユニットと、
を含む。
【０００７】
本発明の実施例に提供されている通信処理方法及び電子装置は、ユーザが第１通信状態にある時に、音声データだけをインタラクションすることができ、第１操作に応答して、電子装置を第２通信状態に切り替えるように制御し、音声データの伝送のみならず、その上また現在収集されたビデオフレームもシェアし、第２操作に応答して、電子装置は再び第１通信状態に切り替えられる。このように、音声通信のインタラクションの過程において、ユーザがビデオフレームのインタラクションのタイミングを自在に制御することができ、通信時のビデオフレーム及び音声データを持続的に転送するのに使用されるサーバの処理リソースを低減し、通話双方のなめらかさを保つことができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施例における通信処理方法フローを示す図である。
【図２】本発明の実施例における接続場面を示す図である。
【図３】本発明の実施例におけるビデオフレーム送信のインターフェースを示す図である。
【図４】本発明の実施例におけるビデオフレームの送信及び解析フローを示す図である。
【図５】本発明の実施例におけるビデオフレームのインタラクションのフローを示す図である。
【図６】本発明の実施例におけるビデオフレームのインタラクションを終了するフローを示す図である。
【図７】本発明の実施例におけるビデオフレームを二人で共有する操作インターフェースを示す図である。
【図８】本発明の実施例におけるビデオフレームを複数の人で共有するフローを示す図である。
【図９】本発明の実施例におけるビデオフレームを複数の人で共有する操作インターフェースを示す図である。
【図１０】本発明の実施例における電子装置の構成を示す第１の図である。
【図１１】本発明の実施例における電子装置の構成を示す第２の図である。
【図１２】本発明の実施例における電子装置の構成を示す第３の図である。
【発明を実施するための形態】
【０００９】
下記において、図面及び具体的な実施例を参照して、本発明の実施例をより詳しく説明する。
【００１０】
実施例１
本発明の実施例は通信処理方法を提供し、第１電子装置に適用し、図１に示すように、前記方法はステップ１１〜１３を含む。
【００１１】
ステップ１１において、前記第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行う。
【００１２】
ステップ１２において、第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアする。
【００１３】
ステップ１３において、第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御する。
【００１４】
ここで、前記第１電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
【００１５】
前記第２電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
【００１６】
好ましくは、ステップ１１を実施する前に、前記第１電子装置は少なくとも一つの第２電子装置と通信接続を確立することが可能であり、例えば、図２に示すように、第１電子装置２１が第２電子装置２２１と第２電子装置２２２への通信接続を確立する。
【００１７】
なお、本実施例において、第１電子装置と第２電子装置との通信接続の確立方式は、移動セルラネットワークを介して接続を確立してもよく、ＩＰネットワークを介して接続を確立してもよい。
【００１８】
本実施例において、前記第１電子装置が少なくとも一つの第２電子装置と音声データのインタラクションを行う前に、前記第１電子装置はさらに音声収集ユニットを起動して音声の収集を行うことができ、収集された音声を用いてコーディングして音声データを得る。ここで、前記音声収集ユニットはマイクであってもよい。
【００１９】
上記のステップ１２において、前記第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアすることは、
第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持することと、
少なくとも一つのビデオフレームを収集し、前記少なくとも一つのビデオフレームを前記少なくとも一つの第２電子装置に送信することと、
を含む。
【００２０】
ここで、前記少なくとも一つのビデオフレームは、少なくとも一つの画像情報を用いて、収集時刻に基づいて組み合わせして得られた少なくとも一つのビデオフレームであってもよい。
【００２１】
ここで、前記収集した少なくとも一つのビデオフレームは、カメラを起動し、カメラを介して周期的に収集したものであってもよい。ここで、前記周期は、カメラの性能によって設定してもよく、例えば、２ｍｓ毎に一回画像情報を収集して、一つのビデオフレームとするように設定してもよい。
【００２２】
好ましくは、本実施例において、第１操作又は第２操作に応答する前に、第１操作又は第２操作の検出も行い、具体的に、下記の通りである。
【００２３】
前記第１操作に応答する前に、前記方法はさらに、第１タッチ操作エリアに対して操作する時間の長さが第１閾値より大きいと検出された場合、第１操作を検出したと確定することを含む。
【００２４】
前記第２操作に応答する前に、前記方法はさらに、前記第１タッチ操作エリアに対するタッチ操作をキャンセルしたと検出された場合、第２操作を検出したと確定することを含む。
【００２５】
ここで、前記第１タッチ操作エリアは、実際の状況に応じて設定されたタッチ操作を検出するためのタッチポイント、又は、タッチ操作を検出するための予め設定されたエリアであってもよい。
【００２６】
前記タッチポイントは少なくとも、タッチポイントの横座標と縦座標を含むことが可能であり、前記予め設定されたエリアは少なくとも、該エリアの左下角の横縦座標と右上角の横縦座標を含む。
【００２７】
また、前記第１タッチ操作エリアは、図３に示すように第１電子装置上に表示されているバーチャルボタン３１と表現されてもよい。
【００２８】
前記操作時間の長さは、ユーザが前記第１タッチ操作エリアを押下する時間の長さであってもよく、言い換えれば、ユーザが前記第１タッチ操作エリアを押下した場合、カメラを起動するように制御し、ユーザが第１タッチ操作エリアの押下操作をキャンセルしたことを検出するまで、カメラを介して少なくとも一つのビデオフレームを収集して、少なくとも一つの第２電子装置に送信する。
【００２９】
そのため、上記の技術案によって、ユーザが第１通信状態にある時に、音声データだけをインタラクションし、第１操作に応答して、電子装置を第２通信状態に切り替えるように制御し、音声データの伝送のみならず、その上また現在収集された画像ファイルのビデオフレームもシェアし、第２操作に応答して、電子装置は再び第１通信状態に切り替えかれることができる。このようにすれば、音声通信のインタラクションの時に、ユーザが画像ファイルのビデオフレームのインタラクションのタイミングを自在に制御することができ、それによって、通信時の画像ファイルのビデオフレーム及び音声データを持続的に転送するのに使用されるサーバの処理リソースを低減し、通話双方のなめらかさを保つことができる。
【００３０】
実施例２
本発明の実施例は通信処理方法を提供し、第１電子装置を適用し、図１に示すように、前記方法は、ステップ１１〜１３を含む。
【００３１】
ステップ１１において、前記第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行う。
【００３２】
ステップ１２において、第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアする。
【００３３】
ステップ１３において、第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御する。
【００３４】
ここで、前記第１電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
【００３５】
前記第２電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
【００３６】
好ましくは、ステップ１１を実施する前に、前記第１電子装置は少なくとも一つの第２電子装置と通信接続を確立することが可能であり、例えば、図２に示すように、第１電子装置２１が第２電子装置２２１と第２電子装置２２２への通信接続を確立する。
【００３７】
なお、本実施例において、第１電子装置と第２電子装置との通信接続の確立方式は、移動セルラネットワークを介して接続を確立してもよく、ＩＰネットワークを介して接続を確立してもよい。
【００３８】
本実施例において、前記第１電子装置が少なくとも一つの第２電子装置と音声データのインタラクションを行う前に、前記第１電子装置はさらに音声収集ユニットを起動して音声の収集を行うことができ、収集された音声を用いてコーディングして音声データを得る。ここで、前記音声収集ユニットはマイクであってもよい。
【００３９】
本実施例と実施例１との相違点としては、上記ステップ１２において、前記第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアすることは、
少なくとも一つの第２電子装置より送信された少なくとも一つのビデオフレームを受信することと、
少なくとも一つの第２電子装置より送信された前記少なくとも一つのビデオフレームを解析することと、
を含む。
【００４０】
ここで、前記ビデオフレームを解析することは、第１電子装置がビデオの解析機能によってビデオフレームを解析し、一つ又は複数のビデオフレームに対応されている画像を得ることであってもよい。
【００４１】
そのため、上記の技術案によって、ユーザが第１通信状態にある時に、音声データだけをインタラクションし、第１操作に応答して、電子装置を第２通信状態に切り替えるように制御し、音声データの伝送のみならず、その上また現在収集されたビデオフレームもシェアし、第２操作に応答して、電子装置は再び第１通信状態に切り替えられることができる。このようにすれば、音声通信のインタラクションの時に、ユーザがビデオフレームのインタラクションのタイミングを自在に制御することができ、それによって、通信時のビデオフレーム及び音声データを持続的に転送するのに使用されるサーバの処理リソースを低減し、通話双方のなめらかさを保つことができる。
【００４２】
実施例３
本発明の実施例は通信処理方法を提供し、第１電子装置を適用し、図１に示すように、前記方法は、ステップ１１〜１３を含む。
【００４３】
ステップ１１において、前記第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行う。
【００４４】
ステップ１２において、第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアする。
【００４５】
ステップ１３において、第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御する。
【００４６】
ここで、前記第１電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
【００４７】
前記第２電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
【００４８】
好ましくは、ステップ１１を実施する前に、前記第１電子装置は少なくとも一つの第２電子装置と通信接続を確立することが可能であり、例えば、図２に示すように、第１電子装置２１が第２電子装置２２１と第２電子装置２２２への通信接続を確立する。
【００４９】
なお、本実施例において、第１電子装置と第２電子装置との通信接続の確立方式は、移動セルラネットワークを介して接続を確立してもよく、ＩＰネットワークを介して接続を確立してもよい。
【００５０】
本実施例において、前記第１電子装置が少なくとも一つの第２電子装置と音声データのインタラクションを行う前に、前記第１電子装置はさらに音声収集ユニットを起動して音声の収集を行うことができ、収集された音声を用いてコーディングして音声データを得る。ここで、前記音声収集ユニットはマイクであってもよい。
【００５１】
上記の二つの実施例との相違点としては、本実施例は一つの場面を提供し、該場面において、第１電子装置は、ビデオフレームを収集して送信するだけではなく、ビデオフレームを受信して表示することもできる。具体的に、下記の通りである。
【００５２】
上記ステップ１２において、前記第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアすることは、
第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つのビデオフレームを収集し、前記少なくとも一つのビデオフレームを前記少なくとも一つの第２電子装置に送信することと、
また、少なくとも一つの第２電子装置より送信された少なくとも一つのビデオフレームを受信し、第２電子装置より送信された少なくとも一つのビデオフレームを解析することと、
を含み、前記第２電子装置より送信されたビデオフレームを解析した後に、前記ビデオフレームをレンダリングして表示することもできる。
【００５３】
好ましくは、本実施例において、前記ビデオフレームを送信することは、
ビデオフレームのシェア要求をシグナリングサーバに送信することと、
前記シグナリングサーバによって前記ビデオフレームのシェア要求を少なくとも一つの第２電子装置に送信することと、
カメラを起動し、少なくとも一つの画像情報を収集し、前記画像情報をコーディングしてビデオフレームを得ることと、
ビデオフレームをデータサーバに送信することと、
前記データサーバより前記ビデオフレームを前記少なくとも一つの第２電子装置に転送することと、
を含み、ここで、前記シグナリングサーバは、ＶＯＩＰシグナリングサーバであってもよく、移動セルラネットワークのシグナリングサーバであってもよく、
前記データサーバは、ＶＯＩＰデータサーバであってもよく、又は移動セルラネットワーク内のデータサーバであってもよい。
【００５４】
好ましくは、本実施例において、ビデオフレーム、又は音声データに、対応するタイムスタンプをそれぞれ追加することによって、送信されたビデオフレーム及び音声データの受信端における同期を保証し、具体的に、音声データを収集した時に、音声データにタイムスタンプを追加し、ビデオフレームを収集した時に、収集されたビデオフレームに対応するタイムスタンプを追加する。ここで、前記タイムスタンプは音声データ又はビデオフレームを収集した時刻であってもよい。
【００５５】
前記少なくとも一つの第２電子装置より送信された前記少なくとも一つのビデオフレームを解析することは、
音声データ内の音声とタイムスタンプを解析し、ビデオフレームとそれに対応するタイムスタンプを解析することと、
解析されたタイムスタンプに基づいて、音声データとビデオフレームを出力するように制御することと、
を含む。
【００５６】
本実施例において、前記解析されたタイムスタンプに基づいて、音声データとビデオフレームを出力するように制御する方式は、同じタイムスタンプを有する音声データとビデオフレームとを同時に出力することであってもよい。
【００５７】
好ましくは、本実施例において、第１操作又は第２操作に応答する前に、第１操作又は第２操作の検出も行い、具体的に、下記の通りである。
【００５８】
前記第１操作に応答する前に、前記方法はさらに、第１タッチ操作エリアに対して操作する時間の長さが第１閾値より大きいと検出された場合、第１操作を検出したと確定することを含む。
【００５９】
前記第２操作に応答する前に、前記方法はさらに、前記第１タッチ操作エリアに対するタッチ操作をキャンセルしたと検出された場合、第２操作を検出したと確定することを含む。
【００６０】
ここで、前記第１タッチ操作エリアは、実際の状況に応じて設定されたタッチ操作を検出するためのタッチポイント、又は、タッチ操作を検出するための予め設定されたエリアであってもよい。タッチポイントは少なくとも、タッチポイントの横座標と縦座標を含むことが可能であり、前記予め設定されたエリアは少なくとも、該エリアの左下角の横縦座標と右上角の横縦座標を含む。
【００６１】
また、前記第１タッチ操作エリアは、図３に示すように第１電子装置上に表示されているバーチャルボタン３１と表現されてもよい。本実施例において、前記第１タッチ操作エリアを押下してトリガーされる機能を「一瞥」操作と設定してもよい。
【００６２】
前記操作時間の長さは、ユーザが前記第１タッチ操作エリアを押下する時間の長さであってもよく、言い換えれば、ユーザが前記第１タッチ操作エリアを押下した場合、カメラを起動するように制御し、ユーザが第１タッチ操作エリアの押下操作をキャンセルすることを検出するまで、カメラを介して少なくとも一つのビデオフレームを収集する。
【００６３】
さらに、本実施例において、前記少なくとも一つの第２電子装置とビデオフレームをシェアすることは、
ビデオフレームを前記少なくとも一つの第２電子装置のうちの全ての第２電子装置に送信すること、
又は、
前記少なくとも一つの第２電子装置のうちからターゲット第２電子装置を選出し、前記ビデオフレームを前記ターゲット第２電子装置に送信すること、
を含む。
【００６４】
言い換えれば、第１電子装置は、複数の電子装置と音声データのインタラクションを行う第１通信状態の後に、第２通信状態に切り替えて、収集された画像を全ての第２電子装置に送信するように選択してもよく、複数の電子装置から一つのターゲット装置を選出して、画像を選出されたターゲット装置に送信してもよい。
【００６５】
そのため、上記の技術案によって、ユーザが第１通信状態にある時に、音声データだけをインタラクションし、第１操作に応答して、電子装置を第２通信状態に切り替えるように制御し、音声データの伝送のみならず、その上また現在収集されたビデオフレームもシェアし、第２操作に応答して、電子装置は再び第１通信状態に切り替えられることができる。このようにすれば、音声通信のインタラクションの時に、ユーザがビデオフレームのインタラクションのタイミングを自在に制御することができ、それによって、通信時のビデオフレーム及び音声データを持続的に転送するのに使用されるサーバの処理リソースを低減し、通話双方のなめらかさを保つことができる。
【００６６】
実施例４
本実施例において、シグナリングサーバとデータサーバがＶＯＩＰシグナリングサーバとＶＯＩＰデータサーバであることを例として、ビデオフレームの伝送操作を説明する。
【００６７】
図４に示すように、リアルタイムビデオの簡単な実現フローチャートを示しており、ここで、ＶＯＩＰシグナリングサーバは、主に通話過程における状態に対して制御と同期を行い、データサーバは、主にビデオ又は音声データに対して転送（透過伝送）を行い、下記、Ｍ１とＭ２という二つの装置の間でリアルタイムビデオを行うフローを説明し、ここで装置Ｍ１が第１電子装置であり、装置Ｍ２が第２電子装置である。
【００６８】
１．Ｍ１はカメラ装置を起動し、ビデオフレームを収集する。
【００６９】
２．ビデオコーデックエンジンは、Ｍ１より収集されたビデオフレームに対してエンコーディング処理を行う。
【００７０】
３．ビデオフレームをエンコーディングしてから、Ｍ１はそれに対してネットワークのパケット化を行い、ＵＤＰ方式でＶＯＩＰデータサーバに送信する。
【００７１】
４．ＶＯＩＰデータサーバは、ビデオフレームを装置Ｍ２に透過伝送する。
【００７２】
５．装置Ｍ２は、ビデオフレームを受信して解凍する。
【００７３】
６．ビデオコーデックエンジンは、ビデオフレームに対してデコーディング処理を行う。
【００７４】
７．装置Ｍ２は、デコーディングされたビデオフレームに対してレンダリングと表示を行う。
【００７５】
好ましくは、本実施例において、二つの電子装置の間の音声データとビデオフレームのインタラクション操作の例示、および１対多の電子装置の間の音声データとビデオフレームのインタラクション操作の例示をそれぞれ提供している。
【００７６】
例示１．二人の間の「一瞥」インタラクションは、リアルタイムビデオ技術に基づく遊び方であり、ここで、一つのボタン（類似な形式に限定されない）を提供し、ボタンを持続的に押下して相手側へのリアルタイムビデオの送信が始まり、ボタンを放すと、相手側へのリアルタイムビデオの送信が完了する。ユーザＡとユーザＢの間の「一瞥」インタラクションのフローを例として、４種類のインタラクションのケースが含まれ、図５に示すように、二人の間の「一瞥」は、リアルタイムビデオ技術に基づくものであり、ここで一つのボタンを提供し、ユーザＡが装置により提供されている表示インターフェースにより提供されている第１タッチ操作エリア、即ち一つのバーチャルボタンを持続的に押下した時に、「一瞥」操作がトリガーされ、言い換えれば、ユーザＢ、即ち第２電子装置にリアルタイム的に収集されたビデオフレームを送信する操作を開始するようにトリガーされる。それに対して、ボタンを放すと、「一瞥」操作が完了し、相手側へのリアルタイムビデオの送信を終了する。具体的に、下記のケースを含む。
【００７７】
ケース１は、一方向のビデオのシェアである。
【００７８】
１）〜２）ユーザＡがボタンを持続的に押下し、ビデオのシェア要求をＶＯＩＰシグナリングサーバに送信し、カメラを起動し、ビデオの収集を開始する。ここで、前記ボタンは、実際の状況に応じて設定されたボタンであってもよい。
【００７９】
３）ユーザＡがビデオのシェアを要求したことをＶＯＩＰシグナリングサーバよりユーザＢに通知する。
【００８０】
４）〜５）ユーザＡが収集されたリアルタイムビデオフレームをＶＯＩＰデータサーバに送信し、そしてＶＯＩＰデータサーバがビデオフレームをユーザＢに透過伝送する。
【００８１】
６）ユーザＢがユーザＡからのリアルタイムビデオフレームを受信してから、３）の通知を受信しているか否かをまずチェックし、受信した場合、ビデオフレームのレンダリングと表示を行う。
【００８２】
ケース２は、双方向のビデオのシェアである。
【００８３】
７）〜８）ケース１の上で、ユーザＢもビデオのシェア要求をＶＯＩＰシグナリングサーバに送信し、カメラを起動してビデオフレームを収集する。
【００８４】
９）ユーザＢが「一瞥」を開始したことをＶＯＩＰシグナリングサーバよりユーザＡに通知する。
【００８５】
１０）〜１１）ユーザＢが収集されたリアルタイムビデオフレームをＶＯＩＰデータサーバに送信し、そしてＶＯＩＰデータサーバがビデオフレームをユーザＡに透過伝送する。
【００８６】
１２）ユーザＡがユーザＢからのリアルタイムビデオフレームを受信してから、９）の通知を受信しているか否かをまずチェックし、受信した場合、ビデオフレームのレンダリングと表示を行う。このようにユーザＡとＢの間のリアルタイムビデオを同時的にシェアするフローが完了する。
【００８７】
ケース３は、片方がビデオのシェアを終了することである。
【００８８】
１３）〜１４）ユーザＡがボタンを放し、ＶＯＩＰシグナリングサーバにビデオのシェア終了要求を送信し、カメラのビデオフレームの収集を停止し、それと同時に、ＶＯＩＰデータサーバにはユーザＡからのビデオフレームをそれ以上受信することがない。
【００８９】
１５）ユーザＡがビデオのシェアを終了したことをＶＯＩＰシグナリングサーバよりユーザＢに通知する。
【００９０】
１６）ユーザＢには、ユーザＡからのビデオフレームをそれ以上受信することがなく、１５）の通知を受信した上で、一方向のビデオのシェアに切り替える。
【００９１】
ケース４は、双方がビデオのシェアを終了することである。
【００９２】
１７）〜１８）ケース３の上で、ユーザＢもボタンを放し、ＶＯＩＰシグナリングサーバにビデオのシェア終了要求を送信し、カメラのビデオフレームの収集を停止し、通常の音声通話のインタラクションに切り替え、それと同時に、ＶＯＩＰデータサーバには、ユーザＢからのビデオフレームをそれ以上受信することがない。
【００９３】
１９）ユーザＢがビデオのシェアを終了したことをＶＯＩＰシグナリングサーバよりユーザＡに通知する。
【００９４】
２０）ユーザＡにはユーザＢからのビデオフレームをそれ以上受信することがなく、１９）の通知を受信した上で、通常の音声通話のインタラクションに切り替える。
【００９５】
二つの電子装置の間で音声データのインタラクションを行う前提で、本実施例より提供されている音声データ及びビデオフレームのインタラクションは、図６〜７に示す通りである。
【００９６】
図６のインターフェース６１は、ユーザＡが第１通信状態にある第１電子装置を介して、ユーザＢの第２電子装置と音声データのインタラクションを行う場面であり、「撮影」ボタン６１１を長押しすることを「ビデオのシェアを要求する」のバーチャルボタンとする。
【００９７】
そしてから、片方のビデオフレーム送信を開始し、ユーザＡの第１電子装置の操作インターフェースがインターフェース６２に入り、インターフェース６２に現在収集されているビデオフレームを表示し、現在通話時間の長さと「リアルタイムシェア中」という文字も表示され、ここで、指のスクリーン上の移動に伴って、バーチャルボタン６１１も移動される。
【００９８】
受信側のユーザＢがユーザＡからのフレームビデオを受信した時に、一つの簡単な着信音が鳴ることが可能であり、ユーザＢの表示インターフェース６３に、送信側より送信されたビデオフレーム画面を全画面表示し、同時に現在通話時間の長さと「相手側が、リアルタイムシェア中」という文字を表示する。受信側のユーザＢは、該当インターフェース６３において、予め設定されているボタン６３１をタッチ操作エリアとし、ボタン６３１を押下することによって、第２電子装置の「ビデオのシェア」機能を起動し、双方向ビデオのシェアに入ることができる。
【００９９】
双方のビデオのシェアとしては、双方向ビデオのシェアに入ってから、双方のインターフェースは、図７内のインターフェース６４とインターフェース６５にそれぞれ示される通りである。インターフェース６４とインターフェース６５において、円形エリア６４１及び円形エリア６５１によって自分自身のカメラで撮影されている内容を表示し、同時に、円形エリアは、指のスクリーン上の移動に伴って移動され、全画面エリアにおいては、相手側のビデオフレーム画面を表示する。この場面において、片方は先にボタンを放すと、放すほうはインターフェース６３に戻ることが可能であり、放していないほうはインターフェース６２に戻る。双方とも放すと、両方ともインターフェース６１に戻る。
【０１００】
例示２
本実施例はさらに、図８に示すような複数人（３人及びそれ以上）の間の「一瞥」インタラクションを提供し、これもリアルタイムビデオ技術に基づく遊び方であり、だが、二人の間の形式と異なり、同一時刻において一人しかビデオのシェアを開始することができず、複数人が同時にビデオのシェア要求を行う場合、ＶＯＩＰシグナリングサーバは判定を行って、ビデオのシェア要求が最初にＶＯＩＰシグナリングサーバに到達したユーザに、ビデオのシェア要求の成功を返信し、その他の人にビデオのシェア要求の失敗を返信し、その他の人がビデオのシェアを成功裏に行いたい場合、現在のビデオをシェアしているユーザが終了するまで待ってから、シェアを成功裏に開始することが可能である（ここで、複数人のビデオのシェアの争いと理解してもよい）。複数のユーザＡ１〜Ａｎの間のビデオのシェアのインタラクションのフローを例として、下記の二つのインタラクションのケースが含まれる。
【０１０１】
ケース１はビデオのシェア開始である。
【０１０２】
１）ユーザＡ１〜Ａｎのうちの幾つかのユーザは、同時にビデオのシェア要求を複数人ＶＯＩＰシグナリングサーバに送信する。
【０１０３】
２）複数人ＶＯＩＰシグナリングサーバは、受信されたビデオのシェア要求の前後順位に基づいて判定を行い、要求が最初に受信されたユーザＡ１にビデオのシェアの成功を返信し、その他のユーザにビデオのシェア要求の失敗を返信する。
【０１０４】
３）複数人ＶＯＩＰシグナリングサーバはその他のユーザに、ユーザＡ１が「一瞥」を開始していることを通知する。
【０１０５】
４）ユーザＡ１はカメラを起動し、ビデオフレームを収集し始める。
【０１０６】
５〜６）ユーザＡ１が収集されたリアルタイムビデオフレームを複数人ＶＯＩＰデータサーバに送信してから、ＶＯＩＰデータサーバはビデオフレームをその他のユーザに透過伝送する。
【０１０７】
７）その他のユーザはユーザＡ１からのリアルタイムビデオフレームを受信してから、３)の通知が受信されているか否かをまずチェックし、既に受信されている場合、ビデオフレームのレンダリングと表示を行う。
【０１０８】
ケース２はビデオのシェアの終了である。
【０１０９】
８〜９）ケース１の上で、ユーザＡ１はボタンを放し、複数人ＶＯＩＰシグナリングサーバにシェア終了要求を送信し、同時にカメラがビデオフレームの収集を停止し、通常の複数人の音声通話状態に切り替えかれ、それと同時に、ＶＯＩＰデータサーバには、ユーザＡ１からのビデオフレームをそれ以上受信することがない。
【０１１０】
１０）ＶＯＩＰシグナリングサーバは、ユーザＡ１が「一瞥」を終了したことをその他のユーザに通知する。
【０１１１】
１１）その他のユーザには、ユーザＡ１からのビデオフレームをそれ以上受信することがなく、１０）の通知を受信した上で、通常の複数人の音声通話のインタラクションに切り替える。
【０１１２】
図９に示すように、各効果図に関する説明は下記順の通りである。
【０１１３】
複数人の通話インターフェース９１は複数人のビデオのシェアの入れ口であり、インターフェース９１において、第１タッチ操作エリアをトリガーする操作として、「撮影」９１１ボタンを長押して、即ちビデオのシェア機能を起動し、同時に一つの簡単な着信音が鳴ることも可能である。ビデオのシェア機能を起動することによって、インターフェース９２に入り、インターフェース９２に入ってから「争い」という過程があり、「争い」に成功した場合、インターフェース９２に保持し、そうではない場合、インターフェース９１に戻り、又はインターフェース９３を表示し、その他の人の「一瞥」データを受信する。
【０１１４】
インターフェース９２において、即ちビデオのシェア機能に入ってから、自分自身のカメラで撮影されている内容を全画面で表示し、現在通話時間の長さと「リアルタイムシェア中」という文字を表示し、ここで、ボタンは指のスクリーン上の移動に伴って移動され、ボタンを放すと、インターフェース９１に戻る。
【０１１５】
インターフェース９３においては、複数がビデオフレームを共有する時に、画像を共有していない装置は、招待側よりビデオフレームを送信してきた時に、一つの簡単な着信音が鳴ることも可能であり、そして招待側より送信してきたビデオフレーム画面を全画面で表示し、同時に現在通話時間の長さと「誰々が、リアルタイムシェア中」と言う文字を表示する。
【０１１６】
そのため、上記の技術案によって、ユーザが第１通信状態にある時に、音声データだけをインタラクションし、第１操作に応答して、電子装置を第２通信状態に切り替えるように制御し、音声データの伝送のみならず、その上また現在収集された画像ファイルのビデオフレームもシェアし、第２操作に応答して、電子装置は再び第１通信状態に切り替えかれることができる。このようにすれば、音声通信のインタラクションの時に、ユーザが画像ファイルのビデオフレームのインタラクションのタイミングを自在に制御することができ、それによって、通信時の画像ファイルのビデオフレーム及び音声データを持続的に転送するのに使用されるサーバの処理リソースを低減し、通話双方のなめらかさを保つことができる。
【０１１７】
実施例４
本発明の実施例は電子装置を提供し、図１０に示すように、
前記第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行い、第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御するように構成される第１処理ユニット１００１と、
第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアするように構成される第２処理ユニット１００２と、
を含む。
【０１１８】
ここで、前記第１電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
【０１１９】
前記第２電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
【０１２０】
好ましくは、前記第１電子装置は少なくとも一つの第２電子装置と通信接続を確立することが可能であり、例えば、図２に示すように、第１電子装置２１が第２電子装置２２１と第２電子装置２２２への通信接続を確立する。
【０１２１】
なお、本実施例において、第１電子装置と第２電子装置との通信接続の確立方式は、移動セルラネットワークを介して接続を確立してもよく、ＩＰネットワークを介して接続を確立してもよい。
【０１２２】
本実施例において、前記第１電子装置が少なくとも一つの第２電子装置と音声データのインタラクションを行う前に、前記第１電子装置はさらに音声収集ユニットを起動して音声の収集を行うことができ、収集された音声を用いてコーディングして音声データを得る。ここで、前記音声収集ユニットはマイクであってもよい。
【０１２３】
前記電子装置はさらに、少なくとも一つの画像情報を収集するための画像収集ユニット１００３を含む。
【０１２４】
それに応じて、前記第２処理ユニット１００２は、具体的に第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、収集された前記少なくとも一つの画像情報を用いて、第１ビデオフレームを生成し、前記第１ビデオフレームを前記少なくとも一つの第２電子装置に送信するように用いられる。
【０１２５】
ここで、前記少なくとも一つの画像情報を収集することは、カメラを起動して、カメラが周期的に画像情報を収集することによって、少なくとも一つの画像情報を得ることであってもよい。ここで、前記周期はカメラの性能に基づいて設定することが可能であり、例えば、１０ｍｓ毎に一回の画像情報を収集するように設定してもよい。
【０１２６】
又は、前記少なくとも一つの画像情報を収集することは、カメラを起動してピクチャを撮影して、１枚の画像だけを収集することであってもよく、前記画像をビデオフレームとする。
【０１２７】
好ましくは、前記電子装置はさらに、タッチ検出ユニット１００４を含み、第１タッチ操作エリアに対して操作する時間の長さが第１閾値より大きいと検出された場合、第１操作を検出したと確定し、前記第１タッチ操作エリアに対するタッチ操作をキャンセルしたと検出された場合、第２操作を検出したと確定するように用いられる。
【０１２８】
ここで、前記第１タッチ操作エリアは、実際の状況に応じて設定されたタッチ操作を検出するためのタッチポイント、又は、タッチ操作を検出するための予め設定されたエリアであってもよい。ここで、前記タッチポイントは少なくとも、タッチポイントの横座標と縦座標を含むことが可能であり、前記予め設定されたエリアは少なくとも、該エリアの左下角の横縦座標と右上角の横縦座標を含む。
【０１２９】
また、前記第１タッチ操作エリアは、図３に示すように第１電子装置上に表示されているバーチャルボタン３１と表現されてもよい。
【０１３０】
前記操作時間の長さは、ユーザが前記第１タッチ操作エリアを押下する時間の長さであってもよく、言い換えれば、ユーザが前記第１タッチ操作エリアを押下した場合、カメラを起動するように制御し、ユーザが第１タッチ操作エリアの押下操作をキャンセルすることを検出するまで、カメラを介して少なくとも一つの画像情報を収集し、前記少なくとも一つの画像情報をビデオフレームとする。
【０１３１】
図４に示すように、本実施例でビデオフレームを伝送する簡単な実現フローチャートを示しており、ここで、ＶＯＩＰシグナリングサーバは、主に通話過程における状態に対して制御と同期を行い、シグナリングサーバにおいて、通話過程の制御と同期を行うインタラクション方式はＴＣＰを使用することであり、データサーバは、主にビデオ又は音声データに対して転送（透過伝送）を行い、ＵＤＰプロトコルを従ってデータを転送する。
【０１３２】
以下において、第１電子装置と第２電子装置という二つの装置の間でリアルタイムビデオを行う過程を説明する。
【０１３３】
第１電子装置はカメラ装置を起動し、画像情報を収集し、ビデオコーデックエンジンは、画像情報に対してエンコーディング処理を行い、エンコーディングされたビデオフレームをネットワークのパケット化を行い、ＵＤＰ方式でデータサーバに送信し、前記データサーバはＶＯＩＰデータサーバであってもよい。
【０１３４】
ＶＯＩＰデータサーバより第２電子装置に透過伝送する。
【０１３５】
第２電子装置は、ビデオフレームを受信して解凍し、ビデオコーデックエンジンは、ビデオフレームに対してデコーディング処理を行い、デコーディングされたビデオフレームに対してレンダリングと表示を行う。
【０１３６】
そのため、上記の技術案によって、ユーザが第１通信状態にある時に、音声データだけをインタラクションし、第１操作に応答して、電子装置を第２通信状態に切り替えるように制御し、音声データの伝送のみならず、その上また現在収集された画像ファイルのビデオフレームもシェアし、第２操作に応答して、電子装置は再び第１通信状態に切り替えかれることができる。このようにすれば、音声通信のインタラクションの時に、ユーザが画像ファイルのビデオフレームのインタラクションのタイミングを自在に制御することができ、それによって、通信時の画像ファイルのビデオフレーム及び音声データを持続的に転送するのに使用されるサーバの処理リソースを低減し、通話双方のなめらかさを保つことができる。
【０１３７】
実施例５
本発明の実施例は電子装置を提供し、図１１に示すように、
前記第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行い、第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御するように構成される第１処理ユニット１１０１と、
第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアするように構成される第２処理ユニット１１０２と、
を含む。
【０１３８】
ここで、前記第１電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
【０１３９】
前記第２電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
【０１４０】
なお、本実施例において、第１電子装置と第２電子装置との通信接続の確立方式は、移動セルラネットワークを介して接続を確立してもよく、ＩＰネットワークを介して接続を確立してもよい。
【０１４１】
本実施例において、前記第１電子装置が少なくとも一つの第２電子装置と音声データのインタラクションを行う前に、前記第１電子装置はさらに音声収集ユニットを起動して音声の収集を行うことができ、収集された音声を用いてコーディングして音声データを得る。ここで、前記音声収集ユニットはマイクであってもよい。
【０１４２】
本実施例と実施例１との相違点としては、前記電子装置はさらに、前記第２ビデオフレームを解析して少なくとも一つの画像情報を得て、前記少なくとも一つの画像情報をそれぞれ表示するための、解析ユニット１１０３を含む。
【０１４３】
前記第２処理ユニット１１０２はさらに、少なくとも一つの第２電子装置から送信してきた第２ビデオフレームを受信するために用いられる。
【０１４４】
ここで、前記第２ビデオフレームを解析することは、第１電子装置が画像解析機能によって、ビデオフレームを解析して一つ又は複数の画像情報を得る。
【０１４５】
そのため、上記の技術案によって、ユーザが第１通信状態にある時に、音声データだけをインタラクションし、第１操作に応答して、電子装置を第２通信状態に切り替えるように制御し、音声データの伝送のみならず、その上また現在収集されたビデオフレームもシェアし、第２操作に応答して、電子装置は再び第１通信状態に切り替えられることができる。このようにすれば、音声通信のインタラクションの時に、ユーザがビデオフレームのインタラクションのタイミングを自在に制御することができ、それによって、通信時のビデオフレーム及び音声データを持続的に転送するのに使用されるサーバの処理リソースを低減し、通話双方のなめらかさを保つことができる。
【０１４６】
実施例６
本発明の実施例は電子装置を提供し、図１２に示すように、
前記第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行い、第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御するように構成される第１処理ユニット１２０１と
第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、少なくとも一つの第２電子装置とビデオフレームをシェアするように構成される第２処理ユニット１２０２と、
を含む。
【０１４７】
ここで、前記第１電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
【０１４８】
前記第２電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
【０１４９】
なお、本実施例において、第１電子装置と第２電子装置との通信接続の確立方式は、移動セルラネットワークを介して接続を確立してもよく、ＩＰネットワークを介して接続を確立してもよい。
【０１５０】
本実施例において、前記第１電子装置が少なくとも一つの第２電子装置と音声データのインタラクションを行う前に、前記第１電子装置はさらに音声収集ユニットを起動して音声の収集を行うことができ、収集された音声を用いてコーディングして音声データを得る。ここで、前記音声収集ユニットはマイクであってもよい。
【０１５１】
本実施例は一つの場面を提供し、該場面において、第１電子装置は、ビデオフレームを収集して送信するだけではなく、ビデオフレームを受信して表示することもできる。具体的に、前記電子装置はさらに、少なくとも一つの画像情報を収集するための画像収集ユニット１２０３を含み、それに応じて、前記第２処理ユニット１２０２は、具体的に第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持するように用いられる。収集された前記少なくとも一つの画像情報を用いて第１ビデオフレームを生成し、前記第１ビデオフレームを前記少なくとも一つの第２電子装置に送信する。
【０１５２】
また、前記電子装置はさらに、前記第２ビデオフレームを解析して少なくとも一つの画像情報を得て、前記少なくとも一つの画像情報をそれぞれ表示するための解析ユニット１２０５を含む。
【０１５３】
前記第２処理ユニット１２０２はさらに、少なくとも一つの第２電子装置から送信してきた第２ビデオフレームを受信するように用いられる。
【０１５４】
好ましくは、本実施例において前記ビデオフレームを送信することは、前記第２処理ユニット１２０２はビデオフレームのシェア要求をシグナリングサーバに送信することと、前記シグナリングサーバによって前記ビデオフレームのシェア要求を少なくとも一つの第２電子装置に送信することと、カメラを起動し、少なくとも一つの画像情報を収集し、前記画像情報をエンコーディングを行ってビデオフレームを得ることと、ビデオフレームをデータサーバに送信することと、
前記データサーバより前記ビデオフレームを前記少なくとも一つの第２電子装置に転送することと、
を含み、ここで、前記シグナリングサーバは、ＶＯＩＰシグナリングサーバであってもよく、移動セルラネットワークのシグナリングサーバであってもよく、
前記データサーバは、ＶＯＩＰデータサーバであってもよく、又は移動セルラネットワーク内のデータサーバであってもよい。
【０１５５】
ここで、前記少なくとも一つの画像情報を収集することは、カメラを起動して、カメラが周期的に画像情報を収集することによって、少なくとも一つの画像情報を得ることであってもよい。ここで、前記周期はカメラの性能に基づいて設定することが可能であり、例えば、１０ｍｓ毎に一回の画像情報を収集するように設定してもよい。
【０１５６】
又は、前記少なくとも一つの画像情報を収集することは、カメラを起動してピクチャを撮影して、１枚の画像だけを収集することであってもよく、前記画像をビデオフレームとする。
【０１５７】
前記電子装置はさらに、タッチ検出ユニット１２０４を含み、第１タッチ操作エリアに対して操作する時間の長さが第１閾値より大きいと検出された場合、第１操作を検出したと確定し、前記第１タッチ操作エリアに対するタッチ操作をキャンセルしたと検出された場合、第２操作を検出したと確定するように用いられる。
【０１５８】
ここで、前記第１タッチ操作エリアは、実際の状況に応じて設定されたタッチ操作を検出するためのタッチポイント、又は、タッチ操作を検出するための予め設定されたエリアであってもよい。ここで、前記タッチポイントは少なくとも、タッチポイントの横座標と縦座標を含むことが可能であり、前記予め設定されたエリアは少なくとも、該エリアの左下角の横縦座標と右上角の横縦座標を含む。
【０１５９】
また、前記第１タッチ操作エリアは、図３に示すように第１電子装置上に表示されているバーチャルボタン３１と表現されてもよい。
【０１６０】
前記操作時間の長さは、ユーザが前記第１タッチ操作エリアを押下する時間の長さであってもよく、言い換えれば、ユーザが前記第１タッチ操作エリアを押下した場合、カメラを起動するように制御し、ユーザが第１タッチ操作エリアの押下操作をキャンセルすることを検出するまで、カメラを介して少なくとも一つの画像情報を収集し、前記少なくとも一つの画像情報をビデオフレームとする。
【０１６１】
さらに、前記第２処理ユニット１２０２は、具体的にビデオフレームを前記少なくとも一つの第２電子装置のうちの全ての第２電子装置に送信するように用いられ、
又は、
前記第２処理ユニット１２０２は、具体的に前記少なくとも一つの第２電子装置のうちからターゲット第２電子装置を選出し、前記ビデオフレームを前記ターゲット第２電子装置に送信するように用いられる。
【０１６２】
言い換えれば、第１電子装置は、複数の電子装置と音声データのインタラクションを行う第１通信状態の後に、第２通信状態に切り替えて、収集された画像を全ての第２電子装置に送信するように選択してもよく、複数の電子装置から一つのターゲット装置を選出して、画像を選出されたターゲット装置に送信してもよい。
【０１６３】
前記電子装置はさらに、音声データを収集し、音声データにタイムスタンプを追加するための音声収集ユニット１２０６を含み、
前記画像収集ユニット１２０３は、具体的に、ビデオフレームを収集した時に、収集されたビデオフレームに対応するタイムスタンプを追加するように用いられる。
【０１６４】
前記第１処理ユニット１２０１は、具体的に音声データ内の音声及びタイムスタンプを解析し、解析されたタイムスタンプによって音声データを出力するように制御するために用いられ、前記解析ユニット１２０５は、具体的に、ビデオフレーム及びそれに対応するタイムスタンプを解析し、解析されたタイムスタンプによってビデオフレームを出力するように制御するために用いられる。
【０１６５】
そのため、上記の技術案によって、ユーザが第１通信状態にある時に、音声データだけをインタラクションし、第１操作に応答して、電子装置を第２通信状態に切り替えるように制御し、音声データの伝送のみならず、その上また現在収集された画像ファイルのビデオフレームもシェアし、第２操作に応答して、電子装置は再び第１通信状態に切り替えかれることができる。このようにすれば、音声通信のインタラクションの時に、ユーザが画像ファイルのビデオフレームのインタラクションのタイミングを自在に制御することができ、それによって、通信時の画像ファイルのビデオフレーム及び音声データを持続的に転送するのに使用されるサーバの処理リソースを低減し、通話双方のなめらかさを保つことができる。
【０１６６】
本願に提供されている幾つかの実施例において、開示されているデバイスと方法がその他の方式で実現されることが可能であることを理解すべきである。上記で説明したデバイスの実施例は例示的なものに過ぎず、例えば、前記ユニットの分け方が、単なる論理的な機能分けであり、実際、実現する時に他の分け方であってもよく、例えば、複数のユニット又はコンポーネントを別のシステムに結合し、又は集成してもよく、又は幾つかの技術的特徴を省略し、又は実施しなくてもよい。また、明示され、又は説明されている各構成部分の間のカップリング、又は直接のカップリング、又は通信接続は、幾つかのインターフェース、デバイス、又はユニットの間接のカップリング又は通信によって接続してもよく、電気的、機械的、又はその他の形式であってもよい。
【０１６７】
上記で分離部品として説明したユニットは、物理的に分離されるものであってもよく、物理的に分離されないものであってもよい。ユニットとしての部品は物理ユニットであってもよく、物理ユニットではないものであってもよい。一箇所に置かれてもよく、複数のネットワークユニットに配布してもよい。実際のニーズに応じて、その中の一部又は全部のユニットを選択して本実施例の技術案の目的を実現してもよい。
【０１６８】
また、本発明の各実施例の各機能ユニットは全て一つの処理ユニットに集成してもよく、各ユニットはそれぞれ単独なユニットとしてもよく、二つ又は二つ以上のユニットを一つのユニットに集成してもよく、上記の集成されたユニットはハードウェアの方式で実現してもよく、ハードウェアにソフトウェア機能ユニットを追加する方式で実現してもよい。
【０１６９】
当業者は、上記の方法の実施例の全部又は一部のステップを実現するのが、プログラムによって関連するハードウェアに指示して遂行してもよく、上記のプログラムがコンピュータの読み取り可能な記憶媒体に記憶されてもよく、該プログラムを実行する時に、上記方法の実施例を含むステップを実行し、そして、上記の記憶媒体は、移動記憶媒体、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、磁気ディスク又はコンパクトディスクなどの各種のプログラムコードが記憶できる媒体を含むことを理解すべきである。
【０１７０】
本実施例は、上記装置の実施例に基づいて具体的なハードウェアを提供し、電子装置は、少なくとも、プロセッサ、メモリ、マイク及びカメラを含む。
【０１７１】
ここで、前記プロセッサは、前記電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行い、第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、少なくとも一つの第２電子装置とビデオフレームをシェアし、第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御するように用いられる。
【０１７２】
上記に記載されているのは、単なる本発明の具体的な実施形態に過ぎず、本発明はそれに限定されず、当業者が本発明に開示されている範囲内において、容易に想到し得る変形又は置換は、本発明の範囲内に含まれるべきである。そのため、本発明の範囲は、記載されている特許請求の範囲に準じるべきである。
【図１】
2018515979.tif 000003
【図２】
2018515979.tif 000004
【図３】
2018515979.tif 000005
【図４】
2018515979.tif 000006
【図５】
2018515979.tif 000007
【図６】
2018515979.tif 000008
【図７】
2018515979.tif 000009
【図８】
2018515979.tif 000010
【図９】
2018515979.tif 000011
【図１０】
2018515979.tif 000012
【図１１】
2018515979.tif 000013
【図１２】
2018515979.tif 000014
【国際調査報告】
2018515979.tif 000015
2018515979.tif 000016
2018515979.tif 000017
2018515979.tif 000018