(57)【特許請求の範囲】
【請求項１】
ビデオコンテンツを再生するための方法であって、
ユーザによって入力された制御信号を取得するステップであって、前記制御信号が前記ユーザの操作意図を反映する、ステップと、
前記ユーザによって入力された前記制御信号に従って、前記ビデオコンテンツを表示する方式を決定するステップと、
前記ビデオコンテンツの特性情報および前記ビデオコンテンツを表示する前記方式に従って、ビデオ再生制御命令を決定するステップであって、前記ビデオ再生制御命令が再生開始位置および再生方式を備え、前記特性情報は、前記ビデオコンテンツのピクチャ内の物体の位置情報および前記ビデオコンテンツの前記ピクチャ内の対象コンテンツの運動情報を含み、前記再生開始位置は、再生されるべき対象フレームに対応し、前記再生方式は、前記ビデオコンテンツのピクチャ内のコンテンツを再生するための視角、復元方式、対象コンテンツをスキップして再生を続行することの少なくとも1つを含む、ステップと、
前記ビデオ再生制御命令の制御下で前記ビデオコンテンツを再生するステップと
を備え、
ユーザによって入力された制御信号を取得する前記ステップが、
前記ユーザの動作を検出し、前記制御信号を取得するために前記動作を構文解析するステップ
を備え、
前記動作は、手の振り、指回し、手の平の開き、または手首の回転を含む、方法。
【請求項２】
ビデオソースを取得するステップであって、前記ビデオソースが前記ビデオコンテンツを備える、ステップと、
ユーザによって入力された制御信号を取得する前記ステップの前に、前記ビデオコンテンツのプレビューピクチャを表示するか、または前記ビデオコンテンツを再生するステップと
をさらに備える、請求項1に記載の方法。
【請求項３】
前記制御信号が、前記動作の動作速度に応じて調整され、
前記ビデオコンテンツを表示する前記方式が、加速された速度で、減速された速度で、または通常速度で前記ビデオコンテンツを再生することと、特定の位置もしくは時間にジャンプした後に前記ビデオコンテンツを再生するか、または特定の位置もしくは時間から前記ビデオコンテンツを再生することとを備える、
請求項1に記載の方法。
【請求項４】
前記ビデオコンテンツを表示する前記方式が、順方向再生、逆方向再生、ループ再生、または再生停止を備え、
前記ユーザによって入力された前記制御信号に従って、前記ビデオコンテンツを表示する方式を決定する前記ステップが、
前記ユーザによって入力された前記制御信号に従って、前記ビデオコンテンツの順方向再生、逆方向再生、ループ再生、または再生停止を実施するステップ
を備える、請求項1または2に記載の方法。
【請求項５】
前記ユーザによって入力された前記制御信号に従って、前記ビデオコンテンツを表示する方式を決定する前記ステップが、
前記ユーザによって入力された前記制御信号に従って、ビデオコンテンツ再生の対象画像要件および運動方向要件を決定するステップであって、対象画像が対象フレームに対応する、ステップと、
ビデオコンテンツ再生の前記対象画像要件および前記運動方向要件に従って、前記ビデオコンテンツを表示する前記方式を決定するステップと
を備える、請求項1に記載の方法。
【請求項６】
前記方法が、
ビデオソースからのビデオフレーム、各ビデオフレームのフレーム番号、および前記ビデオコンテンツの前記特性情報を取得するために、前記ビデオソースを構文解析するステップ
をさらに備え、
前記ビデオコンテンツの特性情報および前記ビデオコンテンツを表示する前記方式に従って、ビデオ再生制御命令を決定する前記ステップが、
前記ビデオコンテンツの前記特性情報および前記ビデオコンテンツを表示する前記方式に従って、再生されるべき対象フレームのフレーム番号を決定するステップであって、前記対象フレームの前記フレーム番号がビデオ再生開始位置またはビデオ再生継続位置に対応する、ステップと、
前記対象フレームの前記フレーム番号および前記ビデオコンテンツを表示する前記方式に従って、前記対象フレームを再生するための再生順序を決定するステップであって、前記再生順序が前記対象フレームを再生する方式に対応する、ステップと
を備える、請求項1から5のいずれか一項に記載の方法。
【請求項７】
前記ビデオコンテンツの前記特性情報が対象コンテンツの運動情報を備え、
前記ビデオコンテンツの前記特性情報を取得するために前記ビデオソースを構文解析する前記ステップが、
ビデオ取込みの走査方向を取得するために前記ビデオソースを構文解析するステップであって、前記走査方向が前記対象コンテンツの前記運動情報である、ステップ、または
識別されたポイントの運動足跡を取得するために前記ビデオソースを構文解析し、前記識別されたポイントの前記運動足跡に従って前記対象コンテンツの前記運動情報を取得するステップ
を備える、請求項6に記載の方法。
【請求項８】
前記対象コンテンツの前記運動情報が、
前記対象コンテンツの運動特性を備え、前記運動特性が、左から右への、右から左への、上から下への、または下から上への前記対象コンテンツの回転
を備える、請求項7に記載の方法。
【請求項９】
端末デバイスであって、
ユーザによって入力された制御信号を取得するように構成された受信機回路であって、前記制御信号が前記ユーザの操作意図を反映する、受信機回路と、
前記ユーザによって入力された前記制御信号に従って、ビデオコンテンツを表示する方式を決定することと、前記ビデオコンテンツの特性情報および前記ビデオコンテンツを表示する前記方式に従って、ビデオ再生制御命令を決定することを行うように構成されたプロセッサであって、前記ビデオ再生制御命令が再生開始位置および再生方式を備え、前記特性情報は、前記ビデオコンテンツのピクチャ内の物体の位置情報および前記ビデオコンテンツの前記ピクチャ内の対象コンテンツの運動情報を含み、前記再生開始位置は、再生されるべき対象フレームに対応し、前記再生方式は、前記ビデオコンテンツのピクチャ内のコンテンツを再生するための視角、復元方式、対象コンテンツをスキップして再生を続行することの少なくとも1つを含む、プロセッサと、
前記ビデオ再生制御命令の制御下で前記ビデオコンテンツを表示し再生するように構成されたディスプレイと
を備え、
前記受信機回路が、具体的に、
前記ユーザの動作を検出し、前記制御信号を取得するために前記動作を構文解析すること、
を行うように構成され、
前記動作は、手の振り、指回し、手の平の開き、または手首の回転を含む、端末デバイス。
【請求項１０】
前記受信機回路が、ビデオソースを取得するようにさらに構成され、前記ビデオソースが前記ビデオコンテンツを備え、
前記ディスプレイが、前記受信機回路が前記ユーザによって入力された前記制御信号を取得する前に、前記ビデオコンテンツのプレビューピクチャを表示するか、または前記ビデオコンテンツを再生するようにさらに構成される、
請求項9に記載の端末デバイス。
【請求項１１】
前記受信機回路が、前記動作の動作速度に応じて前記制御信号を調整するようにさらに構成され、
前記プロセッサが、前記ユーザによって入力された前記制御信号に従って、前記ビデオコンテンツを表示する前記方式を決定し、前記ビデオコンテンツの前記特性情報および前記ビデオコンテンツを表示する前記方式に従って、前記ビデオ再生制御命令を決定するように構成され、前記ビデオ再生制御命令が前記再生開始位置および前記再生方式を備え、前記ビデオコンテンツを表示する前記方式が、順方向再生、逆方向再生、ループ再生、もしくは再生停止、または、加速された速度で、減速された速度で、もしくは通常速度で前記ビデオコンテンツを再生すること、特定の位置もしくは時間にジャンプした後に前記ビデオコンテンツを再生すること、または特定の位置もしくは時間から前記ビデオコンテンツを再生することを備える、
請求項9に記載の端末デバイス。
【請求項１２】
前記プロセッサが、具体的に、
前記ユーザによって入力された前記制御信号に従って、ビデオコンテンツ再生の対象画像要件および運動方向要件を決定することであって、対象画像が対象フレームに対応する、決定することと、
ビデオコンテンツ再生の前記対象画像要件および前記運動方向要件に従って、前記ビデオコンテンツを表示する前記方式を決定することと、
前記ビデオコンテンツの前記特性情報および前記ビデオコンテンツを表示する前記方式に従って、前記ビデオ再生制御命令を決定することであって、前記ビデオ再生制御命令が前記再生開始位置および前記再生方式を備える、決定することと
を行うように構成される、請求項9に記載の端末デバイス。
【請求項１３】
前記プロセッサが、ビデオソースからのビデオフレーム、各ビデオフレームのフレーム番号、および前記ビデオコンテンツの前記特性情報を取得するために、前記ビデオソースを構文解析することと、前記ビデオコンテンツの前記特性情報および前記ビデオコンテンツを表示する前記方式に従って、再生されるべき対象フレームのフレーム番号を決定することであって、前記対象フレームの前記フレーム番号がビデオ再生開始位置またはビデオ再生継続位置に対応する、決定することと、前記対象フレームの前記フレーム番号および前記ビデオコンテンツを表示する前記方式に従って、前記対象フレームを再生するための再生順序を決定することであって、前記再生順序が前記対象フレームを再生する方式に対応する、決定することとを行うようにさらに構成される、請求項9から12のいずれか一項に記載の端末デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マンマシン対話技術に関し、詳細には、いつでもどこからでもビデオコンテンツを再生するための対話方法および装置に関する。
【背景技術】
【０００２】
技術が進歩し、人々の要求が増大するにつれて、より多くのビデオが伝搬され視聴されている。しかしながら、現在、ビデオの再生は、ビデオコンテンツの単なる復元および再演にすぎない。一般に、ビデオは取り込まれたように復元される。人が物体または景観を包括的に観察したいとき、観察者および観察物が同じ空間内にない場合、解決策は物体についての全角度ビデオを撮ることであり、観察者はビデオを視ることによって任意の角度から物体または景観の詳細を知る。たとえば、典型的なシナリオは以下のようである：オンラインショップのオーナが商品を表示したい場合、オーナは、モバイルフォンなどの通常の撮影デバイスを使用して、商品のまわりを回って全角度ビデオを撮るだけでよく、その結果、購入者は、実物があたかも観察されているように商品を知ることができる。この方式の欠点は、観察者が撮られたビデオを視ることしかできず、ビデオコンテンツを再生する順序および方式が固定され、撮影された物体または景観をいつでもどこからでも視ることはできないということである。
【発明の概要】
【課題を解決するための手段】
【０００３】
本発明の実施形態は、いつでもどこからでもビデオコンテンツを再生するための対話方法を提供し、その結果、観察者は、各々の場所からビデオコンテンツ内の物体または景観を柔軟かつ任意に観察することができる。
【０００４】
本発明の実施形態の第1の態様は、
ユーザによって入力された制御信号を取得するステップであって、制御信号がユーザの操作意図を反映する、ステップと、ユーザによって入力された制御信号に従って、ビデオコンテンツを表示する方式を決定するステップと、ビデオコンテンツの特性情報およびビデオコンテンツを表示する方式に従って、ビデオ再生制御命令を決定するステップであって、ビデオ再生制御命令が再生開始位置および再生方式を含む、ステップと、ビデオ再生制御命令の制御下でビデオコンテンツを再生するステップと
を含む、ビデオを再生するための方法を提供する。
【０００５】
第1の態様の一実装方式では、方法は、ビデオソースを取得するステップであって、ビデオソースがビデオコンテンツを含む、ステップと、ユーザによって入力された制御信号を取得するステップの前に、ビデオのプレビューピクチャを表示するか、またはビデオコンテンツを再生するステップとをさらに含む場合がある。
【０００６】
第1の態様の一実装方式では、ユーザによって入力された制御信号を取得するステップが、ユーザの音声命令を受信し、制御信号を取得するために音声命令を構文解析するステップ、ユーザの動作を検出し、制御信号を取得するために制御動作を構文解析するステップ、制御信号を取得するためにユーザの視線の焦点の変化および焦点方向の変化を検出するステップ、または入力装置上でユーザによって実施された操作を検出することによって制御信号を取得するステップを含む。
【０００７】
第1の態様の一実装方式では、制御信号は、動作の動作速度または入力装置上でユーザによって実施された操作の動作速度に応じて調整され、ビデオコンテンツを表示する方式は、加速された速度で、減速された速度で、または通常速度でビデオを再生することと、特定の位置もしくは時間にジャンプした後にビデオを再生するか、または特定の位置もしくは時間からビデオを再生することとを含む。
【０００８】
前述の方式のうちのいずれか1つを参照して、一実装形態の解決策では、ビデオコンテンツを表示する方式は、順方向再生、逆方向再生、ループ再生、または再生停止をさらに含み、ユーザによって入力された制御信号に従って、ビデオコンテンツを表示する方式を決定するステップが、ユーザによって入力された制御信号に従って、ビデオコンテンツの順方向再生、逆方向再生、ループ再生、または再生停止を実施するステップを含む。
【０００９】
第1の態様の一実装方式では、ユーザによって入力された制御信号に従って、ビデオコンテンツを表示する方式を決定するステップが、ユーザによって入力された制御信号に従って、ビデオコンテンツ再生の対象画像要件および運動方向要件を決定するステップであって、対象画像が対象フレームに対応する、ステップと、ビデオコンテンツ再生の対象画像要件および運動方向要件に従って、ビデオコンテンツを表示する方式を決定するステップとを含む。
【００１０】
前述の方式のうちのいずれか1つを参照して、一実装形態の解決策では、方法は、ビデオソースからのビデオフレーム、各ビデオフレームのフレーム番号、およびビデオコンテンツの特性情報を取得するために、ビデオソースを構文解析するステップをさらに含み、ビデオコンテンツの特性情報およびビデオコンテンツを表示する方式に従って、ビデオ再生制御命令を決定するステップが、ビデオコンテンツの特性情報およびビデオコンテンツを表示する方式に従って、再生されるべき対象フレームのフレーム番号を決定するステップであって、対象フレームのフレーム番号がビデオ再生開始位置またはビデオ再生継続位置に対応する、ステップと、対象フレームのフレーム番号およびビデオコンテンツを表示する方式に従って、対象フレームを再生するための再生順序を決定するステップであって、再生順序が対象フレームを再生する方式に対応する、ステップとを含む。
【００１１】
さらに、ビデオコンテンツの特性情報は対象コンテンツの運動情報を含み、ビデオコンテンツの特性情報を取得するためにビデオソースを構文解析するステップが、ビデオ取込みの走査方向を取得するためにビデオソースを構文解析するステップであって、走査方向が対象コンテンツの運動情報である、ステップ、または識別されたポイントの運動足跡を取得するためにビデオソースを構文解析し、識別されたポイントの運動足跡に従って対象コンテンツの運動情報を取得するステップを含む。
【００１２】
第1の態様の前述の具体的な解決策の具体的な実装形態では、対象コンテンツの運動情報は対象コンテンツの運動特性を含み、運動特性は、左から右への、右から左への、上から下への、または下から上への物体の回転を含む。
【００１３】
本発明の実施形態の第2の態様は、ビデオを再生するための方法を提供し、方法は、ビデオソースを取得するステップであって、ビデオソースがビデオコンテンツを含む、ステップと、3次元画像を生成するためにビデオソース内のビデオコンテンツを構文解析するステップであって、3次元画像がビデオコンテンツ内に記録された物体を表示するために使用される、ステップと、ユーザによって入力された制御信号を取得するステップであって、制御信号がユーザの操作意図を反映する、ステップと、ユーザによって入力された制御信号に従って、3次元画像を表示する方式を決定し、3次元画像を表示するステップとを含む。
【００１４】
第2の態様の一実装方式では、ユーザによって入力された制御信号を取得することは、ユーザの音声命令を受信し、制御信号を取得するために音声命令を構文解析するステップ、ユーザの動作を検出し、制御信号を取得するために制御動作を構文解析するステップ、制御信号を取得するためにユーザの視線の焦点の変化および焦点方向の変化を検出するステップ、または入力装置上でユーザによって実施された操作を検出することによって制御信号を取得するステップを含む。
【００１５】
第2の態様の前述の具体的な解決策の具体的な実装形態では、ユーザによって入力された制御信号に従って、3次元画像を表示する方式を決定し、3次元画像を表示するステップは、制御信号に従って回転方式で3次元画像を表示するステップと、制御信号に従って視角が調整された後に3次元画像を表示するステップと、制御信号に従って拡大率が調整された後に3次元画像を表示するステップとを含む。
【００１６】
本発明の実施形態の第3の態様は、
ユーザによって入力された制御信号を取得するように構成された受信機回路であって、制御信号がユーザの操作意図を反映する、受信機回路と、ユーザによって入力された制御信号に従って、ビデオコンテンツを表示する方式を決定することと、ビデオコンテンツの特性情報およびビデオコンテンツを表示する方式に従って、ビデオ再生制御命令を決定することを行うように構成されたプロセッサであって、ビデオ再生制御命令が再生開始位置および再生方式を含む、プロセッサと、ビデオ再生制御命令の制御下でビデオコンテンツを表示し再生するように構成されたディスプレイと
を含む、端末デバイスを提供する。
【００１７】
第3の態様の一実装方式では、受信機回路は、ビデオソースを取得するようにさらに構成され、ビデオソースがビデオコンテンツを含み、ディスプレイは、受信機回路がユーザによって入力された制御信号を取得する前に、ビデオのプレビューピクチャを表示するか、またはビデオコンテンツを再生するようにさらに構成される。
【００１８】
一実装方式では、さらに、受信機回路は、具体的に、ユーザの音声命令を受信し、制御信号を取得するために音声命令を構文解析すること、ユーザの動作を検出し、制御信号を取得するために制御動作を構文解析すること、制御信号を取得するためにユーザの視線の焦点の変化および焦点方向の変化を検出すること、または入力装置上でユーザによって実施された操作を検出することによって制御信号を取得することを行うように構成される。
【００１９】
第3の態様の一実装方式では、受信機回路は、動作の動作速度または入力装置上でユーザによって実施された操作の動作速度に応じて制御信号を調整するようにさらに構成され、プロセッサは、ユーザによって入力された制御信号に従って、ビデオコンテンツを表示する方式を決定し、ビデオコンテンツの特性情報およびビデオコンテンツを表示する方式に従って、ビデオ再生制御命令を決定するように構成され、ビデオ再生制御命令は再生開始位置および再生方式を含み、ビデオコンテンツを表示する方式は、順方向再生、逆方向再生、ループ再生、もしくは再生停止、または、加速された速度で、減速された速度で、もしくは通常速度でビデオを再生すること、特定の位置もしくは時間にジャンプした後にビデオを再生すること、または特定の位置もしくは時間からビデオを再生することを含む。
【００２０】
さらに、第3の態様の一実装方式では、プロセッサは、具体的に、ユーザによって入力された制御信号に従って、ビデオコンテンツ再生の対象画像要件および運動方向要件を決定することであって、対象画像が対象フレームに対応する、決定することと、ビデオコンテンツ再生の対象画像要件および運動方向要件に従って、ビデオコンテンツを表示する方式を決定することと、ビデオコンテンツの特性情報およびビデオコンテンツを表示する方式に従って、ビデオ再生制御命令を決定することであって、ビデオ再生制御命令が再生開始位置および再生方式を含む、決定することとを行うように構成される。
【００２１】
前述の方式のうちのいずれか1つを参照して、第3の態様の一実装形態の解決策では、プロセッサは、ビデオソースからのビデオフレーム、各ビデオフレームのフレーム番号、およびビデオコンテンツの特性情報を取得するために、ビデオソースを構文解析することと、ビデオコンテンツの特性情報およびビデオコンテンツを表示する方式に従って、再生されるべき対象フレームのフレーム番号を決定することであって、対象フレームのフレーム番号がビデオ再生開始位置またはビデオ再生継続位置に対応する、決定することと、対象フレームのフレーム番号およびビデオコンテンツを表示する方式に従って、対象フレームを再生するための再生順序を決定することであって、再生順序が対象フレームを再生する方式に対応する、決定することとを行うようにさらに構成される。
【００２２】
本発明の実施形態の第4の態様は、
ビデオソースおよびユーザによって入力された制御信号を取得するように構成された受信機回路であって、ビデオソースがビデオコンテンツを含み、制御信号がユーザの操作意図を反映する、受信機回路と、3次元画像を生成するためにビデオソース内のビデオコンテンツを構文解析することであって、3次元画像がビデオコンテンツ内に記録された物体を表示するために使用される、構文解析することと、ユーザによって入力された制御信号に従って、3次元画像を表示する方式を決定することとを行うように構成されたプロセッサと、プロセッサの制御下で3次元画像を表示するように構成されたディスプレイと
を含む、端末を提供する。
【００２３】
第4の態様の一実装方式では、受信機回路は、具体的に、ビデオソースを取得するように構成され、さらに、具体的に、ユーザの音声命令を受信し、制御信号を取得するために音声命令を構文解析すること、ユーザの動作を検出し、制御信号を取得するために制御動作を構文解析すること、制御信号を取得するためにユーザの視線の焦点の変化および焦点方向の変化を検出すること、または入力装置上でユーザによって実施された操作を検出することによって制御信号を取得することを行うように構成される。
【００２４】
本発明の実施形態では、ビデオ再生制御命令は、ビデオコンテンツの特性情報およびビデオコンテンツを表示する方式に従って決定される。ビデオコンテンツを表示する方式は、ユーザによって入力された制御信号に従って決定され、したがって、ユーザは、ビデオコンテンツを柔軟に再生することができ、ユーザ（オペレータ、観察者、またはビデオを再生する人）の意図に応じて、任意の角度から全角度ビデオ内の物体を視ることができる。したがって、オペレータにとってビデオ内の物体を直接制御することと等価である対話プロセスはより便利であり、それにより、よりリアルな体験が提供され、個別化およびカスタマイズされた方式でビデオソース内のコンテンツを復元する方式の選択が実施される。本発明の実施形態における解決策により、記録されたビデオコンテンツを単に復元する代わりに、ユーザは、任意の視角、任意の再生順序、または任意の再生方式を使用することにより、ビデオコンテンツソースを表示することができる。ユーザは、制御命令を入力することにより、ビデオコンテンツを表示し再生する方式を決定することができ、その結果、ビデオを再生する人の意図に応じて、再生されるべきビデオコンテンツおよび再生方式が選択される。
【００２５】
本発明の実施形態における技術的解決策をより明確に記載するために、以下で、本発明の実施形態を記載するために必要とされる添付図面を簡単に記載する。明らかに、以下の説明における添付図面は本発明のいくつかの実施形態を示すにすぎず、当業者は、創造的な努力なしに、これらの添付図面から他の図面をさらに導出することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態による、いつでもどこからでもビデオを再生するための対話方法を実施するフローチャートである。
【図２】本発明の一実施形態による、スライディング操作の概略図である。
【図３】本発明の一実施形態による、左から右に回転する物体の全角度ビデオの概略図である。
【図４】本発明の一実施形態による、右から左に回転する物体の全角度ビデオの概略図である。
【図５】本発明の一実施形態による、上から下に回転する物体の全角度ビデオの概略図である。
【図６】本発明の一実施形態による、下から上に回転する物体の全角度ビデオの概略図である。
【図７】本発明の一実施形態による、いつでもどこからでもビデオ再生を実施するためのインテリジェント端末の概略構造図である。
【発明を実施するための形態】
【００２７】
本発明の目的、技術的解決策、および利点をより明確かつより包括的にするために、以下で、添付図面および実施形態を参照して、詳細に本発明をさらに記載する。本明細書に記載される具体的な実施形態は、本発明を説明するために使用されるにすぎず、本発明を限定するものではないことを理解されたい。
【００２８】
本発明の一実施形態では、たとえば、ビデオソースは、物体、画像、または環境に対して360度（またはおおよそ360度）のビデオ取込みを実施することによって取得され、その結果、物体または画像の比較的包括的なビデオ記録を取得することができる。ビデオソース内のビデオコンテンツは、ユーザによって入力された制御信号に従って決定されたビデオコンテンツを表示する方式により、カスタマイズおよび個別化された方式（再生位置、再生順序、再生方式、または再生視角）で復元される。本発明のこの実施形態では、ビデオを単に復元する代わりに、ビデオコンテンツの再生方式、再生位置などを定義することができる。
【００２９】
元のビデオソースから取り込まれたビデオコンテンツは、大きな環境についての包括的な情報であり得る。大きな環境内には複数の対象または物体が存在する。対象または物体ごとに、360度（またはおおよそ360度）のビデオ取込みが実施される。ビデオコンテンツを再生するプロセスでは、対象または物体を順次完全に表示することができる。さらに、ビデオを再生するプロセスでは、命令または制御ジェスチャ信号が受信された場合、ビデオの対象または時間期間は、続けて次の対象についての包括的な情報を表示するためにスキップすることができ、この対象はカスタマイズまたは個別化された方式でビデオコンテンツ内で表示することができる。このプロセスは、ビデオコンテンツを探索または照合することによって実施することができる。
【００３０】
本発明のこの実施形態では、ユーザによって入力された命令に基づいて、ビデオはビデオコンテンツの任意の位置および任意の時点から再生することができ、またはビデオ再生中、ビデオコンテンツ内の任意のクリップをスキップすることができる。たとえば、一実装形態では、ユーザの入力命令は早送り命令であり得る。ビデオ処理中、早送り時間期間は、対象に関する情報を表示するための時間期間に設定される。したがって、早送り制御信号は、現在の対象から次の対象またはユーザによって指定された対象にジャンプすることと一致することができ、ビデオの次の対象に対応するコンテンツは、ユーザによって制御される再生方式に従って再生される。ユーザはまた、音声入力により特定の景観または物体の画像を視聴し、一致した後、対応するジャンプされた位置から再生を開始することができる。
【００３１】
本発明の実施形態における技術的解決策をさらに記載するために、具体的な実施形態を使用することにより下記に説明が提供される。
【００３２】
図1は、本発明の一実施形態による、いつでもどこからでもビデオコンテンツを再生するための方法を実施するプロセスを示し、方法は以下を含む。
【００３３】
S101．ユーザによって入力された制御信号を取得し、制御信号はユーザの操作意図を反映する。
【００３４】
ユーザによって入力された制御信号は、タッチスクリーン上のスライディングなどの、インテリジェント端末上でユーザによって実施された操作（たとえば、タッチスクリーン上の操作）を検出することによってトリガおよび生成されるか、あるいはユーザによって入力された制御信号は、手の振り、指の移動、指回し、手の平の開きおよび手首の回転、注視もしくは視線の反らし、頭の移動、または体の移動などのユーザの制御動作を検出することによってトリガおよび生成される場合があるか、あるいはユーザによって入力された制御信号は、音声入力の場合もあり、音声入力はマイクロフォンを使用することによって検出される。
【００３５】
制御信号はユーザの操作意図を反映し、すなわち、制御信号は、ユーザがビデオに対して実施したい動作を反映し、ユーザの操作意図がシグナリングされた後に取得される制御信号である。
【００３６】
ユーザによって入力された制御信号が取得される。たとえば、タッチスクリーン上のスライディングは、左方向、右方向、上方向、および下方向のスライディング（図2a、図2c、図2e、および図2g）、ならびにおおよそ左方向、おおよそ右方向、おおよそ上方向、およびおおよそ下方向のスライディングを含む。たとえば、左方向のカーブ（図2b）はおおよそ左方向のスライディングと考えることもでき、右方向のカーブ（図2d）はおおよそ右方向のスライディングと考えることもでき、上方向のカーブ（図2f）はおおよそ上方向のスライディングと考えることもでき、下方向のカーブ（図2h）はおおよそ下方向のスライディングと考えることもできる。
【００３７】
同様に、手の振りまたは指の移動は、左方向、右方向、上方向、および下方向の振りまたは移動、ならびにおおよそ左方向、おおよそ右方向、おおよそ上方向、およびおおよそ下方向の振りまたは移動を含む。たとえば、左方向にカーブする振りまたは移動はおおよそ左方向の振りまたは移動と考えることもでき、右方向、上方向、および下方向の場合も同様である。
【００３８】
ユーザの入力はセンサを使用することによって取得され、指回しは、左方向の指回し、右方向の指回し、上方向の指回し、および下方向の指回しを含む。
【００３９】
ユーザの入力はセンサを使用することによって取得され、手の平の開きおよび手首の回転は、左から右への回転、右から左への回転、上から下への回転、および下から上への回転を含む。
【００４０】
ユーザの入力はセンサを使用することによって取得され、注視または視線の反らしは、ビデオのピクチャの上部を注視すること、または前方から上部に視線を反らすことを含む。同様に、注視または視線の反らしは、ビデオのピクチャの下部、左部、もしくは右部を注視すること、または前方から下部に、左部に、もしくは右部に視線を反らすことをさらに含む。
【００４１】
ユーザの音声入力はマイクロフォンを使用することによって取得され、音声命令は、「左に動け」および「左に曲がれ」などの命令または同様の意味の命令を含み、右方向、上方向、および下方向の命令は前述と同様である。特定の画像を再生する、たとえば、頂角でX物体のビデオを再生する、左から右にY物体のパノラマを再生するための音声命令は、ビデオの位置を決定するために出力される場合もある。
【００４２】
ユーザの入力はセンサを使用することによって取得され、頭の移動は、左前方への頭の移動、右前方への頭の移動、見上げること、または見下ろすことを含む。
【００４３】
ユーザの入力はセンサを使用することによって取得され、体の移動は、左前方もしくは前方への移動、上方向への体の移動、または下方向への体の移動を含む。
【００４４】
前述の方向については、ユーザは基準として使用される。前述の左側はユーザに対して左側であり、前述の右側はユーザに対して右側である。必然的に、一部のユーザは、ビデオのピクチャ内の物体を基準として使用して、「左」および「右」という概念を記述することに慣れており、この場合、「左」と「右」は対応する音声命令内で切り替えることができる。
【００４５】
この実施形態では、ユーザの入力を取得するために、以下の、タッチセンサを使用することによりユーザの指のスライディング動作を取得するステップと、カメラによって取り込まれた画像を解析することにより、または赤外線技術および超音波技術などの技術を使用することにより、ユーザのジェスチャ動作、またはユーザの頭の移動もしくは体の移動の方向を取得するステップと、視線追跡センサを使用することにより、ユーザの視線の焦点の変化または反らし方向の変化を取得するステップと、マイクロフォンを使用することによりユーザの音声を取得するステップとを含む、複数の方式のうちの1つの方式またはそれらの組合せを使用することができる。さらに、タッチセンサを使用することによりユーザの指のスライディングが取得された場合、ユーザの入力は、圧力センサを使用することによって取得されたユーザの操作の圧力を含む場合もある。
【００４６】
一実装形態では、たとえば、ユーザがビデオ画像内の物体を視たい場合、ユーザは、タッチスクリーンまたはジェスチャを使用することにより画像上の物体に対して操作を実施して、左から右に物体を回転させることおよび物体の画像を再生することなど、物体に対応するビデオを再生するようにビデオを制御することができる。
【００４７】
この実施形態では、ユーザによって入力された制御信号を取得することの前に、方法は、ビデオのプレビューピクチャを表示するか、またはビデオを再生することをさらに含む。
【００４８】
S102．ユーザによって入力された制御信号に従って、ビデオコンテンツを表示する方式を決定する。
【００４９】
ビデオコンテンツを表示する方式は、ユーザ（観察者またはビデオを再生する人）の意図を反映する。ビデオコンテンツを表示する方式は、ビデオのピクチャ内でコンテンツを再生するための視角、対象コンテンツの回転方向、復元方式、対象コンテンツをスキップして再生を続行することなどを含む。
【００５０】
ビデオコンテンツ再生の対象画像要件および運動方向要件は、ユーザによって入力された制御信号に従って決定され、対象画像は対象フレームに対応し、ビデオコンテンツを表示する方式は、ビデオコンテンツ再生の対象画像要件および運動方向要件に従って決定される。対象フレームが最初に決定され、対象フレームが決定された後、ビデオの位置を決定することができ、次いで制御信号に従って、早送りもしくは巻戻しが実施されるべきかどうか、またはビデオが左から右のシーケンスの視角から再生されるべきかどうかを判定することができる。制御信号に従って取得されるビデオコンテンツ再生の対象画像要件および運動方向要件が存在する。
【００５１】
ビデオのピクチャ内のコンテンツを視るための視角要件を決定することは、好ましくは、ユーザによって入力された運動方向および運動増分に従って視ている視角の変化を決定して、視るための視角要件を決定することを含む。
【００５２】
運動増分は、具定的に、スライディング足跡の開始点の変位増分および手の振れまたは指の移動の運動足跡の開始点の変位増分、指回し中の指の移動角度の変化、手の平の開きおよび手首の回転中の手首の回転角度の変化、注視または視線の反らし中の注視開始点から注視終了点までの視線の変位増分、各音声命令の出力中の事前設定された視角の変化、頭の移動の運動足跡の開始点の変位増分、ならびに体の移動の運動足跡の開始点の変位増分を含む。
【００５３】
たとえば、視角の増分DeltVは運動増分DeltXを使用することによって決定され、視角パラメータV＿iは累積によって取得される。V＿i＝V＿i−1＋DeltV＝V＿i−1＋alfa＊DeltXであり、ここで、alfa＞0であり、V＿iの値の間隔は［0，1］である。
【００５４】
ビデオのピクチャ内の物体に対する回転方向要件を決定することは、ユーザによって入力された運動方向を取得することを含み、ビデオのピクチャ内の物体に対する回転方向要件は、ユーザによって入力された運動方向と同じである。
【００５５】
S103．ビデオコンテンツの特性情報およびビデオコンテンツを表示する方式に従ってビデオ再生制御命令を決定し、ビデオ再生制御命令は再生開始位置および再生方式を含む。
【００５６】
ビデオ再生制御命令は、ユーザの意図、たとえば、ビデオのピクチャ内の物体を視るための視角要件およびユーザのビデオのピクチャ内の物体に対する回転方向要件を実装するために使用される。
【００５７】
ビデオ再生制御命令は、再生開始位置および再生方式を含む。再生開始位置は再生されるべき対象フレームに対応し、再生開始位置または再生継続位置は、対象フレームを決定することによって決定することができる。再生方式は、順方向（前向き）、逆方向（後ろ向き）、早送り、巻戻しなどの場合があり、物体または対象のまわりを回転する視角からビデオを再生する方式の場合がある。
【００５８】
一実装形態では、ビデオの特性情報は、ビデオのピクチャ内の物体の位置情報および対象コンテンツの運動情報を含む場合がある。運動情報は、たとえば、回転情報であり、ビデオのピクチャ内の物体の回転特性は、左から右への回転（図3a〜図3f）、右から左への回転（図4a〜図4f）、上から下への回転（図5a〜図5f）、および下から上への回転（図6a〜図6f）を含む。
【００５９】
本発明の一実施形態では、ビデオのピクチャ内の物体の回転特性を決定するために、1つの方法が提供される。この方法では、ビデオを撮るプロセス中、余分の回転方向情報が記録されることが必要とされる。撮影デバイスは、撮影プロセス中、3軸ジャイロスコープなどの運動状態センサが備えられる必要があり、撮影デバイスが被撮影物体を撮影する方向がビデオファイルに記録され、ビデオファイルが構文解析されるときに方向データが読み込まれ、その結果、被撮影物体の回転特性が決定される。
【００６０】
本発明の別の実施形態では、任意のビデオ内の物体の回転特性を解析するために、別の方法が提供される。この方法では、撮影プロセス中、余分の記録は必要とされない。具体的には、ビデオ内の物体を解析することができる。物体上の識別されたポイントが定義され、ビデオの通常再生中に識別されたポイントの運動記録が解析され、運動足跡の方向に従って物体の回転特性が決定される。
【００６１】
具体的な実装形態では、ビデオソースは、物体または画像に対して360度（またはおおよそ360度）のビデオ取込みを実施することによって取得され、その結果、物体または画像の包括的なビデオ記録を取得することができる。ビデオソース内のビデオコンテンツは、ユーザによって入力された制御信号に従って決定されたビデオコンテンツを表示する方式に従ってカスタマイズされた方式で復元される。
【００６２】
ビデオ再生制御命令を決定することは、適切なビデオ再生位置および適切なビデオ再生方式を決定することを含む。
【００６３】
ビデオ再生制御命令は、具体的に、ビデオの順方向再生または逆方向再生、再生開始位置または再生開始時間、早送りまたはジャンプの後の再生視角および再生位置または再生時間、ビデオのループ再生、加速された速度で、減速された速度で、または通常速度でビデオを再生すること、ならびにビデオの再生を一時停止または停止することを実施することができる。
【００６４】
物体を撮影するプロセスにおいて生成されるビデオは、本質的に、物体の全角度（360度またはおおよそ360度）のピクチャによって形成されたピクチャシーケンスであり、P’、すなわち圧縮されたピクチャシーケンスと、Q、すなわち走査方向（0が左から右を示し、1が右から左を示し、2が上から下を示し、3が下から上を示す）と、N＋1、すなわちピクチャの数とを含む3個のデータがビデオファイルに記録される。ピクチャシーケンスは、Piによって表され、ここで、iは0からNまでの範囲であり、Nは整数である。すなわち、ピクチャのシリアル番号はP0、P1、P2、…、およびPNである。走査方向は、撮影デバイス上の3軸ジャイロスコープによって決定され取得される。ピクチャの総数はN＋1である。
【００６５】
再生端末は、ビデオファイルを構文解析して、3個のデータ：P’、すなわち圧縮されたピクチャシーケンス、Q、すなわち走査方向、およびN＋1、すなわちピクチャの数を取得する。
【００６６】
ステップS102において決定された視ている視角Viに従って、対象フレームO＿iは以下の式を使用することによって計算される：
Q＝0またはQ＝2、O＿i＝V＿i＊（N＋1）、および
Q＝1またはQ＝3、O＿i＝（1−V＿i）＊（N＋1）
【００６７】
ビデオは撮影が完了した後に視られることがあり、この場合、撮影端末は再生端末でもある。ビデオが送信された後、再生端末は撮影端末とは異なる。一実装形態では、ビデオフレームの様々なタイプの情報を取得するためにビデオファイルを構文解析するプロセスは、ビデオを受信する再生端末上で完了することができるか、または撮影端末もしくは中間サービスデバイス上で完了することができる。ビデオフレームの様々なタイプの情報およびビデオコンテンツは、再生端末として動作する受信端末に一緒に送信される。
【００６８】
適切なビデオ再生方式を決定するための方法は、ビデオのピクチャ内の物体に対する回転方向要件とビデオのピクチャ内の物体の回転特性とを比較すること、および、2つが同じであるときに順方向にビデオを再生し、または2つが反対であるときに逆方向にビデオを再生することである。
【００６９】
たとえば、ユーザの入力は左から右のスライディングであり、それは、ユーザの回転方向要件が左から右であることを示し、ビデオのピクチャ内の物体も左から右に回転する。この場合、ユーザの回転方向要件は物体の回転特性と同じである。したがって、ビデオは順方向に対象フレームまで再生される。ビデオのピクチャ内の物体が右から左に回転する場合、ユーザの回転方向要件と物体の回転特性が反対であり、ビデオは逆方向に対象フレームまで再生される。
【００７０】
図4は説明用の一例として使用される。現在のビデオ再生フレームが4aであり、対象フレームが4cであり、ビデオのピクチャ内の物体の回転特性が左から右であり、タッチスクリーンデバイス上でビデオが表示されることが想定される場合、ユーザがビデオ上で右方向にスライドする、すなわち、ユーザによって入力された運動方向がビデオのピクチャ内の物体の回転特性と同じであるとき、ビデオは4a−4b−4cの順序で再生され、すなわち、ビデオは順方向に対象フレーム4cまで再生される。ユーザがビデオ上で左方向にスライドする、すなわち、ユーザによって入力された運動方向がビデオのピクチャ内の物体の回転特性と反対であるとき、ビデオは4a／4f−4e−4d−4cの順序で再生され、すなわち、ビデオは逆方向に対象フレーム4cまで再生される。
【００７１】
ビデオ再生制御命令は、ビデオのループ再生をさらに含む場合がある。具体的には、ビデオが最後または最初まで再生されると、ビデオは続けて最初または最後から再生することができ、その結果、ユーザは物体が連続して回転することを体験することができる。
【００７２】
ビデオ再生制御命令は、加速された速度で、減速された速度で、または通常速度でビデオを再生することを含む。具体的には、ユーザの入力がタッチスクリーン上のスライディング、手の振りまたは指の移動、指回し、手の平の開き、および手首の回転であるとき、ビデオは、ユーザの入力の速度に従って、加速された速度で、減速された速度で、または通常速度で再生される。ユーザの入力がタッチスクリーン上のスライディングであるとき、ビデオは、ユーザの入力の圧力値に従って、加速された速度で、減速された速度で、または通常速度で再生される。
【００７３】
ビデオ再生制御命令は、ビデオの再生を一時停止または停止することを含む。具体的には、ユーザが入力を一時停止または停止すると、ビデオも一時停止または停止され、その結果、ビデオを視る代わりに、ユーザは物体を実際に操作することを体験する。すなわち、ビデオは完全に再生されない場合があるが、ユーザの動作に従って再生される。一例として図5を使用すると、図5の物体は右から左に回転し、現在の再生フレームは5aであり、対象フレームは5dであり、ユーザの入力は右から左へのスライディングである。したがって、ビデオは順方向に再生される。ビデオが5dまで再生されたとき、ユーザが入力を一時停止し、すなわち、ビデオが5a−5b−5c−5dの順序に従って再生され、5dで一時停止され、次いでユーザの入力が左から右へのスライディングであるとき、ビデオは5dから逆方向に再生されることが想定される。ビデオが5bまで再生されたときにユーザが入力を一時停止し、すなわち、ビデオが5d−5c−5bの順序に従って再生され、5dで一時停止されることが想定される。
【００７４】
S104．ビデオ再生制御命令の制御下でビデオコンテンツを再生する。
【００７５】
さらに、本発明の別の実施形態では、本発明に実装される対話プロセスはビデオタイプのファイルであり、ビデオファイルによって占有される記憶空間は比較的大きいので、ユーザ機器の記憶空間に対する要件が比較的高いか、またはユーザ機器の実行速度が影響を受ける。本発明の実用的適用性を改善するために、本発明におけるビデオのピクチャ内の物体に対して3次元モデル化を実施することができ、ビデオソースが受信された後、ビデオソースは構文解析され、3次元画像が復元される。3次元画像を生成するためにビデオソース内のビデオコンテンツが構文解析され、3次元画像は、ビデオコンテンツ内に記録された物体を表示するために使用される。ディスプレイは3次元画像を表示し、ユーザ機器は、前述の方法を使用することにより、ユーザによって入力された制御信号を受信し、制御信号はユーザの操作意図を反映する。3次元画像を表示する方式は、ユーザによって入力された制御信号に従って決定され、3次元画像が表示される。
【００７６】
この実施形態では、全角度ビデオを撮る必要があるデバイスは深度センサを備えられ、3次元景観情報登録ソフトウェアならびにテクスチャ融合およびマッピングソフトウェアがデバイスにインストールされる。撮影プロセスでは、深度センサが有効にされ、その結果、全角度ビデオを撮るデバイスのカメラと深度センサが同期して動作し、撮影デバイスを保持する撮影者は、モデル化が必要な景観に対して連続撮影を実施する。具体的な実装プロセスでは、時間間隔が与えられる場合があり、深度センサは撮影を実施して、各時間間隔において深度センサの前面の3Dポイントクラウドデータの1フレームを取得し、時間tにおいて撮影によって取得されたポイントクラウドデータはFtによって表されるカメラは、同時に景観のピクチャ、すなわちテクスチャデータを撮り、テクスチャデータはItによって表される。撮影が完了した後、ポイントクラウドシーケンスおよび画像シーケンスは撮影デバイスに記憶され、ポイントクラウドシーケンスは、3次元景観情報登録ソフトウェアを使用することにより、高密度ポイントクラウドに登録され、このポイントクラウドは対象景観の3次元空間情報を反映する。
【００７７】
ポイントクラウドシーケンスに対して隣接フレーム間のローカル登録が最初に実施され、ポイントクラウドF＿j内のポイントu＿iごとに、u＿iに最も近いポイントv＿iを求めてF＿（j＋1）が探索され、対応関係（u＿i，v＿i）が確立される。2つのフレームのポイントクラウド内のすべての対応するポイント間の関係に従って、以下の対象関数が確立される：
【数１】
0006770061.tif 000002
ここで、nはポイントクラウドF＿jおよびF＿（j＋1）内のすべての対応するポイントペアの数である。Eが最小化されると、対応するポイント間の2乗ユークリッド距離の誤差が最小化され、最適化が完了すると、2つのフレームのポイントクラウド間の姿勢変更パラメータRおよびtを取得することができ、それにより、隣接フレーム間の登録が実施される。
【００７８】
隣接フレームのポイントクラウドの姿勢変更パラメータは、ローカル登録アルゴリズムを使用することによって計算され、ポイントクラウドシーケンス全体は、これらのパラメータに従って対象景観の高密度ポイントクラウドに統合することができ、T＿k（・）は、F＿kとF＿（k＋1）との間の姿勢変更パラメータ（p＿k）に従って所与のポイントクラウドに対して姿勢変更演算が実施されたことを示すために使用され、
すなわち、T＿k（・）＝R＿k（・）＋t＿kであり、以下の姿勢変更演算が再定義される：
【数２】
0006770061.tif 000003
ここで、k＝｛1，2，…，およびN−2｝であり、累積ポイントクラウドはF’によって表される：
【数３】
0006770061.tif 000004
。
【００７９】
撮影デバイス上のカメラと深度センサの相対姿勢はすでに決定されており、画像データおよびポイントクラウドデータは撮影によって同時に取得されるので、各ポイントクラウドフレームを撮る深度センサの空間姿勢パラメータが取得されると、各ピクチャを撮るカメラの空間姿勢パラメータも取得される。したがって、カメラによる撮影によって取得されたテクスチャデータ（画像）と景観高密度ポイントクラウドとの間の対応関係を構築することができ、高精細景観3次元復元モデルを形成するために、テクスチャ融合およびマッピングソフトウェアを使用することにより、高解像度テクスチャデータが景観の3次元モデルの中にレンダリングされる。
【００８０】
この場合、ステップS102において、視聴のためのユーザの視角要件は、ユーザの入力に従って直ちに決定することができる。ステップS103において、ビデオ内の対象フレームを決定するための具体的な方法では、ビデオ内の対象フレームは、視聴のための視角要件に対応するビデオ内の各フレームの空間姿勢パラメータに従って決定される。具体的には、対応する空間姿勢パラメータは、視聴のための視角に従って決定することができ、対応する空間姿勢パラメータに最も近い空間姿勢パラメータは、照合によりビデオ内のフレームの空間姿勢パラメータのセットから取得され、一致した空間姿勢パラメータに対応するフレームが対象フレームである。
【００８１】
図7は、本発明の一実施形態による、前述の方法を実施するためのインテリジェント端末70を示す。インテリジェント端末は、スマートフォン、モバイルパーソナルコンピュータ、メディアプレーヤ、およびポータブルオーディオビデオデバイスなどの、メディア再生機能を有する端末デバイスであり得る。説明を簡単にするために、この実施形態に関係する部分のみが示されている。インテリジェント端末は、体知覚対話を実施することができる。インテリジェント端末70は、前述の方法実施形態を実施するためのデバイスまたは装置であり、したがって、インテリジェント端末70の各構成要素または物理機能ハードウェアは、前述の方法実施形態内の各ステップを実施することができ、前述の方法実施形態内の各プロセスを実行することができる。したがって、インテリジェント端末は、前述の方法を使用して、いつでもどこからでもビデオコンテンツを再生する。
【００８２】
インテリジェント端末70は、アンテナ701、送信機回路702、受信機回路703、ディスプレイ704、プロセッサ705、メモリ706、バス707などを含む。インテリジェント端末70の構成要素は、バスシステム707を使用することによって一緒に結合される。データバスに加えて、バスシステム707は、電源バス、制御バス、および状態信号バスをさらに含む。しかしながら、説明を明確にするために、図の中の様々なバスはバスシステム707として示される。しかしながら、本発明のこの実施形態を実施するための端末では、たとえば、送信機回路702はオプションまたは不要の場合がある。インテリジェント端末70は、ビデオソースおよび信号を受信するように構成されるが、ビデオソースまたは信号を送信しない。本発明のこの実施形態では、アンテナもオプションまたは不要である。本発明のこの実施形態は、有線方式で実装される場合がある。いくつかの機能がこの解決策において影響を受ける場合があるが、有線方式もオプションである。メモリ706は、取得されたビデオソースを記憶するように構成される場合がある。
【００８３】
一実装形式では、提供されたインテリジェント端末70は、
ユーザによって入力された制御信号を取得するように構成された受信機回路703であって、制御信号がユーザの操作意図を反映する、受信機回路703と、
ユーザによって入力された制御信号に従って、ビデオコンテンツを表示する方式を決定することと、ビデオコンテンツの特性情報およびビデオコンテンツを表示する方式に従って、ビデオ再生制御命令を決定することであって、ビデオ再生制御命令が再生開始位置および再生方式を含む、決定することを行うように構成されたプロセッサ705と、
ビデオ再生制御命令の制御下でビデオコンテンツを表示し再生するように構成されたディスプレイ704と
を含む。
【００８４】
さらに、一方式では、受信機回路703はビデオソースを取得するようにさらに構成され、ビデオソースはビデオコンテンツを含む。この方式の解決策では、ディスプレイ704は、受信機回路がユーザによって入力された制御信号を取得する前に、ビデオのプレビューピクチャを表示するか、またはビデオコンテンツを再生するようにさらに構成される。別の実装方式では、受信機回路703は、ユーザの音声命令を受信し、制御信号を取得するために音声命令を構文解析すること、ユーザの動作を検出し、制御信号を取得するために制御動作を構文解析すること、制御信号を取得するためにユーザの視線の焦点の変化および焦点方向の変化を検出すること、または受信機回路に接続された入力装置上でユーザによって実施された操作を検出することによって制御信号を取得することを行うことができる。
【００８５】
前述の方式と組み合わせることができる方式では、受信機回路703は、動作の動作速度または受信機回路に接続された入力装置上でユーザによって実施された操作の動作速度に応じて、制御信号を調整するようにさらに構成される。さらに、プロセッサ705は、ユーザによって入力された制御信号に従ってビデオコンテンツを表示する方式を決定し、ビデオコンテンツの特性情報およびビデオコンテンツを表示する方式に従ってビデオ再生制御命令を決定するように構成され、ビデオ再生制御命令は再生開始位置および再生方式を含む。ビデオコンテンツを表示する方式は、順方向再生、逆方向再生、ループ再生、または再生停止、あるいは、加速された速度で、減速された速度で、もしくは通常速度でビデオを再生するか、特定の位置もしくは時間にジャンプした後にビデオを再生するか、または特定の位置もしくは時間からビデオを再生することを含む。
【００８６】
プロセッサ705は、具体的に、ユーザによって入力された制御信号に従って、ビデオコンテンツ再生の対象画像要件および運動方向要件を決定することであって、対象画像が対象フレームに対応する、決定することと、ビデオコンテンツ再生の対象画像要件および運動方向要件に従って、ビデオコンテンツを表示する方式を決定することと、ビデオコンテンツの特性情報およびビデオコンテンツを表示する方式に従って、ビデオ再生制御命令を決定することであって、ビデオ再生制御命令が再生開始位置および再生方式を含む、決定することとを行うことができる。
【００８７】
プロセッサは、ビデオソースを構文解析して、ビデオソースからのビデオフレーム、各ビデオフレームのフレーム番号、およびビデオコンテンツの特性情報を取得することと、ビデオコンテンツの特性情報およびビデオコンテンツを表示する方式に従って、再生されるべき対象フレームのフレーム番号を決定することであって、対象フレームのフレーム番号がビデオ再生開始位置またはビデオ再生継続位置に対応する、決定することと、対象フレームのフレーム番号およびビデオコンテンツを表示する方式に従って、対象フレームを再生するための再生順序を決定することであって、再生順序が対象フレームを再生する方式に対応する、決定することとをさらに行うことができる。
【００８８】
解決策を記載するために使用される別の実施形態では、受信機回路703はユーザの入力を取得するように構成される。好ましくは、受信機回路703は、具体的に、タッチセンサを使用することによりユーザの指のスライディング動作を取得することと、カメラによって取り込まれた画像を解析することにより、または赤外線技術および超音波技術などの技術を使用することにより、ユーザのジェスチャ動作、またはユーザの頭の移動もしくは体の移動の方向を取得することと、視線追跡センサを使用することにより、ユーザの視線の焦点の変化または反らし方向の変化を取得することと、マイクロフォンを使用することによりユーザの音声を取得することとを行うように構成され、ユーザの入力は、具体的に、タッチスクリーン上のスライディング、手の振りまたは指の移動、指回し、手の平の開きおよび手首の回転、注視または視線の反らし、音声命令の出力、頭の移動、および体の移動を含む。ユーザの入力は、ユーザの操作の圧力を含む場合もある。
【００８９】
ユーザの入力が取得され、タッチスクリーン上のスライディングは、左方向、右方向、上方向、および下方向のスライディング（図2a、図2c、図2e、および図2g）、ならびにおおよそ左方向、おおよそ右方向、おおよそ上方向、およびおおよそ下方向のスライディングを含む。たとえば、左方向のカーブ（図2b）はおおよそ左方向のスライディングと考えることもでき、右方向のカーブ（図2d）はおおよそ右方向のスライディングと考えることもでき、上方向のカーブ（図2f）はおおよそ上方向のスライディングと考えることもでき、下方向のカーブ（図2h）はおおよそ下方向のスライディングと考えることもできる。
【００９０】
同様に、手の振りまたは指の移動は、左方向、右方向、上方向、および下方向の振りまたは移動、ならびにおおよそ左方向、おおよそ右方向、おおよそ上方向、およびおおよそ下方向の振りまたは移動を含む。たとえば、左方向にカーブする振りまたは移動は、おおよそ左方向の振りまたは移動であると考えることもでき、右方向、上方向、または下方向にカーブする振りまたは移動は、おおよそ右方向、上方向、または下方向の振りまたは移動であると考えることもできる。
【００９１】
ユーザの入力が取得され、指回しは、左方向の回し、右方向の回し、上方向の回し、および下方向の回しを含む。
【００９２】
ユーザの入力が取得され、手の平の開きおよび手首の回転は、左から右への、右から左への、上から下への、および下から上への回転を含む。
【００９３】
ユーザの入力が取得され、注視または視線の反らしは、ビデオのピクチャの上部を注視すること、または前方から上部に視線が反らされることを含む。同様に、注視または視線の反らしは、ビデオのピクチャの下部、左部、もしくは右部を注視すること、または前方から下部、左部、もしくは右部に視線が反らされることをさらに含む。
【００９４】
ユーザの入力が取得され、音声命令は、「左に動け」および「左に曲がれ」などの命令または同じ意味の命令を含み、右方向、上方向、および下方向の命令は前述と同様である。
【００９５】
ユーザの入力が取得され、頭の移動は、左前方への頭の移動、右前方への頭の移動、見上げること、または見下ろすことを含む。
【００９６】
ユーザの入力が取得され、体の移動は、左前方もしくは前方への移動、上方向への体の移動、または下方向への体の移動を含む。
【００９７】
前述の方向については、ユーザは基準として使用される。前述の左側はユーザに対して左側であり、前述の右側はユーザに対して右側である。必然的に、一部のユーザは、ビデオのピクチャ内の物体を基準として使用して、「左」および「右」という概念を記述することに慣れており、この場合、対応する音声命令内で「左」と「右」を切り替えることができる。
【００９８】
プロセッサ705は、ユーザの入力に従ってユーザの意図を決定し、ユーザの意図およびビデオの特性に従ってビデオ再生制御命令を決定するように構成される。ユーザの意図を決定することは、ビデオのピクチャ内の物体を視るための視角要件およびビデオのピクチャ内の物体に対する回転方向要件を特定することを含む。ビデオのピクチャ内の物体を視るための視角要件を決定することは、場合によっては、ユーザによって入力された運動方向および運動増分に従って視ている視角の変化を決定し、次いで、視るための視角要件を決定することを含む。ビデオのピクチャ内の物体に対する回転方向要件を決定することは、ユーザによって入力された運動方向を取得することを含み、ビデオのピクチャ内の物体に対する回転方向要件は、ユーザによって入力された運動方向と同じである。ビデオ再生制御命令を決定することは、適切な再生位置および適切な再生方式を決定することを含む。ビデオ再生制御命令は、具体的に、ビデオの順方向再生または逆方向再生、ビデオのループ再生、加速された速度で、減速された速度で、または通常速度でビデオを再生すること、およびビデオの再生を一時停止または停止することを含む。適切なビデオ再生位置を決定するための方法は、ビデオのピクチャ内の物体を視るための視角要件に従ってビデオ内の対象フレームを決定することである。適切なビデオ再生方式を決定するための方法は、ビデオのピクチャ内の物体に対する回転方向要件とビデオのピクチャ内の物体の回転特性とを比較すること、および、2つが同じであるときに順方向にビデオを再生し、または2つが反対であるときに逆方向にビデオを再生することである。
【００９９】
プロセッサ705は、ビデオ再生制御命令を実行し、ディスプレイ704を制御して対応するビデオ画像を表示するように構成される。プロセッサ705は、ビデオのピクチャ内の物体の位置および回転特性をさらに決定することができる。ビデオのピクチャ内の物体の回転特性は、左から右への（図3）、右から左への（図4）、上から下への（図5）、および下から上への（図6）回転を含む。
【０１００】
さらに、実装方法における3次元画像の別の実施形態では、インテリジェントデバイスの構造は図7に示された構造であり得る。新しいインテリジェント端末70’として、インテリジェント端末70’は、ビデオソースおよびユーザによって入力された制御信号を取得するように構成された受信機回路703’であって、ビデオソースがビデオコンテンツを含み、制御信号がユーザの操作意図を反映する、受信機回路703’と、3次元画像を生成するためにビデオソース内のビデオコンテンツを構文解析することであって、3次元画像がビデオコンテンツ内に記録された物体を表示するために使用される、構文解析することと、ユーザによって入力された制御信号に従って、3次元画像を表示する方式を決定することとを行うように構成されたプロセッサ705’と、プロセッサの制御下で3次元画像を表示するように構成されたディスプレイ704’とを含む。
【０１０１】
一実装形態の解決策では、受信機回路703’は、具体的に、ビデオソースを取得するように構成され、さらに、具体的に、ユーザの音声命令を受信し、制御信号を取得するために音声命令を構文解析すること、ユーザの動作を検出し、制御信号を取得するために制御動作を構文解析すること、制御信号を取得するためにユーザの視線の焦点の変化および焦点方向の変化を検出すること、または受信機回路に接続された入力装置上でユーザによって実施された操作を検出することによって制御信号を取得することを行うように構成される。
【０１０２】
インテリジェント端末の各実施形態では、実施端末または端末によってビデオ再生を実施することについての詳細は、方法実施形態においてすでに記載されているので、解決策においては記載されない。方法のすべての部分は、本発明のこの実施形態において、インテリジェント端末によりビデオ再生を実施するために継承することができる。プロセッサは、他の構成要素と協働して、方法実施形態のステップおよび機能を完全に実施することができる。
【０１０３】
本発明のこの実施形態では、ビデオ再生制御命令は、ビデオコンテンツの特性情報およびビデオコンテンツを表示する方式に従って決定される。ビデオコンテンツを表示する方式は、ユーザによって入力された制御信号に従って決定され、したがって、ユーザは、ビデオコンテンツを柔軟に再生することができ、ユーザ（オペレータ、観察者、またはビデオを再生する人）の意図に応じて、任意の角度から全角度ビデオ内の物体を視ることができる。したがって、オペレータにとってビデオ内の物体を直接制御することと等価である対話プロセスはより便利であり、それにより、よりリアルな体験が提供され、個別化およびカスタマイズされた方式でビデオソース内のコンテンツを復元する方式の選択が実施される。
【符号の説明】
【０１０４】
70  インテリジェント端末
70’  インテリジェント端末
701  アンテナ
702  送信機回路
703  受信機回路
703’  受信機回路
704  ディスプレイ
704’  ディスプレイ
705  プロセッサ
705’  プロセッサ
706  メモリ
707  バスシステム、バス
【図１】
0006770061.tif 000005
【図２ａ】
0006770061.tif 000006
【図２ｂ】
0006770061.tif 000007
【図２ｃ】
0006770061.tif 000008
【図２ｄ】
0006770061.tif 000009
【図２ｅ】
0006770061.tif 000010
【図２ｆ】
0006770061.tif 000011
【図２ｇ】
0006770061.tif 000012
【図２ｈ】
0006770061.tif 000013
【図３ａ】
0006770061.tif 000014
【図３ｂ】
0006770061.tif 000015
【図３ｃ】
0006770061.tif 000016
【図３ｄ】
0006770061.tif 000017
【図３ｅ】
0006770061.tif 000018
【図３ｆ】
0006770061.tif 000019
【図４ａ】
0006770061.tif 000020
【図４ｂ】
0006770061.tif 000021
【図４ｃ】
0006770061.tif 000022
【図４ｄ】
0006770061.tif 000023
【図４ｅ】
0006770061.tif 000024
【図４ｆ】
0006770061.tif 000025
【図５ａ】
0006770061.tif 000026
【図５ｂ】
0006770061.tif 000027
【図５ｃ】
0006770061.tif 000028
【図５ｄ】
0006770061.tif 000029
【図５ｅ】
0006770061.tif 000030
【図５ｆ】
0006770061.tif 000031
【図６ａ】
0006770061.tif 000032
【図６ｂ】
0006770061.tif 000033
【図６ｃ】
0006770061.tif 000034
【図６ｄ】
0006770061.tif 000035
【図６ｅ】
0006770061.tif 000036
【図６ｆ】
0006770061.tif 000037
【図７】
0006770061.tif 000038