(57)【要約】本願は、外見上のカメラパスを既存のビデオから、変更された様式化されたビデオへと変更することを対象とする。水平及び垂直移動、回転、並びにズームのようなカメラモーションパラメータは、インタラクティブ制御のイコライザー様の組によるものを含め、個々に変更されてよい。カメラモーションパラメータは、他のビデオクリップから得られたモーションデータのようなプリセットデータをロードすることによっても、設定されてよい。
2017515366.tif 000002
【特許請求の範囲】
【請求項１】
ビデオを様式化するシステムであって、
インタラクティブなユーザインターフェイスコンポーネントと、
前記インタラクティブなユーザインターフェイスコンポーネントへ結合されるか又はそれを組み込むカメラ様式化コントローラと
を有し、
前記インタラクティブなユーザインターフェイスコンポーネントは、既存のビデオを取得し、該既存のビデオに対応する１つ以上のモーションパラメータ値の電力レベルの調整を可能にするよう構成され、該調整は、前記既存のビデオの当初のカメラモーションとは異なる外見上のカメラモーションを有する変更されたビデオへと前記既存のビデオを変更するように前記電力レベルを増大させることを含む、
システム。
【請求項２】
前記ユーザインターフェイスコンポーネントは、前記１つ以上のモーションパラメータ値に対応するプリセットデータをロードするよう構成されるロードメカニズムを有する、
請求項１に記載のシステム。
【請求項３】
前記ユーザインターフェイスコンポーネントは、仮想制御若しくは物理制御、又は仮想制御及び物理制御の両方を有する、
請求項１に記載のシステム。
【請求項４】
前記カメラ様式化コントローラは、電力レベルの周波数ドメイン調整を可能にするよう構成される、
請求項１に記載のシステム。
【請求項５】
他のビデオクリップからモーションデータを得るよう構成されるモーション取得コンポーネント
を更に有する請求項１に記載のシステム。
【請求項６】
既に存在するビデオの外見上のカメラモーションを選択的に制御する方法であって、
コンピュータデバイスによって、既存のビデオからのモーションパラメータ値を、編集されたビデオの調整されたモーションパラメータ値へと調整することを有し、該調整することは、夫々のモーションパラメータのための調整可能なモーション設定に基づき複数のモーションパラメータのための独立して制御可能なモーションパラメータ値を制御することを含み、
前記モーションパラメータ値を制御することは、少なくとも１つのモーションパラメータについて、当初のモーション信号を電力データに対応するドメイン表現へと変換し、該電力データの電力レベルを前記ドメイン表現における１つ以上のドメイン範囲のうちの少なくとも１つ内で変更し、前記ドメイン表現を、前記当初のモーション信号を変更されたモーション信号へと調整するデータへと逆変換することを有する、
方法。
【請求項７】
インタラクティブなユーザインターフェイスを介して前記調整可能なモーションパラメータ値を得ること
を更に有する請求項６に記載の方法。
【請求項８】
プリセットデータから前記調整可能なモーションパラメータ値を得ること
を更に有する請求項６に記載の方法。
【請求項９】
他のビデオクリップから前記プリセットデータの少なくとも一部を得ること
を更に有する請求項８に記載の方法。
【請求項１０】
実行される場合に、
コンピュータデバイスによって、既存のビデオクリップの当初のカメラモーションパスに対応する当初のビデオ信号から当初のカメラモーションパラメータ値を取得するステップと、
前記当初のカメラモーションパラメータ値のドメイン表現を計算するステップであり、該ドメイン表現は、前記当初のカメラモーションパラメータの夫々についての複数のドメイン帯域を含む、ステップと、
調整された電力レベルへの夫々のドメイン帯域における個々の電力レベル設定の調整のためのインターフェイスを提供するステップと、
前記調整された電力レベルの逆ドメイン表現に対応する変更データを計算するステップと、
前記変更データに基づき前記当初のカメラモーションパラメータ値を変更して、前記当初のカメラモーションパスとは異なる外見上のカメラモーションパスを有する変更されたビデオを提供するステップと
を実行する様式化されたビデオの生成を促進する実行可能命令を有する１つ以上の機械読み出し可能な記憶デバイス又はマシンロジック。
【発明の詳細な説明】
【背景技術】
【０００１】
ビデオ安定化は、ビデオがより安定して見えるようにするために使用される、よく知られた技術である。一般に、ビデオ安定化は、カメラモーションの大部分を除去するように、ビデオにおいて可動クロップウィンドウを操作する。
【０００２】
対照的に、映画監督及び撮影カメラマンは、時々意図的に、ビデオの部分としてカメラ動作を使用したいと望む。例えば、撮影中のカメラ動作は、歩調、視点、シーン内のリズム、などを確立するために使用され得る。
【０００３】
そのようなカメラモーションは、フレーミング、色、照明、などのような、数年の経験を通じて通常は学習される他のビデオ技術とともに、ビデオに様式を授ける。しかし、そのような経験、前もっての計画、及び高価な設備がないと、ビデオの様式的な態様を制御することは非常に困難である。
【発明の概要】
【０００４】
本概要は、詳細な説明において以下で更に記載される、選択された代表的な概念を、簡略化された形で紹介するために設けられている。本概要は、請求されている対象の重要な特徴又は本質的な特徴を識別するよう意図されず、更には、請求されている対象の適用範囲を制限するように決して使用されるよう意図されない。
【０００５】
簡潔に、本願で記載されている対象の様々な態様は、既存のビデオにおけるカメラモーションパラメータを、変更されたビデオにおける変更されたモーションパラメータへと変更し、それによって、様式化されたビデオの生成を促進することを対象とする。１つ以上の態様は、インタラクティブなユーザインターフェイスコンポーネントへ結合されるか又はそれを組み込むカメラ様式化コントローラを対象とする。インタラクティブなユーザインターフェイスコンポーネントは、既存のビデオに対応する１つ以上のモーションパラメータ値の電力レベルの調整を可能にするよう構成される。調整は、既存のビデオの当初のカメラモーションとは異なる外見上のカメラモーションを有する変更されたビデオへと既存のビデオを変更するように電力レベルを増大させることを含む。
【０００６】
１つ以上の態様は、既存のビデオからのモーションパラメータ値を、編集されたビデオの調整されたモーションパラメータ値へと調整することを対象とする。これは、夫々のモーションパラメータのための調整可能なモーション設定に基づき複数のモーションパラメータのための独立して制御可能なモーションパラメータ値を制御することを含んでよい。
【０００７】
１つ以上の態様は、既存のビデオクリップの当初のモーションパスに対応する当初のビデオ信号から当初のカメラモーションパラメータ値を取得し、当初のカメラモーションパラメータ値のドメイン（例えば、周波数）表現を計算することを対象とする。このとき、ドメイン表現は、当初のカメラモーションパラメータの夫々についての複数のドメイン帯域を含む。インターフェイスは、調整された電力レベルへの夫々のドメイン帯域における個々の電力レベルの調整のために提供され、変更データは、調整された電力レベルの逆ドメイン表現に対応して計算される。当初のカメラモーションパラメータ値は、当初のカメラモーションパスとは異なる外見上のカメラモーションパスを有する変更されたビデオを提供するよう、変更データに基づき変更される。
【０００８】
他の利点は、図面に関連して理解される場合に以下の詳細な説明から明らかになり得る。
【図面の簡単な説明】
【０００９】
本発明は、一例として表されており、添付の図面に制限されない。図面において、同じ参照符号は同様の要素を示す。
【００１０】
【図１】１つ以上の実施例に従って、ユーザインタラクションに基づき様式化されたビデオを生成するよう構成されたコンポーネントの構成例を表すブロック図である。
【００１１】
【図２】１つ以上の実施例に従って、ユーザインタラクションに基づき様式化されたビデオを生成するよう構成されたコンポーネントの代替の構成例を表すブロック図である。
【００１２】
【図３】１つ以上の実施例に従って、変更されたビデオを生成するようモーションパラメータ値を調整するユーザインタラクションを容易にするスライダバーとして例示されたインタラクティブ制御の組の表現である。
【００１３】
【図４Ａ】１つ以上の実施例に従って、水平モーションパラメータについての当初のモーションプロット及び電力スペクトルプロット並びに様式化されたモーションプロット及び電力スペクトルプロットの例示である。
【図４Ｂ】１つ以上の実施例に従って、垂直モーションパラメータについての当初のモーションプロット及び電力スペクトルプロット並びに様式化されたモーションプロット及び電力スペクトルプロットの例示である。
【図５Ａ】１つ以上の実施例に従って、回転モーションパラメータについての当初のモーションプロット及び電力スペクトルプロット並びに様式化されたモーションプロット及び電力スペクトルプロットの例示である。
【図５Ｂ】１つ以上の実施例に従って、ズーム／スケールモーションパラメータについての当初のモーションプロット及び電力スペクトルプロット並びに様式化されたモーションプロット及び電力スペクトルプロットの例示である。
【００１４】
【図６】１つ以上の実施例に従って、当初のビデオを様式化されたビデオへと変更することにおいて使用され得るコンポーネントを例示するブロック図である。
【００１５】
【図７】１つ以上の実施例に従って、当初のビデオを様式化されたビデオへと変更することにおいて行われ得るステップを例示するフロー図である。
【００１６】
【図８】１つ以上の実施例に従って、変更されたビデオを生成するようモーションパラメータ値を調整するユーザインタラクションを容易にするインタラクティブなユーザインターフェイスコンポーネントを表す。
【００１７】
【図９】１つ以上の実施例に従って、変更されたビデオを生成するよう夫々の周波数帯域においてパラメータ電力レベルを個々に制御するために如何にしてスライダバーが周波数帯域にマッピングされ得るのかを表す。
【００１８】
【図１０】本願で記載される様々な実施形態の１つ以上の態様が実施され得る非限定的なコンピュータシステム及び／又は動作環境を例示するブロック図である。
【発明を実施するための形態】
【００１９】
本願で記載される技術の様々な態様は、既に存在するビデオの外見上のカメラモーション（及び場合により他の様式的態様）を選択的に制御することに概して向けられている。１つ以上の実施において、これは、ビデオの外見上のカメラモーションパスの電力スペクトルを操作するために使用され得る制御のインタラクティブなイコライザー様の組を介して達成され得る。
【００２０】
代替的に、あるいは、インタラクティブな制御の使用に加えて、ユーザは、他のビデオクリップからセーブ及び／又は転送されるモーション様式のような、予めセーブされているデータから、様式設定を選択してよい。例として、ユーザは歩行中にビデオを捕捉することがある。ユーザは、“ボート漕ぎ（boating）”モーション様式を後に選択してよい。この様式は、捕捉された “歩行中”のビデオに授けられる場合に、ユーザがボート上で波を受けて上下に動いている間に記録されたようにビデオを思わせる。ユーザは、必要に応じて、見かけ上の波が望まれる大きさを有し且つ望まれる度合いでぶつかるものとなるように設定を調整してよい。
【００２１】
本願における例のいずれもが非限定的である点が理解されるべきである。１つには、カメラモーションを調整するためのある２次元モーション変換（例えば、平行移動、回転、及びスケール）が主として説明されるが、他の次元、位相、見かけ上の速さ、などのような他の態様も、本願で記載される技術に基づき制御されてよい。更には、本願で記載される技術は、例えば、デプスデータもデプスカメラから利用可能である場合のように、最高で６つの次元（平行移動の３つの次元及び回転の３つの次元）までにおいてカメラモーションパスに適用される。そのようなものとして、本発明は、本願で記載される如何なる特定の実施形態、態様、概念、構造、機能性、又は例にも制限されない。むしろ、本願で記載される実施形態、態様、概念、構造、機能性、又は例のいずれも非限定的であり、本発明は、様式化されたビデオ全般において利点及び優位性を提供する様々な方法で使用されてよい。
【００２２】
図１は、複数のフレームの何らかのビデオクリップ（又はフルビデオ）を含む既存の記録されたビデオ１０２が、編集されたビデオ１０４のフレームへと処理されるコンポーネントを含む一般化されたブロック図の例を示す。このとき、編集は、通常、見かけ上のカメラモーションを提供することを対象とする。既存の記録されたビデオは、最初に記録されたビデオである必要はない点に留意されたい。その点において、ビデオは、本願で記載される技術及び／又は他の編集ツールによることを含め、１回以上編集され、次いで、再編集されるか、又は後に再開される更なる編集を伴って部分的に編集されてよい。よって、本願で使用される語「既存」又は「当初」は、必ずしも最初に記録されたビデオを指すわけではなく、むしろ、様式編集が本願で記載されるように開始（又は再開）される前にビデオがあったどんな状態も指す。
【００２３】
ビデオプレイヤー１０８（例えば、ソフトウェアベース）を組み込むか、又はそれへ結合されているカメラモーション様式化コントローラ（又は様式化エンジン）１０６は、編集されたビデオが見られている場合にどのように現れるのかをユーザが確認することを可能にする。これは、再生されている間、又は必要に応じてフレームごとであってよい。よって、編集は実時間において行われてよく、効果は直ちに目に見える（なお、ユーザは、時間にわたってゆっくりと起こるように選択される変化の効果を目の当たりにするのを待つべきである。）。編集は、組み合わされ得る２つの方法のうちの１つにおいて概して実施される。
【００２４】
編集を実施する第１の方法は、仮想制御１１０の組として図１で示されているインタラクティブ制御、例えば、タッチスクリーンディスプレイ、マウス、キーボード、発話、装着式入力デバイス、及び／又は何らかの他の適切なインタラクティブ・モダリティ（例えば、他の入力１１４によって表される。他の入力は、図示されるように外からではなく、デバイス内蔵コンポーネントからであってよい。）とのインタラクションによって調整され得る、ユーザインタフェース（ＵＩ１１２）に表示された制御である。そのような仮想制御１１０の組は、スライダバー（なお、ノブ又は同様のもののような他のタイプの制御が使用されてよい）又は、ジェスチャ及び同様のものを通じてアクセス可能な非表示制御を有する。
【００２５】
編集を実施する第２の方法は、既に存在する所望のモーション様式のグループとして制御を自動的に全体的に設定することに対応する、プリセットデータ１１６を設定することによる。プリセットデータ１１６は、他のビデオクリップからセーブ、リコール、及び／又は転送されてよい。プリセットデータのデフォルトの組が与えられてよい（例えば、歩行（walking）、ランニング（running)、ボート漕ぎ、ジグザグ（staggering）、スピン（spinning）、ジャンプ（jumping）、カフェイン過剰摂取（being  overly  caffeinated）、及び他のアクティビティに対応する。）が、（最高で）利用可能な６自由度におけるモーションのいずれか１つ以上の組の予め設定された組み合わせであってもよい。プリセットデータは、クラウドのような外部ソースからロードされてよい。
【００２６】
プリセットデータは、時間にわたって変化するデータのサブセット又は、時間に基づく計算若しくは他の因子によって時間にわたって変化するデータの組を有してよい点に留意されたい（例えば、様式的なモーションは、コンテンツ、クリップ内の特定の役者、などに適合してよい。）。このように、例えば、全体として安定したカメラにより撮られたビデオは、時間において上下に跳ねるカメラによって撮影されたように見えるようにされ得る。このとき、ｙ方向の移動の設定は、所望の縦揺れ様式を提供するよう時間において増減してよい。リアリズムのために、ｘ方向の移動、回転及び／又はズームの設定は、縦揺れが完全に垂直方向に真っ直ぐに見えないようにするために、場合により異なる位相において、ある程度同様に時間にわたって変化（例えば、振動）してよい。
【００２７】
他のタイプの様式化編集は、“メタコントロール（meta-controls）”の概念に基づく。これは、周波数に基づいた複数の設定を制御する単一のスライダ又はノブを有してよい（ユーザは見えても見えなくてもよい。）。例として、例えば、スライダの形をとる、“ボート上（on  a  boat）”のメタコントロールが提供されてよく、それにより、“ボート上”のスライダを上又は下にスライドすることは１度に（例えば、１回のユーザインタラクションをもって）複数の設定（例えば、個々のスライダ）を調整する。このとき、複数のスライダは、異なるモーションパラメータ及び／又は夫々のモーションパラメータのための異なる調整（例えば、周波数、振幅、又は他の適切な値の設定）に対応する。異なる様式テーマ（すなわち、ボート漕ぎの代わりの又はそれに加えられたカメラパス体験）、例えば、歩行、ランニング、ジャンプ、スイング（swinging）、揺れ（swaying）（例えば、あたかもスキーをしているように、風にさらされること又はジグザグ）、落下（falling）、横転（rolling）、浮遊（floating）、縦揺れ（bouncing）（例えば、トランポリン（登録商標）の上、でこぼこの滑り台の上、又はでこぼこ道の運転中）、ターン（turning）、振動（shaking）、など、ごとにメタコントロールはいくつでも提供されてよい。それらの様式テーマのうちの少なくとも一部は組み合わされてよい（なお、少なくとも１つのユーザインターフェイスコンポーネントが使用されてよく、複数の異なるメタコントロールとなるようにユーザ選択可能な様式テーマを単に変更する。）。メタコントロールは、例えば、以下で記載されるように、例となるビデオから、少なくとも部分的に学習されてよい。
【００２８】
そのようなモーションの変化の割合及び／又は位相、あるいは、振幅などのような、何らかの他のパラメータ値は、ユーザにより設定可能であってよい。実際に、ユーザは、例えば、時間において夫々のモーションパラメータを変化させる波形を選択又は創出してよく、波形の位相及び／又は振幅は、調整されてよい。技術は、移り変わりの開始及び終了のフレームを識別するキーフレームのような既存の編集概念と組み合わされてよい。
【００２９】
容易に理解され得るように、インタラクティブな制御による編集及びプリセットデータのロードは組み合わされてよい。例えば、プリセットデータ１１２の組はロードされてよく、仮想制御１１０を開始位置へと自動的に調整する。そこから、ユーザは、望むようにそれらの開始位置を調整して、例えば、ユーザの個人的な様式的好みを微調整してよい。
【００３０】
図１は、ラップトップ、タブレット、モバイル機器、携帯機器、装着式機器、スマートフォン、又は専用装置のような、ディスプレイ１２０を組み込む単一のコンピュータデバイス１１８において、様々な編集コンポーネントを示す。図２は、遠隔のディスプレイへ結合されたパーソナルコンピュータデバイス２１８において実装され得るもののような、１つの適切な代替物を示す。図１では１ｘｘと符号を付され、図２では２ｘｘと符号をされている同じコンポーネントは、簡潔さのために重ねて説明されない点に留意されたい。
【００３１】
図１及び２は、物理制御１２２及び２２２により夫々例示される任意の代替物を更に表す。容易に理解され得るように、ビデオを編集することに特に熱心である人のようなユーザは、仮想制御に対して物理制御（例えば、機械的に動かせるスライダ、容量式タッチスライダ、スクロールホイール、又は同様のもの）を使用することを好むことがある。ロードされたプリセットデータは、機械式スライダの場合にはモータを介して、容量式スライダの場合には電荷によって、などで、そのようなスライダを自動的に動かしてよく、あるいは、夫々のスライダの隣にあるＬＥＤ又は同様のものが、望まれるような夫々のプリセット設定へのスライダの手動による移動又はタッチを導くために、プリセット設定を示してよい。
【００３２】
他の代替物が使用されてよい。例えば、専用装置は、両方の物理制御及び／又はカメラモーション様式化コントローラを含む装置を含め、設けられてよい。実際に、図１及び２は、単なる例であり、コンピュータデバイス１１８又は２１８に組み込まれるように示されている如何なるコンポーネントも、代わりに、コンピュータデバイス１１８又は２１８へ結合された外部のコンポーネント、又はその逆であってよく、あるいは、サブコンポーネントに分けられ、１つ以上のサブコンポーネントがコンピュータデバイスに組み込まれてよく、１つ以上のサブコンポーネントがコンピュータデバイスへ結合された外部のサブコンポーネントであってよい。
【００３３】
図３は、ひと組のスライダバー３３０の例を、仮想又は物理のいずれかを問わず、より詳細に示す。この例では、モーション制御パラメータごとに１０個のスライダバーの組が存在する。例えば、ｘ方向の移動のための１つの組、ｙ方向の移動のための１つの組、面内回転のための１つの組、及びスケールのための１つの組と、全部で４０個のスライダバーが設けられる。以下で例示されるように、これは、夫々のモーション制御パラメータについて１０帯域イコライザーを提供する。制御パラメータごとに１０よりも多い又は少ない数のスライダバーを備えることは実現可能であり、スライダバーの数は異なる制御パラメータについて同じである必要はない点に留意されたい。図３には、更に、様式化されたモーションプロット及び当初のモーションプロット３３２と、ユーザが、スライダバー設定が調整されるにつれてそれらの効果をグラフィカルに視覚化することを可能にする電力スペクトルプロット３３４とが表されている。
【００３４】
図４Ａ及び４Ｂは、夫々水平移動及び垂直移動について、例となるモーションプロット４４２、４４６及び電力スペクトル４４４，４４８を示す。１つ以上の実施において、様式化されたモーションプロットは、それと当初のモーションプロットの両方を同時に見るために、単一のグラフ表現において当初のモーションプロットにオーバーレイする。それらのプロットは、設定がユーザインターフェイスを介して変更されるについて変化する。図５Ａ及び５Ｂは、夫々回転及びズーム（スケール）について、例となるモーションプロット５４２、５４６及び電力スペクトル５４４、５４８を示す。
【００３５】
コントローラ動作を参照すると、概して図６において表されている１つ以上の実施において、ビデオ入力６６２からのモーションの様式化は、夫々のパラメータ又はパラメータの集合のためのユーザインターフェイス要素（例えば、スライダ又は何らかの他の適切なＵＩ）の組を介して、夫々のモーションパラメータのために独立してマルチバンド・イコライザー６６８を操作することによって達成されてよい。一般に、コントローラは、所望のカメラモーションパスＳ’［ｔ，０］を出力するよう構成される。カメラモーションパスは、［ｘ’ｔ，ｙ’ｔ，θ’ｔ，ｓ’ｔ］又は何らかの他の適切なパラメータの組として表現され得るモーションパラメータ（例えば、ｘ方向の移動、ｙ方向の移動、回転及びスケール／ズーム）に分けられ得る。［ｘｔ，ｙｔ，θｔ，ｓｔ］によって表される、いずれかのフレーム（ｔ）とベース（第１又は他の）フレーム（０）との間の既存のビデオ６６２における変形としてのＳ［ｔ，０］、及び様式化されたモーションパス［ｘ’ｔ，ｙ’ｔ，θ’ｔ，ｓ’ｔ］からの変更された変形Ｓ’［ｔ，０］を考えると、様式化されたシーケンスにおけるフレームは、Ｓ［ｔ，０］とＳ’［ｔ，０］との間の差に基づきフレームをワーピングすること（ブロック６７２）によって、計算され得る。これは、ベース（第１の）フレームの座標系へ画像をワーピングし、次いで逆変換６７０を適用して、様式化されたシーケンスへマッピングすることと等価である。
【００３６】
図６に示されるように、入力ビデオ６６２におけるカメラモーションパラメータは、カメラモーションパラメータのために不変の当初モーションデータを提供するよう、追跡され分解されてよい（ブロック６６４）。図７を参照して以下で記載されるように、このデータは、ＦＴ（Fourier  Transform；フーリエ変換）６６６を介して周波数ドメインへ変換されてよい。このとき、インタラクティブ・イコライザー６６８は、入力制御又は予め設定されたパラメータ値に対応する個々の周波数帯域において電力レベルを変更してよい。変更されると、逆ＦＴ６７０は、ビデオ入力６６２における当初モーションデータを、様式化されたビデオ出力６７４へとワーピングするためのモーションデータを提供する。
【００３７】
周波数ドメインでの変化に代えて、反転され得る他のタイプを含め、他のフィルタが同じ目的のために使用されてよい。そのようなフィルタは有効に周波数を変更するが、変化は周波数ドメインにおいて起こる必要はない。
【００３８】
要理に理解され得るように、恒等変換以外の他の変換は、ビデオ境界の周りの未知の領域を生み出し得る。よって、最終的な結果は、未知の領域を除くようにクロッピングされてよい。クロッピングは（例えば、既存のビデオサイズの８０％に）固定であってよく、あるいは、固定ではなくユーザにより設定可能であるか又は可変であってよい。クロッピングは、様式化されたモーションが既存のモーションからどの程度変化し得るのかを制限してよい。それにもかかわらず、クロッピングに代えて、又はそれに加えて、他の既知の技術が未知の領域を扱うために使用されてよく、例えば、他のフレーム又は同じフレーム領域から未知の領域を埋める。
【００３９】
図７は、パラメータ値（又はモーションコントローラ）のユーザ又は他の（例えば、予め設定された又は指定時刻に作動する）操作が如何にして変化を達成し得るのかを説明するフロー図の例である。ステップ７０２から開始して、ビデオがロードされる。ロードされると、ステップ７０４はパラメータ値をそれらの不変の設定に設定する。この例では、ステップ７０４はそれらを１に設定する。コントローラ内の、パラメータ値を設定するこの動作の部分として、コントローラはまた、イコライザー又は他の適切な値インジケーションのように、それらの設定された値をユーザに対してユーザインターフェイスを通じて反映してよい。よって、ビデオが最初に再生されるときに、ビデオモーションは変化せずに現れる。
【００４０】
ステップ７０６は、ビデオを再生することを表す。１つ以上の実施において、調整による編集は、再生中に、あるいは、フレームの一時停止、早送り（fast  forwarding）（ＦＦ）又は巻き戻し（rewinding）の間に、実施されてよい。いくつかの例において、ユーザはまた、ユーザによって示された時点又はマイルストーンでパラメータ値を調整するよう、予め時間指定された‘プログラム’を生成してよい。再生中に、ディスプレイは、現在のフレームが空間において他のフレームとどのように関係するのかを示すよう、図１及び２における大域キャンバス（例えば、クロッピングされていない“フレーム空間”）１３０及び２３０に夫々アライメントされたビデオを示す。如何なる効果も、実時間において、例えば、毎秒３０フレームでの再生の間に、適用されてよい。
【００４１】
ビデオを示す場所の例は、概して図８で表されている。図８において、表示フレーム８７０、８７２、スライダバー８７３〜８７６の設定（この例では、水平、垂直、回転及びズームパラメータを制御するためのもの）、タイムライン８７７、並びにセーブ及びロードメカニズム（例えば、インタラクティブ・ボタン）８７８、８７９を含む、例となる完全なユーザインターフェイス制御パネルが例示されている。このように、水平、垂直、回転及びズームパラメータを夫々表す夫々の調整可能なモーションパラメータ（ｘ，ｙ，θ，ｓ）のための４つのサブパネルが表されている。夫々のパネルは、この例では、当初及び様式化されたモーションのプロット、当初及び様式化された電力スペクトルのプロット、及び１０帯域イコライザーを備える。図３でより詳細に示されるように、１つ以上の実施において、夫々のイコライザー様パラメータ制御インターフェイスはショートカットボタン３３６を備える。“１”ボタンが夫々のインターフェイスについて作動する場合には、コントローラは対応するスライダを“１”に設定して、当初の変更されていないモーションが得られるようにする。一方で、“０”ボタンが作動する場合には、スライダは、このモーションパラメータについて完全に無モーションであるよう“０”に設定される。当然ながら、水平、垂直、回転及びズームパラメータのパラメータ値は単なる例であり、他のパラメータ値がビデオのモーションを制御するために使用されてよく、同様に、“１”及び“０”のスケーリング又は評価は単なる例であり、他のパラメータ評価が適切であってよい。
【００４２】
図７に戻ると、本願で記載される１つ以上の実施は、カメラモーション様式を編集するために、周波数に基づく等化アプローチを使用する。カメラモーションイコライザー（ＥＱ）は、所望の見た目及び雰囲気を作り出すようカメラモーションの周波数成分を増幅、減衰、又は移動するためのインタラクティブな方法である。この例では、モーション信号は、２次元におけるカメラの４自由度に対応する、ｘ（水平）方向の移動、ｙ（垂直）方向の移動、面内の回転θ、及びスケール（例えば、ズーム又はｚ方向）ｓの４つのチャネルに分けられる。
【００４３】
イコライザー調整がユーザによって又は指定時刻に作動する調整によって行われるか、あるいは、新しいプリセットデータのロードにより必要とされるときには、ステップ７０８は、夫々の変更されるモーションパラメータチャネルについてビデオのモーションを変更するようステップ７１０へ分岐する。夫々の変更されるチャネルについて、コントローラは、ステップ７１０で、ＦＴを用いて、周波数空間表現のようなドメイン変換又は変形を計算し、次いで、ステップ７１２で、パラメータ設定に適合するようにパラメータ値又は電力のような他の値を調整する。調整は、周波数帯域のようなドメインに対応する夫々の入力パラメータ設定に応じて周波数範囲ビンに電力を加算（若しくは減算）又は乗算することによって、行われてよい点に留意されたい（図９を参照して後述される。）。ステップ７１４で、逆ＦＴのような逆ドメイン変換は、次いで、あたかもカメラがそのパスを取ったかのように出力モーションパスを生成するために使用される。ステップ７１０、７１２及び７１４は、調整されるモーションパラメータごとである点に留意されたい。よって、例えば、プリセットデータがロードされる場合に、ｘ方向の移動、ｙ方向の移動、回転及びスケール（又は何らかの他のモーションパラメータ又は組み合わせ）は夫々が、対応するステップによる調整を必要としてよく、それらのステップは、少なくともある程度は、並行して実施されてよい。
【００４４】
図９は、制御パラメータの値（例えば、表示される例となるイコライザー・スライダ９８２において入力されるもの）の組のうちの例となる１つのために如何にして周波数ビン９８０が配置され得るのかを例示する。この例では、周波数ビンは、周波数において非線形に（例えば、対数的に又は別なふうに指数関数的に）間隔をあけられており、１つ以上の実施において、ビンサイズは、周波数が高くなるにつれて大きくなる。例えば、例となるユーザインターフェイス・イコライザー又は他の適切なユーザインターフェイスを通じて、ユーザによって入力されるパラメータ値又はスケーリングは、信号のＤＣ成分を変更しない点に留意されたい。なお、そうするためのインターフェイスメカニズムを設けることは、単一のインターフェイスからカメラを完全に再配置するために、代替の実施では実現可能である。表示されているイコライザー様のコントローラ技術及び関連する記載されているモーションパラメータは、ＤＣ成分によるモーション変換、及びキーフレーミングのような、基本的なカメラモーションパスを変化させるための他の既知のツールを補う。
【００４５】
１つ以上の実施において、モーションパラメータ値を（例えば、スライダ値を通じて、パラメータの変更値を直接に入力すること及び・又はスケーリング値を与えることのいずれかによって）調整するユーザインターフェイスは、夫々のビンについて０から２までの範囲に及ぶ。このとき、１の値は当初のモーション（すなわち、既存のビデオのモーションから不変）を提供する。０から１までは、値は、周波数ドメイン（又は必要に応じて他のドメイン）における減衰乗算器として扱われてよく、例えば、設定の分数（又はゼロ）値を周波数帯域における当初の電力レベルに線形に乗じて、周波数帯域において電力レベルを下げる。よって、そのようなスケーリング値は、当初の信号において周波数を低下させる。実際に、全てのモーションパラメータについて全ての設定をゼロへと調整することは、実質的に安定したビデオを生成し得る。
【００４６】
１つ以上の実施において、１を上回るモーションパラメータスケーリング値は、いくつかの例では、乗法演算に代えて加法演算をもたらし得る。一般に、乗算は、モーションパスにおける周波数の当初の大きさがゼロかゼロに近い場合にほとんど効果を有さないので、システムは乗法から加法へ切り替わる。既存の電力振幅に（ゼロ位相電力）を加えることによって、そもそも存在しなかった周波数成分が存在するようになる。これは、手持ち式カメラによって撮影されたビデオのような、既存のモーションを有するビデオに対するモーションの更なる加算又は減算とともに、三脚上で撮影されたビデオのような固定されたビデオを様式化することを可能にする。スライダのような、単一のモーションパラメータ入力ユーザインターフェイスは、１つ以上の実施形態において、乗法的変化と加法的変化との間で滑らかに移り変わるために使用されてよい。
【００４７】
それにもかかわらず、上記のスキームが可能である場合に、多くの変形例がある。例えば、周波数帯域は、対数的に間隔をあけられる必要はなく、例えば、線形に間隔をあけられ得る。乗法と加法を区別するのではなく、プリコンパイル済みの定数の組又は式が、モーションパラメータのための所望の電力レベル又は他のドメインパラメータ調整を提供するために使用されてよい。更なる他の例として、１つが加法用であり、他が乗法用である２つの入力ユーザインターフェイスデバイス（例えば、スライダ）は、夫々の周波数帯域又は範囲のために使用されてよい。更なる他の例として、線形な乗法的又は加法的変化に代えて、非線形（例えば、指数関数的）な変化を実施し得る計算が、使用されてよい。
【００４８】
実際に、既存のビデオを捕捉したカメラは、６つの次元において移動及び回転している可能性があるが、１つ以上の実施では、２次元変換（平行移動、回転、及びスケール）が、カメラモーションをモデリング及び調整するために使用されてよい。この単純化は、シーンに対するカメラモーションの効果が、剛体画像変換の時変な組としてモデリングされ得ると仮定する。よって、モーションモデルのパラメータを簡潔に且つユーザにとって理解できるようにするよう、相似モーションモデルが１つ以上の実施形態では使用されてよい。これは、変換Ｓｔの時変な組としてカメラモーションをモデリングする。変換の組は、水平移動、垂直移動、面内回転、及び大域的画像スケールを表す、例となる４つの値［ｘｔ，ｙｔ，θｔ，ｓｔ］に分解する。なお、代替の又は追加的なパラメータ値のあらゆる組み合わせ又はそれらとのあらゆる組み合わせも適切であり得る。映画用語において、それらは、左右パン、上下パン、ロール、及びズーム（又は前方／後方ドリー）に対応する。それにもかかわらず、他の実施も、デプス又は視点の変化をモデリングしてよく、例えば、デプスモーションパラメータ値を変更するスライダ又は同様のものが設けられてよい。
【００４９】
技術は、ビデオ安定化技術と対照的にビデオを“不安定化”することに主として向けられているが、技術は、安定化することを目的として使用されてよい。例えば、安定化されたビデオは、それが安定しすぎるが故に、しばしば不自然に見える。本願で記載される技術は、安定化されたビデオに何らかのモーションを加えて、それをより自然に見せることができる。
【００５０】
他の態様、すなわち、例によってカメラモーションを様式化すること、を参照すると、ユーザは、ユーザが適合させたいと望む様式を持った他のビデオクリップ（例）を有してよい。この状況において、自動化されたアプローチは、例となるビデオクリップからモーションデータを取得することによってモーションパラメータ値を設定するよう実施される。一例となるシナリオでは、ユーザは、例を取得コンポーネントにロードしてよく、コンポーネントは、夫々のドメイン（例えば、周波数）帯域における関連するドメインパラメータ（例えば、電力）へ調整又は加算／減算（必要に応じる。）するモーションパラメータを計算するようビデオを解析する。故に、入力されたビデオは、例においてあるように、夫々の帯域における同じ平均ドメインパラメータ値（例えば、電力）を有する。これは、図１及び２において、１つ以上の他のビデオクリップ１２６（図１）及び２２６（図２）を処理するモーション取得コンポーネント１２４（図１）及び２２４（図２）により概して表されている。
【００５１】
見かけ上のカメラモーションをビデオから回復／取得することは、夫々のフレームについての、そのフレームをベースフレーム（又は何らかの他の適切なフレーム）に最も良くマッピングする変換のシーケンスを推測することを意味する。アライメントは、ベースを決定することによって計算されてよい。ベースは、シーケンス内の第１のフレーム、決定された代表フレーム、又はビデオシーケンスにおける何らかの他の適切なフレームであってよい。アライメントは、次いで、夫々のフレームについて画像特徴を取り出し、フレーム間の探索（ベースフレーム又は先行若しくは後続のフレームと比較される。）を実施して、一致する特徴を見つけることを含んでよい。特徴は、いくつかの例において、最良の一致の記述子距離が、２番目に良く一致する記述子距離と十分に異なる場合に（収束判定法とも呼ばれる、第２の一致に対する第１の一致の比を見ることで、計算される。）、一致であると決定されてよい。シーンモーション上にロックすることを回避するよう、トラックは、例えば、相似変換の単一の時系列が背景特徴をベースフレームにおけるそれらの位置へマッピングすることができるようにインライア（inlier）トラックの最大の組を見つけるようＲＡＮＳＡＣ（RANdom  Sample  Consensus；ランダムサンプルコンセンサス）法又は何らかの他の適切な方法を使用することによって、前景モーションを背景の静止した特徴と区別するよう解析されてよい。変換は、次いで、ベースフレーム（静止フレームであってよく、あるいは、周期的に又は時々時間にわたって変化してよい。）から適切なモーションパラメータ値に分解される。上述されたように、例となるモーションパラメータは、ｘ及びｙ方向の平行移動、回転、並びにスケール成分を含んでよい。
【００５２】
以上のように、１つ以上の態様は、インタラクティブなユーザインターフェイスコンポーネントへ結合されるか又はそれを組み込むカメラ様式化コントローラを対象とする。インタラクティブなユーザインターフェイスコンポーネントは、既存のビデオに対応する１つ以上のモーションパラメータ値の電力レベルの調整を可能にするよう構成される。調整は、既存のビデオの当初のカメラモーションとは異なる外見上のカメラモーションを有する変更されたビデオへと既存のビデオを変更するように電力レベルを増大させることを含む。
【００５３】
１つ以上の実施において、ユーザインターフェイスコンポーネントは、複数組のユーザインターフェイス要素（例えば、スライダバー）を有し、１つ以上のモーションパラメータ値は、複数組のユーザインターフェイス要素の中の１つの組とのインタラクションにより制御される。ユーザインターフェイス要素の夫々は、ドメイン（例えば、周波数）帯域における電力レベル設定に対応してよい。ユーザインターフェイス要素の夫々は、不変の電力レベル設定を下回る乗法コンポーネントと、不変の電力レベルを上回る加法コンポーネントとを備えてよい。
【００５４】
ユーザインターフェイスコンポーネントは、モーションパラメータ値に対応するプリセットデータをロードするよう構成されたロードメカニズムを有してよい。ユーザインターフェイスコンポーネントは、仮想及び／又は物理制御を有してよい。ユーザインターフェイスコンポーネントは、モーションパラメータについての当初のモーションプロット、様式化されたモーションプロット、及び／又は電力スペクトルプロットを表示するよう構成された表示コンポーネントを有してよく、且つ／あるいは、変更されたビデオの表現を表示してよい。
【００５５】
ユーザインターフェイスコンポーネントは、１度に複数の異なったモーションパラメータのための設定を、及び／又は１度に少なくとも１つのモーションパラメータのための複数の異なった設定を、メタコントロールとのユーザインタラクションに基づき調整するよう構成されたメタコントロールを有してよい。メタコントロールは、１つ以上のテーマ（経験）、例えば、ボート漕ぎ、歩行、ランニング、ジャンプ、スイング、揺れ、落下、横転、浮遊、縦揺れ、ターン、又は振動、に対応してよい。
【００５６】
１つ以上の態様において、カメラ様式化コントローラは、電力レベルの周波数ドメイン調整を可能にするよう構成されてよい。モーション取得コンポーネントは、他のビデオクリップからモーションデータを取得するよう設けられてよい。
【００５７】
１つ以上の態様は、既存のビデオからのモーションパラメータ値を、編集されたビデオの調整されたモーションパラメータ値へと調整することを対象とする。これは、夫々のモーションパラメータのための調整可能なモーション設定に基づき複数のモーションパラメータのための独立して制御可能なモーションパラメータ値を制御することを含んでよい。
【００５８】
モーションパラメータ値を調整することは、（少なくとも１つのモーションパラメータについて）当初のモーション信号を電力データに対応するドメイン（例えば、周波数）表現へと変換し、該電力データの電力レベルを前記ドメイン表現における１つ以上のドメイン範囲のうちの少なくとも１つ内で変更し、前記ドメイン表現を、前記当初のモーション信号を変更されたモーション信号へと調整するデータへと逆変換することによって、達成されてよい。
【００５９】
調整可能なモーション設定は、夫々のモーションパラメータのための調整可能な設定を有するユーザインターフェイス要素の組を有するインタラクティブなユーザインターフェイスを介することを含め、インタラクティブなユーザインターフェイスを介して取得されてよい。夫々のモーションパラメータのためのユーザインターフェイス要素の組は、複数のスライダバーを有してよく、夫々のスライダバーは、例えば、異なった周波数範囲に対応する。調整可能なモーション設定は、プリセットデータから取得されてよい。
【００６０】
１つ以上の態様は、既存のビデオクリップの当初のカメラモーションパスに対応する当初のビデオ信号から当初のカメラモーションパラメータ値を取得し、該当初のカメラモーションパラメータ値のドメイン（例えば、周波数）表現を計算することを対象とする。このとき、ドメイン表現は、当初のカメラモーションパラメータの夫々について複数のドメイン帯域を含む。インターフェイスは、調整された電力レベルへの夫々のドメイン帯域における個々の電力レベル設定の調整のために設けられ、変更データは、調整された電力レベルの逆ドメイン表現に対応するように計算される。当初のカメラモーションパラメータ値は、当初のカメラモーションパスとは異なる見かけ上のカメラモーションパスを有する変更されたビデオを提供するよう、変更データに基づき変更される。夫々のドメイン帯域における個々の電力レベル設定の調整のためのインターフェイスは、仮想制御、物理制御、及び／又は電力レベル設定に対応するプリセットデータをロードするためのロードメカニズムを有してよい。
［例となる動作環境］
【００６１】
図１０は、本願で記載される対象の態様が実施され得る適切なモバイル機器１０００の例を表す。モバイル機器１０００は、デバイスの単なる一例であり、本願で記載される対象の態様の使用又は機能性の適用範囲に関して何らの制限も示すよう意図されない。モバイル機器１０００は、例となるモバイル機器１０００において表されているコンポーネントのいずれか１つ又は組み合わせに関して何らかの依存性又は要件を有するものとしても解されるべきではない。モバイル機器は、スマートフォン、タブレット、ラップトップ、などのような携帯機器を有してよい。パーソナルコンピュータは、例えば、代替的に使用されてよい。
【００６２】
例となるモバイル機器１０００の少なくとも部分は、眼鏡、ゴーグル又は帽子において装着されてよく、あるいは、外部コンピュータを含む、腕時計型デバイスのような他の装着式デバイスは、全て適切な環境である。眼鏡及び帽子は頭部に身につけられるが、それらは、頭部とは異なる位置で身につけられてよく、よって、頭部位置バイアス補正が適切であってよい点に留意されたい。
【００６３】
図１０を参照して、本願で記載される対象の態様を実装するための例となるデバイスは、モバイル機器１０００を含む。いくつかの実施形態において、モバイル機器１０００は、携帯電話機、他者との音声通話を可能にする手持ち式デバイス、何らかの他の音声通信デバイス、又は同様のものを有してよい。そのような実施形態において、モバイル機器１０００は、写真を撮るためのカメラを装備されてよい。なお、これは、他の実施形態では不要であってよい。他の実施形態において、モバイル機器１０００は、パーソナルデジタルアシスタント（ＰＤＡ）、携帯型ゲーム機、タブレット／スレートコンピュータデバイス、ノートブックコンピュータ、プリンタ、セットトップを含むアプライアンス、メディアセンタ、若しくは他のアプライアンス、他のデバイス、又は同様のものを有してよい。更なる他の実施形態において、モバイル機器１０００は、パーソナルコンピュータ、サーバ、又は同様のもののような非モバイルと一般に見なされるデバイスを有してよい。
【００６４】
モバイル機器１０００のコンポーネントは、制限なしに、処理ユニット１００５と、システムメモリ１０１０と、システムメモリ１０１０を含む様々なシステムコンポーネントを処理ユニット１００５へ結合するバス１０１５とを含んでよい。バス１０１５は、様々なバスアーキテクチャのいずれかを使用するメモリバス、メモリコントローラ、ペリフェラルバス、及びローカルバス、並びに同様のものを含むいくつかのタイプのバス構造のいずれかを含んでよい。バス１０１５は、モバイル機器１０００の様々なコンポーネント間でデータが送信されることを可能にする。
【００６５】
モバイル機器１０００は、様々なコンピュータ読出可能な／マシン読出可能な媒体を含んでよい。そのような媒体は、モバイル機器１０００によってアクセスされ得る如何なる利用可能な媒体であることもでき、揮発性及び不揮発性の媒体、並びにリムーバブル及び非リムーバブルの媒体の両方を含む。一例として、制限なしに、コンピュータ読出可能な媒体は、コンピュータ記憶媒体及び通信媒体を有してよい。コンピュータ記憶媒体は、コンピュータ読出可能な命令、データ構造、プログラム構造、又は他のデータのような情報の記憶のための如何なる方法又は技術でも実装される揮発性及び不揮発性のリムーバブル及び非リムーバブルの媒体を含む。コンピュータ記憶デバイス／媒体は、制限なしに、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ若しくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタルバーサタイルディスク（ＤＶＤ）若しくは他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ若しくは他の磁気ストレージデバイス、又は所望の情報を記憶するために使用可能であってモバイル機器１０００によってアクセスされ得る何らかの他の媒体を含む。
【００６６】
通信媒体は、通常は、コンピュータ読出可能な命令、データ構造、プログラムモジュール、又は他のデータを、搬送波又は他の伝送メカニズムのような変調データ信号において具現し、如何なる情報配信媒体も含む。語「変調データ信号」は、信号において情報を符号化するようにその特性の１つ以上が設定又は変更されている信号を意味する。一例として、制限なしに、通信媒体は、有線ネットワーク又は直接配線接続のような有線媒体と、音響、ＲＦ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＵＳＢ、赤外線、Ｗｉ−Ｆｉ（登録商標）、ＷｉＭＡＸ（登録商標）、及び他の無線媒体のような無線媒体とを含む。
【００６７】
システムメモリ１０１０は、揮発性及び／又は不揮発性メモリの形でコンピュータ記憶媒体を含み、リードオンリーメモリ（ＲＯＭ）及びランダムアクセスメモリ（ＲＡＭ）を含んでよい。携帯電話機のようなモバイル機器において、オペレーティングシステムコード１０２０は、時々、ＲＯＭに含まれるが、他の実施形態では、これは必要とされない。同様に、アプリケーションプログラム１０２５は、しばしば、ＲＡＭに置かれるが、先と同じく、他の実施形態では、アプリケーションプログラムはＲＯＭに又は他のコンピュータ読出可能なメモリに置かれてよい。ヒープ（heap）１０３０は、オペレーティングシステム１０２０及びアプリケーションプログラム１０２５に関連した状態のためのメモリを提供する。例えば、オペレーティングシステム１０２０及びアプリケーションプログラム１０２５は、それらの動作中に、変数及びデータ構造をヒープ１０３０に格納してよい。
【００６８】
モバイル機器１０００は、他のリムーバブル／非リムーバブルの揮発性／不揮発性メモリを更に含んでよい。一例として、図１０は、フラッシュカード１０３５、ハードディスクドライブ１０３６、及びメモリスティック１０３７を表す。ハードディスクドライブ１０３６は、例えば、メモリスロットにはめ込むよう小型化されてよい。モバイル機器１０００は、リムーバブルメモリインターフェイス１０３１を介してそのようなタイプの不揮発性のリムーバブルメモリとインターフェイス接続してよく、あるいは、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１０３９４、１つ以上の有線ポート１０４０、又はアンテナ１０６５を介して接続されてよい。そのような実施形態において、リムーバブルメモリデバイス１０３５〜１０３７は、通信モジュール１０３２を介してモバイル機器とインターフェイス接続してよい。いくつかの実施形態において、そのようなタイプのメモリの全てが単一のモバイル機器に含まれなくてもよい。他の実施形態において、それら及び他のタイプのリムーバブルメモリの１つ以上は、単一のモバイル機器に含まれてよい。
【００６９】
いくつかの実施形態において、ハードディスクドライブ１０３６は、モバイル機器１０００へより恒久的に取り付けられるような方法で接続されてよい。例えば、ハードディスクドライブ１０３６は、パラレル・アドバンスト・テクノロジ・アタッチメント（ＰＡＴＡ）、シリアル・アドバンスト・テクノロジ・アタッチメント（ＳＡＴＡ）、又は他のようなインターフェイスへ接続さてよく、そのインターフェイスがバス１０１５へ接続されてよい。そのような実施形態では、ハードドライブを取り外すことは、モバイル機器１０００のカバーを取り外して、ハードディスクドライブ１０３６をモバイル機器１０００内の支持構造体に接続するネジ又は他の留め具を外すことを伴ってよい。
【００７０】
図１０で表されており上述されたリムーバブルメモリデバイス１０３５〜１０３７及びそれらの関連するコンピュータ記憶媒体は、モバイル機器１０００のためのコンピュータ読出可能な命令、プログラムモジュール、データ構造、及び他のデータの記憶を提供する。例えば、１つ以上のリムーバブルメモリデバイス１０３５〜１０３７は、モバイル機器１０００によって撮影された画像、音声記録、連絡先情報、プログラム、プログラムのためのデータ、などを記憶してよい。
【００７１】
ユーザは、キーパッド１０４１及びマイクロホン１０４２のような入力デバイスを通じてモバイル機器１０００にコマンド及び情報を入力してよい。いくつかの実施形態において、ディスプレイ１０４３は、タッチ検知スクリーンであってよく、ユーザがそれにおいてコマンド及び情報を入力することを可能にしてよい。キーパッド１０４１及びディスプレイ１０４３は、バス１０１５へ結合されているユーザ入力インターフェイス１０５０を通じて処理ユニット１００５へ接続されてよいが、通信モジュール１０３２及び有線ポート１０４０のような他のインターフェイス及びバス構造によっても接続されてよい。モーション検出１９５２は、デバイス１０００を用いてなされたジェスチャを決定するために使用され得る。
【００７２】
本願で記載されるように、入力は所望の出力へと処理されてよい。処理は、ソフトウェアにおいて、ハードウェアロジックにおいて、あるいは、ソフトウェアとハードウェアロジックとの組み合わせにおいて、実施されてよい。
【００７３】
手動制御に対して、ユーザは、マウス、タッチスクリーン、ゲームコントローラ、リモートコントロールなどのような入力デバイスとして、様々なインタラクティブ・モダリティのいずれかを使用してよい。発話及び／又はジェスチャは、設定を制御するよう検出されてよい。実際に、制御は、マウス、キーボード、リモートコントロールのような従来のインターフェイスによって、あるいは、ナチュラル・ユーザ・インターフェイス（ＮＵＩ）のような他のインターフェイスを介して、促進されてよい。ここで、ＮＵＩは、マウス、キーボード、リモートコントロール、及び同様のもののような入力デバイスによって課される人工拘束がない“自然な”様態においてユーザがデバイスと相互作用することを可能にする如何なるインターフェイス技術としても一般に定義されてよい。ＮＵＩ法の例は、音声認識、タッチ及びスタイラス認識、スクリーン上及びスクリーンの近くの両方でのジェスチャ認識、空中ジェスチャ、頭部及び眼球追跡、発話及び音声、ビジョン、タッチ、ジェスチャ、並びにマシン・インテリジェンスに依存するものを含む。ＮＵＩ技術の他のカテゴリは、タッチ検知ディスプレイ、発話及び音声認識、意図及び目標理解、デプスカメラ（例えば、立体カメラシステム、赤外線カメラシステム、ＲＧＢカメラシステム、及びそれらの結合）によるモーションジェスチャ検出、加速度計／ジャイロスコープによるモーションジェスチャ検出、顔認識、３Ｄ表示、頭部、眼球及び注視追跡、没入型拡張現実及び仮想現実システム、並びに電界検知電極により脳活動を検知する技術を含む。
【００７４】
ユーザは、例えば、マイクロホン１０４２への発話を介して、及びキーパッド１０４１又はタッチ検知ディスプレイ１０４３で入力されるテキストメッセージを介して、他のユーザとやり取りしてよい。オーディオユニット１０５５は、スピーカ１０４４を駆動するよう電気信号を供給するとともに、マイクロホン１０４２から受け取られる音声信号を受信しデジタル化してよい。
【００７５】
モバイル機器１０００は、カメラ１０６１を駆動するよう信号を供給するビデオユニット１０６０を含んでよい。ビデオユニット１０６０はまた、カメラ１０６１によって取得された画像を受け取り、それらの画像を処理ユニット１００５及び／又はモバイル機器１０００に含まれているメモリへ供給してよい。カメラ１０６１によって取得された画像は、ビデオ、ビデオを構成しない１つ以上の画像、又はそれらの何らかの組み合わせを有してよい。
【００７６】
通信モジュール１０３２は、１つ以上のアンテナ１０６５へ信号を供給し、アンテナ１０６５から信号を受信してよい。アンテナ１０６５のうちの１つは、携帯電話ネットワークのためのメッセージを送信及び受信してよい。他のアンテナは、Ｂｌｕｅｔｏｏｔｈメッセージを送信及び受信してよい。更なる他のアンテナ（または共有アンテナ）は、有線Ｅｔｈｅｒｎｅｔ（登録商標）ネットワーク標準を介してネットワークメッセージを送信及び受信してよい。
【００７７】
また更には、アンテナは、場所に基づく情報、例えば、ＧＰＳ信号を、ＧＰＳインターフェイス及びメカニズム１０７２へ供給する。次いで、ＧＰＳメカニズム１０７２は、対応するＧＰＳデータ（例えば、時間及び座標）を処理のために利用可能にする。
【００７８】
いくつかの実施形態において、単一のアンテナは、１つよりも多いタイプのネットワークのためのメッセージを送信及び／又は受信するために使用されてよい。例えば、単一のアンテナは、発話及びパケットメッセージを送信及び受信してよい。
【００７９】
ネットワーク化された環境で動作する場合に、モバイル機器１０００は１つ以上の遠隔のデバイスと接続してよい。遠隔のデバイスは、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、携帯電話機、メディア再生デバイス、ピアデバイス又は他の共通ネットワークノードを含んでよく、通常は、モバイル機器１０００に関して上述された多くの又は全ての要素を含んでよい。
【００８０】
本願で記載される対象の態様は、多数の他の汎用又は特別目的のコンピュータシステム環境又は構成により動作可能である。本願で記載される対象の態様とともに使用されるのに適しているよく知られたコンピュータシステム、環境、及び／又は構成の例は、制限なしに、パーソナルコンピュータ、サーバコンピュータ、手持ち式又はラップトップ型デバイス、マルチプロセッサシステム、マイクロコントローラに基づくシステム、セットトップボックス、プログラム可能なコンシューマエレクトロニクス、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステム又はデバイスのいずれかを含む分散コンピュータ環境、及び同様のものを含む。
【００８１】
本願で記載される対象の態様は、モバイル機器によって実行されるプログラムモジュールのようなコンピュータ実行可能命令の一般的なコンテキストにおいて記載されてよい。一般に、プログラムモジュールは、特定のタスクを実行するか又は特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、などを含む。本願で記載される対象の態様は、通信ネットワーク通じてリンクされている遠隔の処理デバイスによってタスクが実行される分散コンピュータ環境においても実施されてよい。分散コンピュータ環境では、プログラムモジュールは、メモリ記憶デバイスを含むローカル及び遠隔の両方のコンピュータ記憶媒体において位置してよい。
【００８２】
更には、語「サーバ」が本願で使用され得るが、この語は、クライアント、１つ以上のコンピュータにおいて分散された１つ以上のプロセスの組、１つ以上のスタンドアローンの記憶デバイス、１つ以上の他のデバイスの組、上記のうちの１つ以上の組み合わせ、及び同様のものも包含し得ると認識される。
［結論］
【００８３】
本発明は、様々な変更及び代替の構成の余地があり、一方で、その特定の、説明される実施形態は、図面において示され、詳細に上述された。しかし、開示されている具体的な形態に発明を制限する意図はなく、それどころか、意図は、本発明の主旨及び適用範囲内にある全ての変更、代替の構成、及び同等物をカバーすることである点が理解されるべきである。
【００８４】
本願で記載される様々な実施形態に加えて、他の同様の実施形態が使用されてよく、あるいは、変更及び追加は、それから逸脱することなしに、対応する実施形態の同じ又は同等の機能を実施するために、記載されている実施形態に対してなされてよい点が理解されるべきである。また更には、複数の処理チップ又は複数のデバイスは、本願で記載される１つ以上の機能の実施を供給することができ、同様に、記憶は、複数のデバイスにわたって達成され得る。然るに、本発明は、如何なる単一の実施形態にも制限されず、むしろ、添付の特許請求の範囲に従う広さ、主旨、及び適用範囲において解釈されるべきである。
【図１】
2017515366.tif 000003
【図２】
2017515366.tif 000004
【図３】
2017515366.tif 000005
【図４Ａ】
2017515366.tif 000006
【図４Ｂ】
2017515366.tif 000007
【図５Ａ】
2017515366.tif 000008
【図５Ｂ】
2017515366.tif 000009
【図６】
2017515366.tif 000010
【図７】
2017515366.tif 000011
【図８】
2017515366.tif 000012
【図９】
2017515366.tif 000013
【図１０】
2017515366.tif 000014
【国際調査報告】
2017515366.tif 000015
2017515366.tif 000016