(57)【要約】タッチスクリーン付きスマートフォン又はカメラでのビデオスタイル編集のためのジェスチャに基づいたインタラクティブなグラフィカルユーザインターフェイスが開示される。方法及び装置は、モバイルデバイスにおいて、ビデオを編集し、ビデオ効果を変更する。システムは、ユーザがジェスチャの使用を通じてモバイルデバイスにおいてビデオ効果を変更することができるようにする。階層的な編集が予見され、例えば、色調や、輝度などの第１のレベル、及び編集テーマ又は編集スタイルなどの第２レベルがある。ユーザがジェスチャによりビデオ効果を変更するとき、その変更は同時にビデオに適用されて、グラフィカルフィードバックをユーザに提供する。
2016537744.tif 000002
【特許請求の範囲】
【請求項１】
画像を変更する方法であって、
画像を表示するステップと、
第１のユーザ起動の選択に対応する第１の制御信号を受信するステップと、
前記第１の制御信号に応答して第１の効果制御モードを起動するステップと、
タッチスクリーン上の位置に対応する第２の制御信号を受信するステップと、
第１の画像効果と第２の画像効果との組み合わせである視覚効果を前記位置に応答して決定するステップと、
前記視覚効果に応答して前記画像の変更されたバージョンを表示するステップと
を有する方法。
【請求項２】
前記画像は、前記第２の制御信号の変化と同時に漸次的に変更される、
請求項１に記載の方法。
【請求項３】
前記第１の画像効果と前記第２の画像効果との前記組み合わせは、前記位置の変化に応答して変更される、
請求項１に記載の方法。
【請求項４】
前記画像の第１の象限及び前記画像の第２の象限を画定し、前記第１の画像効果を前記第１の象限へ、前記第２の画像効果を前記第２の象限へ割り当てるステップと
前記位置が前記第１の象限内に位置することに応答して前記第１の画像効果を変更するステップと
を更に有する請求項１に記載の方法。
【請求項５】
前記位置が前記第２の象限内に位置することに応答して前記第２の画像効果を変更し、前記位置が前記第１の象限の方へ動くことに応答して前記第１の画像効果を変更するステップ
を更に有する請求項４に記載の方法。
【請求項６】
前記画像の第３の象限及び前記画像の第４の象限を画定し、第３の画像効果を前記第３の象限へ、第４の画像効果を前記第４の象限へ割り当てるステップ
を更に有する請求項４に記載の方法。
【請求項７】
前記画像において前記第１の象限の境界を表示するステップ
を更に有する請求項６に記載の方法。
【請求項８】
前記第１の効果制御モードは、画像効果テーマを含み、該画像効果テーマは、前記第１の画像効果及び前記第２の画像効果と関連する、
請求項１に記載の方法。
【請求項９】
前記第１の画像効果は、前記画像の中心からの前記位置の距離に応答して、非線形な強さにおいて適用される、
請求項１に記載の方法。
【請求項１０】
ユーザ起動のジェスチャを受けるタッチ検知制御デバイスと、
前記ユーザ起動のジェスチャに応答して複数の制御信号を生成するコントローラと、
第１のユーザ起動の選択に対応する第１の制御信号を受信し、該第１の制御信号に応答して第１の効果制御モードを起動し、タッチスクリーン上の位置に対応する第２の制御信号を受信し、第１の画像効果と第２の画像効果との組み合わせである視覚効果を前記位置に応答して決定し、前記視覚効果に応答して画像の変更されたバージョンを表す表示信号を生成するプロセッサと、
前記画像を表示するよう動作し、更に、該画像の前記変更されたバージョンを表示するよう動作するディスプレイと
を有する装置。
【請求項１１】
前記タッチ検知制御デバイス、前記コントローラ、及び前記ディスプレイは、タッチスクリーンディスプレイの部分である、
請求項１０に記載の装置。
【請求項１２】
メモリを更に有し、該メモリは、前記視覚効果、前記第１の画像効果、及び前記第２の画像効果に対応するデータを記憶する、
請求項１１に記載の装置。
【請求項１３】
前記画像は、前記第２の制御信号の変化と同時に漸次的に変更される、
請求項１０に記載の装置。
【請求項１４】
前記第１の画像効果と前記第２の画像効果との前記組み合わせは、前記位置の変化に応答して変更される、
請求項１０に記載の装置。
【請求項１５】
前記プロセッサは、前記画像の第１の象限及び前記画像の第２の象限を画定し、前記第１の画像効果を前記第１の象限へ、前記第２の画像効果を前記第２の象限へ割り当て、前記位置が前記第１の象限内に位置することに応答して前記第１の画像効果を変更するよう更に動作する、
請求項１０に記載の装置。
【請求項１６】
前記プロセッサは、前記位置が前記第２の象限内に位置することに応答して前記第２の画像効果を変更し、前記位置が前記第１の象限の方へ動くことに応答して前記第１の画像効果を変更するよう更に動作する、
請求項１５に記載の装置。
【請求項１７】
前記プロセッサは、前記画像の第３の象限及び前記画像の第４の象限を画定し、第３の画像効果を前記第３の象限へ、第４の画像効果を前記第４の象限へ割り当てるよう更に動作する、
請求項１５に記載の装置。
【請求項１８】
前記ディスプレイは、前記画像において前記第１の象限の境界を表示するよう更に動作する、
請求項１５に記載の装置。
【請求項１９】
前記第１の効果制御モードは、画像効果テーマを含み、該画像効果テーマは、前記第１の画像効果及び前記第２の画像効果と関連する、
請求項１０に記載の装置。
【請求項２０】
前記第１の画像効果は、前記画像の中心からの前記位置の距離に応答して、非線形な強さにおいて適用される、
請求項１０に記載の装置。
【発明の詳細な説明】
【背景技術】
【０００１】
ポータブル型電子デバイスは、ますます普遍的になりつつある。例えば、携帯電話機、音楽プレーヤー、カメラ、タブレット、等のような、それらのデバイスは、デバイスの組み合わせを含み、よって、複数のオブジェクトを持ち運ぶことを不必要にする。例えば、Ａｐｐｌｅ（登録商標）のｉＰｈｏｎｅ（登録商標）又はＳａｍｓｕｎｇ（登録商標）のＧａｌａｘｙ（登録商標）アンドロイド（登録商標）フォンのような、現在のタッチスクリーン型携帯電話機は、例えば、ビデオ及び静止画カメラ、グローバルポジショニングナビゲーションシステム、インターネットブラウザ、テキスト及び電話、ビデオ及び音楽プレーヤー、他を含む。それらのデバイスは、例えば、ＷｉＦｉ（登録商標）、有線、及びセルラー（例えば、３Ｇ）のような複数のネットワークにおいて、データを送信及び受信することをしばしば可能にされる。
【０００２】
ポータブル型電子デバイスにおける二次的要素の品質は、絶えず改善してきた。例えば、初期の“カメラ付き電話機”は、レンズが固定焦点長さあって且つフラッシュなしの低解像度センサから成った。今日、多くの携帯電話機は、フル高精細ビデオ機能、編集及びフィルタリングツール、並びに高精細ディスプレイを備える。この改善された機能により、多くのユーザは、自身の主たる写真撮影デバイスとしてそれらのデバイスを使用している。従って、より一層改善された性能及びプロ仕様の組み込み型写真撮影ツールに対する要求が存在する。加えて、ユーザは、単に写真を印刷するだけでなく、より多くの方法で他者と自身のコンテンツを共有し且つ容易にそうしたいと望んでいる。ユーザは、例えば、ＹｏｕＴｕｂｅ（登録商標）のような、ビデオストレージサイト又はソーシャルメディアサイトへコンテンツをアップロードしてよい。しかし、ユーザは、共有する前にそれらの写真又はビデオを編集したいと望むことがあり、この編集は、理想的には、モバイルデバイスで行われ得る。ユーザは、ビデオの長さを編集したり、色フィルタ、輝度又は他のビデオ効果を変更したりしたいと望むことがある。それらの機能は、モバイルデバイスで一般的に利用可能でないので、ユーザは、編集を実行するために最初にコンテンツをコンピュータにダウンロードしなければならない。これは、ユーザの能力水準をしばしば超え、あるいは、実際的であるために必要とされる時間及び労力がかかり過ぎるので、ユーザは、ビデオコンテンツを共有することをしばしば断念させられる。そのような共有方法には、電子メール、テキスト、又はソーシャルメディアサイト、例えば、Ｆａｃｅｂｏｏｋ（登録商標）、ｔｗｉｔｔｅｒ（登録商標）、ＹｏｕＴｕｂｅ（登録商標）、等が含まれ得る。ユーザがビデオをモバイルデバイスにおいて容易に編集し且つメディアを共有することができることが望ましい。
【発明の概要】
【０００３】
画像又はビデオを編集し、画像又はビデオの属性を変更し、且つ、画像又はビデオに効果を加える方法及び装置が開示される。
【０００４】
本発明の態様に従って、装置は、ユーザ起動のジェスチャを受けるタッチ検知制御デバイスと、前記ユーザ起動のジェスチャに応答して複数の制御信号を生成するコントローラと、第１のユーザ起動の選択に対応する第１の制御信号を受信し、該第１の制御信号に応答して第１の効果制御モードを起動し、タッチスクリーン上の位置に対応する第２の制御信号を受信し、第１の画像効果と第２の画像効果との組み合わせである視覚効果を前記位置に応答して決定し、前記視覚効果に応答して前記画像の変更されたバージョンを表す表示信号を生成するプロセッサと、前記画像を表示するよう動作し、更に、該画像の前記変更されたバージョンを表示するよう動作するディスプレイとを有する。
【０００５】
本発明の他の態様に従って、方法は、画像を変更する方法であって、画像を表示するステップと、第１のユーザ起動の選択に対応する第１の制御信号を受信するステップと、前記第１の制御信号に応答して第１の効果制御モードを起動するステップと、タッチスクリーン上の位置に対応する第２の制御信号を受信するステップと、第１の画像効果と第２の画像効果との組み合わせである視覚効果を前記位置に応答して決定するステップと、前記視覚効果に応答して前記画像の変更されたバージョンを表示するステップとを有する。
【図面の簡単な説明】
【０００６】
本開示のそれら及び他の態様、特徴及び利点は記載され、すなわち、添付の図面に関連して読まれるべき好適な実施形態の以下の詳細な説明から明らかになるであろう。図面において、同じ参照符号は、図を通して同様の要素を表す。
【図１】モバイル電子デバイスの例となる実施形態のブロック図を示す。
【図２】本発明に従うアクティブ表示を備える例となるモバイルデバイスディスプレイを示す。
【図３】本開示に従う画像安定化及びリフレーミングのための例となるプロセスを示す。
【図４】本発明に従うキャプチャ初期化を備える例となるモバイルデバイスディスプレイを示す。
【図５】本発明に従って画像又はビデオを開始する例となるプロセスを示す。
【図６】本発明の態様に従う自動ビデオセグメンテーションの例となる実施形態を示す。
【図７】本発明の態様に従ってビデオをセグメント化する方法を示す。
【図８】本発明の一態様に従うライトボックスアプリケーションを示す。
【図９】ライトボックスアプリケーション内で実行され得る様々な例となる動作を示す。
【図１０】本発明の態様に従う例となる効果制御アプリケーションを示す。
【図１１】本発明の一態様に従う他の例となる効果制御アプリケーションを示す。
【図１２】本発明に従ってビデオスタイルを実装する方法を示す。
【発明を実施するための形態】
【０００７】
ここで示される例示は、本発明の好適な実施形態を表し、そのような例示は、如何なる方法によっても本発明の適用範囲を制限するものとして解釈されるべきではない。
【０００８】
ビデオスタイル編集のためのユーザインターフェイスは、ビデオ又は画像のフィルタ、スタイル又は効果がタッチスクリーンデバイス等において直ちに編集され得るシステムである。ビデオ又は画像のフィルタ、スタイル又は効果には、セピア調色、インターレーシング、ブレンディング、ノイズ、ガウスぼかし、鮮鋭化、リップル、パズル、ゆがめ、等が含まれ得る。多くのフィルタ、スタイル及び効果が存在し、大部分はこのシステムを用いて実装され得る。
【０００９】
１つの例となる実施形態では、画像又はビデオは、例えば、携帯電話機のスクリーンのような、タッチ検知スクリーンにおいて表示される。インターフェイスがユーザ入力に応答して有効にされる場合に、表示は象限に分割される。各象限は異なる効果を制御する。例えば、４つの外観、例えば、７０年代効果、セピア、ポラロイド（登録商標）等によるヴィンテージのようなテーマと関連付けられた４つの異なるスタイルが象限において適用されてよい。テーマの他の例は、色、エッジコントラスト、等であってよい。象限の真ん中でタッチスクリーンにタッチすることは、テーマに従う複合的なフィルタを適用してよく、あるいは、どの効果も適用しなくてよい。スクリーン上の中心点から指を動かすことは、例えば、セピアのような、その象限に割り当てられている効果の強さを増大させる。象限の間の移動は効果を融合する。
【００１０】
正規化数は、対角線上で重み付けられて適用され得る。効果は、ある閾値の後に変化することができ、例えば、０．５は色の変化を導入し、０．９は新しい効果を導入する、等。如何なる所与のユーザベクトルの大きさも、設計によって首尾一貫した所定の外観を生成する階層化された一連の個々の画像処理を決定する。
【００１１】
図１を参照すると、モバイル電子デバイスの例となる実施形態のブロック図が示されている。表されているモバイル電子デバイスは携帯電話機１００であるが、本発明は、例えば、音楽プレーヤー、カメラ、タブレット、グローバルポジショニングナビゲーションシステム、等のような、いくつのデバイスにおいても同様に実施されてよい。携帯電話機は、通常は、電話呼び出し及びテキストメッセージを送信及び受信する能力、セルラーネットワーク又はローカル無線ネットワークのいずれかを通じてインターネットと相互作用する能力、ピクチャ及び画像を撮影する能力、オーディオ及びビデオコンテンツを再生する能力、並びにアプリケーション（例えば、ワードプロセッシング、プログラム、又はビデオゲーム）を実行する能力を備える。多くの携帯電話機はＧＰＳを有し、更には、ユーザインターフェイスの部分としてタッチスクリーンパネルを有する。
【００１２】
携帯電話機は、他の主たるコンポーネントの夫々へ結合されているメインプロセッサ１５０を有する。メインプロセッサ（複数を含む。）は、例えば、ネットワークインターフェイス、カメラ１４０、タッチスクリーン１７０、及び他の入出力（Ｉ／Ｏ）インターフェイス１８０のような、様々なコンポーネントの間で情報を転送する。メインプロセッサ１５０は、また、直接に当該デバイスにおける、又はオーディオ／ビデオインターフェイスを通じて外部デバイスにおける再生のためにオーディオ及びビデオコンテンツを処理する。メインプロセッサ１５０は、例えば、カメラ１４０、タッチスクリーン１７０、及びＵＳＢインターフェイス１３０のような、様々なサブデバイスを制御するよう動作する。メインプロセッサ１５０は、コンピュータと同様にデータを扱うために使用される携帯電話機におけるサブルーチンを実行するよう更に動作する。例えば、メインプロセッサは、写真がカメラ１４０によって撮影された後に、画像ファイルを処理するために使用されてよい。そのような処理は、クロッピング、圧縮、色及び輝度の調整、等を含んでよい。
【００１３】
セルネットワークインターフェイス１１０は、メインプロセッサ１５０によって制御され、セルラー無線ネットワークにわたって情報を受信及び送信するために使用される。この情報は、例えば、時分割多重アクセス（ＴＤＭＡ；time  division  multiple  access）、符号分割多重アクセス（ＣＤＭＡ；code  division  multiple  access）又は直交周波数分割多重化（ＯＦＤＭ；orthogonal  frequency-division  multiplexing）のような、様々なフォーマットにおいて符号化されてよい。情報は、セルネットワークインターフェイス１１０を通じて当該デバイスから送信及び受信される。インターフェイスは、情報を送信のための適切なフォーマットに符号化及び復号するために使用される複数のアンテナ、符号化器、復調器、等を有してよい。セルネットワークインターフェイス１１０は、ボイス若しくはテキスト送信を容易にするために、又はインターネットから情報を送信及び受信するために使用されてよい。この情報は、ビデオ、オーディオ、及び／又は画像を含んでよい。
【００１４】
無線ネットワークインターフェイス１２０、又はＷｉＦｉネットワークインターフェイスは、ＷｉＦｉネットワークにわたって情報を送信及び受信するために使用される。この情報は、例えば、８０２．１１ｇ、８０２．１１ｂ、８０２．１１ａｃ、等のような、種々のＷｉＦｉ規格に従う様々なフォーマットにおいて符号化され得る。インターフェイスは、情報を送信のための適切なフォーマットに符号化及び復号し、情報を復調のために復号するために使用される複数のアンテナ、符号化器、復調器、等を有してよい。ＷｉＦｉネットワークインターフェイス１２０は、ボイス若しくはテキスト送信を容易にするために、又はインターネットから情報を送信及び受信するために使用されてよい。この情報は、ビデオ、オーディオ、及び／又は画像を含んでよい。
【００１５】
ユニバーサルシリアルバス（ＵＳＢ）インターフェイス１３０は、情報を、通常はコンピュータ又は他のＵＳＢ対応デバイスへ、有線リンクにわたって送信及び受信するために使用される。ＵＳＢインターフェイス１３０は、情報を送信及び受信し、インターネットへ接続し、ボイス及びテキスト呼び出しを送信及び受信するために使用され得る。加えて、この有線リンクは、モバイルデバイスのセルネットワークインターフェイス１１０又はＷｉＦｉネットワークインターフェイス１２０を用いてＵＳＢ対応デバイスを他のネットワークへ接続するために使用されてよい。ＵＳＢインターフェイス１３０は、構成情報をコンピュータへ送信及び受信するためにメインプロセッサ１５０によって使用され得る。
【００１６】
メモリ１６０、又はストレージデバイスは、メインプロセッサ１５０へ結合されてよい。メモリ１６０は、モバイルデバイスの動作に関連し且つメインプロセッサ１５０によって必要とされる具体的な情報を記憶するために使用されてよい。メモリ１６０は、ユーザによって記憶及び検索されるオーディオ、ビデオ、写真、又は他のデータを記憶するために使用されてよい。
【００１７】
入出力（Ｉ／Ｏ）インターフェイス１８０は、電話呼び出し、オーディオの記録及び再生、又は音声駆動制御とともに使用するためのボタン、スピーカ／マイクロホンを含む。モバイルデバイスは、タッチスクリーンコントローラを通じてメインプロセッサ１５０へ結合されているタッチスクリーン１７０を有してよい。タッチスクリーン１７０は、容量性及び抵抗性タッチセンサの１つ以上を用いるシングルタッチ又はマルチタッチスクリーンのいずれかであってよい。スマートフォンは、例えば、それだけに限られないが、オン／オフボタン、駆動ボタン、ボリューム制御、リンガー制御、及びマルチボタンキーパッド又はキーボードのような、更なるユーザコントロールを更に有してよい。
【００１８】
これより図２を参照すると、本発明に従うアクティブ表示２００を備えた例となるモバイルデバイスディスプレイが示されている。例となるモバイルデバイスアプリケーションは、ユーザがあらゆるフレーミングにおいて記録し且つ自身のデバイスを撮影中に自由に回転させることを可能にし、撮影中にデバイスのビューファインダーでのオーバーレイにおいて最終の出力を視覚化し、最終的に最終の出力においてデバイスの位置付けを補正するよう動作する。
【００１９】
例となる実施形態に従って、ユーザが撮影を開始するときに、その現在の位置付けが考慮され、デバイスのセンサに基づく重力のベクトルが水平線を合わせるために使用される。例えば、デバイスのスクリーン及び関連する光センサが横長より縦長である縦向き２１０、又はデバイスのスクリーン及び関連する光センサが縦長より横長である横向き２５０のような、夫々のとり得る位置付けについて、最適な目標アスペクト比が選択される。はめ込み長方形２２５は、所与の（現在の）位置付けについての所望の最適アスペクト比を鑑みて、センサの最大境界に適合するセンサ全体内に記される。センサの境界は、補正のための“猶予（breathing  room）”を提供するためにわずかに水増しされる。このはめ込み長方形２２５は、デバイス自体の回転と逆方向において本質的に回転することによって、回転２２０、２３０、２４０を補償するよう変形される。回転は、デバイスの内蔵ジャイロスコープからサンプリングされる。変形された内側長方形２２５は、センサ全体の最大使用可能境界から水増し分を引いたものの内側に最適に記される。デバイスの現在の最たる位置付けに応じて、変形された内側長方形２２５の大きさは、回転の量に対して、２つの最適なアスペクト比の間を補間するよう調整される。
【００２０】
例えば、縦向きのために選択された最適なアスペクト比が正方形（１：１）であり、横向きのために選択された最適なアスペクト比が幅広（１６：９）であった場合に、表記の長方形は、それが１つの位置付けから他の位置付けへ回転されるときに１：１から１６：９の間を最適に補間する。表記の長方形は、サンプリングされ、次いで、最適な出力寸法にあるよう変形される。例えば、最適な出力寸法が４：３であり、サンプリングされた長方形が１：１である場合には、サンプリングされた長方形は、アスペクトフィルド（aspect  filled）（必要に応じてデータをクロッピングして、最適に１：１のエリアを完全に満たす。）又はアスペクトフィット（aspect  fit）（‘レターボクシング’又は‘ピラーボクシング’により如何なる未使用エリアも黒く塗りつぶして、最適に１：１エリアの内側に完全に合う。）のいずれかである。終わりに、結果は固定アスペクトアセットであり、コンテンツフレーミングは、補正の間に、動的に提供されたアスペクト比に基づき調整する。故に、例えば、１：１から１６：９のコンテンツから成る１６：９のビデオは、最適に満たされた状態２６０（１６：９部分の間）とピラーボックスを取り付けた状態（１：１部分の間）との間を行ったり来たりする。
【００２１】
全ての動きの総計が最適な出力アスペクト比の選択に考慮され且つ重み付けされるところの更なる精緻化が実施される。例えば、ユーザが、縦長のコンテンツがわずかであって‘大部分が横長’であるビデオを記録する場合には、出力フォーマットは横長アスペクト比である（縦長セグメントにピラーボックスを挿入する。）。ユーザが、大部分が縦長であるビデオを記録する場合には、反対のことが起こる（ビデオは縦長であるよう、出力長方形の境界の外にある如何なる横長コンテンツもクロッピングして最適に出力を満たす。）。
【００２２】
これより図３を参照すると、本開示に従う画像安定化及びリフレーミングのための例となるプロセス３００が示されている。システムは、カメラのキャプチャモードが起動されることに応答して、初期化される（３１０）。この初期化は、ハードウェア又はソフトウェアボタンに従って、又はユーザの行動に応答して生成される他の制御信号に応答して、開始されてよい。デバイスのキャプチャモードが起動されると、モバイルデバイスセンサは、ユーザ選択に応答して選択される（３２０）。ユーザ選択は、タッチスクリーンデバイスでの設定を通じて、メニューシステムを通じて、又は如何にしてボタンが作動されるのかに応答して、なされてよい。例えば、一度押下されたボタンは、フォトセンサを選択してよく、一方、途切れることなく押下されたままであるボタンは、ビデオセンサを示してよい。加えて、所定の時間、例えば、３秒間、ボタンを押したままであることは、ビデオが選択されたことを示してよく、モバイルデバイスでのビデオ記録は、ボタンが２度目に作動されるまで続く。
【００２３】
適切なキャプチャセンサが選択されると、システムは、次いで、回転センサに測定を要求する（３３０）。回転センサは、ジャイロスコープ、加速度計、軸配向センサ、光センサ、等であってよく、モバイルデバイスの位置の水平及び／又は垂直の現れを決定するために使用される。測定センサは、周期的な測定を制御プロセッサへ送信して、モバイルデバイスの水平及び／又は垂直の向きを連続的に示してよい。よって、デバイスが回転されると、制御プロセッサは、表示を絶えず更新し、且つ、連続的な一貫した水平線を有するようにビデオ又は画像をセーブすることができる。
【００２４】
回転センサがモバイルデバイスの垂直及び／又は水平の向きのインジケーションを返した後、モバイルデバイスは、ビデオ又は画像のキャプチャの向きを示すようディスプレイ上ではめ込み長方形を表す（３４０）。モバイルデバイスが回転されると、システムプロセッサは、引き続き、はめ込み長方形を、回転センサから受け取った回転測定と同期させる（３５０）。ユーザは、任意に、例えば、１：１、６：９、１６：９のような、好適な最終のビデオ若しくは画像比、又はユーザに決定されたあらゆる比を示してよい。システムは、また、モバイルデバイスの位置付けに従う異なる比ごとのユーザ選択を記憶してよい。例えば、ユーザは、垂直の向きにおいて記録されるビデオについては１：１比を、一方、水平の向きにおいて記録されるビデオについては１６：９比を示してよい。この事例では、システムは、モバイルデバイスが回転されると、連続的に又は漸増的にビデオをリスケーリングしてよい（３６０）。よって、ビデオは、１：１の位置付けから始まってよいが、ユーザが撮影中に垂直から水平の向きへ回転することに応答して、１６：９の位置付けにおいて終わるよう漸次的にリスケーリングされ得る。任意に、ユーザは、開始又は終了の位置付けがビデオの最終の比を決定することを示してよい。
【００２５】
これより図４を参照すると、本発明に従うキャプチャ初期化４００を備える例となるモバイルデバイスディスプレイが示されている。例となるモバイルデバイスは、画像又はビデオを捕捉するタッチトーンディスプレイを表すよう示されている。本発明の態様に従って、例となるデバイスのキャプチャモードは、多数の動作に応答して起動されてよい。モバイルデバイスのハードウェアボタン４１０のいずれかは、キャプチャシーケンスを開始するよう押し下げられてよい。代替的に、ソフトウェアボタン４２０は、キャプチャシーケンスを開始するようタッチスクリーンを通じて作動されてよい。ソフトウェアボタン４２０は、タッチスクリーンに表示されている画像４３０にオーバーレイされてよい。画像４３０は、画像センサによって捕捉されている現在の画像を示すビューファインダーの役目をする。上述された表記の長方形４４０も画像にオーバーされてよく、捕捉される画像又はビデオのアスペクト比を示す。
【００２６】
これより図５を参照すると、本開示に従って画像又はビデオキャプチャを開始する例となるプロセス５００が示されている。イメージングソフトウェアが開始されると、システムは、画像キャプチャを開始するためのインジケーションを待つ。画像キャプチャのインジケーションがメインプロセッサによって受け取られると（５１０）、デバイスは、画像センサから送信されたデータをセーブし始める（５２０）。加えて、システムはタイマを起動する。システムは、次いで、画像センサからのデータをビデオデータとして捕捉し続ける。キャプチャが停止（５３０）されたことを示す、キャプチャのインジケーションからの第２のインジケーションに応答して、システムは、画像センサからのデータをセーブすることを止め、タイマを停止させる（５３５）。
【００２７】
システムは、次いで、タイマの値を所定の時間閾値と比較する（５４０）。所定の時間閾値は、例えば、１秒といった、ソフトウェアプロバイダによって決定されたデフォルト値であってよく、あるいは、それは、ユーザによって決定された設定可能な設定であってよい。タイマの値が所定の閾値に満たない場合は（５４０）、システムは、静止画像が所望であったと決定し、ビデオキャプチャの第１のフレームを静止画像として静止画像フォーマット（例えば、ＪＰＥＧ、等）においてセーブする（５６０）。システムは、任意に、他のフレームを静止画像として選択してよい。タイマの値が所定の閾値よりも大きい場合は（５４０）、システムは、ビデオキャプチャが所望であったと決定する。システムは、次いで、キャプチャデータをビデオファイルとしてビデオファイルフォーマット（例えば、ＭＰＥＧ、等）においてセーブする（５５０）。システムは、次いで、初期化モードへ戻り、キャプチャモードが再び起動されるのを待ってよい。モバイルデバイスが静止画像キャプチャ及びビデオキャプチャのために異なるセンサを備えている場合は、システムは、任意に、静止画像センサからの静止画像をセーブし、ビデオ画像センサからのキャプチャデータをセーブし始めてよい。タイマの値が所定の時間閾値と比較されるとき、所望のデータがセーブされ、一方、不要なデータはセーブされない。例えば、タイマの値が閾時間値を越える場合は、ビデオデータがセーブされ、画像データは捨てられる。
【００２８】
これより、図６を参照すると、自動ビデオセグメンテーション６００の例となる実施形態が示されている。システムは、可能な限り秒単位における所定の時間インターバルに近いセグメントへとスライスされるビデオを計算及び出力することを目標としている自動ビデオセグメンテーションを対象とする。加えて、セグメントは、セグメント化されるビデオの属性に応じて、より長くても、又はより短くてもよい。不格好に、例えば、話し言葉の途中で、コンテンツを分けることは、好ましくない。タイムライン６１０が示されており、９つのセグメント（１〜９）に分けられたビデオを表す。セグメントの夫々は、約８秒の長さである。原のビデオは、少なくとも１分４秒の長さを有する。
【００２９】
この例となる実施形態では、夫々のビデオセグメントについて選択された時間インターバルは８秒である。この当初の時間インターバルは、より長くても、又はより短くてもよく、あるいは、任意に、ユーザによって設定可能であってよい。８秒のベースタイミングインターバルは、様々なタイプのネットワーク上でダウンロードするための適当なデータ伝送サイズを持った管理可能なデータセグメントに目下相当するものとして、選択された。約８秒のクリップは、モバイルプラットフォームにおいて試験的に配信されるビデオコンテンツのシングルクリップをエンドユーザが吟味すると期待する妥当な平均存続期間である。約８秒のクリップは、知覚的に覚えやすい期間であってよく、エンドユーザは、理論上は、それが表示する一層多くのコンテンツのより良い視覚的記憶を持ち続けることができる。加えて、８秒は、現代の洋楽の最も一般的なテンポである毎分１２０の拍子での８ビートのイーブン楽節長さである。これは、近似的に、最も一般的な楽節長さである４小節（１６ビート）の小楽節の存続期間（音楽のテーマ又はセクションの全体を含む存続時間）である。このテンポは、平均的な活動心拍数に知覚的にリンクされて、行為及び活動を示唆するとともに、覚醒を増進させる。更に、小さい既知のサイズクリップを有することは、ビデオ圧縮率及びバンド幅が、８メガビット＝１メガバイトであるとして、例えばメガビット毎分といった、８進数の数の周囲で概して算出されることを鑑みて、より容易なバンド幅計算を助ける。従って、ビデオの各セグメントは、毎秒１メガビットで符号化される場合に、約１メガバイトである。
【００３０】
これより図７を参照すると、本発明に従ってビデオをセグメント化する方法７００が示されている。知覚的に優れた編集境界においてビデオセグメントを８秒の理想的なセグメントへと手続き上分けるために、ビデオコンテンツを解析するための多数のアプローチがシステム内で適用されてよい。第１に、最初の決定は、ビデオコンテンツが他のアプリケーションから発せられたものであるのか、それとも、目下のモバイルデバイスにより記録されたものであるのかについて、ビデオコンテンツの性質に関して行われてよい（７２０）。コンテンツが他のソース又はアプリケーションから発せられたものである場合は、ビデオコンテンツは、最初に、シーンブレイク検出を用いて、明らかな編集境界について解析される（７２５）。如何なる統計的に有意な境界も、所望の８秒インターバル又はその最も近くでの境界における強調により、マークされてよい（７３０）。ビデオコンテンツが目下のモバイルデバイスにより記録されたものである場合には、センサデータは、記録の間にログを取られてよい（７３５）。これは、デバイスの加速度計からの全ての軸におけるデバイスの動きの差分及び／又はデバイスのジャイロスコープに基づく全ての軸におけるデバイスの回転を含んでよい。このログを取られたデータは、いずれかの所与のベクトルについて時間にわたる平均の大きさに対して統計的に有意である動きの開始の差分を見つけるよう解析されてよい。それらの差分は、所望の８秒インターバルに最も近い境界における強調により、ログを取られてよい（７４０）。
【００３１】
ビデオコンテンツは、編集選択を知らせることができる更なるキューについて更に知覚的に解析され得る。デバイスのハードウェア、ファームウェア、又はＯＳが、顔ＲＯＩ選択を含む、何らかの組み込み型関心領域（ＲＯＩ；region  of  interest）検出を提供する場合に、それは、シーン内のあらゆるＲＯＩにマークするために利用される（７４５）。それらのＲＯＩの開始出現又は消失（すなわち、それらがフレームにおいて現れ且つフレームから消える時に最も近い時点）は、所望の８秒インターバルに最も近い境界における強調により、ログを取られ得る。
【００３２】
全体の振幅に対するオーディオに基づいた開始検出は、零交差、ノイズフロア、又は移動平均電力レベルのいずれかに対する統計的に有意な振幅の変化（増大又は低減）を探す（７５０）。統計的に有意な変化は、所望の８秒インターバルに最も近い境界における強調によりログを取られる。スペクトルバンド範囲内の振幅に対するオーディオに基づいた開始検出は、オーディオ信号をＦＦＴアルゴリズムにより多数の重なり合ったＦＦＴビンへと変換することに依存する。変換されると、夫々のビンは、それ自身の移動平均に対する統計的に有意な振幅の変化について慎重に解析されてよい。次いで、全てのビンはまとめて平均化され、全てのバンドにわたる最も統計的に有意な結果が、所望の８秒インターバルに最も近い境界における強調により、開始としてログを取られる。この方法の中で、オーディオは、バンドを選択的に強調する／強調を抑制するようコムフィルタにより前処理され得る。例えば、通常の人間の発話の範囲内のバンドは、強調されてよく、一方、ノイズと同じ意味の高周波バンドは、強調を抑制されてよい。
【００３３】
コンテンツ内の平均の動きの視覚的解析は、適切なセグメンテーション点を確立するのを助けるようビデオコンテンツについて決定され得る（７５５）。実時間の性能特性に必要とされる有限なフレーム分解能及びサンプリングレートで、フレーム内の平均の動きの大きさは決定され、時間にわたる統計的に有意な変化を探して、所望の８秒インターバルに最も近い境界における強調により結果のログを取るために使用され得る。加えて、コンテンツの平均の色及び輝度は、所望の８秒インターバルに最も近い境界における強調により統計的に有意な変化のログを取るために、記録されたデータの簡単な低分解能解析を用いて決定され得る。
【００３４】
上記の解析のいずれか又は全てが完了すると、最終のログ出力は、夫々の結果を全体平均へと重み付けるよう解析されてよい（７６０）。解析データのこの後処理パスは、全ての個別的な解析プロセスの重み付け及び平均化をなされた結果に基づき、時間において最も有望な点を見つける。所望の８秒インターバル又はその最も近くでの最終の最も強固な平均点は、断片化編集決定のためのモデルを形成する出力として計算される。
【００３５】
後処理ステップ７６０は、ビデオ内の前述のマークされた点のいずれか又は全てを好ましいセグメンテーション点のインジケータと見なしてよい。種々の決定因子が重み付けされ得る。また、例えば８秒といった好ましいセグメンテーション長さからあまりにかけ離れている決定点は、好ましいセグメンテーション長さに最も近い点よりも低く重み付けされてよい。
【００３６】
これより図８を参照すると、本発明の一態様に従うライトボックスアプリケーション８００が示されている。ライトボックスアプリケーションは、ビデオ及びメディアの時間に基づいた編集を改善するためにリスト主導の選択プロセスを使用する方法及びシステムを対象とする。ライトボックスアプリケーションは、垂直の向き８１０及び水平の向き８２０の両方において示されている。ライトボックスアプリケーションは、セグメント化されたビデオがセーブされた後に起動されてよい。代替的に、ライトボックスアプリケーションは、ユーザコマンドに応答して起動されてよい。セグメントの夫々は、夫々について生成されたプレビューを用いて、起こる順序で最初にリストアップされる。プレビューは、ビデオセグメント又はビデオセグメントの部分から取られた単一の画像であってよい。更なるメディアコンテンツ又はデータがライトボックスアプリケーションに加えられ得る。例えば、他のソースから受け取られた写真又はビデオは、ユーザが、受け取られたコンテンツを共有若しくは編集したり、又はそれらの受け取られたコンテンツを新たに生成されたコンテンツと結合したりすることを可能にするよう、ライトボックスのリストに含まれてよい。このように、アプリケーションは、ビデオ及びメディアの時間に基づいた編集を、簡単なリスト主導の選択プロセスの中で可能にする。
【００３７】
ライトボックスアプリケーションは、編集上の決定を共有する中心点として使用されてよい。ライトボックスは、ユーザが、即座に且つ容易にコンテンツを見て、何を保持すべきか、何を捨てるべきか、及びいつどのように他者と共有すべきかを決定することを可能にする。ライトボックス機能は、カメラとともに、チャネルブラウジングとともに、又は他の場所からメディアをインポートする点として、働いてよい。ライトボックスビューは、最近のメディアのリスト又はメディアのグループ分けされた組を含んでよい。夫々のアイテム、画像又はビデオは、キャプション、存続期間、及びとり得るグループ数とともに、サムネイルとして表示される。キャプションは、自動的に又はユーザによって生成されてよい。存続期間は、メディアコンテンツの重み及びペースをユーザに提示するために、簡易化されてよい。ライトボックスのタイトルバーは、逆戻り、アイテムのインポート、又はメニューを開くことに対するナビゲーションとともに、アイテム数を伴ってライトボックスセットのカテゴリを含んでよい。
【００３８】
ライトボックスの横向き表示８２０は異なるレイアウトを提供し、一方の側には、メディアアイテムがリストアップされており、他方の側には、任意に、何らかの直ちに評価可能な形式で、共有方法がリストアップされている。これは、Ｆａｃｅｂｏｏｋ（登録商標）、ｔｗｉｔｔｅｒ（登録商標）、又は他のソーシャルメディアアプリケーションのリンク又はプレビューを含んでよい。
【００３９】
これより図９を参照すると、ライトボックスアプリケーション内で実行され得る様々な例となる動作９００が示されている。例えば、組み込み型カメラ機能によって捕捉され、デバイスの既存のメディアライブラリからインポートされ、場合により、他のアプリケーションにより記録若しくは生成され、又はウェブベースのソースからダウンロードされ、あるいは、関連するアプリケーション内で直接に公開されたコンテンツから精選されるメディアは、全てがプレビューモードにおいてライトボックス内に集められる（９０５）。ライトボックスは、例えば、メディアが収集された時間のグルーピングのように、イベントに基づきグループに分類して簡単な垂直リストにおいてメディアを提示する。夫々のアイテムは、メディアの所与の部分についてのサムネイル又は簡易化した存続期間を含むリスト行によって表される。いずれかのアイテムをタップすることによって、メディアは、直接にそのアイテムに関して表示する拡大パネルにおいてプレビューされ得る。
【００４０】
ライトボックスアプリケーションは、任意に、アイテムをプレビューする拡大アイテムビューを有してよい（９１０）。拡大アイテムビュー９１０は、メディアアイテムを処理すること、見出しをつけること、及びそれを共有することに対するオプションを顕在化させる。クローズボタンをタップすることでアイテムは閉じられ、あるいは、その下にある他のアイテムをタップすることでアイテムは閉じられ、他のアイテムが開かれる。
【００４１】
ライトボックスアプリケーション内を上又は下にスクロールすることは、ユーザがメディアアイテムをナビゲートすることを可能にする（９１５）。ヘッダは、リストの上に留まってよく、あるいは、それは、コンテンツの上に浮かんでよい。リストの終わりまでスクロールすること（９２０）は、他のより古いリストへのナビゲーションを有効にしてよい。より古いリストの先頭は、ドラッグしながら引っ張ることで示されてよい。引っ張った後にドラッグすることで、より古いリストへ移る。アイテムを保持しながらドラッグすること（９２５）は、ユーザがアイテムを並べ替えること、又は１つのアイテムを他のアイテムの上にドラッグすることでそれらのアイテムを結合することを可能にする。アイテムを左へスワイプすること（９３０）は、そのアイテムをライトボックスから削除する。アイテムの削除は、デバイスからそれらを削除してもしなくてもよく、すなわち、単にライトボックスアプリケーションからアイテムを削除してよい。アイテムをドラッグして、他のアイテムの上にドロップすること（９３５）は、アイテムをグループにまとめるために、又はドラッグされたアイテムをグループと結びつけるために使用されてよい。アイテムを一緒にピンチすること（９４０）は、ピンチ範囲内にあった全てのアイテムをグループにまとめる。まとめられたアイテムのプレビューの際には、それらは順次に再生し、アイテム数を示す。アイテム数は、まとめられたアイテムをプレビューウィンドウの下に展開するようタップされ得る（９４５）。長方形のライトボックスアイテムは、次いで、展開されたアイテムが行として表示されることを可能にするよう押し下げられてよい。
【００４２】
アイテムは、ライトボックスアプリケーション内からそれらをドラッグすることによって操作され得る。アイテムは、例えば９３０のように、いずれかのアイテムを左にドラッグすることによって、ライトボックスアプリケーションから削除され得る。いずれかのアイテムを右にドラッグすることによって、そのアイテムは、速やかに公開するよう進められ得る（９５０）。これにより、ユーザが１つ又は多数の共有場所で所与のアイテムのメディアを共有することを可能にするスクリーンへ移る（９５５）。プレビューの際に共有ボタンをタップすることも、アイテムの共有を可能にしてよい。いずれかのアイテムを押しながら保持することによって、それはドラッグ可能になり、その時点で、アイテムは、リスト全体におけるその位置を再編成するよう上下にドラッグされ得る。リストにおける時間は、垂直方向に上から下へ表される。例えば、一番上のアイテムは、メディアが順次に実行される場合に時間において最初である。アイテムのいずれかの丸ごとのグループ（単一のイベントヘディングの下で保たれる。）は、集合的にプレビューされ得（時間順に全てのアイテムから成る単一のプレビューとして順次に再生される。）、単一のリストアイテムとして同じジェスチャ及び制御手段を用いて集合的に削除又は公開され得る。ビデオ又は時間に基づいたメディアを含むいずれかのアイテムをプレビューする場合に、再生は、関連するリストアイテム行を左から右へドラッグすることで制御され得る。現在の時点は、ユーザによって再生の間にオフセット時点へとドラッグされ得る短い線によってマークされる。ビデオ又は時間に基づいたメディアを含むいずれかのアイテムをプレビューする場合に、関連するリストアイテム行を水平方向に２本の指でピンチすることによって、原メディアを最終の再生出力としてトリミングするためにピンチ及びドラッグされ得る選択範囲が画定される。画像又は静止画を含むいずれかのアイテムをプレビューする場合に、関連するリストアイテム行を左から右へ又は右から左へドラッグすることによって、捕捉されたいずれかの更なる隣接フレームは、選択的に“スクラブ”され得る。例えば、単一の写真キャプチャの間にカメラが複数のフレームの出力を記録する場合に、このジェスチャは、ユーザがフレームを繰り返し表示して、最良のフレームを最終の静止フレームとして選択することを可能にすることができる。
【００４３】
最近公開された（１つ又は多数の公開先にアップロードされた）アイテムは、ライトボックスリストから自動的にクリアされる。時間切れであるか、又は長期の無活動期間（例えば、数日間）よりも長い間ライトボックスに存在するアイテムは、ライトボックスリストから自動的にクリアされる。ライトボックスメディアは、同じライトボックスビューを組み込む他のアプリケーションの全てがメディアの同じ現在のプールから共有するように、デバイスにおいて中央のユビキタスな記憶場所に成り立つ。これは、マルチメディアアセット編集におけるマルチアプリケーション協調を簡単にし且つ同期させる。
【００４４】
これより図１０を参照すると、本発明の一態様に従う例となる効果制御アプリケーション１０００が示されている。この特定の例となる実施形態では、効果の外観は、ビデオ又は写真において実時間で制御され、それらの強さ及び値は、流動的なジェスチャによる制御を介してユーザがアクセス可能である。これは、完成した製品の外観を動的に変えながら、編集というよりもむしろ芸術性に近い経験をユーザに提供する。効果パラメータは、写真又はビデオメディアのビュー自体の上に、スクリーン上で直接に制御される。目に見える制御はユーザに提示される必要がない。代わりに、ユーザは、１本以上の指によるタッチ及びドラッグ、ピンチイン及びアウト、並びに回転によって身振りをして、いずれかの所与の効果の特性を制御する。ユーザは、写真又はビデオのコンテンツに対する効果の適用結果を即座に見る形で、実時間のフィードバックを得る。値、パラメータ又は範囲の目に見えるインジケータは、場合によりジェスチャが行われていることを強調するためのそのタッチ位置の少しのハイライトは別にして、表示されない。
【００４５】
一般に、効果制御の一様言語が提供され、適所にタッチして一時的に留まることによって、ジェスチャは開始される。フィードバックは、ユーザのタッチ位置及びその周囲にハイライト円を置くことによって与えられる。表示の中心点（水平軸及び垂直軸の両方の中点）は０，０点と見なされてよく、これによって、効果は適用されない。表示の中心から上部へ上方向にドラッグすることによって、色外観効果の値（例えば、ＬＵＴカラーグレイド）は、強さの増大を伴ってソースに混合される。例えば、中心から上部までの距離の約５０％で、効果は完全な１００％で混合される。５０％を超えて最大１００％まで、効果は、更なる極値へと誇張されてよい。
【００４６】
本発明に従う例となるシステムの他の態様は、例えば、コントラストの押し上げ及び／又は飽和のような、同じ効果メニューにおける並列な効果を導入してよい。特定の補完的な押し上げは、外観ごとに独創的に決定される。効果の色温度を左から右へドラッグすること又は同様の色変更が適用されてよい。例えば、左から右への１本の指によるジェスチャ移動は、色調の変化に当てはまる。中心から下方向にドラッグすることによって、補完的効果が適用されてよく、上方向にドラッグする場合に適用される効果と同様又は補完的である創造的な外観視点を形成する。これは、例えば、下方向ベクトルに対する標準的なクロスプロセス効果と対をなす、上方向ベクトルに対する標準的なブリーチバイパス効果であってよい。他の場合に、下方向のドラッグは、単に色を反転させ、あるいは、別なふうに、変化、例えば、主な上方向の効果を制御してよい。
【００４７】
加えて、ユーザは、第１レイヤの効果から第２レイヤの効果を選択することが可能であってよい。例えば、２本の指によるタッチ及び保持によって、ユーザは、出力外観を定義する第２レイヤの効果を制御するためのピンチ／回転ジェスチャを開始することができる。ピンチイン及びアウトは、ソースメディアの上に合成されているオーバーレイスタイルの効果レイヤの強さ及びスケールを制御してよい。例えば、装飾模様、‘ノイズ’若しくは他の美観に関するオーバーレイ、放射状又は直線状のぼかし、ぼけ、又は他の大いに様式化されたレイヤ又は後処理トリートメントがある。左から右へのドラッグは、ソースに対するそのようなオーバーレイの位置、又はタイルベースであるイベント中の繰り返しにおけるそのオフセットを制御してよい。例えば、２本の指を実際上の中心点の周りで互いに対して回転させることによる回転は、所与の効果のニュアンスを変えることができる‘ダイヤル’の機能を果たす。例えば、装飾模様によれば、これは、ぼかしの減衰率を制御してよい。本発明に従う１つの好ましい特徴は、外観に基づく効果のパラメータを変更するジェスチャを形式化することである。それにより、ユーザは、出力結果の形で調査及び直接フィードバックに完全に依拠しながら、効果を制御する方法についてよく理解するようになる。
【００４８】
効果制御は、外観効果メニュー１００５を用いてビデオプレビュースクリーン１００３から開始されてよい。外観効果メニュー１００５は、効果アイコンをタップすることによって起動されてよい。代替的に、外観効果メニュー１００５は、ジェスチャ、例えば、スクリーン上に指を保持して、ジェスチャ（例えば、円）を実行することによって、起動されてよい。外観効果メニュー１００５は、代替的に、スクリーンをタッチして、ある期間にわたって同じ場所をタッチし続けることによって、起動されてよい。その期間が過ぎると、外観効果メニュー１００５は起動される。外観効果メニュー１００５は、このジェスチャを繰り返すことによって、又は効果アイコンを繰り返しタップすることによって、開閉を切り替えられてよい。外観効果メニュー１００５は、スクロールストリップにおいて一連の効果を提示してよく、夫々の効果は、現在のフレームのスケーリングされた提示に対して効果を施したサムネイルとして表される。夫々のサムネイルは、効果ラベルを有してよく、目下強調されている効果がアクティブである。現在の効果をタップすることは、その効果のオン及びオフを切り替えてよい。
【００４９】
ピンチイン及びアウト１０２０は、選択された外観効果を制御するために使用されてよい。例えば、ピンチイン及びアウトは、効果のために様式化されている設計された装飾模様又はオーバーレイの強さを制御してよい。効果の意図された外観に応じて、これは、より暗い又はより明るい効果、中心フォーカス又はぼかし、色収差、又は他の様式化された後処理を制御してよい。効果の強さ範囲は、完全にピンチインされた状態についての０の値から、完全にピンチアウトされた状態についての１の値まで変化してよい。完全にピンチアウトされた状態は、２つのピンチ点がある閾距離を超える場合に満足される。
【００５０】
回転１０２５も、選択された外観効果を制御するために使用されてよい。２本の指を左から右へ回転させることは、例えば、ノイズ、グレイン、等のような、如何なる合成オーバーレイテスクチャの強さもダイヤルしてよい。右方向の回転は、テクスチャコントラスト及び鮮明度を増大させるために使用されてよく、左方向の回転はそれを低減してよい。全ての効果が明らかなテクスチャと対にされる必要はなく、そのようなものの汎用の用途は、わずかなノイズ又は同様のものを加えることであってよい。
【００５１】
効果の外観は、ジェスチャ様式でビデオにおいて開始及び制御される。ユーザは、実時間において主たるビューファインダーの上部で効果を制御するよう、スクリーン上で身振りをしてよい。例えば、スクリーン上のある点で束の間留まることによって、効果制御は有効にされる（１０１０）。そのような一時的な保持は、効果の制御をフォーカスの制御又は他のベースインタラクションと区別するために使用されてよい。制御する外観が有効にされると（１０１５）、全ての方向におけるドラッグは、４極スキームを用いて効果を制御してよい。効果は、２つの補完的なプロセスがＹ軸において相反して起こるように配置されてよい。例えば、マイナス１から０まではブリーチバイパスの強さを制御し、一方、０から１まではクロスプロセスの強さを制御する。中心、すなわち、０値において、効果はオフであるか、又はオフに近い。約０．５で、効果は、完全通常の強さにある。約０．５から１．０の間では、効果は、むしろ極端な又は誇張された強さレベルを経験し得る。１つの例となる実施形態では、色調性又は他の色外観はＸ軸において制御される。
【００５２】
これより図１１を参照すると、本発明の一態様に従う他の例となる効果制御アプリケーション１１００が示されている。この特定の例となる実施形態では、効果の外観は、ビデオ又は写真において実時間で制御され、それらの強さ及び値は、ジェスチャによる制御を介してユーザがアクセス可能である。ビデオスタイル編集のためのユーザインターフェイスは、ビデオ又は画像のフィルタ、スタイル又は効果が、ユーザによる容易な効果制御のために、１つのユーザインターフェイスにおいてまとめられ得るシステムである。ビデオ又は画像のフィルタ、スタイル又は効果には、セピア調色、インターレーシング、ブレンディング、ノイズ、ガウスぼかし、鮮鋭化、リップル、パズル、ゆがめ、等が含まれ得る。多くのフィルタ、スタイル及び効果が存在し、大部分はこのシステムを用いて実装され得る。
【００５３】
１つの例となる実施形態では、画像又はビデオは、例えば、携帯電話機のスクリーン１１０２のような、タッチ検知スクリーンにおいて表示される。インターフェイスがユーザ入力１１０３に応答して有効にされる場合に、表示は象限に分割される。各象限は異なる効果を制御する。ユーザインターフェイスは、メニュー選択によって起動されてよい。ユーザインターフェイスが起動されると、ユーザは、例えば、７０年代の外観、色反転、モノクロ、古典的なフィルムグレイン、等のような多数の視覚的テーマを示されてよい。多数の視覚的外観又は効果は夫々のテーマと関連する。例えば、７０年代のテーマによれば、例えば、ダメージド、Ｋｏｄａｃｈｒｏｍｅ（登録商標）、ぼけ、及ヴィンテージ・アナログのような外観がそのテーマと関連してよい。テーマの他の例は、色、エッジコントラスト、等であってよい。
【００５４】
例となる実施形態において、テーマが開始されると、４つの外観が携帯電話機のスクリーン１１１０の象限において適用される。説明のために、線１１１２が、象限の境界を表すために携帯電話機のスクリーン１１１０に加えられている。象限の真ん中１１１７でタッチスクリーン１１１５にタッチすることは、テーマに従う複合的なフィルタを適用してよく、あるいは、どの効果も適用しなくてよい。スクリーン１１２０上の中心点から指を動かすことは、その象限に割り当てられている効果の強さを増大させる。象限の間の移動は、ユーザ入力の位置、中心からの距離、及び象限境界への近接性によって定義される重み付けされた割合において効果１１２５を融合する。よって、ユーザが、一番上の象限の中心線から左へ指を動かす場合に、システムは、優勢である上象限に割り当てられている外観による複合的な効果を適用する。ユーザのタッチ入力が象限境界を越えて左へ動くと、左象限へ割り当てられている効果が優勢になり、上象限は優勢でなくなる。ユーザのタッチが左方向へ動かされるにつれて、左象限の効果の強さは強くなる。ユーザが中心に向かって右に動くにつれて、左象限の効果の強さは弱くなる。ユーザのタッチが中心線を越えて右へ動かされると、左象限の効果は弱化又は解消され、右象限の効果が強くなる。このように、ユーザがタッチスクリーン上で指を動かす場合に、外観のブレンドは、画像又はビデオ効果が適用されるにつれて実時間で達成され得る。
【００５５】
代替の実施形態は、スクリーン上での方向に割り当てられた異なる効果を有する。よって、７０年代テーマの前述の例を用いると、例えば、ダメージド、Ｋｏｄａｃｈｒｏｍｅ（登録商標）、ぼけ、及びヴィンテージ・アナログのような外観は、夫々がある方向と関連してよい。ユーザがスクリーンの上方向に指をスライドする場合に、上方向に割り当てられた外観が強められ、下方向に割り当てられた外観が弱められる。同様に、ユーザが指を左へスライドする場合に、左方向に割り当てられた外観が強められ、右方向に割り当てられた外観が弱められる。ユーザは、例えば、右へスライドした後に自身の指を持ち上げ、その指をスクリーンにタッチすることなしに左へ動かし、スクリーンにタッチし直して再度右にスライドすることが可能であってよい。これは、右方向に割り当てられた外観を更に強める効果を有する。このように、テーマに関連付けられた外観に割り当てられている象限又は領域の代わりに、方向が外観と関連する。対角線上をスライドすることは、２つの異なる外観を強めてよい。２つの外観が強められる割合は、タッチスライドによるユーザ入力の角度に依存する。
【００５６】
正規化数は、タッチインジケータがスクリーンの中心からはしまで動かされるにつれて重み付けられて適用され得る。効果は、ある閾値の後に変化することができ、例えば、０．５は色の変化を導入し、０．９は新しい効果を導入する、等。如何なる所与のユーザベクトルの大きさも、設計によって首尾一貫した所定の外観を生成する階層化された一連の個々の画像処理を決定する。
【００５７】
これより図１２を参照すると、本発明に従ってビデオスタイルを実装する方法１２００が示されている。方法は、画像又はビデオを表示することが可能なデバイス又はカメラを備えた如何なるデバイスによっても実行されてよい。タッチスクリーンは、ユーザ入力、タッチパッド、リモートコントロールデバイス、又はキーパッドを生成するために使用されてよい。方法は、画像フィルタを適用することによって画像又はビデオの外観を変えるよう動作する。
【００５８】
最初に、システムは、デバイスのスクリーンに画像を表示するよう動作する（１２１０）。画像は、フィルタ効果及び同様のものが実装後に即座に見られ、ユーザが画像の外観の実時間のフィードバックを与えられるように、処理の間中表示される。
【００５９】
システムは次いで、第１のユーザ入力を受けるよう動作する（１２２０）。ユーザは、テーマ選択メニューを起動した。テーマ選択メニューは、従来のワードメニュー、又は図１１に表されているような、適用されるテーマのサンプル１１０３を含む画像を表すメニューであってよい。ユーザがテーマを選択すると、どのテーマが選択されたかを示す制御信号が生成される。
【００６０】
第１のユーザ入力に応答して、システムはテーマを開始する（１２３０）。画像は、次いで、そのテーマと関連する外観に関連した画像の領域を有してスクリーン上に表示される。境界は、画像において視覚的に示されても示されなくてもよい。境界の表示は、ユーザが選択することができるオプションであってよい。
【００６１】
システムは、次いで、第２のユーザ入力を受けるよう動作する（１２４０）。ユーザは、タッチスクリーンの一部分にタッチ又は圧力を加える。スクリーン上の位置を示す制御信号が生成される。例えば、スクリーンが１００×１００のマトリクスとして表されるならば、ユーザは、そのマトリクスにおける点４０，５６にタッチを加えてよい。この例では、点は、左下側の象限が特定の視覚的外観と関連する場合に、左下側の象限に付随してよい。
【００６２】
システムは、第２のユーザ入力に応答して画像に適用するべき視覚効果を決定する（１２５０）。システムは、タッチ位置を示す制御信号を受信するよう動作する。システムは、次いで、どの視覚効果を画像に適用すべきかを決定する。夫々の位置は、特定のフィルタを割り当てられている。よって、スクリーンに沿って位置を動かすことは、外観が比例して変更されることを必ずしも意味するものではない。外観は、例えば、点が象限の端に近くづくに連れて指数関数的に強められ得る。システムは、視覚効果を画像に適用し（１２６０）、画像は表示される。これは、ユーザに即時の視覚的フィードバックを提供する。システムは、次いで、位置の変化を待つようステップ１２４０へ戻る。位置の変化が判定される場合には、新しい視覚的な外観が画像に適用される。ある時点で、ユーザは、画像又はビデオをセーブ又は送信するためのコマンドを起動してよい。このコマンドに応答して、画像又はビデオは、最後に受け取られた位置情報に関連する視覚的な外観が適用された状態でメモリにセーブされてよい。
【００６３】
図示及び上述された要素は、様々な形のハードウェア、ソフトウェア又はそれらの組み合わせにおいて実施されてよいことが理解されるべきである。望ましくは、それらの要素は、プロセッサ、メモリ及び入出力インターフェイスを含み得る１つ以上の適切にプログラミングされた汎用デバイスにおいてハードウェアとソフトウェアとを組み合わせて実施される。本明細書は、本開示の原理を説明する。よって、明らかなように、当業者であれば、ここで明示的に記載又は図示されていなくても、本開示の原理を具現し且つその適用範囲内に含まれる様々な配置を想到可能である。ここで挙げられている全ての例及び条件付き言語は、当該技術を促進させることに本発明者によって寄与される概念及び本開示の原理を読者が理解するのを助けるための情報提供を目的とし、そのような具体的に挙げられている例及び条件に制限されないものとして解釈されるべきである。更に、本開示の原理、態様、及び実施形態、並びにその具体例をここで挙げている全ての記述は、それらの構造上及び機能上の等価物を包含するよう意図される。加えて、そのような等価物は、現在知られている等価物及び将来開発される等価物（すなわち、構造に関わらず、同じ機能を実行する開発されたあらゆる要素）の両方を含むことが意図される。よって、例えば、当業者には当然に、これにより提示されているブロック図は、本開示の原理を具現する実例となる回路構成の概念図を表す。同様に、明らかなように、如何なるフローチャート、フロー図、状態遷移図、擬似コード、等も、コンピュータ可読媒体において実質的に表現され、故にコンピュータ又はプロセッサによって（そのようなコンピュータ又はプロセッサが明示的に示されていようとなかろうと）実行され得る様々なプロセスを表す。
【００６４】
本願は、２０１３年９月１６日付けで出願された米国特許仮出願第６１／８７８２４５号及び２０１４年５月２７日付けで出願された米国特許仮出願第６２／００３２８１号に基づく優先権を主張するものである。それらの米国特許出願の全文は、参照により本願に援用される。
【図１】
2016537744.tif 000003
【図２】
2016537744.tif 000004
【図３】
2016537744.tif 000005
【図４】
2016537744.tif 000006
【図５】
2016537744.tif 000007
【図６】
2016537744.tif 000008
【図７】
2016537744.tif 000009
【図８】
2016537744.tif 000010
【図９】
2016537744.tif 000011
【図１０】
2016537744.tif 000012
【図１１】
2016537744.tif 000013
【図１２】
2016537744.tif 000014
【国際調査報告】
2016537744.tif 000015
2016537744.tif 000016
2016537744.tif 000017