(57)【要約】  デジタルディスプレイデバイスの同じディスプレイ上の複数のピクチャインピクチャ（ＰＩＰ）を表示および／または記録するシステム、デバイス、および方法が開示される。ＰＩＰは、前面カメラレンズのようなディスプレイデバイスの主要な視野からのオブジェクトと、ならびに背面カメラレンズのような異なる視野からのオブジェクトとを示すことができる。ＰＩＰはさらに、表示されているオブジェクトを追跡することができる。
2016538601.tif 000002
【特許請求の範囲】
【請求項１】
電子デバイス上に複数のピクチャインピクチャ（ＰＩＰ）を表示するための方法であって、
前記デバイスのスクリーン上にビデオを表示することと、
前記ビデオ内の第１のオブジェクトを選択することと、
前記スクリーン上に第１のＰＩＰを表示すること、ここにおいて、前記第１のＰＩＰは、前記第１のオブジェクトの画像を表示する、と、
前記スクリーン上に第２のＰＩＰを表示すること、ここにおいて、前記第２のＰＩＰは、第２のオブジェクトの画像を表示する、と、
を備える、方法。
【請求項２】
前記第１のオブジェクトが前記スクリーン上に表示されるときに、前記第１のオブジェクトを検出することをさらに備える、請求項１に記載の方法。
【請求項３】
前記第１のオブジェクトを追跡することと、前記第１のオブジェクトが追跡されているときに前記第１のＰＩＰに前記第１のオブジェクトを表示することと、をさらに備える、請求項２に記載の方法。
【請求項４】
第１のロケーションが、前記デバイスの前記スクリーン上に表示されている前記第１のオブジェクトの画像を妨害しないように、前記スクリーン上の前記第１のロケーションを有する位置に前記第１のＰＩＰを最初に表示することをさらに備える、請求項３に記載の方法。
【請求項５】
前記第１のロケーションが前記第１のオブジェクトの前記画像を妨害するときに、前記第１のＰＩＰの前記位置を前記スクリーン上の第２のロケーションに移動させることをさらに備える、請求項３に記載の方法。
【請求項６】
前記ビデオ、前記第１のＰＩＰに表示される画像、および前記第２のＰＩＰに表示される画像を記録することをさらに備える、請求項３に記載の方法。
【請求項７】
前記第２のオブジェクトは、第２のビデオからのものである、請求項３に記載の方法。
【請求項８】
前記スクリーン上に第３のＰＩＰおよび第４のＰＩＰを表示すること、ここにおいて、前記第３のＰＩＰは第３のオブジェクトを表示し、前記第４のＰＩＰは第４のオブジェクトを表示する、と、
前記第１、第２、第３、および第４のオブジェクトを、それらが表示されているときに追跡することと、
をさらに備える、請求項３に記載の方法。
【請求項９】
前記ビデオは、前記電子デバイスのイメージセンサからキャプチャされる、請求項１に記載の方法。
【請求項１０】
電子デバイス上に複数のピクチャインピクチャ（ＰＩＰ）を表示するためのシステムであって、
第１のビデオ内で追跡する第１のオブジェクトの選択を認識するように構成された選択モジュールと、
前記第１のビデオ、追跡されている前記第１のオブジェクトを備えた第１のＰＩＰ、および第２のオブジェクトを備えた第２のＰＩＰを表示するように構成されたスクリーンと、
を備える、システム。
【請求項１１】
前記ビデオ内の前記第１のオブジェクトを検出および追跡し、前記第１のオブジェクトが追跡されているときに前記第１のＰＩＰに前記第１のオブジェクトを表示するように構成された検出モジュールをさらに備える、請求項１０に記載のシステム。
【請求項１２】
第１のロケーションが、前記スクリーン上に表示されている前記第１のオブジェクトの画像を妨害しないように、前記スクリーン上の前記第１のロケーションに前記第１のＰＩＰを表示するように構成されたＰＩＰ表示モジュールをさらに備える、請求項１０に記載のシステム。
【請求項１３】
前記ＰＩＰ表示モジュールは、前記第１のロケーションが、前記第１のオブジェクトの画像を妨害するときに、前記スクリーン上の第２のロケーションに前記第１のＰＩＰを移動させるように構成され、ここにおいて、前記第２のロケーションは、前記第１のオブジェクトの前記画像を妨害しない、請求項１０に記載のシステム。
【請求項１４】
前記ビデオ、前記第１のＰＩＰ、および前記第２のＰＩＰを記録するように構成される記録モジュールをさらに備える、請求項１０に記載のシステム。
【請求項１５】
前記記録モジュールは、前記ビデオ、前記第１のＰＩＰ、および前記第２のＰＩＰを別個のビデオとして各々記録するようにさらに構成される、請求項１４に記載のシステム。
【請求項１６】
前記ビデオをキャプチャするように構成されたイメージセンサをさらに備える、請求項１０に記載のシステム。
【請求項１７】
前記検出モジュールは、前記第２のオブジェクトを追跡し、前記第２のＰＩＰに前記第２のオブジェクトを表示するようにさらに構成される、請求項１１に記載のシステム。
【請求項１８】
前記第２のオブジェクトは、前記電子デバイスの第２のイメージセンサからのものである、請求項１０に記載のシステム。
【請求項１９】
前記第１のＰＩＰは、リサイズ可能である、請求項１０に記載のシステム。
【請求項２０】
前記ビデオは、ライブビデオである、請求項１０に記載のシステム。
【請求項２１】
前記ビデオは、記録されたビデオである、請求項１０に記載のシステム。
【請求項２２】
前記記録モジュールは、前記スクリーン上に、第３のＰＩＰおよび第４のＰＩＰを表示するようにさらに構成される、請求項１４に記載のシステム。
【請求項２３】
電子デバイス上に複数のピクチャインピクチャ（ＰＩＰ）を表示するためのシステムであって、
前記デバイスのスクリーン上にビデオを表示するための手段と、
前記ビデオ内の第１のオブジェクトを選択するための手段と、
前記スクリーン上に第１のＰＩＰを表示するための手段、ここにおいて、前記第１のＰＩＰは、前記第１のオブジェクトの画像を表示する、と、
前記スクリーン上に第２のＰＩＰを表示するための手段、ここにおいて、前記第２のＰＩＰは、第２のオブジェクトの画像を表示する、と、
を備える、システム。
【請求項２４】
第１のロケーションが、前記第１のオブジェクトの画像を妨害しないように、前記スクリーン上の前記第１のロケーションに前記第１のＰＩＰを表示するための手段をさらに備える、請求項２３に記載のシステム。
【請求項２５】
前記スクリーン上に表示されるときに前記第１のオブジェクトを追跡するための手段をさらに備える、請求項２３に記載のシステム。
【請求項２６】
前記ビデオ、前記第１のＰＩＰ、および前記第２のＰＩＰを記録するための手段をさらに備える、請求項２３に記載のシステム。
【請求項２７】
プロセッサによって実行されると、電子デバイス上に複数のピクチャインピクチャ（ＰＩＰ）オリエンテーションを表示するための方法を行う命令を記憶するように構成された非一時的なコンピュータ可読媒体であって、前記方法は、
前記デバイスのスクリーン上にビデオを表示することと、
前記ビデオ内の第１のオブジェクトを選択することと、
前記スクリーン上に第１のＰＩＰを表示すること、ここにおいて、前記第１のＰＩＰは、前記第１のオブジェクトの画像を表示する、と、
前記スクリーン上に第２のＰＩＰを表示すること、ここにおいて、前記第２のＰＩＰは、第２のオブジェクトの画像を表示する、と、
を備える、非一時的なコンピュータ可読媒体。
【請求項２８】
前記方法は、第１のロケーションが、前記スクリーン上に表示されている前記第１のオブジェクトの画像を妨害しないように、前記スクリーン上の前記第１のロケーションに前記第１のＰＩＰを表示することをさらに備える、請求項２７に記載のコンピュータ可読媒体。
【請求項２９】
前記方法は、前記スクリーン上の前記第１のＰＩＰに表示されているときに前記第１のオブジェクトを追跡することをさらに備える、請求項２７に記載のコンピュータ可読媒体。
【請求項３０】
前記方法は、前記ビデオ、前記第１のＰＩＰ、および前記第２のＰＩＰを記録することをさらに備える、請求項２７に記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]  本開示は、概して、ディスプレイシステムおよび方法に関する。具体的には、ディスプレイ上の追跡能力を有する２つ以上のピクチャインピクチャ（ＰＩＰ：pictures in a picture）システムをキャプチャ、表示、および／または記録するための機能が開示される。
【関連技術の説明】
【０００２】
[0002]  安価でより小型のビデオディスプレイシステムの出現で、ディスプレイ産業は成長している。ますます多くの人々が、ビデオカメラおよびモバイルデバイスといったデジタルビューイングシステム（digital viewing systems）を使用してビデオを見ることを楽しんでいる。ビデオは、例えば、エンターテイメント、業務使用、面白さや楽しさ、または感傷的な思い出のために、様々なアプリケーションにおいて使用されることができる。ビデオを見ることの膨大な数の使用法を考えると、ビデオを表示するデバイスのより多くの機能および能力が望まれる。
【０００３】
[0003]  ディスプレイデバイスにおける所望の機能のいくつかは、デバイスのディスプレイ上にピクチャインピクチャ（ＰＩＰ）を表示することを含む。デジタルディスプレイシステムのいくつかの使用法では、ＰＩＰを表示する能力は、視聴者が、主要スクリーン上のビデオと、ならびにＰＩＰ内の他のビデオとを見ることを可能にする。例えば、人は、行われているライブのフットボールの試合を主要スクリーンで見ながら、別の試合のビデオハイライトまたは他の情報を、より小さいピクチャウィンドウで見ることもできる。
【０００４】
[0004]  しかしながら、単一のＰＩＰは、主要ビデオを見ているのと同時に１つより多くの他のビデオを見ることを可能にしない。視聴者は、主要のビデオスクリーン上でフットボールの試合を見ながら、より小さいピクチャウィンドウで１つより多くの他のフットボールの試合を見ることを望むこともある。１つのみのＰＩＰを表示する従来のシステムは、したがって、楽しみとディスプレイの有用性を妥協している。
【０００５】
[0005]  さらに、ビデオの中の特定のオブジェクト（object）または人物が動いている間に、これらのオブジェクトまたは人物にズームインして、ＰＩＰ内でこれらを見ることが望まれることもある。例えば、人は、主要ビデオスクリーン上でフットボールの試合を見ながら、選手が方々を移動すると主要スクリーン上でその選手のより接近したビューを示す、より小さいウィンドウを見ることも望むこともある。他のフットボールの試合といった他のビデオを表示する従来のシステムは、ＰＩＰにおいて、特定の選手といったオブジェクトにズームインして、それを追う能力が欠如している。
【発明の概要】
【０００６】
[0006]  追跡能力を有するデジタルイメージングデバイス（imaging device）の単一ディスプレイ上の２つ以上のピクチャインピクチャ（ＰＩＰ）を同時に表示および／または記録するためのシステム、デバイス、および方法が開示される。
【０００７】
[0007]  本開示の１つの態様において、電子デバイス上に複数のＰＩＰを表示するための方法の実施形態が開示される。いくつかの実施形態において、方法は、デバイスのスクリーン上にビデオを表示することと、ビデオ内の第１のオブジェクトを選択することと、スクリーン上に第１のＰＩＰを表示すること、ここにおいて、第１のＰＩＰは第１のオブジェクトを備える、と、スクリーン上に第２のＰＩＰを表示すること、ここにおいて、第２のＰＩＰは第２のオブジェクトを備える、と、を備える。
【０００８】
[0008]  別の態様において、電子デバイス上に複数のＰＩＰを表示するためのシステムの実施形態が開示される。いくつかの実施形態において、システムは、第１のビデオ内で追跡する第１のオブジェクトの選択を認識するように構成された選択モジュールと、第１のビデオ、追跡されている第１のオブジェクトを備えた第１のＰＩＰ、および第２のオブジェクトを備えた第２のＰＩＰを表示するように構成されたスクリーンと、を備える。
【０００９】
[0009]  別の実施形態において、電子デバイス上に複数のＰＩＰを表示するためのシステムの実施形態は、デバイスのスクリーン上にビデオを表示するための手段と、ビデオ内の第１のオブジェクトを選択するための手段と、第１のオブジェクトを追跡するための手段と、スクリーン上に第１のオブジェクトを表示するための手段、ここにおいて、第１のＰＩＰは、追跡されている第１のオブジェクトを表示する、と、スクリーン上に第２のＰＩＰを表示するための手段、ここにおいて、第２のＰＩＰは第２のオブジェクトを表示する、と、を備える。
【００１０】
[0010]  プロセッサによって実行されると、電子デバイス上に複数のＰＩＰを表示するための方法を行う命令を記憶するように構成された非一時的（non-transient）なコンピュータ可読媒体のいくつかの実施形態が開示される。いくつかの実施形態において、その方法は、デバイスのスクリーン上にビデオを表示することと、ビデオ内で追跡する第１のオブジェクトを選択することと、スクリーン上に第１のＰＩＰを表示すること、ここにおいて、第１のＰＩＰは追跡されている第１のオブジェクトを表示する、と、スクリーン上に第２のＰＩＰを表示すること、ここにおいて、第２のＰＩＰは第２のオブジェクトを表示する、と、を備える。
【００１１】
[0011]  本開示の上述した機能および他の機能は、添付の図面と併せて考慮されると、以下の説明および添付の特許請求の範囲からより十分に明らかになるであろう。これらの図面が、本開示にしたがったいくつかの実施形態のみを図示しており、その範囲を限定するものとしてみなされるべきではないことを理解すると、本開示は、添付の図面の使用を通して追加の特定性ならびに詳細とともに説明されるであろう。
【００１２】
[0012]  以下の詳細な説明において、その一部を形成する添付の図面への参照が行われる。図面では、そうではないと文脈において規定されない限り、類似したシンボルは通常、類似したコンポーネントを特定する。詳細な説明、図面、および特許請求の範囲に説明される例示的な実施形態は、限定するものとして意図されるものではない。本明細書に提示される主題の精神または範囲から逸脱せずに、他の実施形態が利用されることができ、他の変更が行われることができる。本明細書に概して説明され、図面に例示されている本開示の態様が、幅広く様々な異なる構成において、配列され、置き替えられ、組み合わされ、および設計されることができ、これらのすべてが、明示的に企図され、本開示の一部をつくることが容易に理解されることになる。
【図面の簡単な説明】
【００１３】
【図１】[0013]  ２つのピクチャインピクチャ（ＰＩＰ）を有し、そのＰＩＰのうちの１つが、追跡されるオブジェクト（tracked object）をディスプレイ上に示すディスプレイの実施形態の正面図を表す図。
【図２】[0014]  オブジェクトを追跡するＰＩＰが、ディスプレイ上の追跡されるオブジェクトを妨害することを避けるために移動した、図１のディスプレイの正面図を表す図。
【図３】[0015]  ３つのＰＩＰであって、そのＰＩＰのうちの２つが追跡されるオブジェクトを表示している、３つのＰＩＰを有する図１のディスプレイの正面図を表す図。
【図４】[0016]  ４つのＰＩＰであって、そのＰＩＰのうちの３つが追跡されているオブジェクトを表示している、４つのＰＩＰを有する図１のディスプレイの正面図を表す図。
【図５】[0017]  ２つのＰＩＰであって、各ＰＩＰが異なる視野からのオブジェクトを表示している、２つのＰＩＰを示すディスプレイを有するタブレットの実施形態の斜視図を表す図。
【図６】[0018]  複数のＰＩＰを表示、記録、および管理するためのモジュールを有する記録システムを備えたディスプレイデバイスのブロック図を表す図。
【図７】[0019]  第１のＰＩＰが表示している追跡されているオブジェクトを第１のＰＩＰが妨害している場合に第１のＰＩＰの位置が移動する、ディスプレイ上の２つのＰＩＰを表示および記録するための方法の１つの実施形態を図示するフローチャート。
【図８】[0020]  ＰＩＰが表示しているそれぞれの追跡されているオブジェクトをＰＩＰが妨害している場合にＰＩＰの位置が移動する、ディスプレイ上の４つのＰＩＰを表示および記録するための方法の１つの実施形態を図示するフローチャート。
【発明の詳細な説明】
【００１４】
[0021]  以下の詳細な説明は、図１〜図９を参照して説明される開発のある特定の具体的な実施形態に向けられている。本説明において、図面への参照が行われ、ここにおいて、同様の部分あるいはステップが、明確性のために、全体を通して同様の番号で指定され得る。本明細書における、「１つの実施形態」、「ある実施形態」、または「いくつかの実施形態において」への参照は、実施形態と関連して説明される特定の機能、構造、または特性が本発明の少なくとも１つの実施形態に含まれることを意味する。本明細書中の様々な箇所において、「１つの実施形態」、「ある実施形態」、または「いくつかの実施形態において」というフレーズが現れるが、同一の実施形態を必ずしもすべて指しているわけではなく、他の実施形態を相互に除外する別個あるいは代替の実施形態でもない。さらに、一部の実施形態によって表され、他の実施形態によっては表されないこともある、様々な機能が説明される。同様に、一部の実施形態のためであって他の実施形態のためではない要件であり得る様々な要件が説明される。
【００１５】
[0022]  デジタルイメージングデバイスのディスプレイ上の２つ以上のピクチャインピクチャ（ＰＩＰ）を表示および／または記録するためのシステム、デバイス、および方法が開示される。いくつかのケースにおいて、ＰＩＰ表示ウィンドウに示されるオブジェクトは、システムによって追跡される。例えば、視聴者は、ディスプレイの主要部分でテニス競技を見ながら、試合中の２人の選手のうちの一方により接近して追跡するオプションを有することを望むこともある。各々が選手の一方をキャプチャする２つのＰＩＰを有することは、同じディスプレイ上で、ボールが打たれたり打ち返されたりするコート全体と、ならびに２つのＰＩＰのうちの１つの中のどちらか一方の選手とを見る自由を視聴者に与える。いくつかの実施形態において、モバイル電話といったデバイスは、デバイスのイメージセンサ（imaging sensor）の視野内にあるオブジェクトを表示および／または記録し得る。いくつかの実施形態において、同じ視野からのアイテムを含む２つより多くのＰＩＰ、例えば、３つ、４つ、またはそれ以上のＰＩＰが表示される。
【００１６】
[0023]  １つの実施形態において、オブジェクトがシーンの中でどこに配置されていても、ＰＩＰ内のビューが必ず特定のオブジェクトまたは人物であるように、複数のＰＩＰのうちの１つまたは複数は、シーンの中のオブジェクトを追跡するようにプログラムされ得る。例えば、人は、競技中にテニス選手がコートを方々に移動する間、その選手を追跡することを望むこともある。１つの実施形態において、ＰＩＰのうちの１つが、視野内で選手が動くとその選手の追跡ビューを表示する一方で、デジタルデバイスもまた同時にフルコートビューを表示するであろう。いくつかの実施形態において、複数のＰＩＰは、デバイスの視野からの複数のオブジェクトの追跡されているビューを表示するであろう。
【００１７】
[0024]  いくつかの実施形態において、ＰＩＰのうちの１つは、ディスプレイデバイスの第２のイメージセンサから撮られたビューを表示し得る。第２のイメージセンサからキャプチャされたシーンの中のオブジェクトは、第１のイメージセンサによって見られるオブジェクトと同じスクリーン上で、それら自体のＰＩＰウィンドウに示され得る。いくつかの実施形態において、第２のイメージセンサは、イメージセンサとは全く異なる視野を見ていることもある。例えば、第１のイメージセンサは、携帯電話の前面にあり得、第２のイメージセンサは、携帯電話の背面にあり得る。このようなケースでは、複数のＰＩＰは、第１の視野からのオブジェクトが、第２の視野からのオブジェクトと共にスクリーン上に表示されることを可能にする。いくつかの実施形態において、第２のイメージセンサは、全く異なるデバイスにあり得る。例えば、別個のビデオソースは、ＰＩＰのうちの１つまたはすべてにおいて表示するためのビデオを提供し得る。
【００１８】
[0025]  いくつかの実施形態において、記録されたビデオは、複数のＰＩＰを表示するように処理され得る。例えば、２人の選手が複数のＰＩＰに示されるように、テニス競技の記録を後処理することが望まれ得る。１つの実施形態において、デバイスは、視聴者がＰＩＰに表示することを望む、記録されたビデオに示されたオブジェクトの選択を可能にする。別の実施形態において、別のビデオソースからのオブジェクトは、記録されたビデオの１つまたは複数のＰＩＰにおいて表示するように選ばれ得る。
【００１９】
[0026]  いくつかの実施形態において、ＰＩＰに表示されるビデオは、各々、別個のデバイスまたは別個のスクリーン上に表示され得る。いくつかの実施形態において、各ＰＩＰは、別個のビデオファイルに保存される。いくつかの実施形態において、別個のビデオファイルに記録されたＰＩＰは、個別に、すべて一緒に、またはサブセットにおいて、見られ得る。
【００２０】
[0027]  ここで図１を参照すると、主要ビデオ１０５にわたって２つのＰＩＰ１１６、１１８を表示するディスプレイ１１０を有するデバイス１００の実施形態が示されている。ディスプレイ１１０は、ビデオカメラ、モバイル電話、タブレット、コンピュータ、等を含むビューイングまたは記録デバイスといった、デバイス１００上のものか、またはデバイス１００からのものであり得る。いくつかの実施形態において、ディスプレイ１１０は、デバイス１００によってキャプチャまたは記録されたビデオを示し得る。例えば、ディスプレイ１１０は、ビデオをキャプチャしているモバイル電話上にあり得る。いくつかの実施形態において、ディスプレイ１１０は、異なるデバイス（図示せず）によって撮られたビデオを示し得る。例えば、ディスプレイ１１０は、記録をキャプチャしなかった、かつ記録をキャプチャしていないモバイル電話上にあり得る。
【００２１】
[0028]  第１のＰＩＰ１１８および第２のＰＩＰ１１６は、ディスプレイ１１０上の主要ビデオ１０５に重ねて示される。主要ビデオ１０５は、記録、または動画を有する他のビデオを指し得る。第１のＰＩＰ１１８および第２のＰＩＰ１１６は、この主要ビデオ１０５に重ねて示され得る。したがって、主要ビデオ１０５は、２つのＰＩＰ１１６、１１８の「後ろ」または「下」にあると考えられ得、それらは、主要ビデオ１０５の「前」または「上」にあると考えられ得る。
【００２２】
[0029]  デバイス１００は、ディスプレイ１１０上の主要ビデオ１０５内の第１のオブジェクト１１２を見ており、示しており、および／または記録している。主要ビデオ１０５内に示された第１のオブジェクト１１２もまた、第１の表示されるオブジェクト１２４として第１のＰＩＰ１１８によって表示される。第２のオブジェクト（図示せず）は、第２の表示されるオブジェクト１２０として第２のＰＩＰ１１６に表示される。
【００２３】
[0030]  いくつかの実施形態において、第１のオブジェクト１１２は、ディスプレイ１１０によって示されるものと同じ視野内にある。いくつかの実施形態において、ＰＩＰ１１６、１１８内に示されている一方または両方の表示されるオブジェクト１２０、１２４は、互いに同じ視野内にある。いくつかの実施形態において、第２のオブジェクトは、ディスプレイ１１０の主要ビデオ１０５に示されるものとは異なる視野内にある。ある実施形態において、第２のオブジェクトは、デバイス１００のユーザであり、そのユーザの顔が、第２のＰＩＰ１１６内に第２の表示されるオブジェクト１２０として表示される。いくつかの実施形態において、図５に関して本明細書でさらに詳細に説明されるように、第１のオブジェクト１１２は、デバイス１００の前面にあるイメージセンサ（図示せず）によって見られ、第２のオブジェクトは、デバイス１００の背面にある異なるイメージセンサ（図示せず）によって見られる。
【００２４】
[0031]  いくつかの実施形態において、ＰＩＰ１１６、１１８の一方または両方は、異なるビデオソースからの画像またはビデオを表示し得る。例えば、第２のＰＩＰ１１６は、デバイス１００とは異なる記録デバイスまたは送信デバイスによって記録または送信されているビデオを示し得る。いくつかの実施形態において、第２のＰＩＰ１１６は、別のモバイル電話で記録されたビデオ、または記録されているビデオを示す。
【００２５】
[0032]  いくつかの実施形態において、主要ビデオ１０５、および／またはＰＩＰ１１６、１１８内のビデオの一方または両方は、互いから離され得る。いくつかの実施形態において、主要ビデオ１０５および／またはＰＩＰ１１６、１１８の一方または両方内のビデオは、別個のビデオファイルに各々記録され得る。いくつかの実施形態において、ＰＩＰ１１６、１１８の一方または両方を有する主要ビデオ１０５の再生は、主要ビデオ１０５とＰＩＰ１１６、１１８との様々な組み合わせを示し得る。例えば、再生時に、主要ビデオ１０５のみが表示され得るか、またはＰＩＰ１１６、１１８の一方または両方を有する主要ビデオが表示され得るか、または第１のＰＩＰ１１８または第２のＰＩＰ１１６のみが表示され得る。いくつかの実施形態において、ＰＩＰ１１６、１１８のうちの１つまたは複数が表示されるとき、それらは、記録時または初めに見られた時と同じサイズであり得る。別の実施形態において、ＰＩＰ１１６、１１８のうちの１つまたは複数が表示されるとき、それらは、記録時または初めに見られた時よりも大きいこともある。例えば、第１のＰＩＰ１１８のみが表示される場合、第１のＰＩＰ１１８は、それが見られているディスプレイ全体を占め得る。または、例えば、第１および第２のＰＩＰ１１６、１１８が両方表示されている場合、第１および第２のＰＩＰ１１６、１１８は、それらが見られているデバイスのディスプレイの半分または他の比率を各々占め得る。
【００２６】
[0033]  図示されている第１のオブジェクト１１２は、星形のオブジェクトとして現れている。第１のオブジェクト１１２は、飛行機、自転車、人物、車、等を含む、任意の数のアイテムであり得る。第１のオブジェクト１１２は、例えば、モバイル電話のようなタッチスクリーンデバイスのスクリーン上の第１のオブジェクト１１２のロケーションに触れることによって、ユーザによって手動で選択され得る。第１のオブジェクト１１２は自動的にも選択され得る。例えば、その内容全体が本明細書で完全に組み込まれ、オブジェクトのエッジを使用することによって飛行中のオブジェクトを検出するための機能を開示する米国特許出願公開第２０１３／０３３５５７５号、その内容全体が本明細書で完全に組み込まれ、ビデオのためのオブジェクト認識アルゴリズムを開示する米国特許第８２５４６９９号、その内容全体が本明細書で完全に組み込まれ、３Ｄオブジェクト認識のための機能を開示する米国特許第８０６４６８５号、に開示されたもののようなオブジェクト認識機能が使用され得る。いくつかの実施形態において、第１のオブジェクト１１２の選択が検証され得る。例えば、デバイス１００は、第１のオブジェクト１１２の選択の検証を求め得る。いくつかの実施形態において、第１のオブジェクト１１２は遠隔で選択され得る。例えば、ディスプレイ１１０は、ディスプレイ１１０に送信されるセキュリティカメラによって見られたシーンのような、インターネット接続を介して見られるシーンを示し得る。第１のオブジェクト１１２は、次いで、例えば、第１のオブジェクト１１２が配置された、モバイル電話ディスプレイ上のタッチスクリーンのエリアを触れることによって選択されることができる。
【００２７】
[0034]  いくつかの実施形態において、デバイス１００は、第１のオブジェクト１１２をキャプチャおよび／または記録し得、それは、デバイス１００に相対的に移動し得る。例えば、第１のオブジェクト１１２は、デバイス１００が静止している間に移動することもあり、またはデバイス１００が移動している間に第１のオブジェクト１１２が静止していることもあり、または両方が移動していることもある。いくつかの実施形態において、第１のオブジェクト１１２は、手動または自動のいずれかで選択され得、そして、デバイス１００の視野を離れ、次いで、それがデバイス１００の視野に戻ると自動的に再度認識され得る。第１のオブジェクト１１２は、それが視野内にあるときに、第１のＰＩＰ１１８に示され得る。第１のオブジェクト１１２が視野内にないときは、第１のＰＩＰ１１８が示されないこともある。いくつかの実施形態において、第１のＰＩＰ１１８は空白であるか、または第１のオブジェクト１１２が最後に視野内にあったディスプレイ１１０内のロケーションを示す。第１のＰＩＰ１１８は、また、第１のオブジェクト１１２が視野を離れると、「視野外」のようなメッセージを表示し得る。
【００２８】
[0035]  いくつかの実施形態において、第１のオブジェクト１１２は、移動すると追跡され得る。図示されているように、第１のオブジェクト１１２は、ディスプレイ１１０上を方々に移動すると追跡され得る。第１のオブジェクト１１２が、ディスプレイ１１０の視野内で移動すると、第１のＰＩＰ１１８に継続的に示される。いくつかの実施形態において、第２のオブジェクト（図示せず）もまた追跡され得る。いくつかの実施形態において、追跡システムは、本開示と一体化される。例えば、その内容が完全に本明細書に組み込まれた米国特許第８４８３４３７号は、訓練画像を使用して画像中のオブジェクトを追跡するための機能を開示し、その内容が完全に本明細書に組み込まれた米国特許出願公開第２０１３／０２５８１４１号は、ビデオフレーム内のオブジェクトを検出および追跡し、偽陽性を拒絶するための機能を開示し、その内容が完全に本明細書に組み込まれた米国特許出願公開第２０１３／０１７６２０３号は、追跡結果を生成するためにビデオフレーム内のオブジェクトを追跡するための機能を開示し、その内容が完全に本明細書に組み込まれた米国特許第８２４９２９９号は、ビデオ内のオブジェクトを特定および追跡するための機能を開示する。
【００２９】
[0036]  いくつかの実施形態において、第１のＰＩＰ１１８内の第１の表示されるオブジェクト１２４は、主要ビデオ１０５におけるそのズームレベルと比較して、ズームインまたはズームアウトされ得る。したがって、第１のＰＩＰ１１８内の第１の表示されるオブジェクト１２４は、主要ビデオ１０５内の第１のオブジェクト１１２と比較して、より大きく、またはより小さくみえ得る。第１の表示されるオブジェクト１２４は、また、同じ程度にズームされ得るので、第１のＰＩＰ１１８において、主要ビデオ１０５内の第１のオブジェクト１１２と同じサイズにみえ得る。いくつかの実施形態において、第１のＰＩＰ１１８内の第１の表示されるオブジェクト１２４のズームレベルは、記録システムによって自動的に維持され得る。したがって、例えば、第１のオブジェクト１１２が移動して離れていくか、そうでなければ、主要ビデオ１０５に示されるときに小さくなっていく場合、第１のＰＩＰ１１８は、第１のオブジェクト１１２が主要ビデオ１０５上で小さくなるにしたがいそれにズームインし続けることによって、第１の表示されるオブジェクト１２４の一定の大きさを維持し得る。同様に、第１のオブジェクト１１２が、主要ビデオ１０５に示されるときに大きくなっていく場合、第１のＰＩＰ１１８は、第１のオブジェクト１１２が主要ビデオ１０５上で大きくなるにしたがいそれからズームアウトし続けることによって、第１の表示されるオブジェクト１２４の一定の大きさを維持し得る。いくつかの実施形態において、ズームが第１のＰＩＰ１１８によって維持される元のズームレベルは、デバイス１００によって自動で、ユーザによって手動で、またはこれらの組み合わせで選ばれ得る。例えば、第１のＰＩＰ１１８内の関心のあるアイテムの特定のズームレベルは、最初にユーザによって手動で選ばれ得、次いで、そのアイテムがデバイス１００から離れて、またはそれに向かって移動すると、デバイス１００は、最初に手動で選ばれたズームのレベルを自動的に維持し得る。本明細書で使用される「ズーム」が、オブジェクトを記録する間のズームと、ならびに記録されたオブジェクトのズームとを指し得ることが理解される。したがって、本明細書でのズーム機能の説明は、記録されているビデオと、ならびに記録されたものでディスプレイ１１０上に現在示されているビデオとに適用する。
【００３０】
[0037]  いくつかの実施形態において、第１のオブジェクト１１２は、ディスプレイ１１０上の関心領域（ＲＯＩ）１１４の内側にある。ＲＯＩ１１４は、第１のオブジェクト１１２がディスプレイ１１０内を移動すると第１のオブジェクト１１２と共に移動し得る。図１に示されているように、ＲＯＩ１１４は、ボックスの内側の第１のオブジェクトをキャプチャする点線のボックスとして構成され得る。いくつかの実施形態において、ＲＯＩ１１４は、異なる形状、サイズ、または線として構成され得る。例えば、ＲＯＩ１１４は、ディスプレイ１１０上の第１のオブジェクト１１２の輪郭によりしっかりと線を引く、より太い実線として示され得る。ＲＯＩ１１４の任意の構成では、第１のオブジェクト１１２とＲＯＩ１１４との間に指定量の距離を残すマージンが定義され得る。例えば、半インチのマージンが指定され得、ここにおいて、ディスプレイ上で見られる半インチは、いつでも第１のオブジェクト１１２の境界とＲＯＩ１１４との間にあるであろう。
【００３１】
[0038]  いくつかの実施形態において、第１のＰＩＰ１１８は、ディスプレイ１１０全体よりも少ないディスプレイ１１０の一部分を占める。図示されているように、第１のＰＩＰ１１８は、ディスプレイ１１０の上方左角にあり得る。第１のＰＩＰ１１８は、また、下部左角、上部右角、下部右角、ディスプレイの中央、ディスプレイ１１０のふちの１つに沿って中央に置かれる、などといったディスプレイ１１０の任意のエリアに配置され得る。
【００３２】
[0039]  いくつかの実施形態において、２つのＰＩＰ１１６、１１８がリサイズされ得る。例えば、第２のＰＩＰ１１６は、リサイズされたＰＩＰ１２２によって図示されたサイズに拡大され得る。第２のＰＩＰ１１６は、したがって、４方向においてより大きい寸法を有し得る。第２のＰＩＰ１１６は、また、より小さい寸法と、ならびに異なる形状、線の太さ、等を有し得る。例えば、第２のＰＩＰ１１６の境界は、リサイズされたＰＩＰ１２２の境界によって図示されているように破線であり得る。
【００３３】
[0040]  いくつかの実施形態において、ＰＩＰウィンドウは、異なるロケーションに移動され得る。いくつかの実施形態において、ＰＩＰウィンドウは、手動で移動し得る。いくつかの実施形態において、ＰＩＰウィンドウは、例えば、図２、図８、および図９に関して本明細書でさらに詳細に説明されるように自動的に移動し得る。
【００３４】
[0041]  図２を参照すると、ディスプレイ１１０を有するデバイス１００の実施形態が示され、ここでは、第１のオブジェクト１１２がディスプレイ１１０上のその位置に関して方々を移動したときに、第１のオブジェクト１１２を表示する第１のＰＩＰ１１８が、第１のオブジェクト１１２を妨害することを避けるために移動した。第１のオブジェクト１１２がディスプレイ１１０に相対的に移動するので、第１のオブジェクト１１２は、ディスプレイ１１０上で移動し得る。１つの実例において、第１のオブジェクト１１２は移動していることもあり、ディスプレイ１１０は静止している。代替的に、第１のオブジェクト１１２は静止していることもあり、ディスプレイ１１０は、視聴者によって移動している。別の実施形態において、第１のオブジェクト１１２およびディスプレイの両方が動いていることもある。
【００３５】
[0042]  いくつかの実施形態において、システムは、ディスプレイ１１０の選択されたオブジェクトあるいはエリアを妨害することを避けるために、第１のオブジェクト１１２を表示する第１のＰＩＰ１１８の位置を移動させ得る。いくつかの実施形態において、第１のＰＩＰ１１８は、第１のオブジェクト１１２への妨害を避けるために移動し得る。いくつかの実施形態において、第１のＰＩＰ１１８がディスプレイ１１０の視聴者からのいずれの入力も用いずに移動することになるように、この移動は自動である。いくつかの実施形態において、システムは、第１のオブジェクト１１２の境界が、第１のＰＩＰ１１８の境界に触れるときに、第１のＰＩＰ１１８の位置を移動させるようにプログラムされる。いくつかの実施形態において、第１のＰＩＰ１１８は、第１のオブジェクト１１２の境界が第１のＰＩＰ１１８の境界のある特定の距離内にあるときに移動することになる。例えば、第１のＰＩＰ１１８の位置は、第１のオブジェクト１１２の境界が、ディスプレイ１１０上の第１のＰＩＰ１１８の境界の半インチ内にあるときに移動し得る。いくつかの実施形態において、第１のＰＩＰ１１８の位置は、ＲＯＩ１１４の境界が第１のＰＩＰ１１８の境界に触れるときに移動することになる。いくつかの実施形態において、第１のＰＩＰ１１８の位置は、ＲＯＩ１１４の境界が第１のＰＩＰ１１８の境界のある特定の距離内にあるときに移動することになる。例えば、第１のＰＩＰ１１８の位置は、ＲＯＩ１１４の境界がディスプレイ１１０上に示される第１のＰＩＰ１１８の境界の半インチ内にあるときに移動し得る。システムが第１のＰＩＰ１１８の位置を自動的に移動させるために、第１のオブジェクト１１２、ＲＯＩ１１４、または他の選択されたオブジェクトあるいはロケーションが、第１のＰＩＰ１１８にどのくらい接近していなければならないかを決定するために、他の多くの構成がインプリメントされ得る。したがって、「妨害」によって、第１のＰＩＰ１１８が、第１のオブジェクト１１２、またはＲＯＩ１１４、またはディスプレイ１１０の他の指示されたロケーションへの指定された近接内にあることが意味される。妨害は、したがって、第１のＰＩＰ１１８が、ディスプレイ１１０上の、第１のオブジェクト１１２のビューまたはその一部分をおおうときにのみ生じる必要はない。妨害は、このように、第１のＰＩＰ１１８が、ディスプレイ１１０上の、第１のオブジェクトのビューまたはその一部分をおおっていないときにもまた生じ得る。さらに、第１のオブジェクト１１２または他の任意のオブジェクトへの妨害に対する本明細書での任意の参照は、文脈によってそうではないことが指示されない限り、ディスプレイ１１０の他のオブジェクトあるいはロケーションへの妨害を含む。
【００３６】
[0043]  いくつかの実施形態において、システムは、第１のオブジェクト１１２が第１のＰＩＰ１１８を妨害するときに、ディスプレイ１１０上で第１のオブジェクト１１２を見ることを容易にするために、第１のＰＩＰ１１８の外観を変え得る。いくつかの実施形態において、第１のＰＩＰ１１８は、妨害があるときに消えて、妨害がもはやなくなったときに再び現れ得る。いくつかの実施形態において、第１のＰＩＰ１１８は、妨害があるときに透明になり得る。例えば、第１のＰＩＰ１１８は、第１のオブジェクト１１２が第１のＰＩＰ１１８を妨害するときに第１のオブジェクト１１２が依然として見られることができるように、５０パーセント透明になり得る。
【００３７】
[0044]  いくつかの実施形態において、第１のＰＩＰ１１８が第１のオブジェクト１１２を妨害するときに移動するディスプレイ１１０上の１つまたは複数のロケーションは、繰り返され得る。例えば、第１のＰＩＰ１１８は、それが第１のオブジェクト１１２を妨害するときに、下方左角といった同じ第２のロケーションに必ず移動し得る。第１のＰＩＰ１１８は、次いで、それがこの第２のロケーションで第１のオブジェクト１１２を妨害する場合に、その元のロケーションに移動して戻り得る。したがって、第１のＰＩＰ１１８は、図１に示されているものを第１のロケーションとして有し得る一方で、図２に示されているものを第２のロケーションとして有し得る。
【００３８】
[0045]  いくつかの実施形態において、第１のＰＩＰ１１８が第１のオブジェクト１１２を妨害するときに移動するディスプレイ１１０上の１つまたは複数のロケーションは、ランダムであり得る。例えば、第１のＰＩＰ１１８は、それが第１のオブジェクト１１２を妨害するときに、その元のロケーションからランダムな第２のロケーションに移動し得る。第１のＰＩＰ１１８は、次いで、それがこの第２のロケーションで第１のオブジェクト１１２を妨害する場合に、元のロケーションと同じであることもないこともある、ランダムな第３のロケーションに移動し得る。したがって、第１のＰＩＰ１１８は、図１に示されているものを第１のランダムロケーションとして有し得る一方で、図２に示されているものを第２のランダムロケーションとして有し得る。
【００３９】
[0046]  いくつかの実施形態において、第１のＰＩＰ１１８が第１のオブジェクト１１２を妨害するときに移動するディスプレイ１１０上の１つまたは複数のロケーションが制御され得る。例えば、第１のＰＩＰ１１８が第１のオブジェクト１１２を妨害するときに、第１のＰＩＰ１１８は、その元のロケーションから、ディスプレイ１１０上の他のオブジェクトまたは指定されたエリアを妨害していない第２のロケーションに移動し得る。いくつかの実施形態において、第１のＰＩＰ１１８が第１のオブジェクト１１２を妨害するときに、第１のＰＩＰ１１８は、第１のＰＩＰ１１８が第１のオブジェクト１１２または第２のＰＩＰ１１６を妨害しないであろうロケーションに移動し得る。いくつかの実施形態において、ディスプレイ１１０上に第２のオブジェクトも示される場合、さらにまた、第１のＰＩＰ１１８が第１のオブジェクト１１２および／または第２のオブジェクトを妨害する場合に、第１のＰＩＰ１１８は、第１のＰＩＰ１１８が第１のオブジェクト１１２、第２のＰＩＰ１１６、または第２のオブジェクトを妨害しないであろうロケーションに移動し得る。様々なＰＩＰとディスプレイ１１０上の他の指定されたオブジェクトあるいはロケーションとの間の妨害を避ける他の多くの構成は、本明細書に明示的に記述されていないが、当業者の範囲内であり、したがって、本開示の範囲内である。例えば、第１のオブジェクト１１２の代わりに、またはそれに加えて、第１のＰＩＰ１１８は、また、ディスプレイ１１０上の指定された１つまたは複数のロケーション、例えば、上部のふち、右のふち、等への妨害を避け得る。
【００４０】
[0047]  ここで図３を参照すると、３つのＰＩＰ１１６、１１８、１２６を有するディスプレイ１１０を持つデバイス１００の実施形態が示されている。図示されているように、第１のＰＩＰ１１８、第２のＰＩＰ１１６、および第３のＰＩＰ１２６が、ディスプレイ１１０上に示され得る。いくつかの実施形態において、各ＰＩＰは、別個のオブジェクトを表示し得る。図示されているように、第１のＰＩＰ１１８は、星形のオブジェクトとして示された第１の表示されるオブジェクト１２４を表示し得、第２のＰＩＰ１１６は、顔として示された第２の表示されるオブジェクト１２０を表示し得、第３のＰＩＰ１２５は、三角形のオブジェクトとして示される第３の表示されるオブジェクト１２８を表示し得る。
【００４１】
[0048]  いくつかの実施形態において、第１のオブジェクト１１２および／または第３のオブジェクト１３０は、それらが移動すると追跡され得る。追跡されているオブジェクトを囲むＲＯＩ１１４は、ディスプレイ１１０に示される必要はない。いくつかの実施形態において、ＰＩＰ１１６、１１８、１２６は、ディスプレイ１１０上のオブジェクト１１２、１３０を妨害することを避けるために移動し得る。これは、ＲＯＩ１１４がディスプレイ１１０上のオブジェクトの周りに見えていなくても生じ得る。
【００４２】
[0049]  図３に示されているように、いくつかの実施形態において、３つのＰＩＰ１１６、１１８、１２６が、図示されているようにディスプレイ１１０の下部のふち近くに整列される（aligned）。ディスプレイ１１０上の関心オブジェクト（objects of interest）への妨害を避けるために、システムは、ディスプレイ１１０上の他のロケーションにＰＩＰの位置を移動させ得る。ＰＩＰは、個別に、またはグループとして移動し得る。例えば、第１のＰＩＰ１１８のみが、関心オブジェクトを妨害することを避けるためにディスプレイ１１０の上部左角に移動し得るか、または３つすべてのＰＩＰ１１６、１１８、１２６が、関心オブジェクトを妨害することを避けるためにディスプレイ１１０の異なるふち近くに整列し得る。
【００４３】
[0050]  ３つのＰＩＰ１１６、１１８、１２６を有する実施形態は、２つのＰＩＰのみを有する他の実施形態と同様の能力ならびに機能を持つ。例えば、３つのＰＩＰ１１６、１１８、１２６は、同様にリサイズされ、手動または自動で再配置され、変更された透過性特性（transparency properties）を有することができ、追跡されているオブジェクトを示し得、同じ視野または異なる視野からのオブジェクトを示し得、異なるビデオソースからのオブジェクトを表示し得る、等を行う。２つのＰＩＰを有する実施形態に関して上述された任意の機能は、３つのＰＩＰを有する実施形態に関して明示的に記述されないが、３つのＰＩＰを有する実施形態にも、必要な変更を加えてインプリメントされ得る。同様に、３つのＰＩＰを有する実施形態に関して説明された任意の機能は、２つのＰＩＰを有する実施形態に関して明示的に記述されないが、２つのＰＩＰを有する実施形態にも、必要な変更を加えてインプリメントされ得る。
【００４４】
[0051]  ここで図４を参照すると、４つのＰＩＰ１１６、１１８、１２６、１３４を有するディスプレイ１１０を持つデバイス１００の実施形態が示されている。４つのＰＩＰは、例えば、二対二のバレーボール試合のような、異なる４人の選手がいるスポーツ競技を見るとき、および／または記録するときに、望ましいこともある。そのようなケースにおいて、各ＰＩＰは、異なる選手を追い、彼ら自体のＰＩＰに彼ら各々を記録することができる。このような使用は、個別の選手の試合後の分析に役立ち得る。４つのＰＩＰを有する実施形態が説明され得るが、４つより多くのＰＩＰもまた本開示の範囲内であることが理解される。４つより多くのＰＩＰは、例えば、微生物の集合体のようなマイクロスコープ画像を記録および／または見るときに、または、多くの動物の群れのような多くのオブジェクトを見るときに役立ち得る。様々なＰＩＰは、関心のある多くの微生物または動物を個別に追跡するように使用され得る。
【００４５】
[0052]  図４に示されているように、第１のＰＩＰ１１８、第２のＰＩＰ１１６、第３のＰＩＰ１２６、および第４のＰＩＰ１３４が、ディスプレイ１１０上に示され得る。いくつかの実施形態において、各ＰＩＰは、別個のオブジェクトを表示し得る。図示されているように、第１のＰＩＰ１１８は、星形のオブジェクトとして示された第１の表示されるオブジェクト１２４を表示し得、第２のＰＩＰ１１６は、顔として示された第２の表示されるオブジェクト１２０を表示し得、第３のＰＩＰ１２６は、三角形のオブジェクトとして示された第３の表示されるオブジェクト１２８を表示し得、第４のＰＩＰ１３４は、円形のオブジェクトとして示された第４の表示されるオブジェクト１３６を表示し得る。
【００４６】
[0053]  いくつかの実施形態において、ディスプレイ１１０は、２つ、３つ、および４つのＰＩＰを表示することをトグルで切り替え得る。例えば、あるときに、ディスプレイ１１０は、第１のＰＩＰ１１８および第２のＰＩＰ１１６のみを示し得る。後の時間に、ディスプレイ１１０は、第３のＰＩＰ１２６および／または第４のＰＩＰ１３４もまた示し得る。さらに、ＰＩＰの異なる組み合わせが時間にわたって示され得る。例えば、あるときに、ディスプレイ１１０は、第１および第３のＰＩＰ１１８、１２６のみを示し得る。後の時間に、ディスプレイ１１０は、第２および第４のＰＩＰ１１６、１３４のみを示し得る。他の組み合わせが、本開示の範囲内にある。さらに、示され得る任意の組み合わせが、ディスプレイ１１０上で、自動的に隠され、および／または示され得るか、または、それらは、例えば、ディスプレイデバイスのユーザによって、手動で隠され、および／または示され得る。
【００４７】
[0054]  いくつかの実施形態において、ディスプレイ１１０は、デバイス１００の視野を離れる関心オブジェクトのために、２つ、３つ、および４つのＰＩＰを表示することをトグルで切り替え得る。例えば、第１のオブジェクト１１２が、ディスプレイ１１０上に示されるデバイス１００の視野を離れる場合、第１のＰＩＰ１１８は、第１の表示されるオブジェクト１２４として第１のオブジェクト１１２を示していたが、ディスプレイ１１０から消え得る。第１のオブジェクトが、ディスプレイ１１０上に示される視野に戻った場合、第１のＰＩＰ１１８は、ディスプレイ１１０上に再び現れ得る。いくつかの実施形態において、第１のＰＩＰ１１８は、第１のオブジェクト１１２がディスプレイ１１０上に示される視野を離れるときに透明になり得る。ＰＩＰの外観および／または移動に関する他のアクションが、ディスプレイ１１０上に示される視野を離れる、および／または視野に戻るオブジェクトにより生じ得る。同様の機能ならびに能力が、異なる視野からのオブジェクトを示し得る他のＰＩＰに適用する。例えば、第２のＰＩＰ１１６は、ディスプレイ１１０上に示される視野とは異なる視野からの第２の表示されるオブジェクト１２０を示し得る。第２の表示されるオブジェクト１２０に対応する第２のオブジェクトがその異なる視野から消えた場合、第２のＰＩＰ１１６は、消える、透明になる、リサイズする、等を行い得る。
【００４８】
[0055]  本明細書に使用されるように、「視野」は、ディスプレイデバイスのイメージセンサのビューあるいは視界の中に概してあるものを含む、通常および通例の意味で使用される。ビデオをキャプチャおよび／または記録したデバイスの視野であるとも理解される。これは、デバイス１００であることもないこともある。例えば、デバイス１００は、記録を示し得るが、異なるデバイスが記録を撮ったということもある。デバイス１００が、ビデオをキャプチャおよび／または記録し、さらにそのビデオを現在示していることもまた可能である。したがって、本明細書で使用されている「視野」は、一方のディスプレイデバイスまたは他方のディスプレイデバイスの視野のみに限定されるものではない。
【００４９】
[0056]  ４つのＰＩＰ１１６、１１８、１２６、１３４を有する実施形態は、上述のように、２つまたは３つのＰＩＰのみを有する他の実施形態と同様の能力ならびに機能を持つ。例えば、４つのＰＩＰ１１６、１１８、１２６、１３４は、同様にリサイズされ、手動または自動で再配置され、変更された透過性特性を有することができ、追跡されているオブジェクトを示し得、同じ視野または異なる視野からのオブジェクトを示し得、異なるビデオソースからのオブジェクトを表示し得る、等を行う。２つまたは３つのＰＩＰを有する実施形態に関して上述された任意の機能は、４つのＰＩＰを有する実施形態に関して明示的に記述されないが、４つ以上のＰＩＰを有する実施形態にも、必要な変更を加えてインプリメントされ得る。同様に、４つのＰＩＰを有する実施形態に関して説明された任意の機能は、２つまたは３つのＰＩＰを有する実施形態に関して明示的に記述されないが、２つ、３つ、または４つより多くのＰＩＰを有する実施形態にも、必要な変更を加えてインプリメントされ得る。
【００５０】
[0057]  図１〜図４に関して説明されたディスプレイ１１０の様々な実施形態は、幅広い範囲のデバイスおよびシステムに具現化され得る。図５は、このような１つのデバイス５００の実施形態に表す。以下に続く説明に加えて、デバイス５００は、オブジェクトの追跡、ＰＩＰのリサイズおよび／または再配置、透過性といったＰＩＰ特性の変更、異なる構成のＰＩＰの表示、等を含む、図１〜図４に関して上述された様々なコンポーネントの機能の任意のものを組み込み得る。
【００５１】
[0058]  ここで図５を参照すると、いくつかの実施形態において、デバイス５００は、図示されているタブレットのようなモバイルデバイス、またはハンドヘルド、ポータブル、ラップトップ、またはデスクトップのコンピュータであり得る。デバイス５００は、タッチ入力を有するディスプレイスクリーンおよび／または２ポンド（０．９１ｋｇ）よりも少ない重量の小型キーボードを有する、小さいハンドヘルドコンピューティングデバイスであり得る。デバイス５００はまた、Ａｐｐｌｅ（登録商標）、Ｎｏｋｉａ（登録商標）、ＨＴＣ（登録商標）、ＬＧ（登録商標）、ＢｌａｃｋＢｅｒｒｙ（登録商標）、およびＭｏｔｏｒｏｌａ  Ｍｏｂｉｌｉｔｙ（登録商標）といった企業によって製造され得る。
【００５２】
[0059]  いくつかの実施形態において、デバイス５００は、オペレーティングシステム（ＯＳ）を有し、ａｐｐまたはアプリケーションのような様々なタイプのアプリケーションソフトウェアを稼働することができる。デバイスは、インターネットと、自動車またはマイクロフォンヘッドセットのような他のＢｌｕｅｔｏｏｔｈ（登録商標）可能なデバイスとへの接続を可能にすることができる、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、およびＧＰＳ能力を装備し得る。１つまたは複数のカメラであり得る１つまたは複数のイメージセンサ５１２、またはビデオならびに／あるいは音楽ファイルのためのメディアプレーヤ機能は、リチウム電池のような安定した電池電力ソースと共にデバイス５００上にあり得る。
【００５３】
[0060]  いくつかの実施形態において、デバイス５００は、スマートフォンであり得る。これは、進化したコンピューティング能力および接続性能力を有する、モバイルオペレーティングシステムに内蔵されたモバイル電話であり得る。それは、携帯情報端末（ＰＤＡ）、ｅメール機能性、およびモバイル電話の機能を組み合わせ得る。デバイス５００は、また、１つの多目的デバイス５００を形成するために、ポータブルメディアプレーヤ、ローエンドコンパクトデジタルカメラ、ポケットビデオカメラ、およびＧＰＳナビゲーションユニットの機能性を有し得る。いくつかの実施形態において、デバイス５００は、高解像度のタッチスクリーン、および標準的なウェブページならびにモバイル用に最適化されたサイトを表示するウェブブラウザもまた含む。高速データアクセスは、Ｗｉ−Ｆｉ、モバイルブロードバンド、近距離通信（ＮＦＣ）、および／またはＢｌｕｅｔｏｏｔｈによって提供され得る。
【００５４】
[0061]  図５に示されているデバイス５００は、主要ビデオ５０３を示すディスプレイ５０１と、２つのＰＩＰ５０６、５０８とを含み、ここで、各ＰＩＰは、異なる視野からのオブジェクトを表示している。第１のＰＩＰ５０６は、第１のＰＩＰ５０６内に、第１の表示されるオブジェクト５１６として第１の見られているオブジェクト（viewed object）５０４を表示する。第２のＰＩＰ５０８は、第２のＰＩＰ５０８内に、第２の表示されるオブジェクト５１４として第２の見られているオブジェクト５０２を表示する。
【００５５】
[0062]  いくつかの実施形態において、第１の見られているオブジェクト５０４、すなわち星形のオブジェクトは、表されているように、デバイス５００に対して第１の方向５０５にある視野内にあり得る。デバイス５００のユーザのような第２の見られているオブジェクト５０２は、表されているように、デバイス５００に対して第２の方向５０７にある視野内にあり得る。図示されているように、デバイス５００の２つの視野の方向５０５、５０７は、反対方向にある。方向５０７にある視野は、カメラであり得るイメージセンサ５１２によって見られている。反対方向５０５にある視野は、イメージセンサ５１２の側面とは反対の、デバイス５００の側面にある別のカメラであり得るイメージセンサ（図示せず）によって見られている。したがって、第１のＰＩＰ５０６内の第１の表示されるオブジェクト５１６は、第２のＰＩＰ５０８内の第２の表示されるオブジェクト５１４と異なる視野からのものである。
【００５６】
[0063]  図５にさらに示されているように、主要ビデオ５０３は、方向５０５にある視野からのオブジェクトを表示し得る。第１のＰＩＰ５０６は、その同じ視野内にある第１の見られているオブジェクト５０４を表示する。しかしながら、第２のＰＩＰ５０８は、方向５０７にある視野からの第２の見られているオブジェクト５０２を表示する。２つのＰＩＰ５０６、５０８は、主要ビデオ５０３上にオーバーレイされる。いくつかの実施形態において、ＰＩＰ５０６、５０８は、ＰＩＰ５０６、５０８の「後ろ」または「下」にある主要ビデオ５０３の複数部分を完全におおう。いくつかの実施形態において、ＰＩＰ５０６、５０８は、ＰＩＰ５０６、５０８の「後ろ」または「下」にある主要ビデオ５０３の複数部分を部分的におおう。いくつかの実施形態において、ＰＩＰ５０６、５０８は、２５％、５０％、７５％、等といった何らかのパーセンテージまで透明である。
【００５７】
[0064]  本明細書に開示されるデバイス、システム、および方法による様々なＰＩＰによって示されている様々なビデオあるいはオブジェクトは、他のビデオソースあるいはディスプレイともまた接続され得る。記載されているように、ＰＩＰ内に示されるビデオは、ＰＩＰが示されているデバイス以外のデバイスまたはソースから生じ得る。さらに、いくつかの実施形態において、１つのデバイス上のＰＩＰ内に示されるビデオは、他のデバイスおよび／またはディスプレイ上にもまた示され得る。このことは、例えば図６に関して、本明細書でさらに詳細に説明される。
【００５８】
[0065]  上述された様々なデバイスおよびシステムが、多くのディスプレイ構成のソフトウェアおよび／またはハードウェアに具現化され得る。図６は、ディスプレイ６２５を有するデバイス６００のそのような１つの実施形態のブロック図を表す。いくつかの実施形態において、デバイス６００は、図５に関して上述されたもののような、モバイルデバイスであり得る。デバイス６００は、また、携帯電話、デジタルカメラ、携帯情報端末、または同様のものであり得る。それはまた、デスクトップパーソナルコンピュータ、ビデオ会議ステーション、または同様のもののような、より固定されたデバイスであり得る。デバイス６００は、複数のＰＩＰを表示、記録、および／または管理するためのモジュールを有する記録システムを備え得る。
【００５９】
[0066]  図示されているように、デバイス６００は、イメージセンサ６１５にリンクされたプロセッサ６２０を含むコンポーネントのセットを有する。様々なモジュールを含むワーキングメモリ６０５、記憶装置６１０、電子ディスプレイ６２５、およびメモリ６３０は、また、プロセッサ６２０と通信している。いくつかの実施形態において、プロセッサ６２０は、汎用処理ユニット、または画像化アプリケーションのために特別に設計されたプロセッサであり得る。図示されているように、プロセッサ６２０は、ワーキングメモリ６０５およびメモリ６３０に接続されている。メモリ６３０内のモジュールは、プログラムまたはアプリケーションといったソフトウェアであり得る。複数のモジュールがデバイス６００内にあり得る。これらのモジュールは、様々な画像処理ならびにデバイス管理タスクを行うようにプロセッサ６２０を構成する命令を含む。モジュールは、ＰＩＰと、ならびに従来の写真用アプリケーション、高ダイナミックレンジ画像化、パノラマビデオ、または３Ｄ画像あるいは３Ｄビデオのような立体的な画像化とに関連したモジュールを含み得る。示されている実施形態において、メモリ６３０は、イメージセンサ制御モジュール６３５、関心オブジェクト検出モジュール６４０、タッチスクリーン入力モジュール６５５、設定管理モジュール６６０、ウィンドウ表示モジュール６７０、プレビュー制御モジュール６７５、オペレーティングシステム６８０、選択モジュール６８５、記録モジュール６９０、およびＰＩＰ表示モジュール６９５を記憶する。ワーキングメモリ６０５は、メモリ６３０のモジュールに含まれたプロセッサ命令のワーキングセットを記憶するためにプロセッサ６２０によって使用され得る。代替的に、ワーキングメモリ６０５は、また、デバイス６００の動作中に作り出されたダイナミックデータを記憶するためにプロセッサ６２０によって使用され得る。
【００６０】
[0067]  いくつかの実施形態において、プロセッサ６２０は、メモリ６３０に記憶されたいくつかのモジュールによって構成されている。イメージセンサ制御モジュール６３５は、イメージセンサ６１５を用いて画像をキャプチャするようにプロセッサ６２０を構成する命令を含み得る。イメージセンサ制御モジュール６３５は、イメージセンサ６１５の焦点位置を調整する命令もまた含み得る。したがって、プロセッサ６２０は、画像キャプチャ制御モジュール６３５、イメージセンサ６１５、およびワーキングメモリ６０５と共に、イメージセンサを使用して画像をキャプチャするための１つの手段を表す。記録モジュール６９０は、キャプチャされた画像を記録するようにプロセッサ６２０を構成する命令を含み得る。タッチスクリーン入力モジュール６５５は、例えば、ディスプレイ６２５のようなタッチスクリーンディスプレイからタッチ入力を受信するようにプロセッサ６２０を構成する命令を含み得る。
【００６１】
[0068]  関心オブジェクト検出モジュール６４０は、イメージセンサ６１５によってキャプチャされた画像内の関心オブジェクトを検出するようにプロセッサ６２０を構成する命令を提供する。いくつかの実施形態において、関心オブジェクトは、顔のような人体の部分であり得る。したがって、関心オブジェクト検出モジュール６４０は、顔認識のための機能をインプリメントし得る。例えば、その内容全体が本明細書で参照によって組み込まれている米国特許第８４５２１０７号は、オクルージョン許容（occlusion tolerant）の顔認識のための機能を開示し、その内容全体が本明細書で参照によって組み込まれている米国特許出願公開第２０１１／００４７３８４号は、顔認識を使用してアドホックネットワークを確立するための機能を開示し、その内容全体が本明細書で参照によって組み込まれている米国特許第７９１６９７６号は、顔ベースの画像構築ならびに検索方法を開示し、その内容全体が本明細書で参照によって組み込まれている米国特許出願公開第２０１０／０２３９１３０号は、迅速な顔認識のための機能を開示する。６５５６２０６２５
[0069]  設定管理モジュール６６０は、デバイス６００のための様々なパラメータ設定を管理するための命令を含み得る。例えば、様々なＰＩＰの構成に関連したパラメータはモジュール６６０によって管理され得る。ウィンドウ表示モジュール６７０は、デバイス６００のディスプレイ６２５上に生成されたＰＩＰ内の、ズームレベルのような、データのレイアウトを管理するための命令を含み得る。例えば、ディスプレイ６２５は、ディスプレイ６２５内に、ＰＩＰのような、１つより多くの画像「ウィンドウ」を含み得る。いくつかの「ウィンドウ」は、異なるスケールでデータを表示し得る。ウィンドウ表示モジュール６７０内の命令は、これらサブウィンドウの各々に関連したデータをディスプレイ６２５のための表示コマンドに変換するようにプロセッサを構成し得る。
【００６２】
[0070]  プレビュー制御モジュール６７５は、上述した方法にしたがって、ディスプレイ６２５上にプレビューウィンドウを表示するようにプロセッサ６２０を構成する命令を含む。例えば、プレビュー制御ウィンドウ６７５は、イメージセンサ６１５を使用して第１の画像をキャプチャするようにプロセッサ６２０を構成するために、画像化制御モジュール６３５内のサブルーチンを呼ぶ命令を含み得る。プレビュー制御モジュール６７５は、次いで、イメージセンサ６１５によってキャプチャされた第１の画像内の関心オブジェクトを検出するために関心オブジェクト検出モジュール６４０を呼び得る。プレビュー制御モジュール６７５内の命令は、次いで、例えば、ＰＩＰ内といったディスプレイ６２５上に表示するためにオペレータがプレビューウィンドウをどのように構成したかを決定するために、設定管理モジュール６６０を呼び出し得る。この情報は、プレビューウィンドウを、ＰＩＰとしてレイアウトするために、またはそうでなければイメージセンサ６１５によってキャプチャされた画像データと、関心オブジェクト検出モジュール６４０によって決定された関心オブジェクト情報とを使用して構成されたようにレイアウトするために、ウィンドウ表示モジュール６７０に提供され得る。ウィンドウ表示モジュール６７０は、ディスプレイを制御するためにオペレーティングシステム６８０内の命令を呼び出し、それに電子ディスプレイ６２５上に適切なプレビューウィンドウ構成を表示させ得る。プレビュー制御モジュール６７５は、また、ディスプレイ６２５上の選択および／または検出された関心オブジェクトを検証するように、またはそれら関心オブジェクトの、ユーザからの検証を求める（seek）ようにプロセッサ６２０を構成する命令を含み得る。
【００６３】
[0071]  オペレーティングシステムモジュール６８０は、デバイス６００のメモリおよび処理リソースを管理するようにプロセッサ６２０を構成する。例えば、オペレーティングシステムモジュール６８０は、ディスプレイ６２５、記憶装置６１０、またはイメージセンサ６１５のような、ハードウェアリソースを管理するためのデバイスドライバを含み得る。したがって、いくつかの実施形態において、上述されたモジュールに含まれる命令は、これらのハードウェアリソースと直接対話しないこともあるが、その代わりに、オペレーティングシステムコンポーネント６８０に配置された複数のＡＰＩまたは標準的なサブルーチンを通じて対話し得る。オペレーティングシステム６８０内の命令は、次いで、これらのハードウェアコンポーネントと直接対話し得る。
【００６４】
[0072]  いくつかの実施形態において、オペレーティングシステムモジュール６８０は、モバイルオペレーティングシステムであり、デバイス６００はモバイルデバイスである。スマートフォンのようなモバイルデバイスによって使用されるモバイルオペレーティングシステムは、ＧｏｏｇｌｅのＡｎｄｒｏｉｄ、ＡｐｐｌｅのｉＯＳ、シンビアン、ブラックベリー社のＢｌａｃｋＢｅｒｒｙ １０、サムスンのＢａｄａ、マイクロソフトのＷｉｎｄｏｗｓ（登録商標）フォン、ヒューレットパッカードのｗｅｂＯＳ、ＭａｅｍｏならびにＭｅｅＧｏといった組込み型Ｌｉｎｕｘ（登録商標）ディストリビューション、ＭｏｚｉｌｌａのＦｉｒｅｆｏｘ ＯＳ、カノニカル社のＵｂｕｎｔｕフォン、Ｔｉｚｅｎ、またはその他のものであり得る。モバイルデバイスは、その寿命にわたって複数のオペレーティングモジュール６８０のアップデートを受信することができる。
【００６５】
[0073]  プロセッサ６２０は、記憶モジュール６１０にデータを書き込み得る。記憶モジュール６１０は、従来のディスクデバイスとしてグラフィカルに表されるが、当業者は、複数の実施形態が、メモリディスク、ＵＳＢドライブ、フラッシュドライブ、遠隔接続された記憶媒体、仮想ディスクドライバ、または同様のものを含むように、ディスクベースの記憶デバイスまたはいくつかの他のタイプの記憶媒体のうちの１つのいずれかを含み得ることを理解する。
【００６６】
[0074]  図６は、プロセッサ、イメージセンサ、およびメモリを含むように別個のコンポーネントを備えたデバイスを表しているが、当業者であれば、これらの別個のコンポーネントが、特定の設計目的を達成するために様々な方法で組み合わされ得ることを理解するであろう。例えば、代替の実施形態において、メモリコンポーネントは、コストを節約し、性能を改善するために、プロセッサコンポーネントと組み合わされ得る。
【００６７】
[0075]  加えて、図６は、いくつかのモジュールを備えたメモリコンポーネント６３０、およびワーキングメモリを備えた別個のメモリ６０５を含むように、２つのメモリコンポーネントを例示しているが、当業者であれば、異なるメモリアーキテクチャを利用するいくつかの実施形態を認識するであろう。例えば、デバイス６００は、メモリ６３０に含まれるモジュールをインプリメントするプロセッサ命令の記憶のために、ＲＯＭまたはスタティックＲＡＭメモリを利用する設計を有し得る。代替的に、プロセッサ命令は、デバイス６００に一体化された、または外部デバイスポートを介して接続されたディスク記憶デバイスから、システム起動時に読み込まれ得る。プロセッサ命令は、次いで、プロセッサによる実行を容易にするために、ＲＡＭにロードされ得る。例えば、ワーキングメモリ６０５は、プロセッサ６２０による実行の前に命令がワーキングメモリ６０５にロードされる、ＲＡＭメモリであり得る。
【００６８】
[0076]  いくつかの実施形態において、図５に表されたディスプレイ５０１は、図６のブロック図に表されたデバイス６００のディスプレイ６２５であり得る。例えば、図５および図６を参照すると、デバイス６００のイメージセンサ６１５は、方向５０５の視野内のアイテムの画像を感知し得る。イメージセンサ６１５は、次いで、リンクされたプロセッサ６２０に、この感知されたデータを送信し得る。画像データは、次いで、ワーキングメモリ６０５、記憶モジュール６１０、電子ディスプレイ６２５、またはメモリ６３０の様々なコンポーネントに通信され得る。いくつかの実施形態において、方向５０５の視野内のアイテムは、関心オブジェクト検出モジュール６４０および／またはＰＩＰ表示モジュール６９５を使用して第１のＰＩＰ５０６内での可能な表示のために分析および／または選択され得る。関心オブジェクト検出モジュール６４０は、この次に主要ビデオ５０３において第１のオブジェクト５１６を表示し得るプロセッサ６２０に、第１の見られているオブジェクト５０４に関連するデータを通信し得る。第１のオブジェクト５１６は、例えば、タッチスクリーン入力モジュール６５５によって、ディスプレイ５０１上で選択され得る。デバイス６００のユーザは、第１のオブジェクト５１６に対応するディスプレイ５０１のエリアに触れ得る。タッチスクリーン入力モジュール６５５は、次いで、この入力を得て、さらなる処理のためにプロセッサ６２０にそれを通信し得る。第１のＰＩＰ５０６は、ＰＩＰ表示モジュール６９５またはウィンドウ表示モジュール６７０を使用して移動またはリサイズされ得る。いくつかの実施形態において、第１のＰＩＰ５０６内の第１のオブジェクト５１０を追跡することは、設定管理モジュール６６０によって指示され、イメージセンサ制御モジュール６３５または関心オブジェクト検出モジュール６４０によって遂行され得る。
【００６９】
[0077]  第１のＰＩＰ５０６内の第１のオブジェクト５１０を呼び出す図６のモジュールを用いて遂行され得る機能のうちの任意のものは、また、第２のＰＩＰ５０８内の第２の表示されるオブジェクト５１４に対して遂行され得る。さらに、図５に示される様々な機能に対して遂行される図６のモジュール内の命令の様々なセットは、様々なモジュールによって遂行され、１つの能力のための１つのモジュールのみに限定される必要はない。例えば、関心オブジェクト検出モジュール６４０が第１のオブジェクト５１０を検出するために使用され得る一方で、別のモジュール、例えば、ウィンドウ表示モジュール６７０が、代わりにまたは加えて、この機能性を提供し得ることが理解される。したがって、図５の機能に適用される図６の様々なモジュールおよびコンポーネントを記載した機能性が、上述の機能を遂行することが可能な唯一のモジュールまたはコンポーネントではなく、開示されたインプリメンテーションがどのようにインプリメントされ得るかの例として単に挙げられていることが理解される。
【００７０】
[0078]  図７を参照すると、ディスプレイ上の２つのＰＩＰを表示および記録するためのプロセスまたは方法７００の１つの実施形態を図示するフローチャートが示されており、ここで、第１のＰＩＰは、それが表示している追跡されているオブジェクトを妨害している場合に自動的に移動し得る。プロセス７００は、ステップ７０５で始まり得、ここにおいて、ビデオはデバイスのスクリーンまたはディスプレイ上に表示される。このビデオは、記憶されたものまたは現在記録しているものであり、すなわち、テープに記録されたものか、またはライブ（live）であり得る。さらに、表示されるライブビデオは、ビデオを表示している同じデバイスからのものであり得るか、または異なるデバイスからのものであり得る。同様に、表示されるテープ記録のビデオまたは記録されたビデオは、ビデオを表示している同じデバイスによってキャプチャおよび／または記録されたものであり得るか、または異なるデバイスによってキャプチャおよび／または記録されたものであり得る。ステップ７０５において表示されるビデオは、移動しているかまたは静止していることもある、１つまたはいくつかの関心オブジェクトを備え得る。
【００７１】
[0079]  プロセス７００は、次いで、ステップ７１０に移動し、ここにおいて、ビデオ内の第１のオブジェクトの選択が受信される。いくつかの実施形態において、第１のオブジェクトの選択は、第１のオブジェクトがディスプレイ上に現在配置されているスクリーンまたはディスプレイにユーザが触れることによって受信され得る。いくつかの実施形態において、第１のオブジェクトの選択は、また、第１のオブジェクトを特定する情報を受信することによって受信され得る。例えば、第１のオブジェクトの記述は、デバイスに記憶され得る。いくつかの実施形態において、第１のオブジェクトを選択することは、第１のオブジェクトを含む関心領域（ＲＯＩ）を作り出すことを含む。例えば、領域内のオブジェクトが選択されたことを指示するディスプレイ上の可視のボックスが、第１のオブジェクトの周りに形成され得る。いくつかの実施形態において、この領域は可視ではない。
【００７２】
[0080]  プロセス７００は、次いで、ステップ７１５に移動し、ここにおいて、第１のオブジェクトが検出および追跡される。いくつかの実施形態において、第１のオブジェクトは、前のステップ８１４において選択されたオブジェクトとして検出される。例えば、選択されたオブジェクトは、次いで検出され、その後に追跡され得る。いくつかの実施形態において、第１のオブジェクトを特定する情報が受信され得、第１のオブジェクトがディスプレイ上にあるとき、それは第１のオブジェクトとして検出および特定され得る。いくつかの実施形態において、第１のオブジェクトの選択は自動である。例えば、第１のオブジェクトのアイデンティティが記憶され、ディスプレイ上のオブジェクトを突き合わせ（match）、その後自動的に選択され得る。第１のオブジェクトは、また、その後ディスプレイを離れ、ディスプレイに戻ったときに再度検出および追跡され得る。
【００７３】
[0081]  プロセス７００は、次いで、ステップ７２０に移動し、ここにおいて、第１のオブジェクトが、ディスプレイ上の第１のＰＩＰに表示される。いくつかの実施形態において、第１のＰＩＰは、ディスプレイの小さい部分をカバーし、その内側に第１のオブジェクトを表示する。第１のＰＩＰは、また、ディスプレイのより大きい部分をカバーし得る。いくつかの実施形態において、第１のオブジェクトは、それが移動すると追跡され、それが依然としてディスプレイ上にある間は第１のＰＩＰに継続的に表示される。第１のＰＩＰは、角を含むディスプレイの任意のロケーションに、またはディスプレイのふちに沿って、位置し得る。
【００７４】
[0082]  プロセス７００は、次に、判定ステップ７２５に移動し、ここにおいて、ディスプレイ上の第１のＰＩＰのロケーションが第１のオブジェクトのロケーションまたはディスプレイ上の他の指示されたロケーションを妨害するかどうかが決定される。いくつかの実施形態において、第１のオブジェクトへの指定された近接内に第１のＰＩＰがあるとき、ディスプレイ上の第１のＰＩＰのロケーションが、ディスプレイ上の第１のオブジェクトのロケーションを妨害する。妨害は、したがって、第１のＰＩＰが、ディスプレイ上の、第１のオブジェクトのビューまたはその一部分をおおうときに生じ得る。妨害は、また、第１のＰＩＰが、ディスプレイ上の、第１のオブジェクトのビューまたはその一部分をおおっていないときに生じ得る。いくつかの実施形態において、第１のオブジェクトの境界が、第１のＰＩＰの境界に触れるときに、第１のＰＩＰは第１のオブジェクトを妨害する。いくつかの実施形態において、第１のオブジェクトの境界が、第１のＰＩＰの境界のある特定の距離内にあるときに、第１のＰＩＰは第１のオブジェクトを妨害する。例えば、第１のオブジェクトの境界が、ディスプレイ上で見られる第１のＰＩＰの境界の半インチ内にあるときに、第１のＰＩＰは第１のオブジェクトを妨害し得る。いくつかの実施形態において、ＲＯＩの境界が、第１のＰＩＰの境界に触れるときに、第１のＰＩＰは第１のオブジェクトを妨害する。第１のＰＩＰが第１のオブジェクトを妨害するのに第１のオブジェクトまたはＲＯＩが第１のＰＩＰにどのくらい接近していなければならないかを決定するために、他の多くの構成がインプリメントされ得る。さらに、第１のオブジェクトへの妨害の説明が、第１のＰＩＰが避け得るディスプレイ上の他の任意の指示されたオブジェクトあるいはロケーションへの妨害に同様に適用することが理解される。
【００７５】
[0083]  第１のＰＩＰが第１のオブジェクトを妨害することが判定ステップ７２５において決定された場合、プロセス７００は、第１のＰＩＰがディスプレイ上で移動される、またはそうでなければディスプレイ上で変えられるステップ７３０に移動する。いくつかの実施形態において、第１のＰＩＰは、ディスプレイ上の異なるロケーションに移動または再配置される。いくつかの実施形態において、この移動は、第１のＰＩＰが、ディスプレイのユーザまたは視聴者からのいずれの入力も用いずに移動することになるように自動である。いくつかの実施形態において、第１のＰＩＰが移動するディスプレイ上の１つまたは複数のロケーションが繰り返され得る。例えば、第１のＰＩＰは、それが第１のオブジェクトを妨害するときに、同じ第２のロケーションに必ず移動し得る。第１のＰＩＰは、次いで、それがこの第２のロケーションで第１のオブジェクトを妨害する場合に、その元のロケーションに移動して戻り得る。
【００７６】
[0084]  いくつかの実施形態において、第１のＰＩＰが移動するディスプレイ上の１つまたは複数のロケーションはランダムである。例えば、第１のＰＩＰは、その元のロケーションからランダムな第２のロケーションに移動し得る。第１のＰＩＰは、次いで、ランダムな第３のロケーションに移動する、等をし得、そのロケーションは元のロケーションと同じであることもないこともある。
【００７７】
[0085]  いくつかの実施形態において、第１のＰＩＰが移動するディスプレイ上の１つまたは複数のロケーションが制御され得る。例えば、第１のＰＩＰは、ディスプレイ上の他のオブジェクトを妨害していない第２のロケーションに、その元のロケーションから移動し得る。いくつかの実施形態において、第１のＰＩＰは、第１のＰＩＰが、第１のオブジェクト、第２のオブジェクト、第２のＰＩＰ、および／または第１のＰＩＰが避け得るディスプレイの他の任意の指示されたロケーションを妨害しないであろうロケーションに移動し得る。いくつかの実施形態において、第２のオブジェクトもまたディスプレイ上に示される場合、さらにまた、第１のＰＩＰが第１のオブジェクトおよび／または第２のオブジェクトを妨害する場合に、第１のＰＩＰは、第１のＰＩＰが第１のオブジェクト、第２のＰＩＰ、第２のオブジェクト、または他の任意の指示されたロケーションを妨害しないであろうロケーションに移動し得る。第１のＰＩＰを移動させる他の多くの構成は、本明細書に明示的に記述されていないが、当業者の範囲内であり、したがって、本開示の範囲内である。
【００７８】
[0086]  ステップ７３０のいくつかの実施形態において、第１のＰＩＰは、その外観を変え得る。これは、例えば、第１のオブジェクトが第１のＰＩＰとオーバーラップする場合にディスプレイ上の第１のオブジェクトを見ることを容易にするためのものであり得る。いくつかの実施形態において、第１のＰＩＰは、妨害があるときに消えて、次いで再び現れ得る。いくつかの実施形態において、第１のＰＩＰは透明になり得る。例えば、第１のＰＩＰ１１８は、５０パーセント透明になり得る。さらに、第１のＰＩＰを再配置すること、および／またはその外観を変える組み合わせがインプリメントされ得る。さらに、図１および図２に関して上述された妨害および／または移動に関連する機能または能力の任意のものが、方法７００においてインプリメントされ得る。
【００７９】
[0087]  ステップ７３０の後に、方法７００は、それが第１のＰＩＰ内に第１のオブジェクトを表示するステップ７２０に移動する。いくつかの実施形態において、第１のオブジェクトは、ステップ７３０において移動した第１のＰＩＰに表示され、その外観は、したがって、ステップ７２０において継続される。他の実施形態において、第１のオブジェクトは、第１のＰＩＰがステップ７３０において移動されるまたは変えられる間に消え、次いで、ＰＩＰがステップ７２０において、移動されるまたは変えられるのが止まったら再び現れる。さらに、ステップ７２０は、上述した方法のいずれかで進み得る。
【００８０】
[0088]  判定ステップ７２５において、ディスプレイ上の第１のＰＩＰのロケーションが、ディスプレイ上の第１のオブジェクトのロケーションを妨害しないことが決定された場合、プロセスはステップ７３５に移動する。ステップ７３５において、第２のオブジェクトは、ディスプレイ上の第２のＰＩＰに表示される。いくつかの実施形態において、第２のＰＩＰは、ディスプレイの小さい部分をカバーし、その内側に第２のオブジェクトを表示する。第２のＰＩＰは、また、ディスプレイのより大きい部分をカバーし得る。第２のＰＩＰは、角を含むディスプレイの任意のロケーションに、またはディスプレイのふちに沿って位置し得る。いくつかの実施形態において、第２のＰＩＰは、それが第１のオブジェクト、第１のＰＩＰ、第２のオブジェクト、および／またはディスプレイの他の任意の指示された１つまたは複数のロケーションを妨害しないように配置される。いくつかの実施形態において、第２のオブジェクトは、それが移動すると追跡され、それが依然としてディスプレイ上にある間は第２のＰＩＰに継続的に表示される。いくつかの実施形態において、第２のオブジェクトは、ディスプレイの主要ビデオ内にもある。いくつかの実施形態において、第２のオブジェクトは、主要ビデオからのものではなく、別のビデオソースからのものである。例えば、第２のオブジェクトは、ディスプレイデバイスの別の視野からのもの、または、異なるスマートフォンのような、全く別のディスプレイデバイスからのものであり得る。
【００８１】
[0089]  プロセス７００は、次いで、ステップ７４０に移動し、ディスプレイ上に示されたビデオ、第１のＰＩＰ、および第２のＰＩＰを記録し得る。いくつかの実施形態において、ビデオは、第１および第２のＰＩＰが位置するディスプレイ上の主要ビデオである。いくつかの実施形態において、ビデオ、第１のＰＩＰ、および第２のＰＩＰは、同じディスプレイ内にすべて記録される。例えば、記録は、主要ビデオにわたって位置した２つのＰＩＰを有する主要ビデオであり得る。いくつかの実施形態において、ビデオ、第１のＰＩＰ、および第２のＰＩＰはすべて、異なるディスプレイ、またはそうでなければ異なるファイルに記録される。例えば、主要ビデオは、１つのディスプレイまたはファイルに記録され、第１のＰＩＰは別のディスプレイまたはファイルに記録され、第２のＰＩＰはさらに別のものに記録され得る。
【００８２】
[0090]  図８は、ディスプレイ上の４つのＰＩＰを表示および記録するための方法あるいはプロセス８００の１つの実施形態を図示するフローチャートであり、ここで、各ＰＩＰは、オブジェクトを追跡し、それがディスプレイ上の別の指定されたオブジェクトまたは指定されたロケーションを妨害している場合に自動的に移動する。プロセス８００は、図７に示されているプロセス７００のブロック７０５、７２０、７２５、および７３０に類似したステップを組み込む。例えば、プロセス８００のステップ８０５、８１０、８１５、および８２０は、プロセス７００の上述したステップにそれぞれ類似している。したがって、図７に関する上記のある特定のステップの説明が、図８の同様のステップに適用することが理解される。
【００８３】
[0091]  プロセス８００は、ステップ８０５で始まり、ここにおいて、デバイスのスクリーンまたはディスプレイ上にビデオが表示される。ステップ８０５において表示されるビデオは、移動しているかまたは静止していることもある、１つまたはいくつかの関心オブジェクトを備え得る。このステップ８０５は、さらに、ビデオ内の第１のオブジェクトの選択を受信すること、第１のオブジェクトを検出すること、および／または第１のオブジェクト８０５を追跡すること、および／または第１のオブジェクトを検出および追跡することを含み得る。プロセス８００は、次いで、第１のオブジェクトが、ディスプレイ上の第１のＰＩＰに表示されるステップ８１０に移動する。８００次に、ステップ８１５において、ディスプレイ上の第１のＰＩＰのロケーションが、ディスプレイ上の第１のオブジェクトのロケーションを妨害するかどうかが決定される。第１のＰＩＰが第１のオブジェクトを妨害することが判定ステップ８１５において決定される場合、プロセス８００は、第１のＰＩＰがディスプレイ上で移動される、またはそうでなければ変えられるステップ８２０に移動する。ステップ８２０の後に、方法８００は、上述した方法で進み得るステップ８１０に移動する。
【００８４】
[0092]  判定ステップ８１５において、ディスプレイ上の第１のＰＩＰロケーションが、第１のオブジェクトのディスプレイ上のロケーションと、それが避けるべき他の任意の特定されたオブジェクトとを妨害しないことが決定された場合、プロセスはステップ８２５に移動する。ステップ８２５において、第２のオブジェクトは、ディスプレイ上の第２のＰＩＰに表示される。プロセス８００は、次いで、ステップ８１０、８１５、および８２０における第１のＰＩＰに関して上述されたように、この第２のＰＩＰ、第３のＰＩＰ、および第４のＰＩＰのために同様の方法で進み得る。プロセスは、次いで、判定ステップ８２０に到達し、ここにおいて、第４のＰＩＰが第４のオブジェクトのロケーションを妨害するかどうかが決定される。この判定ステップ８２０は、第４のＰＩＰが、それが妨害するべきではないディスプレイ上の他の任意のＰＩＰまたは他の任意のオブジェクトあるいはロケーションを妨害するかどうかを決定することを含む。
【００８５】
[0093]  判定ステップ８６０において、第４のＰＩＰが上述のオブジェクトあるいはロケーションの任意のものを妨害しないことが決定された場合、プロセス８００は、主要ビデオ、第１のＰＩＰ、第２のＰＩＰ、第３のＰＩＰ、および第４のＰＩＰが記録されるステップ８７０に移動する。いくつかの実施形態において、ビデオは、第１および第２のＰＩＰが位置するディスプレイ上の主要ビデオである。いくつかの実施形態において、ビデオ、第１のＰＩＰ、第２のＰＩＰ、第３のＰＩＰ、および第４のＰＩＰは、同じディスプレイ内にすべて記録される。例えば、記録は、主要ビデオにわたって位置する４つのＰＩＰを有する主要ビデオであり得る。いくつかの実施形態において、ビデオ、第１のＰＩＰ、第２のＰＩＰ、第３のＰＩＰ、および第４のＰＩＰはすべて、異なるディスプレイ、またはそうでなければ異なるファイルに記録される。例えば、主要ビデオは、１つのディスプレイあるいはファイルに記録され、第１のＰＩＰは第１のディスプレイあるいはファイルに記録され、第２のＰＩＰは第２のディスプレイあるいはファイルに記録される、等であり得る。
【００８６】
[0094]  いくつかの実施形態において、プロセス８００の複数部分が行われる。例えば、プロセス８００は、２つまたは３つのＰＩＰのみを用いて行われ得る。いくつかの実施形態において、プロセス８００は、異なる順序で行われる。例えば、第１のＰＩＰが第１に配置され得、第３のＰＩＰが第２に配置され得る。これらのようなプロセス８００に対する他の変形物が、本開示の範囲内にある。
【００８７】
[0095]  当業者はさらに、本明細書に開示されたインプリメンテーションと関連して説明された様々な例示的な論理ブロック、モジュール、回路、およびプロセスステップが、電子ハードウェア、コンピュータソフトウェア、またはその両方としてインプリメントされ得ることを理解するであろう。ハードウェアおよびソフトウェアのこの互換性を明確に例示するために、様々な例示的なコンポーネント、ブロック、モジュール、回路、およびステップが、それらの機能性の点から概して上述されている。このような機能性が、ハードウェアとしてインプリメントされるか、ソフトウェアとしてインプリメントされるかは、特定のアプリケーションおよびシステム全体に課せられる設計制約に依存する。当業者は、特定のアプリケーションごとに、説明された機能性を多様な方法でインプリメントすることができるが、このようなインプリメンテーションの判断は本発明の範囲からの逸脱の引き起こすものとして解釈されるべきではない。当業者は、一部分または一部が、全体よりも少ないもの、またはそれに等しいものを備え得ることを認識するであろう。例えば、ディスプレイまたは画素の集合の一部分は、そのディスプレイまたはそれら画素の下位集合を指し得る。
【００８８】
[0096]  本明細書に開示されたインプリメンテーションと関連して説明された様々な例示的な論理ブロック、モジュール、および回路は、さらに、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理、ディスクリートハードウェアコンポーネント、あるいは、本明細書に説明された機能を行うように設計されたこれらの任意の組み合わせを用いてインプリメントまたは行われ得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、このプロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであり得る。プロセッサは、また、例えば、ＤＳＰとマクロプロセッサの組み合わせといった、コンピューティングデバイスの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに連結した１つまたは複数のマイクロプロセッサ、または他の任意のそのような構成としてインプリメントされ得る。
【００８９】
[0097]  本明細書に開示されたインプリメンテーションに関連して説明された方法またはプロセスのステップは、直接ハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、またはこれら２つの組み合わせにおいて、具現化され得る。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタ、ハードディスク、リムーバルディスク、ＣＤ−ＲＯＭ、または当該技術分野において既知の他の任意の形態の非一時的な記憶媒体内に存在し得る。実例的なコンピュータ可読記憶媒体は、プロセッサがコンピュータ可読記憶媒体から情報を読み取り、コンピュータ可読記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替的に、記憶媒体は、プロセッサに一体化され得る。プロセッサおよび記憶媒体は、ＡＳＩＣ内に存在し得る。ＡＳＩＣは、ユーザ端末、カメラ、または他のデバイス内に存在し得る。代替的に、プロセッサおよび記憶媒体は、ユーザ端末、カメラ、または他のデバイス内のディスクリートコンポーネントとして存在し得る。
【００９０】
[0098]  開示されたインプリメンテーションの先の説明は、当業者が本発明を製造または使用することを可能にするために提供される。これらのインプリメンテーションに対する様々な修正は、当業者にとって容易に明らかになり、本明細書に定義された包括的な原理は、本発明の精神または範囲から逸脱することなく、他のインプリメンテーションに適用され得る。したがって、本発明は、本明細書に示されたインプリメンテーションに限定されるように意図されておらず、本明細書に開示された原理および新規な機能と一致する最も広い範囲を与えられるべきである。
【図１】
2016538601.tif 000003
【図２】
2016538601.tif 000004
【図３】
2016538601.tif 000005
【図４】
2016538601.tif 000006
【図５】
2016538601.tif 000007
【図６】
2016538601.tif 000008
【図７】
2016538601.tif 000009
【図８】
2016538601.tif 000010
【手続補正書】
【提出日】平成28年4月26日(2016.4.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
電子デバイス上に複数のピクチャインピクチャ（ＰＩＰ）を表示するための方法であって、
前記デバイスのスクリーン上にビデオを表示することと、
前記ビデオ内の第１のオブジェクトを選択することと、
前記スクリーン上に第１のＰＩＰを表示すること、ここにおいて、前記第１のＰＩＰは、前記第１のオブジェクトを含む前記ビデオの一部分を表示する、と、
前記スクリーン上に第２のＰＩＰを表示すること、ここにおいて、前記第２のＰＩＰは、第２のオブジェクトの画像を表示する、と、
を備え、
前記ビデオ、前記第１のＰＩＰ、および前記第２のＰＩＰは、前記スクリーン上に同時に表示される、方法。
【請求項２】
前記第１のオブジェクトが前記スクリーン上に表示されるときに、前記第１のオブジェクトを検出することをさらに備える、請求項１に記載の方法。
【請求項３】
前記第１のオブジェクトを追跡することと、前記第１のオブジェクトが追跡されているときに前記第１のＰＩＰに前記第１のオブジェクトを表示することと、をさらに備える、請求項２に記載の方法。
【請求項４】
第１のロケーションが、前記デバイスの前記スクリーン上に表示されている前記第１のオブジェクトの画像を妨害しないように、前記スクリーン上の前記第１のロケーションを有する位置に前記第１のＰＩＰを最初に表示することをさらに備える、請求項３に記載の方法。
【請求項５】
前記第１のロケーションが前記第１のオブジェクトの前記画像を妨害するときに、前記第１のＰＩＰの前記位置を前記スクリーン上の第２のロケーションに移動させることをさらに備える、請求項３に記載の方法。
【請求項６】
前記ビデオ、前記第１のＰＩＰに表示される画像、および前記第２のＰＩＰに表示される画像を記録することをさらに備える、請求項３に記載の方法。
【請求項７】
前記第２のオブジェクトは、第２のビデオからのものである、請求項３に記載の方法。
【請求項８】
前記スクリーン上に第３のＰＩＰおよび第４のＰＩＰを表示すること、ここにおいて、前記第３のＰＩＰは第３のオブジェクトを表示し、前記第４のＰＩＰは第４のオブジェクトを表示する、と、
前記第１、第２、第３、および第４のオブジェクトを、それらが表示されているときに追跡することと、
をさらに備える、請求項３に記載の方法。
【請求項９】
前記ビデオは、前記電子デバイスのイメージセンサからキャプチャされる、請求項１に記載の方法。
【請求項１０】
電子デバイス上に複数のピクチャインピクチャ（ＰＩＰ）を表示するためのシステムであって、
第１のビデオ内で追跡する第１のオブジェクトの選択を認識するように構成された選択モジュールと、
前記第１のビデオ、前記第１のオブジェクトが追跡されているときに前記第１のオブジェクトを含む前記ビデオの一部分を備えた第１のＰＩＰ、および第２のオブジェクトを備えた第２のＰＩＰを表示するように構成されたスクリーンと、
を備え、
前記第１のビデオ、前記第１のＰＩＰ、および前記第２のＰＩＰは、前記スクリーン上に同時に表示される、システム。
【請求項１１】
前記ビデオ内の前記第１のオブジェクトを検出および追跡し、前記第１のオブジェクトが追跡されているときに前記第１のＰＩＰに前記第１のオブジェクトを表示するように構成された検出モジュールをさらに備える、請求項１０に記載のシステム。
【請求項１２】
第１のロケーションが、前記スクリーン上に表示されている前記第１のオブジェクトの画像を妨害しないように、前記スクリーン上の前記第１のロケーションに前記第１のＰＩＰを表示するように構成されたＰＩＰ表示モジュールをさらに備える、請求項１０に記載のシステム。
【請求項１３】
前記ＰＩＰ表示モジュールは、前記第１のロケーションが、前記第１のオブジェクトの画像を妨害するときに、前記スクリーン上の第２のロケーションに前記第１のＰＩＰを移動させるように構成され、ここにおいて、前記第２のロケーションは、前記第１のオブジェクトの前記画像を妨害しない、請求項１０に記載のシステム。
【請求項１４】
前記ビデオ、前記第１のＰＩＰ、および前記第２のＰＩＰを記録するように構成される記録モジュールをさらに備える、請求項１０に記載のシステム。
【請求項１５】
前記記録モジュールは、前記ビデオ、前記第１のＰＩＰ、および前記第２のＰＩＰを別個のビデオとして各々記録するようにさらに構成される、請求項１４に記載のシステム。
【請求項１６】
前記ビデオをキャプチャするように構成されたイメージセンサをさらに備える、請求項１０に記載のシステム。
【請求項１７】
前記検出モジュールは、前記第２のオブジェクトを追跡し、前記第２のＰＩＰに前記第２のオブジェクトを表示するようにさらに構成される、請求項１１に記載のシステム。
【請求項１８】
前記第２のオブジェクトは、前記電子デバイスの第２のイメージセンサからのものである、請求項１０に記載のシステム。
【請求項１９】
前記第１のＰＩＰは、リサイズ可能である、請求項１０に記載のシステム。
【請求項２０】
前記ビデオは、ライブビデオである、請求項１０に記載のシステム。
【請求項２１】
前記ビデオは、記録されたビデオである、請求項１０に記載のシステム。
【請求項２２】
前記記録モジュールは、前記スクリーン上に、第３のＰＩＰおよび第４のＰＩＰを表示するようにさらに構成される、請求項１４に記載のシステム。
【請求項２３】
電子デバイス上に複数のピクチャインピクチャ（ＰＩＰ）を表示するためのシステムであって、
前記デバイスのスクリーン上にビデオを表示するための手段と、
前記ビデオ内の第１のオブジェクトを選択するための手段と、
前記スクリーン上に第１のＰＩＰを表示するための手段、ここにおいて、前記第１のＰＩＰは、前記第１のオブジェクトを含む前記ビデオの一部分を表示する、と、
前記スクリーン上に第２のＰＩＰを表示するための手段、ここにおいて、前記第２のＰＩＰは、第２のオブジェクトの画像を表示する、と、
を備え、
前記ビデオ、前記第１のＰＩＰ、および前記第２のＰＩＰは、前記スクリーン上に同時に表示される、システム。
【請求項２４】
第１のロケーションが、前記第１のオブジェクトの画像を妨害しないように、前記スクリーン上の前記第１のロケーションに前記第１のＰＩＰを表示するための手段をさらに備える、請求項２３に記載のシステム。
【請求項２５】
前記スクリーン上に表示されるときに前記第１のオブジェクトを追跡するための手段をさらに備える、請求項２３に記載のシステム。
【請求項２６】
前記ビデオ、前記第１のＰＩＰ、および前記第２のＰＩＰを記録するための手段をさらに備える、請求項２３に記載のシステム。
【請求項２７】
プロセッサによって実行されると、電子デバイス上に複数のピクチャインピクチャ（ＰＩＰ）オリエンテーションを表示するための方法を行う命令を記憶するように構成された非一時的なコンピュータ可読媒体であって、前記方法は、
前記デバイスのスクリーン上にビデオを表示することと、
前記ビデオ内の第１のオブジェクトを選択することと、
前記スクリーン上に第１のＰＩＰを表示すること、ここにおいて、前記第１のＰＩＰは、前記第１のオブジェクトを含む前記ビデオの一部分を表示する、と、
前記スクリーン上に第２のＰＩＰを表示すること、ここにおいて、前記第２のＰＩＰは、第２のオブジェクトの画像を表示する、と、
を備え、
前記ビデオ、前記第１のＰＩＰ、および前記第２のＰＩＰは、前記スクリーン上に同時に表示される、非一時的なコンピュータ可読媒体。
【請求項２８】
前記方法は、第１のロケーションが、前記スクリーン上に表示されている前記第１のオブジェクトの画像を妨害しないように、前記スクリーン上の前記第１のロケーションに前記第１のＰＩＰを表示することをさらに備える、請求項２７に記載のコンピュータ可読媒体。
【請求項２９】
前記方法は、前記スクリーン上の前記第１のＰＩＰに表示されているときに前記第１のオブジェクトを追跡することをさらに備える、請求項２７に記載のコンピュータ可読媒体。
【請求項３０】
前記方法は、前記ビデオ、前記第１のＰＩＰ、および前記第２のＰＩＰを記録することをさらに備える、請求項２７に記載のコンピュータ可読媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
[0098]  開示されたインプリメンテーションの先の説明は、当業者が本発明を製造または使用することを可能にするために提供される。これらのインプリメンテーションに対する様々な修正は、当業者にとって容易に明らかになり、本明細書に定義された包括的な原理は、本発明の精神または範囲から逸脱することなく、他のインプリメンテーションに適用され得る。したがって、本発明は、本明細書に示されたインプリメンテーションに限定されるように意図されておらず、本明細書に開示された原理および新規な機能と一致する最も広い範囲を与えられるべきである。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
電子デバイス上に複数のピクチャインピクチャ（ＰＩＰ）を表示するための方法であって、
前記デバイスのスクリーン上にビデオを表示することと、
前記ビデオ内の第１のオブジェクトを選択することと、
前記スクリーン上に第１のＰＩＰを表示すること、ここにおいて、前記第１のＰＩＰは、前記第１のオブジェクトの画像を表示する、と、
前記スクリーン上に第２のＰＩＰを表示すること、ここにおいて、前記第２のＰＩＰは、第２のオブジェクトの画像を表示する、と、
を備える、方法。
［Ｃ２］
前記第１のオブジェクトが前記スクリーン上に表示されるときに、前記第１のオブジェクトを検出することをさらに備える、Ｃ１に記載の方法。
［Ｃ３］
前記第１のオブジェクトを追跡することと、前記第１のオブジェクトが追跡されているときに前記第１のＰＩＰに前記第１のオブジェクトを表示することと、をさらに備える、Ｃ２に記載の方法。
［Ｃ４］
第１のロケーションが、前記デバイスの前記スクリーン上に表示されている前記第１のオブジェクトの画像を妨害しないように、前記スクリーン上の前記第１のロケーションを有する位置に前記第１のＰＩＰを最初に表示することをさらに備える、Ｃ３に記載の方法。
［Ｃ５］
前記第１のロケーションが前記第１のオブジェクトの前記画像を妨害するときに、前記第１のＰＩＰの前記位置を前記スクリーン上の第２のロケーションに移動させることをさらに備える、Ｃ３に記載の方法。
［Ｃ６］
前記ビデオ、前記第１のＰＩＰに表示される画像、および前記第２のＰＩＰに表示される画像を記録することをさらに備える、Ｃ３に記載の方法。
［Ｃ７］
前記第２のオブジェクトは、第２のビデオからのものである、Ｃ３に記載の方法。
［Ｃ８］
前記スクリーン上に第３のＰＩＰおよび第４のＰＩＰを表示すること、ここにおいて、前記第３のＰＩＰは第３のオブジェクトを表示し、前記第４のＰＩＰは第４のオブジェクトを表示する、と、
前記第１、第２、第３、および第４のオブジェクトを、それらが表示されているときに追跡することと、
をさらに備える、Ｃ３に記載の方法。
［Ｃ９］
前記ビデオは、前記電子デバイスのイメージセンサからキャプチャされる、Ｃ１に記載の方法。
［Ｃ１０］
電子デバイス上に複数のピクチャインピクチャ（ＰＩＰ）を表示するためのシステムであって、
第１のビデオ内で追跡する第１のオブジェクトの選択を認識するように構成された選択モジュールと、
前記第１のビデオ、追跡されている前記第１のオブジェクトを備えた第１のＰＩＰ、および第２のオブジェクトを備えた第２のＰＩＰを表示するように構成されたスクリーンと、
を備える、システム。
［Ｃ１１］
前記ビデオ内の前記第１のオブジェクトを検出および追跡し、前記第１のオブジェクトが追跡されているときに前記第１のＰＩＰに前記第１のオブジェクトを表示するように構成された検出モジュールをさらに備える、Ｃ１０に記載のシステム。
［Ｃ１２］
第１のロケーションが、前記スクリーン上に表示されている前記第１のオブジェクトの画像を妨害しないように、前記スクリーン上の前記第１のロケーションに前記第１のＰＩＰを表示するように構成されたＰＩＰ表示モジュールをさらに備える、Ｃ１０に記載のシステム。
［Ｃ１３］
前記ＰＩＰ表示モジュールは、前記第１のロケーションが、前記第１のオブジェクトの画像を妨害するときに、前記スクリーン上の第２のロケーションに前記第１のＰＩＰを移動させるように構成され、ここにおいて、前記第２のロケーションは、前記第１のオブジェクトの前記画像を妨害しない、Ｃ１０に記載のシステム。
［Ｃ１４］
前記ビデオ、前記第１のＰＩＰ、および前記第２のＰＩＰを記録するように構成される記録モジュールをさらに備える、Ｃ１０に記載のシステム。
［Ｃ１５］
前記記録モジュールは、前記ビデオ、前記第１のＰＩＰ、および前記第２のＰＩＰを別個のビデオとして各々記録するようにさらに構成される、Ｃ１４に記載のシステム。
［Ｃ１６］
前記ビデオをキャプチャするように構成されたイメージセンサをさらに備える、Ｃ１０に記載のシステム。
［Ｃ１７］
前記検出モジュールは、前記第２のオブジェクトを追跡し、前記第２のＰＩＰに前記第２のオブジェクトを表示するようにさらに構成される、Ｃ１１に記載のシステム。
［Ｃ１８］
前記第２のオブジェクトは、前記電子デバイスの第２のイメージセンサからのものである、Ｃ１０に記載のシステム。
［Ｃ１９］
前記第１のＰＩＰは、リサイズ可能である、Ｃ１０に記載のシステム。
［Ｃ２０］
前記ビデオは、ライブビデオである、Ｃ１０に記載のシステム。
［Ｃ２１］
前記ビデオは、記録されたビデオである、Ｃ１０に記載のシステム。
［Ｃ２２］
前記記録モジュールは、前記スクリーン上に、第３のＰＩＰおよび第４のＰＩＰを表示するようにさらに構成される、Ｃ１４に記載のシステム。
［Ｃ２３］
電子デバイス上に複数のピクチャインピクチャ（ＰＩＰ）を表示するためのシステムであって、
前記デバイスのスクリーン上にビデオを表示するための手段と、
前記ビデオ内の第１のオブジェクトを選択するための手段と、
前記スクリーン上に第１のＰＩＰを表示するための手段、ここにおいて、前記第１のＰＩＰは、前記第１のオブジェクトの画像を表示する、と、
前記スクリーン上に第２のＰＩＰを表示するための手段、ここにおいて、前記第２のＰＩＰは、第２のオブジェクトの画像を表示する、と、
を備える、システム。
［Ｃ２４］
第１のロケーションが、前記第１のオブジェクトの画像を妨害しないように、前記スクリーン上の前記第１のロケーションに前記第１のＰＩＰを表示するための手段をさらに備える、Ｃ２３に記載のシステム。
［Ｃ２５］
前記スクリーン上に表示されるときに前記第１のオブジェクトを追跡するための手段をさらに備える、Ｃ２３に記載のシステム。
［Ｃ２６］
前記ビデオ、前記第１のＰＩＰ、および前記第２のＰＩＰを記録するための手段をさらに備える、Ｃ２３に記載のシステム。
［Ｃ２７］
プロセッサによって実行されると、電子デバイス上に複数のピクチャインピクチャ（ＰＩＰ）オリエンテーションを表示するための方法を行う命令を記憶するように構成された非一時的なコンピュータ可読媒体であって、前記方法は、
前記デバイスのスクリーン上にビデオを表示することと、
前記ビデオ内の第１のオブジェクトを選択することと、
前記スクリーン上に第１のＰＩＰを表示すること、ここにおいて、前記第１のＰＩＰは、前記第１のオブジェクトの画像を表示する、と、
前記スクリーン上に第２のＰＩＰを表示すること、ここにおいて、前記第２のＰＩＰは、第２のオブジェクトの画像を表示する、と、
を備える、非一時的なコンピュータ可読媒体。
［Ｃ２８］
前記方法は、第１のロケーションが、前記スクリーン上に表示されている前記第１のオブジェクトの画像を妨害しないように、前記スクリーン上の前記第１のロケーションに前記第１のＰＩＰを表示することをさらに備える、Ｃ２７に記載のコンピュータ可読媒体。
［Ｃ２９］
前記方法は、前記スクリーン上の前記第１のＰＩＰに表示されているときに前記第１のオブジェクトを追跡することをさらに備える、Ｃ２７に記載のコンピュータ可読媒体。
［Ｃ３０］
前記方法は、前記ビデオ、前記第１のＰＩＰ、および前記第２のＰＩＰを記録することをさらに備える、Ｃ２７に記載のコンピュータ可読媒体。
【手続補正書】
【提出日】平成28年4月27日(2016.4.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
電子デバイス上に複数のピクチャインピクチャ（ＰＩＰ）を表示するための方法であって、
前記デバイスのイメージセンサでシーンをキャプチャすることと、
前記デバイスのスクリーン上に前記シーンのビデオを表示することと、
前記ビデオ内の前記シーンから第１のオブジェクトを選択することと、
前記選択された第１のオブジェクトに基づいて前記スクリーン上に第１のＰＩＰを表示すること、ここにおいて、前記第１のＰＩＰは、前記第１のオブジェクトを含む前記ビデオの一部分を表示する、と、
前記スクリーン上に第２のＰＩＰを表示すること、ここにおいて、前記第２のＰＩＰは、第２のオブジェクトの画像を表示する、と、
を備え、
（ｉ）前記第１のオブジェクトを含む前記シーンの前記ビデオ、（ｉｉ）前記第１のオブジェクトの前記第１のＰＩＰ、および（ｉｉｉ）前記第２のオブジェクトの前記第２のＰＩＰは、前記スクリーン上に同時に表示される、方法。
【請求項２】
前記第１のオブジェクトが前記スクリーン上に表示されるときに、前記第１のオブジェクトを検出することをさらに備える、請求項１に記載の方法。
【請求項３】
前記第１のオブジェクトを追跡することと、前記第１のオブジェクトが追跡されているときに前記第１のＰＩＰに前記第１のオブジェクトを表示することと、をさらに備える、請求項２に記載の方法。
【請求項４】
第１のロケーションが、前記デバイスの前記スクリーン上に表示されている前記第１のオブジェクトの画像を妨害しないように、前記スクリーン上の前記第１のロケーションを有する位置に前記第１のＰＩＰを最初に表示することをさらに備える、請求項３に記載の方法。
【請求項５】
前記第１のロケーションが前記第１のオブジェクトの前記画像を妨害するときに、前記第１のＰＩＰの前記位置を前記スクリーン上の第２のロケーションに移動させることをさらに備える、請求項３に記載の方法。
【請求項６】
前記ビデオ、前記第１のＰＩＰに表示される画像、および前記第２のＰＩＰに表示される画像を記録することをさらに備える、請求項３に記載の方法。
【請求項７】
前記第２のオブジェクトは、第２のビデオからのものである、請求項３に記載の方法。
【請求項８】
前記スクリーン上に第３のＰＩＰおよび第４のＰＩＰを表示すること、ここにおいて、前記第３のＰＩＰは第３のオブジェクトを表示し、前記第４のＰＩＰは第４のオブジェクトを表示する、と、
前記第１、第２、第３、および第４のオブジェクトを、それらが表示されているときに追跡することと、
をさらに備える、請求項３に記載の方法。
【請求項９】
電子デバイス上に複数のピクチャインピクチャ（ＰＩＰ）を表示するためのシステムであって、
イメージセンサの視野内のシーンのビデオをキャプチャするように構成された前記イメージセンサと、
前記シーンの前記ビデオ内で追跡するための前記ビデオ内の前記シーンからの第１のオブジェクトの選択を認識するように構成された選択モジュールと、
前記ビデオを表示するように、前記選択された第１のオブジェクトに基づいて、ならびに前記第１のオブジェクトが追跡されているときに前記第１のオブジェクトを含む前記ビデオの一部分を備えた、第１のＰＩＰを表示するように、および第２のオブジェクトを備えた第２のＰＩＰを表示するように、構成されたスクリーンと、
を備え、
（ｉ）前記第１のオブジェクトを含む前記シーンの前記ビデオ、（ｉｉ）前記第１のオブジェクトを含む前記ビデオの一部分を備えた前記第１のＰＩＰ、および（ｉｉｉ）前記第２のオブジェクトの前記第２のＰＩＰは、前記スクリーン上に同時に表示される、システム。
【請求項１０】
前記ビデオ内の前記第１のオブジェクトを検出および追跡し、前記第１のオブジェクトが追跡されているときに前記第１のＰＩＰに前記第１のオブジェクトを表示するように構成された検出モジュールをさらに備える、請求項９に記載のシステム。
【請求項１１】
第１のロケーションが、前記スクリーン上に表示されている前記第１のオブジェクトの画像を妨害しないように、前記スクリーン上の前記第１のロケーションに前記第１のＰＩＰを表示するように構成されたＰＩＰ表示モジュールをさらに備える、請求項９に記載のシステム。
【請求項１２】
前記ＰＩＰ表示モジュールは、前記第１のロケーションが、前記第１のオブジェクトの画像を妨害するときに、前記スクリーン上の第２のロケーションに前記第１のＰＩＰを移動させるように構成され、ここにおいて、前記第２のロケーションは、前記第１のオブジェクトの前記画像を妨害しない、請求項１１に記載のシステム。
【請求項１３】
前記ビデオ、前記第１のＰＩＰ、および前記第２のＰＩＰを記録するように構成される記録モジュールをさらに備える、請求項９に記載のシステム。
【請求項１４】
前記記録モジュールは、前記ビデオ、前記第１のＰＩＰ、および前記第２のＰＩＰを別個のビデオとして各々記録するようにさらに構成される、請求項１３に記載のシステム。
【請求項１５】
前記検出モジュールは、前記第２のオブジェクトを追跡し、前記第２のＰＩＰに前記第２のオブジェクトを表示するようにさらに構成される、請求項１０に記載のシステム。
【請求項１６】
前記第２のオブジェクトは、前記電子デバイスの第２のイメージセンサからのものであり、ここにおいて、前記第２のイメージセンサは、第２の視野内の第２のシーンの第２のビデオをキャプチャするように構成される、請求項９に記載のシステム。
【請求項１７】
前記第１のＰＩＰは、リサイズ可能である、請求項９に記載のシステム。
【請求項１８】
前記ビデオは、ライブビデオである、請求項９に記載のシステム。
【請求項１９】
前記ビデオは、記録されたビデオである、請求項９に記載のシステム。
【請求項２０】
前記記録モジュールは、前記スクリーン上に、第３のＰＩＰおよび第４のＰＩＰを表示するようにさらに構成される、請求項１３に記載のシステム。
【請求項２１】
電子デバイス上に複数のピクチャインピクチャ（ＰＩＰ）を表示するためのシステムであって、
前記デバイスのイメージセンサでシーンをキャプチャするための手段と、
前記デバイスのスクリーン上に前記シーンのビデオを表示するための手段と、
前記ビデオ内の前記シーンからの第１のオブジェクトを選択するための手段と、
前記選択された第１のオブジェクトに基づいて前記スクリーン上に第１のＰＩＰを表示するための手段、ここにおいて、前記第１のＰＩＰは、前記第１のオブジェクトを含む前記ビデオの一部分を表示する、と、
前記スクリーン上に第２のＰＩＰを表示するための手段、ここにおいて、前記第２のＰＩＰは、第２のオブジェクトの画像を表示する、と、
を備え、
（ｉ）前記第１のオブジェクトを含む前記シーンの前記ビデオ、（ｉｉ）前記第１のオブジェクトの前記第１のＰＩＰ、および（ｉｉｉ）前記第２のオブジェクトの前記第２のＰＩＰは、前記スクリーン上に同時に表示される、システム。
【請求項２２】
第１のロケーションが、前記第１のオブジェクトの画像を妨害しないように、前記スクリーン上の前記第１のロケーションに前記第１のＰＩＰを表示するための手段をさらに備える、請求項２１に記載のシステム。
【請求項２３】
前記スクリーン上に表示されるときに前記第１のオブジェクトを追跡するための手段をさらに備える、請求項２１に記載のシステム。
【請求項２４】
前記ビデオ、前記第１のＰＩＰ、および前記第２のＰＩＰを記録するための手段をさらに備える、請求項２１に記載のシステム。
【請求項２５】
プロセッサによって実行されると、電子デバイス上に複数のピクチャインピクチャ（ＰＩＰ）を表示するための方法を行う命令を記憶するように構成された非一時的なコンピュータ可読媒体であって、前記方法は、
前記デバイスのイメージセンサでシーンをキャプチャすることと、
前記デバイスのスクリーン上に前記シーンのビデオを表示することと、
前記ビデオ内の前記シーンからの第１のオブジェクトを選択することと、
前記選択された前記第１のオブジェクトに基づいて前記スクリーン上に第１のＰＩＰを表示すること、ここにおいて、前記第１のＰＩＰは、前記第１のオブジェクトを含む前記ビデオの一部分を表示する、と、
前記スクリーン上に第２のＰＩＰを表示すること、ここにおいて、前記第２のＰＩＰは、第２のオブジェクトの画像を表示する、と、
を備え、
（ｉ）前記第１のオブジェクトを含む前記シーンの前記ビデオ、（ｉｉ）前記第１のオブジェクトの前記第１のＰＩＰ、および（ｉｉｉ）前記第２のオブジェクトの前記第２のＰＩＰは、前記スクリーン上に同時に表示される、非一時的なコンピュータ可読媒体。
【請求項２６】
前記方法は、第１のロケーションが、前記スクリーン上に表示されている前記第１のオブジェクトの画像を妨害しないように、前記スクリーン上の前記第１のロケーションに前記第１のＰＩＰを表示することをさらに備える、請求項２５に記載のコンピュータ可読媒体。
【請求項２７】
前記方法は、前記スクリーン上の前記第１のＰＩＰに表示されているときに前記第１のオブジェクトを追跡することをさらに備える、請求項２５に記載のコンピュータ可読媒体。
【請求項２８】
前記方法は、前記ビデオ、前記第１のＰＩＰ、および前記第２のＰＩＰを記録することをさらに備える、請求項２５に記載のコンピュータ可読媒体。
【国際調査報告】
2016538601.tif 000011
2016538601.tif 000012
2016538601.tif 000013