(57)【要約】【課題】  遅延がある環境においてカメラを遠隔制御するための方法、装置、及びシステムが提供される。 【解決手段】  ネットワークを介して遠隔地にあるカメラを制御するための制御装置が提供される。制御装置は、カメラによって提供された画像を見るためのモニタを含む。 カメラの機能、設定、又はパラメータのうちの少なくとも１つを制御するためのコマンドと共に制御信号が制御装置からカメラに送信される。カメラでコマンドを実行する前に、制御装置のモニタに表示される画像をコマンドに従って修正して表示用のエミュレート画像を提供する。【選択図】図１
2019186934.tif 000002
【特許請求の範囲】
【請求項１】
遅延がある環境でカメラを遠隔制御するための方法であって、
ネットワークを介して、遠隔地に配置されたカメラを制御するための制御装置であって、前記カメラによって提供される画像を見るためのモニタを備える制御装置を提供することと、
カメラの機能、設定、又はパラメータのうちの少なくとも１つを制御するためのコマンドと共に、前記制御装置から前記カメラに制御信号を送信することと、
カメラで前記コマンドを実行する前に、表示用のエミュレート画像を提供するために、前記コマンドに従って前記制御装置の前記モニタに表示される画像を修正することと、
を有してなる方法。
【請求項２】
前記コマンドが実行され、実際の画像が制御装置で受信されると、前記エミュレート画像が、前記カメラからの前記実際の画像でシームレスに置き換えられる、請求項１に記載の方法。
【請求項３】
前記コマンドの実行後に前記カメラから前記制御装置に提供される画像信号にインジケータを埋め込むことをさらに含み、それにより、前記モニタが前記インジケータを受信すると実際の画像に切り替わる、請求項２に記載の方法。
【請求項４】
前記制御信号内のコマンドに対するタイムコードを提供することと、
前記カメラによるコマンドの実行時に前記タイムコードを画像フレームに埋め込むことと、
前記制御装置でのタイムコードを有する画像フレームの受信時に前記エミュレート画像を実際の画像と置換することとを、
さらに含む請求項２に記載の方法。
【請求項５】
前記画像及びエミュレート画像のそれぞれが、静止画像又はビデオ画像のうちの一方を含む請求項１に記載の方法。
【請求項６】
前記カメラの機能、設定、又はパラメータのうちの少なくとも１つが、パン、チルト、ズーム、明るさ、コントラスト、及びホワイトバランスのうちの少なくとも１つを含む請求項１に記載の方法。
【請求項７】
前記カメラが、ＰＴＺカメラ、防犯カメラ、スマートフォンカメラ、又はＩＰカメラのうちの１つを含む請求項１に記載の方法。
【請求項８】
前記制御装置が、専用ハードウェア装置、コンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン及びインターネット対応装置のうちの１つ上で動作するソフトウェアアプリケーション、又はウェブブラウザ上で動作するウェブページのうちの１つを含む請求項１に記載の方法。
【請求項９】
前記エミュレート画像に基づいて、さらなる制御信号が前記制御装置から前記カメラに提供される請求項１に記載の方法。
【請求項１０】
前記カメラのセンササイズが、前記画像のビデオ解像度より高い請求項１に記載の方法。
【請求項１１】
前記コマンドが、前記カメラのカメラタイプに固有のものである請求項１に記載の方法。
【請求項１２】
前記コマンドが、前記カメラに割り当てられているエミュレーションモデルに基づいてカメラ固有のコマンドに変換される請求項１１に記載の方法。
【請求項１３】
前記カメラ固有のコマンドが、前記エミュレーションモデルに従って前記モニタで前記カメラから受信されるライブビデオ信号に適用される請求項１２に記載の方法。
【請求項１４】
前記ユーザが前記カメラの機能、設定、又はパラメータの調整を完了すると、前記カメラ固有のコマンドが前記制御装置から前記カメラに送信される請求項１２に記載の方法。
【請求項１５】
遅延がある環境においてカメラを遠隔制御するためのシステムであって、
ネットワークと、
遠隔地にあるカメラと、
前記ネットワークを介して前記遠隔地にあるカメラを制御するための制御装置であって、前記カメラによって提供された画像を見るためのモニタを備える制御装置と、
を含み、
前記制御装置は、前記カメラの機能、設定、又はパラメータのうちの少なくとも１つを制御するためのコマンドと共に前記カメラに制御信号を送信し、
前記制御装置は、前記カメラで前記コマンドを実行する前に、前記モニタに表示された画像をコマンドに従って修正して表示用のエミュレート画像を提供する、システム。
【請求項１６】
前記コマンドが実行され、実際の画像が制御装置で受信されると、エミュレート画像はカメラからの実際の画像とシームレスに置き換えられる請求項１５に記載のシステム。
【請求項１７】
前記コマンドの実行後に前記カメラから前記制御装置に提供される画像信号にインジケータが埋め込まれ、前記インジケータが受信されると前記モニタが実際の画像に切り替わる請求項１６に記載のシステム。
【請求項１８】
前記制御信号内の前記コマンドに対してタイムコードが与えられ、
前記タイムコードが、前記カメラによる前記コマンドの実行時に画像フレームに埋め込まれ、
前記エミュレート画像は、前記制御装置で前記タイムコード付きの画像フレームを受け取ると実際の画像と置き換えられる請求項１６に記載のシステム。
【請求項１９】
前記画像及びエミュレート画像のそれぞれが、静止画像又はビデオ画像のうちの一方を含む請求項１５に記載のシステム。
【請求項２０】
前記カメラの機能、設定、又はパラメータのうちの少なくとも１つが、パン、チルト、ズーム、明るさ、コントラスト、及びホワイトバランスのうちの少なくとも１つを含む請求項１５に記載のシステム。
【請求項２１】
前記カメラが、ＰＴＺカメラ、防犯カメラ、スマートフォンカメラ、又はＩＰカメラのうちの１つを含む請求項１５に記載のシステム。
【請求項２２】
前記制御装置が、専用ハードウェア装置、コンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン及びインターネット対応装置のうちの１つ上で動作するソフトウェアアプリケーション、又はウェブブラウザ上で動作するウェブページのうちの１つを含む請求項１５に記載のシステム。
【請求項２３】
前記エミュレート画像に基づいて、さらなる制御信号が前記制御装置から前記カメラに提供される請求項１５に記載のシステム。
【請求項２４】
前記カメラのセンササイズが、前記画像のビデオ解像度より高い請求項１５に記載のシステム。
【請求項２５】
前記コマンドが、前記カメラのカメラタイプに固有のものである請求項１５に記載のシステム。
【請求項２６】
前記コマンドが、前記カメラに割り当てられているエミュレーションモデルに基づいてカメラ固有のコマンドに変換される請求項２５に記載のシステム。
【請求項２７】
前記カメラ固有のコマンドが、前記エミュレーションモデルに従って、前記モニタで前記カメラから受信されたライブビデオ信号に適用される請求項２６に記載のシステム。
【請求項２８】
前記ユーザが前記カメラの機能、設定、又はパラメータの調整を完了すると、前記カメラ固有のコマンドが前記制御装置から前記カメラに送信される請求項２６に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２０１８年４月６日に出願された米国仮特許出願第６２／６５３，６１３号（これはあらゆる目的のために本明細書に援用され、参照により本明細書の一部をなす）に基づくものである。
【０００２】
本発明はデジタルビデオ記録の分野に関する。 より具体的には、本発明は、カメラと制御サイトでのモニタとの間に通信待ち時間が存在する環境におけるカメラ（又は他のビデオ記録装置）の遠隔制御に関する。
【背景技術】
【０００３】
パン、チルト、ズーム、明るさ、コントラスト、ホワイトバランス、その他の機能、設定、パラメータなど、カメラの機能、設定、又はパラメータを遠隔地やデバイスから制御する必要がある。例えば、カメラは、カメラ画像を見るためのモニタを有する（遠隔地に配置された）制御装置（例えば、ウェブブラウザ又は制御アプリケーションを実行するインターネット対応装置）から制御することができる。このような制御装置を用いると、ユーザは、カメラ画像をモニタ上で遠隔的に見て、制御装置からカメラを制御することができ、それによって、カメラによって提供される画像に対する対応する変更をモニタ上で見ることができる。カメラと制御装置との間の通信待ち時間が短い環境では、ユーザは、遠隔地にある制御サイトのモニタ上で迅速な応答（画像変更）を見ることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、遠隔地に配置された制御装置とカメラとの間の通信が遅い場合、制御装置のモニタ上に見ることができる画像上の制御信号に対する応答はもはや瞬時ではない。この待ち時間はカメラの調整を非常に困難にする。
【０００５】
カメラと制御装置との間の通信における待ち時間を考慮することは、制御装置のモニタでの制御信号に対するカメラの応答を観察する際の遅延に関連する不利益を克服又は最小にして有利なこととなる。
【０００６】
本発明の方法及び装置は、上記および他の利点を提供する。
【課題を解決するための手段】
【０００７】
本発明は、カメラと制御サイトのモニタとの間に通信待ち時間が存在する環境におけるカメラ又は他のビデオ記録装置の遠隔制御に関する。
【０００８】
遅延がある環境においてカメラを遠隔制御するための方法の一例示的実施形態では、ネットワークを介して遠隔地に配置されたカメラを制御するための制御装置が提供される。制御装置は、カメラによって提供された画像を見るためのモニタを含む。 カメラの機能、設定、又はパラメータのうちの少なくとも１つを制御するためのコマンドと共に制御信号が制御装置からカメラに送信される。カメラでコマンドを実行する前に、制御装置のモニタに表示される画像をコマンドに従って修正して表示用のエミュレート（された）画像を提供する。
【０００９】
コマンドが実行され、実際の画像が制御装置で受信されると、エミュレート（された）画像をカメラからの実際の画像とシームレスに置き換えることができる。
【００１０】
本方法は、コマンドの実行後にカメラから制御装置に提供される画像信号にインジケータを埋め込むことをさらに含み、それにより、モニタは、インジケータを受信すると実際の画像に切り替わる。
【００１１】
これに代え、制御信号中のコマンドにタイムコードを付与してもよい。タイムコードは、カメラによるコマンドの実行時に画像フレームに埋め込まれてよい。そして、制御装置でタイムコード付き画像フレームを受信すると、エミュレート画像を実際の画像と置き換えることができる。
【００１２】
画像及びエミュレート画像のそれぞれは、静止画像又はビデオ画像のうちの一方を含むことができる。
【００１３】
カメラの機能、設定、又はパラメータのうちの少なくとも１つは、パン、チルト、ズーム、明るさ、コントラスト、ホワイトバランスなどのうちの少なくとも１つを含むことができる。
【００１４】
カメラは、ＰＴＺカメラ、防犯カメラ、スマートフォンカメラ、ＩＰカメラなどのうちの１つを含むことができる。
【００１５】
制御装置は、専用ハードウェア装置、コンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン及びインターネット対応装置のうちの1つで実行されるソフトウェアアプリケーション、ウェブブラウザで実行されているウェブページの一つを含み得る。
【００１６】
エミュレート画像に基づいて、さらなる制御信号が制御装置からカメラに提供されてよい。
【００１７】
カメラのセンササイズは、画像のビデオ解像度より高くてよい。 
【００１８】
コマンドは、カメラのカメラタイプに固有のものとすることができる。 コマンドは、カメラに割り当てられたエミュレーションモデルに基づいてカメラ固有のコマンドに変換することができる。カメラ固有のコマンドは、エミュレーションモデルに従って、モニタにおいてカメラから受信されたライブビデオ信号に適用されてよい。ユーザがカメラの機能、設定、又はパラメータの調整を完了すると、カメラ固有のコマンドが制御装置からカメラに送信されてよい。
【００１９】
本発明はまた、遅延がある環境においてカメラを遠隔制御するための装置及びシステムを包含する。本発明に基づくそのようなシステムの例示的な実施形態が、ネットワーク、遠隔配置されたカメラ、及びネットワークを介して遠隔配置されたカメラを制御するための制御装置を含むことができる。制御装置は、カメラによって提供された画像を見るためのモニタを含み得る。 制御装置は、カメラの機能、設定、又はパラメータのうちの少なくとも１つを制御するためのコマンドと共にカメラに制御信号を送信するように適合される。制御装置は、カメラでコマンドを実行する前に、コマンドに従ってモニタに表示される画像を修正して表示用のエミュレート画像を提供する。
【００２０】
本発明のシステム及び装置はまた、上述した方法の実施形態の様々な特徴を含み得る。本発明は以下で、参照符号が付された添付図面を参照して説明される。
【図面の簡単な説明】
【００２１】
【図１】図１は、本発明の例示の実施形態のブロック図を示す。
【図２】図２は本発明の例示の実施形態によるモニタ上の画像操作の例を示す。
【図３】図３は本発明の例示の実施形態によるモニタ上の画像操作の例を示す。
【図４】図４は本発明の例示の実施形態によるモニタ上の画像操作の例を示す。
【発明を実施するための形態】
【００２２】
以下の詳細な説明は、例示的な実施形態のみを提供し、本発明の範囲、適用性、又は構成を限定することを意図するものではない。むしろ、以下の例示的な実施形態の詳細な説明は、本発明の実施形態を実施するための実施可能な説明を当業者に提供するものである。特許請求の範囲に記載の本発明の思想及び範囲から逸脱することなく、要素の機能及び配置に様々な変更を加えることができることを理解されたい。本発明は、カメラと制御サイトのモニタとの間に通信待ち時間が存在する環境におけるビデオ記録の遠隔制御に関するものである。本発明の例示の実施形態が図１に示されている。
【００２３】
制御装置１２から遠隔制御することができるカメラ１０が提供される。カメラ１０は、ハイエンドＰＴＺ（パン、チルト、ズーム）カメラ、低コストセキュリティカメラ、スマートフォンカメラ、ＩＰカメラ、又はＩＰカメラなどを含み得る。 
【００２４】
制御装置１２は、カメラ１０から離れていてよく、カメラの機能、設定、およびパン、チルト、ズーム、明るさ、コントラスト、ホワイトバランス及びおよび他の機能、設定及びパラメータの様々な態様を制御するように適合され得る装置である。制御装置１２は、カメラ１０を制御するためのコマンドを入力するためのユーザインターフェースを含んでよい。制御装置１２は、ハイエンド専用制御装置（すなわち、特定のカメラを遠隔制御するように設計された特定のハードウェア構成要素）、コンピュータ装置（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、または他のインターネット対応デバイス）で動作するソフトウェアアプリケーション、又はインターネット対応デバイス上のウェブブラウザを介してユーザがアクセスするウェブページを含み得る。 
【００２５】
カメラ１０（例えば、画像信号２０を介して）によって提供される画像を見るために、モニタ１４は制御装置１２上に設ける（又はそれに関連付ける、又はそれに接続する）ことができる。
【００２６】
制御装置１２は、有線又は無線ネットワーク１６を介してカメラ１０と通信するように構成されてよい。ネットワーク１６は、広域ネットワーク、ローカルエリアネットワーク、無線周波数ネットワーク、セルラーネットワーク、インターネット、ブルートゥースなどの１つ以上を含み得る。ユーザは、制御装置１２のモニタ１４でカメラ画像を見ることができる。制御装置１２は、ネットワーク１６を介して制御信号１８をカメラ１０に送信することによって、ユーザがカメラ１０を遠隔制御できるようにする。制御信号は、カメラ１０の機能、設定、又はパラメータのうちの少なくとも１つを制御するためのコマンドを含み得る。制御信号１８によってカメラ１２にもたらされた変化は、その後に、制御装置１２のモニタ１４上で観察することができる。
【００２７】
制御信号１８が送信された後にカメラ１０と制御装置１２との間の画像信号２０の通信に遅延がある状況では、ユーザは、制御信号１８を受信したあとすぐにカメラ画像への変化を見ることができない。カメラ１０及びそれによって提供される画像に対するさらなる調整は、そのような待ち時間のために困難になる。
【００２８】
このような問題を回避するために、本発明では、制御信号１８内で送信されるコマンドも制御装置１２のモニタ１４に提供される。制御装置１２は、コマンドに従ってモニタ１４に表示されている画像を修正し、カメラ１０がどのように振る舞うかをエミュレートする。具体的には、モニタ１４は、実際の制御信号１８がカメラ１０に到達し、その結果得られる画像信号２０が制御装置１２に戻る前に、制御信号１８に応答してコマンドを使用してカメラ１０によって提供される画像をエミュレートする。このようにして、ユーザはカメラ１０のすべての機能、設定、及びパラメータを遅滞なく正確に制御することができる。コマンドがカメラ１０で実行され、実際の画像信号２０が制御信号１８によって要求された実際の結果と共に到着すると、制御装置１２のモニタ１４は、エミュレート（された）画像から、カメラ１０から受信している実際の画像にシームレスに切り替わる。
【００２９】
本発明では、エミュレート画像は、制御信号に含まれるのと同じコマンドを適用することによってモニタ１４及び／又は制御装置１２によって生成され、制御信号１８よりまだ影響を受けていないカメラ１０からの現在の画像に対してコマンド効果を実行する。例えば、制御信号１８内で送信されたコマンドは、カメラ１０にその明るさ設定を増加させることを要求し得る。カメラ１０と制御装置１２との間の通信ネットワークにおける待ち時間のために、制御装置１２のモニタ１４に表示されている画像は、増加した明るさでもって直ちに表示されないであろう。しかし、同じコマンドを使用してモニタ１４に表示されている現在の画像を修正してカメラ１０で画像をエミュレートするので、ユーザは直ちに画像に対する制御信号１８の効果を見ることができ、モニタ１４に表示されるエミュレートされた画像に基づいてカメラにさらなる制御信号／コマンドを提供することによって、カメラの機能、設定、又はパラメータにさらに所望の変更を加えるように進むことができる。
【００３０】
当業者であれば、カメラ１０がモニタ１４によって表示されるべきビデオ又は静止画像のいずれかを生成することができること、さらに本明細書で使用される用語「画像」が静止画像およびビデオの両方を包含することを認識するであろう。
【００３１】
本発明は、パン及びズーム、並びに対応するエミュレート画像などの特徴を提供するために、カメラセンササイズと通常のビデオ解像度との間の差を利用する。通常、カメラセンサーのサイズは通常のビデオ解像度よりはるかに大きい。 たとえば、iPhoneのカメラセンサーは12MP（4240×2832ピクセル）で、通常のHDビデオの解像度は1920×1080ピクセルのみである。本発明では、より低い画質を送信することなく、画像の一部のみを使用する必要がある。例えば図２−４に示されているように、カメラ１０は１２ＭＰの画像１９を取り込むことができるが、画像２０の一部（1920×1080）のみがモニタ１４にストリーミングされ、表示される。例えば、右にパンするコマンドがカメラ１０に送信される場合、モニタ１４に表示される画像は、図３に示すように、最初に、前の画像が、右側の黒い画面の部分にオフセットされたエミュレート画像となる。モニタ１４は画像のこの部分に関するデータを受信していないので（図２に示すようにこれがカメラ１０で利用可能であったとしても）、エミュレート画像の右側は黒である。カメラ１０によって右へのパンコマンドが実行されると、修正された画像は次にモニタ１４にストリーミングされ、図４に示されているように、エミュレート画像と置換される（したがって、画像の右側について欠落データを提供する）。したがって、システムは、カメラ１０の全センサ範囲にわたってパン及びズームを実行することを可能にする。つまり、図２に示すように、カメラセンサーによって最初にキャプチャーされた元の（フル）画像サイズは、パンコマンドとズームコマンドの境界として使用される。
【００３２】
さらに、カメラ１０によるコマンド実行後の実際のストリーム到着を示すための２つの方法がある。第１に、信号又は他のインジケータを、コマンドの実行後にカメラ１０によって提供されるビデオストリーム２０に埋め込むことができる。インジケータ１４がモニタ１４に到達すると、システムはエミュレーションをオフにして実際の画像を表示する。第２に、ビデオのタイムコードを、カメラ１０上で実行されるコマンドと共に制御信号１８内で送ることができる。次に、カメラ１０によるコマンドの実行時にタイムコードは画像フレームに埋め込まれる。エミュレーションは、そのタイムコードを有する画像フレームがモニタ１４に到着したときにオフにすることができる。
【００３３】
コマンドは、カメラ１０のカメラタイプに固有のものとすることができる。そのような実施形態では、制御装置１２のユーザインターフェースを介してユーザによって入力されたコマンドは、カメラ１０に割り当てられたエミュレーションモデルに基づいてカメラ固有のコマンドに変換されてよい。カメラ固有のコマンドは、エミュレーションモデルに従って、モニタ１４でカメラ１０から受信したライブビデオ信号に適用することができる。カメラ固有のコマンドは、ユーザがカメラ１０の機能、設定、又はパラメータの調整を完了した後にのみ、制御装置１２からカメラ１０に送信されてもよい。これは、調整プロセスの中間ステップを実行するための制御信号を送信することを回避するために、パラメータの連続調整中に制御信号１８でコマンドを送信することを回避する（例えば、画像をズームインするとき、コマンドは、ユーザがスライド調整ツールの移動を終了したときに（中間段階ではなく）、制御信号で送信される）。 
【００３４】
本発明が、通信待ち時間を有する環境においてカメラを遠隔制御するための有利な方法及び装置を提供するものであることを理解されたい。本発明が様々な例示の実施形態に関連して説明されてきたが、特許請求の範囲に記載されている本発明の思想及び範囲から逸脱することなく、数多くの修正および適応が可能である。
【図１】
2019186934.tif 000003
【図２】
2019186934.tif 000004
【図３】
2019186934.tif 000005
【図４】
2019186934.tif 000006
【外国語明細書】
2019186934000001.pdf