(57)【要約】  複数の制御対象候補の機器から特定の制御対象機器を選択する機器選択制御装置を提供する。機器中心位置捕捉部（１４）は、機器検出部（１２）が検出した制御対象候補の機器の位置情報を捕捉し、最初に捕捉した位置情報に基づいて、制御対象候補の機器のぶれ許容閾値を決定する。判定部（１６）は、機器中心位置捕捉部（１４）から受け取った最新の位置情報と、最初に捕捉した位置情報とを用いて、制御対象候補の機器のぶれ量を取得し、ぶれ量が前記ぶれ許容閾値を越えた場合、映像情報のズーム処理への切り替えを判定する。映像処理部（１８）は、判定部（１６）がズーム処理への切り替えを判定した場合、映像情報をズーム処理する。表示データ生成部（１９）は、映像処理部（１８）から映像情報を取得し、表示データを生成する。
2009110204.tif 000002
【特許請求の範囲】
【請求項１】
複数の制御対象候補の機器から特定の制御対象機器を選択する機器選択制御装置であって、
前記制御対象候補の機器を撮影した映像情報と、前記制御対象候補の機器を識別するための機器識別子とを含む情報を取得する情報取得部と、
前記情報取得部が取得した情報から１つ以上の制御対象候補の機器の検出を行なう機器検出部と、
前記機器検出部が検出した前記制御対象候補の機器の位置情報を捕捉し、最初に捕捉した位置情報に基づいて、前記制御対象候補の機器のぶれ許容閾値を決定する機器中心位置捕捉部と、
前記機器中心位置捕捉部が最初に捕捉した位置情報を保持する機器中心位置記憶部と、
前記機器中心位置捕捉部が決定した前記ぶれ許容閾値を保持するぶれ許容閾値記憶部と、
前記機器中心位置捕捉部から受け取った最新の位置情報と、前記機器中心位置記憶部が保持している最初に捕捉した位置情報とを用いて、前記制御対象候補の機器のぶれ量を取得し、前記ぶれ量が前記ぶれ許容閾値を越えた場合、前記映像情報のズーム処理への切り替えを判定する判定部と、
前記判定部がズーム処理への切り替えを判定した場合、前記映像情報をズーム処理する映像処理部と、
前記映像処理部から映像情報を取得し、表示データを生成する表示データ生成部とを備える、機器選択制御装置。
【請求項２】
前記機器中心位置捕捉部は、前記複数の制御対象候補の機器の中において、特定の制御対象候補の機器と他の制御対象候補の機器との間の距離を機器間距離とすると、前記機器間距離から最小の機器間距離を選択し、当該最小の機器間距離の半分の値を、前記特定の制御対象候補の機器の前記ぶれ許容閾値として決定することを特徴とする、請求項１に記載の機器選択制御装置。
【請求項３】
前記制御対象候補の機器を識別可能な機器識別子を含む機器情報を保持している機器情報データベースをさらに備え、
前記機器検出部は、前記情報取得部から取得した機器識別子を用いて、前記機器情報データベースに格納されている機器情報を取得し、前記制御対象候補の機器の位置を特定することを特徴とする、請求項１に記載の機器選択制御装置。
【請求項４】
前記判定部は、前記ぶれ量が前記ぶれ許容閾値を所定の回数超えたことを検出した時に、前記映像情報のズーム処理への切り替えを判定することを特徴とする、請求項１に記載の機器選択制御装置。
【請求項５】
前記制御対象候補の機器と連携動作を行う機器を特定する連携情報に基づいて、前記機器検出部が検出した前記制御対象候補の機器の中から、従属関係にある制御対象候補の機器を除外する制御対象判断部をさらに備えることを特徴とする、請求項１に記載の機器選択制御装置。
【請求項６】
前記連携情報は、前記情報取得部が取得する情報に含まれており、
前記制御対象判断部は、前記機器検出部を介して、前記情報取得部から前記連携情報を取得することを特徴とする、請求項５に記載の機器選択制御装置。
【請求項７】
前記連携情報は、前記機器情報データベースに格納されている機器情報に含まれており、
前記制御対象判断部は、前記機器情報データベースから前記連携情報を取得することを特徴とする、請求項５に記載の機器選択制御装置。
【請求項８】
複数の制御対象候補の機器から特定の制御対象機器を選択する機器選択制御装置に用いられる集積回路であって、
前記制御対象候補の機器を撮影した映像情報と、前記制御対象候補の機器を識別するための機器識別子とを含む情報を取得する情報取得部と、
前記情報取得部が取得した情報から１つ以上の制御対象候補の機器の検出を行なう機器検出部と、
前記機器検出部が検出した前記制御対象候補の機器の位置情報を捕捉し、最初に捕捉した位置情報に基づいて、前記制御対象候補の機器のぶれ許容閾値を決定する機器中心位置捕捉部と、
前記機器中心位置捕捉部が最初に捕捉した位置情報を保持する機器中心位置記憶部と、
前記機器中心位置捕捉部が決定した前記ぶれ許容閾値を保持するぶれ許容閾値記憶部と、
前記機器中心位置捕捉部から受け取った最新の位置情報と、前記機器中心位置記憶部が保持している最初に捕捉した位置情報とを用いて、前記制御対象候補の機器のぶれ量を取得し、前記ぶれ量が前記ぶれ許容閾値を越えた場合、前記映像情報のズーム処理への切り替えを判定する判定部と、
前記判定部がズーム処理への切り替えを判定した場合、前記映像情報をズーム処理する映像処理部と、
前記映像処理部から映像情報を取得し、表示データを生成する表示データ生成部とを備える、集積回路。
【請求項９】
複数の制御対象候補の機器から特定の制御対象機器を選択する方法であって、
前記制御対象候補の機器を撮影した映像情報と、前記制御対象候補の機器を識別するための機器識別子とを含む情報を取得する情報取得ステップと、
前記情報取得ステップが取得した情報から１つ以上の制御対象候補の機器の検出を行なう機器検出ステップと、
前記機器検出ステップが検出した前記制御対象候補の機器の位置情報を捕捉し、最初に捕捉した位置情報に基づいて、前記制御対象候補の機器のぶれ許容閾値を決定する機器中心位置捕捉ステップと、
前記機器中心位置捕捉ステップから受け取った最新の位置情報と、前記機器中心位置捕捉ステップが最初に捕捉した位置情報とを用いて、前記制御対象候補の機器のぶれ量を取得し、前記ぶれ量が前記ぶれ許容閾値を越えた場合、前記映像情報のズーム処理への切り替えを判定する判定ステップと、
前記判定ステップがズーム処理への切り替えを判定した場合、前記映像情報をズーム処理する映像処理ステップと、
前記映像処理ステップから映像情報を取得し、表示データを生成する表示データ生成ステップとを備える、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、リモートで他の機器を制御する機器選択制御装置であって、より特定的には、複数の制御対象候補の機器の中から、リモートで制御する特定の制御対象機器を選択する機器選択制御装置に関する。
【背景技術】
【０００２】
従来のリモートで他の機器を制御する装置としては、カメラを通して制御対象候補の機器を撮影することにより、制御対象候補の機器が持つ可視的な識別情報を用いて、特定の制御対象機器を識別して、識別した制御対象機器とネットワーク接続を確立するものがあった（例えば、特許文献１参照）。【０００３】
また、複数の制御対象候補の機器が、カメラから遠くに離れている、あるいは密集しており、カメラで撮影された映像上に複数の制御対象候補の機器が密集して表示されている場合に、複数の制御対象候補の機器から、特定の制御対象機器を選択しやすくする装置としては、カメラで撮影された映像をズーム処理することにより、制御対象候補の機器を拡大して表示する装置や（例えば、特許文献２参照）、画像中央に近接する制御対象候補の機器にフォーカスを自動的に切り替える装置があった（例えば、特許文献３参照）。
【特許文献１】特開２００１−１４２８２５号公報
【特許文献２】特開２００５−０２５１７０号公報
【特許文献３】特開２００５−１２２４２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示の従来の装置では、カメラで撮影された映像上に、複数の制御対象候補の機器が密集して表示されていた場合、複数の制御対象候補の機器から、特定の制御対象機器を誤り無く選択することが困難であるという課題があった。また、特許文献２に開示の従来の装置では、カメラで撮影された映像を画面上に表示し、画面上に表示された映像をズーム処理する場合において、映像をズーム処理する倍率が大きい程、手の動きにより映像が大きくぶれてしまい、特定の制御対象機器を誤り無く選択するのが困難であるという課題があった。また、そのような状況下では、映像のぶれを画像処理によって補正する手振れ補正技術を使用し、ぶれの少ない滑らかな映像が得られた場合であっても、少しの手の動きにより、表示画面上では大きな移動として処理され、フォーカスされている制御対象候補の機器が頻繁に切り替わるという課題を有していた。また、特許文献３に開示の従来の装置も、特許文献２と同様の課題を有していた。【０００５】
それ故に、本発明の目的は、上記従来の課題を解決するもので、複数の制御対象候補の機器が遠くに離れている、あるいは密集して存在する場合に、ズーム処理を行なうタイミングを制御し、複数の制御対象候補の機器の中から、特定の制御対象機器を選択する際の操作誤りを低減する機器選択制御装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、複数の制御対象候補の機器から特定の制御対象機器を選択する機器選択制御装置に向けられている。そして、上記目的を達成するために、本発明の機器選択制御装置は、制御対象候補の機器を撮影した映像情報と、制御対象候補の機器を識別するための機器識別子とを含む情報を取得する情報取得部と、情報取得部が取得した情報から１つ以上の制御対象候補の機器の検出を行なう機器検出部と、機器検出部が検出した制御対象候補の機器の位置情報を捕捉し、最初に捕捉した位置情報に基づいて、制御対象候補の機器のぶれ許容閾値を決定する機器中心位置捕捉部と、機器中心位置捕捉部が最初に捕捉した位置情報を保持する機器中心位置記憶部と、機器中心位置捕捉部が決定したぶれ許容閾値を保持するぶれ許容閾値記憶部と、機器中心位置捕捉部から受け取った最新の位置情報と、機器中心位置記憶部が保持している最初に捕捉した位置情報とを用いて、制御対象候補の機器のぶれ量を取得し、ぶれ量がぶれ許容閾値を越えた場合、映像情報のズーム処理への切り替えを判定する判定部と、判定部がズーム処理への切り替えを判定した場合、映像情報をズーム処理する映像処理部と、映像処理部から映像情報を取得し、表示データを生成する表示データ生成部とを備える。【０００７】
好ましくは、機器中心位置捕捉部は、複数の制御対象候補の機器の中において、特定の制御対象候補の機器と他の制御対象候補の機器との間の距離を機器間距離とすると、機器間距離から最小の機器間距離を選択し、当該最小の機器間距離の半分の値を、特定の制御対象機器に対するぶれ許容閾値として設定する。【０００８】
機器選択制御装置は、制御対象候補の機器を識別可能な機器識別子を含む機器情報を保持している機器情報データベースをさらに備えてもよい。この場合、機器検出部は、情報取得部から取得した機器識別子を用いて、機器情報データベースに格納されている機器情報を取得し、制御対象候補の機器の位置を特定することができる。【０００９】
判定部は、ぶれ量がぶれ許容閾値を所定の回数超えたことを検出した時に、映像情報のズーム処理への切り替えを判定してもよい。【００１０】
また、機器選択制御装置は、制御対象候補の機器と連携動作を行う機器を特定する連携情報に基づいて、機器検出部が検出した制御対象候補の機器の中から、従属関係にある制御対象候補の機器を除外する制御対象判断部をさらに備えてもよい。連携情報は、情報取得部が取得する情報に含まれている場合、制御対象判断部は、機器検出部を介して、情報取得部から連携情報を取得する。また、連携情報が機器情報データベースに格納されている機器情報に含まれている場合、制御対象判断部は、機器情報データベースから連携情報を取得する。
【発明の効果】
【００１１】
以上のように、本発明の機器選択制御装置は、複数の制御対象候補の機器の中から、特定の制御対象機器を選択する際に、リアルタイムで撮影している制御対象候補の機器のぶれ量に基づいてズーム処理を行うタイミングを制御することが可能となり、特定の制御対象機器を選択する際の操作誤りを低減することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の第１の実施形態に係る機器選択制御装置１の構成の一例を示すブロック図である。
【図２】図２は、本発明の第１の実施形態に係る機器間距離記憶部２３が保持するデータの一例を示す図である。
【図３】図３は、本発明の第１の実施形態に係る機器中心位置記憶部２４が保持するデータの一例を示す図である。
【図４】図４は、本発明の第１の実施形態に係るぶれ許容閾値記憶部２５が保持するデータの一例を示す図である。
【図５】図５は、本発明の第１の実施形態に係る機器情報データベース１３が保持する機器情報の一例を示す図である。
【図６】図６は、本発明の第１の実施形態で用いる制御対象候補の機器の配置の一例を示す図である。
【図７】図７は、本発明の第１の実施形態に係る最新の中心位置のぶれ量を判定している処理イメージを示す図である。
【図８】図８は、本発明の第１の実施形態で用いる制御対象候補の機器の配置の一例を示す図である。
【図９】図９は、本発明の第１の実施形態に係る機器選択制御装置１が制御対象機器を選択する際の動作の一例を示すフローチャートである。
【図１０】図１０は、本発明の実施形態における選択操作している際のディスプレイ上の表示イメージを示す図である。
【図１１】図１１は、本発明の第２の実施形態に係る機器選択制御装置２の構成の一例を示すブロック図である。
【図１２】図１２は、本発明の第２の実施形態に係る機器情報データベース２７が保持する機器情報の一例を示す図である。
【図１３】図１３は、本発明の第２の実施形態で用いる制御対象候補の機器が連携している場合の処理イメージを示す図である。
【符号の説明】
【００１３】
１０    情報取得部
１１    制御部
１２    機器検出部
１３    機器情報データベース
１４    機器中心位置捕捉部
１５    機器情報記憶部
１６    判定部
１７    状態情報記憶部
１８    映像処理部
１９    表示データ生成部
２０    表示部
２１    入力部
２２    出力部
２３    機器間距離記憶部
２４    機器中心位置記憶部
２５    ぶれ許容閾値記憶部
２６    機器検出部
２７    機器情報データベース
２８    制御対象判断部
【発明を実施するための最良の形態】
【００１４】
以下、本発明の各実施形態について、図面を参照しながら説明する。【００１５】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る機器選択制御装置１の構成の一例を示すブロック図である。図１において、機器選択制御装置１は、制御対象機器をリモート制御する機能（リモート制御機能）と、制御対象機器を選択する際に使用する外部の映像を取得する機能（映像取得機能）とを有している。なお、機器選択制御装置１は、携帯電話や携帯情報端末等のネットワークに接続可能なモバイル機器であってもよい。この場合、機器選択制御装置１は、制御用のアプリケーションをインストールするなどして、制御対象機器をリモート制御してもよい。また、制御対象機器としては、テレビやビデオ、音楽プレーヤ、ＤＶＤプレーヤなどのＡＶ機器や、エアコンや電灯といった家電機器や、ＦＡＸなどの通信機器が該当する。【００１６】
図１において、機器選択制御装置１は、制御部１１、機器検出部１２、機器情報データベース１３、機器中心位置捕捉部１４、機器情報記憶部１５、判定部１６、状態情報記憶部１７、映像処理部１８、表示データ生成部１９、表示部２０、入力部２１、及び出力部２２を備える。また、機器情報記憶部１５は、機器間距離記憶部２３、機器中心位置記憶部２４、及びぶれ許容閾値記憶部２５を有する。なお、機器選択制御装置１は、入力部２１、出力部２２、表示部２０、及び機器情報記憶部１５を内部に備えずに、外部の構成を利用するものであってもよい。【００１７】
情報取得部１０は、機器選択制御装置１の周辺情報を含む外部情報の取得処理を行なう。例えば、情報取得部１０は、カメラなどを用いた映像取得機能や、外部からの信号情報を受信する受信機能などを備える。ここで取得する外部情報とは、例えば、カメラが撮影した周辺の画像情報や映像情報、周辺に位置する制御対象候補の機器から発信される、音波や、ＬＥＤやビーコンなどによる光信号や、ＲＦＩＣタグによる無線信号などの信号情報などである。ここでは、情報取得部１０は、カメラが撮影した映像情報と、ＬＥＤによる光信号とを外部情報として取得するものとする。また、情報取得部１０は、光信号や無線信号で伝達される信号情報に基づいて、制御対象候補の機器を識別するための機器識別子（機器ＩＤ）を取得することが可能となる。【００１８】
制御部１１は、機器選択制御装置１が備える各種機能を制御する。具体的には、制御部１１は、入力部２１からリモート操作の開始要求を通知された場合、情報取得部１０に、外部情報の取得を指示する。また、制御部１１は、情報取得部１０が取得した情報（以下、取得情報と記載する）を受け取り、機器検出部１２や映像処理部１８に通知することで、制御対象機器を選択する際の通常モードでの表示画面の制御を行う。また、制御部１１は、判定部１６から機器選択モードへの遷移が通知されると、通常モードから機器選択モードへ切り替えて、機器選択モードでの表示画面の制御を行う。さらに、制御部１１は、入力部２１からの選択確定を受け取り、フォーカス中の制御対象候補の機器を制御対象機器として確定し、出力部２２に操作要求を通知する。【００１９】
機器検出部１２は、情報取得部１０が取得した取得情報を、制御部１１を介して受け取り、機器選択制御装置１の周辺に位置する制御対象候補の機器の検出を行なう。また、機器検出部１２は、検出した制御対象候補の機器に関する情報（例えば、制御対象候補の機器の位置を表す位置情報や、機器の大きさなどを表す形状情報）を取得し、機器中心位置捕捉部１４に通知する。この時、機器検出部１２は、取得情報として、制御対象候補の機器を識別するための機器ＩＤと共に、位置情報や形状情報を取得しても良いし、取得情報に含まれる機器ＩＤを用いて、機器選択制御装置１が備える機器情報データベース１３に格納されている形状情報等を取得してもよい。また、機器検出部１２は、カメラが撮影した映像情報と、ＬＥＤが発光している位置などを元に、映像情報を表示したリアルタイムな表示画面上での各機器の座標情報（すなわち、位置情報）や形状情報を取得してもよい。また、機器検出部１２は、取得した機器ＩＤを元に、ネットワークを通じて、外部から形状情報等を取得しても良い。【００２０】
機器情報データベース１３（図５参照）は、制御対象候補の機器に関する機器情報を保持している。機器情報としては、例えば、制御対象候補の機器を識別するための機器ＩＤや、制御対象候補の機器の種別を表す機器種別や、制御対象候補の機器の大きさや形状を表す形状情報などが含まれる。詳細については図５を用いて後に説明する。【００２１】
機器中心位置捕捉部１４は、機器検出部１２が検出した制御対象候補の機器に対し、通知された位置情報を用いて、制御対象候補の機器の中心位置の捕捉を行ない、捕捉した中心位置を判定部１６に通知する。機器中心位置捕捉部１４は、カメラが撮影した映像情報とＬＥＤが発光している位置などに基づいて、制御対象候補の機器の中心位置を捕捉することができる。【００２２】
また、機器中心位置捕捉部１４は、制御対象候補の機器を最初に検出した時は、初期処理として、機器間距離、初期中心位置、及びぶれ許容閾値を算出し、機器情報記憶部１５に保存する。具体的には、機器中心位置捕捉部１４は、捕捉した中心位置を用いて、制御対象候補の機器間の距離を算出し、当該算出した距離を機器間距離として機器間距離記憶部２３に保存する。また、機器中心位置捕捉部１４は、捕捉した中心位置を初期中心位置として機器中心位置記憶部２４に保存する。また、機器中心位置捕捉部１４は、制御対象候補の機器に対して、所定の距離をぶれ許容閾値として設定し、ぶれ許容閾値記憶部２５に保存する。【００２３】
機器中心位置捕捉部１４は、例えば、制御対象候補の機器が複数存在する場合、ある制御対象候補の機器と他の制御対象候補の機器との機器間距離の内、最小の機器間距離の半分の値をぶれ許容閾値として設定する。なお、機器中心位置捕捉部１４は、ぶれ許容閾値をこれ以外の値に設定してもよく、例えば、最小の機器間距離の１／３や、１／４の値にぶれ許容閾値を設定してもよい。【００２４】
判定部１６は、制御対象候補の機器に対して、機器中心位置捕捉部１４から受け取ったリアルタイムな中心位置の情報と、機器中心位置記憶部２４に格納されている初期中心位置とを比較する。そして、判定部１６は、制御対象候補の機器のぶれ量を計算し、ぶれ許容閾値記憶部２５に格納されているぶれ許容閾値を用いて、計算したぶれ量がぶれ許容閾値を超えているか否かの判定を行う。判定部１６は、判定結果として、計算したぶれ量がぶれ許容閾値を越えたタイミングで、機器選択モードへの遷移を決定し、制御部１１に通知する。【００２５】
状態情報記憶部１７は、現在の処理モード（通常モード、又は機器選択モード）と、現在フォーカス中の制御対象候補の機器を識別するための情報（例えば、機器ＩＤ）とを保持している。【００２６】
映像処理部１８は、表示部２０で表示する映像情報を処理する。また、映像処理部１８は、状態情報記憶部１７に格納されている処理モードが機器選択モードの場合、制御部１１から受け取った映像情報のズーム処理を行なう。【００２７】
表示データ生成部１９は、映像処理部１８が処理した映像情報を受け取り、フォーカス表示マークを映像情報に重ねて、表示データを生成し、表示部２０に出力する。なお、フォーカス表示マークは、映像情報の中の特定の機器、つまり、状態情報記憶部１７に格納されているフォーカス中の制御対象候補の機器に重ねて表示されることになる。また、状態情報記憶部１７に格納されている処理モードが機器選択モードの場合、生成された表示データは、フォーカス中の制御対象候補の機器がディスプレイ上の中心に位置するようにズーム処理される。【００２８】
表示部２０は、ＬＣＤや液晶などの表示装置であって、表示データ生成部１９が生成した表示データをディスプレイ上に出力する。【００２９】
入力部２１は、キーやタッチパネルなどの入力デバイスによるユーザからの入力操作や、機器選択制御装置１の上で動作するアプリケーションによる命令などを受信し、リモート操作の開始要求や、制御対象機器の選択確定を制御部１１に通知する。【００３０】
出力部２２は、制御部１１から操作要求を受け取り、確定された制御対象機器に対するリモート操作信号を生成し、生成した操作信号の出力を行なう。【００３１】
次に、機器選択制御装置１が用いるデータについて、詳細を説明する。図２は、機器間距離記憶部２３が保持するデータの一例を示している。図２において、機器間距離記憶部２３は、機器検出部１２が検出した複数の制御対象候補の機器の間の距離（すなわち、機器間距離）を保持する。この例では、機器間距離記憶部２３は、制御対象候補の機器毎に、管理ＩＤと、機器ＩＤと、機器種別と、機器間距離とを保持しているものとする。【００３２】
管理ＩＤは、初期処理で機器検出部１２が検出した、制御対象候補の機器を管理するためのＩＤである。機器ＩＤは、制御対象候補の機器を識別するための識別情報であり、例えば、商品出荷時に割り当てられる。機器ＩＤは、情報取得部１０が取得する取得情報に含まれていてもよいし、機器情報データベース１３から取得してもよい。機器種別は、対象の機器の種別を表す。この例では、機器種別は、対象の機器が、ＴＶ、ＤＶＤレコーダ、コンポであることを表している。機器種別は、情報取得部１０が取得する取得情報に含まれていてもよいし、機器情報データベース１３から取得してもよい。機器間距離の単位は、ディスプレイ上での距離単位であるピクセルなどを用いてもよい。【００３３】
図３は、機器中心位置記憶部２４が保持するデータの一例を示している。図３において、機器中心位置記憶部２４は、初期処理時における制御対象候補の機器の中心位置（すなわち、初期中心位置）を保持する。この例では、機器中心位置記憶部２４は、制御対象候補の機器毎に、管理ＩＤと、初期中心位置とを保持しているものとする。初期中心位置は、ディスプレイ上の左下の位置を座標の基準点（０、０）とした、ディスプレイ上の座標（Ｘ座標、Ｙ座標）で表されている。また、機器中心位置記憶部２４は、管理ＩＤの代わりに、機器ＩＤを保持してもよい。【００３４】
図４は、ぶれ許容閾値記憶部２５が保持するデータの一例を示している。図４において、ぶれ許容閾値記憶部２５は、通常モードから機器選択モードへの遷移タイミングを判断するための、制御対象候補の機器の初期中心位置からのぶれ許容閾値を保持している。この例では、ぶれ許容閾値記憶部２５は、制御対象候補の機器毎に、管理ＩＤと、ぶれ許容閾値とを保持しているものとする。ここでは、ある制御対象候補の機器と他の制御対象候補の機器との機器間距離の内、最小の機器間距離の半分の値が、ぶれ許容閾値として設定されているものとする。ぶれ許容閾値の単位は、ディスプレイ上での距離単位であるピクセルなどを用いてもよい。また、ぶれ許容閾値記憶部２５は、管理ＩＤを保持するとしたが、管理ＩＤの代わりに、機器ＩＤを保持してもよい。【００３５】
なお、機器情報記憶部１５は、機器間距離記憶部２３と機器中心位置記憶部２４とぶれ許容閾値記憶部２５とに、３つの異なるテーブルを保持するとしたが、１つのテーブルでまとめて保持してもよく、またテーブル以外のフォーマットで管理してもよい。【００３６】
図５は、機器情報データベース１３が保持する機器情報の一例を示している。図５において、機器情報データベース１３は、制御対象候補となる可能性がある機器に関する機器情報を保持する。この例では、機器情報データベース１３は、制御対象候補となる可能性がある機器毎に、機器ＩＤと、機器種別と、機器の大きさや形状等を表す形状情報とを保持しているものとする。表示データ生成部１９は、この形状情報を用いることで、フォーカス表示マークのサイズを変更することが可能となる。例えば、表示データ生成部１９は、フォーカス中の制御対象候補の機器のサイズが大きければ、これに合わせてフォーカス表示マークのサイズを大きくすることができる。機器情報データベース１３が保持する機器情報は、商品出荷時に割り当てられいてもよいし、ユーザにより割り当てられてもよいし、ネットワークを介して取得されてもよい。【００３７】
図６は、図２〜４に一例として示した各設定値と対応する制御対象候補の機器の配置を例示している。図６において、星印は、制御対象候補の機器の初期中心位置を示しており、この初期中心位置を用いて、機器間距離を決定している。例えば、ＴＶとコンポとの機器間距離は３０ｐｔであり、ＴＶとＤＶＤレコーダとの機器間距離は２０ｐｔであり、コンポとＤＶＤレコーダとの機器間距離は５０ｐｔである。また、波線で示す円は、各制御対象候補の機器に対応した初期中心位置からのぶれ許容閾値の範囲を表している。例えば、ＴＶを中心とする円の半径（ぶれ許容閾値）は、ＴＶとコンポとの機器間距離３０ｐｔと、ＴＶとＤＶＤレコーダとの機器間距離２０ｐｔの内、最小の機器間距離２０ｐｔの半分の値１０ｐｔに設定される。【００３８】
図７は、判定部１６が、制御対象候補の機器の最新の中心位置のぶれ量を判定する際の処理イメージを図に示している。図７では、各制御対象候補の機器の初期中心位置を星印で示しており、初期中心位置を中心とする円は、ぶれ許容閾値だけ離れた距離にある点の集合を示している。判定部１６は、制御対象候補の機器の最新の中心位置が、この円を超えたタイミングで、制御対象候補の機器のぶれ量がぶれ許容閾値を超えたと判定する。なお、機器間距離が大きい程、ぶれ許容閾値は大きくなり、ここで記述されている円も大きくなる。【００３９】
すなわち、表示されている映像における機器間距離が大きい場合は、ユーザにとって、制御対象候補の機器を選択することが容易である。逆に、制御対象候補の機器が密集していて機器間距離が小さい場合や、制御対象候補の機器とユーザとの距離が遠い場合に、例えば手振れや、ズーム画像における操作などにより映像が大きくぶれてしまい、制御対象候補の機器の中心位置が定まらず、特定の制御対象機器を選択するのは困難である。このことから、機器選択制御装置１は、制御対象候補の機器のぶれ量が、ぶれ許容閾値を超えた場合、制御対象候補の機器の密集度が高いと判定して、機器選択モードへと遷移する。【００４０】
なお、機器選択制御装置１は、図８に示すように、初期中心位置からＸ軸方向にぶれ許容閾値だけ離れた位置に、Ｙ軸と平行する直線を引いて、制御対象候補の機器の最新の中心位置が、このＹ軸と平行する直線を越えた場合、制御対象候補の機器の密集度が高いと判定して、機器選択モードへと遷移してもよい。【００４１】
また、機器選択制御装置１は、映像情報の中の制御対象候補の機器の数が、所定の数を超えた場合に、制御対象候補の機器の密集度が高いと判定して、機器選択モードへと遷移すると判定してもよい。あるいは、機器選択制御装置１は、映像情報の特定の範囲内にある制御対象候補の機器の数が、所定の数を超えた場合に、制御対象候補の機器の密集度が高いと判定して、機器選択モードへと遷移すると判定してもよい。【００４２】
次に、機器選択制御装置１が、リモート操作する制御対象機器を選択する動作について、図９を用いて説明する。まず、ユーザ入力操作などにより、制御部１１が、入力部２１からリモート操作の開始要求を通知されることで、動作を開始する。制御部１１は、情報取得部１０に外部情報の取得を指示し、情報取得部１０から取得情報を受け取り、受け取った取得情報を機器検出部１２に通知する（ステップＳ１０）。ここで、取得情報は、カメラが撮影した映像情報や、ＬＥＤによる光信号などを含む情報である。また、取得情報は、これらを組み合わせた情報であってもよい。ここでは、取得情報として、カメラが撮影した映像情報と、ＬＥＤによる光信号とを例に説明する。制御部１１は、ＬＥＤなどの指向性のある光信号を受信することによって、制御対象候補の機器がどの方向や位置にあるのかを検出することが可能となる。【００４３】
次に、機器検出部１２は、情報取得部１０が取得した取得情報を、制御部１１を介して受け取り、周辺に位置する制御対象候補の機器の検出を行なう（ステップＳ１１）。また、機器検出部１２は、検出した制御対象候補の機器の位置を表す位置情報や、機器の大きさや形状などを表す形状情報を取得し、機器中心位置捕捉部１４に通知する。なお、機器検出部１２は、受け取った取得情報から、機器ＩＤ、位置情報、及び形状情報等を得ても良いし、取得情報に含まれる機器ＩＤを元に、機器情報データベース１３に対して、形状情報等を問い合わせても良い。また、機器検出部１２は、ネットワークを通じて、新たに形状情報等を取得しても良い。【００４４】
機器中心位置捕捉部１４は、初期処理として、機器検出部１２が検出した全ての制御対象候補の機器に対し、通知された位置情報を用いて、機器間距離、初期中心位置、及びぶれ許容閾値情報を算出し、機器情報記憶部１５に保存する（ステップＳ１２）。具体的には、機器中心位置捕捉部１４は、機器検出部１２が検出した各制御対象候補の機器に対し、通知された位置情報を用いて、各制御対象候補の機器の中心位置の捕捉を行ない、捕捉した中心位置を用いて、機器間距離を算出し、機器間距離記憶部２３に保存する。また、機器中心位置捕捉部１４は、捕捉した中心位置を初期中心位置として機器中心位置記憶部２４に保存する。また、機器中心位置捕捉部１４は、各制御対象候補の機器に対して、所定の距離をぶれ許容閾値として設定し、ぶれ許容閾値記憶部２５に保存する。【００４５】
機器中心位置捕捉部１４は、初期処理として、機器間距離、初期中心位置、及びぶれ許容閾値情報を保存した後、捕捉した中心位置を判定部１６に通知する。判定部１６は、中心位置を通知されると、通常モード動作の開始を制御部１１に通知する。制御部１１は、状態情報記憶部１７に格納されている現在の処理モードに通常モードを設定する。これによって、通常モードでの動作が開始される（ステップＳ１３）。【００４６】
制御部１１は、ぶれを判定するためのタイマーを設定し（ステップＳ１４）、情報取得部１０から通知されるリアルタイムな映像情報を映像処理部１８に出力する。映像処理部１８は、状態情報記憶部１７に格納されている処理モードが通常モードであることからズーム処理を行なわずに、映像情報を表示データ生成部１９に通知する。表示データ生成部１９は、受け取った映像情報に、フォーカス表示マークを重ねて、表示データを生成し、表示部２０に出力する（ステップＳ１５）。なお、ここでは、状態情報記憶部１７のフォーカス中の制御対象候補の機器として、特定の機器が設定されていないため、フォーカス表示マークは、ディスプレイの中心に重ねて表示されることになる。【００４７】
制御部１１は、入力部２１から選択操作完了通知を受け取ると（ステップＳ１６がＹｅｓ）、選択された制御対象候補の機器を制御対象機器として決定し、処理を完了する。一方、制御部１１は、入力部２１から選択操作完了通知を受け取らない場合（ステップＳ１６がＮｏ）、情報取得部１０からリアルタイムな映像情報を含む取得情報を受け取り（ステップＳ１７）、設定したタイマーがタイムアウトするまで（ステップＳ１８がＮｏ）、ステップＳ１５からステップＳ１８までの処理を繰り返す。これにより、リアルタイムな映像情報が表示部２０のディスプレイ上に表示されることになる。【００４８】
設定したタイマーがタイムアウトすると（ステップＳ１８がＹｅｓ）、制御部１１は、情報取得部１０から受け取った取得情報を機器検出部１２に通知する。機器検出部１２は、制御対象候補の機器の最新の位置情報を取得し、機器中心位置捕捉部１４に通知する。機器中心位置捕捉部１４は、通知された位置情報を用いて、制御対象候補の機器の最新の中心位置の捕捉を行ない、判定部１６に通知する。判定部１６は、機器中心位置捕捉部１４から通知された最新の中心位置と、機器中心位置記憶部２４に格納されている初期中心位置とを用いて、制御対象候補の機器の映像上での初期中心位置からのぶれ量を取得する（ステップＳ１９）。判定部１６は、取得したぶれ量と、ぶれ許容閾値記憶部２５に格納されているぶれ許容閾値とを比較し、ぶれ量がぶれ許容閾値を超えているか否かを判定する（ステップＳ２０）。【００４９】
ぶれ量がぶれ許容閾値を越えていない場合（ステップＳ２０がＮｏ）、ステップＳ１６に遷移し、通常モードでの処理を繰り返す。一方、ぶれ量がぶれ許容閾値を越えている場合（ステップＳ２０がＹｅｓ）、判定部１６は、通常モードから機器選択モードへの遷移を決定し、制御部１１に通知する。制御部１１は、状態情報記憶部１７に格納されている現在の処理モードに機器選択モードを設定し、現在フォーカス中の制御対象候補の機器として、現在ディスプレイ上の中心位置に存在する機器の管理ＩＤを設定する（ステップＳ２１）。これにより、ぶれ量がぶれ許容閾値を越えたタイミングで、通常モードから機器選択モードに切り替えることが可能となる。【００５０】
制御部１１は、情報取得部１０から通知されるリアルタイムな映像情報を映像処理部１８に出力する。映像処理部１８は、状態情報記憶部１７に格納されている処理モードが機器選択モードであることからズーム処理を行い、ズーム処理後の映像情報を表示データ生成部１９に通知する。表示データ生成部１９は、映像処理部１８から受け取ったズーム処理後の映像情報に、フォーカス表示マークを重ねて、表示データを生成し、表示部２０に出力する（ステップＳ２２）。なお、ここでは、フォーカス表示マークは、映像情報の中の特定の機器、つまり、状態情報記憶部１７に格納されているフォーカス中の制御対象候補の機器に重ねて表示されることになる。また、状態情報記憶部１７に格納されている処理モードが機器選択モードであるため、生成された表示データは、フォーカス中の制御対象候補の機器がディスプレイ上の中心に位置するようズームされている。【００５１】
制御部１１は、入力部２１から選択操作完了通知を受け取ると（ステップＳ２３がＹｅｓ）、フォーカス中の制御対象候補の機器を制御対象機器として決定し、処理を完了する。一方、入力部２１から選択操作完了通知を受け取らない場合（ステップＳ２３がＮｏ）、制御部１１は、情報取得部１０からリアルタイムな映像情報を含む取得情報を受け取り（ステップＳ２４）、ステップＳ２２に遷移し、機器選択モードでの処理を繰り返す。【００５２】
以上により、機器選択制御装置１は、制御対象候補の機器のぶれ量が、ぶれ許容閾値を越えたタイミングで、通常モードから機器選択モードに切り替えることが可能となる。【００５３】
図１０は、複数の制御対象候補の機器から、特定の制御対象機器を選択している際のディスプレイ上の表示イメージを示した図である。図１０を参照して、機器選択制御装置１は、通常モードでの動作中は、ディスプレイの中心にフォーカス表示マークを重ねて表示する。ここでは、制御対象候補の機器が密集しているため、フォーカス枠内に複数の制御対象候補の機器が表示されている例を示しており、通常モードの動作中に、ぶれ量がぶれ許容閾値を超えた時に、機器選択モードに遷移する。【００５４】
機器選択制御装置１は、機器選択モードの動作中は、フォーカス中の１つの制御対象候補の機器がディスプレイ上の中心に位置するように、映像情報をズーム表示する。ここでは、フォーカス表示マークの形状を、制御対象候補の機器の大きさに合わせて変化させる例を示している。また、ユーザ操作として、ユーザが右の方を表示する操作（機器選択制御装置１を右に傾ける、右に振る、右カーソルを押下するなど）を行なうと、機器選択制御装置１は、現在表示している制御対象候補の機器の右隣に位置する機器をディスプレイ上の中心に表示してもよい。また、同じくユーザが左の方を表示する操作（機器選択制御装置１を左に傾ける、左に振る、左カーソルを押下するなど）を行なうと、機器選択制御装置１は、現在表示している制御対象候補の機器の左隣に位置する機器をディスプレイ上の中心に表示してもよい。また、右端に位置する機器を表示している時に、ユーザが更に右の機器を選択しようとすると、機器選択制御装置１は、機器選択モードを解除し通常モードに遷移する処理を行ってもよい。【００５５】
以上のように、本発明の第１の実施形態に係る機器選択制御装置１は、複数の制御対象候補の機器の中から、特定の制御対象機器を選択する際に、カメラが撮影した周辺の映像情報と、周辺に位置する制御対象候補の機器から発信される光信号とを取得情報として受け取り、受け取った取得情報を元に、初期処理として、制御対象候補の機器の中心位置とぶれ許容閾値とを決定して記憶する。そして、ユーザによる選択操作中に継続して受信する取得情報を用いて、制御対象候補の機器のリアルタイムなぶれ量を判定し、ぶれ量がぶれ許容閾値を超えた場合に、複数の制御対象候補の機器が遠くに離れている、あるいは密集して存在すると判断し、機器選択モードに遷移して選択操作を継続する。これにより、機器選択制御装置１は、複数の制御対象候補の機器の中から、特定の制御対象機器を選択する際に、リアルタイムで撮影している制御対象候補の機器のぶれ量に基づいてズーム処理を行うタイミングを制御することが可能となり、特定の制御対象機器を選択する際の操作誤りを低減することができる。【００５６】
なお、機器選択制御装置１は、機器選択モード時の映像情報のズーム処理において、選択操作開始後のあるタイミングの画像を拡大して表示しても良いし、手振れ補正の技術を用いつつ、実際にズーム処理された映像情報を表示しても良い。ただし、実際のユーザの動作に合わせて映像情報をそのまま表示するのではなくて、実際に映像情報上で移動した制御対象候補の機器の例えば半分の移動距離を、制御対象候補の機器が移動したとして、映像情報を補正して作成するなどして表示を行う。【００５７】
また、機器選択制御装置１は、機器選択モードの操作時に、ユーザ操作によるカメラの移動距離と移動方向に応じて、表示されている映像情報をスクロール表示し、次の選択対象候補の機器が画面に表示された場合に、次の選択対象候補の機器にフォーカスを変更してもよい。また、次の選択対象候補の機器の映像情報を必ずディスプレイの中央位置に表示するように切り替え表示してもよい。【００５８】
また、上述した実施形態では、ユーザ入力操作などにより、制御部１１が入力部２１からリモート操作の開始要求を受け取り、外部情報の取得を開始することで、ステップＳ１１以降の処理に進むとしたが、情報取得部１０が外部情報の取得を続けていて、一定時間の間、機器選択制御装置１の位置や向きに変化がない場合に、ステップＳ１１以降の処理に進むとしてもよい。【００５９】
また、上述した実施形態では、機器検出部１２が検出した制御対象候補の機器に関する情報（位置情報や形状情報）を機器中心位置捕捉部１４に通知し、機器中心位置捕捉部１４が、機器間距離、初期中心位置、及びぶれ許容閾値を算出し、機器情報記憶部１５に保存する例を示したが、機器検出部１２が、機器間距離、初期中心位置、及びぶれ許容閾値を算出し、機器情報記憶部１５に保存してもよい。【００６０】
また、機器選択制御装置１は、初期中心位置からのぶれ量によって、通常モードか機器選択モードかに遷移することを判定したが、ぶれ量がぶれ許容閾値を超えていた場合であっても、ぶれ量がその機器の形状内に収まっている場合は、機器操作モードへ遷移しないと判定してもよい。【００６１】
（第２の実施形態）
図１１は、本発明の第２の実施形態に係る機器選択制御装置２の構成の一例を示すブロック図である。図１１において、機器選択制御装置２は、第１の実施形態に係る機器選択制御装置１と比較して、機器検出部２６の動作及び機器情報データベース２７が保持する機器情報が異なると共に、制御対象判断部２８をさらに備える。図１１において、第１の実施形態に係る機器選択制御装置１と同じ構成要素については同じ参照符号を用い、説明を省略する。【００６２】
図１１において、機器検出部２６は、情報取得部１０が取得した取得情報を、制御部１１を介して受け取り、機器選択制御装置２の周辺に位置する制御対象候補の機器の検出を行なう点は第１の実施形態と同様である。ただし、機器検出部２６は、制御対象判断部２８に問い合わせて、実際に制御対象候補の機器として扱う機器に関する情報のみを、機器中心位置捕捉部１４に通知する。この時、機器検出部２６は、取得情報として、制御対象候補の機器ＩＤと共に連携情報を得ても良いし、取得情報に含まれる機器ＩＤを用いて、機器情報データベース２７に格納されている連携情報を取得してもよい。【００６３】
ここで、連携情報とは、ある制御対象候補の機器と連携動作を行なう機器（連携対象機器）が存在する場合に、連携対象機器を特定する情報である。典型的には、連携情報は、連携対象機器の機器ＩＤを意味する。また、連携動作とは、例えば、ある制御対象候補の機器を操作すると、その機器と連携している別の機器も同時に操作可能であることをいう。また、機器検出部１２は、カメラが撮影した映像情報とＬＥＤが発光している位置などを元に、映像情報を表示したリアルタイムな表示画面上での制御対象候補の機器の位置情報や形状情報を取得してもよい。また、機器検出部１２は、取得した機器ＩＤを元に、ネットワークを通じて、外部から形状情報等を取得しても良い。【００６４】
機器情報データベース２７（図１２参照）は、制御対象候補となる可能性のある機器に関する機器情報を保持している。機器情報としては、機器ＩＤ、機器種別、形状情報に加えて、連携情報が含まれる。【００６５】
図１２は、機器情報データベース２７が保持する機器情報の一例を示している。図１２において、機器情報データベース２７は、制御対象候補となる可能性がある機器に関する機器情報を保持している。この例では、機器情報には、機器ＩＤと、機器種別と、形状情報に加えて、連携情報が含まれる。連携情報として、ある制御対象候補の機器と連携動作を行なう他機器（連携対象機器）が存在する場合、連携対象機器の機器ＩＤが設定されている。なお、ここでは、ＤＶＤレコーダ（ＤＩＤ３）が、ＴＶ（ＤＩＤ２）と連携しており、従属関係にある機器（ＤＶＤレコーダ）の連携情報に、ＴＶ（ＤＩＤ２）が設定されている一例を示している。【００６６】
制御対象判断部２８は、機器検出部２６からの問い合わせに応じて、実際に制御対象候補の機器として扱う機器を判断する。具体的には、制御対象判断部２８は、連携機能間の主従関係を認識し、従属関係にある機器を選択対象から除外する。なお、制御対象判断部２８は、特定の機器を選択対象外として、機器情報データベース２７に前もって登録することで、選択対象から除外する機器と判断してもよい。【００６７】
次に、図１３を用いて、ＴＶ３１とＤＶＤレコーダ３２とが、機器間リンク機能により連携している場合の機器選択制御装置２の動作について具体的に説明する。この場合、機器選択制御装置２には、ＴＶ３１からはＤＶＤレコーダ３２と連携している旨の連携情報が通知され、ＤＶＤレコーダ３２からは、ＴＶ３１と連携している旨の連携情報が通知される。機器選択制御装置２において、機器検出部１２は、これらの通知された連係情報を検出し、機器検出部２６に通知する。機器検出部２６は、連携機器間の主従関係を認識し、従属関係にある機器（この例では、ＤＶＤレコーダ３２）を選択対象から除外する。このように、従属関係にある機器を選択対象から除外することで、選択対象候補の機器の数を減らし、ユーザによる選択動作を容易にすることができる。なお、ＴＶ３１、及びＤＶＤレコーダ３２の両方が、連携情報を発信しているとしたが、片方のみが連携情報を発信するとしてもよい。【００６８】
機器検出部１２は、ＤＶＤレコーダ３２からＴＶ３１と連携している旨の連記情報を通知されると、機器情報データベース１３に、通知された連係情報を保存する。この例では、ＤＶＤレコーダ３２からの連係情報としてＴＶ３１と連携していることを記録し、従属関係にあるＤＶＤレコーダ３２を操作対象から除外する。【００６９】
このように、機器選択制御装置２は、従属関係にある機器を認識し、選択対象から除外することで、選択対象候補の機器として表示される機器が少なくなるとともに、ぶれ許容閾値が大きくなり、複数の機器の中から制御する機器を選択する際の操作誤りを低減することが可能となる。【００７０】
以上のように、本発明の第２の実施形態に係る機器選択制御装置２は、複数の制御対象候補の機器の中から、特定の制御対象機器を選択する際に、カメラが撮影した周辺の映像情報と周辺に位置する制御対象候補の機器から発信される光信号とを取得情報として受け取り、受け取った取得情報を元に、従属関係にある制御対象候補の機器を選択対象から除外する。次に、残った制御対象候補の機器に対して、初期処理として、制御対象候補の機器の中心位置とぶれ許容閾値とを決定して記憶する。そして、ユーザによる選択操作中に継続して受信する取得情報を用いて、制御対象候補の機器のリアルタイムなぶれ量を判定し、ぶれ量がぶれ許容閾値を超えた場合に、複数の制御対象候補の機器が遠くに離れている、あるいは密集して存在すると判断し、機器選択モードに遷移して選択操作を継続する。これにより、機器選択制御装置１は、複数の制御対象候補の機器の中から、特定の制御対象機器を選択する際に、従属関係にある制御対象候補の機器を除外した上で、リアルタイムで撮影している制御対象候補の機器のぶれ量に基づいてズーム処理を行うタイミングを制御することが可能となり、特定の制御対象機器を選択する際の操作誤りを低減することができる。【００７１】
また、上述した第１〜２の実施形態に係る機器選択制御装置が行うそれぞれの処理手順は、記憶装置（ＲＯＭ、ＲＡＭ、ハードディスク等）に格納された上述した処理手順を実行可能な所定のプログラムデータが、ＣＰＵによって解釈実行されることで実現されてもよい。この場合、プログラムデータは、記憶媒体を介して記憶装置内に導入されてもよいし、記憶媒体上から直接実行されてもよい。なお、記憶媒体は、ＲＯＭやＲＡＭやフラッシュメモリ等の半導体メモリ、フレキシブルディスクやハードディスク等の磁気ディスクメモリ、ＣＤ−ＲＯＭやＤＶＤやＢＤ等の光ディスクメモリ、及びメモリカード等をいう。また、記憶媒体は、電話回線や搬送路等の通信媒体を含む概念である。【００７２】
また、上述した第１〜２の実施形態に係る機器選択制御装置に含まれる構成（例えば、情報取得部１０、機器検出部１２、機器中心位置捕捉部１４、機器中心位置記憶部２４、ぶれ許容閾値記憶部２５、判定部１６、映像処理部１８、及び表示データ生成部１９等）は、それぞれ集積回路であるＬＳＩとして実現することができる。これらは、個別に１チップ化されてもよいし、それぞれにおいて全てまたは一部を含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。【００７３】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応例が可能性としてありえる。
【産業上の利用可能性】
【００７４】
本発明に係る機器選択制御装置は、複数の制御対象候補の機器が遠くに離れている、あるいは密集して存在する場合に、その密集度に基づいてズーム処理を行なうタイミングを制御する機能を有し、複数の制御対象候補の機器を遠隔操作するリモコン機器等に適用できる。また、携帯電話や携帯情報端末などのネットワークに接続可能なモバイル機器等にも適用できる。
【図１】
2009110204.tif 000003
【図２】
2009110204.tif 000004
【図３】
2009110204.tif 000005
【図４】
2009110204.tif 000006
【図５】
2009110204.tif 000007
【図６】
2009110204.tif 000008
【図７】
2009110204.tif 000009
【図８】
2009110204.tif 000010
【図９】
2009110204.tif 000011
【図１０】
2009110204.tif 000012
【図１１】
2009110204.tif 000013
【図１２】
2009110204.tif 000014
【図１３】
2009110204.tif 000015
【手続補正書】
【提出日】平成21年10月29日(2009.10.29)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、リモートで他の機器を制御する機器選択制御装置であって、より特定的には、複数の制御対象候補の機器の中から、リモートで制御する特定の制御対象機器を選択する機器選択制御装置に関する。
【背景技術】
【０００２】
従来のリモートで他の機器を制御する装置としては、カメラを通して制御対象候補の機器を撮影することにより、制御対象候補の機器が持つ可視的な識別情報を用いて、特定の制御対象機器を識別して、識別した制御対象機器とネットワーク接続を確立するものがあった（例えば、特許文献１参照）。
【０００３】
また、複数の制御対象候補の機器が、カメラから遠くに離れている、あるいは密集しており、カメラで撮影された映像上に複数の制御対象候補の機器が密集して表示されている場合に、複数の制御対象候補の機器から、特定の制御対象機器を選択しやすくする装置としては、カメラで撮影された映像をズーム処理することにより、制御対象候補の機器を拡大して表示する装置や（例えば、特許文献２参照）、画像中央に近接する制御対象候補の機器にフォーカスを自動的に切り替える装置があった（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１４２８２５号公報
【特許文献２】特開２００５−０２５１７０号公報
【特許文献３】特開２００５−１２２４２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示の従来の装置では、カメラで撮影された映像上に、複数の制御対象候補の機器が密集して表示されていた場合、複数の制御対象候補の機器から、特定の制御対象機器を誤り無く選択することが困難であるという課題があった。また、特許文献２に開示の従来の装置では、カメラで撮影された映像を画面上に表示し、画面上に表示された映像をズーム処理する場合において、映像をズーム処理する倍率が大きい程、手の動きにより映像が大きくぶれてしまい、特定の制御対象機器を誤り無く選択するのが困難であるという課題があった。また、そのような状況下では、映像のぶれを画像処理によって補正する手振れ補正技術を使用し、ぶれの少ない滑らかな映像が得られた場合であっても、少しの手の動きにより、表示画面上では大きな移動として処理され、フォーカスされている制御対象候補の機器が頻繁に切り替わるという課題を有していた。また、特許文献３に開示の従来の装置も、特許文献２と同様の課題を有していた。
【０００６】
それ故に、本発明の目的は、上記従来の課題を解決するもので、複数の制御対象候補の機器が遠くに離れている、あるいは密集して存在する場合に、ズーム処理を行うタイミングを制御し、複数の制御対象候補の機器の中から、特定の制御対象機器を選択する際の操作誤りを低減する機器選択制御装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明は、複数の制御対象候補の機器から特定の制御対象機器を選択する機器選択制御装置に向けられている。そして、上記目的を達成するために、本発明の機器選択制御装置は、制御対象候補の機器を撮影した映像情報と、制御対象候補の機器を識別するための機器識別子とを含む情報を取得する情報取得部と、情報取得部が取得した情報から１つ以上の制御対象候補の機器の検出を行う機器検出部と、機器検出部が検出した制御対象候補の機器の位置情報を捕捉し、最初に捕捉した位置情報に基づいて、制御対象候補の機器のぶれ許容閾値を決定する機器中心位置捕捉部と、機器中心位置捕捉部が最初に捕捉した位置情報を保持する機器中心位置記憶部と、機器中心位置捕捉部が決定したぶれ許容閾値を保持するぶれ許容閾値記憶部と、機器中心位置捕捉部から受け取った最新の位置情報と、機器中心位置記憶部が保持している最初に捕捉した位置情報とを用いて、制御対象候補の機器のぶれ量を取得し、ぶれ量がぶれ許容閾値を越えた場合、映像情報のズーム処理への切り替えを判定する判定部と、判定部がズーム処理への切り替えを判定した場合、映像情報をズーム処理する映像処理部と、映像処理部から映像情報を取得し、表示データを生成する表示データ生成部とを備える。
【０００８】
好ましくは、機器中心位置捕捉部は、複数の制御対象候補の機器の中において、特定の制御対象候補の機器と他の制御対象候補の機器との間の距離を機器間距離とすると、機器間距離から最小の機器間距離を選択し、当該最小の機器間距離の半分の値を、特定の制御対象機器に対するぶれ許容閾値として設定する。
【０００９】
機器選択制御装置は、制御対象候補の機器を識別可能な機器識別子を含む機器情報を保持している機器情報データベースをさらに備えてもよい。この場合、機器検出部は、情報取得部から取得した機器識別子を用いて、機器情報データベースに格納されている機器情報を取得し、制御対象候補の機器の位置を特定することができる。
【００１０】
判定部は、ぶれ量がぶれ許容閾値を所定の回数超えたことを検出した時に、映像情報のズーム処理への切り替えを判定してもよい。
【００１１】
また、機器選択制御装置は、制御対象候補の機器と連携動作を行う機器を特定する連携情報に基づいて、機器検出部が検出した制御対象候補の機器の中から、従属関係にある制御対象候補の機器を除外する制御対象判断部をさらに備えてもよい。連携情報は、情報取得部が取得する情報に含まれている場合、制御対象判断部は、機器検出部を介して、情報取得部から連携情報を取得する。また、連携情報が機器情報データベースに格納されている機器情報に含まれている場合、制御対象判断部は、機器情報データベースから連携情報を取得する。
【発明の効果】
【００１２】
以上のように、本発明の機器選択制御装置は、複数の制御対象候補の機器の中から、特定の制御対象機器を選択する際に、リアルタイムで撮影している制御対象候補の機器のぶれ量に基づいてズーム処理を行うタイミングを制御することが可能となり、特定の制御対象機器を選択する際の操作誤りを低減することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態に係る機器選択制御装置１の構成の一例を示すブロック図
【図２】本発明の第１の実施形態に係る機器間距離記憶部２３が保持するデータの一例を示す図
【図３】本発明の第１の実施形態に係る機器中心位置記憶部２４が保持するデータの一例を示す図
【図４】本発明の第１の実施形態に係るぶれ許容閾値記憶部２５が保持するデータの一例を示す図
【図５】本発明の第１の実施形態に係る機器情報データベース１３が保持する機器情報の一例を示す図
【図６】本発明の第１の実施形態で用いる制御対象候補の機器の配置の一例を示す図
【図７】本発明の第１の実施形態に係る最新の中心位置のぶれ量を判定している処理イメージを示す図
【図８】本発明の第１の実施形態で用いる制御対象候補の機器の配置の一例を示す図
【図９】本発明の第１の実施形態に係る機器選択制御装置１が制御対象機器を選択する際の動作の一例を示すフローチャート
【図１０】本発明の実施形態における選択操作している際のディスプレイ上の表示イメージを示す図
【図１１】本発明の第２の実施形態に係る機器選択制御装置２の構成の一例を示すブロック図
【図１２】本発明の第２の実施形態に係る機器情報データベース２７が保持する機器情報の一例を示す図
【図１３】本発明の第２の実施形態で用いる制御対象候補の機器が連携している場合の処理イメージを示す図
【発明を実施するための形態】
【００１４】
以下、本発明の各実施形態について、図面を参照しながら説明する。
【００１５】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る機器選択制御装置１の構成の一例を示すブロック図である。図１において、機器選択制御装置１は、制御対象機器をリモート制御する機能（リモート制御機能）と、制御対象機器を選択する際に使用する外部の映像を取得する機能（映像取得機能）とを有している。なお、機器選択制御装置１は、携帯電話や携帯情報端末等のネットワークに接続可能なモバイル機器であってもよい。この場合、機器選択制御装置１は、制御用のアプリケーションをインストールするなどして、制御対象機器をリモート制御してもよい。また、制御対象機器としては、テレビやビデオ、音楽プレーヤ、ＤＶＤプレーヤなどのＡＶ機器や、エアコンや電灯といった家電機器や、ＦＡＸなどの通信機器が該当する。
【００１６】
図１において、機器選択制御装置１は、制御部１１、機器検出部１２、機器情報データベース１３、機器中心位置捕捉部１４、機器情報記憶部１５、判定部１６、状態情報記憶部１７、映像処理部１８、表示データ生成部１９、表示部２０、入力部２１、及び出力部２２を備える。また、機器情報記憶部１５は、機器間距離記憶部２３、機器中心位置記憶部２４、及びぶれ許容閾値記憶部２５を有する。なお、機器選択制御装置１は、入力部２１、出力部２２、表示部２０、及び機器情報記憶部１５を内部に備えずに、外部の構成を利用するものであってもよい。
【００１７】
情報取得部１０は、機器選択制御装置１の周辺情報を含む外部情報の取得処理を行う。例えば、情報取得部１０は、カメラなどを用いた映像取得機能や、外部からの信号情報を受信する受信機能などを備える。ここで取得する外部情報とは、例えば、カメラが撮影した周辺の画像情報や映像情報、周辺に位置する制御対象候補の機器から発信される、音波や、ＬＥＤやビーコンなどによる光信号や、ＲＦＩＣタグによる無線信号などの信号情報などである。ここでは、情報取得部１０は、カメラが撮影した映像情報と、ＬＥＤによる光信号とを外部情報として取得するものとする。また、情報取得部１０は、光信号や無線信号で伝達される信号情報に基づいて、制御対象候補の機器を識別するための機器識別子（機器ＩＤ）を取得することが可能となる。
【００１８】
制御部１１は、機器選択制御装置１が備える各種機能を制御する。具体的には、制御部１１は、入力部２１からリモート操作の開始要求を通知された場合、情報取得部１０に、外部情報の取得を指示する。また、制御部１１は、情報取得部１０が取得した情報（以下、取得情報と記載する）を受け取り、機器検出部１２や映像処理部１８に通知することで、制御対象機器を選択する際の通常モードでの表示画面の制御を行う。また、制御部１１は、判定部１６から機器選択モードへの遷移が通知されると、通常モードから機器選択モードへ切り替えて、機器選択モードでの表示画面の制御を行う。さらに、制御部１１は、入力部２１からの選択確定を受け取り、フォーカス中の制御対象候補の機器を制御対象機器として確定し、出力部２２に操作要求を通知する。
【００１９】
機器検出部１２は、情報取得部１０が取得した取得情報を、制御部１１を介して受け取り、機器選択制御装置１の周辺に位置する制御対象候補の機器の検出を行う。また、機器検出部１２は、検出した制御対象候補の機器に関する情報（例えば、制御対象候補の機器の位置を表す位置情報や、機器の大きさなどを表す形状情報）を取得し、機器中心位置捕捉部１４に通知する。この時、機器検出部１２は、取得情報として、制御対象候補の機器を識別するための機器ＩＤと共に、位置情報や形状情報を取得しても良いし、取得情報に含まれる機器ＩＤを用いて、機器選択制御装置１が備える機器情報データベース１３に格納されている形状情報等を取得してもよい。また、機器検出部１２は、カメラが撮影した映像情報と、ＬＥＤが発光している位置などを元に、映像情報を表示したリアルタイムな表示画面上での各機器の座標情報（すなわち、位置情報）や形状情報を取得してもよい。また、機器検出部１２は、取得した機器ＩＤを元に、ネットワークを通じて、外部から形状情報等を取得しても良い。
【００２０】
機器情報データベース１３（図５参照）は、制御対象候補の機器に関する機器情報を保持している。機器情報としては、例えば、制御対象候補の機器を識別するための機器ＩＤや、制御対象候補の機器の種別を表す機器種別や、制御対象候補の機器の大きさや形状を表す形状情報などが含まれる。詳細については図５を用いて後に説明する。
【００２１】
機器中心位置捕捉部１４は、機器検出部１２が検出した制御対象候補の機器に対し、通知された位置情報を用いて、制御対象候補の機器の中心位置の捕捉を行い、捕捉した中心位置を判定部１６に通知する。機器中心位置捕捉部１４は、カメラが撮影した映像情報とＬＥＤが発光している位置などに基づいて、制御対象候補の機器の中心位置を捕捉することができる。
【００２２】
また、機器中心位置捕捉部１４は、制御対象候補の機器を最初に検出した時は、初期処理として、機器間距離、初期中心位置、及びぶれ許容閾値を算出し、機器情報記憶部１５に保存する。具体的には、機器中心位置捕捉部１４は、捕捉した中心位置を用いて、制御対象候補の機器間の距離を算出し、当該算出した距離を機器間距離として機器間距離記憶部２３に保存する。また、機器中心位置捕捉部１４は、捕捉した中心位置を初期中心位置として機器中心位置記憶部２４に保存する。また、機器中心位置捕捉部１４は、制御対象候補の機器に対して、所定の距離をぶれ許容閾値として設定し、ぶれ許容閾値記憶部２５に保存する。
【００２３】
機器中心位置捕捉部１４は、例えば、制御対象候補の機器が複数存在する場合、ある制御対象候補の機器と他の制御対象候補の機器との機器間距離の内、最小の機器間距離の半分の値をぶれ許容閾値として設定する。なお、機器中心位置捕捉部１４は、ぶれ許容閾値をこれ以外の値に設定してもよく、例えば、最小の機器間距離の１／３や、１／４の値にぶれ許容閾値を設定してもよい。
【００２４】
判定部１６は、制御対象候補の機器に対して、機器中心位置捕捉部１４から受け取ったリアルタイムな中心位置の情報と、機器中心位置記憶部２４に格納されている初期中心位置とを比較する。そして、判定部１６は、制御対象候補の機器のぶれ量を計算し、ぶれ許容閾値記憶部２５に格納されているぶれ許容閾値を用いて、計算したぶれ量がぶれ許容閾値を超えているか否かの判定を行う。判定部１６は、判定結果として、計算したぶれ量がぶれ許容閾値を越えたタイミングで、機器選択モードへの遷移を決定し、制御部１１に通知する。
【００２５】
状態情報記憶部１７は、現在の処理モード（通常モード、又は機器選択モード）と、現在フォーカス中の制御対象候補の機器を識別するための情報（例えば、機器ＩＤ）とを保持している。
【００２６】
映像処理部１８は、表示部２０で表示する映像情報を処理する。また、映像処理部１８は、状態情報記憶部１７に格納されている処理モードが機器選択モードの場合、制御部１１から受け取った映像情報のズーム処理を行う。
【００２７】
表示データ生成部１９は、映像処理部１８が処理した映像情報を受け取り、フォーカス表示マークを映像情報に重ねて、表示データを生成し、表示部２０に出力する。なお、フォーカス表示マークは、映像情報の中の特定の機器、つまり、状態情報記憶部１７に格納されているフォーカス中の制御対象候補の機器に重ねて表示されることになる。また、状態情報記憶部１７に格納されている処理モードが機器選択モードの場合、生成された表示データは、フォーカス中の制御対象候補の機器がディスプレイ上の中心に位置するようにズーム処理される。
【００２８】
表示部２０は、ＬＣＤや液晶などの表示装置であって、表示データ生成部１９が生成した表示データをディスプレイ上に出力する。
【００２９】
入力部２１は、キーやタッチパネルなどの入力デバイスによるユーザからの入力操作や、機器選択制御装置１の上で動作するアプリケーションによる命令などを受信し、リモート操作の開始要求や、制御対象機器の選択確定を制御部１１に通知する。
【００３０】
出力部２２は、制御部１１から操作要求を受け取り、確定された制御対象機器に対するリモート操作信号を生成し、生成した操作信号の出力を行う。
【００３１】
次に、機器選択制御装置１が用いるデータについて、詳細を説明する。図２は、機器間距離記憶部２３が保持するデータの一例を示している。図２において、機器間距離記憶部２３は、機器検出部１２が検出した複数の制御対象候補の機器の間の距離（すなわち、機器間距離）を保持する。この例では、機器間距離記憶部２３は、制御対象候補の機器毎に、管理ＩＤと、機器ＩＤと、機器種別と、機器間距離とを保持しているものとする。
【００３２】
管理ＩＤは、初期処理で機器検出部１２が検出した、制御対象候補の機器を管理するためのＩＤである。機器ＩＤは、制御対象候補の機器を識別するための識別情報であり、例えば、商品出荷時に割り当てられる。機器ＩＤは、情報取得部１０が取得する取得情報に含まれていてもよいし、機器情報データベース１３から取得してもよい。機器種別は、対象の機器の種別を表す。この例では、機器種別は、対象の機器が、ＴＶ、ＤＶＤレコーダ、コンポであることを表している。機器種別は、情報取得部１０が取得する取得情報に含まれていてもよいし、機器情報データベース１３から取得してもよい。機器間距離の単位は、ディスプレイ上での距離単位であるピクセルなどを用いてもよい。
【００３３】
図３は、機器中心位置記憶部２４が保持するデータの一例を示している。図３において、機器中心位置記憶部２４は、初期処理時における制御対象候補の機器の中心位置（すなわち、初期中心位置）を保持する。この例では、機器中心位置記憶部２４は、制御対象候補の機器毎に、管理ＩＤと、初期中心位置とを保持しているものとする。初期中心位置は、ディスプレイ上の左下の位置を座標の基準点（０、０）とした、ディスプレイ上の座標（Ｘ座標、Ｙ座標）で表されている。また、機器中心位置記憶部２４は、管理ＩＤの代わりに、機器ＩＤを保持してもよい。
【００３４】
図４は、ぶれ許容閾値記憶部２５が保持するデータの一例を示している。図４において、ぶれ許容閾値記憶部２５は、通常モードから機器選択モードへの遷移タイミングを判断するための、制御対象候補の機器の初期中心位置からのぶれ許容閾値を保持している。この例では、ぶれ許容閾値記憶部２５は、制御対象候補の機器毎に、管理ＩＤと、ぶれ許容閾値とを保持しているものとする。ここでは、ある制御対象候補の機器と他の制御対象候補の機器との機器間距離の内、最小の機器間距離の半分の値が、ぶれ許容閾値として設定されているものとする。ぶれ許容閾値の単位は、ディスプレイ上での距離単位であるピクセルなどを用いてもよい。また、ぶれ許容閾値記憶部２５は、管理ＩＤを保持するとしたが、管理ＩＤの代わりに、機器ＩＤを保持してもよい。
【００３５】
なお、機器情報記憶部１５は、機器間距離記憶部２３と機器中心位置記憶部２４とぶれ許容閾値記憶部２５とに、３つの異なるテーブルを保持するとしたが、１つのテーブルでまとめて保持してもよく、またテーブル以外のフォーマットで管理してもよい。
【００３６】
図５は、機器情報データベース１３が保持する機器情報の一例を示している。図５において、機器情報データベース１３は、制御対象候補となる可能性がある機器に関する機器情報を保持する。この例では、機器情報データベース１３は、制御対象候補となる可能性がある機器毎に、機器ＩＤと、機器種別と、機器の大きさや形状等を表す形状情報とを保持しているものとする。表示データ生成部１９は、この形状情報を用いることで、フォーカス表示マークのサイズを変更することが可能となる。例えば、表示データ生成部１９は、フォーカス中の制御対象候補の機器のサイズが大きければ、これに合わせてフォーカス表示マークのサイズを大きくすることができる。機器情報データベース１３が保持する機器情報は、商品出荷時に割り当てられいてもよいし、ユーザにより割り当てられてもよいし、ネットワークを介して取得されてもよい。
【００３７】
図６は、図２〜４に一例として示した各設定値と対応する制御対象候補の機器の配置を例示している。図６において、星印は、制御対象候補の機器の初期中心位置を示しており、この初期中心位置を用いて、機器間距離を決定している。例えば、ＴＶとコンポとの機器間距離は３０ｐｔであり、ＴＶとＤＶＤレコーダとの機器間距離は２０ｐｔであり、コンポとＤＶＤレコーダとの機器間距離は５０ｐｔである。また、波線で示す円は、各制御対象候補の機器に対応した初期中心位置からのぶれ許容閾値の範囲を表している。例えば、ＴＶを中心とする円の半径（ぶれ許容閾値）は、ＴＶとコンポとの機器間距離３０ｐｔと、ＴＶとＤＶＤレコーダとの機器間距離２０ｐｔの内、最小の機器間距離２０ｐｔの半分の値１０ｐｔに設定される。
【００３８】
図７は、判定部１６が、制御対象候補の機器の最新の中心位置のぶれ量を判定する際の処理イメージを図に示している。図７では、各制御対象候補の機器の初期中心位置を星印で示しており、初期中心位置を中心とする円は、ぶれ許容閾値だけ離れた距離にある点の集合を示している。判定部１６は、制御対象候補の機器の最新の中心位置が、この円を超えたタイミングで、制御対象候補の機器のぶれ量がぶれ許容閾値を超えたと判定する。なお、機器間距離が大きい程、ぶれ許容閾値は大きくなり、ここで記述されている円も大きくなる。
【００３９】
すなわち、表示されている映像における機器間距離が大きい場合は、ユーザにとって、制御対象候補の機器を選択することが容易である。逆に、制御対象候補の機器が密集していて機器間距離が小さい場合や、制御対象候補の機器とユーザとの距離が遠い場合に、例えば手振れや、ズーム画像における操作などにより映像が大きくぶれてしまい、制御対象候補の機器の中心位置が定まらず、特定の制御対象機器を選択するのは困難である。このことから、機器選択制御装置１は、制御対象候補の機器のぶれ量が、ぶれ許容閾値を超えた場合、制御対象候補の機器の密集度が高いと判定して、機器選択モードへと遷移する。
【００４０】
なお、機器選択制御装置１は、図８に示すように、初期中心位置からＸ軸方向にぶれ許容閾値だけ離れた位置に、Ｙ軸と平行する直線を引いて、制御対象候補の機器の最新の中心位置が、このＹ軸と平行する直線を越えた場合、制御対象候補の機器の密集度が高いと判定して、機器選択モードへと遷移してもよい。
【００４１】
また、機器選択制御装置１は、映像情報の中の制御対象候補の機器の数が、所定の数を超えた場合に、制御対象候補の機器の密集度が高いと判定して、機器選択モードへと遷移すると判定してもよい。あるいは、機器選択制御装置１は、映像情報の特定の範囲内にある制御対象候補の機器の数が、所定の数を超えた場合に、制御対象候補の機器の密集度が高いと判定して、機器選択モードへと遷移すると判定してもよい。
【００４２】
次に、機器選択制御装置１が、リモート操作する制御対象機器を選択する動作について、図９を用いて説明する。まず、ユーザ入力操作などにより、制御部１１が、入力部２１からリモート操作の開始要求を通知されることで、動作を開始する。制御部１１は、情報取得部１０に外部情報の取得を指示し、情報取得部１０から取得情報を受け取り、受け取った取得情報を機器検出部１２に通知する（ステップＳ１０）。ここで、取得情報は、カメラが撮影した映像情報や、ＬＥＤによる光信号などを含む情報である。また、取得情報は、これらを組み合わせた情報であってもよい。ここでは、取得情報として、カメラが撮影した映像情報と、ＬＥＤによる光信号とを例に説明する。制御部１１は、ＬＥＤなどの指向性のある光信号を受信することによって、制御対象候補の機器がどの方向や位置にあるのかを検出することが可能となる。
【００４３】
次に、機器検出部１２は、情報取得部１０が取得した取得情報を、制御部１１を介して受け取り、周辺に位置する制御対象候補の機器の検出を行う（ステップＳ１１）。また、機器検出部１２は、検出した制御対象候補の機器の位置を表す位置情報や、機器の大きさや形状などを表す形状情報を取得し、機器中心位置捕捉部１４に通知する。なお、機器検出部１２は、受け取った取得情報から、機器ＩＤ、位置情報、及び形状情報等を得ても良いし、取得情報に含まれる機器ＩＤを元に、機器情報データベース１３に対して、形状情報等を問い合わせても良い。また、機器検出部１２は、ネットワークを通じて、新たに形状情報等を取得しても良い。
【００４４】
機器中心位置捕捉部１４は、初期処理として、機器検出部１２が検出した全ての制御対象候補の機器に対し、通知された位置情報を用いて、機器間距離、初期中心位置、及びぶれ許容閾値情報を算出し、機器情報記憶部１５に保存する（ステップＳ１２）。具体的には、機器中心位置捕捉部１４は、機器検出部１２が検出した各制御対象候補の機器に対し、通知された位置情報を用いて、各制御対象候補の機器の中心位置の捕捉を行い、捕捉した中心位置を用いて、機器間距離を算出し、機器間距離記憶部２３に保存する。また、機器中心位置捕捉部１４は、捕捉した中心位置を初期中心位置として機器中心位置記憶部２４に保存する。また、機器中心位置捕捉部１４は、各制御対象候補の機器に対して、所定の距離をぶれ許容閾値として設定し、ぶれ許容閾値記憶部２５に保存する。
【００４５】
機器中心位置捕捉部１４は、初期処理として、機器間距離、初期中心位置、及びぶれ許容閾値情報を保存した後、捕捉した中心位置を判定部１６に通知する。判定部１６は、中心位置を通知されると、通常モード動作の開始を制御部１１に通知する。制御部１１は、状態情報記憶部１７に格納されている現在の処理モードに通常モードを設定する。これによって、通常モードでの動作が開始される（ステップＳ１３）。
【００４６】
制御部１１は、ぶれを判定するためのタイマーを設定し（ステップＳ１４）、情報取得部１０から通知されるリアルタイムな映像情報を映像処理部１８に出力する。映像処理部１８は、状態情報記憶部１７に格納されている処理モードが通常モードであることからズーム処理を行わずに、映像情報を表示データ生成部１９に通知する。表示データ生成部１９は、受け取った映像情報に、フォーカス表示マークを重ねて、表示データを生成し、表示部２０に出力する（ステップＳ１５）。なお、ここでは、状態情報記憶部１７のフォーカス中の制御対象候補の機器として、特定の機器が設定されていないため、フォーカス表示マークは、ディスプレイの中心に重ねて表示されることになる。
【００４７】
制御部１１は、入力部２１から選択操作完了通知を受け取ると（ステップＳ１６がＹｅｓ）、選択された制御対象候補の機器を制御対象機器として決定し、処理を完了する。一方、制御部１１は、入力部２１から選択操作完了通知を受け取らない場合（ステップＳ１６がＮｏ）、情報取得部１０からリアルタイムな映像情報を含む取得情報を受け取り（ステップＳ１７）、設定したタイマーがタイムアウトするまで（ステップＳ１８がＮｏ）、ステップＳ１５からステップＳ１８までの処理を繰り返す。これにより、リアルタイムな映像情報が表示部２０のディスプレイ上に表示されることになる。
【００４８】
設定したタイマーがタイムアウトすると（ステップＳ１８がＹｅｓ）、制御部１１は、情報取得部１０から受け取った取得情報を機器検出部１２に通知する。機器検出部１２は、制御対象候補の機器の最新の位置情報を取得し、機器中心位置捕捉部１４に通知する。機器中心位置捕捉部１４は、通知された位置情報を用いて、制御対象候補の機器の最新の中心位置の捕捉を行い、判定部１６に通知する。判定部１６は、機器中心位置捕捉部１４から通知された最新の中心位置と、機器中心位置記憶部２４に格納されている初期中心位置とを用いて、制御対象候補の機器の映像上での初期中心位置からのぶれ量を取得する（ステップＳ１９）。判定部１６は、取得したぶれ量と、ぶれ許容閾値記憶部２５に格納されているぶれ許容閾値とを比較し、ぶれ量がぶれ許容閾値を超えているか否かを判定する（ステップＳ２０）。
【００４９】
ぶれ量がぶれ許容閾値を越えていない場合（ステップＳ２０がＮｏ）、ステップＳ１５に遷移し、通常モードでの処理を繰り返す。一方、ぶれ量がぶれ許容閾値を越えている場合（ステップＳ２０がＹｅｓ）、判定部１６は、通常モードから機器選択モードへの遷移を決定し、制御部１１に通知する。制御部１１は、状態情報記憶部１７に格納されている現在の処理モードに機器選択モードを設定し、現在フォーカス中の制御対象候補の機器として、現在ディスプレイ上の中心位置に存在する機器の管理ＩＤを設定する（ステップＳ２１）。これにより、ぶれ量がぶれ許容閾値を越えたタイミングで、通常モードから機器選択モードに切り替えることが可能となる。
【００５０】
制御部１１は、情報取得部１０から通知されるリアルタイムな映像情報を映像処理部１８に出力する。映像処理部１８は、状態情報記憶部１７に格納されている処理モードが機器選択モードであることからズーム処理を行い、ズーム処理後の映像情報を表示データ生成部１９に通知する。表示データ生成部１９は、映像処理部１８から受け取ったズーム処理後の映像情報に、フォーカス表示マークを重ねて、表示データを生成し、表示部２０に出力する（ステップＳ２２）。なお、ここでは、フォーカス表示マークは、映像情報の中の特定の機器、つまり、状態情報記憶部１７に格納されているフォーカス中の制御対象候補の機器に重ねて表示されることになる。また、状態情報記憶部１７に格納されている処理モードが機器選択モードであるため、生成された表示データは、フォーカス中の制御対象候補の機器がディスプレイ上の中心に位置するようズームされている。
【００５１】
制御部１１は、入力部２１から選択操作完了通知を受け取ると（ステップＳ２３がＹｅｓ）、フォーカス中の制御対象候補の機器を制御対象機器として決定し、処理を完了する。一方、入力部２１から選択操作完了通知を受け取らない場合（ステップＳ２３がＮｏ）、制御部１１は、情報取得部１０からリアルタイムな映像情報を含む取得情報を受け取り（ステップＳ２４）、ステップＳ２２に遷移し、機器選択モードでの処理を繰り返す。
【００５２】
以上により、機器選択制御装置１は、制御対象候補の機器のぶれ量が、ぶれ許容閾値を越えたタイミングで、通常モードから機器選択モードに切り替えることが可能となる。
【００５３】
図１０は、複数の制御対象候補の機器から、特定の制御対象機器を選択している際のディスプレイ上の表示イメージを示した図である。図１０を参照して、機器選択制御装置１は、通常モードでの動作中は、ディスプレイの中心にフォーカス表示マークを重ねて表示する。ここでは、制御対象候補の機器が密集しているため、フォーカス枠内に複数の制御対象候補の機器が表示されている例を示しており、通常モードの動作中に、ぶれ量がぶれ許容閾値を超えた時に、機器選択モードに遷移する。
【００５４】
機器選択制御装置１は、機器選択モードの動作中は、フォーカス中の１つの制御対象候補の機器がディスプレイ上の中心に位置するように、映像情報をズーム表示する。ここでは、フォーカス表示マークの形状を、制御対象候補の機器の大きさに合わせて変化させる例を示している。また、ユーザ操作として、ユーザが右の方を表示する操作（機器選択制御装置１を右に傾ける、右に振る、右カーソルを押下するなど）を行うと、機器選択制御装置１は、現在表示している制御対象候補の機器の右隣に位置する機器をディスプレイ上の中心に表示してもよい。また、同じくユーザが左の方を表示する操作（機器選択制御装置１を左に傾ける、左に振る、左カーソルを押下するなど）を行うと、機器選択制御装置１は、現在表示している制御対象候補の機器の左隣に位置する機器をディスプレイ上の中心に表示してもよい。また、右端に位置する機器を表示している時に、ユーザが更に右の機器を選択しようとすると、機器選択制御装置１は、機器選択モードを解除し通常モードに遷移する処理を行ってもよい。
【００５５】
以上のように、本発明の第１の実施形態に係る機器選択制御装置１は、複数の制御対象候補の機器の中から、特定の制御対象機器を選択する際に、カメラが撮影した周辺の映像情報と、周辺に位置する制御対象候補の機器から発信される光信号とを取得情報として受け取り、受け取った取得情報を元に、初期処理として、制御対象候補の機器の中心位置とぶれ許容閾値とを決定して記憶する。そして、ユーザによる選択操作中に継続して受信する取得情報を用いて、制御対象候補の機器のリアルタイムなぶれ量を判定し、ぶれ量がぶれ許容閾値を超えた場合に、複数の制御対象候補の機器が遠くに離れている、あるいは密集して存在すると判断し、機器選択モードに遷移して選択操作を継続する。これにより、機器選択制御装置１は、複数の制御対象候補の機器の中から、特定の制御対象機器を選択する際に、リアルタイムで撮影している制御対象候補の機器のぶれ量に基づいてズーム処理を行うタイミングを制御することが可能となり、特定の制御対象機器を選択する際の操作誤りを低減することができる。
【００５６】
なお、機器選択制御装置１は、機器選択モード時の映像情報のズーム処理において、選択操作開始後のあるタイミングの画像を拡大して表示しても良いし、手振れ補正の技術を用いつつ、実際にズーム処理された映像情報を表示しても良い。ただし、実際のユーザの動作に合わせて映像情報をそのまま表示するのではなくて、実際に映像情報上で移動した制御対象候補の機器の例えば半分の移動距離を、制御対象候補の機器が移動したとして、映像情報を補正して作成するなどして表示を行う。
【００５７】
また、機器選択制御装置１は、機器選択モードの操作時に、ユーザ操作によるカメラの移動距離と移動方向に応じて、表示されている映像情報をスクロール表示し、次の選択対象候補の機器が画面に表示された場合に、次の選択対象候補の機器にフォーカスを変更してもよい。また、次の選択対象候補の機器の映像情報を必ずディスプレイの中央位置に表示するように切り替え表示してもよい。
【００５８】
また、上述した実施形態では、ユーザ入力操作などにより、制御部１１が入力部２１からリモート操作の開始要求を受け取り、外部情報の取得を開始することで、ステップＳ１１以降の処理に進むとしたが、情報取得部１０が外部情報の取得を続けていて、一定時間の間、機器選択制御装置１の位置や向きに変化がない場合に、ステップＳ１１以降の処理に進むとしてもよい。
【００５９】
また、上述した実施形態では、機器検出部１２が検出した制御対象候補の機器に関する情報（位置情報や形状情報）を機器中心位置捕捉部１４に通知し、機器中心位置捕捉部１４が、機器間距離、初期中心位置、及びぶれ許容閾値を算出し、機器情報記憶部１５に保存する例を示したが、機器検出部１２が、機器間距離、初期中心位置、及びぶれ許容閾値を算出し、機器情報記憶部１５に保存してもよい。
【００６０】
また、機器選択制御装置１は、初期中心位置からのぶれ量によって、通常モードか機器選択モードかに遷移することを判定したが、ぶれ量がぶれ許容閾値を超えていた場合であっても、ぶれ量がその機器の形状内に収まっている場合は、機器選択モードへ遷移しないと判定してもよい。
【００６１】
（第２の実施形態）
図１１は、本発明の第２の実施形態に係る機器選択制御装置２の構成の一例を示すブロック図である。図１１において、機器選択制御装置２は、第１の実施形態に係る機器選択制御装置１と比較して、機器検出部２６の動作及び機器情報データベース２７が保持する機器情報が異なると共に、制御対象判断部２８をさらに備える。図１１において、第１の実施形態に係る機器選択制御装置１と同じ構成要素については同じ参照符号を用い、説明を省略する。
【００６２】
図１１において、機器検出部２６は、情報取得部１０が取得した取得情報を、制御部１１を介して受け取り、機器選択制御装置２の周辺に位置する制御対象候補の機器の検出を行う点は第１の実施形態と同様である。ただし、機器検出部２６は、制御対象判断部２８に問い合わせて、実際に制御対象候補の機器として扱う機器に関する情報のみを、機器中心位置捕捉部１４に通知する。この時、機器検出部２６は、取得情報として、制御対象候補の機器ＩＤと共に連携情報を得ても良いし、取得情報に含まれる機器ＩＤを用いて、機器情報データベース２７に格納されている連携情報を取得してもよい。
【００６３】
ここで、連携情報とは、ある制御対象候補の機器と連携動作を行う機器（連携対象機器）が存在する場合に、連携対象機器を特定する情報である。典型的には、連携情報は、連携対象機器の機器ＩＤを意味する。また、連携動作とは、例えば、ある制御対象候補の機器を操作すると、その機器と連携している別の機器も同時に操作可能であることをいう。また、機器検出部１２は、カメラが撮影した映像情報とＬＥＤが発光している位置などを元に、映像情報を表示したリアルタイムな表示画面上での制御対象候補の機器の位置情報や形状情報を取得してもよい。また、機器検出部１２は、取得した機器ＩＤを元に、ネットワークを通じて、外部から形状情報等を取得しても良い。
【００６４】
機器情報データベース２７（図１２参照）は、制御対象候補となる可能性のある機器に関する機器情報を保持している。機器情報としては、機器ＩＤ、機器種別、形状情報に加えて、連携情報が含まれる。
【００６５】
図１２は、機器情報データベース２７が保持する機器情報の一例を示している。図１２において、機器情報データベース２７は、制御対象候補となる可能性がある機器に関する機器情報を保持している。この例では、機器情報には、機器ＩＤと、機器種別と、形状情報に加えて、連携情報が含まれる。連携情報として、ある制御対象候補の機器と連携動作を行う他機器（連携対象機器）が存在する場合、連携対象機器の機器ＩＤが設定されている。なお、ここでは、ＤＶＤレコーダ（ＤＩＤ３）が、ＴＶ（ＤＩＤ２）と連携しており、従属関係にある機器（ＤＶＤレコーダ）の連携情報に、ＴＶ（ＤＩＤ２）が設定されている一例を示している。
【００６６】
制御対象判断部２８は、機器検出部２６からの問い合わせに応じて、実際に制御対象候補の機器として扱う機器を判断する。具体的には、制御対象判断部２８は、連携機能間の主従関係を認識し、従属関係にある機器を選択対象から除外する。なお、制御対象判断部２８は、特定の機器を選択対象外として、機器情報データベース２７に前もって登録することで、選択対象から除外する機器と判断してもよい。
【００６７】
次に、図１３を用いて、ＴＶ３１とＤＶＤレコーダ３２とが、機器間リンク機能により連携している場合の機器選択制御装置２の動作について具体的に説明する。この場合、機器選択制御装置２には、ＴＶ３１からはＤＶＤレコーダ３２と連携している旨の連携情報が通知され、ＤＶＤレコーダ３２からは、ＴＶ３１と連携している旨の連携情報が通知される。機器選択制御装置２において、機器検出部２６は、これらの通知された連係情報を検出し、機器対象判断部２８に通知する。機器対象判断部２８は、連携機器間の主従関係を認識し、従属関係にある機器（この例では、ＤＶＤレコーダ３２）を選択対象から除外する。このように、従属関係にある機器を選択対象から除外することで、選択対象候補の機器の数を減らし、ユーザによる選択動作を容易にすることができる。なお、ＴＶ３１、及びＤＶＤレコーダ３２の両方が、連携情報を発信しているとしたが、片方のみが連携情報を発信するとしてもよい。
【００６８】
機器検出部２６は、ＤＶＤレコーダ３２からＴＶ３１と連携している旨の連記情報を通知されると、機器情報データベース２７に、通知された連係情報を保存する。この例では、ＤＶＤレコーダ３２からの連係情報としてＴＶ３１と連携していることを記録し、従属関係にあるＤＶＤレコーダ３２を選択対象から除外する。
【００６９】
このように、機器選択制御装置２は、従属関係にある機器を認識し、選択対象から除外することで、選択対象候補の機器として表示される機器が少なくなるとともに、ぶれ許容閾値が大きくなり、複数の機器の中から制御する機器を選択する際の操作誤りを低減することが可能となる。
【００７０】
以上のように、本発明の第２の実施形態に係る機器選択制御装置２は、複数の制御対象候補の機器の中から、特定の制御対象機器を選択する際に、カメラが撮影した周辺の映像情報と周辺に位置する制御対象候補の機器から発信される光信号とを取得情報として受け取り、受け取った取得情報を元に、従属関係にある制御対象候補の機器を選択対象から除外する。次に、残った制御対象候補の機器に対して、初期処理として、制御対象候補の機器の中心位置とぶれ許容閾値とを決定して記憶する。そして、ユーザによる選択操作中に継続して受信する取得情報を用いて、制御対象候補の機器のリアルタイムなぶれ量を判定し、ぶれ量がぶれ許容閾値を超えた場合に、複数の制御対象候補の機器が遠くに離れている、あるいは密集して存在すると判断し、機器選択モードに遷移して選択操作を継続する。これにより、機器選択制御装置２は、複数の制御対象候補の機器の中から、特定の制御対象機器を選択する際に、従属関係にある制御対象候補の機器を除外した上で、リアルタイムで撮影している制御対象候補の機器のぶれ量に基づいてズーム処理を行うタイミングを制御することが可能となり、特定の制御対象機器を選択する際の操作誤りを低減することができる。
【００７１】
また、上述した第１〜２の実施形態に係る機器選択制御装置が行うそれぞれの処理手順は、記憶装置（ＲＯＭ、ＲＡＭ、ハードディスク等）に格納された上述した処理手順を実行可能な所定のプログラムデータが、ＣＰＵによって解釈実行されることで実現されてもよい。この場合、プログラムデータは、記憶媒体を介して記憶装置内に導入されてもよいし、記憶媒体上から直接実行されてもよい。なお、記憶媒体は、ＲＯＭやＲＡＭやフラッシュメモリ等の半導体メモリ、フレキシブルディスクやハードディスク等の磁気ディスクメモリ、ＣＤ−ＲＯＭやＤＶＤやＢＤ等の光ディスクメモリ、及びメモリカード等をいう。また、記憶媒体は、電話回線や搬送路等の通信媒体を含む概念である。
【００７２】
また、上述した第１〜２の実施形態に係る機器選択制御装置に含まれる構成（例えば、情報取得部１０、機器検出部１２、機器中心位置捕捉部１４、機器中心位置記憶部２４、ぶれ許容閾値記憶部２５、判定部１６、映像処理部１８、及び表示データ生成部１９等）は、それぞれ集積回路であるＬＳＩとして実現することができる。これらは、個別に１チップ化されてもよいし、それぞれにおいて全てまたは一部を含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００７３】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応例が可能性としてありえる。
【産業上の利用可能性】
【００７４】
本発明に係る機器選択制御装置は、複数の制御対象候補の機器が遠くに離れている、あるいは密集して存在する場合に、その密集度に基づいてズーム処理を行うタイミングを制御する機能を有し、複数の制御対象候補の機器を遠隔操作するリモコン機器等に適用できる。また、携帯電話や携帯情報端末などのネットワークに接続可能なモバイル機器等にも適用できる。
【符号の説明】
【００７５】
１０    情報取得部
１１    制御部
１２    機器検出部
１３    機器情報データベース
１４    機器中心位置捕捉部
１５    機器情報記憶部
１６    判定部
１７    状態情報記憶部
１８    映像処理部
１９    表示データ生成部
２０    表示部
２１    入力部
２２    出力部
２３    機器間距離記憶部
２４    機器中心位置記憶部
２５    ぶれ許容閾値記憶部
２６    機器検出部
２７    機器情報データベース
２８    制御対象判断部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の制御対象候補の機器から特定の制御対象機器を選択する機器選択制御装置であって、
前記制御対象候補の機器を撮影した映像情報と、前記制御対象候補の機器を識別するための機器識別子とを含む情報を取得する情報取得部と、
前記情報取得部が取得した情報から１つ以上の制御対象候補の機器の検出を行う機器検出部と、
前記機器検出部が検出した前記制御対象候補の機器の位置情報を捕捉し、最初に捕捉した位置情報に基づいて、前記制御対象候補の機器のぶれ許容閾値を決定する機器中心位置捕捉部と、
前記機器中心位置捕捉部が最初に捕捉した位置情報を保持する機器中心位置記憶部と、
前記機器中心位置捕捉部が決定した前記ぶれ許容閾値を保持するぶれ許容閾値記憶部と、
前記機器中心位置捕捉部から受け取った最新の位置情報と、前記機器中心位置記憶部が保持している最初に捕捉した位置情報とを用いて、前記制御対象候補の機器のぶれ量を取得し、前記ぶれ量が前記ぶれ許容閾値を越えた場合、前記映像情報のズーム処理への切り替えを判定する判定部と、
前記判定部がズーム処理への切り替えを判定した場合、前記映像情報をズーム処理する映像処理部と、
前記映像処理部から映像情報を取得し、表示データを生成する表示データ生成部とを備える、機器選択制御装置。
【請求項２】
前記機器中心位置捕捉部は、前記複数の制御対象候補の機器の中において、特定の制御対象候補の機器と他の制御対象候補の機器との間の距離を機器間距離とすると、前記機器間距離から最小の機器間距離を選択し、当該最小の機器間距離の半分の値を、前記特定の制御対象候補の機器の前記ぶれ許容閾値として決定することを特徴とする、請求項１に記載の機器選択制御装置。
【請求項３】
前記制御対象候補の機器を識別可能な機器識別子を含む機器情報を保持している機器情報データベースをさらに備え、
前記機器検出部は、前記情報取得部から取得した機器識別子を用いて、前記機器情報データベースに格納されている機器情報を取得し、前記制御対象候補の機器の位置を特定することを特徴とする、請求項１に記載の機器選択制御装置。
【請求項４】
前記判定部は、前記ぶれ量が前記ぶれ許容閾値を所定の回数超えたことを検出した時に、前記映像情報のズーム処理への切り替えを判定することを特徴とする、請求項１に記載の機器選択制御装置。
【請求項５】
前記制御対象候補の機器と連携動作を行う機器を特定する連携情報に基づいて、前記機器検出部が検出した前記制御対象候補の機器の中から、従属関係にある制御対象候補の機器を除外する制御対象判断部をさらに備えることを特徴とする、請求項１に記載の機器選択制御装置。
【請求項６】
前記連携情報は、前記情報取得部が取得する情報に含まれており、
前記制御対象判断部は、前記機器検出部を介して、前記情報取得部から前記連携情報を取得することを特徴とする、請求項５に記載の機器選択制御装置。
【請求項７】
前記連携情報は、前記機器情報データベースに格納されている機器情報に含まれており、
前記制御対象判断部は、前記機器情報データベースから前記連携情報を取得することを特徴とする、請求項５に記載の機器選択制御装置。
【請求項８】
複数の制御対象候補の機器から特定の制御対象機器を選択する機器選択制御装置に用いられる集積回路であって、
前記制御対象候補の機器を撮影した映像情報と、前記制御対象候補の機器を識別するための機器識別子とを含む情報を取得する情報取得部と、
前記情報取得部が取得した情報から１つ以上の制御対象候補の機器の検出を行う機器検出部と、
前記機器検出部が検出した前記制御対象候補の機器の位置情報を捕捉し、最初に捕捉した位置情報に基づいて、前記制御対象候補の機器のぶれ許容閾値を決定する機器中心位置捕捉部と、
前記機器中心位置捕捉部が最初に捕捉した位置情報を保持する機器中心位置記憶部と、
前記機器中心位置捕捉部が決定した前記ぶれ許容閾値を保持するぶれ許容閾値記憶部と、
前記機器中心位置捕捉部から受け取った最新の位置情報と、前記機器中心位置記憶部が保持している最初に捕捉した位置情報とを用いて、前記制御対象候補の機器のぶれ量を取得し、前記ぶれ量が前記ぶれ許容閾値を越えた場合、前記映像情報のズーム処理への切り替えを判定する判定部と、
前記判定部がズーム処理への切り替えを判定した場合、前記映像情報をズーム処理する映像処理部と、
前記映像処理部から映像情報を取得し、表示データを生成する表示データ生成部とを備える、集積回路。
【請求項９】
複数の制御対象候補の機器から特定の制御対象機器を選択する方法であって、
前記制御対象候補の機器を撮影した映像情報と、前記制御対象候補の機器を識別するための機器識別子とを含む情報を取得する情報取得ステップと、
前記情報取得ステップが取得した情報から１つ以上の制御対象候補の機器の検出を行う機器検出ステップと、
前記機器検出ステップが検出した前記制御対象候補の機器の位置情報を捕捉し、最初に捕捉した位置情報に基づいて、前記制御対象候補の機器のぶれ許容閾値を決定する機器中心位置捕捉ステップと、
前記機器中心位置捕捉ステップから受け取った最新の位置情報と、前記機器中心位置捕捉ステップが最初に捕捉した位置情報とを用いて、前記制御対象候補の機器のぶれ量を取得し、前記ぶれ量が前記ぶれ許容閾値を越えた場合、前記映像情報のズーム処理への切り替えを判定する判定ステップと、
前記判定ステップがズーム処理への切り替えを判定した場合、前記映像情報をズーム処理する映像処理ステップと、
前記映像処理ステップから映像情報を取得し、表示データを生成する表示データ生成ステップとを備える、方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009110204.tif 000016
【図２】
2009110204.tif 000017
【図３】
2009110204.tif 000018
【図４】
2009110204.tif 000019
【図５】
2009110204.tif 000020
【図６】
2009110204.tif 000021
【図７】
2009110204.tif 000022
【図８】
2009110204.tif 000023
【図９】
2009110204.tif 000024
【図１０】
2009110204.tif 000025
【図１１】
2009110204.tif 000026
【図１２】
2009110204.tif 000027
【図１３】
2009110204.tif 000028
【国際調査報告】
2009110204.tif 000029
2009110204.tif 000030
2009110204.tif 000031
2009110204.tif 000032