(57)【要約】      （修正有）【課題】一つの入力装置を用いてより容易かつ簡単に複数のディスプレイ装置を制御する。【解決手段】複数のディスプレイ装置と接続された制御装置は、ユーザの位置する領域を撮影し、ユーザ撮影映像を生成し（Ｓ４１０）、ユーザ撮影映像に基づいて、複数のディスプレイの中からユーザの凝視するディスプレイ装置を判断し（Ｓ４２０）、判断されたディスプレイ装置を制御対象ディスプレイ装置に決定し（Ｓ４３０）、ユーザ命令が入力されると（Ｓ４４０）、制御対象ディスプレイ装置にユーザ命令に対応する制御信号を伝送する（Ｓ４５０）。【選択図】図４
2014021985.tif 000002
【特許請求の範囲】
【請求項１】
複数のディスプレイ装置と接続された制御装置の制御方法において、
ユーザの位置する領域を撮影し、ユーザ撮影映像を生成するステップと、
前記ユーザ撮影映像に基づいて、複数のディスプレイの中からユーザの凝視するディスプレイ装置を判断し、前記判断されたディスプレイ装置を制御対象ディスプレイ装置に決定するステップと、
ユーザ命令が入力されると、前記制御対象ディスプレイ装置に前記ユーザ命令に対応する制御信号を伝送するステップと
を含む制御方法。
【請求項２】
前記制御装置は、
前記ユーザ命令を入力される入力部を含み、
前記決定するステップは、
前記入力部の予め設定されたキーが選択された後、前記ユーザの凝視するディスプレイ装置を前記制御対象ディスプレイ装置に決定することを特徴とする請求項１に記載の制御方法。
【請求項３】
前記決定するステップは、
前記ユーザ撮影映像に基づいて、予め設定されたモーションが入力されたか否かを判断するステップと、
前記予め設定されたモーションが入力されると、前記ユーザの凝視するディスプレイ装置を前記制御対象ディスプレイ装置に決定するステップと
を更に含むことを特徴とする請求項１に記載の制御方法。
【請求項４】
前記予め設定されたモーションは、
前記ユーザの目を複数回瞬きするモーションであることを特徴とする請求項３に記載の制御方法。
【請求項５】
前記予め設定されたモーションは、
前記ユーザの凝視するディスプレイ装置を予め設定された時間以上の間凝視するモーションであることを特徴とする請求項３に記載の制御方法。
【請求項６】
前記決定するステップは、
前記第１ディスプレイ装置を用いて予め設定された作業を行う場合、第２ディスプレイ装置を前記ユーザの凝視するディスプレイ装置と判断するとしても、前記第１ディスプレイ装置を前記制御対象ディスプレイ装置に決定することを特徴とする請求項１に記載の制御方法。
【請求項７】
前記予め設定された作業は、
テキスト作成作業であることを特徴とする請求項６に記載の制御方法。
【請求項８】
前記決定するステップは、
前記ユーザの眼球の動きを追跡したり前記ユーザの顔の方向を追跡し、前記複数のディスプレイ装置の中から前記ユーザの凝視するディスプレイ装置を判断するステップを含むことを特徴とする請求項１に記載の制御方法。
【請求項９】
複数のディスプレイ装置と接続された制御装置において、
ユーザの位置する領域を撮影し、ユーザ撮影映像を生成する撮影部と、
前記複数のディスプレイ装置と通信を行う通信部と、
前記ユーザ撮影映像に基づいて、複数のディスプレイの中からユーザの凝視するディスプレイ装置を判断し、前記判断されたディスプレイ装置を制御対象ディスプレイ装置に決定し、ユーザ命令が入力されると、前記制御対象ディスプレイ装置に前記ユーザ命令に対応する制御信号を伝送するように前記通信部を制御する制御部と
を含む制御装置。
【請求項１０】
前記ユーザ命令を入力される入力部を含み、
前記制御部は、
前記入力部の予め設定されたキーが選択された後、前記ユーザの凝視するディスプレイ装置を前記制御対象ディスプレイ装置に決定することを特徴とする請求項９に記載の制御装置。
【請求項１１】
前記制御部は、
前記ユーザ撮影映像に基づいて、予め設定されたモーションが入力されたか否かを判断し、前記予め設定されたモーションが入力されると、前記ユーザの凝視するディスプレイ装置を前記制御対象ディスプレイ装置に決定することを特徴とする請求項９に記載の制御装置。
【請求項１２】
前記予め設定されたモーションは、
前記ユーザの目を複数回瞬きするモーションであることを特徴とする請求項１１に記載の制御装置。
【請求項１３】
前記予め設定されたモーションは、
前記ユーザの凝視するディスプレイ装置を予め設定された時間以上の間凝視するモーションであることを特徴とする請求項１１に記載の制御装置。
【請求項１４】
前記制御部は、
前記第１ディスプレイ装置を用いて予め設定された作業を行う場合、第２ディスプレイ装置を前記ユーザの凝視するディスプレイ装置と判断するとしても、前記第１ディスプレイ装置を前記制御対象ディスプレイ装置に決定し、
前記予め設定された作業は、
テキスト作成作業であることを特徴とする請求項９に記載の制御装置。
【請求項１５】
前記制御部は、
前記ユーザの眼球の動きを追跡したり前記ユーザの顔の方向を追跡し、前記複数のディスプレイ装置の中から前記ユーザの凝視するディスプレイ装置を判断することを特徴とする請求項１４に記載の制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のディスプレイ装置と接続された制御装置及びその制御方法、そしてディスプレイ装置制御システムに関し、より詳細には、ユーザの凝視するディスプレイ装置を判断し、判断されたディスプレイ装置を制御する制御装置及びその制御方法、そしてディスプレイ装置制御システムに関する。
【背景技術】
【０００２】
従来は、複数のディスプレイ装置（例えば、パソコンやテレビ、モバイル機器等）を利用するとき、ユーザは複数のディスプレイ装置毎に別途の入力装置を用いて複数のディスプレイ装置を制御している。例えば、ユーザはテレビを制御するためにリモコンを使用し、パソコンを制御するために、キーボード及びマウスを使用して、モバイル機器を制御するためにタッチスクリーンを使用している。
【０００３】
しかし、複数のディスプレイ装置を同時に利用する際、それぞれの入力装置を利用する場合、ユーザは毎回入力装置を変えながら、制御命令を入力しなければならないという不都合が存在していた。
【０００４】
なお、一つの入力装置を用いて複数のディスプレイ装置を制御する場合であっても、毎回制御しようとするディスプレイ装置に新たに接続を行わなければならないという不都合があった。
【０００５】
よって、一つの入力装置を用いて、より容易かつ簡単に複数のディスプレイ装置を制御するための方策への模索が求められる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】日本特開第２０１２−０００８２９０号公報
【特許文献２】日本特開第２００８−００１５６３４号公報
【特許文献３】韓国登録特許第８４５、２７４号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、一つの入力装置を用いてより容易かつ簡単に複数のディスプレイ装置を制御することができるように、ユーザの凝視するディスプレイ装置を制御対象ディスプレイ装置と判断して制御する制御装置及びその制御方法、そしてディスプレイ装置制御システムを提供することにある。
【課題を解決するための手段】
【０００８】
前記目的を達成するための本発明の一実施形態に係る複数のディスプレイ装置と接続された制御装置の制御方法は、ユーザの位置する領域を撮影し、ユーザ撮影映像を生成するステップと、前記ユーザ撮影映像に基づいて、複数のディスプレイの中からユーザの凝視するディスプレイ装置を判断し、前記判断されたディスプレイ装置を制御対象ディスプレイ装置に決定するステップと、ユーザ命令が入力されると、前記制御対象ディスプレイ装置に前記ユーザ命令に対応する制御信号を伝送するステップとを含む。
【０００９】
そして、前記制御装置は、前記ユーザ命令を入力される入力部を含み、前記決定するステップは、前記入力部の予め設定されたキーが選択された後、前記ユーザの凝視するディスプレイ装置を前記制御対象ディスプレイ装置に決定してよい。
【００１０】
なお、前記決定するステップは、前記ユーザ撮影映像に基づいて、予め設定されたモーションが入力されたか否かを判断するステップと、前記予め設定されたモーションが入力されると、前記ユーザの凝視するディスプレイ装置を前記制御対象ディスプレイ装置に決定するステップとを更に含んでよい。
【００１１】
そして、前記予め設定されたモーションは、前記ユーザの目を複数回瞬きするモーションであってよい。
【００１２】
なお、前記予め設定されたモーションは、前記ユーザの凝視するディスプレイ装置を予め設定された時間以上の間凝視するモーションであってよい。
【００１３】
そして、前記決定するステップは、前記第１ディスプレイ装置を用いて予め設定された作業を行う場合、第２ディスプレイ装置を前記ユーザの凝視するディスプレイ装置と判断するとしても、前記第１ディスプレイ装置を前記制御対象ディスプレイ装置に決定してよい。
【００１４】
なお、前記予め設定された作業は、テキスト作成作業であってよい。
【００１５】
そして、前記決定するステップは、前記ユーザの眼球の動きを追跡したり前記ユーザの顔の方向を追跡し、前記複数のディスプレイ装置の中から前記ユーザの凝視するディスプレイ装置を判断するステップを含んでよい。
【００１６】
一方、前記目的を達成するための本発明の一実施形態に係る複数のディスプレイ装置と接続された制御装置は、ユーザの位置する領域を撮影し、ユーザ撮影映像を生成する撮影部と、前記複数のディスプレイ装置と通信を行う通信部と、前記ユーザ撮影映像に基づいて、複数のディスプレイの中からユーザの凝視するディスプレイ装置を判断し、前記判断されたディスプレイ装置を制御対象ディスプレイ装置に決定し、ユーザ命令が入力されると、前記制御対象ディスプレイ装置に前記ユーザ命令に対応する制御信号を伝送するように前記通信部を制御する制御部とを含む。
【００１７】
そして、前記ユーザ命令を入力される入力部を含み、前記制御部は、前記入力部の予め設定されたキーが選択された後、前記ユーザの凝視するディスプレイ装置を前記制御対象ディスプレイ装置に決定してよい。
【００１８】
なお、前記制御部は、前記ユーザ撮影映像に基づいて、予め設定されたモーションが入力されたか否かを判断し、前記予め設定されたモーションが入力されると、前記ユーザの凝視するディスプレイ装置を前記制御対象ディスプレイ装置に決定してよい。
【００１９】
そして、前記予め設定されたモーションは、前記ユーザの目を複数回瞬きするモーションであってよい。
【００２０】
なお、前記予め設定されたモーションは、前記ユーザの凝視するディスプレイ装置を予め設定された時間以上の間凝視するモーションであってよい。
【００２１】
そして、前記制御部は、前記第１ディスプレイ装置を用いて予め設定された作業を行う場合、第２ディスプレイ装置を前記ユーザの凝視するディスプレイ装置と判断するとしても、前記第１ディスプレイ装置を前記制御対象ディスプレイ装置に決定してよい。
【００２２】
なお、前記予め設定された作業は、テキスト作成作業であってよい。
【００２３】
そして、前記制御部は、前記ユーザの眼球の動きを追跡したり前記ユーザの顔の方向を追跡し、前記複数のディスプレイ装置の中から前記ユーザの凝視するディスプレイ装置を判断してよい。
【００２４】
一方、前記目的を達成するための本発明の一実施形態に係るディスプレイ装置制御システムは、制御装置から伝送された制御信号に応じて動作する複数のディスプレイ装置と、ユーザの位置する領域を撮影してユーザ撮影映像を生成し、前記ユーザ撮影映像に基づいて、前記複数のディスプレイ装置の中からユーザの凝視するディスプレイ装置を判断し、前記判断されたディスプレイ装置を制御対象ディスプレイ装置に決定し、ユーザ命令が入力されると、前記制御対象ディスプレイ装置に前記ユーザ命令に対応する制御信号を伝送する制御装置とを含む。
【発明の効果】
【００２５】
以上説明したように、本発明によれば、制御装置がユーザの凝視するディスプレイ装置を制御することにより、ユーザはより簡単かつ直観的にディスプレイ装置を制御することができるようになる。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態に係るディスプレイ装置制御システムを示す図である。
【図２】本発明の一実施形態に係る制御装置の構成を概略に示す図である。
【図３】本発明の一実施形態に係るユーザの凝視するディスプレイ装置を判断する方法を説明するための図である。
【図４】本発明の多様な実施形態に係るディスプレイ装置制御方法を説明するためのフローチャートである。
【図５】本発明の多様な実施形態に係るディスプレイ装置制御方法を説明するためのフローチャートである。
【図６】本発明の多様な実施形態に係るユーザの凝視するディスプレイ装置を判断する方法を説明するための図である。
【図７】本発明の多様な実施形態に係るユーザの凝視するディスプレイ装置を判断する方法を説明するための図である。
【発明を実施するための形態】
【００２７】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
【００２８】
図１は、本発明の一実施形態に係るディスプレイ装置制御システムを示す図である。図１に示すように、ディスプレイ装置制御システム１０は、制御装置１００及び複数のディスプレイ装置２００−１、２００−２、２００−３を含む。このとき、複数のディスプレイ装置２００−１、２００−２、２００−３は、図１に示すように、テレビやデスクトップパソコン、タブレットパソコンであってよいが、それは一実施形態に過ぎず、スマートフォンやノートパソコン等の多様な装置で実現されてよい。
【００２９】
制御装置１００は、複数のディスプレイ装置２００−１、２００−２、２００−３と接続され、複数のディスプレイ装置の中から一つを制御する。このとき、制御装置１００は、複数のディスプレイ装置２００−１、２００−２、２００−３と無線で接続されてよいが、それは一実施形態に過ぎず、有線でも接続されてよい。
【００３０】
具体的に、制御装置１００は、ユーザの位置する領域を撮影し、ユーザ撮影映像を生成する。
【００３１】
そして、制御装置１００は、ユーザ撮影映像に基づいて、複数のディスプレイ装置２００−１、２００−２、２００−３の中からユーザの凝視するディスプレイ装置を判断する。このとき、制御装置１００は、ユーザの顔の方向を追跡したり、ユーザの眼球の動きを追跡して、ユーザの凝視するディスプレイ装置を判断することができる。
【００３２】
特に、制御装置１００は、ユーザの制御対象ディスプレイ装置の変更命令が入力された後、ユーザの凝視するディスプレイ装置を判断することができる。このとき、ユーザの制御対象ディスプレイ装置の変更命令は、ユーザ命令を入力するための入力部の予め設定されたキーを選択する命令か、ユーザの予め設定されたモーション（例えば、複数回の目の瞬き）であってよい。
【００３３】
そして、制御装置１００は、ユーザの凝視するディスプレイ装置を制御対象ディスプレイ装置に決定する。しかし、既存のディスプレイ装置を用いて予め設定された作業（例えば、テキスト作成作業等）を行う場合、制御装置１００はユーザの凝視有無によらず、既存のディスプレイ装置を制御対象ディスプレイ装置に決定することができる。
【００３４】
制御対象ディスプレイ装置が決定され、ユーザ命令が入力されると、制御装置１００は制御対象ディスプレイ装置にユーザ命令に対応する制御信号を伝送することができる。
【００３５】
複数のディスプレイ装置２００−１、２００−２、２００−３の中のユーザの凝視しているディスプレイ装置は、制御装置１００から制御信号を受信し、制御信号に応じて動作を行う。
【００３６】
上述のようなディスプレイ装置制御システム１０によって、ユーザは一つの入力装置を用いて複数のディスプレイ装置をより簡単に制御することができるようになる。
【００３７】
以下では、図２を参照して、本発明の制御装置１００について、より詳細に説明する。図２は、本発明の一実施形態に係る制御装置１００の構成を概略に示す図である。図２に示すように、制御装置１００は、撮影部１１０と、入力部１２０と、通信部１３０及び制御部１４０を含む。
【００３８】
撮影部１１０は、ユーザの位置する領域を撮影して、ユーザ撮影映像を生成する。特に、撮影部１１０は、複数のディスプレイ装置２００−１、２００−２、２００−３の中の一つの上段に位置し、ユーザ撮影映像を生成することができるが、それは一実施形態に過ぎず、ユーザの凝視する方向を撮影することができる位置であれば、本発明の技術的な思想が適用されてよい。
【００３９】
なお、撮影部１１０は、複数個の撮影装置で実現されてよく、複数個の撮影装置を用いてユーザ撮影映像を獲得することができる。
【００４０】
入力部１２０は、ディスプレイ装置２００を制御するためのユーザ命令を入力される。特に、入力部１２０は、リモコン、キーボード、マウス、ポインティングデバイス及びタッチスクリーンのような入力装置で実現されてよい。
【００４１】
特に、入力部１２０は、制御対象ディスプレイ装置の変更命令を入力されるための予め設定されたキーまたはボタンを備えてよい。
【００４２】
通信部１３０は、有線または無線で外部の複数のディスプレイ装置２００−１、２００−２、２００−３と通信を行う。特に、通信部１３０は、制御部１４０の制御により、ユーザの凝視するディスプレイ装置にユーザ命令に対応する制御信号を伝送することができる。
【００４３】
一方、本発明の一実施形態に係る通信部１３０は、赤外線通信モジュール、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））モジュール、Ｗｉ−Ｆｉモジュール等で実現されてよいが、それは一実施形態に過ぎず、他の通信モジュールを用いて外部のディスプレイ装置と通信を行うことができる。
【００４４】
制御部１４０は、ユーザ命令に応じて、制御信号１００の動作全般を制御する。特に、制御部１４０は、撮影部１１０によって撮影されたユーザ撮影映像に基づいて、複数のディスプレイの中からユーザの凝視するディスプレイ装置を判断し、判断されたディスプレイ装置を制御対象ディスプレイ装置に決定する。そして、ユーザ命令が入力されると、制御部１４０は、制御対象ディスプレイ装置に入力されたユーザ命令に対応する制御信号を伝送するように通信部を制御する。
【００４５】
具体的に、制御部１４０は、撮影部１１０によって撮影されたユーザ撮影映像に基づいて、複数のディスプレイの中からユーザの凝視するディスプレイ装置を判断する。このとき、制御部１４０は、ユーザ撮影映像に基づいて、ユーザの顔の方向を追跡してユーザの凝視するディスプレイ装置を判断することができる。
【００４６】
ユーザの顔の方向を追跡してユーザの凝視するディスプレイ装置を判断する方法は、図３を参照して説明する。まず、制御部１４０は、撮影部１１０によって撮影されたユーザ撮影映像の中からユーザの顔を検出する。そして、制御部１４０は、ユーザの顔のうち、図３の（ａ）に示すように、複数個の特徴点（ｆ１ないしｆ６）を検出する。そして、制御部１４０は、検出された特徴点（ｆ１ないしｆ６）を用いて、図３の（ｂ）に示すように、仮想の図形３１０を生成する。そして、制御部１４０は、図３の（ｃ）に示すように、仮想の図形３１０の変化有無を判断し、ユーザの顔の回転有無を判断する。そして、制御部１４０は、ユーザの顔の回転有無を判断してユーザの凝視する方向を検出し、予め保存された複数のディスプレイ装置の配置情報とユーザの凝視する方向とを比較することで、ユーザの凝視するディスプレイ装置を判断することができる。
【００４７】
例えば、図１に示すように、ユーザの顔を撮影する撮影部１１０の備えられたモニタ２００−２が中央に位置し、モニタ２００−２の左側にはスマートテレビ２００−１が位置し、モニタ２００−２の右側にはタブレットパソコン２００−３が位置する場合、保存部（図示せず）は、スマートテレビ２００−１、モニタ２００−２及びタブレットパソコン２００−３の位置が保存されている。そして、図３において説明した仮想の図形３１０が、図６の（Ａ）に示すように、回転がないと判断された場合、制御部１４０はユーザが中央に位置しているモニタ２００−２を凝視していると判断することができる。または、仮想の図形３１０が図６の（Ｂ）に示すように、左側に回転されていると判断された場合、制御部１４０はユーザが左側に位置しているスマートテレビ２００−１を凝視していると判断することができる。または、仮想の図形３１０が、図６の（Ｃ）に示すように、右側に回転されたと判断された場合、制御部１４０はユーザが右側に位置しているタブレットパソコン２００−３を凝視していると判断することができる。
【００４８】
または、制御部１４０は、撮影部１１０の撮影したユーザ撮影映像を通じて、ユーザの眼球の動きを追跡することで、ユーザの凝視するディスプレイ装置を判断することができる。具体的に、制御部１４０は、顔のモデリング（ｆａｃｅ  ｍｏｄｅｌｉｎｇ）技術を通じて、撮影部１１０によって生成されたユーザ撮影映像から眼球映像を識別する。このとき、顔モデリング技術は、撮影部１１０によって獲得された顔映像の加工処理及び伝送のためのデジタル情報に変換する分析過程で、ＡＳＭ（Ａｃｔｉｖｅ  Ｓｈａｐｅ  Ｍｏｄｅｌｉｎｇ）技法及びＡＡＭ（Ａｃｔｉｖｅ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌｉｎｇ）技法のうちの一つが利用されてよい。ここで、ＡＳＭ技法は、顔の部位のうち、目の位置を先に検出し、検出された目の位置を基準に、一般的なモデル（ｇｅｎｅｒｉｃ  ｍｏｄｅｌ）による他の部位（例えば、鼻や口、眉毛等）の模様（ｓｈａｐｅ）情報を用いて位置を決定し、顔の部位の特徴点を検出するモデルである。ＡＡＭ技法は、模様情報だけでなく、質感情報（ｔｅｘｔｕｒｅ  ｉｎｆｏｒｍａｔｉｏｎ）を更に考慮し、顔の特徴を効率的に説明することができる特徴点を検出するモデルである。
【００４９】
そして、制御部１４０は、識別された眼球映像を用いて、眼球の動きを判断することができる。そして、制御部１４０は、眼球の動きを用いて、ユーザの凝視する方向を検出し、予め保存された複数のディスプレイ装置の配置情報とユーザの凝視する方向とを比較することで、ユーザの凝視するディスプレイ装置を判断することができる。
【００５０】
例えば、図１に示すように、ユーザの顔を撮影する撮影部１１０の備えられたモニタ２００−２が中央に位置し、モニタ２００−２の左側にスマートテレビ２００−１が位置し、モニタ２００−２の右側にタブレットパソコン２００−３が位置している場合、保存部（図示せず）は、スマートテレビ２００−１、モニタ２００−２及びタブレットパソコン２００−３の位置が保存されている。そして、図７の（イ）に示すように、予め保存されたユーザの虹彩７１０と瞳孔７２０との映像情報に基づいて、撮影されたユーザの瞳孔７２０の中央に位置していると判断された場合、制御部１４０はユーザが中央に位置しているモニタ２００−２を凝視してると判断することができる。または、図７の（ロ）に示すように、ユーザの瞳孔７２０の位置が中央から左側に移動されたと判断された場合、制御部１４０はユーザが左側に位置するスマートテレビ２０−１を凝視していると判断することができる。または、図７の（ハ）に示すように、ユーザの瞳孔７２０の位置が中央から右側に移動されていると判断された場合、制御部１４０はユーザが右側に位置するタブレットパソコン２００−３を凝視していると判断することができる。
【００５１】
一方、図６及び図７において説明した実施形態では、ユーザの顔または眼球を撮影する撮影部１１０が一つであるとして説明したが、それは一実施形態に過ぎず、複数のディスプレイ装置２００−１、２００−２、２００−３毎に撮影部を備えることができる。この場合、複数のディスプレイ装置２００−１、２００−２、２００−３の撮影部から獲得された映像のうち、正面を凝視している映像を獲得した撮影部を備えるディスプレイ装置がユーザの凝視するディスプレイ装置であると判断することができる。
【００５２】
一方、上述のように、ユーザの顔の方向を追跡したり、眼球の動きを追跡し、ユーザの凝視するディスプレイ装置を判断することは一実施形態に過ぎず、他の方法を用いてユーザの凝視するディスプレイ装置を判断することができる。例えば、複数のディスプレイ装置のそれぞれにＩＲ発光部が備えられ、ＩＲ受信部を備えるメガネをユーザが着用した場合、制御部１４０はユーザの眺める方向のディスプレイ装置から発光されるＩＲ信号を受信して、ユーザの凝視するディスプレイ装置を判断することができる。
【００５３】
制御部１４０は、ユーザの制御対象ディスプレイ装置の変更命令が入力された場合にのみ、ユーザの凝視するディスプレイ装置を判断することができる。具体的に、制御部１４０は、入力部１２０に備えられた予め設定されたキーまたはボタンが選択された後、ユーザの凝視するディスプレイ装置を判断することができる。または、制御部１４０は、撮影部１１０を介して撮影されたユーザ撮影映像を通じて予め設定されたモーションが入力された後、ユーザの凝視するディスプレイ装置を判断することができる。このとき、予め設定されたモーションは、ユーザの目を複数回瞬きするモーションであってよいが、それは一実施形態に過ぎず、ユーザが笑う表情を作るモーションか、複数回顔を頷くモーションであってよい。
【００５４】
そして、制御部１４０は、ユーザの凝視するディスプレイ装置を制御対象ディスプレイ装置に決定する。このとき、制御対象ディスプレイ装置は、複数のディスプレイ装置２００−１、２００−２、２００−３のうち、制御装置１００の入力部１２０を介して入力されたユーザ命令に応じて制御されるディスプレイ装置である。
【００５５】
ただ、制御部１４０は、第１ディスプレイ装置を用いて予め設定された作業をしている場合、ユーザの凝視するディスプレイ装置が第２ディスプレイ装置に変更されるとしても、既存の第１ディスプレイ装置を制御対象ディスプレイ装置に保持する。すなわち、ユーザが文書を作成したり、テキストメッセージを入力するのと同様のテキスト作成作業を行う場合、ユーザの凝視するディスプレイ装置とユーザが制御しようとするディスプレイ装置とが相互に異なってよい。よって、制御部１４０は、ユーザが予め設定された作業をする場合、ユーザの凝視方向によらず、既存の制御対象ディスプレイ装置を引き続き保持することができる。
【００５６】
そして、入力部１２０を介してユーザ命令が入力されると、制御部１４０はユーザ命令に対応する制御信号を制御対象ディスプレイ装置に伝送するように通信部１３０を制御する。ただ、制御部１４０が制御対象ディスプレイ装置にユーザ命令に対応する制御信号を伝送することは一実施形態に過ぎず、入力部１２０で選択されたキー情報またはボタン情報を伝送することもできる。
【００５７】
上述のように、ユーザの凝視するディスプレイ装置を制御対象ディスプレイ装置に決定することにより、ユーザは一つの入力装置を用いて複数のディスプレイ装置をより簡単に制御することができるようになる。
【００５８】
以下では、図４及び図５を参照し、ディスプレイ装置制御方法について説明する。図４は、本発明の一実施形態に係る制御装置１００のディスプレイ装置制御方法を概略に説明するためのフローチャートである。
【００５９】
まず、制御装置１００は、ユーザの位置している領域を撮影し、ユーザ撮影映像を生成する（Ｓ４１０）。
【００６０】
そして、制御装置１００は、ユーザ撮影映像に基づいてユーザの凝視するディスプレイ装置を判断する（Ｓ４２０）。このとき、制御装置１００は、ユーザの顔の方向を追跡したり、ユーザの眼球の動きを追跡し、ユーザの凝視するディスプレイ装置を判断することができる。
【００６１】
そして、制御装置１００は、ユーザの凝視しているディスプレイ装置を制御対象ディスプレイ装置に決定する（Ｓ４３０）。
【００６２】
そして、制御装置１００は、制御対象ディスプレイ装置を制御するためのユーザ命令が入力されているかを判断する（Ｓ４４０）。このとき、制御対象ディスプレイ装置は、複数のディスプレイ装置２００−１、２００−２、２００−３のうち、制御装置１００の入力部１２０を介して入力されたユーザ命令によって制御されるディスプレイ装置である。
【００６３】
ユーザ命令が入力されると（Ｓ４４０−Ｙ）、制御装置１００は制御対象ディスプレイ装置にユーザ命令に対応する制御信号を伝送する（Ｓ４５０）。
【００６４】
図５は、本発明の一実施形態に係る制御装置１００のディスプレイ装置制御方法を詳細に説明するためのフローチャートである。
【００６５】
まず、制御装置１００は、ユーザ撮影映像を生成する（Ｓ５１０）。具体的に、制御装置１００は、撮影部１１０を用いてユーザの位置する領域を撮影し、撮影された映像を通じてユーザ撮影映像を生成することができる。
【００６６】
そして、制御装置１００は、制御対象ディスプレイ装置の変更命令が入力されているか否かを判断する（Ｓ５２０）。このとき、制御対象ディスプレイ装置の変更命令は、入力部１２０（例えば、キーボード）に備えられた予め設定されたキーが選択される命令か、撮影部１１０を介して入力されたユーザの予め設定されたモーション（例えば、ユーザの目が複数回瞬きするモーションまたは目が予め設定された時間以上凝視するモーション）であってよい。更に別の実施形態として、制御対象ディスプレイ装置の変更命令は、音声命令（例えば、“変更”というユーザ音声）であってよく、ジェスチャー命令（例えば、ユーザの手を左から右にスラップ）であってよい。
【００６７】
制御対象ディスプレイ装置の変更命令が入力されると（Ｓ５２０−Ｙ）、制御装置１００はユーザの凝視するディスプレイ装置を判断する（Ｓ５３０）。具体的に、制御装置１００は、ユーザ撮影映像を通じてユーザの顔の方向を追跡したり、ユーザの眼球の動きを追跡し、複数のディスプレイの中からユーザの凝視するディスプレイ装置を判断することができる。
【００６８】
そして、制御装置１００は、既存の制御対象ディスプレイ装置を介して予め設定された作業を行うか否かを判断する（Ｓ５４０）。このとき、予め設定された作業は、文書作成またはテキストメッセージ作成のようなテキスト作成作業であってよい。
【００６９】
既存の制御対象ディスプレイ装置を通じて予め設定された作業を行う場合（Ｓ５４０−Ｙ）、制御装置１００は既存の制御対象ディスプレイ装置を制御対象ディスプレイ装置に保持する（Ｓ５４５）。
【００７０】
既存の制御対象ディスプレイ装置を通じて予め設定された作業を行っていない場合（Ｓ５４０−Ｙ）、制御装置１００はユーザの凝視するディスプレイ装置を制御対象ディスプレイ装置に決定する（Ｓ５５０）。
【００７１】
制御対象ディスプレイ装置が決定されると、制御装置１００は制御対象ディスプレイ装置を制御するためのユーザ命令が入力されたか否かを判断する（Ｓ５６０）。
【００７２】
ユーザ命令が入力されると、制御装置１００は制御対象ディスプレイ装置に制御信号を伝送する（Ｓ５７０）。そして、制御対象ディスプレイ装置は、制御装置１００から伝送された制御信号によってユーザ命令に対応する動作を行うことができる。
【００７３】
上述のような本発明の多様な実施形態によって、制御装置１００がユーザの凝視するディスプレイ装置を制御することにより、ユーザはより便利かつ直観的にディスプレイ装置を制御することができる。
【００７４】
一方、上述の実施形態では、ユーザの凝視する方向に対応するディスプレイ装置を制御するものとして説明したが、それは一実施形態に過ぎず、一つのディスプレイ装置に複数のウィンドウ（ｗｉｎｄｏｗ）がディスプレイされた場合にも、本発明の技術的な思想が適用されてよい。例えば、一つのディスプレイ画面にワード作業のためのウィンドウ及びメッセンジャのためのウィンドウとが同時にディスプレイされた場合、ユーザの凝視するウィンドウを検出し、ユーザがキーボードを用いてテキストを入力した場合、制御部１４０は、ユーザの凝視するウィンドウにテキスト入力を行うことができる。すなわち、ユーザの凝視するウィンドウがワード作業のためのウィンドウである場合、制御部１４０は、ユーザのテキスト入力によってワード作業ウィンドウにテキスト入力命令を行うことができる。
【００７５】
以上のような多様な実施形態に係る制御方法を実行するためのプログラムコードは、非一時的読み取り可能媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）に保存されてよい。非一時的読み取り可能媒体とは、レジスタ、キャッシュ、メモリ等のように短い瞬間の間にデータを保存する媒体でなく半永久的にデータを保存し、機器により読み取り（ｒｅａｄｉｎｇ）可能な媒体を意味する。具体的には、上述した多様なアプリケーションまたはプログラムは、ＣＤ、ＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリーカード、ＲＯＭ等のような非一時的読み取り可能媒体に保存されて提供されることができる。
【００７６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００７７】
１０    ディスプレイ装置制御システム
１００  制御装置
１１０  撮影部
１２０  入力部
１３０  通信部
１４０  制御部
２００、２００−１、２００−２、２００−３  ディスプレイ装置
３１０  仮想の図形
７１０  虹彩
７２０  瞳孔
【図１】
2014021985.tif 000003
【図２】
2014021985.tif 000004
【図３】
2014021985.tif 000005
【図４】
2014021985.tif 000006
【図５】
2014021985.tif 000007
【図６】
2014021985.tif 000008
【図７】
2014021985.tif 000009