(57)【要約】【課題】  ユーザの利便性を考慮した上で、アプリケーションウィンドウへの操作入力の切替処理を行うことのできる情報処理装置を提供する。【解決手段】  アプリケーションウィンドウが其々配置される複数の表示画面を、複数の表示装置に其々表示させる表示手段３０４と、前記表示画面上のアプリケーションウィンドウを操作するための操作入力を受ける入力手段１３と、表示させる表示画面のうち、ユーザの注視する表示画面を特定する画面特定手段３０２と、特定する前記ユーザの注視する表示画面上に配置されるアプリケーションウィンドウに、前記入力手段からの操作入力先を切り替える切替手段３０３とを備える。【選択図】      図３
2009245376.tif 000002
【特許請求の範囲】
【請求項１】
アプリケーションウィンドウが其々配置される複数の表示画面を、複数の表示装置に其々表示させる表示手段と、
前記表示画面上のアプリケーションウィンドウを操作するための操作入力を受ける入力手段と、
前記表示手段が表示させる表示画面のうち、ユーザの注視する表示画面を特定する画面特定手段と、
前記画面特定手段で特定する前記ユーザの注視する表示画面上に配置されるアプリケーションウィンドウに、前記入力手段からの操作入力先を切り替える切替手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記表示画面で表示されるアプリケーションウィンドウを重ねて表示した場合の表示順序を把握する順序把握手段を更に具備し、
前記切替手段は、前記順序把握手段で把握する前記表示順序を参照し、前記画面特定手段で特定する前記ユーザの注視する表示画面上で最も上に配置されるアプリケーションウィンドウに前記入力手段からの操作入力先を切り替えること
を特徴とする請求項１記載の情報処理装置。
【請求項３】
オペレーションシステム上での表示画面配置を設定する画面配置設定手段と
ユーザの顔の向きを検出する検出手段とを更に具備し、
前記画面特定手段は、前記画面配置設定手段が設定する前記オペレーションシステム上での表示画面配置と、当該表示画面配置に対応する前記検出手段で検出した前記ユーザの顔の向きとを参照し、前記ユーザの注視する表示画面を特定すること
を特徴とする請求項２記載の情報処理装置。
【請求項４】
前記画面特定手段は、前記画面配置設定手段による前記オペレーションシステム上での表示画面配置の変更設定に伴い、前記表示画面配置に対応する前記ユーザの顔の向きを変更すること
を特徴とする請求項３記載の情報処理装置。
【請求項５】
ユーザの顔画像を撮像する撮像手段を更に具備し、
前記画面特定手段は、前記撮像手段で撮像した前記ユーザの顔画像から、前記ユーザの注視する画面を特定すること
を特徴とする請求項４記載の情報処理装置。
【請求項６】
前記撮像手段は、前記入力手段からの操作入力に伴い、前記ユーザの顔画像を撮像する
こと
を特徴とする請求項５記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置に関する。
【背景技術】
【０００２】
近年、２台以上のディスプレイに異なるアプリケーションウィンドウを表示する機能を有するパーソナルコンピュータが広く普及している。これらのコンピュータでは、例えば１台目のディスプレイにワープロソフトのアプリケーションウィンドウを表示させると共に、２台目のディスプレイにウェブページを閲覧するアプリケーションウィンドウを表示させるなどの用途が考えられ、複数のアプリケーションを同時に操作・処理する場合の煩雑さを低減できる。
【０００３】
一般に、このような複数のディスプレイを用いてアプリケーションプログラムを操作するコンピュータにおいては、キーボード等の入力デバイスで受けたアプリケーションウィンドウを操作するための操作入力を、異なるディスプレイ上に配置されるアプリケーションウィンドウ間で切り替える場合、マウス等のポンティングデバイスを利用する。
【０００４】
また、これらポンティングデバイスの中には、手動の操作を用いずに異なるディスプレイ上に配置されるアプリケーションウィンドウ間での操作入力の切替処理を実行する機能を有するポンティングデバイスがある。例えば特許文献１には、アイカメラからのユーザの視点についての情報と、視野カメラで捉えた表示画面上のマークの情報とから表示画面上での視点位置を特定することでポインティングを可能とするポインティングデバイス装置が開示されている。
【特許文献１】特開平０７−２５３８４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に示す装置では、ユーザの利便性ついて考慮されていない。例えば特許文献１に示す装置では、ユーザは自らの視点を装置に検知させるためにアイカメラを装着する必要があり、利便性に欠ける。
【０００６】
そこで、ユーザの利便性を考慮した上で、アプリケーションウィンドウへの操作入力の切替処理を行うことのできる情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の課題を解決するため、本発明は、アプリケーションウィンドウが其々配置される複数の表示画面を、複数の表示装置に其々表示させる表示手段と、前記表示画面上のアプリケーションウィンドウを操作するための操作入力を受ける入力手段と、前記表示手段が表示させる表示画面のうち、ユーザの注視する表示画面を特定する画面特定手段と、前記画面特定手段で特定する前記ユーザの注視する表示画面上に配置されるアプリケーションウィンドウに、前記入力手段からの操作入力先を切り替える切替手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ユーザの利便性を考慮した上で、アプリケーションウィンドウへの操作入力の切替処理を行うことのできる情報処理装置を提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して、本発明の実施形態を説明する。
まず、図１を参照して、本発明の一実施形態に係る情報処理装置の構成を説明する。本実施形態の情報処理装置は、例えば、外部表示装置９等と接続可能なノートブック型の携帯型パーソナルコンピュータ１０から実現されている。
【００１０】
このパーソナルコンピュータ１０は、例えば外部表示装置９に接続することで、自装置に備えるディスプレイ１７だけでなく、外部表示装置９のディスプレイ８にもパーソナルコンピュータ１０で操作・処理するアプリケーションウィンドウを表示させるマルチディスプレイ機能を有する。
【００１１】
また、このパーソナルコンピュータ１０は、ユーザの顔画像を撮像するカメラ１９を備える。パーソナルコンピュータ１０は、カメラ１９で撮像したユーザの顔画像を解析することで、現在ユーザが注視するディスプレイを把握する機能を備える。この機能により、パーソナルコンピュータ１０では、ユーザの注視するディスプレイ上に配置されるアプリケーションウィンドウへの操作入力の切替処理を実現する。
【００１２】
図２は、本コンピュータ１０のシステム構成について示した図である。本コンピュータ１０は、図２に示されているように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスプロセッシングユニット（ＧＰＵ）１０５、ビデオメモリ（ＶＲＡＭ）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０９、ＬＡＮコントローラ１１０、ハードディスクドライブ（ＨＤＤ）１１１、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１２、ネットワークコントローラ１１３、ＴＦＴ−ＬＣＤ（Ｔｈｉｎ  Ｆｉｌｍ  Ｔｒａｎｓｉｓｔｏｒ  Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）１７、およびカメラ１９等を備えている。
【００１３】
ＣＰＵ１０１は本コンピュータ１０の動作を制御するプロセッサであり、ハードディスクドライブ（ＨＤＤ）１１１から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、およびアプリケーションプログラム２０２〜２０４等の各種アプリケーションプログラムを実行する。
【００１４】
ＯＳ２０１は、キーボード１３からの入力やディスプレイ１７への出力といった入出力機能やＨＤＤ１１１やメモリ１０３の管理など、多くのアプリケーションソフトから共通して利用される基本的な機能を提供し、コンピュータシステム全体を管理するソフトウェアである。また、ＯＳ２０１では、複数のディスプレイにアプリケーションウィンドウを表示させるマルチディスプレイ表示機能等を有する。これらの機能については、図３を参照して後述する。
【００１５】
表示操作アプリケーションプログラム２０２は、マルチディスプレイ表示を設定した場合に、アプリケーションウィンドウへの操作入力の切替処理を実行するためのソフトウェアである。本実施例の表示操作アプリケーションプログラム２０２は、例えば、カメラ１９で撮像されたユーザの顔画像を解析して現在ユーザの注視するディスプレイを特定し、当該ディスプレイ上に配置されるアプリケーションウィンドウへの操作入力の切替処理を行う。この表示操作アプリケーションプログラム２０２については、図３及び図４を参照して後述する。
【００１６】
アプリケーションプログラムａ２０３およびアプリケーションプログラムｂ２０４は、例えばＴＶ機能を実行するためのソフトウェアであるＴＶアプリケーションプログラムや、Ｗｅｂページを閲覧するためのソフトウェアであるＷｅｂブラウザアプリケーションプログラム等である。
【００１７】
また、これらのアプリケーションプログラムでは、処理を実行する際のアプリケーションウィンドウをＬＣＤ１７に表示させると共に、キーボード１３等の入力デバイスからの操作入力に対応する画像をＬＣＤ１７に出力する。
【００１８】
また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０９に格納されたＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）も実行する。ＢＩＯＳはハードウェア制御のためのプログラムである。
【００１９】
ノースブリッジ１０２はＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、ＰＣＩ  ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。
【００２０】
ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。
【００２１】
サウスブリッジ１０４は、ＬＰＣ（Ｌｏｗ  Ｐｉｎ  Ｃｏｕｎｔ）バス上の各デバイス、およびＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ハードディスクドライブ（ＨＤＤ）１１１およびＤＶＤドライブ１１２を制御するためのＩＤＥ（Ｉｎｔｅｇｒａｔｅｄ  Ｄｒｉｖｅ  Ｅｌｅｃｔｒｏｎｉｃｓ）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。
【００２２】
サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８に出力する。
エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１２は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１２は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０をパワーオン／パワーオフする機能を有している。
【００２３】
ネットワークコントローラ１１３は、有線または無線のネットワークとの通信を実行する。このネットワークコントローラ１１３は、外部のルータ等を介してインターネットとの通信を実行する通信部として機能とする。
【００２４】
カメラ１９は、キーボード１３、タッチパッド１６等からの入力に伴い、ユーザの顔画像を撮像する。
次に、図３および図４を参照して、表示操作アプリケーションプログラム２０２の機能を説明する。図３は、本実施例の表示操作アプリケーションプログラム２０２の構成を示すブロック図である。図４は、本実施例の表示操作アプリケーションプログラム２０２によるマルチディスプレイ表示を示した図である。
【００２５】
表示操作アプリケーションプログラム２０２は、画像解析部３０１、対象ディスプレイ特定部３０２、および切替部３０３等を備えている。尚、表示操作アプリケーションプログラム２０２では、ユーザの注視するディスプレイ上に配置されるアプリケーションウィンドウへの操作入力の切替処理を実行する際に、ＯＳ２０１内のマルチディスプレイシステム３０４及びウィンドウシステム３０５から、ＯＳ２０１上でのディスプレイの配置設定情報およびアプリケーションウィンドウに関する情報等を取得する。
【００２６】
ここで、ＯＳ２０１上でのディスプレイの配置設定情報とは、マルチディスプレイ表示を実行する際に設定する各ディスプレイの配置を示す情報である。このディスプレイの配置設定情報については、図６を参照して後述する。
【００２７】
画像解析部３０１は、カメラ１９で撮像されたユーザの顔画像を解析してユーザの顔の特徴点を抽出し、対象ディスプレイ特定部３０２に出力する。また、顔画像解析部３０１は、ユーザの目の輪郭に対する眼球の位置を特定し、対象ディスプレイ特定部３０２に出力する機能も有する。この特徴点の検出方法については、図５を参照して後述する。
【００２８】
対象ディスプレイ特定部３０２は、画像解析部３０１から受けたユーザの顔の特徴点に関する情報や目の輪郭に対する眼球の位置に関する情報と、マルチディスプレイシステム３０４からの取得したＯＳ２０１上でのディスプレイの配置設定情報とから現在ユーザが注視しているディスプレイを特定し、切替部３０３に出力する。
【００２９】
切替部３０３は、対象ディスプレイ特定部３０２で特定した、現在ユーザが注視しているディスプレイが変更されたか否か定期的に確認する。そして、ユーザが注視しているディスプレイが変更された場合、切替部３０３は、ウィンドウシステム３０５からのアプリケーションウィンドウに関する情報を参照し、キーボード１３等からのコマンドの入力先を変更後のディスプレイの中で最も上に表示されるアプリケーションウィンドウに切り替える指示をウィンドウシステム３０５に出力する。
【００３０】
尚、アプリケーションウィンドウに関する情報とは、各ディスプレイに表示させた、それぞれのアプリケーションウィンドウを重ねて表示した場合の順序に関する情報である。当該情報を参照することで、切替部３０３では、これらのアプリケーションウィンドウのうち、最も上にあるアプリケーションウィンドウを検出することができる。例えば図４の例では、表示装置９の最も上に表示されるアプリケーションウィンドウはウィンドウ４０２であり、コンピュータ１０の最も上に表示されるアプリケーションウィンドウはウィンドウ４０１である。
【００３１】
マルチディスプレイシステム３０４は、コンピュータ１０で扱うアプリケーションウィンドウを複数のディスプレイに出力表示させる。例えば、図４に示すように、マルチディスプレイシステム３０４は、ＬＣＤ１７にアプリケーションウィンドウを表示させると共に、外部表示装置９等のディスプレイ８にもコンピュータ１０で扱う別のアプリケーションウィンドウを表示させることができる。このマルチディスプレイ表示では、例えば１つのディスプレイで処理するアプリケーションウィンドウを２つに分散させることができ、処理の煩雑さを低減できる。また、マルチディスプレイシステム３０４は、マルチディスプレイ表示を設定する際に取得したＯＳ２０１上でのディスプレイの配置設定情報を対象ディスプレイ特定部３０２に出力する。
【００３２】
ウィンドウシステム３０５は、各ディスプレイに表示させているアプリケーションウィンドウに関する情報を管理し、切替部３０３に出力する。また、ウィンドウシステム３０５は、切替部３０３からの支持の下、現在ユーザが注視しているディスプレイ上に配置されるアプリケーションウィンドウへの操作入力の切替処理を実行する。
【００３３】
次に、図５を参照して、本実施例の画像解析部３０１で抽出するユーザの顔の特徴点に関する情報について説明する。図５は、本実施例におけるユーザの顔の特徴点抽出方法を示す。
【００３４】
図５に示すように、本実施例の画像解析部３０１では、例えばカメラ１９で撮像したユーザの顔５０１から、左目５０２、右目５０３、鼻５０４、口５０５等の各特徴点を決定して基本データを生成する。また、本実施例の画像解析部３０１では、ユーザの顔５０１に対して、これらの各特徴点５０２〜５０５が左右上下のいずれによっているか判断し、ユーザが現在向いている方向を特定する。
【００３５】
例えば、これらの各特徴点５０２〜５０５が左側に寄っている場合、画像解析部３０１はユーザが現在向いている方向は左であると特定する。このとき、画像解析部３０１は、ユーザの現在注視しているディスプレイがカメラの設置されたコンピュータ１０からみて左側に存在しているとみなし、当該ディスプレイ上に配置されるアプリケーションウィンドウへの操作入力の切替処理を実行する。
【００３６】
尚、ここでは、ユーザの顔５０１から、左目５０２、右目５０３、鼻５０４、口５０５の特徴点を抽出した例を示すが、これに限らず、ユーザが現在向いている方向を特定することができれば、眉や耳等の他の特徴点を採用してもよいものとする。また、本実施例では、例えば目の輪郭に対する眼球の位置からもユーザが現在向いている方向を特定することができる。この場合、特徴点として目の輪郭の両端と眼球の中心にある瞳孔等が抽出される。尚、目の輪郭に対する眼球の位置からユーザが現在向いている方向を特定する方法についても、特徴点抽出後の処理は同一であるため説明を省略する。
【００３７】
次に、本実施例におけるディスプレイの配置設定方法について説明する。図６は、本実施例におけるディスプレイの配置設定方法を示す。尚、本実施例のマルチディスプレイシステム３０４では、マルチディスプレイ表示の設定要求を受けた場合、例えば図６に示すマルチディスプレイ設定画面６０１を表示し、各ディスプレイのＯＳ２０１上での配置を設定させる。ここでは、例えば「ディスプレイ配置イメージ」の欄で示された各装置のディスプレイイメージをマウス等を用いて好適な配置に設定する。
【００３８】
図６に示すように、本実施例では、例えばマルチディスプレイ表示を設定する際、ＯＳ２０１上における各ディスプレイの配置を設定することができる。例えば、室内の空間にコンピュータ１０と外部表示装置９を並べて設置した場合であって、コンピュータ１０に対して外部表示装置９が左側に配置されている場合、図６（ａ）に示すように、コンピュータ１０のＬＣＤ１７に対して外部表示装置９のディスプレイ８が左側に接続される形に配置の設定をすることができる。
【００３９】
逆に、コンピュータ１０に対して外部表示装置９が右側に配置されている場合、図６（ｂ）に示すように、コンピュータ１０のＬＣＤ１７に対して外部表示装置９のディスプレイ８が右側に接続される形に配置の設定をすることができる。
【００４０】
このように本実施例では、コンピュータ１０と外部表示装置９との空間的配置に対応させて、ＯＳ２０１上でのディスプレイ配置を設定することができる。また、本実施例では、ＯＳ２０１上でのディスプレイ配置を設定した際、この情報を対象ディスプレイ特定部３０２に出力する。
【００４１】
また例えば、図６（ａ）に示した、空間配置でコンピュータ１０の左側に外部表示装置９が配置された状態であって、且つＯＳ配置でコンピュータ１０の左側に外部表示装置９が配置された状態から、ＯＳ配置のみをコンピュータ１０の右側に外部表示装置９が配置されるように変更した場合、ユーザの直観的な操作入力の切替処理を容易にするには、この変更に合わせてユーザの顔の向きを特定する処理についても変更する必要がある。
【００４２】
そこで、本実施例では、ＯＳ２０１上でのディスプレイ配置の設定変更に対応させて、ユーザの顔の向きを特定する処理についても変更する機能を備える。この機能により、本実施例では、空間配置とＯＳ配置が逆に設定される状況でも、ユーザが直観的なアプリケーションの操作入力の切替処理を実行できる。
【００４３】
尚、ここでは説明を簡略化するためにコンピュータ１０と外部表示装置９とによるマルチディスプレイ表示の例を示したが、これに限らず、外部の表示装置はコンピュータ１０と接続可能なだけ設けてもよい。またこの際、顔画像を撮像して特徴点を抽出するためのカメラ１９を複数設けることで、より正確にユーザの顔が向く方向を特定できる。
【００４４】
また、本実施例では、コンピュータ１０と接続可能であれば、外部表示装置としてディスプレイを備えないプロジェクタ等の機器でもマルチディスプレイ表示の機能を実行できるものとする。この場合、ユーザが注視する表示画面は、プロジェクタから画像を形成する光が照射されるスクリーン等に対応し、当該スクリーン等の配置設定に合わせてユーザの顔が向く方向を特定する。
【００４５】
尚、本実施例のカメラ１９は、キーボード１３等の入力デバイスからの入力に伴い、ユーザの顔画像を逐次撮像することで、ユーザの顔が向く方向の平均値を算出する。これにより、例えばコンピュータ１０からみて同一方向に複数の外部表示装置を設置する状況等で、より正確にユーザの注視するディスプレイを特定することができる。
【００４６】
次に、図７を参照して、本実施例のマルチディスプレイ表示設定の流れを説明する。図７は、本実施例のマルチディスプレイ表示設定の流れを示すフローチャートである。
【００４７】
本実施例のマルチディスプレイシステム３０４は、マルチディスプレイ表示の設定要求を受けると、例えばＬＣＤ１７にＯＳ２０１上でのディスプレイ配置を設定するアプリケーションウィンドウ６０１を表示させて、ユーザにＯＳ２０１上でのディスプレイ配置を決定させる（Ｓ１０１）。
【００４８】
また、ＯＳ２０１上でのディスプレイ配置が決定してマルチディスプレイ表示が実行されると、本実施例のカメラ１９は、キーボード１３などからの入力に伴い、ユーザの顔画像を逐次撮像し（Ｓ１０２）、画像解析部３０１に出力する。
【００４９】
ユーザの顔画像を受けると、画像解析部３０１では、当該顔画像を解析してユーザの顔の特徴点を抽出し（Ｓ１０３）、対象ディスプレイ特定部３０２に出力する。対象ディスプレイ特定部３０２は、ユーザの顔の特徴点に関する情報を受けると、マルチディスプレイシステム３０４からＯＳ２０１上でのディスプレイの配置設定情報を取得して現在ユーザが注視しているディスプレイを特定し（Ｓ１０４）、この情報を切替部３０３に出力する。
【００５０】
次に、切替部３０３は、対象ディスプレイ特定部３０２から受ける情報から、現在ユーザが注視しているディスプレイが変更されたか否か定期的に確認する（Ｓ１０５）。そして、ユーザが注視しているディスプレイが変更された場合（Ｓ１０５のＹｅｓ）、切替部３０３は、対象ディスプレイ特定部３０２で特定した現在ユーザが注視しているディスプレイを示す情報と、ウィンドウシステム３０５からのアプリケーションウィンドウに関する情報とを参照し、当該ディスプレイ上で最も上に配置されるアプリケーションウィンドウを検知する（Ｓ１０６）。
【００５１】
次に、切替部３０３は、キーボード１３等からの操作入力先をＳ１０５で検知したアプリケーションウィンドウに切り替える指示をウィンドウシステム３０５に出力する。この指示を受けて、ウィンドウシステム３０５は、現在ユーザが注視しているディスプレイ上で最も上に配置されるアプリケーションウィンドウへの操作入力の切替処理を実行する（Ｓ１０７）。
【００５２】
Ｓ１０５でユーザが注視しているディスプレイが変更されない場合（Ｓ１０５のＮｏ）、切替部３０３は、Ｓ１０５の処理を繰り返す。
次に、マルチディスプレイシステム３０４は、マルチディスプレイ表示の終了要求を受けたか否か確認する（Ｓ１０８）、ここで、マルチディスプレイ表示の終了要求を受けていない場合（Ｓ１０８のＮｏ）、マルチディスプレイシステム３０４は処理をＳ１０２に戻す。マルチディスプレイ表示の終了要求を受けた場合（Ｓ１０８のＹｅｓ）、マルチディスプレイシステム３０４は、処理を終了する。
【００５３】
上述した通り、本実施例によれば、ユーザの利便性を考慮した上で、アプリケーションの入力切替操作を行うことのできる情報処理装置を提供することを実現する。
本実施例では、カメラ１９で撮像されたユーザの顔画像から特徴点を抽出することで、ユーザが現在向いている方向を特定することができる。これにより、アイカメラを装着するなどの、コンピュータの使用環境に大きな変化を与えることなくユーザの注視するディスプレイを把握することができる。
【００５４】
また、本実施例では、ユーザが注視しているディスプレイが変更された場合、キーボード等からのコマンドの入力先を変更後のディスプレイの中で最も上に表示されるアプリケーションウィンドウに切り替えることができる。これにより、本実施例では、ハンズフリーでのアプリケーションの入力切替操作を実行できる。
【００５５】
また、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００５６】
【図１】本発明の一実施形態に情報処理装置の概観の例を示す斜視図
【図２】本実施例における情報処理装置のシステム構成の例を示すブロック図
【図３】本実施例における情報処理装置で用いられるプログラムの機能構成を示すブロック図
【図４】本実施例の表示操作アプリケーションプログラム２０２２０５によるマルチディスプレイ表示を示した図
【図５】本実施例におけるユーザの顔の特徴点抽出方法を示す図
【図６】本実施例のマルチディスプレイ表示におけるディスプレイの配置設定方法を示す図
【図７】本実施例のマルチディスプレイ表示設定の流れを示すフローチャート
【符号の説明】
【００５７】
９・・・外部表示装置
１０・・・コンピュータ
１３…キーボード
１４…パワーボタン
１６…タッチパッド
１７…ＬＣＤ
１８…スピーカ
１０１…ＣＰＵ
１０２…ノースブリッジ
１０３…主メモリ
１０４…サウスブリッジ
１０５…グラフィクスプロセッシングユニット（ＧＰＵ）
１０５Ａ…ビデオメモリ（ＶＲＡＭ）
１０６…サウンドコントローラ
１０９…ＢＩＯＳ−ＲＯＭ
１１０…ＬＡＮコントローラ
１１１…ハードディスクドライブ（ＨＤＤ）
１１２…エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）
１１３…ネットワークコントローラ
１１４…ＴＶチューナ
２０１…オペレーションシステム
２０２…表示操作アプリケーションプログラム
２０３…Ｗｅｂブラウザアプリケーションプログラム
２０４…ワードプロセッサアプリケーションプログラム
【図１】
2009245376.tif 000003
【図２】
2009245376.tif 000004
【図３】
2009245376.tif 000005
【図４】
2009245376.tif 000006
【図５】
2009245376.tif 000007
【図６】
2009245376.tif 000008
【図７】
2009245376.tif 000009
【手続補正書】
【提出日】平成21年7月23日(2009.7.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
アプリケーションウィンドウが其々配置される複数の表示画面を、複数の表示装置に其々表示させる表示手段と、
前記表示画面上のアプリケーションウィンドウを操作するための操作入力を受ける入力手段と、
ユーザの顔画像を撮像する撮像手段と、
前記撮像された前記顔画像から前記ユーザの顔の特徴点を抽出する抽出手段と、
前記抽出された特徴点に基づいて、前記ユーザの顔の向きを検出する検出手段と、
前記表示手段で表示させる表示画面のうち、前記検出された顔の向き方向に存在する表示画面を特定する画面特定手段と、
前記表示画面で表示されるアプリケーションウィンドウを重ねて表示した場合の表示順序を把握する順序把握手段と、
前記把握された表示順序に基づいて、前記特定された表示画面上で最も上に配置されるアプリケーションウィンドウに、前記入力手段からの操作入力先を切り替える切替手段と
を備えることを特徴とする情報処理装置。
【請求項２】
オペレーションシステム上での表示画面配置を設定する画面配置設定手段を更に具備し、
前記画面特定手段は、前記画面配置設定手段が設定する前記オペレーションシステム上での表示画面配置と、当該表示画面配置に対応する前記検出手段で検出した前記ユーザの顔の向きとを参照し、前記ユーザの顔の向き方向に存在する表示画面を特定すること
を特徴とする請求項１記載の情報処理装置。
【請求項３】
前記画面特定手段は、前記画面配置設定手段による前記オペレーションシステム上での表示画面配置の変更設定に伴い、前記表示画面配置に対応する前記ユーザの顔の向きを変更すること
を特徴とする請求項２記載の情報処理装置。
【請求項４】
前記撮像手段は、前記入力手段からの操作入力に伴い、前記ユーザの顔画像を撮像すること
を特徴とする請求項１記載の情報処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上述の課題を解決するため、本発明は、アプリケーションウィンドウが其々配置される複数の表示画面を、複数の表示装置に其々表示させる表示手段と、前記表示画面上のアプリケーションウィンドウを操作するための操作入力を受ける入力手段と、ユーザの顔画像を撮像する撮像手段と、前記撮像された前記顔画像から前記ユーザの顔の特徴点を抽出する抽出手段と、前記抽出された特徴点に基づいて、前記ユーザの顔の向きを検出する検出手段と、前記表示手段で表示させる表示画面のうち、前記検出された顔の向き方向に存在する表示画面を特定する画面特定手段と、前記表示画面で表示されるアプリケーションウィンドウを重ねて表示した場合の表示順序を把握する順序把握手段と、前記把握された表示順序に基づいて、前記特定された表示画面上で最も上に配置されるアプリケーションウィンドウに、前記入力手段からの操作入力先を切り替える切替手段とを備えることを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
ウィンドウシステム３０５は、各ディスプレイに表示させているアプリケーションウィンドウに関する情報を管理し、切替部３０３に出力する。また、ウィンドウシステム３０５は、切替部３０３からの指示の下、現在ユーザが注視しているディスプレイ上に配置されるアプリケーションウィンドウへの操作入力の切替処理を実行する。