(57)【要約】  デュアル・ビュー表示機能をもつ表示装置において、操作を行うユーザには直感的な操作感を提供しつつ、操作をしないユーザに対しては視認性を向上させることが可能な情報処理装置を提供する。左画像と右画像とを同時表示する表示部（１６）と、操作を受け付ける操作部（１２）と、操作を行う手を撮像する撮像部（１３）と、撮像された画像から操作を行う手を表す手画像を生成する手画像生成部（１０１）と、操作を行う手が左手か右手かを判定する操作手判定部（１０２）と、視認している画像が左画像か右画像かを判定する画像判定部と、右画像を視認していると判定されたとき、左画像と、手画像が重畳された右画像とを表示するとともに、右画像上の位置に対応する処理を実行し、左画像を視認していると判定されたとき、右画像と、手画像が重畳された左画像とを表示するとともに、左画像上の位置に対応する処理を実行する実行処理部（１０４）とを備える。
2007088939.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの操作に応じて処理を行う情報処理装置であって、
表示面に向かって左の視野角方向から視認可能な左画像と表示面に向かって右の視野角方向から視認可能な右画像とを同時表示する表示部と、
前記ユーザが前記表示部において表示された画像上の位置を指定する操作を受け付ける操作部と、
前記操作部に対して前記ユーザが操作を行う手を撮像する撮像部と、
前記撮像部によって撮像された画像から前記ユーザの操作を行う手を表す手画像を生成する手画像生成部と、
前記操作部に対してユーザが操作を行う手が左手か右手かを判定する操作手判定部と、
前記操作手判定部の判定結果に基づいて、操作を行う前記ユーザが視認している画像が前記左画像か前記右画像かを判定する画像判定部と、
前記画像判定部において前記右画像を視認していると判定されたとき、前記左画像と、前記手画像が重畳された右画像とを表示するとともに、前記操作部において指定された位置に対応する右画像上の位置が指定されたとして当該右画像上の位置に対応する処理を実行し、前記画像判定部において前記左画像を視認していると判定されたとき、前記右画像と、前記手画像が重畳された左画像とを表示するとともに、前記操作部において指定された位置に対応する左画像上の位置が指定されたとして当該左画像上の位置に対応する処理を実行する実行処理部とを備える、情報処理装置。
【請求項２】
前記操作手判定部は、前記手画像生成部において生成された手画像に基づいて、前記ユーザが操作を行う手が左手か右手かを判定することを特徴とする、請求項１に記載の情報処理装置。
【請求項３】
前記ユーザの操作を行う手に装着されたＩＲタグがもつ識別情報を読み取る識別情報読取部をさらに備え、
前記操作手判定部は、前記識別情報読取部において読み取られた識別情報に基づいて、前記ユーザが操作を行う手が左手か右手かを判定することを特徴とする、請求項１に記載の情報処理装置。
【請求項４】
前記実行処理部は、前記操作手判定部において左手と判定されたとき、表示すべき左画像を右画像と同じ画像に変更するとともに、前記手画像を左画像および右画像に重畳して表示させ、前記操作手判定部において右手と判定されたとき、表示すべき右画像を左画像と同じ画像に変更するとともに、前記手画像を左画像および右画像に重畳して表示させることを特徴とする、請求項１〜３のいずれかに記載の情報処理装置。
【請求項５】
前記実行処理部は、前記操作手判定部において左手と判定されたとき、前記右画像に含まれるＧＵＩ部品を左画像に重畳して表示させるとともに、前記手画像を左画像および右画像に重畳して表示させ、前記操作手判定部において右手と判定されたとき、前記左画像に含まれるＧＵＩ部品を右画像に重畳して表示させるとともに、前記手画像を左画像および右画像に重畳して表示させることを特徴とする、請求項１〜３のいずれかに記載の情報処理装置。
【請求項６】
前記実行処理部は、前記操作手判定部において左手と判定されたとき、前記右画像と前記手画像とを半透明にして左画像に重畳して表示させるとともに、前記手画像を右画像に重畳して表示させ、前記操作手判定部において右手と判定されたとき、前記左画像と前記手画像とを半透明にして右画像に重畳して表示させるとともに、前記手画像を左画像に重畳して表示させることを特徴とする、請求項１〜３のいずれかに記載の情報処理装置。
【請求項７】
前記実行処理部は、前記操作手判定部において左手と判定されたとき、表示すべき右画像に前記手画像を重畳して表示させるとともに、前記左画像に前記手画像の指先の位置を表す画像を重畳して表示させ、前記操作手判定部において右手と判定されたとき、表示すべき左画像に前記手画像を重畳して表示させるとともに、前記右画像に前記手画像の指先の位置を表す画像を重畳して表示させることを特徴とする、請求項１〜３のいずれかに記載の情報処置装置。
【請求項８】
前記実行処理部は、前記操作手判定部において左手と判定されたとき、左画像に含まれる画像のうち、前記操作部において指定された右画像上の位置に対応する画像を特定して当該画像の表示態様を変更し、前記操作手判定部において右手と判定されたとき、右画像に含まれる画像のうち、前記操作部において指定された左画像上の位置に対応する画像を特定して当該画像の表示態様を変更することを特徴とする、請求項１〜３のいずれかに記載の情報処理装置。
【請求項９】
前記左画像および前記右画像には、表示が同じＧＵＩ部品が含まれており、
前記左画像のＧＵＩ部品および前記右画像のＧＵＩ部品には、それぞれ異なる処理が関連付けられていることを特徴とする、請求項１〜３のいずれかに記載の情報処理装置。
【請求項１０】
前記操作部は、ＧＵＩ部品とそれが指定されたときに実行すべき処理とを関連付ける関連付け操作をユーザから受け付け、
前記実行処理部は、前記関連付け操作が行われたときに前記操作手判定部が左手と判定したとき、当該関連付け操作によって関連付けられるＧＵＩ部品を左画像に重畳して表示させ、前記関連付け操作が行われたときに前記操作手判定部が右手と判定したとき、当該関連付け操作によって関連付けられるＧＵＩ部品を右画像に重畳して表示させることを特徴とする、請求項１〜３のいずれかに記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置に関し、より特定的には、デュアル・ビュー表示された画像情報をもとにユーザによって操作された情報や命令に応じて、処理を行う情報処理装置に関する。
【背景技術】
【０００２】
一般に知られているデュアル・ビュー表示機能をもつ表示装置は、異なる視野角方向それぞれに対して画像を同時表示することができる。これにより、ユーザの視点位置によって異なる画像を表示することもできる（例えば特許文献１参照）。特許文献１では、液晶表示パネルの前面にパララックスバリアを設置することで、ユーザの視点位置によって異なる画像を表示するデュアル・ビュー表示を実現している。【０００３】
ここで、表示された画像情報をもとにユーザが操作した情報に応じて処理を行う方法としては、タッチパネルを用いる方法が挙げられる。具体的には、タッチパネルを表示装置の画面上に設置する。ここで、画面に表示されたＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）には、メニューやボタンスイッチに代表される表示部品（以下、ＧＵＩ部品と称す）が含まれる。ユーザは、タッチパネルを介して、画面上で所望のＧＵＩ部品に触れることによって、そのＧＵＩ部品に関連付けられた命令や情報を入力することができる。このようにタッチパネルが画面上に設置されることで、ユーザに対し直感的な操作感を提供することができる。【０００４】
しかしながら、デュアル・ビュー表示機能をもつ表示装置では、ユーザの視点位置によって異なる画像が表示される。つまり、デュアル・ビュー表示機能をもつ表示装置は、それぞれ独立した画像を各視点位置のユーザに表示するものである。したがって、上述したように画面上に設置したタッチパネルを用いて入力を行う場合、処理装置側では、どの視野角方向に表示された画像に対して入力が行われたかが区別できないため、適切な処理ができないという課題があった。【０００５】
この課題を解決するために、異なる画像間においてＧＵＩ部品を重畳しないように表示する方法が提案されている（例えば特許文献２参照）。つまり、上述したように画面上に設置したタッチパネルを用いて入力を行っても、ＧＵＩ部品が異なる位置に表示されるので、どの視野角方向に表示された画像に対して入力されたかを区別することができ、各視点位置に対して適切な処理を行うことができる。
【特許文献１】特開２００３−１７７３５７号公報
【特許文献２】特開２００５−２８４５９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ここで、ＧＵＩ部品を重畳しないように表示する方法では、上述したようにユーザは画面上に設置されたタッチパネルを用いて入力操作を行う。したがって、一方の視点位置にいるユーザが操作を行うとき、ユーザの操作する手が他方の視点位置に表示される画像を遮ってしまうことなる。このように、異なる画像間においてＧＵＩ部品を重畳しないように表示する方法では、画面上に設置されたタッチパネルを用いて入力操作を行うので、操作するユーザに対しては直感的な操作感を提供することはできるが、操作をしないユーザに対しては視認できなくしてしまうという問題があった。【０００７】
また、ＧＵＩ部品を重畳しないように表示する方法では、どの視野角方向に表示された画像に対して入力されたかを区別するために、ＧＵＩ部品を異なる画像間で重畳しない位置に配置する必要がある。ここで、ＧＵＩ部品は、ユーザの入力をより簡易的にする役割を果たしている。そのため、上述した従来の方法では、ＧＵＩ部品を異なる画像間で重畳しない位置に配置する必要があるため、ＧＵＩ部品を各画像上、最適な位置に配置することに制約があった。つまり、一方の視野角方向に表示された画像に対してはＧＵＩ部品をユーザがより入力し易い最適な位置に配置することができても、他方の視野角方向に表示された画像に対しては必ずしも最適な位置に配置することができないという問題があった。【０００８】
それ故に、本発明は、デュアル・ビュー表示機能をもつ表示装置を用いる場合であっても、操作を行うユーザには直感的な操作感を提供しつつ、操作をしないユーザに対しては視認性を向上させることが可能な情報処理装置を提供することを目的とする。または、本発明は、異なる視野角方向にそれぞれ表示された各画像に対してＧＵＩ部品を最適な位置に配置して、ユーザの入力をより直感的、簡易的にすることが可能な情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、ユーザの操作に応じて処理を行う情報処理装置を前提としている。本発明は、表示面に向かって左の視野角方向から視認可能な左画像と表示面に向かって右の視野角方向から視認可能な右画像とを同時表示する表示部と、ユーザが表示部において表示された画像上の位置を指定する操作を受け付ける操作部と、操作部に対してユーザが操作を行う手を撮像する撮像部と、撮像部によって撮像された画像からユーザの操作を行う手を表す手画像を生成する手画像生成部と、操作部に対してユーザが操作を行う手が左手か右手かを判定する操作手判定部と、操作手判定部の判定結果に基づいて、操作を行うユーザが視認している画像が左画像か右画像かを判定する画像判定部と、画像判定部において右画像を視認していると判定されたとき、左画像と、手画像が重畳された右画像とを表示するとともに、操作部において指定された位置に対応する右画像上の位置が指定されたとして当該右画像上の位置に対応する処理を実行し、画像判定部において左画像を視認していると判定されたとき、右画像と、手画像が重畳された左画像とを表示するとともに、操作部において指定された位置に対応する左画像上の位置が指定されたとして当該左画像上の位置に対応する処理を実行する実行処理部とを備える。【００１０】
また、操作手判定部は、手画像生成部において生成された手画像に基づいて、ユーザの操作を行う手が左手か右手かを判定することが好ましい。【００１１】
また、ユーザの操作を行う手に装着されたＩＲタグがもつ識別情報を読み取る識別情報読取部をさらに備え、操作手判定部は、識別情報読取部において読み取られた識別情報に基づいて、ユーザの操作を行う手が左手か右手かを判定することが好ましい。【００１２】
また、実行処理部は、操作手判定部において左手と判定されたとき、表示すべき左画像を右画像と同じ画像に変更するとともに、手画像を左画像および右画像に重畳して表示させ、操作手判定部において右手と判定されたとき、表示すべき右画像を左画像と同じ画像に変更するとともに、手画像を左画像および右画像に重畳して表示させることが好ましい。【００１３】
また、実行処理部は、操作手判定部において左手と判定されたとき、右画像に含まれるＧＵＩ部品を左画像に重畳して表示させるとともに、手画像を左画像および右画像に重畳して表示させ、操作手判定部において右手と判定されたとき、左画像に含まれるＧＵＩ部品を右画像に重畳して表示させるとともに、手画像を左画像および右画像に重畳して表示させることが好ましい。【００１４】
また、実行処理部は、操作手判定部において左手と判定されたとき、右画像と手画像とを半透明にして左画像に重畳して表示させるとともに、手画像を右画像に重畳して表示させ、操作手判定部において右手と判定されたとき、左画像と手画像とを半透明にして右画像に重畳して表示させるとともに、手画像を左画像に重畳して表示させることが好ましい。【００１５】
また、実行処理部は、操作手判定部において左手と判定されたとき、表示すべき右画像に前記手画像を重畳して表示させるとともに、左画像に手画像の指先の位置を表す画像を重畳して表示させ、操作手判定部において右手と判定されたとき、表示すべき左画像に手画像を重畳して表示させるとともに、右画像に手画像の指先の位置を表す画像を重畳して表示させることが好ましい。【００１６】
また、実行処理部は、操作手判定部において左手と判定されたとき、左画像に含まれる画像のうち、操作部において指定された右画像上の位置に対応する画像を特定して当該画像の表示態様を変更し、操作手判定部において右手と判定されたとき、右画像に含まれる画像のうち、操作部において指定された左画像上の位置に対応する画像を特定して当該画像の表示態様を変更することが好ましい。【００１７】
また、左画像および前記右画像には、表示が同じＧＵＩ部品が含まれており、左画像のＧＵＩ部品および前記右画像のＧＵＩ部品には、それぞれ異なる処理が関連付けられていることが好ましい。【００１８】
また、操作部は、ＧＵＩ部品とそれが指定されたときに実行すべき処理とを関連付ける関連付け操作をユーザから受け付け、実行処理部は、関連付け操作が行われたときに操作手判定部が左手と判定したとき、当該関連付け操作によって関連付けられるＧＵＩ部品を左画像に重畳して表示させ、関連付け操作が行われたときに操作手判定部が右手と判定したとき、当該関連付け操作によって関連付けられるＧＵＩ部品を右画像に重畳して表示させることが好ましい。
【発明の効果】
【００１９】
以上のように、本発明によれば、操作を行うユーザが視認している画像が左画像か右画像かを判定し、右画像のときは手画像を右画像に重畳し、左画像のときは手画像を左画像に重畳して表示する。つまり、操作を行うユーザに対して表示される画像に自身の手画像が重畳されることとなるので、操作を行うユーザに対して直感的な操作感を提供することができる。また、このとき、操作をしないユーザ側には、操作を行うユーザの手画像は重畳されない。これにより、異なる視野角方向に各画像を同時表示する、いわゆるデュアル・ビュー表示においても、操作を行うユーザの手自体が操作をしないユーザの邪魔になることはなく、視認性を向上させることができる。
【図面の簡単な説明】
【００２０】
【図１】図１は、本発明に係る情報処理装置が行う処理の概略を説明するための図である。
【図２】図２は、撮像部１３が操作部１２付近を撮像している様子を示す図である。
【図３】図３は、本発明に係る情報処理装置の構成を示す図である。
【図４】図４は、本発明に係る情報処理装置の処理の流れを示すフローチャートである。
【図５】図５は、本情報処理装置の処理による表示を模式的に示した図である。
【図６】図６は、右手左手判定処理の詳細な処理の流れを示すフローチャートである。
【図７】図７は、右手左手判定処理方法を模式的に示した図である。
【図８】図８は、３Ｄ表示および２Ｄ表示間で処理を行う様子を示した図である。
【図９】図９は、実行処理部１０４が同じ２Ｄ表示間であって縮尺が異なる画像間で処理を行う様子を示した図である。
【図１０】図１０は、ユーザ２１が押下した画像Ａ上の建物Ｔが画像Ｂ上に表示されていない場合に実行処理部１０４が画像Ｂの縮尺を変える様子を示した図である。
【図１１】図１１は、一連の操作を実行するためのショートカットを操作者から非操作者に移動させる様子を示した図である。
【図１２】図１２は、画像Ａおよび画像Ｂ上に設定された移動エリアの一例を示す図である。
【図１３】図１３は、助手席のユーザ２１がオーディオ画面上での操作方法が分からず、ヘルプボタンを押下している様子を示した図である。
【図１４】図１４は、ヘルプボタンが押下された後、オーディオ画面が両方の画面に表示され、運転席のユーザ２２が操作方法を教授している様子を示す図である。
【図１５】図１５は、図１４に関する他の例を示す図である。
【図１６】図１６は、図１４に関する他の例を示す図である。
【図１７】図１７は、図１４に関する他の例を示す図である。
【図１８】図１８は、撮像部１３が操作面の下方に配置された例を示す図である。
【図１９】図１９は、撮像部１３を２台で構成した図である。
【図２０】図２０は、撮像部１３で撮像される操作部１２付近の画像１３ｇの一例を示す図である。
【符号の説明】
【００２１】
１１  画像ソース
１２  操作部
１３  撮像部
１４  制御部
１５  表示部用制御部
１６  表示部
１０１  手画像生成部
１０２  右手左手判定部
１０３  手画像重畳部
１０４  実行処理部
２１  助手席のユーザ
２２  運転席のユーザ
【発明を実施するための最良の形態】
【００２２】
本発明に係る情報処理装置について具体的に説明する前に、図１を参照して、本発明に係る情報処理装置が行う処理の概略を説明する。図１は、本発明に係る情報処理装置が行う処理の概略を説明するための図である。【００２３】
図１では、本発明に係る情報処理装置が例えば車載環境下に設置された場合を想定している。車の助手席にはユーザ２１が、運転席にはユーザ２２がそれぞれ座っている。表示部１６は、デュアル・ビュー表示機能を有するディスプレイであり、助手席のユーザ２１側には画像Ａを表示している。図１では画像ＡとしてＧＵＩ部品Ａを含む画像が表示されている。一方、表示部１６は、運転席のユーザ２２側には、画像Ａとは異なる画像Ｂを表示している。図１では画像Ｂとして地図情報が表示されている。また助手席のユーザ２１と運転席のユーザ２２との間には、例えばタッチパネルで構成された操作部１２が横倒しにして設置されている。助手席のユーザ２１は、この操作部１２上で右手２１ＨＲを使って操作を行っている。また図２に示すように、操作部１２はカメラなどの撮像部１３によって撮像されているとする。撮像部１３は、車の天井などに設置されている。図２は、撮像部１３が操作部１２付近を撮像している様子を示す図である。【００２４】
ここで、例えば助手席のユーザ２１が、画像Ａを見ながらＧＵＩ部品Ａを押下してＧＵＩ部品Ａに関連付けされた処理を行いたいとする。この場合、助手席のユーザ２１は、右手２１ＨＲを使って操作部１２上で操作を行い、画像Ａ上の位置を指定する。このとき、本発明に係る情報処理装置の処理によって、画像Ａには撮像部１３で撮像された助手席のユーザ２１の右手画像２１ＳＲが重畳される。そして、助手席のユーザ２１は、重畳表示された自身の右手画像２１ＳＲを見ながら、操作部１２上の右手２１ＨＲを動かして画像上のＧＵＩ部品Ａを押下することができる。一方、運転席のユーザ２２側の画像Ｂには、助手席のユーザ２１の右手画像２１ＳＲは重畳されない。【００２５】
このように、本発明に係る情報処理装置では、表示部１６の画面上にタッチパネルを設置する代わりに、助手席のユーザ２１の右手画像２１ＳＲを画面上に表示する。これにより、操作する助手席のユーザ２１に対して直感的な操作感を提供することができる。さらに、本発明に係る情報処理装置では、操作しない運転席のユーザ２２側には、操作する助手席のユーザ２１の右手画像２１ＳＲは表示されない。これにより、デュアル・ビュー表示機能をもつ表示部を用いる場合であっても、操作する助手席のユーザ２１の右手ＨＲ自体が運転席のユーザ２２の邪魔になることはなく、視認性を向上させることができる。【００２６】
以下、図３を参照して、本発明に係る情報処理装置について具体的に説明する。図３は、本発明に係る情報処理装置の構成を示す図である。図３において、本発明に係る情報処理装置は、操作部１２、撮像部１３、制御部１４、表示部用制御部１５、および表示部１６を備える。なお、画像ソース１１Ａおよび画像ソース１１Ｂは、異なる視点位置にいるユーザに対してそれぞれに表示される画像を出力するソースである。画像としては、例えばテレビ受信による画像、ＡＶ機器などの再生機器で再生される画像などが挙げられる。また以下、説明のために、画像ソース１１Ａから出力される画像を画像Ａとし、画像ソース１１Ｂから出力される画像を画像Ｂとする。また以下では、画像Ａは表示部１６に向かって左側の視野角方向（以下、単に左側方向と称す）に表示される画像とし、画像Ｂは右側の視野角方向（以下、単に右側方向と称す）に表示される画像として説明する。【００２７】
操作部１２は、表示された画像上の位置をユーザが指定する操作を受け付ける。つまり操作を行うユーザ（以下、操作者と称す）は、操作部１２上に手を置いて操作を行い、画像上の位置を指定する。操作部１２は、少なくとも操作面を有するものであればよいが、ここでは例えば操作部１２がタッチパッドで構成されるとする。そして、タッチパネル上の座標位置と画像上の座標位置とが関連付けされているとする。【００２８】
撮像部１３は、少なくとも操作部１２上にある操作者の手を含む範囲内を撮像し、操作者の手を含む画像を出力する。撮像部１３は、例えば可視光カメラで構成される。撮像部１３は、可視光カメラ以外に、例えば赤外線カメラ、近赤外線カメラ、サーモグラフィなどで構成されてもよい。つまり、撮像部１３は、操作者の手領域を抽出することが可能な画像を取得する機器であれば、どのような機器で構成されてもよい。また撮像部１３は、図２に示したように操作部１２を撮像することが可能な位置に設置される。【００２９】
制御部１４は、例えばＣＰＵで構成される。また制御部１４は、機能的には手画像生成部１０１、右手左手判定部１０２、手画像重畳部１０３、および実行処理部１０４で構成される。手画像生成部１０１は、撮像部１３で取得された操作部１２付近の画像から操作者の手を表す手領域の画像（以下、手画像という）を生成する。なお、手画像生成部１０１は実写の手画像を生成してもよいし、手領域から輪郭だけをさらに抽出し、当該輪郭内に所定の模様や色を付した手画像を生成してもよい。右手左手判定部１０２は、手画像生成部１０１で手画像が生成されたときに、当該手画像に基づいて操作者の手が右手であるか左手であるかを判定する。手画像重畳部１０３は、右手左手判定部１０２において判定された結果に基づいて、画像Ａまたは画像Ｂに対し、手画像生成部１０１で生成された手画像を重畳する。実行処理部１０４は、操作者が操作部１２において入力した情報に対応して、処理を実行する。具体的には、実行処理部１０４は右手左手判定部１０２の判定結果により操作者が画像Ａおよび画像Ｂどちらの画像が表示されたユーザであるかという情報を取得する。つまり、実行処理部１０４は、どの視野角方向にいるユーザが入力したかを右手左手判定部１０２の判定結果により区別して処理を行うことができる。例えば画像Ａが表示されたユーザが操作者である場合には、実行処理部１０４は画像ソース１１Ａに適宜アクセスし、画像Ａが表示されたユーザの入力に基づいた処理を実行する。【００３０】
表示部用制御部１５は、制御部１４の手画像重畳部１０３で処理された各画像（画像ＡおよびＢ）を表示部１６に供給し、デュアル・ビュー表示を行うための制御を行う。表示部１６は、デュアル・ビュー表示が可能なディスプレイである。表示部１６は、例えばその前面にパララックスバリアが設置された液晶表示パネルで構成される。このような表示部用制御部１５および表示部１６の構成によって、表示部１６では画像Ａと画像Ｂとが異なる視野角方向に同時表示される。つまり、表示部１６で表示される画像はユーザの視点位置によって別々の画像となる。なお、表示部用制御部１５および表示部１６は、デュアル・ビュー表示を実現するものであれば、どのような機器で構成されてもよい。【００３１】
次に、図４を参照して、本発明に係る情報処理装置の処理について具体的に説明する。図４は、本発明に係る情報処理装置の処理の流れを示すフローチャートである。【００３２】
まず、手画像生成部１０１が撮像部１３で撮像された操作部１２付近の画像を取得する（ステップＳ１）。手画像生成部１０１は、ステップＳ１で取得した操作部１２付近の画像から肌色の領域を抽出する（ステップＳ２）。そして、抽出した肌色の領域に対してノイズ除去を行い、手と予想される領域を取得する（ステップＳ３）。ここで、ノイズ除去の方法としては、一般に知られている方法を用いてかまわない。一例としては、抽出された領域が複数ある場合に、各領域の面積を比較して、最も大きい領域を手と予想される領域として取得する方法などが挙げられる。なお、撮像部１３として赤外線カメラを使用した場合は、肌色領域を抽出することができない。そこで、手領域を抽出するために、手領域を輝度値の閾値で抽出する方法を用いる。なお、この時、赤外線投光機を設置し、操作面上部を照らすことで、手領域を抽出しやすくすることが好ましい。【００３３】
ステップＳ３の次に、手画像生成部１０１は、ステップＳ３で取得した領域が手かどうか判定する（ステップＳ４）。ここで、手かどうかを判定する方法としては、一般的な方法を用いてかまわない。一例としては、手のパターンを予め記憶しておき、当該手のパターンとステップＳ３で取得された領域のパターンとを比較（パターンマッチング）する方法などが考えられる。ステップＳ４において、手画像生成部１０１が手であると判定した場合には、ステップＳ３で取得された領域を手画像として生成し、処理はステップＳ５へ進む。一方、ステップＳ４において、手画像生成部１０１が手ではないと判定した場合には、手画像が重畳されることなくデュアル・ビュー表示がなされる（ステップＳ６）。【００３４】
ステップＳ４の次に、右手左手判定部１０２は、抽出された手画像に基づいて操作者の手が右手であるか左手であるかを判定する（ステップＳ５）。なお、ステップＳ５の具体的な処理については、後述にて説明する。ステップＳ５で右手と判断された場合、処理はステップＳ８へ進む（ステップＳ７で右手）。一方、ステップＳ５で左手と判断された場合には、処理はステップＳ１１へ進む（ステップＳ７で左手）。【００３５】
ステップＳ８において、手画像重畳部１０３は、左側方向に表示される画像Ａに対して、ステップＳ４で得られた右手の手画像を重畳する。そして、画像Ａにのみ手画像が重畳表示された、デュアル・ビュー表示が行われる（ステップＳ１４）。つまり、右手で操作するユーザは、画像Ａの表示方向と同じ左側方向に存在するので、画像Ａに重畳表示された手画像は右手で操作するユーザにのみ視認されることとなる。ここで、理解を容易にするために図５を参照して説明すると、操作部１２に操作者の手（図５では右手２１ＨＲ）が置かれると、上述した処理によって最終的には操作者の手画像（図５では右手の手画像２１ＳＲ）が左側方向に表示される画像Ａに重畳表示される。図５は、本情報処理装置の処理による表示を模式的に示した図である。なお、ステップＳ８において画像Ａ上のどの位置に手画像を重畳するかについては、例えば撮像部１３で取得された操作部１２付近の画像から操作部１２の四隅を検出し、この四隅が画像ＡまたはＢの四隅と一致するように調整する方法などが考えられる。【００３６】
なおステップＳ８の次に、重畳表示された手画像を見ながらユーザが操作部１２で画像上の位置を指定する入力を行うとき（ステップＳ９でＹＥＳ）、実行処理部１０４はステップＳ５で操作者の手が右手と判定されているので、画像ソース１１Ａに適宜アクセスし、操作部１２で指定された画像Ａ上の位置に基づいた処理を実行する（ステップＳ１０）。例えば、画像Ａ上の位置にＧＵＩ部品等があれば、それに関連付けされた処理が実行される。その後、実行処理部１０４で処理された後の画像Ａにのみ手画像が重畳表示されたデュアル・ビュー表示が行われる（ステップＳ１４）。【００３７】
一方、ステップＳ５で左手と判断された場合、右側方向に表示される画像Ｂに対して、ステップＳ４で得られた左手の手画像を重畳する（ステップＳ１１）。そして、画像Ｂにのみ手画像が重畳表示された、デュアル・ビュー表示が行われる（ステップＳ１４）。つまり、左手で操作するユーザは、画像Ｂの表示方向と同じ右側方向に存在するので、画像Ｂに重畳表示された手画像は左手で操作するユーザにのみ視認されることとなる。なおステップＳ１１の次に、重畳表示された手画像を見ながらユーザが操作部１２で画像上の位置を指定する入力を行うとき（ステップＳ１２でＹＥＳ）、実行処理部１０４はステップＳ５で操作者の手が右手と判定されているので、画像ソース１１Ｂに適宜アクセスし、操作部１２で指定された画像Ｂ上の位置に基づいた処理を実行する（ステップＳ１３）。その後、実行処理部１０４で処理された後の画像Ｂにのみ手画像が重畳表示されたデュアル・ビュー表示が行われる（ステップＳ１４）。【００３８】
このように、実行処理部１０４は、右手左手判定部１０２の判定結果に基づいて、操作者が画像Ａ上の位置に対する入力を行ったのか、または操作者が画像Ｂ上の位置に対する入力を行ったかを区別し、各操作者に対して別々の処理を行うことができる。つまり、実行処理部１０４は、異なる視野角方向に存在する操作者の各入力に応じて、処理内容を変えることができる。【００３９】
次に、図６を参照して、右手左手判定処理（図４のステップＳ５）について詳細に説明する。図６は、右手左手判定処理の詳細な処理の流れを示すフローチャートである。ここでは一例として、手領域から手のひら領域を求めて指領域を検出し、各指領域から指先の位置を特定して左手か右手を判定する方法について説明する。まず、手画像生成部１０１で抽出された手領域内に所定半径の円を配置する（ステップＳ５１１）。ここで、所定半径の値は、配置する円が指の太さよりも大きい円となるように設定する。ステップＳ５１１の次に、円の輪郭線と手領域の輪郭線との間の距離をパラメータとして求める（ステップＳ５１２）。ここでは、例えば円の輪郭線上の全点それぞれについて手領域の輪郭線上の全点までの距離をパラメータとして算出する。ステップＳ５１２の次に、閾値以下の値となるパラメータのみを抽出する（ステップＳ５１３）。これは、手のひら領域を決定するに際し、値が大きい指領域の輪郭線に係るパラメータを予め算出対象から除外し、処理負担の軽減を図るためである。【００４０】
ステップＳ５１３の次に、配置された円の位置と半径を変えて、手領域における手のひら部分に最も近似する円を手のひら領域として求める（ステップＳ５１４〜Ｓ５１８）。具体的には、まず円の位置を移動させ、パラメータ値が最小となる位置を求める（ステップＳ５１４およびＳ５１５）。このとき、円の位置は、例えば円の輪郭線上の各点で求められたパラメータ値の偏り具合に基づいて移動する。具体的には、大きな値のパラメータが多く分布している方向へ移動する。そして、円の位置が決定後、円の半径を変更してパラメータ値が最小となる半径を求める（ステップＳ５１６およびＳ５１７）。図７に示すように、ステップＳ５１４〜Ｓ５１７の処理によって決定された円を手のひら領域として決定する（ステップＳ５１８）。図７は、右手左手判定処理方法を模式的に示した図である。【００４１】
なお、ステップＳ５１４〜Ｓ５１７の処理において、手のひらに最も近似する円として半径が異なる２つの円が存在する場合がある。この場合には、半径が大きい方の円を手のひら領域とするのが好ましい。また、上述では円を用いて手のひら領域を求めたが、例えば楕円や実際の手のひらの形状と近い形状を用いて手のひら領域を求めてもよい。近似する形状が実際の手のひらの形状に近いほど、より正確な手のひら領域を求めることができる。また、上記パラメータは、一般に知られているパターンマッチングなどのパラメータであってもよい。【００４２】
ステップＳ５１８の次に、図７にも示すように、手のひら領域を除去することにより、各指領域を抽出する（ステップＳ５１９）。そして、手のひら領域の中心（円の中心）から指領域の輪郭線までの距離を指領域ごとに算出する（ステップＳ５２０）。そして、算出した各指領域での距離が最大となる点を指先点として設定する（ステップＳ５２１）。図７において、円の中心から距離が最大となる点が指先に位置していることが分かる。ここで、５つの指先点が設定された場合に（ステップＳ５２２）、各指先点について最も近い他の指先点までの距離を算出する（ステップＳ５２３）。つまり、図７に示すように、親指は人差し指との間の距離が他の指までの距離と比べて最も小さい値となる。このようにして求められた距離は、図７に示すように４つ存在することとなる。ステップＳ５２３の次に、設定された各指先点から、左右方向に２つある端点のうちステップＳ５２３で算出した距離が大きい方の端点を親指の指先点と設定する（ステップＳ５２４）。図７において、２つの端点（Ｘ点およびＹ点）のうち、Ｘ点の距離ｘがＹ点の距離ｙよりも大きくなっていることが分かる。よって、Ｘ点を親指と認識することができる。【００４３】
ステップＳ５２４の次に、親指の指先点が右端または左端にあるかを判断する（ステップＳ５２５）。親指の指先点が右端にあれば左手と判定し（ステップＳ５２６）、左端にあれば右手と判定する（ステップＳ５２７）。以上で右手左手判定処理の流れについて説明を終了する。【００４４】
なお、上述した右手左手判定処理において、親指を左右方向の端点から求めたが、これに限定されない。例えば、図７で言えば、親指は他の指より最も画面下側にある。これを利用して画面下側にある指先点を親指として設定してもよい。また、上述した左右方向の端点から求める方法と下側にある指先点を求める方法とを両方用いて、親指の指先点を設定してもよい。また、その他一般に知られている方法を用いてもよい。【００４５】
また、上述した右手左手判定処理においては、手画像生成部１０１から生成された手画像を用いて右手左手を判定したが、これに限定されない。一例としては、操作者が手に右手・左手の識別情報をもつＩＲタグを装着し、識別情報読取部（図示なし）と通信することで、操作者の手が右手か左手かを検知する方法でもよい。識別情報読取部は、ＩＲタグと通信して識別情報を読み取るものである。この識別情報読取部は、操作部１２内に設けられてもよいし、操作部１２外にあってもよい。また、手のひらの手相を画像処理によって検知して、右手左手を検知する方法を用いてもよい。【００４６】
なお、上述したように実行処理部１０４は、異なる視野角方向に存在する操作者の各入力に応じて、処理内容を変えることができる。上述では、単に一方の操作者の入力に対応した処理についてのみ説明したが、これに限らない。例えば、一方の操作者の入力に対応する処理が実行されるときに、操作をしていない他方のユーザに対してもその処理と関連した画像間の処理を実行するようにしてもよい。以下、この画像間の処理について具体例を挙げて説明する。【００４７】
図８を参照して、第１の具体例について説明する。例えば異なる地図画像を見ている各ユーザ間において、操作者が非操作者に対して地図上の特定の位置を教えたい場合がある。そこで、互いに異なる地図画像を見ている場合において、操作者が地図画像上の特定の位置を押下したときに、非操作者が見ている地図画像上で操作者が押下した特定の位置に対応する位置を点滅などさせて表示態様を変更し、非操作者に教えるようにする。【００４８】
図８は、３Ｄ表示および２Ｄ表示間で処理を行う様子を示した図である。図８では、図１と同様に、本発明に係る情報処理装置が例えば車載環境下に設置された場合を想定している。また、図８に示す各部は、図１で示した各部に対して画像Ａおよび画像Ｂの内容と処理とが異なるのみであり、他の各部の詳細な説明は省略する。図８において、画像Ａは３Ｄ表示の地図画像である。画像Ｂは２Ｄ表示の地図画像である。助手席のユーザ２１は３Ｄ表示された地図を見ている。運転席のユーザ２２は２Ｄ表示された地図を見ている。【００４９】
ここで図８に示すように、助手席のユーザ２１が画像Ａに重畳された右手画像２１ＳＲを見ながら、操作部１２上に置いた右手で画面上の３Ｄ表示された建物Ｔ（ＧＵＩ部品）を押下したとする。このとき、実行処理部１０４は、まず右手左手判定部１０２からユーザ２１または２２のどちらが入力したのかという判定結果を取得する。ここでは、ユーザ２１が右手２１ＨＲで操作しているので、右手左手判定部１０２では右手と判定される。つまり、操作者は左側方向にいるユーザ２１であることが分かる。これにより、実行処理部１０４では、操作部１２上で押下された座標位置と対応する画像Ａ上の座標位置にある３Ｄ表示された建物Ｔを検出する。その後、実行処理部１０４は、操作をしていない運転席のユーザ２２が見ている画像Ｂに対し、３Ｄ表示された建物Ｔに対応する２Ｄ表示された建物Ｔの座標位置を検索する。そして、実行処理部１０４は、図８に示したように、検索した画像Ｂ上の２Ｄ表示された建物Ｔを点滅表示などをさせる処理を行う。なお、図８においては、実行処理部１０４の処理に際し、３Ｄ表示された地図と２Ｄ表示された地図との間で座標位置の変換を行う必要があるが、この変換方式自体は一般に知られている変換方法を用いるとし、詳細な説明は省略する。【００５０】
なお、図８では、３Ｄ表示および２Ｄ表示間での処理について説明したが、例えば図９に示すように、同じ２Ｄ表示間であって縮尺が異なる画像間でも処理を行うことができる。図９は、実行処理部１０４が同じ２Ｄ表示間であって縮尺が異なる画像間で処理を行う様子を示した図である。さらに、図１０に示すように、ユーザ２１が押下した画像Ａ上の建物Ｔが画像Ｂ上に表示されていない場合に、実行処理部１０４が画像Ｂの縮尺を変えて建物Ｔを表示するように処理を行うことも可能である。図１０は、ユーザ２１が押下した画像Ａ上の建物Ｔが画像Ｂ上に表示されていない場合に実行処理部１０４が画像Ｂの縮尺を変える様子を示した図である。【００５１】
また、実行処理部１０４は、押下した座標位置だけではなく、右手左手判定部１０２の判定結果に基づいて制御命令を変えるようにしてもよい。具体的には、例えばユーザ２１および２２にそれぞれ表示された画像上で、同じ機能（同じ表示）を有するが関連付けられた処理内容が異なるＧＵＩ部品を同じ位置に設置する。これにより、操作者の手が右手か左手かによって実行される処理内容が変わる。同じ機能を有するが処理内容が異なるＧＵＩ部品としては、例えば運転席のユーザ２２側から実行される場合には、簡易的な表示にして運転操作に邪魔にならないように処理する。一方、助手席のユーザ２１側から実行される場合には、なるべく多くの情報を表示するように処理を行う。このような処理を行うことで、同じ機能を実行する際にも、使い勝手を向上させるなどの長所を付加することができる。【００５２】
図１１を参照して、第２の具体例について説明する。運転中のユーザが画面を見ながら複雑な操作を行うと、安全運転に支障をきたすおそれがある。そこで、複雑な操作は助手席のユーザが行って、運転するユーザはその複雑な操作を実行するタイミングだけ決定するするようにする。図１１は、一連の操作を実行するためのコマンド（ショートカット）を操作者から非操作者に移動させる様子を示した図である。図１１では、運転しているユーザ２２の操作をより簡易なものにするために、助手席のユーザ２１が、関連付け操作を行って目的地を設定する一連の操作を実行するためのショートカット（ＧＵＩ部品）を作成し、当該ショートカットを運転席のユーザ２２側の画像Ｂに移動させる様子を示している。【００５３】
この場合、助手席のユーザ２１は、画像Ａ上で目的地にしたい場所のＧＵＩ部品２３を押下後、目的地のＧＵＩ部品２４を押下する。そして、助手席のユーザ２１は、これら目的地設定に係る一連の操作をコマンド実行するためのショートカット２５を作成する。ここで図１１においては、作成されたショートカット２５が画像Ａの右上に表示される。助手席のユーザ２１は、作成したショートカット２５を画像Ａの右上隅に設定された特定のエリア２６にドラッグアンドドロップする。そして、運転席のユーザ２２側の画像Ｂ上の特定のエリア２７にショートカット２５が移動する。そして、運転席のユーザ２２は、画像Ｂ上の特定のエリア２７に表示されたショートカット２５を押下するだけで、目的地の設定を行うことができる。すなわち、実行するタイミングは運転手側で任意に決定することが可能となる。【００５４】
ここで、ショートカット２５を作成する処理については、一般のパソコンで用いられているバッチコマンド作成と同等の方法を用いてもよいし、他の一般的な方法を用いてもよい。また、ショートカット２５を画像Ａから画像Ｂに移動させる処理について詳細に説明すると、図１２に示すように、まず画像Ａおよび画像Ｂに対してそれぞれ特定のエリア２６および２７を画像ＡおよびＢ間を移動するエリア（移動エリア）として設定しておく。図１２は、画像Ａおよび画像Ｂ上に設定された移動エリアの一例を示す図である。この移動エリアにショートカット２５がドラッグアンドドロップされたときだけ、画像Ａから画像Ｂ（または画像Ｂから画像Ａ）に移動表示するようにすればよい。なお、図１２において、移動エリアを同じ位置に示したが、画像Ａおよび画像Ｂで異なる位置にあってもよい。また、このショートカットを移動させる処理は、実行処理部１０４が行ってもよいし、図４で示した構成に対して新たにショートカット移動部を設けて、当該ショートカット移動部で行うようにしてもよい。【００５５】
図１３〜図１７を参照して、第３の具体例について説明する。異なる画像を見ているユーザに対して操作者が操作方法を教えるようなヘルプモードの場合には、両方の画像に操作者の手画像を表示することが望ましい。そこで、このような処理を第３の具体例として詳細に説明する。【００５６】
図１３は、助手席のユーザ２１がオーディオ画面上での操作方法が分からず、ヘルプボタンを押下している様子を示した図である。図１４は、ヘルプボタンが押下された後、オーディオ画面が両方の画面に表示され、運転席のユーザ２２が操作方法を教授している様子を示す図である。図１５〜図１７は、図１４に関する他の例を示す図である。【００５７】
図１３において、助手席のユーザ２１が画像Ａに重畳された右手画像２１ＳＲを見ながらヘルプボタンを押下したとする。このとき、実行処理部１０４は、まず右手左手判定部１０２からユーザ２１または２２のどちらが入力したのかという判定結果を取得する。ここでは、ユーザ２１が右手２１ＨＲで操作しているので、右手左手判定部１０２では右手と判定される。つまり、操作者は左側方向にいるユーザ２１であることが分かる。これにより、実行処理部１０４では、操作部１２上で押下された座標位置と対応する画像Ａ上の座標位置にあるヘルプボタンのＧＵＩ部品を検出する。その後、図１４に示すように、実行処理部１０４は運転席のユーザ２２に表示される画像を画像Ａと同じオーディオ画面に変える。そして、教える人、ここでは、運転席のユーザ２２が操作部１２上に左手２２ＨＬを置く。このとき、操作部１２上に置かれた左手は、手画像重畳部１０３でユーザ２１および２２に表示される両方の画像ＡおよびＢに重畳される。そして、この両方の画像に重畳された左手画像２２ＳＬを用いて運転席のユーザ２２は助手席のユーザ２１に操作方法を教えることができる。【００５８】
なお、図１４では、運転席のユーザ２２に表示される画像をヘルプボタンを押下した助手席のユーザ２１に表示された画像Ａと同じ画像に変えたが、図１５に示すように、実行処理部１０４が運転席のユーザ２２に表示された画像Ｂに半透明にした画像Ａを重畳するようにしてもよい。【００５９】
また、例えば助手席のユーザ２１がオーディオ画面にてテレビやＤＶＤなどの動画を見ているときにヘルプボタンを押下した場合、上述したように運転席のユーザ２２に対して同じ画像を表示すると、運転しているユーザ２２がその映像に気を取られ、運転面に支障をきたすおそれも考えられる。このような場合には、実行処理部１０４は助手席のユーザ２１に表示された画像のうち、動画が表示される領域を運転席のユーザ２２側には表示しないようにしてもよい。【００６０】
また、実行処理部１０４は、図１６に示すように、助手席のユーザ２１に表示された画像Ａのうち、操作可能なボタンＧＵＩ部品のみを運転席のユーザ２２に表示される画像Ｂに重畳するようにしてもよい。このとき、実行処理部１０４は、ヘルプボタンを押したユーザ２１に表示された画像Ａのうち押下できるＧＵＩ部品をすべて抽出する。そして、抽出したＧＵＩ部品を画像Ａ上の位置と同じ位置で画像Ｂに重畳する。なお、ＧＵＩ部品に関連付けされた機能の名称などはＧＵＩ部品内に言葉で表記することが望ましい。【００６１】
また図１７に示すように、実行処理部１０４は、手画像重畳部１０３において、操作方法を教える運転席のユーザ２２に表示される画像には左手画像２２ＳＬを重畳させ、教えてもらう側の助手席のユーザ２１に表示される画像Ａには左手画像２２ＳＬに基づいたカーソルや指先点のみの画像を重畳させるようにしてもよい。図１７では、助手席のユーザ２１に表示された画像Ａには、左手画像２２ＳＬの各指先の位置を示すポインター２２ＳＬＰが重畳表示されている。このポインター２２ＳＬＰは、図１７に示したような丸形状であってもよいし、それ以外の矢印などの他のＧＵＩ部品と区別可能な形状であればどのような形状であってもよい。【００６２】
以上のように、本発明に係る情報処理装置によれば、操作者の手が右手か左手かを判定し、操作者に表示された画像に当該操作者の手画像を重畳することで、操作者に対して直感的な操作感を提供することができる。さらに、本発明に係る情報処理装置によれば、非操作者側には、操作者の手画像は表示されないので、デュアル・ビュー表示機能をもつ表示部を用いる場合であっても、操作者の手自体が非操作者の邪魔になることはなく、視認性を向上させることができる。さらに、本発明に係る情報処理装置によれば、操作者の手が右手か左手かを判定し、当該判定結果に基づいて操作者の入力に対応した処理を行うことができる。つまり、当該判定結果によって、異なる視野角方向にいるユーザの各入力を区別することができ、各入力に応じた処理を行うことができる。さらに、本発明に係る情報処理装置によれば、操作者の手が右手か左手かの判定結果に基づいて操作者の入力に対応した処理を行うことができるので、異なる視野角方向にそれぞれ表示された各画像に対してＧＵＩ部品などを最適な位置に配置することが可能となる。【００６３】
なお、上述では、操作部１２がタッチパッドで構成されるとし、操作者によって押下されたタッチパネル上の座標位置と画面上の座標位置とが関連付けされているとした。ここで、タッチパッドは押下した座標位置が検出可能なデバイスであればどのような形態をとってもかまわないが、タッチパッド自体を用いなくてもよい。例えば図１８に示すように、撮像部１３を透明な操作面の下方に配置し、操作者の手との距離をを計測し、操作者の手が操作面に接触しているかどうかを判定する方法が考えられる。図１８は、撮像部１３が操作面の下方に配置された例を示す図である。このとき、撮像部１３で撮像した画像から求めた接触した座標位置と画像Ａ上の座標位置とを関連付けしておけば、タッチパッドを用いることなく、撮像部１３だけで操作部１２を構成することも可能である。また、図１８に示す位置に撮像部１３が配置された場合、撮像部１３で得られる手画像は手のひら側の画像となる。したがってこの場合には、手画像重畳部１０３で重畳する前に、手画像の左右を反転させて、つまり手画像の鏡像を重畳すればよい。また、操作面の下方に配置された撮像部１３は、図１９に示すように２台で構成されてもよいし、それ以上の台数で構成されてもよい。図１９は、撮像部１３を２台で構成した図である。また、撮像部１３においては操作する手のみを撮像し、押下したか否かだけの入力を行う入力機器（スイッチやタッチパッドなど）を撮像部１３の撮像範囲外の位置や操作面上以外の位置に設置して、操作部１２を構成してもよい。この場合、押下した座標位置は、撮像部１３で撮像された手画像のうち例えば人指し指の位置とすればよい。【００６４】
また、上述では、右手左手判定部１０２において操作を行うユーザの手が左手か右手かを判定することにより、操作するユーザが視認している画像が画像Ａか画像Ｂかを判定していたが、これ以外の方法を用いて判定してもよい。例えば、操作するユーザが画像Ａまたは画像Ｂいずれの画像を視認しているかという識別情報をもつＩＲタグを用いるようにしてもよい。また例えば、図２０に示すように、ユーザの操作する手ではなく、腕部分の挿入方向および／または位置に基づいて、操作するユーザが画像Ａまたは画像Ｂいずれの画像を視認しているかを判定する方法であってもよい。図２０は、撮像部１３で撮像される操作部１２付近の画像１３ｇの一例を示す図である。図２０において、撮像部１３で撮像された画像１３ｇで、例えば手３０が挿入されたとする。このとき、手３０の腕部分３０１は、画像上、右側に位置している。したがって、撮像部１３で撮像された画像１３ｇから腕部分３０１の位置を検出すれば、操作するユーザは操作部１２の右側方向の画像Ｂを見ていると判定できる。
【産業上の利用可能性】
【００６５】
デュアル・ビュー表示機能をもつ表示装置を用いる場合であっても、操作を行うユーザには直感的な操作感を提供しつつ、各ユーザに対する視認性を向上させることが可能な撮像器を備える情報処理機器等に有用である。
【図１】
2007088939.tif 000003
【図２】
2007088939.tif 000004
【図３】
2007088939.tif 000005
【図４】
2007088939.tif 000006
【図５】
2007088939.tif 000007
【図６】
2007088939.tif 000008
【図７】
2007088939.tif 000009
【図８】
2007088939.tif 000010
【図９】
2007088939.tif 000011
【図１０】
2007088939.tif 000012
【図１１】
2007088939.tif 000013
【図１２】
2007088939.tif 000014
【図１３】
2007088939.tif 000015
【図１４】
2007088939.tif 000016
【図１５】
2007088939.tif 000017
【図１６】
2007088939.tif 000018
【図１７】
2007088939.tif 000019
【図１８】
2007088939.tif 000020
【図１９】
2007088939.tif 000021
【図２０】
2007088939.tif 000022
【手続補正書】
【提出日】平成20年7月15日(2008.7.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザの操作に応じて処理を行う情報処理装置であって、
表示面に向かって左の視野方向から視認可能な左画像と表示面に向かって右の視野方向から視認可能な右画像とを同時表示する表示部と、
前記ユーザが前記表示部において表示された画像上の位置を指定する操作を受け付ける操作部と、
前記操作部に対して前記ユーザが操作を行う手を撮像する撮像部と、
前記撮像部によって撮像された画像から前記ユーザの操作を行う手を表す手画像を生成する手画像生成部と、
前記操作部に対してユーザが操作を行う手が左手か右手かを判定する操作手判定部と、
前記操作手判定部の判定結果に基づいて、操作を行う前記ユーザが前記右画像を視認していると判定されたとき、前記左画像と、前記手画像が重畳された右画像とを表示するとともに、前記操作部において指定された位置に対応する右画像上の位置が指定されたとして当該右画像上の位置に対応する処理を実行し、操作を行う前記ユーザが前記左画像を視認していると判定されたとき、前記右画像と、前記手画像が重畳された左画像とを表示するとともに、前記操作部において指定された位置に対応する左画像上の位置が指定されたとして当該左画像上の位置に対応する処理を実行する実行処理部とを備える、情報処理装置。
【請求項２】
前記操作手判定部は、前記手画像生成部において生成された手画像に基づいて、前記ユーザが操作を行う手が左手か右手かを判定することを特徴とする、請求項１に記載の情報処理装置。
【請求項３】
前記ユーザの操作を行う手に装着されたＩＲタグがもつ識別情報を読み取る識別情報読取部をさらに備え、
前記操作手判定部は、前記識別情報読取部において読み取られた識別情報に基づいて、前記ユーザが操作を行う手が左手か右手かを判定することを特徴とする、請求項１に記載の情報処理装置。
【請求項４】
前記実行処理部は、前記操作手判定部において左手と判定されたとき、表示すべき左画像を右画像と同じ画像に変更するとともに、前記手画像を左画像および右画像に重畳して表示させ、前記操作手判定部において右手と判定されたとき、表示すべき右画像を左画像と同じ画像に変更するとともに、前記手画像を左画像および右画像に重畳して表示させることを特徴とする、請求項１〜３のいずれかに記載の情報処理装置。
【請求項５】
前記実行処理部は、前記操作手判定部において左手と判定されたとき、前記右画像に含まれるＧＵＩ部品を左画像に重畳して表示させるとともに、前記手画像を左画像および右画像に重畳して表示させ、前記操作手判定部において右手と判定されたとき、前記左画像に含まれるＧＵＩ部品を右画像に重畳して表示させるとともに、前記手画像を左画像および右画像に重畳して表示させることを特徴とする、請求項１〜３のいずれかに記載の情報処理装置。
【請求項６】
前記実行処理部は、前記操作手判定部において左手と判定されたとき、前記右画像と前記手画像とを半透明にして左画像に重畳して表示させるとともに、前記手画像を右画像に重畳して表示させ、前記操作手判定部において右手と判定されたとき、前記左画像と前記手画像とを半透明にして右画像に重畳して表示させるとともに、前記手画像を左画像に重畳して表示させることを特徴とする、請求項１〜３のいずれかに記載の情報処理装置。
【請求項７】
前記実行処理部は、前記操作手判定部において左手と判定されたとき、表示すべき右画像に前記手画像を重畳して表示させるとともに、前記左画像に前記手画像の指先の位置を表す画像を重畳して表示させ、前記操作手判定部において右手と判定されたとき、表示すべき左画像に前記手画像を重畳して表示させるとともに、前記右画像に前記手画像の指先の位置を表す画像を重畳して表示させることを特徴とする、請求項１〜３のいずれかに記載の情報処置装置。
【請求項８】
前記実行処理部は、前記操作手判定部において左手と判定されたとき、左画像に含まれる画像のうち、前記操作部において指定された右画像上の位置に対応する画像を特定して当該画像の表示態様を変更し、前記操作手判定部において右手と判定されたとき、右画像に含まれる画像のうち、前記操作部において指定された左画像上の位置に対応する画像を特定して当該画像の表示態様を変更することを特徴とする、請求項１〜３のいずれかに記載の情報処理装置。
【請求項９】
前記左画像および前記右画像には、表示が同じＧＵＩ部品が含まれており、
前記左画像のＧＵＩ部品および前記右画像のＧＵＩ部品には、それぞれ異なる処理が関連付けられていることを特徴とする、請求項１〜３のいずれかに記載の情報処理装置。
【請求項１０】
前記操作部は、ＧＵＩ部品とそれが指定されたときに実行すべき処理とを関連付ける関連付け操作をユーザから受け付け、
前記実行処理部は、前記関連付け操作が行われたときに前記操作手判定部が左手と判定したとき、当該関連付け操作によって関連付けられるＧＵＩ部品を左画像に重畳して表示させ、前記関連付け操作が行われたときに前記操作手判定部が右手と判定したとき、当該関連付け操作によって関連付けられるＧＵＩ部品を右画像に重畳して表示させることを特徴とする、請求項１〜３のいずれかに記載の情報処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置に関し、より特定的には、デュアル・ビュー表示された画像情報をもとにユーザによって操作された情報や命令に応じて、処理を行う情報処理装置に関する。
【背景技術】
【０００２】
一般に知られているデュアル・ビュー表示機能をもつ表示装置は、異なる視野角方向それぞれに対して画像を同時表示することができる。これにより、ユーザの視点位置によって異なる画像を表示することもできる（例えば特許文献１参照）。特許文献１では、液晶表示パネルの前面にパララックスバリアを設置することで、ユーザの視点位置によって異なる画像を表示するデュアル・ビュー表示を実現している。
【０００３】
ここで、表示された画像情報をもとにユーザが操作した情報に応じて処理を行う方法としては、タッチパネルを用いる方法が挙げられる。具体的には、タッチパネルを表示装置の画面上に設置する。ここで、画面に表示されたＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）には、メニューやボタンスイッチに代表される表示部品（以下、ＧＵＩ部品と称す）が含まれる。ユーザは、タッチパネルを介して、画面上で所望のＧＵＩ部品に触れることによって、そのＧＵＩ部品に関連付けられた命令や情報を入力することができる。このようにタッチパネルが画面上に設置されることで、ユーザに対し直感的な操作感を提供することができる。
【０００４】
しかしながら、デュアル・ビュー表示機能をもつ表示装置では、ユーザの視点位置によって異なる画像が表示される。つまり、デュアル・ビュー表示機能をもつ表示装置は、それぞれ独立した画像を各視点位置のユーザに表示するものである。したがって、上述したように画面上に設置したタッチパネルを用いて入力を行う場合、処理装置側では、どの視野角方向に表示された画像に対して入力が行われたかが区別できないため、適切な処理ができないという課題があった。
【０００５】
この課題を解決するために、異なる画像間においてＧＵＩ部品を重畳しないように表示する方法が提案されている（例えば特許文献２参照）。つまり、上述したように画面上に設置したタッチパネルを用いて入力を行っても、ＧＵＩ部品が異なる位置に表示されるので、どの視野角方向に表示された画像に対して入力されたかを区別することができ、各視点位置に対して適切な処理を行うことができる。
【特許文献１】特開２００３−１７７３５７号公報
【特許文献２】特開２００５−２８４５９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ここで、ＧＵＩ部品を重畳しないように表示する方法では、上述したようにユーザは画面上に設置されたタッチパネルを用いて入力操作を行う。したがって、一方の視点位置にいるユーザが操作を行うとき、ユーザの操作する手が他方の視点位置に表示される画像を遮ってしまうことなる。このように、異なる画像間においてＧＵＩ部品を重畳しないように表示する方法では、画面上に設置されたタッチパネルを用いて入力操作を行うので、操作するユーザに対しては直感的な操作感を提供することはできるが、操作をしないユーザに対しては視認性を低下させてしまうという問題があった。
【０００７】
また、ＧＵＩ部品を重畳しないように表示する方法では、どの視野角方向に表示された画像に対して入力されたかを区別するために、ＧＵＩ部品を異なる画像間で重畳しない位置に配置する必要がある。ここで、ＧＵＩ部品は、ユーザの入力をより簡易的にする役割を果たしている。そのため、上述した従来の方法では、ＧＵＩ部品を異なる画像間で重畳しない位置に配置する必要があるため、ＧＵＩ部品を各画像上、最適な位置に配置することに制約があった。つまり、一方の視野角方向に表示された画像に対してはＧＵＩ部品をユーザがより入力し易い最適な位置に配置することができても、他方の視野角方向に表示された画像に対しては必ずしも最適な位置に配置することができないという問題があった。
【０００８】
それ故に、本発明は、デュアル・ビュー表示機能をもつ表示装置を用いる場合であっても、操作を行うユーザには直感的な操作感を提供しつつ、操作をしないユーザに対しては視認性を向上させることが可能な情報処理装置を提供することを目的とする。または、本発明は、異なる視野角方向にそれぞれ表示された各画像に対してＧＵＩ部品を最適な位置に配置して、ユーザの入力をより直感的、簡易的にすることが可能な情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
第１の発明は、ユーザの操作に応じて処理を行う情報処理装置であって、表示面に向かって左の視野角方向から視認可能な左画像と表示面に向かって右の視野角方向から視認可能な右画像とを同時表示する表示部と、ユーザの操作を行う手を撮像する撮像部と、ユーザの操作を行う手を表す手画像を、撮像部によって撮像された画像から生成する手画像生成部と、操作を行うユーザが視認している画像が左画像か右画像かを判定する判定部とを備え、表示部は、判定部において右画像を視認していると判定されたとき、左画像と、手画像が重畳された右画像とを表示し、判定部において左画像を視認していると判定されたとき、右画像と、手画像が重畳された左画像とを表示することを特徴とする。
【００１０】
第２の発明は、上記第１の発明において、判定部は、手画像生成部において生成された手画像に基づいて、操作を行うユーザが視認している画像が左画像か右画像かを判定することを特徴とする。
【００１１】
第３の発明は、ユーザの操作に応じて処理を行う情報処理装置であって、表示面に向かって左の視野角方向から視認可能な左画像と表示面に向かって右の視野角方向から視認可能な右画像とを同時表示する表示部と、ユーザが表示部において表示された画像上の位置を指定する操作を受け付ける操作部と、操作を行うユーザが視認している画像が左画像か右画像かを判定する判定部と、判定部において右画像を視認していると判定されたとき、操作部において指定された位置に対応する右画像上の位置が指定されたとして当該右画像上の位置に対応する処理を実行し、判定部において左画像を視認していると判定されたとき、操作部において指定された位置に対応する左画像上の位置が指定されたとして当該左画像上の位置に対応する処理を実行する実行処理部とを備える。
【００１２】
第４の発明は、上記第３の発明において、ユーザの操作を行う手を撮像する撮像部と、ユーザの操作を行う手を表す手画像を、撮像部によって撮像された画像から生成する手画像生成部とをさらに備え、判定部は、手画像生成部において生成された手画像に基づいて、操作を行うユーザが視認している画像が左画像か右画像かを判定することを特徴とする。
【００１３】
第５の発明は、上記第１または３の発明において、ユーザの操作を行う手に装着されたＩＲタグがもつ識別情報を読み取る識別情報読取部をさらに備え、判定部は、識別情報読取部において読み取られた識別情報に基づいて、操作を行うユーザが視認している画像が左画像か右画像かを判定することを特徴とする。
【００１４】
第６の発明は、ユーザの操作に応じて処理を行う情報処理装置であって、表示面に向かって左の視野角方向から視認可能な左画像と表示面に向かって右の視野角方向から視認可能な右画像とを同時表示する表示部と、ユーザの操作を行う手を撮像する撮像部と、ユーザの操作を行う手を表す手画像を、撮像部によって撮像された画像から生成する手画像生成部と、ユーザの操作を行う手が左手か右手かを判定する判定部とを備え、表示部は、判定部において左手と判定されたとき、左画像と、手画像が重畳された右画像とを表示し、判定部において右手と判定されたとき、右画像と、手画像が重畳された左画像とを表示することを特徴とする。
【００１５】
第７の発明は、上記第６の発明において、判定部は、手画像生成部において生成された手画像に基づいてユーザの操作を行う手が左手か右手かを判定することを特徴とする。
【００１６】
第８の発明は、ユーザの操作に応じて処理を行う情報処理装置であって、表示面に向かって左の視野角方向から視認可能な左画像と表示面に向かって右の視野角方向から視認可能な右画像とを同時表示する表示部と、ユーザが表示部において表示された画像上の位置を指定する操作を受け付ける操作部と、ユーザの操作を行う手が左手か右手かを判定する判定部と、判定部において左手と判定されたとき、操作部において指定された位置に対応する右画像上の位置が指定されたとして当該右画像上の位置に対応する処理を実行し、判定部において右手と判定されたとき、操作部において指定された位置に対応する左画像上の位置が指定されたとして当該左画像上の位置に対応する処理を実行する実行処理部とを備える。
【００１７】
第９の発明は、上記第８の発明において、ユーザの操作を行う手を撮像する撮像部と、ユーザの操作を行う手を表す手画像を、撮像部によって撮像された画像から生成する手画像生成部とをさらに備え、判定部は、手画像生成部において生成された手画像に基づいてユーザの操作を行う手が左手か右手かを判定することを特徴とする。
【００１８】
第１０の発明は、上記第６または８の発明において、ユーザの操作を行う手に装着されたＩＲタグがもつ識別情報を読み取る識別情報読取部をさらに備え、判定部は、識別情報読取部において読み取られた識別情報に基づいて、ユーザの操作を行う手が左手か右手かを判定することを特徴とする。
【００１９】
第１１の発明は、上記第８の発明において、ユーザの操作を行う手を撮像する撮像部と、ユーザの操作を行う手を表す手画像を、撮像部によって撮像された画像から生成する手画像生成部とをさらに備え、表示部は、判定部において左手と判定されたとき、左画像と、手画像が重畳された右画像とを表示し、判定部において右手と判定されたとき、右画像と、手画像が重畳された左画像とを表示することを特徴とする。
【００２０】
第１２の発明は、上記第８の発明において、ユーザの操作を行う手を撮像する撮像部と、ユーザの操作を行う手を表す手画像を、撮像部によって撮像された画像から生成する手画像生成部とをさらに備え、実行処理部は、判定部において左手と判定されたとき、表示すべき左画像を右画像と同じ画像に変更するとともに、手画像を左画像および右画像に重畳して表示させ、判定部において右手と判定されたとき、表示すべき右画像を左画像と同じ画像に変更するとともに、手画像を左画像および右画像に重畳して表示させることを特徴とする。
【００２１】
第１３の発明は、上記第８の発明において、ユーザの操作を行う手を撮像する撮像部と、ユーザの操作を行う手を表す手画像を、撮像部によって撮像された画像から生成する手画像生成部とをさらに備え、実行処理部は、判定部において左手と判定されたとき、右画像に含まれるＧＵＩ部品を左画像に重畳して表示させるとともに、手画像を左画像および右画像に重畳して表示させ、判定部において右手と判定されたとき、左画像に含まれるＧＵＩ部品を右画像に重畳して表示させるとともに、手画像を左画像および右画像に重畳して表示させることを特徴とする。
【００２２】
第１４の発明は、上記第８の発明において、ユーザの操作を行う手を撮像する撮像部と、ユーザの操作を行う手を表す手画像を、撮像部によって撮像された画像から生成する手画像生成部とをさらに備え、実行処理部は、判定部において左手と判定されたとき、右画像と手画像とを半透明にして左画像に重畳して表示させるとともに、手画像を右画像に重畳して表示させ、判定部において右手と判定されたとき、左画像と手画像とを半透明にして右画像に重畳して表示させるとともに、手画像を左画像に重畳して表示させることを特徴とする。
【００２３】
第１５の発明は、上記第８の発明において、ユーザの操作を行う手を撮像する撮像部と、ユーザの操作を行う手を表す手画像を、撮像部によって撮像された画像から生成する手画像生成部とをさらに備え、実行処理部は、判定部において左手と判定されたとき、表示すべき右画像に手画像を重畳して表示させるとともに、左画像に手画像の指先の位置を表す画像を重畳して表示させ、判定部において右手と判定されたとき、表示すべき左画像に手画像を重畳して表示させるとともに、右画像に手画像の指先の位置を表す画像を重畳して表示させることを特徴とする。
【００２４】
第１６の発明は、上記第８の発明において、操作部は、ユーザの操作を行う手を撮像する撮像手段を含み、撮像手段において撮像した画像からユーザが指定した画像上の位置を算出し、情報処理装置は、ユーザの操作を行う手を表す手画像を、撮像手段によって撮像された画像から生成する手画像生成部をさらに備え、表示部は、判定部において左手と判定されたとき、左画像と、手画像が重畳された右画像とを表示させ、判定部において右手と判定されたとき、右画像と、手画像が重畳された左画像とを表示させることを特徴とする。
【００２５】
第１７の発明は、上記第８の発明において、実行処理部は、判定部において左手と判定されたとき、左画像に含まれる画像のうち、操作部において指定された右画像上の位置に対応する画像を特定して当該画像の表示態様を変更し、判定部において右手と判定されたとき、右画像に含まれる画像のうち、操作部において指定された左画像上の位置に対応する画像を特定して当該画像の表示態様を変更することを特徴とする。
【００２６】
第１８の発明は、上記第８の発明において、左画像および右画像には、表示が同じＧＵＩ部品が含まれており、左画像のＧＵＩ部品および右画像のＧＵＩ部品には、それぞれ異なる処理が関連付けられていることを特徴とする。
【００２７】
第１９の発明は、上記第８の発明において、操作部は、ＧＵＩ部品とそれが指定されたときに実行すべき処理とを関連付ける関連付け操作をユーザから受け付け、実行処理部は、関連付け操作が行われたときに判定部が左手と判定したとき、当該関連付け操作によって関連付けられるＧＵＩ部品を左画像に重畳して表示させ、関連付け操作が行われたときに判定部が右手と判定したとき、当該関連付け操作によって関連付けられるＧＵＩ部品を右画像に重畳して表示させることを特徴とする。
【発明の効果】
【００２８】
上記第１の発明によれば、操作を行うユーザが視認している画像が左画像か右画像かを判定し、右画像のときは手画像を右画像に重畳し、左画像のときは手画像を左画像に重畳して表示する。つまり、操作を行うユーザに対して表示される画像に自身の手画像が重畳されることとなるので、操作を行うユーザに対して直感的な操作感を提供することができる。またこのとき、操作をしないユーザ側には、操作を行うユーザの手画像は重畳されない。これにより、異なる視野角方向に各画像を同時表示する、いわゆるデュアル・ビュー表示においても、操作を行うユーザの手自体が操作をしないユーザの邪魔になることはなく、視認性を向上させることができる。
【００２９】
上記第２の発明によれば、生成された手画像に基づいて、操作を行うユーザが視認している画像が左画像か右画像かを判定することができる。
【００３０】
上記第３の発明によれば、操作を行うユーザが視認している画像が左画像か右画像かを判定することで、ユーザが右画像上で操作したのか左画像上で操作したのかを区別することができ、左右異なる視野角方向に存在するユーザに対して、それぞれの操作に応じた処理を行うことができる。つまり、第３の発明によれば、左右異なる視野角方向に存在するユーザそれぞれの操作に応じて処理内容を変えることができる。さらに、操作を行うユーザが視認している画像が左画像か右画像かを判定することで、ユーザが右画像上で操作したのか左画像上で操作したのかを区別することができるので、左画像および右画像それぞれに対して最適な位置にＧＵＩ部品などを配置することができ、操作性を向上させることができる。
【００３１】
上記第４の発明によれば、生成された手画像に基づいて、操作を行うユーザが視認している画像が左画像か右画像かを判定することができる。
【００３２】
上記第５の発明によれば、ＩＲタグを用いることで、操作を行うユーザが視認している画像が左画像か右画像かを判定することができる。
【００３３】
上記第６の発明によれば、操作を行うユーザの手が右手か左手かを判定し、左手のときは手画像を右画像に重畳し、右手のときは手画像を左画像に重畳して表示する。ここで、左手で操作を行うユーザは表示部における右の視野角方向に存在するので、左手で操作を行うユーザには右画像が表示されている。また、右手で操作を行うユーザは表示部における左の視野角方向に存在するので、右手で操作を行うユーザには左画像が表示されている。したがって、操作を行うユーザに対して表示される画像に自身の手画像が重畳されることとなるので、操作を行うユーザに対して直感的な操作感を提供することができる。またこのとき、操作をしないユーザ側には、操作を行うユーザの手画像は重畳されない。これにより、異なる視野角方向に各画像を同時表示する、いわゆるデュアル・ビュー表示においても、操作を行うユーザの手自体が操作をしないユーザの邪魔になることはなく、視認性を向上させることができる。
【００３４】
上記第７の発明によれば、生成された手画像に基づいてユーザの操作を行う手が右手か左手かを判定することができる。
【００３５】
上記第８の発明によれば、操作を行うユーザの手が左手か右手かを判定することで、ユーザが右画像上で操作したのか左画像上で操作したのかを区別することができ、左右異なる視野角方向に存在するユーザに対して、それぞれの操作に応じた処理を行うことができる。つまり、第８の発明によれば、左右異なる視野角方向に存在するユーザそれぞれの操作に応じて処理内容を変えることができる。さらに、操作を行うユーザの手が左手か右手かを判定することで、ユーザが右画像上で操作したのか左画像上で操作したのかを区別することができるので、左画像および右画像それぞれに対して最適な位置にＧＵＩ部品などを配置することができ、操作性を向上させることができる。
【００３６】
上記第９の発明によれば、生成された手画像に基づいてユーザの操作を行う手が右手か左手かを判定することができる。
【００３７】
上記第１０の発明によれば、ＩＲタグを用いることでユーザの操作を行う手が左手か右手かを判定することができる。
【００３８】
上記第１１の発明によれば、操作を行うユーザの手が右手か左手かを判定し、左手のときは手画像を右画像に重畳し、右手のときは手画像を左画像に重畳して表示する。ここで、左手で操作を行うユーザは表示部における右の視野角方向に存在するので、左手で操作を行うユーザには右画像が表示されている。また、右手で操作を行うユーザは表示部における左の視野角方向に存在するので、右手で操作を行うユーザには左画像が表示されている。したがって、操作を行うユーザに対して表示される画像に自身の手画像が重畳されることとなるので、操作を行うユーザに対して直感的な操作感を提供することができる。またこのとき、操作をしないユーザ側には、操作を行うユーザの手画像は重畳されない。これにより、異なる視野角方向に各画像を同時表示する、いわゆるデュアル・ビュー表示においても、操作を行うユーザの手自体が操作をしないユーザの邪魔になることはなく、視認性を向上させることができる。
【００３９】
上記第１２の発明によれば、右画像および左画像の両方に手画像が重畳して表示され、右画像と左画像とが同じ画像に変更されるので、例えば操作方法が分からない一方のユーザに対して、他方のユーザが同じ画像上で両方に表示された手画像を用いて、より容易に、より直感的に教えることができる。
【００４０】
上記第１３の発明によれば、右画像および左画像の両方に手画像が重畳して表示され、操作に必要なＧＵＩ部品が右画像および左画像に共通に表示されるので、例えば操作方法が分からない一方のユーザに対して、他方のユーザが両方の画像上に表示された手画像を用いて、より容易に、より直感的に教えることができる。さらに、操作に必要なＧＵＩ部品のみが教えるユーザ側の画像に表示されるので、教える側のユーザにはもともと表示されていた画像も表示されることとなる。これにより、教える側のユーザにとって、より利便性の高い表示を提供することができる。
【００４１】
上記第１４の発明によれば、右画像および左画像の両方に手画像が重畳して表示され、操作に必要な画像が透明にして表示されるので、例えば操作方法が分からない一方のユーザに対して、他方のユーザが両方の画像上に表示された手画像を用いて、より容易に、より直感的に教えることができる。さらに、操作に必要な画像が透明であるので、教える側のユーザにはもともと表示されていた画像も表示されることとなる。これにより、教える側のユーザにとって、より利便性の高い表示を提供することができる。
【００４２】
上記第１５の発明によれば、例えば操作方法が分からない一方のユーザに対して、他方のユーザが操作をして教える場合に、教える側の画像には手画像が表示され、教えてもらう側のユーザには手画像の指先の位置が表示される。これにより、より容易でより直感的な教授方法を提供することができる。
【００４３】
上記第１６の発明によれば、操作部に含まれる撮像手段によって、ユーザが指定した画像上の位置を算出することができるとともに、手画像を生成するための画像を手画像生成部に供給することができる。
【００４４】
上記第１７の発明によれば、例えば各ユーザが異なる地図画像を見ているときに、操作を行うユーザが指定した地図画像上の位置を、操作をしていないユーザに対して知らせることができる。
【００４５】
上記第１８の発明によれば、例えば運転しているユーザが操作した場合には、簡易的な表示にして運転操作に邪魔にならないような処理を行い、助手席のユーザが操作した場合には、なるべく多くの情報を表示するような処理を行うなど、各ユーザの状況に応じた処理を行うことができる。
【００４６】
上記第１９の発明によれば、一方のユーザによる関連付け操作によって関連付けられるＧＵＩ部品が、他方のユーザ側の画像上に表示されるので、他方のユーザはそのＧＵＩ部品に関連付けられた処理を実行するタイミングのみ入力すればよく、他方のユーザに複雑な複数の操作をさせたくない場合に特に有益である。
【発明を実施するための最良の形態】
【００４７】
本発明に係る情報処理装置について具体的に説明する前に、図１を参照して、本発明に係る情報処理装置が行う処理の概略を説明する。図１は、本発明に係る情報処理装置が行う処理の概略を説明するための図である。
【００４８】
図１では、本発明に係る情報処理装置が例えば車載環境下に設置された場合を想定している。車の助手席にはユーザ２１が、運転席にはユーザ２２がそれぞれ座っている。表示部１６は、デュアル・ビュー表示機能を有するディスプレイであり、助手席のユーザ２１側には画像Ａを表示している。図１では画像ＡとしてＧＵＩ部品Ａを含む画像が表示されている。一方、表示部１６は、運転席のユーザ２２側には、画像Ａとは異なる画像Ｂを表示している。図１では画像Ｂとして地図情報が表示されている。また助手席のユーザ２１と運転席のユーザ２２との間には、例えばタッチパネルで構成された操作部１２が横倒しにして設置されている。助手席のユーザ２１は、この操作部１２上で右手２１ＨＲを使って操作を行っている。また図２に示すように、操作部１２はカメラなどの撮像部１３によって撮像されているとする。撮像部１３は、車の天井などに設置されている。図２は、撮像部１３が操作部１２付近を撮像している様子を示す図である。
【００４９】
ここで、例えば助手席のユーザ２１が、画像Ａを見ながらＧＵＩ部品Ａを押下してＧＵＩ部品Ａに関連付けされた処理を行いたいとする。この場合、助手席のユーザ２１は、右手２１ＨＲを使って操作部１２上で操作を行い、画像Ａ上の位置を指定する。このとき、本発明に係る情報処理装置の処理によって、画像Ａには撮像部１３で撮像された助手席のユーザ２１の右手画像２１ＳＲが重畳される。そして、助手席のユーザ２１は、重畳表示された自身の右手画像２１ＳＲを見ながら、操作部１２上の右手２１ＨＲを動かして画像上のＧＵＩ部品Ａを押下することができる。一方、運転席のユーザ２２側の画像Ｂには、助手席のユーザ２１の右手画像２１ＳＲは重畳されない。
【００５０】
このように、本発明に係る情報処理装置では、表示部１６の画面上にタッチパネルを設置する代わりに、助手席のユーザ２１の右手画像２１ＳＲを画面上に表示する。これにより、操作する助手席のユーザ２１に対して直感的な操作感を提供することができる。さらに、本発明に係る情報処理装置では、操作しない運転席のユーザ２２側には、操作する助手席のユーザ２１の右手画像２１ＳＲは表示されない。これにより、デュアル・ビュー表示機能をもつ表示部を用いる場合であっても、操作する助手席のユーザ２１の右手ＨＲ自体が運転席のユーザ２２の邪魔になることはなく、視認性を向上させることができる。
【００５１】
以下、図３を参照して、本発明に係る情報処理装置について具体的に説明する。図３は、本発明に係る情報処理装置の構成を示す図である。図３において、本発明に係る情報処理装置は、操作部１２、撮像部１３、制御部１４、表示部用制御部１５、および表示部１６を備える。なお、画像ソース１１Ａおよび画像ソース１１Ｂは、異なる視点位置にいるユーザに対してそれぞれに表示される画像を出力するソースである。画像としては、例えばテレビ受信による画像、ＡＶ機器などの再生機器で再生される画像などが挙げられる。また以下、説明のために、画像ソース１１Ａから出力される画像を画像Ａとし、画像ソース１１Ｂから出力される画像を画像Ｂとする。また以下では、画像Ａは表示部１６に向かって左側の視野角方向（以下、単に左側方向と称す）に表示される画像とし、画像Ｂは右側の視野角方向（以下、単に右側方向と称す）に表示される画像として説明する。
【００５２】
操作部１２は、表示された画像上の位置をユーザが指定する操作を受け付ける。つまり操作を行うユーザ（以下、操作者と称す）は、操作部１２上に手を置いて操作を行い、画像上の位置を指定する。操作部１２は、少なくとも操作面を有するものであればよいが、ここでは例えば操作部１２がタッチパッドで構成されるとする。そして、タッチパネル上の座標位置と画像上の座標位置とが関連付けされているとする。
【００５３】
撮像部１３は、少なくとも操作部１２上にある操作者の手を含む範囲内を撮像し、操作者の手を含む画像を出力する。撮像部１３は、例えば可視光カメラで構成される。撮像部１３は、可視光カメラ以外に、例えば赤外線カメラ、近赤外線カメラ、サーモグラフィなどで構成されてもよい。つまり、撮像部１３は、操作者の手領域を抽出することが可能な画像を取得する機器であれば、どのような機器で構成されてもよい。また撮像部１３は、図２に示したように操作部１２を撮像することが可能な位置に設置される。
【００５４】
制御部１４は、例えばＣＰＵで構成される。また制御部１４は、機能的には手画像生成部１０１、右手左手判定部１０２、手画像重畳部１０３、および実行処理部１０４で構成される。手画像生成部１０１は、撮像部１３で取得された操作部１２付近の画像から操作者の手を表す手領域の画像（以下、手画像という）を生成する。なお、手画像生成部１０１は実写の手画像を生成してもよいし、手領域から輪郭だけをさらに抽出し、当該輪郭内に所定の模様や色を付した手画像を生成してもよい。右手左手判定部１０２は、手画像生成部１０１で手画像が生成されたときに、当該手画像に基づいて操作者の手が右手であるか左手であるかを判定する。手画像重畳部１０３は、右手左手判定部１０２において判定された結果に基づいて、画像Ａまたは画像Ｂに対し、手画像生成部１０１で生成された手画像を重畳する。実行処理部１０４は、操作者が操作部１２において入力した情報に対応して、処理を実行する。具体的には、実行処理部１０４は右手左手判定部１０２の判定結果により操作者が画像Ａおよび画像Ｂどちらの画像が表示されたユーザであるかという情報を取得する。つまり、実行処理部１０４は、どの視野角方向にいるユーザが入力したかを右手左手判定部１０２の判定結果により区別して処理を行うことができる。例えば画像Ａが表示されたユーザが操作者である場合には、実行処理部１０４は画像ソース１１Ａに適宜アクセスし、画像Ａが表示されたユーザの入力に基づいた処理を実行する。
【００５５】
表示部用制御部１５は、制御部１４の手画像重畳部１０３で処理された各画像（画像ＡおよびＢ）を表示部１６に供給し、デュアル・ビュー表示を行うための制御を行う。表示部１６は、デュアル・ビュー表示が可能なディスプレイである。表示部１６は、例えばその前面にパララックスバリアが設置された液晶表示パネルで構成される。このような表示部用制御部１５および表示部１６の構成によって、表示部１６では画像Ａと画像Ｂとが異なる視野角方向に同時表示される。つまり、表示部１６で表示される画像はユーザの視点位置によって別々の画像となる。なお、表示部用制御部１５および表示部１６は、デュアル・ビュー表示を実現するものであれば、どのような機器で構成されてもよい。
【００５６】
次に、図４を参照して、本発明に係る情報処理装置の処理について具体的に説明する。図４は、本発明に係る情報処理装置の処理の流れを示すフローチャートである。
【００５７】
まず、手画像生成部１０１が撮像部１３で撮像された操作部１２付近の画像を取得する（ステップＳ１）。手画像生成部１０１は、ステップＳ１で取得した操作部１２付近の画像から肌色の領域を抽出する（ステップＳ２）。そして、抽出した肌色の領域に対してノイズ除去を行い、手と予想される領域を取得する（ステップＳ３）。ここで、ノイズ除去の方法としては、一般に知られている方法を用いてかまわない。一例としては、抽出された領域が複数ある場合に、各領域の面積を比較して、最も大きい領域を手と予想される領域として取得する方法などが挙げられる。なお、撮像部１３として赤外線カメラを使用した場合は、肌色領域を抽出することができない。そこで、手領域を抽出するために、手領域を輝度値の閾値で抽出する方法を用いる。なお、この時、赤外線投光機を設置し、操作面上部を照らすことで、手領域を抽出しやすくすることが好ましい。
【００５８】
ステップＳ３の次に、手画像生成部１０１は、ステップＳ３で取得した領域が手かどうか判定する（ステップＳ４）。ここで、手かどうかを判定する方法としては、一般的な方法を用いてかまわない。一例としては、手のパターンを予め記憶しておき、当該手のパターンとステップＳ３で取得された領域のパターンとを比較（パターンマッチング）する方法などが考えられる。ステップＳ４において、手画像生成部１０１が手であると判定した場合には、ステップＳ３で取得された領域を手画像として生成し、処理はステップＳ５へ進む。一方、ステップＳ４において、手画像生成部１０１が手ではないと判定した場合には、手画像が重畳されることなくデュアル・ビュー表示がなされる（ステップＳ６）。
【００５９】
ステップＳ４の次に、右手左手判定部１０２は、抽出された手画像に基づいて操作者の手が右手であるか左手であるかを判定する（ステップＳ５）。なお、ステップＳ５の具体的な処理については、後述にて説明する。ステップＳ５で右手と判断された場合、処理はステップＳ８へ進む（ステップＳ７で右手）。一方、ステップＳ５で左手と判断された場合には、処理はステップＳ１１へ進む（ステップＳ７で左手）。
【００６０】
ステップＳ８において、手画像重畳部１０３は、左側方向に表示される画像Ａに対して、ステップＳ４で得られた右手の手画像を重畳する。そして、画像Ａにのみ手画像が重畳表示された、デュアル・ビュー表示が行われる（ステップＳ１４）。つまり、右手で操作するユーザは、画像Ａの表示方向と同じ左側方向に存在するので、画像Ａに重畳表示された手画像は右手で操作するユーザにのみ視認されることとなる。ここで、理解を容易にするために図５を参照して説明すると、操作部１２に操作者の手（図５では右手２１ＨＲ）が置かれると、上述した処理によって最終的には操作者の手画像（図５では右手の手画像２１ＳＲ）が左側方向に表示される画像Ａに重畳表示される。図５は、本情報処理装置の処理による表示を模式的に示した図である。なお、ステップＳ８において画像Ａ上のどの位置に手画像を重畳するかについては、例えば撮像部１３で取得された操作部１２付近の画像から操作部１２の四隅を検出し、この四隅が画像ＡまたはＢの四隅と一致するように調整する方法などが考えられる。
【００６１】
なおステップＳ８の次に、重畳表示された手画像を見ながらユーザが操作部１２で画像上の位置を指定する入力を行うとき（ステップＳ９でＹＥＳ）、実行処理部１０４はステップＳ５で操作者の手が右手と判定されているので、画像ソース１１Ａに適宜アクセスし、操作部１２で指定された画像Ａ上の位置に基づいた処理を実行する（ステップＳ１０）。例えば、画像Ａ上の位置にＧＵＩ部品等があれば、それに関連付けされた処理が実行される。その後、実行処理部１０４で処理された後の画像Ａにのみ手画像が重畳表示されたデュアル・ビュー表示が行われる（ステップＳ１４）。
【００６２】
一方、ステップＳ５で左手と判断された場合、右側方向に表示される画像Ｂに対して、ステップＳ４で得られた左手の手画像を重畳する（ステップＳ１１）。そして、画像Ｂにのみ手画像が重畳表示された、デュアル・ビュー表示が行われる（ステップＳ１４）。つまり、左手で操作するユーザは、画像Ｂの表示方向と同じ右側方向に存在するので、画像Ｂに重畳表示された手画像は左手で操作するユーザにのみ視認されることとなる。なおステップＳ１１の次に、重畳表示された手画像を見ながらユーザが操作部１２で画像上の位置を指定する入力を行うとき（ステップＳ１２でＹＥＳ）、実行処理部１０４はステップＳ５で操作者の手が右手と判定されているので、画像ソース１１Ｂに適宜アクセスし、操作部１２で指定された画像Ｂ上の位置に基づいた処理を実行する（ステップＳ１３）。その後、実行処理部１０４で処理された後の画像Ｂにのみ手画像が重畳表示されたデュアル・ビュー表示が行われる（ステップＳ１４）。
【００６３】
このように、実行処理部１０４は、右手左手判定部１０２の判定結果に基づいて、操作者が画像Ａ上の位置に対する入力を行ったのか、または操作者が画像Ｂ上の位置に対する入力を行ったかを区別し、各操作者に対して別々の処理を行うことができる。つまり、実行処理部１０４は、異なる視野角方向に存在する操作者の各入力に応じて、処理内容を変えることができる。
【００６４】
次に、図６を参照して、右手左手判定処理（図４のステップＳ５）について詳細に説明する。図６は、右手左手判定処理の詳細な処理の流れを示すフローチャートである。ここでは一例として、手領域から手のひら領域を求めて指領域を検出し、各指領域から指先の位置を特定して左手か右手を判定する方法について説明する。まず、手画像生成部１０１で抽出された手領域内に所定半径の円を配置する（ステップＳ５１１）。ここで、所定半径の値は、配置する円が指の太さよりも大きい円となるように設定する。ステップＳ５１１の次に、円の輪郭線と手領域の輪郭線との間の距離をパラメータとして求める（ステップＳ５１２）。ここでは、例えば円の輪郭線上の全点それぞれについて手領域の輪郭線上の全点までの距離をパラメータとして算出する。ステップＳ５１２の次に、閾値以下の値となるパラメータのみを抽出する（ステップＳ５１３）。これは、手のひら領域を決定するに際し、値が大きい指領域の輪郭線に係るパラメータを予め算出対象から除外し、処理負担の軽減を図るためである。
【００６５】
ステップＳ５１３の次に、配置された円の位置と半径を変えて、手領域における手のひら部分に最も近似する円を手のひら領域として求める（ステップＳ５１４〜Ｓ５１８）。具体的には、まず円の位置を移動させ、パラメータ値が最小となる位置を求める（ステップＳ５１４およびＳ５１５）。このとき、円の位置は、例えば円の輪郭線上の各点で求められたパラメータ値の偏り具合に基づいて移動する。具体的には、大きな値のパラメータが多く分布している方向へ移動する。そして、円の位置が決定後、円の半径を変更してパラメータ値が最小となる半径を求める（ステップＳ５１６およびＳ５１７）。図７に示すように、ステップＳ５１４〜Ｓ５１７の処理によって決定された円を手のひら領域として決定する（ステップＳ５１８）。図７は、右手左手判定処理方法を模式的に示した図である。
【００６６】
なお、ステップＳ５１４〜Ｓ５１７の処理において、手のひらに最も近似する円として半径が異なる２つの円が存在する場合がある。この場合には、半径が大きい方の円を手のひら領域とするのが好ましい。また、上述では円を用いて手のひら領域を求めたが、例えば楕円や実際の手のひらの形状と近い形状を用いて手のひら領域を求めてもよい。近似する形状が実際の手のひらの形状に近いほど、より正確な手のひら領域を求めることができる。また、上記パラメータは、一般に知られているパターンマッチングなどのパラメータであってもよい。
【００６７】
ステップＳ５１８の次に、図７にも示すように、手のひら領域を除去することにより、各指領域を抽出する（ステップＳ５１９）。そして、手のひら領域の中心（円の中心）から指領域の輪郭線までの距離を指領域ごとに算出する（ステップＳ５２０）。そして、算出した各指領域での距離が最大となる点を指先点として設定する（ステップＳ５２１）。図７において、円の中心から距離が最大となる点が指先に位置していることが分かる。ここで、５つの指先点が設定された場合に（ステップＳ５２２）、各指先点について最も近い他の指先点までの距離を算出する（ステップＳ５２３）。つまり、図７に示すように、親指は人差し指との間の距離が他の指までの距離と比べて最も小さい値となる。このようにして求められた距離は、図７に示すように４つ存在することとなる。ステップＳ５２３の次に、設定された各指先点から、左右方向に２つある端点のうちステップＳ５２３で算出した距離が大きい方の端点を親指の指先点と設定する（ステップＳ５２４）。図７において、２つの端点（Ｘ点およびＹ点）のうち、Ｘ点の距離ｘがＹ点の距離ｙよりも大きくなっていることが分かる。よって、Ｘ点を親指と認識することができる。
【００６８】
ステップＳ５２４の次に、親指の指先点が右端または左端にあるかを判断する（ステップＳ５２５）。親指の指先点が右端にあれば左手と判定し（ステップＳ５２６）、左端にあれば右手と判定する（ステップＳ５２７）。以上で右手左手判定処理の流れについて説明を終了する。
【００６９】
なお、上述した右手左手判定処理において、親指を左右方向の端点から求めたが、これに限定されない。例えば、図７で言えば、親指は他の指より最も画面下側にある。これを利用して画面下側にある指先点を親指として設定してもよい。また、上述した左右方向の端点から求める方法と下側にある指先点を求める方法とを両方用いて、親指の指先点を設定してもよい。また、その他一般に知られている方法を用いてもよい。
【００７０】
また、上述した右手左手判定処理においては、手画像生成部１０１から生成された手画像を用いて右手左手を判定したが、これに限定されない。一例としては、操作者が手に右手・左手の識別情報をもつＩＲタグを装着し、識別情報読取部（図示なし）と通信することで、操作者の手が右手か左手かを検知する方法でもよい。識別情報読取部は、ＩＲタグと通信して識別情報を読み取るものである。この識別情報読取部は、操作部１２内に設けられてもよいし、操作部１２外にあってもよい。また、手のひらの手相を画像処理によって検知して、右手左手を検知する方法を用いてもよい。
【００７１】
なお、上述したように実行処理部１０４は、異なる視野角方向に存在する操作者の各入力に応じて、処理内容を変えることができる。上述では、単に一方の操作者の入力に対応した処理についてのみ説明したが、これに限らない。例えば、一方の操作者の入力に対応する処理が実行されるときに、操作をしていない他方のユーザに対してもその処理と関連した画像間の処理を実行するようにしてもよい。以下、この画像間の処理について具体例を挙げて説明する。
【００７２】
図８を参照して、第１の具体例について説明する。例えば異なる地図画像を見ている各ユーザ間において、操作者が非操作者に対して地図上の特定の位置を教えたい場合がある。そこで、互いに異なる地図画像を見ている場合において、操作者が地図画像上の特定の位置を押下したときに、非操作者が見ている地図画像上で操作者が押下した特定の位置に対応する位置を点滅などさせて表示態様を変更し、非操作者に教えるようにする。
【００７３】
図８は、３Ｄ表示および２Ｄ表示間で処理を行う様子を示した図である。図８では、図１と同様に、本発明に係る情報処理装置が例えば車載環境下に設置された場合を想定している。また、図８に示す各部は、図１で示した各部に対して画像Ａおよび画像Ｂの内容と処理とが異なるのみであり、他の各部の詳細な説明は省略する。図８において、画像Ａは３Ｄ表示の地図画像である。画像Ｂは２Ｄ表示の地図画像である。助手席のユーザ２１は３Ｄ表示された地図を見ている。運転席のユーザ２２は２Ｄ表示された地図を見ている。
【００７４】
ここで図８に示すように、助手席のユーザ２１が画像Ａに重畳された右手画像２１ＳＲを見ながら、操作部１２上に置いた右手で画面上の３Ｄ表示された建物Ｔ（ＧＵＩ部品）を押下したとする。このとき、実行処理部１０４は、まず右手左手判定部１０２からユーザ２１または２２のどちらが入力したのかという判定結果を取得する。ここでは、ユーザ２１が右手２１ＨＲで操作しているので、右手左手判定部１０２では右手と判定される。つまり、操作者は左側方向にいるユーザ２１であることが分かる。これにより、実行処理部１０４では、操作部１２上で押下された座標位置と対応する画像Ａ上の座標位置にある３Ｄ表示された建物Ｔを検出する。その後、実行処理部１０４は、操作をしていない運転席のユーザ２２が見ている画像Ｂに対し、３Ｄ表示された建物Ｔに対応する２Ｄ表示された建物Ｔの座標位置を検索する。そして、実行処理部１０４は、図８に示したように、検索した画像Ｂ上の２Ｄ表示された建物Ｔを点滅表示などをさせる処理を行う。なお、図８においては、実行処理部１０４の処理に際し、３Ｄ表示された地図と２Ｄ表示された地図との間で座標位置の変換を行う必要があるが、この変換方式自体は一般に知られている変換方法を用いるとし、詳細な説明は省略する。
【００７５】
なお、図８では、３Ｄ表示および２Ｄ表示間での処理について説明したが、例えば図９に示すように、同じ２Ｄ表示間であって縮尺が異なる画像間でも処理を行うことができる。図９は、実行処理部１０４が同じ２Ｄ表示間であって縮尺が異なる画像間で処理を行う様子を示した図である。さらに、図１０に示すように、ユーザ２１が押下した画像Ａ上の建物Ｔが画像Ｂ上に表示されていない場合に、実行処理部１０４が画像Ｂの縮尺を変えて建物Ｔを表示するように処理を行うことも可能である。図１０は、ユーザ２１が押下した画像Ａ上の建物Ｔが画像Ｂ上に表示されていない場合に実行処理部１０４が画像Ｂの縮尺を変える様子を示した図である。
【００７６】
また、実行処理部１０４は、押下した座標位置だけではなく、右手左手判定部１０２の判定結果に基づいて制御命令を変えるようにしてもよい。具体的には、例えばユーザ２１および２２にそれぞれ表示された画像上で、同じ機能（同じ表示）を有するが関連付けられた処理内容が異なるＧＵＩ部品を同じ位置に設置する。これにより、操作者の手が右手か左手かによって実行される処理内容が変わる。同じ機能を有するが処理内容が異なるＧＵＩ部品としては、例えば運転席のユーザ２２側から実行される場合には、簡易的な表示にして運転操作に邪魔にならないように処理する。一方、助手席のユーザ２１側から実行される場合には、なるべく多くの情報を表示するように処理を行う。このような処理を行うことで、同じ機能を実行する際にも、使い勝手を向上させるなどの長所を付加することができる。
【００７７】
図１１を参照して、第２の具体例について説明する。運転中のユーザが画面を見ながら複雑な操作を行うと、安全運転に支障をきたすおそれがある。そこで、複雑な操作は助手席のユーザが行って、運転するユーザはその複雑な操作を実行するタイミングだけ決定するするようにする。図１１は、一連の操作を実行するためのコマンド（ショートカット）を操作者から非操作者に移動させる様子を示した図である。図１１では、運転しているユーザ２２の操作をより簡易なものにするために、助手席のユーザ２１が、関連付け操作を行って目的地を設定する一連の操作を実行するためのショートカット（ＧＵＩ部品）を作成し、当該ショートカットを運転席のユーザ２２側の画像Ｂに移動させる様子を示している。
【００７８】
この場合、助手席のユーザ２１は、画像Ａ上で目的地にしたい場所のＧＵＩ部品２３を押下後、目的地のＧＵＩ部品２４を押下する。そして、助手席のユーザ２１は、これら目的地設定に係る一連の操作をコマンド実行するためのショートカット２５を作成する。ここで図１１においては、作成されたショートカット２５が画像Ａの右上に表示される。助手席のユーザ２１は、作成したショートカット２５を画像Ａの右上隅に設定された特定のエリア２６にドラッグアンドドロップする。そして、運転席のユーザ２２側の画像Ｂ上の特定のエリア２７にショートカット２５が移動する。そして、運転席のユーザ２２は、画像Ｂ上の特定のエリア２７に表示されたショートカット２５を押下するだけで、目的地の設定を行うことができる。すなわち、実行するタイミングは運転手側で任意に決定することが可能となる。
【００７９】
ここで、ショートカット２５を作成する処理については、一般のパソコンで用いられているバッチコマンド作成と同等の方法を用いてもよいし、他の一般的な方法を用いてもよい。また、ショートカット２５を画像Ａから画像Ｂに移動させる処理について詳細に説明すると、図１２に示すように、まず画像Ａおよび画像Ｂに対してそれぞれ特定のエリア２６および２７を画像ＡおよびＢ間を移動するエリア（移動エリア）として設定しておく。図１２は、画像Ａおよび画像Ｂ上に設定された移動エリアの一例を示す図である。この移動エリアにショートカット２５がドラッグアンドドロップされたときだけ、画像Ａから画像Ｂ（または画像Ｂから画像Ａ）に移動表示するようにすればよい。なお、図１２において、移動エリアを同じ位置に示したが、画像Ａおよび画像Ｂで異なる位置にあってもよい。また、このショートカットを移動させる処理は、実行処理部１０４が行ってもよいし、図４で示した構成に対して新たにショートカット移動部を設けて、当該ショートカット移動部で行うようにしてもよい。
【００８０】
図１３〜図１７を参照して、第３の具体例について説明する。異なる画像を見ているユーザに対して操作者が操作方法を教えるようなヘルプモードの場合には、両方の画像に操作者の手画像を表示することが望ましい。そこで、このような処理を第３の具体例として詳細に説明する。
【００８１】
図１３は、助手席のユーザ２１がオーディオ画面上での操作方法が分からず、ヘルプボタンを押下している様子を示した図である。図１４は、ヘルプボタンが押下された後、オーディオ画面が両方の画面に表示され、運転席のユーザ２２が操作方法を教授している様子を示す図である。図１５〜図１７は、図１４に関する他の例を示す図である。
【００８２】
図１３において、助手席のユーザ２１が画像Ａに重畳された右手画像２１ＳＲを見ながらヘルプボタンを押下したとする。このとき、実行処理部１０４は、まず右手左手判定部１０２からユーザ２１または２２のどちらが入力したのかという判定結果を取得する。ここでは、ユーザ２１が右手２１ＨＲで操作しているので、右手左手判定部１０２では右手と判定される。つまり、操作者は左側方向にいるユーザ２１であることが分かる。これにより、実行処理部１０４では、操作部１２上で押下された座標位置と対応する画像Ａ上の座標位置にあるヘルプボタンのＧＵＩ部品を検出する。その後、図１４に示すように、実行処理部１０４は運転席のユーザ２２に表示される画像を画像Ａと同じオーディオ画面に変える。そして、教える人、ここでは、運転席のユーザ２２が操作部１２上に左手２２ＨＬを置く。このとき、操作部１２上に置かれた左手は、手画像重畳部１０３でユーザ２１および２２に表示される両方の画像ＡおよびＢに重畳される。そして、この両方の画像に重畳された左手画像２２ＳＬを用いて運転席のユーザ２２は助手席のユーザ２１に操作方法を教えることができる。
【００８３】
なお、図１４では、運転席のユーザ２２に表示される画像をヘルプボタンを押下した助手席のユーザ２１に表示された画像Ａと同じ画像に変えたが、図１５に示すように、実行処理部１０４が運転席のユーザ２２に表示された画像Ｂに半透明にした画像Ａを重畳するようにしてもよい。
【００８４】
また、例えば助手席のユーザ２１がオーディオ画面にてテレビやＤＶＤなどの動画を見ているときにヘルプボタンを押下した場合、上述したように運転席のユーザ２２に対して同じ画像を表示すると、運転しているユーザ２２がその映像に気を取られ、運転面に支障をきたすおそれも考えられる。このような場合には、実行処理部１０４は助手席のユーザ２１に表示された画像のうち、動画が表示される領域を運転席のユーザ２２側には表示しないようにしてもよい。
【００８５】
また、実行処理部１０４は、図１６に示すように、助手席のユーザ２１に表示された画像Ａのうち、操作可能なボタンＧＵＩ部品のみを運転席のユーザ２２に表示される画像Ｂに重畳するようにしてもよい。このとき、実行処理部１０４は、ヘルプボタンを押したユーザ２１に表示された画像Ａのうち押下できるＧＵＩ部品をすべて抽出する。そして、抽出したＧＵＩ部品を画像Ａ上の位置と同じ位置で画像Ｂに重畳する。なお、ＧＵＩ部品に関連付けされた機能の名称などはＧＵＩ部品内に言葉で表記することが望ましい。
【００８６】
また図１７に示すように、実行処理部１０４は、手画像重畳部１０３において、操作方法を教える運転席のユーザ２２に表示される画像には左手画像２２ＳＬを重畳させ、教えてもらう側の助手席のユーザ２１に表示される画像Ａには左手画像２２ＳＬに基づいたカーソルや指先点のみの画像を重畳させるようにしてもよい。図１７では、助手席のユーザ２１に表示された画像Ａには、左手画像２２ＳＬの各指先の位置を示すポインター２２ＳＬＰが重畳表示されている。このポインター２２ＳＬＰは、図１７に示したような丸形状であってもよいし、それ以外の矢印などの他のＧＵＩ部品と区別可能な形状であればどのような形状であってもよい。
【００８７】
以上のように、本発明に係る情報処理装置によれば、操作者の手が右手か左手かを判定し、操作者に表示された画像に当該操作者の手画像を重畳することで、操作者に対して直感的な操作感を提供することができる。さらに、本発明に係る情報処理装置によれば、非操作者側には、操作者の手画像は表示されないので、デュアル・ビュー表示機能をもつ表示部を用いる場合であっても、操作者の手自体が非操作者の邪魔になることはなく、視認性を向上させることができる。さらに、本発明に係る情報処理装置によれば、操作者の手が右手か左手かを判定し、当該判定結果に基づいて操作者の入力に対応した処理を行うことができる。つまり、当該判定結果によって、異なる視野角方向にいるユーザの各入力を区別することができ、各入力に応じた処理を行うことができる。さらに、本発明に係る情報処理装置によれば、操作者の手が右手か左手かの判定結果に基づいて操作者の入力に対応した処理を行うことができるので、異なる視野角方向にそれぞれ表示された各画像に対してＧＵＩ部品などを最適な位置に配置することが可能となる。
【００８８】
なお、上述では、操作部１２がタッチパッドで構成されるとし、操作者によって押下されたタッチパネル上の座標位置と画面上の座標位置とが関連付けされているとした。ここで、タッチパッドは押下した座標位置が検出可能なデバイスであればどのような形態をとってもかまわないが、タッチパッド自体を用いなくてもよい。例えば図１８に示すように、撮像部１３を透明な操作面の下方に配置し、操作者の手との距離をを計測し、操作者の手が操作面に接触しているかどうかを判定する方法が考えられる。図１８は、撮像部１３が操作面の下方に配置された例を示す図である。このとき、撮像部１３で撮像した画像から求めた接触した座標位置と画像Ａ上の座標位置とを関連付けしておけば、タッチパッドを用いることなく、撮像部１３だけで操作部１２を構成することも可能である。また、図１８に示す位置に撮像部１３が配置された場合、撮像部１３で得られる手画像は手のひら側の画像となる。したがってこの場合には、手画像重畳部１０３で重畳する前に、手画像の左右を反転させて、つまり手画像の鏡像を重畳すればよい。また、操作面の下方に配置された撮像部１３は、図１９に示すように２台で構成されてもよいし、それ以上の台数で構成されてもよい。図１９は、撮像部１３を２台で構成した図である。また、撮像部１３においては操作する手のみを撮像し、押下したか否かだけの入力を行う入力機器（スイッチやタッチパッドなど）を撮像部１３の撮像範囲外の位置や操作面上以外の位置に設置して、操作部１２を構成してもよい。この場合、押下した座標位置は、撮像部１３で撮像された手画像のうち例えば人指し指の位置とすればよい。
【００８９】
また、上述では、右手左手判定部１０２において操作を行うユーザの手が左手か右手かを判定することにより、操作するユーザが視認している画像が画像Ａか画像Ｂかを判定していたが、これ以外の方法を用いて判定してもよい。例えば、操作するユーザが画像Ａまたは画像Ｂいずれの画像を視認しているかという識別情報をもつＩＲタグを用いるようにしてもよい。また例えば、図２０に示すように、ユーザの操作する手ではなく、腕部分の挿入方向および／または位置に基づいて、操作するユーザが画像Ａまたは画像Ｂいずれの画像を視認しているかを判定する方法であってもよい。図２０は、撮像部１３で撮像される操作部１２付近の画像１３ｇの一例を示す図である。図２０において、撮像部１３で撮像された画像１３ｇで、例えば手３０が挿入されたとする。このとき、手３０の腕部分３０１は、画像上、右側に位置している。したがって、撮像部１３で撮像された画像１３ｇから腕部分３０１の位置を検出すれば、操作するユーザは操作部１２の右側方向の画像Ｂを見ていると判定できる。
【産業上の利用可能性】
【００９０】
デュアル・ビュー表示機能をもつ表示装置を用いる場合であっても、操作を行うユーザには直感的な操作感を提供しつつ、各ユーザに対する視認性を向上させることが可能な撮像器を備える情報処理機器等に有用である。
【図面の簡単な説明】
【００９１】
【図１】本発明に係る情報処理装置が行う処理の概略を説明するための図
【図２】撮像部１３が操作部１２付近を撮像している様子を示す図
【図３】本発明に係る情報処理装置の構成を示す図
【図４】本発明に係る情報処理装置の処理の流れを示すフローチャート
【図５】本情報処理装置の処理による表示を模式的に示した図
【図６】右手左手判定処理の詳細な処理の流れを示すフローチャート
【図７】右手左手判定処理方法を模式的に示した図
【図８】３Ｄ表示および２Ｄ表示間で処理を行う様子を示した図
【図９】実行処理部１０４が同じ２Ｄ表示間であって縮尺が異なる画像間で処理を行う様子を示した図
【図１０】ユーザ２１が押下した画像Ａ上の建物Ｔが画像Ｂ上に表示されていない場合に実行処理部１０４が画像Ｂの縮尺を変える様子を示した図
【図１１】一連の操作を実行するためのショートカットを操作者から非操作者に移動させる様子を示した図
【図１２】画像Ａおよび画像Ｂ上に設定された移動エリアの一例を示す図
【図１３】助手席のユーザ２１がオーディオ画面上での操作方法が分からず、ヘルプボタンを押下している様子を示した図
【図１４】ヘルプボタンが押下された後、オーディオ画面が両方の画面に表示され、運転席のユーザ２２が操作方法を教授している様子を示す図
【図１５】図１４に関する他の例を示す図
【図１６】図１４に関する他の例を示す図
【図１７】図１４に関する他の例を示す図
【図１８】撮像部１３が操作面の下方に配置された例を示す図
【図１９】撮像部１３を２台で構成した図
【図２０】撮像部１３で撮像される操作部１２付近の画像１３ｇの一例を示す図
【符号の説明】
【００９２】
１１  画像ソース
１２  操作部
１３  撮像部
１４  制御部
１５  表示部用制御部
１６  表示部
１０１  手画像生成部
１０２  右手左手判定部
１０３  手画像重畳部
１０４  実行処理部
２１  助手席のユーザ
２２  運転席のユーザ
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007088939.tif 000023
【図２】
2007088939.tif 000024
【図３】
2007088939.tif 000025
【図４】
2007088939.tif 000026
【図５】
2007088939.tif 000027
【図６】
2007088939.tif 000028
【図７】
2007088939.tif 000029
【図８】
2007088939.tif 000030
【図９】
2007088939.tif 000031
【図１０】
2007088939.tif 000032
【図１１】
2007088939.tif 000033
【図１２】
2007088939.tif 000034
【図１３】
2007088939.tif 000035
【図１４】
2007088939.tif 000036
【図１５】
2007088939.tif 000037
【図１６】
2007088939.tif 000038
【図１７】
2007088939.tif 000039
【図１８】
2007088939.tif 000040
【図１９】
2007088939.tif 000041
【図２０】
2007088939.tif 000042
【国際調査報告】
2007088939.tif 000043
2007088939.tif 000044
2007088939.tif 000045
2007088939.tif 000046