(57)【特許請求の範囲】
【請求項１】
透明部材と、
前記透明部材を通してユーザが目視できる情報を表示する表示部と、
接触体が接触可能な前記透明部材の表面と反対側の表面から画像を撮影する位置に配置されている撮影ユニットと、
前記撮影ユニットにより前記透明部材を介して撮影された画像を入力して、前記透明部材上での接触体との接触部分の入力位置を決定する画像処理部と、
を備えたことを特徴とする接触入力型の情報処理装置。
【請求項２】
透明部材と、
前記透明部材を通してユーザが目視できる情報を表示する表示部と、
ユーザが接触可能な前記透明部材の表面と反対側の表面から画像を撮影する位置に配置されている撮影ユニットと、
前記撮影ユニットにより前記透明部材を介して撮影された画像を入力して、前記透明部材上でのユーザの体の一部との接触部分の入力位置を決定する画像処理部と、
前記画像処理部により決定された前記接触部分の入力位置に基づいて、前記表示部により表示された情報に対応する処理を決定する処理制御部と、
を備えたことを特徴とする接触入力型の情報処理装置。
【請求項３】
前記画像処理部が、
前記透明部材上での前記接触部分の大きさとして接触面積を決定する面積決定部と、
前記画像処理部により決定された前記接触面積が所定の大きさの場合はユーザの体の一部が前記透明部材に接触したと判別し、所定の大きさでない場合はユーザの体の一部が前記透明部材に接触していないと判別する判別部とを備え、
前記判別部によりユーザの体の一部が接触したと判別されたときに前記処理制御部により処理が決定されること、
を特徴とする請求項２に記載の接触入力型の情報処理装置。
【請求項４】
前記表示部は画像表示情報に従って映像を表示するディスプレイであることを特徴とする請求項３に記載の接触入力型の情報処理装置。
【請求項５】
前記判別部が、接触面積が所定の大きさである接触部分が複数ある場合は、複数の異なる位置で接触していると判別し、
前記画像処理部が前記複数の接触部分の暫定位置を決定し、前記決定された複数の接触部分の暫定位置に基づいて決定される重心位置を、前記接触部分の入力位置と決定することを特徴とする請求項３または請求項４に記載の接触入力型の情報処理装置。
【請求項６】
前記判別部が、接触面積が所定の大きさである接触部分が複数ある場合は、複数の異なる位置で接触していると判別し、
前記画像処理部が前記接触面積が最大である接触部分の暫定位置を前記接触部分の入力位置と決定することを特徴とする請求項３または請求項４に記載の接触入力型の情報処理装置。
【請求項７】
ユーザに再度の入力を促す表示情報を発生するための表示情報発生部を備え、
前記判別部が、接触面積が所定の大きさである接触部分が複数ある場合は、複数の異なる位置で接触していると判別し、
前記判別部が複数の異なる位置で接触していると判別したときに、前記表示情報発生部がユーザに再度の入力を促す表示情報を発生し、
前記表示部が前記ユーザに再度の入力を促す表示情報に従って表示することを特徴とする請求項４に記載の接触入力型の情報処理装置。
【請求項８】
前記表示部により表示される情報が選択項目であり、
前記判別部が、接触面積が所定の大きさである接触部分が複数ある場合は、複数の異なる位置で接触していると判別し、
前記画像処理部が前記複数の異なる接触部分の暫定位置を決定し、
前記処理制御部が、前記画像処理部により決定された前記複数の異なる接触部分の暫定位置と前記選択項目が表示されている透明部材上での表示位置とを比較し、前記暫定位置と前記選択項目の表示位置とが一致した場合の前記選択項目のみを再度の入力が可能な選択項目であると決定し、前記表示部に前記再度の入力が可能な選択項目を表示させることを特徴とする請求項４に記載の接触入力型の情報処理装置。
【請求項９】
前記画像処理部が前記接触部分の形状の中の１点を前記接触部分の入力位置と決定することを特徴とする請求項１から請求項８のいずれかに記載の接触入力型の情報処理装置。
【請求項１０】
前記画像処理部が、前記接触部分の形状を包含し、且つ、前記接触部分と接する正方形または長方形の中心を接触部分の入力位置と決定することを特徴とする請求項９に記載の接触入力型の情報処理装置。
【請求項１１】
前記画像処理部が前記接触部分の形状を決定し、
前記決定された接触部分の形状に基づいて所定の形状の接触部分を、入力位置と決定する判断対象から排除する第１排除部を備えたことを特徴とする請求項１から請求項１０のいずれかに記載の接触入力型の情報処理装置。
【請求項１２】
前記撮影ユニットはカラー画像の撮影が可能な構成を有し、
前記画像処理部が接触部分の色を決定し、
予め記憶された所定の色と前記画像処理部により決定された接触部分の色とが一致しないとき、前記接触部分を入力位置と決定する判断対象から排除する第２排除部を備えたことを特徴とする請求項１から請求項１１のいずれかに記載の接触入力型の情報処理装置。
【請求項１３】
前記接触部分を撮影するための方向とユーザの顔を撮影するための方向との間で選択的に前記撮影ユニットの撮影角度を変える角度変更部を
備えることを特徴とする請求項１から請求項１２のいずれかに記載の接触入力型の情報処理装置。
【請求項１４】
前記透明部材はプラスチックにより作られていることを特徴とする請求項１から請求項１３のいずれかに記載の接触入力型の情報処理装置。
【請求項１５】
前記透明部材が曲面を有することを特徴とする請求項１４に記載の接触入力型の情報処理装置。
【請求項１６】
透明部材を通してユーザが目視できる情報を表示する表示ステップと、
ユーザが接触可能な前記透明部材の表面と反対側の表面から前記透明部材を介して、ユーザの体の一部と前記透明部材との接触部分の画像を撮影する撮影ステップと、
前記撮影された画像を入力して、前記透明部材上でのユーザの体の一部との接触部分の入力位置を決定する入力位置決定ステップと、
前記決定された接触部分の入力位置に基づいて、前記表示ステップにより表示された情報に対応する処理を決定する処理決定ステップと、
を備えたことを特徴とする接触入力型の情報処理方法。
【請求項１７】
透明部材を通してユーザが目視できる情報を表示する表示ステップと、
ユーザが接触可能な前記透明部材の表面と反対側の表面から前記透明部材を介して、ユーザの体の一部と前記透明部材との接触部分の画像を撮影する撮影ステップと、
前記撮影された画像を入力して、前記透明部材上でのユーザの体の一部との接触部分の入力位置を決定する入力位置決定ステップと、
前記決定された接触部分の入力位置に基づいて、前記表示ステップにより表示された情報に対応する処理を決定する処理決定ステップと、
をコンピュータに実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、接触体が接触することで情報を入力することが可能な情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
ユーザの体の一部などの接触体が接触することで簡易に情報を入力し、処理を行う装置としてタッチパネルが様々な用途で幅広く用いられている。タッチパネルは、ユーザがパネル上に表示されている表示情報に触れることで簡易に情報を入力することができる。特許文献１には、一般的なタッチパネルの製造に必要な構成が記載されている。タッチパネルは、表示面を目視することができるように透明樹脂フィルム及び透明ガラス板等から構成されている。そして、透明樹脂フィルム及び透明ガラス板が平行に重なって備えられている。透明樹脂フィルムと透明ガラス板とが対向するそれぞれの面には、透明電極が設けられている。また、透明電極間にスペーサーが設けられており、２つの電極間に隙間が設けられている。タッチパネルの表示部分に液晶表示パネルが使用される場合、入力の際にタッチパネルが弾性変形されるため液晶表示パネルも共に変形させられてしまう。そのため、液晶表示パネルの表示面が変形することにより表示が不鮮明となる。これを防止するために、上述した透明樹脂フィルムと透明ガラス板との２つの透明基材のうち、液晶表示パネル側に近い透明基材としてガラス板が一般的に用いられている。一方の透明基材は、ユーザが指で触れて情報を入力するために透明樹脂フィルムが用いられる。透明樹脂フィルムが指で触れられることで、透明樹脂フィルムと透明ガラス板との間に設けられている透明電極が弾性変形する。この変形により透明電極同士が接触することで、透明電極間に電流が流れる。透明電極間で電流が流れることで、タッチパネルから情報が入力される。
【特許文献１】特開２００４−２５２６７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、タッチパネルそのものを製造するために必要な部品点数が多く、タッチパネルの製造には複雑な構成が必要とされていた。また、透明電極がガラス板に蒸着されたり、透明樹脂フィルムがタッチパネルに塗布されたりと複数の工程が必要とされるため製造費コストが高くなるという問題がある。
【０００４】
本発明は、上述した問題点を解決するためになされたものである。本発明の目的は、ユーザの体の一部などの接触体が接触することで情報が入力され処理される装置において、多重構造ではなく部品点数も少ない簡易な構成により接触が精度良く検出される接触入力型の情報処理装置を提供することである。
【課題を解決するための手段】
【０００５】
この目的を達成するために、請求項１に記載の発明は、透明部材と、前記透明部材を通してユーザが目視できる情報を表示する表示部と、接触体が接触可能な前記透明部材の表面と反対側の表面から画像を撮影する位置に配置されている撮影ユニットと、前記撮影ユニットにより前記透明部材を介して撮影された画像を入力して、前記透明部材上での接触体との接触部分の入力位置を決定する画像処理部と、を備えたことを特徴としている。
【０００６】
請求項２に記載の発明は、透明部材と、前記透明部材を通してユーザが目視できる情報を表示する表示部と、ユーザが接触可能な前記透明部材の表面と反対側の表面から画像を撮影する位置に配置されている撮影ユニットと、前記撮影ユニットにより前記透明部材を介して撮影された画像を入力して、前記透明部材上でのユーザの体の一部との接触部分の入力位置を決定する画像処理部と、前記画像処理部により決定された前記接触部分の入力位置に基づいて、前記表示部により表示された情報に対応する処理を決定する処理制御部と、を備えたことを特徴としている。
【０００７】
請求項３に記載の発明は、前記画像処理部が、前記透明部材上での前記接触部分の大きさとして接触面積を決定する面積決定部と、前記画像処理部により決定された前記接触面積が所定の大きさの場合はユーザの体の一部が前記透明部材に接触したと判別し、所定の大きさでない場合はユーザの体の一部が前記透明部材に接触していないと判別する判別部とを備え、前記判別部によりユーザの体の一部が接触したと判別されたときに前記処理制御部により処理が決定されること、を特徴としている。
【０００８】
請求項４に記載の発明は、前記表示部は画像表示情報に従って映像を表示するディスプレイであることを特徴としている。
【０００９】
請求項５に記載の発明は、前記判別部が、接触面積が所定の大きさである接触部分が複数ある場合は、複数の異なる位置で接触していると判別し、前記画像処理部が前記複数の接触部分の暫定位置を決定し、前記決定された複数の接触部分の暫定位置に基づいて決定される重心位置を、前記接触部分の入力位置と決定することを特徴としている。
【００１０】
請求項６に記載の発明は、前記判別部が、接触面積が所定の大きさである接触部分が複数ある場合は、複数の異なる位置で接触していると判別し、前記画像処理部が前記接触面積が最大である接触部分の暫定位置を前記接触部分の入力位置と決定することを特徴としている。
【００１１】
請求項７に記載の発明は、ユーザに再度の入力を促す表示情報を発生するための表示情報発生部を備え、前記判別部が、接触面積が所定の大きさである接触部分が複数ある場合は、複数の異なる位置で接触していると判別し、前記判別部が複数の異なる位置で接触していると判別したときに、前記表示情報発生部がユーザに再度の入力を促す表示情報を発生し、前記表示部が前記ユーザに再度の入力を促す表示情報に従って表示することを特徴としている。
【００１２】
請求項８に記載の発明は、前記表示部により表示される情報が選択項目であり、前記判別部が、接触面積が所定の大きさである接触部分が複数ある場合は、複数の異なる位置で接触していると判別し、前記画像処理部が前記複数の異なる接触部分の暫定位置を決定し、前記処理制御部が、前記画像処理部により決定された前記複数の異なる接触部分の暫定位置と前記選択項目が表示されている透明部材上での表示位置とを比較し、前記暫定位置と前記選択項目の表示位置とが一致した場合の前記選択項目のみを再度の入力が可能な選択項目であると決定し、前記表示部に前記再度の入力が可能な選択項目を表示させることを特徴としている。
【００１３】
請求項９に記載の発明は、前記画像処理部が前記接触部分の形状の中の１点を前記接触部分の入力位置と決定することを特徴としている。
【００１４】
請求項１０に記載の発明は、前記画像処理部が、前記接触部分の形状を包含し、且つ、前記接触部分と接する正方形または長方形の中心を接触部分の入力位置と決定することを特徴としている。
【００１５】
請求項１１に記載の発明は、前記画像処理部が前記接触部分の形状を決定し、前記決定された接触部分の形状に基づいて所定の形状の接触部分を、入力位置と決定する判断対象から排除する第１排除部を備えたことを特徴としている。
【００１６】
請求項１２に記載の発明は、前記撮影ユニットはカラー画像の撮影が可能な構成を有し、前記画像処理部が接触部分の色を決定し、予め記憶された所定の色と前記画像処理部により決定された接触部分の色とが一致しないとき、前記接触部分を入力位置と決定する判断対象から排除する第２排除部を備えたことを特徴としている。
【００１７】
請求項１３に記載の発明は、前記接触部分を撮影するための方向とユーザの顔を撮影するための方向との間で選択的に前記撮影ユニットの撮影角度を変える角度変更部を備えることを特徴としている。
【００１８】
請求項１４に記載の発明は、前記透明部材はプラスチックにより作られていることを特徴としている。
【００１９】
請求項１５に記載の発明は、前記透明部材が曲面を有することを特徴としている。
【００２０】
請求項１６に記載の情報処理方法の発明は、透明部材を通してユーザが目視できる情報を表示する表示ステップと、ユーザが接触可能な前記透明部材の表面と反対側の表面から前記透明部材を介して、ユーザの体の一部と前記透明部材との接触部分の画像を撮影する撮影ステップと、前記撮影された画像を入力して、前記透明部材上でのユーザの体の一部との接触部分の入力位置を決定する入力位置決定ステップと、前記決定された接触部分の入力位置に基づいて、前記表示ステップにより表示された情報に対応する処理を決定する処理決定ステップと、を備えたことを特徴とする接触入力型の情報処理方法としている。
【００２１】
請求項１７に記載の情報処理プログラムの発明は、透明部材を通してユーザが目視できる情報を表示する表示ステップと、ユーザが接触可能な前記透明部材の表面と反対側の表面から前記透明部材を介して、ユーザの体の一部と前記透明部材との接触部分の画像を撮影する撮影ステップと、前記撮影された画像を入力して、前記透明部材上でのユーザの体の一部との接触部分の入力位置を決定する入力位置決定ステップと、前記決定された接触部分の入力位置に基づいて、前記表示ステップにより表示された情報に対応する処理を決定する処理決定ステップと、をコンピュータに実行させることを特徴としている。
【発明の効果】
【００２２】
請求項１記載の発明によれば、透明部材上の接触位置が撮影ユニットにより撮影された画像から決定される構成であるため、タッチパネルでは必要だった透明電極や透明樹脂フィルムが不要になる。そのため、タッチパネルの製造に必要だった透明電極の蒸着や透明樹脂フィルムの塗布といった作業工程が不要となり、接触位置を検出するための構成が多重構造でなく簡易になる。また、接触体が接触可能な透明部材の表面と反対側の表面から画像を撮影する位置に撮影ユニットが配置されている構成である。つまり、透明部材と接触体との接触部分が、接触体の接触端部分以外の本体部分により妨げられることなく、正確に撮影されることが可能となる。そのため、接触体と透明部材との接触が精度よく決定される。
【００２３】
請求項２記載の発明によれば、透明部材上の接触位置が撮影ユニットにより撮影された画像から決定される構成であるため、タッチパネルでは必要だった透明電極や透明樹脂フィルムが不要になる。そのため、タッチパネルの製造に必要だった透明電極の蒸着や透明樹脂フィルムの塗布といった作業工程が不要となり、接触位置を検出するための構成が多重構造でなく簡易になる。また、ユーザが接触可能な透明部材の表面と反対側の表面から画像を撮影する位置に撮影ユニットが配置されている構成である。つまり、透明部材とユーザの体の一部との接触部分が、ユーザの体により妨げられることなく、正確に撮影されることが可能となる。そのため、ユーザの体の一部と透明部材との接触が精度よく決定される。
【００２４】
請求項３記載の発明では、接触の決定が前記画像処理部により決定された接触部分の接触面積の大きさに基づいて決定されることで、確実に精度良くユーザの体の一部と透明部材との接触を判別することができる。
【００２５】
請求項４記載の発明では、表示部に画像信号に従って映像を表示するディスプレイを用いるため、表示部の表示内容を適宜、容易に変更することが可能となる。
【００２６】
請求項５記載の発明では、接触部分が複数あると判別された場合、複数の接触部分の暫定位置により決定される重心位置を、接触部分の最終的な入力位置と決定することで、接触部分の入力位置の決定を自動的に正確に行うことができる。また、処理制御部が複数の接触部分の暫定位置に対応する処理を無駄に決定しなくて良いため、位置決定の処理負担を減らすことができる。
【００２７】
請求項６記載の発明では、接触面積が最大の暫定位置を最終的な入力位置と決定するため、接触部分の入力位置の決定を自動的に行うことが可能となる。
【００２８】
請求項７記載の発明では、接触部分が複数あると判別された場合、表示情報発生部がユーザに再度の入力を促す表示情報を発生し、表示部がその表示情報に従って表示することが可能である。そのため、判定部によって接触部分が１つに決定されるまで、ユーザに繰り返し入力を行わせるため誤認識または誤作動を減らすことができる。
【００２９】
請求項８記載の発明では、接触部分が複数あると判別された場合、画像処理部により決定された暫定位置と一致する選択項目のみが、再度の入力が可能な選択項目であると決定される。ユーザは全ての選択項目から再度の選択を行う必要がなく、ユーザは限られた選択項目のみを見れば良いため、選択操作の負担の軽減が可能となる。
【００３０】
請求項９記載の発明では、接触部分の形状の中の１点を入力位置と決定することで、１つの接触部分に対して複数の入力位置が存在することがないため、接触部分の位置に対応した処理を容易に決定することができる。
【００３１】
請求項１０記載の発明では、接触部分の形状を包含し、且つ、接触部分と接する正方形または長方形の中心を接触部分の位置とすることで、位置決定処理の負担が少なく容易に接触部分の入力位置を決定することが可能となる。
【００３２】
請求項１１記載の発明では、接触部分の形状に基づいて所定の形状の接触部分を、入力位置と決定する判断対象から排除することが可能になる。そのため、接触部分の面積や入力位置を求めるための無駄な画像処理を行う必要がない。
【００３３】
請求項１２記載の発明では、撮影ユニットがカラー画像の色情報に基づいて所定の色の接触部分を、入力位置と決定する判断対象から排除することが可能になる。そのため、接触部分の面積や位置を求めるための無駄な画像処理を行う必要がない。
【００３４】
請求項１３記載の発明では、角度変更部が備えられたことで、１つの撮影ユニットによりユーザの顔画像と透明部材上の画像とを選択的に撮影することが可能になるため、１つの撮影ユニットで複数の処理を実行することができる。
【００３５】
請求項１４記載の発明では、本発明の構成では透明電極が不要なため、これまでタッチパネルの製造で使用することが困難だったプラスチックにより製造が可能となる。この結果、安価な素材で容易に様々な形状のパネルの製造が可能となる。
【００３６】
請求項１５に記載の発明では、一般的なタッチパネルで幅広く用いられている平面に限定されることなく曲面の形状も可能となるため、接触入力型の情報処理装置の用途やデザインに適した形状に容易に変更することが可能である。
【００３７】
請求項１６及び請求項１７に記載の発明では、撮影ステップにおいて透明部材上の接触位置が撮影ステップにより撮影された画像から決定されるため、タッチパネルでは必要だった透明電極や透明樹脂フィルムが不要になる。そのため、タッチパネルの製造に必要だった透明電極の蒸着や透明樹脂フィルムの塗布といった作業工程が不要となり、接触位置を検出するための構成が多重構造でなく簡易になる。また、ユーザが接触可能な透明部材の表面と反対側の表面から画像が撮影される。つまり、透明部材とユーザの体の一部との接触部分をユーザの体により妨げられることなく、正確に接触部分を撮影することが可能となる。そのため、ユーザの体の一部と透明部材との接触が精度よく決定される。
【発明を実施するための最良の形態】
【００３８】
＜第１の実施形態＞
以下、自己学習機能を有する情報処理装置に本発明を適用した第１の実施形態について図面を参照して説明する。第１の実施形態では、表示部に問題が表示される。表示された問題の解答候補が、表示部に選択項目として表示される。表示された選択項目がユーザの体の一部により接触される。ユーザにより接触された選択項目が正解か、または不正解かが判断される。
【００３９】
図１及び図２は本発明を適用した第１の実施形態の情報処理装置の概念的構成を示す。図１は第１の実施形態の側面図、図２は正面図である。第１の実施形態の接触入力型の情報処理装置１では、図１に示す矢印の方向をそれぞれ上方向、下方向、前方向、後方向とする。また、図２に示す矢印の方向をそれぞれ右方向、逆を左方向と定義する。
【００４０】
＜第１の実施形態の外観的構成＞
図１に示されるように第１の実施形態の接触入力型の情報処理装置１は、透明フレーム３を有する全体フレーム２により覆われている。全体フレーム２の内部には２つの空間が形成されている。図１における前方の空間を覆っている透明フレーム３が前方向からユーザの体の一部により接触可能に構成される。後方の空間には、液晶ディスプレイ４、ＣＰＵ５、メモリ６、カラー画像の撮影が可能なＣＣＤカメラ７、ＨＤＤ８、サーボモータ９が備えられている。全体フレーム２の下方には、全体フレーム２を支持するための支持スタンド１０が備えられている。
【００４１】
（透明部材の構成）
透明フレーム３は透明なプラスチックを材料にして作られている。ユーザに対して凸の曲面の形状をしている。一方、後方の空間を覆っている全体フレーム２の材料はプラスチックを材料にして作られているが、特に限定されない。透明フレーム３は本発明の透明部材の一例である。
【００４２】
（表示部の構成）
液晶ディスプレイ４は、透明フレーム３を通してユーザが目視できる位置に配置されている。液晶ディスプレイ４は、表示情報に従ってユーザに情報を表示する。液晶ディスプレイ４は本発明の表示部の一例である。
【００４３】
（撮影ユニットの構成）
ＣＣＤカメラ７により、ユーザが接触可能な透明フレーム３の領域全てが撮影可能な位置に配置される。また、ＣＣＤカメラ７は、ユーザが接触可能な透明フレーム３の表面と反対側の表面の方向から撮影を行える特定位置に配置されている。そのため、透明フレーム３とユーザの体の一部との接触部分がユーザの体により妨げられることなく、正確に接触部分の接触面積が撮影される。ＣＣＤカメラ７が上記特定位置に配置されることで、１台のＣＣＤカメラ７により透明フレーム３とユーザの体の一部とが接触しているか否かの決定が可能となる。そのため、複数のカメラを用意する必要がない。ＣＣＤカメラ７は本発明の撮影ユニットの一例である。
【００４４】
（角度変更部の構成）
図３は、サーボモータ９を用いてＣＣＤカメラ７の角度を変更する角度変更部の一例を示す。図３（ａ）に示すように、サーボモータ９によりカム１１が回転され、ＣＣＤカメラ７を支持する支持部材７ａがカム１１の短径部分と係合したときに、ＣＣＤカメラ７の撮影角度は、透明フレーム３とユーザの体の一部との接触部分を撮影できる撮影角度に設定される。また、図３（ｂ）に示すように、ＣＣＤカメラ７を支持する支持部材７ａがカム１１の長径部分と係合したときに、ＣＣＤカメラ７の撮影角度は、透明フレーム３を通してユーザの顔を撮影できる撮影角度に設定される。そのため、ＣＣＤカメラ７により、透明フレーム３とユーザの体の一部との接触部分と、ユーザの顔などのユーザそのものとが選択的に撮影される。サーボモータ９及びカム１１は本発明の角度変更部の一例である。
【００４５】
＜第１の実施形態の電気的構成＞
図４は、第１の実施形態の接触入力型の情報処理装置１の電気的構成を示すブロック図である。図４に示すように、第１の実施形態の接触入力型の情報処理装置１には、接触入力型情報処理装置１を制御するＣＰＵ５が設けられている。ＣＰＵ５には、液晶ディスプレイ４と、メモリ６と、ＣＣＤカメラ７と、ＨＤＤ８と、サーボモータ９とがそれぞれ電気的に接続されている。ＣＰＵ５は、メモリ６及びＨＤＤ８と共に、第１の実施形態の情報処理装置１の動作を制御処理するコンピュータを構成している。ＣＰＵ５とメモリ６とＨＤＤ８とからなるコンピュータは、本発明の処理制御部と、判定部との一例である。
【００４６】
（メモリの構成）
メモリ６は、公知のＲＡＭから構成され、図１に示すようにＣＣＤカメラ７により撮影された撮影画像データ１２を記憶する領域を備える。また、メモリ６は、決定された接触部分の接触面積１５と、接触位置の候補の暫定位置１３と、接触位置の最終的な入力位置１４とを記憶する領域を備える。
【００４７】
（ＨＤＤの構成）
図５は、ＨＤＤ８の記憶内容の詳細を示す。ＨＤＤ８は、プログラム４１と、色情報４２と、表示情報４３と、接触部分の大きさ情報４４とを記憶している。プログラム４１は、接触入力型の情報処理装置１を制御するためのプログラムである。色情報４２は、接触部分の候補であるかどうかを判定するための情報である。表示情報４３は、液晶ディスプレイ４に映像などの情報を表示させることを指令する情報である。接触部分の大きさ情報４４は、接触部分の面積が所定の大きさであるかを判断するための情報である。
【００４８】
ＨＤＤ８は、プログラム４１として、図６に示すメインプログラム４５と、図９に示す接触検出プログラム４６と、図１０に示す処理決定プログラム４７とを記憶している。メインプログラム４５は、第１の実施形態の接触入力型の情報処理装置を制御するためのプログラムである。接触検出プログラム４６は、ＣＣＤカメラ７により撮影された撮影画像データに対して画像処理を行い、接触部分の検出を行うためのプログラムである。処理決定プログラム４７は、接触検出プログラム４６により検出された接触位置に基づいて処理を決定するためのプログラムである。ＨＤＤ８に記憶されている接触検出プログラム４６は、本発明の画像処理部の一例である。
【００４９】
ＨＤＤ８は、色情報４２として、接触部分色情報４８を記憶している。接触部分色情報４８は、接触部分の候補であるかを判定するための判定基準となる色情報である。
【００５０】
ＨＤＤ８は、液晶ディスプレイ４に情報を表示させるための表示情報４３として、初期表示情報４９を記憶している。初期表示情報４９は、情報処理装置１の起動時に液晶ディスプレイ４に情報を表示させるための表示情報である。
【００５１】
＜第１の実施形態のメイン動作の説明＞
以上説明した構成からなる第１の実施形態の情報処理装置１の動作及び作用について、添付図面を参照して説明する。図６は、情報処理装置１におけるメイン動作の処理手順を示すフローチャートである。メイン動作は、接触入力型の情報処理装置に電源が供給され、ＣＰＵ５がメインプログラム４５を実行することにより、遂行される。以下に示す処理は全てＣＰＵ５により処理される。
【００５２】
第１の実施形態の接触入力型の情報処理装置１では、最初に、ステップＳ１０１で本装置の電源スイッチがユーザによりＯＮにされたかが判定される。電源スイッチがＯＮにされたと判定されるまで、ステップＳ１０１が繰り返される。電源スイッチがＯＮにされたと判定されると、ステップＳ１０２が実行される。電源スイッチはハードウェアを用いたスイッチであっても、ソフトウェアにより動作されるソフト電源スイッチであっても良い。
【００５３】
ステップＳ１０２では、初期表示情報４９がＨＤＤ８から読み出される。液晶ディスプレイ４はＨＤＤ８から読み出された初期表示情報４９に従って情報を表示する。たとえば、第１の実施形態の接触入力位置検出装置が地理の問題を出題する学習装置の場合、ユーザが地理について自己学習を開始すると、図７に示すように、液晶ディスプレイ４は、初期表示情報４９に従って「スタート」という文字を表示する。「スタート」という文字は、所定の時間が経過するまで表示される。例えば、「スタート」という文字が１秒間表示される。そして、図８に示す地図を表示するための表示情報が初期表示情報として決定される。図８は液晶ディスプレイ４の表示画面の拡大図を示す。図８に示された値はＸ軸及びＹ軸における座標値を示す。液晶ディスプレイ４の画面上の点線より左側に表示されている岐阜県の地図の形状の表示情報と青森県の地図の形状の表示情報とが決定される。ＨＤＤ８から読み出された表示情報に従って、液晶ディスプレイ４は岐阜県と青森県との地図の形状を表示する。液晶ディスプレイ４の画面に上記地図の形状の情報を表示するステップは、本発明の表示ステップの一例である。
【００５４】
ステップＳ１０３では、図９に示す接触検出プログラム４６が、ＨＤＤ８から読み出され、実行される。接触検出プログラム４６の詳細な説明は図９を用いて後述する。接触検出プログラム４６により、接触部分の面積の大きさと接触位置とが決定される。決定された接触部分の面積の大きさと接触位置とは、メモリ６に一時記憶される。
【００５５】
ステップＳ１０４では、タイムフラグがＯＮされているかが判定される。タイムフラグがＯＮの場合はステップＳ１０７へ進み、タイムフラグがＯＦＦの場合はステップＳ１０５へ進む。
【００５６】
ステップＳ１０５では、図１０に示す処理決定プログラム４７が、ＨＤＤ８から読み出され、実行される。処理決定プログラム４７の詳細な説明は図１０を用いて後述する。処理決定プログラム４７が実行されることで、ステップＳ１０３で決定された接触部分の面積の大きさと接触位置とに基づいて処理内容が決定される。
【００５７】
ステップＳ１０６では、ステップＳ１０５で決定された処理が実行された後、ユーザにより電源スイッチがＯＦＦされたかが判定される。電源スイッチがＯＦＦにされなかった場合はステップＳ１０１へ戻り、再びステップＳ１０１が実行される。電源スイッチがＯＦＦにされた場合は、メイン動作の処理は終了となる。
【００５８】
ステップＳ１０７では、タイムフラグがＯＮにされているため、図１１に示すように、規定時間以内に接触部分が検出されなかったことに基づく表示情報が決定される。接触入力型情報処理装置１では、「残念時間切れです」という情報を表示させるための表示情報がＨＤＤ８から読み出される。液晶ディスプレイ４はＨＤＤ８から読み出された表示情報に従って「残念時間切れです」といった情報を表示する。その後、図８に示す表示情報が液晶ディスプレイ４により表示される。再びステップＳ１０３へ戻り、接触検出プログラム４６が実行される。
【００５９】
（接触検出動作の説明）
図９は、接触検出プログラム４６に従う接触検出動作の詳細を示すフローチャートである。まず、ステップＳ２０１でタイムフラグがＯＦＦにされる。タイムフラグは、規定の時間以内に透明フレーム３が接触されたかを判別するためのフラグである。規定の時間以内に接触が検出されなかった場合、タイムフラグがＯＮにされる。
【００６０】
ステップＳ２０２では、規定時間以内に接触が検出されたかが判定されるために、時間のカウントがスタートされる。
【００６１】
ステップＳ２０３では、ＣＣＤカメラ７により透明フレーム３とユーザの体の一部との接触部分の撮影が開始される。撮影を行うタイミングは、第１の実施形態の接触入力型の情報処理装置１では一定周期ごとに撮影が行われる。ＣＣＤカメラ７により撮影されるごとに、撮影画像データがメモリ６に一時記憶される。第１の実施形態の接触入力型情報処理装置１では、１秒ごとの周期で撮影が行われている。すなわち、ステップＳ２０３では、１秒ごとの周期で透明フレーム３を撮影するようＣＰＵ５がＣＣＤカメラ７に命令している。ステップＳ２０３は、本発明の撮影ステップの一例である。撮影を行うタイミングは、一定周期ごとに撮影が行われなくても良い。
【００６２】
ステップＳ２０４では、透明フレーム３とユーザの体の一部との接触部分の検出を行うために、メモリ６に記憶されている撮影画像データに対して画像処理が実行される。具体的には、メモリ６に記憶されている撮影画像データが時系列で比較され、比較された撮影画像データの差分が取られる。この差分以外の部分を除去することで背景の除去が可能となる。図１２は、接触部分を決定する画像処理の一例の概念図を示す。ある時刻Ｔに撮影された撮影画像データ３１と、ある時刻Ｔ＋１秒に撮影された撮影画像データ３２との画像の差分が求められる。図１２に示される差分画像データ３３が求められる。ある時刻Ｔと時刻Ｔ＋１秒との間で変化があった画素が決定される。そのため、現在動いていない物体（背景）の除去が可能となる。第１の実施形態の接触入力型情報処理装置１では１秒間隔に撮影が行われ、撮影された画像の差分が取られている。
【００６３】
ステップＳ２０５では、ステップＳ２０４の画像処理結果により接触部分がないと決定された場合、ステップＳ２１１へ進む。接触部分がありと決定された場合、ステップＳ２０６が実行される。
【００６４】
ステップＳ２０６では、ステップＳ２０５で接触部分がありと決定された場合、所定の色の接触部分が接触部分の入力位置を決定する判断対象から排除される。第１の実施形態の接触入力型情報処理装置１では人間の指の色の一つである薄橙以外の接触部分が、接触部分の入力位置を決定する判断対象から排除される。薄橙色を検出するために、ＣＣＤカメラ７が撮影した撮影画像データの全ての画素におけるＲＧＢの値と、ＨＤＤ８に記憶された接触部分色情報４８とが比較される。比較結果に基づき、画素の色が薄橙色であるかが決定される。薄橙色と識別されるＲＧＢの値の上限値及び下限値といった閾値が、あらかじめ接触部分色情報４８としてＨＤＤ８に記憶されている。画素のＲＧＢの値が、上限値と下限値とにより定まる範囲に該当するなら、薄橙色であると決定される。ステップＳ２０６及びＣＰＵ５は、本発明の第２排除部の一例である。
【００６５】
ステップＳ２０７では、ステップＳ２０６が実行された結果、接触部分がないと決定された場合、ステップＳ２１１へ進む。接触部分がありと決定された場合、ステップＳ２０８が実行される。
【００６６】
ステップＳ２０８では、接触部分の形状に基づいて所定の形状の接触部分が接触部分の入力位置を決定する判断対象から排除される。第１の実施形態の接触入力型情報処理装置１では、ユーザの体の一部として指が想定される。そのため、指の接触部分の形状として考えられる円、楕円に類似した形状である接触部分以外が排除される。ＣＣＤカメラ７が撮影した画像に対して、ハフ変換が用いられる。ハフ変換により、第１の実施形態の接触入力型情報処理装置１では図形の特徴が決定される。円及び楕円に類似した形状の接触部分が決定され、それ以外の形状の接触部分が排除される。また、接触部分の面積がＨＤＤ８に記憶されている接触部分の大きさ情報と比較される。接触部分として決定される接触部分の面積の大きさの上限値及び下限値といった閾値が、あらかじめ接触部分の大きさ情報４４としてＨＤＤ８に記憶されている。接触部分の面積の大きさが上限値と下限値とにより定まる範囲に該当しない場合、該当する接触面積の大きさである接触部分は、入力位置が決定される判断対象から排除される。ステップＳ２０８及びＣＰＵ５は、本発明の第１排除部の一例である。
【００６７】
ステップＳ２０９では、ステップＳ２０８が実行された結果、接触部分がないと決定された場合はステップＳ２１１へ進む。接触部分がありと決定された場合、ステップＳ２１０が実行される。
【００６８】
ステップＳ２１０では、ステップＳ２０９で接触部分がありと決定された場合、接触部分の面積と入力位置の候補としての暫定位置とが決定される。上述のステップＳ２０４からＳ２０９の処理で排除されなかった接触部分における画素数が、接触部分の接触面積と決定される。図１３は、接触面積の決定方法の一例の概念図を示す。ステップＳ２０８の実行後、撮影画像データ３４に関して、接触部分３５と接触部分３６とが決定されている。図１３における右部分に示された図は、接触部分３６の拡大図である。図１３に示す小さい１つの四角形が、１つの画素３７に相当する。また色の濃い画素３８はユーザにより接触された画素を示している。第１の実施形態では、接触部分の画素数が接触面積の大きさとされている。そのため、図１３の接触部分３６の接触面積は、ユーザにより接触された画素３８の画素数として決定される。決定された接触面積の大きさはメモリ６に一時記憶される。ステップＳ２１０及びＣＰＵ５は、本発明の面積決定部の一例である。
【００６９】
また、ステップＳ２１０では、接触部分の形状の中の１点の位置が暫定位置として決定される。接触部分の形状の中の１点の位置が暫定位置とされることで、上記１点の位置に対応する処理のみをＣＰＵ５が決定すれば良い。そのため、容易に接触部分に対応する処理を決定することが可能となる。第１の実施形態の接触入力型情報処理装置１では、図１４（ａ）（ｂ）（ｃ）に示すように、暫定位置として接触部分の形状を包含し、且つ、前記接触部分と接する長方形または正方形の中心を暫定位置としている。包含する正方形または長方形の中心とは、各辺の中点から引いた垂直二等分線の交点である。ＣＣＤカメラ７が撮影した画像の最も左下の画素の位置を原点としている。この原点を基準として、１画素ごとに１座標値が定められる。接触部分の暫定位置は、上記中心の座標値として決定される。このようにして接触部分の面積と接触部分の暫定位置とが決定される。図１５は、接触部分の入力位置の候補である暫定位置と、暫定位置の接触面積とがメモリ６に記憶されている概念図を示す。接触位置１から接触位置３は、接触部分の入力位置の候補である暫定位置を表している。各接触部分の接触面積と暫定位置とが、図１５に示すようにメモリ６に一時記憶される。
【００７０】
ステップＳ２１１では、ステップＳ２０２でカウントを始めてから経過した時間が、規定の時間内であるかが判断される。規定の時間内であれば、ステップＳ２０３へ戻り、再度透明フレーム３の撮影が開始される。規定の時間内でなければ、ステップＳ２１２に進む。
【００７１】
ステップＳ２１２では、規定時間以内に接触部分が検出されなかったため、タイムフラグがＯＮにされる。
【００７２】
ステップＳ２１３では、時間のカウントが終了される。ステップＳ２１３が実行された後、図６に示すメイン動作に戻り、ステップＳ１０４へ進む。ステップＳ２０８を除くステップＳ２０５からステップＳ２１３までのステップは、本発明の入力位置決定ステップの一例である。
【００７３】
（処理決定動作の説明）
図１０は、処理決定プログラム４７に従う処理決定動作の詳細を示すフローチャートである。まず、上記のステップＳ２１０において複数の暫定位置が決定された場合、ステップＳ３０１で、複数の暫定位置の中から、接触面積の最も大きい接触部分の暫定位置が最終的な入力位置として決定される。たとえば、図１５に示すように、メモリ６が暫定位置として記憶した接触位置１〜３の中で、最も接触面積が大きい暫定位置は、接触位置１であることから、図１５から、第１の実施形態の接触入力型情報処理装置１における入力位置の座標値は、接触位置１の座標値（１００、２５５）と決定され、メモリ６に一時記憶される。
【００７４】
ステップＳ３０２では、ステップＳ３０１で決定された入力位置に基づいて、表示情報が決定される。図８は液晶ディスプレイ４の表示画面の拡大図を示す。図８に示された値はＸ軸及びＹ軸における座標値を示す。第１の実施形態の接触入力型情報処理装置１では画面の左下が原点とされている。画面の右下における座標値が（６００、０）、左上の座標値が（０、４００）、点線で示された真ん中の中心線の座標値が（３００、０）となっている。ステップＳ３０１で入力位置が（１００、２５５）と決定されたため、点線で示された真ん中の中心線より左の位置が接触されたと決定される。そのため、図８に示す液晶ディスプレイ４の画面における左に表示されている形状をした図形が、ユーザにより選択されたと決定される。ユーザにより左に表示されている図形が選択されたと判定されたため、液晶ディスプレイ４により表示された選択問題に対して、正解であると判定される。正解と判定されたことに基づく処理がＨＤＤ８から読み出されて処理される。
【００７５】
ステップＳ３０３では、ステップＳ３０２で決定された処理に従って表示情報の決定が実行される。ステップＳ３０２では、液晶ディスプレイ４の画面に表示された出題問題に対して正解であったことに基づく処理が決定されたことから、図１６に示す「正解です」といった正解に基づく表示情報が決定され、ＨＤＤ８から読み出される。一方、図８における右に表示されている図形が選択された場合、図１６に表示されている「正解です」に代わりに、「不正解です」といった表示情報が決定され、ＨＤＤ８から読み出される。
【００７６】
ステップＳ３０４では、液晶ディスプレイ４は、ステップＳ３０３で決定された表示情報に従って情報を画面に表示する。ステップＳ３０１からステップＳ３０３までのステップが、本発明の処理決定ステップの一例である。
【００７７】
ステップＳ１０４では、規定の時間以内に第１の実施形態の接触入力型情報処理装置１に入力がされなかったと判定されたため、ステップＳ１０７ではその判定結果に応じた表示情報が決定され、ＨＤＤ８から読み出される。液晶ディスプレイ４はＨＤＤ８から読み出された表示情報に従って、図１６に表示されている「正解です」の文字の代わりに、図１１に表示されている「残念時間切れです」を表示する。
【００７８】
＜第２の実施形態＞
第１の実施形態で記載した自己学習機能を有する接触入力型の情報処理装置１を備えたロボットに本発明を適用した第２の実施形態について、添付図面を参照して説明する。
【００７９】
＜第２の実施形態の外観的構成＞
図１７は、第２の実施形態のロボットの外観的構成を示している。第２の実施形態のロボットを構成する接触入力型の情報処理装置１０１は、支持スタンド１１０の内部に音声入力装置１１１と音声出力装置１１２とを備えている。音声入力装置１１１と音声出力装置１１２以外の構成部分は、第１の実施形態と同じ構成であるので、説明を省略する。
【００８０】
＜第２の実施形態の電気的構成＞
図１８は、第２の実施形態における接触入力型の情報処理装置１０１の電気的構成を示すブロック図である。図１８に示すように、第２の実施形態の接触入力型の情報処理装置１０１には、第１の実施形態と同様に、接触入力型の情報処理装置１０１を制御するＣＰＵ１０５が備えられている。ＣＰＵ１０５には、液晶ディスプレイ１０４と、メモリ１０６と、ＣＣＤカメラ１０７と、ＨＤＤ１０８と、サーボモータ１０９と、音声入力装置１１１と、音声出力装置１１２とが電気的に接続されている。ＣＰＵ１０５は、メモリ１０６及びＨＤＤ１０８と共に、第２の実施形態の情報処理装置１０１の動作を制御処理するコンピュータを構成している。
【００８１】
音声入力装置１１１は、ユーザからの音声を取り込み、その音声を処理して音声入力情報を生成する。この生成された音声入力情報がメモリ１０６に一時記憶される。
【００８２】
音声出力装置１１２は、ＣＰＵ１０５が決定した処理に関連する音声出力情報をＨＤＤ１０８から読み出して音声出力を行う。
【００８３】
（第２の実施形態メモリの構成）
メモリ１０６は、音声入力装置１１１により入力され生成された音声入力情報１１７と、ＣＣＤカメラ１０７により撮影された撮影画像データ１１３と、接触部分の接触面積１１６と、接触位置の候補の暫定位置１１４と、最終的な入力位置１１５とを記憶する領域を備える。
【００８４】
（第２の実施形態ＨＤＤの構成）
図１９は、ＨＤＤ１０８の記憶内容の詳細を示す。ＨＤＤ１０８は、プログラム１４１と、色情報１４２と、表示情報１４３と、接触部分の大きさ情報１４４と、ユーザ情報１４５と、音声出力情報１４６とを記憶する。プログラム１４１は、接触入力型の情報処理装置１０１を制御するためのプログラムである。色情報１４２は、接触部分の候補であるかどうかを判定するための情報である。表示情報１４３は、液晶ディスプレイ１０４に情報を表示させるための表示情報である。音声出力情報１４６は、音声出力装置１１２に音声を出力させるための音声出力情報である。ユーザ情報１４５は、ユーザを特定するための情報である。
【００８５】
ＨＤＤ１０８は、プログラム１４１として、ＨＤＤ８に記憶されているプログラム４１と同様に、図２０に示すメインプログラム１４７と、接触検出プログラム１４８と、処理決定プログラム１４９とを記憶している。それに加え、図２２に示すユーザ撮影モードプログラム１５０と、図２３に示す音声入出力プログラム１５１とが記憶されている。ユーザ撮影モードプログラム１５０は、ＣＣＤカメラ１０７により撮影された撮影画像データからユーザを特定するためのプログラムである。音声入出力プログラム１５１は、音声の入出力を処理するためのプログラムである。
【００８６】
ＨＤＤ１０８は、ユーザの顔情報１４５を記憶している。ユーザの顔情報１４５は、ＣＣＤカメラ１０７により撮影された撮影画像データからユーザの特定を行うための情報である。
【００８７】
ＨＤＤ１０８は、音声出力装置１１２に音声を出力させるための音声出力情報１４６を記憶している。音声出力情報１４６は、ユーザと対話するための音声出力情報と、接触位置に基づいた処理内容を音声でユーザに伝えるための音声出力情報とからなる。
【００８８】
＜第２の実施形態のメイン動作の説明＞
以上説明した構成からなる第２の実施形態の情報処理装置１０１の動作及び作用について、添付図面を参照して説明する。図２０は、本実施形態におけるメインプログラム１４７に従うメイン動作の処理手順を示すフローチャートである。
【００８９】
第２の実施形態では、最初に、ステップＳ８０１で本装置の電源スイッチがＯＮにされているかが判定される。電源スイッチがＯＮにされていると判定されるまで、ステップＳ８０１が繰り返される。電源スイッチがＯＮにされていると判定されると、ステップＳ８０２が実行される。
【００９０】
ステップＳ８０２では、起動時に液晶ディスプレイ１０４に表示する初期表示情報１５３がＨＤＤ１０８から読み出される。ＨＤＤ１０８から読み出された表示情報に従って、液晶ディスプレイ１０４が情報を表示する。図２１に示すように、液晶ディスプレイ１０４は初期表示情報１５３に従って、人の顔を画面に表示する。第２の実施形態における接触入力型情報処理装置１０１では、初期音声は出力されないと決定されている。
【００９１】
ステップＳ８０３では、ユーザ撮影モードプログラム１５０がＨＤＤ１０８から読み出されて実行される。ユーザ撮影モードプログラム１５０の詳細な説明は図２２を用いて後述する。ユーザ撮影モードプログラム１５０により、ユーザの顔画像が撮影され、撮影されたユーザの顔画像データに基づいて、液晶ディスプレイ１０４に情報を表示させるための表示情報および音声出力装置１１２に音声を出力させるための音声出力情報が決定される。
【００９２】
ステップＳ８０４では、音声入出力処理プログラム１５１がＨＤＤ１０８から読み出されて実行される。音声入出力プログラム１５１の詳細な説明は図２３を用いて後述する。音声入出力プログラム１５１により、音声が入力されたか否かの判定と、液晶ディスプレイ１０４に表示させるための表示情報および音声出力部１１２に出力させるための音声出力情報とが決定される。
【００９３】
ステップＳ８０５では、接触検出プログラム１４８がＨＤＤ１０８から読み出されて実行される。接触検出プログラム１４８により、接触部分の接触面積の大きさと接触位置とが決定される。
【００９４】
ステップＳ８０６では、タイムフラグがＯＮされているかが判定される。タイムフラグがＯＮの場合はステップＳ８０９へ進み、タイムフラグがＯＦＦの場合はステップＳ８０７へ進む。
【００９５】
ステップＳ８０７では、ＨＤＤ１０８から読み出された図１０に示す処理決定プログラム１４９が実行される。処理決定プログラム１４９が実行されることで、ステップＳ８０５で決定された接触部分の接触面積の大きさと接触位置とに基づいた処理が決定される。
【００９６】
ステップＳ８０８では、ステップＳ８０７で決定された処理が実行された後、ユーザにより電源スイッチがＯＦＦでされたかが判定される。電源スイッチがＯＦＦにされなかった場合はステップＳ８０１へ戻り、再びステップＳ８０１が実行される。
【００９７】
ステップＳ８０９では、タイムフラグがＯＮにされているため、規定時間以内に接触部分が検出されなかったことに基づく表示情報及び音声出力情報が決定され、ＨＤＤ１０８から読み出される。ＨＤＤ１０８から読み出された表示情報に従って、液晶ディスプレイ１０４が情報を表示する。再びステップＳ８０３へ戻り、ユーザ撮影モードプログラム１５０がＨＤＤ１０８から読み出されて実行される。本実施形態では、液晶ディスプレイ１０４により表示される情報として図２１に示す顔が、出力される音声として「残念時間切れです。もう一度教科書を見直したほうがいいね」が決定される。上述した表示情報および音声出力情報が、ＨＤＤ１０８から読み出されて液晶ディスプレイ１０４と音声出力装置１１２とを動作させる。
【００９８】
（ユーザ撮影モードの説明）
図２２は、ユーザ撮影モードプログラム１５０に従うユーザ撮影モードにおける動作の詳細を示すフローチャートである。まず、ステップＳ９０１でユーザを撮影するため、ＣＣＤカメラ１０７の角度が変更される。透明フレーム１０３とユーザの顔とを選択的に撮影するために、ＣＣＤカメラ１０７の撮影角度が、サーボモータ１０９により、ユーザの顔が撮影可能な角度に変更される。第２の実施形態における接触入力型情報処理装置１０１では、図３に示す第１の実施形態の角度変更部と同様に、サーボモータ１０９により、ＣＣＤカメラ１０７の撮影角度が適宜調整され、ユーザの顔が撮影される。撮影された画像はメモリ１０６に一時記憶される。
【００９９】
ステップＳ９０２では、ＣＣＤカメラ１０７の角度が変更された後、ユーザの顔が撮影される。撮影を行うタイミングは、第１の実施形態の接触入力型の情報処理装置１と同様に、一定周期ごとに撮影が行われる。ＣＣＤカメラ１０７により撮影されるごとに、撮影画像データがメモリ１０６に一時記憶される。
【０１００】
ステップＳ９０３では、透明フレーム１０３の前にユーザがいるかが、撮影された画像データから決定される。
【０１０１】
ステップＳ９０４では、ユーザが透明フレーム３の前にいるか否かが判別される。ユーザが透明フレーム１０３の前にいない場合ステップＳ９０２へ戻り、ユーザがいる場合ステップＳ９０５へ進む。
【０１０２】
ステップＳ９０５では、メモリ１０６に記憶されている撮影画像データと、ＨＤＤ１０８により予め記憶されているユーザの顔情報１４５とが比較されることで、ユーザが特定される。
【０１０３】
ステップＳ９０６では、特定されたユーザに基づいて表示情報と音声出力情報とが決定される。本実施形態では、特定されたユーザに基づいて、ユーザの名前である『ヒロ君』という音声出力情報がＨＤＤ１０８から読み出されて、音声出力装置１１２により音声が出力される。
【０１０４】
ステップＳ９０７では、ステップＳ９０５でＣＣＤカメラ１０７により撮影された撮影画像データに対して画像処理が行われてユーザの表情が決定される。
【０１０５】
ステップＳ９０８では、ステップＳ９０７で決定されたユーザの表情に基づいて、表示情報と音声出力情報とが決定される。画像処理の結果、『ヒロ君』の表情が『暗い』と決定された場合、「あ、ヒロ君だ。なんか暗いね。元気出して遊ぼう」という音声出力情報が決定され、ＨＤＤ１０８から読み出されて、音声出力装置１１２により音声が出力される。
【０１０６】
（音声入出力処理動作の説明）
図２３は、音声入出力プログラム１５１に従う音声入出力処理動作の詳細を示すフローチャートである。ステップＳ１００１では、音声入力装置１１１に規定時間以内に音声が入力されたかを判定するために、時間のカウントがスタートされる。
【０１０７】
ステップＳ１００２では、音声入力装置１１１に音声が入力され、その入力された音声に対応する音声入力情報が生成されて、メモリ１０６に一時記憶される。
【０１０８】
ステップＳ１００３では、音声の入力が検出されたかどうかが判定される。ステップＳ１００３で音声入力が検出されたと判定されると、ステップＳ１００５に進む。音声入力が検出されなかったと判定されると、ステップＳ１００４へ進む。
【０１０９】
ステップＳ１００４では、時間のカウントが始められた時点から経過した時間が、規定の時間以内であるかが判定される。規定の時間以内であれば再度ステップＳ１００２へ戻り、音声の入力の検出が開始され、規定の時間以内でなければステップＳ１００６へ進む。
【０１１０】
ステップＳ１００５では、入力された音声に基づき、表示情報及び音声出力情報が決定される。たとえば、「明日、社会の試験があるんだ。問題出してよ。」といった音声入力に対応する表示情報及び音声出力情報が決定される。本実施形態では、上記の音声入力に対して、「じゃあ、問題出すよ。岐阜県はどれでしょう？」といった音声出力情報と、図８に示す第１の実施形態と同様の２択の問題を表す表示情報とが決定される。上述した表示情報と音声出力情報とが、ＨＤＤ１０８から読み出されて液晶ディスプレイ１０４と音声出力装置１１２をそれぞれ動作させる。
【０１１１】
ステップＳ１００６では、ステップＳ１００４で規定時間以内に音声入力がないと判定されたことに基づいた表示情報及び音声出力情報が決定される。たとえば、第２の実施形態では、「聞こえなかった。もう一度言ってください。」といった音声出力情報が、ＨＤＤ１０８から読み出されて音声出力装置１１２により出力される。
【０１１２】
ステップＳ１００７では、ステップＳ１００５とステップＳ１００６とがそれぞれ実行された後、時間のカウントが終了される。
【０１１３】
（処理決定動作の説明）
第２の実施形態の処理決定動作においては、上述のステップＳ３０１からＳ３０４までのステップと同様の処理が実行される。第２の実施形態も、図８に示す問題表示が可能な第１の実施形態と同様に、自己学習機能を備えた接触入力型の情報処理装置である。問題が表示された液晶ディスプレイ１０４の画面において、ユーザにより左に表示されている図形が選択されたと判定された場合、液晶ディスプレイ１０４により表示された選択問題に対して正解であると判定される。正解と判定されたことに基づく表示情報と音声出力情報とが、決定されてＨＤＤ１０８から読み出される。たとえば、図２１に示す表示情報と、「正解。明日の試験はこれで大丈夫だね。」といった音声出力情報とが決定される。一方、図８における右に表示されている図形が選択された場合、本装置が表示した問題に対して不正解だと決定される。そのため、「不正解」という表示情報と、「不正解。でも、これから頑張って勉強すれば大丈夫だよ。」といった音声出力情報とが決定され、ＨＤＤ１０８から読み出されて液晶ディスプレイ１０４と音声出力装置１１２とをそれぞれ動作させる。
【０１１４】
＜変形例１＞
第１の実施形態と第２の実施形態とにおける接触位置決定の変形例１について、添付図面を参照して以下に説明する。
【０１１５】
図２４は、変形例１のメイン動作の処理手順を示すフローチャートである。ステップＳ４０１とステップ４０２とは、図６に示すステップＳ１０１とステップＳ１０２と同じである。ステップＳ４０３では、接触検出プログラムが実行される。ステップＳ４０３では、第１の実施形態で説明した図９に示す接触検出のフローチャートにおけるステップＳ２０１からステップＳ２１３までの処理が実行される。このステップＳ４０３において、接触部分の接触面積と接触部分の入力位置または暫定位置とが決定される。
【０１１６】
ステップＳ４０６では、ステップＳ４０３で決定された接触部分の暫定位置が複数あるかが判定される。接触部分の暫定位置が複数あると判定された場合はステップＳ４０７が実行され、接触部分の暫定位置が複数ないと判定された場合はステップＳ４０９が実行される。
【０１１７】
ステップＳ４０７では、ステップＳ４０６で複数の接触部分があると判定されたため、ユーザに対して再度の入力を促すための表示情報が決定される。再度の入力を促すための表示情報が、ＨＤＤ８またはＨＤＤ１０８から読み出される。液晶ディスプレイ４または液晶ディスプレイ１０４がＨＤＤ８またはＨＤＤ１０８から読み出された表示情報に従って情報を表示する。液晶ディスプレイ４または液晶ディスプレイ１０４により表示される情報として、図１６に表示されている「正解です」の文字の代わりに、「もう一度入力をお願いします」が決定される。ステップＳ４０７及びＣＰＵ５またはＣＰＵ１０５は、本発明の表示情報発生部の一例である。
【０１１８】
ステップＳ４０８では、入力を行うための図８に示す表示情報が決定され、ＨＤＤ８またはＨＤＤ１０８から読み出される。液晶ディスプレイ４または液晶ディスプレイ１０４がＨＤＤ８またはＨＤＤ１０８から読み出された表示情報に従って図８に示す情報を再度表示し、ステップＳ４０３へ戻り、透明フレーム３の撮影が再び開始される。
【０１１９】
＜変形例２＞
第１の実施形態と第２の実施形態とにおける接触位置決定の変形例２について、添付図面を参照して以下に説明する。
【０１２０】
変形例２の電気的構成は、図４に示す第１の実施形態の電気的構成または図１８に示す第２の実施形態の電気的構成のいずれかの構成と同じ構成である。図２５は、ＨＤＤ２０８の記憶内容の詳細を示す。ＨＤＤ２０８は、第１の実施形態または第２の実施形態と同様の情報とプログラムを記憶している。それに加え、図２７に示す複数位置処理プログラム２５２が記憶されている。複数位置処理プログラム２５２は、入力位置の候補である複数の暫定位置から最終的な入力位置を決定するためのプログラムである。複数位置処理プログラム２５２は、最終的な入力位置として複数の暫定位置により決定される重心位置を最終的な入力位置と決定する。重心位置の座標値は、図８に示すようなＸ軸及びＹ軸の座標値により決定される。接触部分の重心位置は、接触部分に含まれる各画素の座標値のＸ座標の座標値の総和と、Ｙ座標の座標値の総和とを、その接触部分に含まれる画素の総和、つまり接触部分の接触面積で割ったものが、接触部分の重心位置の座標値として決定される。
【０１２１】
図２６は、変形例２のメイン動作の処理手順を示すフローチャートである。ステップＳ５０７で実行される複数位置処理２５２を図２７のフローチャートを参照して説明する。ステップＳ５０１とステップＳ５０２とは、図６に示すステップＳ１０１とステップＳ１０２と同じである。ステップＳ５０３では、接触検出プログラムが実行される。ステップＳ５０３では、第１の実施形態で説明した図９に示す接触検出のフローチャートにおけるステップＳ２０１からステップＳ２１３までの処理が実行される。このステップＳ５０３において、接触部分の接触面積と接触部分の入力位置または暫定位置とが決定される。ステップＳ５０７では、図２７に示す複数位置処理プログラム２５２のステップＳ６０１が実行される。ステップＳ６０１では、ステップＳ５０３で決定された複数の接触部分に関する複数の暫定位置に基づいて決定される１つの重心位置が、最終的な入力位置として決定される。決定された重心位置の座標値がメモリ６またはメモリ１０６に一時記憶される。
【０１２２】
暫定位置が１つのみで、ステップＳ５０３及びステップＳ５０４（ＮＯの場合）において、その１つの暫定位置が入力位置として決定された場合、ステップ５０８で決定された入力位置に応じた処理が決定される。また、ステップＳ５０４（ＹＥＳの場合）において、複数の暫定位置が存在し、その複数の暫定位置の中からステップＳ６０１で入力位置として決定された場合、ステップ６０１で決定された入力位置に応じた処理が決定される。決定された処理に関係する表示情報などがＨＤＤ８またはＨＤＤ１０８から読み出されて、読み出された表示情報に従って液晶ディスプレイ４または液晶ディスプレイ１０４が情報を表示する。
【０１２３】
＜変形例３＞
次に、第１の実施形態と第２の実施形態との変形例２における複数位置処理の変形例３について、添付図面を参照して以下に説明する。
【０１２４】
変形例３の電気的構成は、上記の変形例２と同様に、図４または図１８に示す電気的構成のいずれかの構成と同じ構成である。図２８は、ＨＤＤ３０８に記憶されているデータ及びプログラムを示す。ＨＤＤ３０８は、第１の実施形態または第２の実施形態と同様の情報及びプログラムを記憶している。さらに、変形例３では、ＨＤＤ３０８は、複数位置処理プログラム３５３と、表示位置情報３４７とを記憶している。複数位置処理プログラム３５３は、入力位置の候補である複数の暫定位置から最終的な入力位置を決定するためのプログラムである。表示位置情報３４７は、液晶ディスプレイ４または液晶ディスプレイ１０４により表示されている選択項目が透明フレーム３または透明フレーム１０３上に位置する選択項目表示位置の情報である。
【０１２５】
図２９は、第２の実施形態の変形例２における複数位置処理の変形例３の処理手順を示すフローチャートである。変形例３では、図３０に示すように、選択項目が液晶ディスプレイ４または液晶ディスプレイ１０４の画面に表示される。変形例３では、まず、ステップ７０１が実行される。ステップ７０１では、ステップ５０３で決定された複数の接触部分に関する複数の暫定位置と、透明フレーム３または透明フレーム１０３上での選択項目表示位置との比較が行われる。図３０を参照して、詳細に説明する。図１５に示すように、複数の接触部分に関する複数の暫定位置が、メモリ６またはメモリ１０６に記憶されていることから、接触位置１の座標値（１００，２５５）、接触位置２の座標値（３２０、１２８）、接触位置３の座標値（２９８、６５）といった透明フレーム３における接触部分の位置座標が読み出される。図３０で示すように、選択項目表示位置を表す表示位置情報３４７が、ＨＤＤ３０８から読み出される。Ｍｅｎｕ１の選択項目表示位置の座標値として、Ｘ座標の値が２０以上２８０以下、Ｙ座標の値が２４０以上３６０以下であるといった表示位置情報３４７がＨＤＤ３０８から読み出される。また、Ｍｅｎｕ２の選択項目表示位置の座標値として、Ｘ座標の値が３２０以上５８０以下、Ｙ座標の値が２４０以上３６０以下であるといった表示位置情報３４７が読み出される。Ｍｅｎｕ３の選択項目表示位置の座標値として、Ｘ座標の値が２０以上２８０以下、Ｙ座標の値が４０以上１６０以下であるといった表示位置情報３４７がＨＤＤ３０８から読み出される。Ｍｅｎｕ４の選択項目表示位置の座標値として、Ｘ座標の値が３２０以上５８０以下、Ｙ座標の値が４０以上１６０以下であるといった表示位置情報３４７がＨＤＤ３０８から読み出される。接触部分の位置座標と表示位置情報とを比較することにより、接触位置１がＭｅｎｕ１の位置と、接触位置２がＭｅｎｕ４の位置と一致していると決定される。接触位置３は、Ｍｅｎｕ１からＭｅｎｕ４のいずれにも一致しないと決定される。
【０１２６】
ステップＳ７０２では、前記暫定位置と前記選択項目表示位置とが一致した選択項目のみが、再度の入力が可能な選択項目として決定される。図３１及び図３２は、前記暫定位置と前記選択項目表示位置とが一致した選択項目のみが、再度の入力が可能な選択項目と決定されて画面に表示された２つの例を示す。図３１は、接触部分の暫定位置と透明フレーム３または透明フレーム１０３上の選択項目表示位置とが一致した選択項目であるＭｅｎｕ１とＭｅｎｕ４のみが、再度の入力が可能な選択項目として表示されている例を示している。また図３２は、接触部分の暫定位置と透明フレーム３または透明フレーム１０３上の選択項目表示位置とが一致しなかった選択項目の表示色が変えられ、再度の入力が不可能な選択項目として表示されている例を示している。
【０１２７】
ステップＳ７０３では、接触検出プログラム３４９が実行される。再度の入力が可能な選択項目のみがユーザの体の一部により接触される。接触部分の暫定位置と接触部分の面積が決定される。
【０１２８】
ステップＳ７０４では、接触位置が複数あるかが判定される。接触位置が複数ある場合はステップＳ７０１へ戻り、暫定位置が１つに決定されるとステップＳ５０８へ進む。ステップＳ７０４で暫定位置が１つに決定されるまで、ステップＳ７０１からＳステップ７０４の処理は繰り返される。
【０１２９】
＜変形例４＞
第１の実施形態または第２の実施形態の変形例２における複数位置処理の変形例４について説明する。接触部分における暫定位置が複数あると判定された場合、複数の暫定位置が全て入力位置と決定されても良い。複数の入力位置に対応する処理が全て実行される処理であっても良い。または、接触部分における暫定位置が複数あると判定された場合、接触がなかったとして処理を行っても良い。
【０１３０】
＜変形例５＞
第１の実施形態または第２の実施形態に、図２２に示すユーザ撮影モードが付け加えられても良い。
【０１３１】
＜変形例６＞
ＣＣＤカメラ７またはＣＣＤカメラ１０７は、カラー画像の撮影が可能なカメラ以外にモノクロ画像のみ撮影が可能なカメラでも良い。また、ＣＭＯＳカメラ、ビデオカメラ、スチールカメラや広角カメラなどが使用されても良い。
【０１３２】
＜変形例７＞
ＣＣＤカメラ７またはＣＣＤカメラ１０７は、図１または図１７に示す液晶ディスプレイ４または液晶ディスプレイ１０４の鉛直方向における上方位置以外の場所に設置される構成でも良い。例えば、図１における液晶ディスプレイ４の下方位置、図２における液晶ディスプレイ４の右方位置または左方位置に設置されても良い。図３３は、接触部分が撮影される際、鏡４０５による反射を利用する変形例を示す。鏡４０５を使用することにより、本明細書に記載した位置以外の位置にＣＣＤカメラ７またはＣＣＤカメラ１０７が設置されることも可能である。
【０１３３】
＜変形例８＞
サーボモータ９またはサーボモータ１０９の代わりに、ソレノイドによって角度が変更されても良い。
【０１３４】
＜変形例９＞
透明フレーム３または透明フレーム１０３の材料は、透明な材料であり、且つ、容易に様々な形状に加工が可能な材料であるならば何でも良い。たとえば、熱可塑性樹脂であるアクリル、ポリカーボネートは透明であり、かつ、様々な形状に成形し易いため本実施の形態の透明部材の材料として適している。ＰＥＴにより透明部材が作られることで安価に透明部材を作ることが可能となる。また、ガラスで作られても良い。本発明により接触を検出するために透明電極の蒸着が不要となる。そのため、プラスチックに代表される透明な熱可塑性樹脂全般が使用可能である。
【０１３５】
＜変形例１０＞
透明フレーム３または透明フレーム１０３は用途に応じて曲面以外の形状であっても良い。例えば、平面のみから構成される形状、平面と曲面の両方を有する形状から構成されても良い。
【０１３６】
＜変形例１１＞
表示部が液晶ディスプレイ以外でも良い。例えば、画像信号に従って映像を表示するＣＲＴディスプレイや、プラズマディスプレイ、有機ＥＬディスプレイを用いても良い。また、画像信号に従って映像を表示するディスプレイではなく、単に情報が印刷されている紙を用いて表示が行われても良い。上述したディスプレイにインターネットを介してＷｅｂ上の情報が表示されても良い。インターネットを用いることで、ディスプレイに表示可能な情報の種類が多くなる。
【０１３７】
＜変形例１２＞
第１の実施形態と第２の実施形態では、接触部分における暫定位置が１点に決定されている。暫定位置が１点に定められず、接触部分の全てが暫定位置または入力位置と決定されても良い。図３４は、１つの接触部分に対して、複数の入力位置が存在する例を示す。図３４は、選択項目であるＭｅｎｕ１とＭｅｎｕ２とが表示されている画面を示す。選択項目であるＭｅｎｕ１とＭｅｎｕ２との両者の上に、ユーザの体の一部により接触された楕円形状の接触部分が位置していることが、ＣＣＤカメラ７により撮影されている。接触部分の全てが入力位置と決定されるため、図３４に示す接触部分の全てが入力位置と決定される。そのため、選択項目のＭｅｎｕ１とＭｅｎｕ２との両方が接触されたと判別される。
【０１３８】
＜変形例１３＞
ステップＳ２１０で包含される図形は正方形や長方形以外の四角形でも良い。例えば、台形などでも良い。
【０１３９】
＜変形例１４＞
図９に示すＳステップ２１０における接触部分の暫定位置の決定は、接触面積の重心位置としてもよい。本明細書中における重心位置の座標値は、図８または図３０に示すように、Ｘ軸およびＹ軸の座標値により決定される。接触部分の重心位置の座標値は、接触部分に含まれる各画素の座標値のＸ座標の座標値の総和と、Ｙ座標の座標値の総和とを、接触部分に含まれる画素の総和、つまり本願明細書における接触部分の接触面積で割ることにより、求められる。本明細書における実施形態では、撮影した画像の最も左下の画素の位置が原点と定義されたが、左下に限定されるものではない。例えば、原点の位置は画像の最も右上、もしくは画像の中心位置を原点として任意に設定されても良い。また本実施形態では１画素を１座標値としているが、１画素を１座標値と限定されるものではない。例えば、２画素を１座標値のように適宜変更されても良い。１座標値が任意の画素数により決定されても良い。
【０１４０】
＜変形例１５＞
本明細書における図９に示す接触位置検出に関するフローチャートでは、ステップＳ２０４からステップＳ２０９の処理については全て実行されている。必要でなければステップＳ２０４とステップＳ２０５、ステップＳ２０６とステップＳ２０７、またはステップＳ２０８とステップＳ２０９の処理は、それぞれ実行されなくても良い。
【０１４１】
＜変形例１６＞
図１または図１７に示すようにＣＰＵ５またはＣＰＵ１０５、メモリ６またはメモリ１０６、ＨＤＤ８またはＨＤＤ１０８が本装置の全体フレーム２または全体フレーム１０２の内部に備えられていない構成でも良い。例えば、外部サーバに画像データを送信して、外部サーバに備えられているＣＰＵやメモリ、ＨＤＤを用いて処理が行われることも可能である。その場合、全体フレーム２または全体フレーム１０２の内部にインターネットを介して外部サーバに対してデータを送受信するための装置が必要となる。
【０１４２】
＜変形例１７＞
ＣＣＤカメラ７またはＣＣＤカメラ１０７により撮影が行われるタイミングは、明細書に記載してある実施形態及び変形例では１秒ごとである。撮影を行うタイミングは１秒ごとに限定されず、例えば０．１秒ごともしくは２秒ごとといった任意のタイミングにより撮影を行っても良い。
【０１４３】
＜変形例１８＞
本明細書における接触部分の大きさとして接触面積を用いている。接触部分の大きさとして、接触部分の形状を包含し、且つ、接触部分と接する長方形または正方形の４辺の長さを用いて決定しても良い。接触部分の形状の外周を接触部分の大きさとしても良い。
【０１４４】
＜変形例１９＞
本明細書における接触体として、長尺の部材の端に柔軟性のある素材を付けた専用のペンなどを用いても良い。
【０１４５】
＜変形例２０＞
本明細書における接触入力型の情報処理装置１、１０１、４０１は、表示部により表示される情報の選択（表示された情報に対応する処理の決定）と選択された情報に対応する処理の実行とを行っている。接触入力型の情報処理装置１、１０１、４０１は、表示部により表示される情報の選択のみを行い、選択された情報に対応する処理の実行を別の機器により実行される構成でも良い。例えば、接触入力型の情報処理装置と直接電気的に接続された別機器が処理を実行する構成でも良い。また、接触入力型の情報処理装置がインターネットに接続され、ネットワーク上に接続されている別機器により処理が実行される構成でも良い。
【図面の簡単な説明】
【０１４６】
【図１】第１の実施形態の情報処理装置の側面図である。
【図２】第１の実施形態の正面図である。
【図３】第１の実施形態におけるサーボモータ９によりＣＣＤカメラ７の角度を変化させる構成の一例を示す。
【図４】第１の実施形態の電気的構成を示すブロック図である。
【図５】第１の実施形態におけるＨＤＤ８の記憶内容の詳細を示す図である。
【図６】第１の実施形態におけるメイン動作を示すフローチャートである。
【図７】第１の実施形態における初期表示情報に従って液晶ディスプレイ４により表示される情報の一例を示す。
【図８】第１の実施形態における表示情報に従って液晶ディスプレイ４により表示される出題情報の一例を示す。
【図９】メイン動作の中で実施される接触検出動作の処理手順を示すフローチャートである。
【図１０】メイン動作の中で実施される処理決定動作の処理手順を示すフローチャートである。
【図１１】第１の実施形態における表示情報に従って液晶ディスプレイ４により表示される情報の一例を示す。
【図１２】接触検出動作を示す図９のフローチャートにおけるステップＳ２０４の背景除去を行う方法の一例を示す。
【図１３】接触検出動作を示す図９のフローチャートにおけるステップＳ２１０の接触面積の決定方法の一例を示す。
【図１４】接触検出動作を示す図９のフローチャートにおけるステップＳ２１０の接触位置を１点に決定する方法の一例を示す。
【図１５】接触検出動作を示す図９のフローチャートにおけるステップＳ２１０で決定される接触面積と接触位置とがメモリ５により記憶された一例を示す。
【図１６】第１の実施形態における表示情報に従って液晶ディスプレイ４により表示される正解情報の一例を示す。
【図１７】第２の実施形態の情報処理装置の側面図である。
【図１８】第２の実施形態の電気的構成を示すブロック図である。
【図１９】第２の実施形態におけるＨＤＤ１０８の記憶内容の詳細を示す図である。
【図２０】第２の実施形態におけるメイン動作を示すフローチャートである。
【図２１】第２の実施形態における初期表示情報に従って液晶ディスプレイ１０４により表示される人の顔情報の一例を示す。
【図２２】第２の実施形態におけるユーザ撮影モードの処理手順を示すフローチャートである。
【図２３】第２の実施形態における音声入出力処理の処理手順を示すフローチャートである。
【図２４】第１の実施形態または第２の実施形態における接触位置決定の変形例１のメイン動作を示すフローチャートである。
【図２５】上記変形例１におけるＨＤＤ２０８の記憶内容の詳細を示す図である。
【図２６】第１の実施形態または第２の実施形態における接触位置決定の変形例２におけるメイン動作を示すフローチャートである。
【図２７】上記変形例２における複数位置処理を示すフローチャートである。
【図２８】上記変形例２におけるＨＤＤ３０８の記憶内容の詳細を示す図である。
【図２９】変形例３の複数位置処理を示すフローチャートである。
【図３０】変形例３における選択項目の複数位置処理の方法の一例を示す。
【図３１】変形例３における選択項目の再度の入力が可能な選択項目を表示する方法の一例を示す。
【図３２】変形例３における選択項目の再度の入力が可能な選択項目を表示する方法の一例を示す。
【図３３】変形例７における鏡を用いることにより、ＣＣＤカメラ７またはＣＣＤカメラ１０７の配置位置を任意の位置に変更することが可能となる方法の一例を示す。
【図３４】変形例１２における１つの接触部分に対して複数の入力位置が決定される場合の一例を示す。
【符号の説明】
【０１４７】
１、１０１、４０１  接触入力型の情報処理装置
２、１０２、４０２  全体フレーム
３、１０３、４０３  透明フレーム
４、１０４、４０４  液晶ディスプレイ
５、１０５  ＣＰＵ
６、１０６  メモリ
７、１０７  ＣＣＤカメラ
８、１０８、２０８、３０８  ＨＤＤ
９、１０９  サーボモータ
１０、１１０、４０６  支持スタンド
１１  カム
１３、１１４  暫定位置
１４、１１５  入力位置
１５、１１６  接触面積
１２、３１、３２、３４、１１３  撮影画像データ
３３  差分画像データ
３５、３６  接触部分
３７  画素
３８  接触部分の画素
４１、１４１、２４１、３４１  プログラム
４２、１４２、２４２、３４２  色情報
４３、１４３、２４３、３４３  表示情報
４４、１４４、２４４、３４４  接触部分の大きさ情報
４５、１４７、２４７、３４８  メインプログラム
４６、１４８、２４８、３４９  接触検出プログラム
４７、１４９、２４９、３５０  処理決定プログラム
４８、１５２、２５３、３５４  接触部分色情報
４９、１５３、２５４、３５５  初期表示情報
１１１  音声入力装置
１１２  音声出力装置
１１７  音声入力情報
１４５、２４５、３４５  ユーザの顔情報
１４６、２４６、３４６  音声出力情報
１５０、２５０、３５１  ユーザ撮影モードプログラム
１５１、２５１、３５２  音声入出力プログラム
２５２、３５３  複数位置処理プログラム
３４７  表示位置情報
４０５  鏡
【図１】
0004670879.tif 000002
【図２】
0004670879.tif 000003
【図３】
0004670879.tif 000004
【図４】
0004670879.tif 000005
【図５】
0004670879.tif 000006
【図６】
0004670879.tif 000007
【図７】
0004670879.tif 000008
【図８】
0004670879.tif 000009
【図９】
0004670879.tif 000010
【図１０】
0004670879.tif 000011
【図１１】
0004670879.tif 000012
【図１２】
0004670879.tif 000013
【図１３】
0004670879.tif 000014
【図１４】
0004670879.tif 000015
【図１５】
0004670879.tif 000016
【図１６】
0004670879.tif 000017
【図１７】
0004670879.tif 000018
【図１８】
0004670879.tif 000019
【図１９】
0004670879.tif 000020
【図２０】
0004670879.tif 000021
【図２１】
0004670879.tif 000022
【図２２】
0004670879.tif 000023
【図２３】
0004670879.tif 000024
【図２４】
0004670879.tif 000025
【図２５】
0004670879.tif 000026
【図２６】
0004670879.tif 000027
【図２７】
0004670879.tif 000028
【図２８】
0004670879.tif 000029
【図２９】
0004670879.tif 000030
【図３０】
0004670879.tif 000031
【図３１】
0004670879.tif 000032
【図３２】
0004670879.tif 000033
【図３３】
0004670879.tif 000034
【図３４】
0004670879.tif 000035