(57)【特許請求の範囲】
【請求項１】
操作体による操作対象である対象物体の表面の法線ベクトルの変化に基づいて、前記対象物体に対する前記操作体の接触を判定する接触判定部
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
撮像画像に含まれる前記操作体及び前記対象物体を認識する物体認識処理部をさらに具備し、
前記接触判定部は、前記対象物体の、前記操作体の周囲における表面の法線ベクトルの変化に基づいて、前記対象物体に対する前記操作体の接触を判定する
情報処理装置。
【請求項３】
請求項１又は２に記載の情報処理装置であって、
前記接触判定部は、前記法線ベクトルの、前記操作体の方向への傾きに応じて前記対象物体に対する前記操作体の接触を判定する
情報処理装置。
【請求項４】
請求項１又は２に記載の情報処理装置であって、
前記接触判定部は、前記法線ベクトルの傾きの乱れに応じて前記対象物体に対する前記操作体の接触を判定する
情報処理装置。
【請求項５】
請求項１に記載の情報処理装置であって、
前記接触判定部による判定結果に基づいて、操作入力を制御する入力制御部
をさらに具備する情報処理装置。
【請求項６】
請求項５に記載の情報処理装置であって、
撮像画像に含まれる前記操作体及び前記対象物体を認識する物体認識処理部をさらに具備し、
前記入力制御部は、前記物体認識処理部によって認識された前記操作体の形状と、前記接触判定部による判定結果に基づいて、操作入力を制御する
情報処理装置。
【請求項７】
請求項５に記載の情報処理装置であって、
前記対象物体に重畳される操作対象画像を生成する画像出力部をさらに具備し、
前記入力制御部は、前記操作対象画像における前記操作体と前記対象物体の接触位置に基づいて操作入力を制御する
情報処理装置。
【請求項８】
請求項１に記載の情報処理装置であって、
前記接触判定部は、前記法線ベクトルの傾きが閾値を超えた場合に、前記対象物体に前記操作体が接触したと判定する
情報処理装置。
【請求項９】
請求項８に記載の情報処理装置であって、
撮像画像に含まれる前記操作体及び前記対象物体を認識する物体認識処理部をさらに具備し、
前記接触判定部は、前記対象物体の種類に応じて前記閾値を決定する
情報処理装置。
【請求項１０】
請求項９に記載の情報処理装置であって、
前記接触判定部は、さらに、前記対象物体の表面における位置に応じて前記閾値を決定する
情報処理装置。
【請求項１１】
請求項８から１０のうちいずれか一項に記載の情報処理装置であって、
前記接触判定部は、前記法線ベクトルの傾きが前記閾値より大きい場合、前記法線ベクトルの傾きの大きさに応じて、前記対象物体に対する前記操作体の接触の強さを算出する
情報処理装置。
【請求項１２】
請求項１に記載の情報処理装置であって、
撮像画像に含まれる前記操作体及び前記対象物体を認識する物体認識処理部をさらに具備し、
前記接触判定部は、前記対象物体が剛体である場合には前記撮像画像における色の変化に基づいて前記対象物体に対する前記操作体の接触を判定し、前記対象物体が剛体ではない場合には前記法線ベクトルの変化に基づいて前記対象物体に対する前記操作体の接触を判定する
情報処理装置。
【請求項１３】
請求項１から１２のうちいずれか一項に記載の情報処理装置であって、
前記接触判定部は、前記対象物体と前記操作体の距離が所定値以下の場合に、前記法線ベクトルの変化に基づいて前記対象物体に対する前記操作体の接触を判定する
情報処理装置。
【請求項１４】
請求項１から１３のうちいずれか一項に記載の情報処理装置であって、
前記接触判定部は、偏光イメージングにより撮像された撮像画像から前記法線ベクトルを検出する
情報処理装置。
【請求項１５】
操作体による操作対象である対象物体の表面の法線ベクトルの変化に基づいて、前記対象物体に対する前記操作体の接触を判定する接触判定部
として情報処理装置を動作させるプログラム。
【請求項１６】
接触判定部が、操作体による操作対象である対象物体の表面の法線ベクトルの変化に基づいて、前記対象物体に対する前記操作体の接触を判定する
情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、接触検出が可能な情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、情報処理機器の利用形態の多様化に伴い、新たなＵＩ（ユーザーインターフェース）が検討されている。例えば、ヘッドマウントディスプレイにアイコンを表示して対象物体（手のひらや机等）に投影し、操作体（指やスタイラス等）で投影されたアイコンにタッチすると、アイコンの選択が入力される技術が開発されている。【０００３】
対象物体に対する操作体の接触は、ステレオカメラや３Ｄセンサ等が用いられる。ＵＩは、対象物体と操作体を認識し、ステレオカメラや３Ｄセンサ等から取得した三次元情報に基づいて操作体の位置と対象物体の平面形状を検出する。ＵＩは対象物体と操作体の距離が一定値以下になると、接触と判定することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−７０４９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のような手法では、接触検出のためにステレオカメラや３Ｄセンサ等の検出手段が必要であり、デバイスの大型化や電力消費の増加、コストの増加といった問題がある。また、ステレオカメラや３Ｄセンサの特性上、太陽光下では利用が困難である。さらに、操作体が対象物体に接近し、接触していない場合も接触と判定され、ユーザの意図しない入力がなされてしまうおそれがある。【０００６】
以上のような事情に鑑み、本技術の目的は、本技術の目的は、低コストで高精度に接触検出を行うことが可能な情報処理装置、情報処理方法及びプログラムを提供することにある。
を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、接触判定部を具備する。
上記接触判定部は、操作体による操作対象である対象物体の表面の法線ベクトルの変化に基づいて、上記対象物体に対する上記操作体の接触を判定する。【０００８】
法線ベクトルは、物体表面に垂直な方向を向くベクトルである。対象物体に対して操作体が接触すると、対象物体の表面は操作体の接触によって変形し、法線ベクトルが変化する。このため、上記構成によれば、法線ベクトルの変化を検出することによって、対象物体に対する操作体の接触を判定することが可能である。【０００９】
上記情報処理装置は、撮像画像に含まれる上記操作体及び上記対象物体を認識する物体認識処理部をさらに具備し、
上記接触判定部は、上記対象物体の、上記操作体の周囲における表面の法線ベクトルの変化に基づいて、上記対象物体に対する上記操作体の接触を判定してもよい。【００１０】
この構成によれば、接触判定部は、対象物体の表面のうち、操作体が接触する可能性が高い領域の法線ベクトルのみを接触の判定に利用するため、法線ベクトルの変化を算出するための演算量を低減すると共に誤検出を防止することが可能である。【００１１】
上記接触判定部は、上記法線ベクトルの、上記操作体の方向への傾きに応じて上記対象物体に対する上記操作体の接触を判定してもよい。【００１２】
対象物体が、操作体による押圧によって陥没を生じる物体（手のひら等）である場合には、操作体の接触によって法線ベクトルは操作体の方向へ傾く。このため、接触判定部は、法線ベクトルの操作体の方向への傾きを接触の判定に利用することが可能である。【００１３】
上記接触判定部は、上記法線ベクトルの傾きの乱れに応じて上記対象物体に対する上記操作体の接触を判定してもよい。【００１４】
対象物体が、操作体による押圧によって皺を生じる物体（手の甲等）である場合には、操作体の接触によって法線ベクトルが乱れ、種々の方向へ傾く。このため、接触判定部は、法線ベクトルの傾きの乱れを接触の判定に利用することが可能である。【００１５】
上記情報処理装置は、上記接触判定部による判定結果に基づいて、操作入力を制御する入力制御部をさらに具備していてもよい。【００１６】
入力制御部は、接触判定部によって操作体と対象物体の接触が判定されると、接触位置や接触の数に応じて操作入力として受け付け、ＯＳ等に供給するものとすることが可能である。【００１７】
上記情報処理装置は、撮像画像に含まれる上記操作体及び上記対象物体を認識する物体認識処理部をさらに具備し、
上記入力制御部は、上記物体認識処理部によって認識された上記操作体の形状と、上記接触判定部による判定結果に基づいて、操作入力を制御してもよい。【００１８】
物体認識処理部が操作体の形状（例えばピンチ操作の際の指の形状）を認識し、入力制御部に供給することにより、入力制御部は、操作体の形状に応じた操作入力を受け付けるものとすることができる。【００１９】
上記情報処理装置は、上記対象物体に重畳される操作対象画像を生成する画像出力部をさらに具備し、
上記入力制御部は、上記操作対象画像における上記操作体と上記対象物体の接触位置に基づいて操作入力を制御してもよい。【００２０】
画像出力部はヘッドマウントディスプレイやプロジェクタ等に表示され、対象物体に重畳される操作対象画像を生成する。入力制御部は、操作対象画像における接触位置と、対象物体に対する操作対象画像の重畳位置に基づいて、操作対象画像と接触位置の位置関係を算出し、接触位置に重畳された操作対象画像の内容（アイコン等）に応じた操作入力を受け付けるものとすることができる。【００２１】
上記接触判定部は、上記法線ベクトルの傾きが閾値を超えた場合に、上記対象物体に上記操作体が接触したと判定してもよい。【００２２】
この構成によれば、閾値によって、接触の検出精度を調整することが可能である。【００２３】
上記情報処理装置は、撮像画像に含まれる上記操作体及び上記対象物体を認識する物体認識処理部をさらに具備し、
上記接触判定部は、上記対象物体の種類に応じて上記閾値を決定してもよい。【００２４】
この構成によれば、接触判定部は、対象物体の種類に応じて適切な閾値によって接触を判定することが可能である。例えば、対象物体が硬いものであれば閾値を小さくし、対象物体が柔らかいものであれば閾値を大きくすることができる。【００２５】
上記接触判定部は、上記対象物体の表面における位置に応じて上記閾値を決定してもよい。【００２６】
例えば、対象物体が手のひらの場合等には、同じ押圧力によって押圧しても位置によって陥没の度合いが異なる。このため、上記構成によれば、対象物体の位置に応じて適切な閾値によって接触を判定することが可能である。【００２７】
上記接触判定部は、上記法線ベクトルの傾きが上記閾値より大きい場合、上記法線ベクトルの傾きの大きさに応じて、上記対象物体に対する上記操作体の接触の強さを算出してもよい。【００２８】
対象物体に対する操作体の接触による対象物体の変形の程度は、その接触の押圧力に応じて大きくなる。このため、上記構成によれば、対象物体に対する操作体の接触のみならず、対象物体に対する操作体の押圧力を算出することが可能である。【００２９】
上記情報処理装置は、撮像画像に含まれる上記操作体及び上記対象物体を認識する物体認識処理部をさらに具備し、
上記接触判定部は、上記対象物体が剛体である場合には上記撮像画像における色の変化に基づいて上記対象物体に対する上記操作体の接触を判定し、上記対象物体が剛体ではない場合には上記法線ベクトルの変化に基づいて上記対象物体に対する上記操作体の接触を判定してもよい。【００３０】
対象物体が剛体であり、操作体の接触によって変形を生じない物体である場合には、接触判定部は、撮像画像における色の変化を利用して接触を判定することが可能である。例えば、指先の血色は、指が物体に押圧されると変化するため、接触判定部はこのような色の変化を利用して接触を判定することができる。【００３１】
上記接触判定部は、上記対象物体と上記操作体の距離が所定値以下の場合に、上記法線ベクトルの変化に基づいて上記対象物体に対する上記操作体の接触を判定してもよい。【００３２】
接触判定部が対象物体と操作体の距離が所定値以下の場合に、画像における色の変化に基づいて接触を判定することにより、接触の可能性が高い場合にのみ、接触の判定を行うことが可能である。象物体と操作体の距離は、赤外線の投影パターン等を利用してセンサと物体の距離を測定するデプスセンサによって取得することが可能である。【００３３】
上記接触判定部は、偏光イメージングにより撮像された撮像画像から上記法線ベクトルを検出してもよい。【００３４】
偏光イメージングは、偏光方向が異なる偏光フィルタが各画素に設けられたカメラによって実現され、その撮像画像から法線ベクトルを検出することが可能である。【００３５】
上記目的を達成するため、本技術の一形態に係るプログラムは、接触判定部として情報処理装置を動作させる。
上記接触判定部は、操作体による操作対象である対象物体の表面の法線ベクトルの変化に基づいて、上記対象物体に対する上記操作体の接触を判定する。【００３６】
上記目的を達成するため、本技術の一形態に係る情報処理方法は、接触判定部が、操作体による操作対象である対象物体の表面の法線ベクトルの変化に基づいて、上記対象物体に対する上記操作体の接触を判定する。
【発明の効果】
【００３７】
以上のように、本技術によれば、低コストで高精度に接触検出を行うことが可能な情報処理装置、情報処理方法及びプログラムを提供することが可能である。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００３８】
【図１】本技術の第１の実施形態に係る情報処理装置の構成を示す模式図である。
【図２】対象物体に重畳された、同情報処理装置の画像出力部によって生成された操作用画像を示す模式図である。
【図３】対象物体に重畳された、同情報処理装置の画像出力部によって生成された操作用画像を示す模式図である。
【図４】対象物体に重畳された、同情報処理装置の画像出力部によって生成された操作用画像を示す模式図である。
【図５】同情報処理装置のハードウェア構成を示す模式図である。
【図６】同情報処理装置の動作を示すフローチャートである。
【図７】操作体が接触していない状態の対象物体における法線ベクトルを示す模式図である。
【図８】操作体が接触している状態の対象物体における法線ベクトルを示す模式図である。
【図９】操作体が接触している状態の対象物体における法線ベクトルを示す模式図である。
【図１０】同情報処理装置の動作を示すフローチャートである。
【図１１】同情報処理装置の動作を示すフローチャートである。
【図１２】同情報処理装置の動作を示すフローチャートである。
【図１３】操作体の形状を示す模式図である
【図１４】操作体による操作入力の態様を示す模式図である。
【図１５】本技術の第２の実施形態に係る情報処理装置の構成を示す模式図である。
【図１６】同情報処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００３９】
［第１の実施形態］
本技術の第１の実施形態に係る情報処理装置について説明する。
【００４０】
（情報処理装置の構成）
図１は、本技術の第１の実施形態に係る情報処理装置１００の機能的構成を示す模式図である。同図に示すように、情報処理装置１００は、音声入力部１０１、音声認識処理部１０２、画像入力部１０３、物体認識処理部１０４、接触判定部１０５、入力制御部１０６及び画像出力部１０７を備える。
【００４１】
同図に示すように、情報処理装置１００は、アイウェア１０に接続されているものとすることができる。また、情報処理装置１００は、アイウェア１０に搭載されていてもよい。アイウェア１０は、ディスプレイ１１、カメラ１２及び図示しないマイクロフォンを備える。ディスプレイ１１は透過型のＨＭＤ（Head Mounted Display）とすることができる。
【００４２】
カメラ１２は、偏光イメージングが可能なカメラであるものとすることができる。具体的には、カメラ１２は、各画素に偏光方向を９０度ずらした４種の偏光フィルムが貼付されて構成されているものとすることができる。偏光方向が異なる各画素の受光強度をフーリエ変換することにより、無偏光成分強度、偏光主軸方向、偏光成分強度を取り出し、主軸方向から方位角を、強度から天頂角を求めることにより撮像された物体の表面の法線方向（後述）を得ることが可能となる。また、情報処理装置１００は、カメラ１２の他に、通常のカメラを備えていてもよい。
【００４３】
音声入力部１０１はアイウェア１０のマイクロフォンに接続され、マイクロフォンによって集音された音声の音声信号が入力される。音声入力部１０１は、取得した音声信号を音声認識処理部１０２に出力する。
【００４４】
音声認識処理部１０２は、音声入力部１０１から供給された音声信号に対して音声認識処理を施し、ユーザによる操作音声を認識する。音声認識処理部１０２は、操作音声が認識されれば、認識結果を入力制御部１０６に供給する。
【００４５】
画像入力部１０３はカメラ１２に接続され、カメラ１２によって撮像された画像（動画）が入力される。カメラ１２によって撮像された画像は上記のように偏光イメージングにより撮像された画像である。画像入力部１０３は、取得した画像（以下、取得画像）を物体認識処理部１０４に供給する。
【００４６】
物体認識処理部１０４は、画像入力部１０３から供給された取得画像と、物体検出辞書Ｄに格納されている情報を照合し、物体を認識する。物体認識処理部１０４は、後述する操作体や対象物体等の物体を認識するものとすることができる。物体認識処理部１０４は取得画像及び物体認識結果を接触判定部１０５に供給する。物体検出辞書Ｄは情報処理装置１００に格納されていてもよく、物体認識処理部１０４がネットワーク等から取得してもよい。
【００４７】
接触判定部１０５は、物体認識処理部１０４から供給された取得画像に対して、物体認識結果及び接触判定閾値Ｔを利用して、接触判定を行う。この処理の詳細については後述する。接触判定部１０５は、判定結果を入力制御部１０６に供給する。接触判定閾値Ｔは、情報処理装置１００に格納されていてもよく、接触判定部１０５がネットワーク等から取得してもよい。
【００４８】
入力制御部１０６は、音声認識処理部１０２による認識結果又は接触判定部１０５による判定結果に基づいて、ユーザによる操作入力を制御する。具体的には入力制御部１０６は、対象物体に対する操作体の接触位置や押圧力、押圧方向、接触後の操作体の移動等からタッチやマルチタッチ、ドラッグ、ピンチ等の操作入力として受け付ける。入力制御部１０６は、受け付けた操作入力を情報処理装置１００のＯＳ等に供給する。
【００４９】
画像出力部１０７は、ディスプレイ１１に表示される画像（動画）を生成する。画像出力部１０７は、アイコンや操作ボタンを含む操作用画像を生成するものとすることができる。上記のようにディスプレイ１１は透過型のＨＭＤであり、ユーザはディスプレイ１１に表示された映像と現実の物体が重畳された視界を視認する。
【００５０】
図２に、ディスプレイ１１を介したユーザの視界を模式的に示す。ユーザの視界には、ユーザの手のひらＨとユーザの指Ｙ、ディスプレイ１１に表示された操作用画像Ｇが含まれている。操作用画像ＧにはアイコンＰが含まれている。ユーザが、指Ｙによって手のひらＨのアイコンＰが重畳されている箇所をタッチすると、情報処理装置１００によってアイコンＰの選択が受け付けられる。
【００５１】
操作用画像Ｇが重畳されるのは手のひらに限られない。図３は、操作用画像Ｇが雑誌Ｚに重畳されている様子を示す模式図である。同図に示すように、ユーザが指Ｙによって雑誌Ｚ上のアイコンＰが重畳されている箇所をタッチすると、情報処理装置１００によってアイコンＰの選択が受け付けられる。また、ユーザは、スタイラス等の指以外のものによってアイコンＰを指示することも可能である。以下、操作用画像Ｇが投影され、ユーザによって操作される物体（手のひらＨや雑誌Ｚ等）を対象物体とし、対象物体に接触し、アイコンＰ等を操作する物体（指Ｙやスタイラス）を操作体とする。即ち、情報処理装置１００は、対象物体に対する操作体の接触を検出し、その接触に応じて操作入力を受け付ける。
【００５２】
アイウェア１０の構成は上記のものに限られない。図４は、カメラ１２がアイウェア１０とは独立して設けられている状態を示す。操作用画像Ｇはディスプレイ１１に表示され、雑誌Ｚに重畳されている。カメラ１２は、アイウェア１０とは別の位置（例えば雑誌Ｚの上方）に設けられ、画像入力部１０３に接続されている。
【００５３】
また、情報処理装置１００はアイウェア１０とは異なる画像投影装置に接続されていてもよい。例えば、机上や壁面に映像を投影することが可能であり、かつ投影面を撮像することが可能なカメラを備えるプロジェクタに接続されていてもよい。この場合、画像出力部１０７は、プロジェクタの画像投影機構に接続され、対象物体（机や壁）に映像を投影する。画像入力部１０３はカメラに接続され、対象物体及び投影画像を含む画像を取得する。この他にも情報処理装置１００は、対象物体に映像を表示又は投影することが可能であって、対象物体を撮像することが可能なカメラを備える装置に接続されるものとすることが可能である。
【００５４】
上述のような情報処理装置１００の機能的構成はアイウェアやプロジェクタ等の画像投影装置に接続又は内蔵されていてもよく、画像投影装置とは別のＰＣやスマートフォン等に搭載されていてもよい。また機能的構成の一部又は全部は、ネットワーク上に構成されていてもよい。
【００５５】
図５は、情報処理装置１００のハードウェア構成を示す模式図である。上述した情報処理装置１００の構成は、図５に示すハードウェア構成とプログラムの共働によって実現される機能的構成である。
【００５６】
図５に示すように、情報処理装置１００はハードウェア構成として、ＣＰＵ１２１、メモリ１２２、ストレージ１２３及び入出力ＩＦ１２４を有する。これらはバス１２５によって互いに接続されている。
【００５７】
ＣＰＵ（Central Processing Unit）１２１は、メモリ１２２に格納されたプログラムに従って他の構成を制御すると共に、プログラムに従ってデータ処理を行い、処理結果をメモリ１２２に格納する。ＣＰＵ１２１はマイクロプロセッサであるものとすることができる。
【００５８】
メモリ１２２はＣＰＵ１２１によって実行されるプログラム及びデータを格納する。メモリ１２２はＲＡＭ（Random Access Memory）であるものとすることができる。
【００５９】
ストレージ１２３は、プログラムやデータを格納する。ストレージ１２３はＨＤＤ（Hard disk drive）やＳＳＤ（solid state drive）であり、上述した物体検出辞書Ｄや接触判定閾値Ｔを記憶するものとすることができる。
【００６０】
入出力ＩＦ（インターフェース）１２４は情報処理装置１００に対する入力を受け付け、また情報処理装置１００の出力をディスプレイ１１等に供給する。入出力ＩＦ１２４は、マウスやタッチパネル等の入力機器やディスプレイ１１等の出力機器、ネットワーク等の接続インターフェースを含む。上述のように情報処理装置１００は、画像入力部１０３が取得した画像に基づいてユーザの操作入力を受け付けることが可能であり、この場合入出力ＩＦ１２４を介することなく、入力が受け付けられる。画像出力部１０７によって生成された画像は、入出力ＩＦ１２４を介してディスプレイ１１に出力され、表示される。
【００６１】
情報処理装置１００のハードウェア構成はここに示すものに限られず、上記情報処理装置１００の機能的構成を実現できるものであればよい。
【００６２】
（情報処理装置の接触判定動作）
情報処理装置１００の動作について説明する。図６は情報処理装置１００の動作を示すフローチャートである。上記のようにカメラ１２によって画像が撮像され、画像入力部１０３はその画像（取得画像）を取得する。画像入力部１０３は取得画像を物体認識処理部１０４に供給する。
【００６３】
物体認識処理部１０４は、対象物体を認識する（Ｓｔ１０１）。物体認識処理部１０４は、画像入力部１０３から取得した取得画像と物体検出辞書Ｄを照合することによって対象物体を認識する。これにより、例えば取得画像に手のひらや雑誌等が含まれていれば、対象物体として認識される。
【００６４】
取得画像において対象物体が認識された場合（Ｓｔ１０２：Ｙｅｓ）、画像出力部１０７は、操作用画像Ｇ（図２参照）をディスプレイ１１に供給し、表示させる（Ｓｔ１０３）。取得画像において対象物体が認識されない場合（Ｓｔ１０２：Ｎｏ）、物体認識処理部１０４による対象物体の認識（Ｓｔ１０１）が再び実行される。
【００６５】
続いて、物体認識処理部１０４は、操作体を認識する（Ｓｔ１０４）。物体認識処理部１０４は、取得画像と物体検出辞書Ｄを照合することによって操作体を認識する。これにより、例えば取得画像に指やスタイラス等が含まれていれば、操作体として認識される。なお、物体認識処理部１０４は、複数の操作体を認識してもよい。
【００６６】
取得画像において操作体が認識された場合（Ｓｔ１０５：Ｙｅｓ）、接触判定部１０５は、取得画像に含まれる対象物体の表面における法線ベクトルの方向（以下、法線方向）を算出する（Ｓｔ１０６）。取得画像において操作体が認識されない場合（Ｓｔ１０５：Ｎｏ）、物体認識処理部１０４による対象物体の認識（Ｓｔ１０１）が再び実行される。
【００６７】
図７及び図８は、対象物体の表面における法線ベクトルＢを示す模式図である。図７は、対象物体（手のひらＨ）に操作体（指Ｙ）が接触していない状態を示し、図７（ａ）は平面図、図７（ｂ）は側面図である。同図に示すように、接触判定部１０５は、手の平Ｈの表面において法線ベクトルＢを検出する。法線ベクトルは、物体の面に垂直なベクトルであり、その大きさは１である。上記のように、カメラ１２は偏光イメージングが可能なカメラであり、接触判定部１０５はカメラ１２によって撮像された取得画像から、法線ベクトルＢを検出することができる。
【００６８】
図８は、対象物体（手のひらＨ）に操作体（指Ｙ）が接触している状態を示し、図８（ａ）は平面図、図８（ｂ）は側面図である。同図に示すように、指Ｙが手のひらＨに接触し、手のひらＨを押圧すると、手のひらＨの表面は陥没する。これにより、手のひらＨの表面において検出される法線ベクトルＢは、指Ｙの方向に傾く。
【００６９】
接触判定部１０５は、このような対象物体に対する操作体の接触による法線ベクトルＢの変化に基づいて、接触を検出する。具体的には接触判定部１０５は、法線ベクトルＢの方向（以下、法線方向）の傾きが接触判定閾値Ｔを超えると、指Ｙが手の平Ｈに接触していると判定することができる（Ｓｔ１０７：Ｙｅｓ）。接触判定部１０５は法線方向の変化が生じた法線ベクトルＢのうち、その傾きが最大の法線ベクトルＢの傾きと接触判定閾値Ｔを比較してもよく、傾きが生じた法線ベクトルＢの傾きの平均値と接触判定閾値Ｔを比較してもよい。また、接触判定部１０５は、法線方向の傾きが接触判定閾値Ｔより小さいと、指Ｙが手の平Ｈに接触していないと判定することができる（Ｓｔ１０７：Ｎｏ）。
【００７０】
ここで、接触判定部１０５は、指Ｙの方向への法線方向の傾きが接触判定閾値Ｔを超えた場合にのみ、指Ｙが手の平Ｈに接触していると判定してもよい。法線方向の傾きが大きくても、その方向が指Ｙの方向ではない場合、指Ｙの接触とは別の理由によって法線方向の傾きが生じているおそれがあるためである。即ち、指Ｙの方向への法線方向の傾きのみを接触の判定に利用することにより、検出精度を向上させることが可能である。
【００７１】
また、接触判定部１０５は、法線方向の乱れに応じて対象物体への操作体の接触を検出してもよい。図９は、対象物体である手の甲Ｋと操作体である指Ｙを示す模式図である。同図に示すように、対象物体が手の甲である場合、操作体が接触すると、手の平とは異なり表面が陥没せず、皺が発生する。接触判定部１０５は、このような皺の発生を法線方向の乱れから検出することができる。具体的には接触判定部１０５は、いずれかの方向への法線方向の傾きが接触判定閾値Ｔを超えた場合に、指Ｙが手の甲Ｋに接触していると判定することができる。
【００７２】
接触判定部１０５は、物体認識処理部１０４による認識結果を利用して、どのような法線ベクトルの変化を判定に利用するかを決定することができる。例えば接触判定部１０５は、物体認識処理部１０４によって手の平Ｈのような押圧によって陥没を生じる物体が検出された場合には、操作体の方向への法線方向の傾きを判定に利用することができる。また、接触判定部１０５は、物体認識処理部１０４によって手の甲Ｋのような押圧によって皺を生じる物体が検出された場合には、いずれかの方向への法線方向の傾きを判定に利用することができる。
【００７３】
接触判定閾値Ｔは、一定値であってもよいが、接触判定部１０５が物体認識処理部１０４による対象物体の認識結果を利用して決定してもよい。具体的には接触判定部１０５は、対象物体の種類に応じて設定された接触判定閾値Ｔを利用することができる。また、接触判定部１０５は、対象物体の種類に応じて接触判定閾値Ｔを調整してもよい。例えば接触判定部１０５は、対象物体が操作体の押圧によって大きく変形する物体であれば大きい値を接触判定閾値Ｔとし、大きく変形しない物体であれば小さい値を接触判定閾値Ｔとすることができる。
【００７４】
また、接触判定部１０５は、対象物体への操作体の押圧による陥没の程度、即ち法線方向の傾きの程度に応じて接触判定閾値Ｔを調整してもよく、対象物体に対する操作体の接触位置に応じて接触判定閾値Ｔを調整してもよい。例えば、手のひらを指で押圧した場合においても手のひらの中央付近は陥没が大きく、指の付け根付近は陥没が小さい。このため、接触判定部１０５が適切な値を接触判定閾値Ｔとして利用することにより、対象物体に対する操作体の接触をより精確に判定することが可能である。
【００７５】
なお、接触判定部１０５は、対象物体の全ての表面における法線ベクトルを検出しなくてもよく、対象物体の表面のうち、物体認識処理部１０４によって認識された操作体の周囲においてのみ法線ベクトルを検出し、接触の判定に利用してもよい。これにより、法線方向の変化を追跡する法線ベクトルの数を限定し、演算量を低減すると共に誤検出を防止することができる。
【００７６】
接触判定部１０５が、操作体が対象物体に接触していないと判定した場合（Ｓｔ１０７：Ｎｏ）、物体認識処理部１０４による対象物体の認識（Ｓｔ１０１）が再び実行される。
【００７７】
接触判定部１０５は、操作体による対象物体への接触を判定した場合、取得画像に対する接触位置を入力制御部１０６に供給する。入力制御部１０６は、操作用画像Ｇに表示されたアイコンＰの位置と、接触判定部１０５から供給された接触位置に基づいて、操作入力を制御する。入力制御部１０６は、例えば、接触位置に重畳されているアイコンＰが選択されたものとすることができる。
【００７８】
情報処理装置１００は以上のような動作を行う。上記のように、偏光イメージングが可能なカメラ１２によって撮像された画像を利用して対象物体に対する操作体の接触を検出することが可能であるため、カメラ１２の他に接触を検出するためのセンサが不要である。このため、接触検出システムの小型化、低コスト化が実現可能である。また、接触の検出に赤外線等を利用しないため、屋外利用が可能である。
【００７９】
さらに、情報処理装置１００は、対象物体に対する操作体の接触によって生じる法線ベクトルの変化を利用して接触を検出する。このため、情報処理装置１００は操作体が対象物体に接近し、あるいはわずかに接触している場合は接触として検出せず、操作体が対象物体に確実に接触している場合のみを接触として検出する。このため、対象物体に対する操作体の接触を高精度に検出することが可能である。
【００８０】
なお、上記説明では、操作体が指である場合について説明したが、操作体は指に限られず、スタイラス等であってもよい。また、対象物体も手のひらに限られず、操作体の接触によって表面形状が変化するものであればよい。
【００８１】
また、物体認識処理部１０４は、取得画像を物体検出辞書Ｄと照合し、物体（対象物体及び操作体）を認識するものとしたが、これに限られない。例えば、取得画像が一定時間にわたって一様であるときに、何らかの物体が取得画像（即ち、カメラの撮像範囲）中に進入した場合、当該物体が操作体であると認識してもよい。
【００８２】
（対象物体の種類に応じた情報処理装置の接触判定動作）
情報処理装置１００の別の動作について説明する。図１０は情報処理装置１００の別の動作を示すフローチャートである。なお、情報処理装置１００と接続されるアイウェア１０（又は他の装置）には、デプス情報の取得か可能なデプスセンサが設けられているものとすることができる。デプス情報は、物体とデプスセンサの間の距離情報である。上記のようにカメラ１２によって画像が撮像され、画像入力部１０３がその画像（取得画像）を取得する。画像入力部１０３は取得画像を物体認識処理部１０４に供給する。
【００８３】
物体認識処理部１０４は、対象物体を認識する（Ｓｔ１１１）。物体認識処理部１０４は、画像入力部１０３から取得画像と物体検出辞書Ｄを照合することによって対象物体を認識することができる。
【００８４】
取得画像において対象物体が認識された場合（Ｓｔ１１２：Ｙｅｓ）、画像出力部１０７は、操作用画像Ｇ（図２参照）をディスプレイ１１に供給し、表示させる（Ｓｔ１１３）。取得画像において対象物体が認識されない場合（Ｓｔ１１２：Ｎｏ）、物体認識処理部１０４による対象物体の認識（Ｓｔ１１１）が再び実行される。
【００８５】
続いて、物体認識処理部１０４は、操作体を認識する（Ｓｔ１１４）。物体認識処理部１０４は、取得画像と物体検出辞書Ｄを照合することによって操作体を認識することができる。
【００８６】
続いて、物体認識処理部１０４は、対象物体が剛体であるか否かを判断する（Ｓｔ１１６）。「剛体」は、他の物体の接触によって変形が生じない物体を意味し、例えば机等である。手のひらや雑誌は剛体ではないと判断される。
【００８７】
物体認識処理部１０４が、対象物体が剛体ではないと判断した場合（Ｓｔ１１６：Ｎｏ）、接触判定部１０５は上記のように取得画像から対象物体表面の法線方向を算出する（Ｓｔ１１７）。接触判定部１０５は、法線方向の傾きが接触判定閾値Ｔを超えた場合（Ｓｔ１１８：Ｙｅｓ）、接触と判定し（Ｓｔ１１９）、法線方向の傾きが接触判定閾値Ｔより小さい場合（Ｓｔ１１８：Ｎｏ）、接触と判定せず、物体認識処理部１０４による対象物体の認識（Ｓｔ１１１）が再び実行される。
【００８８】
一方、物体認識処理部１０４が、対象物体が剛体であると判断した場合（Ｓｔ１１６：Ｙｅｓ）、対象物体への操作体の接触によっても法線方向は変化しないため、接触の検出に法線方向を利用することができない。このため、接触判定部１０５は、法線方向を利用せずに接触を判定するものとすることができる
【００８９】
具体的には、接触判定部１０５は、対象物体と操作体の距離を算出する（Ｓｔ１２０）。対象物体と操作体の距離は、デプスセンサから供給されたデプス情報を利用して算出することが可能である。接触判定部１０５は、対象物体と操作体の距離が一定値以下となった場合（Ｓｔ１２１：Ｙｅｓ）、接触と判定する（Ｓｔ１１９）。対象物体と操作体の距離が一定値以下とならない場合（Ｓｔ１２１：Ｎｏ）、物体認識処理部１０４による対象物体の認識（Ｓｔ１１１）が再び実行される。
【００９０】
情報処理装置１００は以上のような動作を行うことも可能である。対象物体が剛体であり、法線方向を利用した接触の判定ができない場合であっても、接触の判定が可能である。なお、上記説明において接触判定部１０５は、対象物体が剛体である場合、デプス情報を利用して対象物体に対する操作体の接触を検出するものとしたが、他の方法によって接触を検出してもよい。
【００９１】
例えば、指先の血色は、指が物体に押圧されると変化する。例えば指が物体に触れていない場合には、爪を介して見える指先の血色はピンク色であるが、指が物体に押圧されると、指の先端が白色に変化する。接触判定部１０５は、このような指先の血色の変化を、予め定められたパターンと比較することにより、指の対象物体への接触を検出することが可能である。また、接触判定部１０５は、操作体が対象物体に押圧されると色の変化を生じる物体であれば、指先の血色と同様にして色の変化に基づいて接触を検出することができる。
【００９２】
（デプス情報の利用と組み合わせた情報処理装置の接触判定動作）
情報処理装置１００の別の動作について説明する。なお、情報処理装置１００と接続されるアイウェア１０（又は他の装置）には、デプス情報の取得が可能なデプスセンサが設けられている。
【００９３】
図１１は情報処理装置１００の別の動作を示すフローチャートである。上記のようにカメラ１２によって画像が撮像され、画像入力部１０３がその画像（取得画像）を取得する。画像入力部１０３は取得画像を物体認識処理部１０４に供給する。
【００９４】
物体認識処理部１０４は、対象物体を認識する（Ｓｔ１３１）。物体認識処理部１０４は、画像入力部１０３から取得した取得画像と物体検出辞書Ｄを照合することによって対象物体を認識することができる。
【００９５】
取得画像において対象物体が認識された場合（Ｓｔ１３２：Ｙｅｓ）、画像出力部１０７は、操作用画像Ｇ（図２参照）をディスプレイ１１に供給し、表示させる（Ｓｔ１３３）。取得画像において対象物体が認識されない場合（Ｓｔ１３２：Ｎｏ）、物体認識処理部１０４による対象物体の認識（Ｓｔ１３１）が再び実行される。
【００９６】
続いて、物体認識処理部１０４は、操作体を認識する（Ｓｔ１３４）。物体認識処理部１０４は、取得画像と物体検出辞書Ｄを照合することによって操作体を認識することができる。なお、物体認識処理部１０４は、複数の操作体を認識してもよい。
【００９７】
取得画像において操作体が認識された場合（Ｓｔ１３５：Ｙｅｓ）、接触判定部１０５は、デプス情報を利用して操作体と対象物体の間の距離を算出する（Ｓｔ１３６）。接触判定部１０５は上記のように、デプスセンサからデプス情報を取得することができる。取得画像において操作体が認識されない場合（Ｓｔ１３５：Ｎｏ）、物体認識処理部１０４による対象物体の認識（Ｓｔ１３１）が再び実行される。
【００９８】
接触判定部１０５は、操作体と対象物体の距離が予め設定された所定値以下となった場合（Ｓｔ１３７：Ｙｅｓ）、対象物体の表面における法線ベクトルを検出し、法線方向を算出する（Ｓｔ１３８）。操作体と対象物体の距離が所定値より大きい場合（Ｓｔ１３７：Ｎｏ）、物体認識処理部１０４による対象物体の認識（Ｓｔ１３１）が再び実行される。
【００９９】
以下、接触判定部１０５は、上述のように、法線方向の傾きと接触判定閾値Ｔとを比較し、法線方向の傾きが接触判定閾値Ｔを超えた場合（Ｓｔ１３９：Ｙｅｓ）、操作体が対象物体に接触したと判定する（Ｓｔ１４０）。法線方向の傾きが接触判定閾値Ｔより小さい場合（Ｓｔ１３９：Ｎｏ）、物体認識処理部１０４による対象物体の認識（Ｓｔ１３１）が繰り返される。
【０１００】
接触判定部１０５は、操作体による対象物体への接触を判定した場合、取得画像に対する接触位置を入力制御部１０６に供給する。入力制御部１０６は、操作用画像Ｇに表示されたアイコンＰの位置と、接触判定部１０５から供給された接触位置に基づいて、操作入力を制御する。入力制御部１０６は、例えば、接触位置に重畳されているアイコンＰが選択されたものとすることができる。
【０１０１】
情報処理装置１００は以上のような動作を行うことも可能である。情報処理装置１００はデプス情報を利用することにより、操作体と対象物体の距離を取得することができ、操作体と対象物体の距離が十分小さくなり、接触の可能性が高い場合にのみ、法線ベクトルの変化を利用して接触を判定することができる。
【０１０２】
（情報処理装置の接触及び操作の判定動作）
情報処理装置１００は、操作体と対象物体の接触のみならず、接触による操作の種別（ドラッグやピンチ等）を判定することも可能である。図１２は、情報処理装置１００の接触及び操作判定動作を示すフローチャートである。
【０１０３】
接触判定ステップ（Ｓｔ１５１）は、図６に示す接触判定動作と同一のフローである。また、同ステップ（Ｓｔ１５１）は、図１０に示す対象物体の種類に応じた接触判定動作と同一のフローであってもよく、図１１に示すデプス情報の利用と組み合わせた接触反動動作と同一のフローであってもよい。
【０１０４】
接触判定部１０５は、接触判定ステップで接触と判定された場合（Ｓｔ１５２：Ｙｅｓ）、対象物体に対する操作体の接触（押圧）の強さを判定する（Ｓｔ１５３）。接触判定部１０５は、法線方向の傾きが接触判定閾値Ｔを超えると、その傾きの大きさから接触の強さを求めることができる。接触判定ステップで接触と判定されない場合（Ｓｔ１５２：Ｎｏ）、接触判定ステップ（Ｓｔ１５１）が繰り返される。
【０１０５】
接触判定部１０５は、取得画像に対する接触位置、操作体の対象物体に対する押圧力の大きさを入力制御部１０６に供給する。入力制御部１０６は、操作体と対象物体の接触位置が変化したか否かを判定する（Ｓｔ１５４）。接触位置が変化している場合（Ｓｔ１５４：Ｙｅｓ）、入力制御部１０６は操作体の数が２つであるか否かを判定する（Ｓｔ１５５）。接触位置が変化していない場合（Ｓｔ１５５：Ｎｏ）、接触判定ステップ（Ｓｔ１５１）が再び実行される。
【０１０６】
入力制御部１０６は、操作体の数が２つである場合（Ｓｔ１５５：Ｙｅｓ）、操作体による操作がピンチであると判定する。また、入力制御部１０６は、操作体の数が２つでない場合、操作体による操作がドラッグであると判定する。なお、入力制御部１０６は、操作体の数が２つである場合、接触箇所の移動方向がほぼ平行であれば、複数の操作体によるドラッグ（マルチタッチドラッグ）であると判定してもよい。また、入力制御部１０６は、操作体による操作がピンチである場合、接触箇所の移動方向に応じて操作がピンチイン又はピンチアウトであると判定してもよい。
【０１０７】
この際、入力制御部１０６は、物体認識処理部１０４による物体認識結果を利用して、操作の種別を判定してもよい。図１３は、操作体としての指の形状を示す模式図である。物体認識処理部１０４は、操作体の特定の形状（指の向き等）が予め物体認識辞書Ｄに登録されている場合には、その情報を入力制御部１０６に供給する。入力制御部１０６は、操作体の形状を操作の種別の判定に利用することができる。例えば図１３に示す例では、物体認識処理部１０４は手指の形状がピンチ操作の形状（親指と人差し指によるＵ字形状）であると認識することができ、入力制御部１０６は、手指の形状がピンチ操作の形状である場合に限り、操作がピンチ操作であると判定するものとすることも可能である。
【０１０８】
入力制御部１０６は、操作体による操作の種別に応じて操作入力を制御する。この際、入力制御部１０６は、操作体の対象物体に対する押圧力の大きさに応じてドラッグによる効果の程度（カーソルの移動速度やスクロール速度等）を変更してもよい。
【０１０９】
図１４は、情報処理装置１００の上記動作による音楽再生アプリケーションのＵＩの例である。同図に示すように、情報処理装置１００は、操作体による対象物体の押圧の方向や強度によって、再生音量や再生する楽曲の選択を行うこと可能とする。
【０１１０】
［第２の実施形態］
本技術の第２の実施形態に係る情報処理装置について説明する。
【０１１１】
（情報処理装置の構成）
図１５は、本技術の第２の実施形態に係る情報処理装置２００の機能的構成を示す模式図である。同図に示すように、情報処理装置２００は、音声入力部２０１、音声認識処理部２０２、画像入力部２０３、接触判定部２０４、入力制御部２０５、画像出力部２０６を備える。本実施形態に係る情報処理装置２００は、物体認識処理部を有しない。
【０１１２】
同図に示すように、情報処理装置２００は、アイウェア１０に接続されているものとすることができる。アイウェア１０の構成は第１の実施形態と同様であるので説明を省略する。
【０１１３】
音声入力部２０１はアイウェア１０のマイクロフォンに接続され、マイクロフォンによって集音された音声の音声信号が入力される。音声入力部２０１は、取得した音声信号を音声認識処理部２０２に出力する。
【０１１４】
音声認識処理部２０２は、音声入力部２０１から供給された音声信号に対して音声認識処理を施し、ユーザによる操作音声を認識する。音声認識処理部２０２は、操作音声が認識されれば、音声認識結果を入力制御部２０５に供給する。
【０１１５】
画像入力部２０３はカメラ１２に接続され、カメラ１２によって撮像された画像（動画）が入力される。画像入力部２０３は、取得した画像（以下、取得画像）を接触判定部２０４に供給する。
【０１１６】
接触判定部２０４は、画像入力部２０３から供給された取得画像に対して接触判定閾値Ｔを利用して接触判定を行う。この処理の詳細については後述する。接触判定部２０４は、判定結果を入力制御部２０５に供給する。接触判定閾値Ｔは、情報処理装置２００に格納されていてもよく、接触判定部２０４がネットワーク等から取得してもよい。
【０１１７】
入力制御部２０５は、音声認識処理部２０２による認識結果又は接触判定部２０４による判定結果に基づいて、ユーザによる操作入力を制御する。具体的には入力制御部２０５は、対象物体に対する操作体の接触位置や押圧力、押圧方向、接触後の操作体の移動等からタッチやマルチタッチ、ドラッグ、ピンチ等の操作入力として受け付ける。入力制御部２０５は、受け付けた操作入力を情報処理装置２００のＯＳ等に供給する。
【０１１８】
画像出力部２０６は、ディスプレイ１１に表示される画像（動画）を生成する。画像出力部２０６は、アイコンや操作ボタンを含む操作用画像を生成するものとすることができる。第１の実施形態と同様にユーザはディスプレイ１１に表示された映像と現実の物体が重畳された視界（図２及び図３参照）を視認する。
【０１１９】
情報処理装置２００はアイウェア１０の他にも、対象物体に映像を表示又は投影することが可能であって、対象物体を撮像することが可能なカメラを備える装置に接続されるものとすることが可能である。
【０１２０】
上述のような情報処理装置２００の機能的構成はアイウェアやプロジェクタ等の画像投影装置に接続又は内蔵されていてもよく、画像投影装置とは別のＰＣやスマートフォン等に搭載されていてもよい。また機能的構成の一部又は全部は、ネットワーク上に構成されていてもよい。
【０１２１】
上述した情報処理装置２００の機能的構成は、第１の実施形態に示したハードウェア構成によって実現することが可能である。
【０１２２】
（情報処理装置の接触判定動作）
情報処理装置２００の動作について説明する。図１６は情報処理装置２００の動作を示すフローチャートである。上記のようにカメラ１２によって画像が撮像され、画像入力部２０３が画像（取得画像）を取得する。画像入力部２０３は取得画像を接触判定部２０４に供給する。
【０１２３】
画像出力部２０６は、操作用画像Ｇ（図２参照）をディスプレイ１１に供給し、表示させる（Ｓｔ２０１）。第１の実施形態とは異なり、対象物体の認識処理は実行されないが、ユーザがディスプレイ１１を対象物体（机上や壁面等）に向けることにより、操作用画像Ｇを対象物体上に投影することが可能である。
【０１２４】
接触判定部２０４は、対象物体の表面における法線ベクトルを検出し、法線方向を算出する（Ｓｔ２０２）。なお、本実施形態においては画像における対象物体の検出処理はなされないが、接触判定部２０４は取得画像に含まれる全ての物体の法線ベクトルを検出してもよく、法線方向が均一な領域（平面の領域）を対象物体とみなして法線ベクトルを検出してもよい。
【０１２５】
接触判定部２０４は、法線方向の変化と接触判定閾値Ｔとを比較し、法線方向の傾きが、所接触判定閾値Ｔを超えた場合（Ｓｔ２０３：Ｙｅｓ）、操作体が対象物体に接触したと判定する（Ｓｔ２０４）。法線方向の変化が接触判定閾値Ｔより小さい場合（Ｓｔ２０３：Ｎｏ）、法線方向の算出（Ｓｔ２０２）が再び実行される。
【０１２６】
接触判定部２０４は、操作体による対象物体への接触を判定した場合、取得画像に対する接触位置を入力制御部２０５に供給する。入力制御部２０５は、接触判定部２０４から供給された接触判定結果に基づいて、操作入力を制御する。
【０１２７】
情報処理装置２００は以上のような動作を行う。上記のように、偏光イメージングが可能なカメラ１２によって撮像された画像を利用して対象物体に対する操作体の接触を検出することが可能であるため、カメラ１２の他に接触を検出するためのセンサが不要である。このため、接触検出システムの小型化、低コスト化が実現可能である。また、接触の検出に赤外線等を利用しないため、屋外利用が可能である。
【０１２８】
さらに、情報処理装置２００は、対象物体に対する操作体の接触によって生じる法線方向の変化を利用して接触を検出する。このため、情報処理装置１００は操作体が対象物体に接近し、あるいはわずかに接触している場合は接触として検出せず、操作体が対象物体に確実に接触している場合のみを接触として検出する。このため、対象物体に対する操作体の接触を高精度に検出することが可能である。
【０１２９】
情報処理装置２００は以上のような動作を行う。なお、情報処理装置２００は、第１の実施形態と同様に、色の変化とデプス情報を利用して接触を判定（図１１参照）してもよい。また、情報処理装置２００は、接触の判定後、接触による操作の種別を判定（図１２参照）してもよい。
【０１３０】
なお、上記説明では、操作体が指である場合について説明したが、操作体は指に限られず、スタイラス等であってもよい。また、対象物体も手のひらに限られず、操作体の接触によって表面形状が変化するものであればよい。
【０１３１】
なお、本技術は以下のような構成もとることができる。
【０１３２】
（１）
操作体による操作対象である対象物体の表面の法線ベクトルの変化に基づいて、上記対象物体に対する上記操作体の接触を判定する接触判定部
を具備する情報処理装置。
【０１３３】
（２）
上記（１）に記載の情報処理装置であって、
撮像画像に含まれる上記操作体及び上記対象物体を認識する物体認識処理部をさらに具備し、
上記接触判定部は、上記対象物体の、上記操作体の周囲における表面の法線ベクトルの変化に基づいて、上記対象物体に対する上記操作体の接触を判定する
情報処理装置。
【０１３４】
（３）
上記（１）又は（２）に記載の情報処理装置であって、
上記接触判定部は、上記法線ベクトルの、上記操作体の方向への傾きに応じて上記対象物体に対する上記操作体の接触を判定する
情報処理装置。
【０１３５】
（４）
上記（１）から（３）のいずれか一つに記載の情報処理装置であって、
上記接触判定部は、上記法線ベクトルの傾きの乱れに応じて上記対象物体に対する上記操作体の接触を判定する
情報処理装置。
【０１３６】
（５）
上記（１）から（４）のいずれか一つに記載の情報処理装置であって、
上記接触判定部による判定結果に基づいて、操作入力を制御する入力制御部
をさらに具備する情報処理装置。
【０１３７】
（６）
上記（１）から（５）のいずれか一つに記載の情報処理装置であって、
撮像画像に含まれる上記操作体及び上記対象物体を認識する物体認識処理部をさらに具備し、
上記入力制御部は、上記物体認識処理部によって認識された上記操作体の形状と、上記接触判定部による判定結果に基づいて、操作入力を制御する
情報処理装置。
【０１３８】
（７）
上記（１）から（６）のいずれか一つに記載の情報処理装置であって、
上記対象物体に重畳される操作対象画像を生成する画像出力部をさらに具備し、
上記入力制御部は、上記操作対象画像における上記操作体と上記対象物体の接触位置に基づいて操作入力を制御する
情報処理装置。
【０１３９】
（８）
上記（１）から（７）のいずれか一つに記載の情報処理装置であって、
上記接触判定部は、上記法線ベクトルの傾きが閾値を超えた場合に、上記対象物体に上記操作体が接触したと判定する
情報処理装置。
【０１４０】
（９）
上記（１）から（８）のいずれか一つに記載の情報処理装置であって、
撮像画像に含まれる上記操作体及び上記対象物体を認識する物体認識処理部をさらに具備し、
上記接触判定部は、上記対象物体の種類に応じて上記閾値を決定する
情報処理装置。
【０１４１】
（１０）
上記（１）から（９）のいずれか一つに記載の情報処理装置であって、
上記接触判定部は、さらに、上記対象物体の表面における位置に応じて上記閾値を決定する
情報処理装置。
【０１４２】
（１１）
上記（１）から（１０）のいずれか一つに記載の情報処理装置であって、
上記接触判定部は、上記法線ベクトルの傾きが上記閾値より大きい場合、上記法線ベクトルの傾きの大きさに応じて、上記対象物体に対する上記操作体の接触の強さを算出する
情報処理装置。
【０１４３】
（１２）
上記（１）から（１１）のいずれか一つに記載の情報処理装置であって、
撮像画像に含まれる上記操作体及び上記対象物体を認識する物体認識処理部をさらに具備し、
上記接触判定部は、上記対象物体が剛体である場合には上記撮像画像における色の変化に基づいて上記対象物体に対する上記操作体の接触を判定し、上記対象物体が剛体ではない場合には上記法線ベクトルの変化に基づいて上記対象物体に対する上記操作体の接触を判定する
情報処理装置。
【０１４４】
（１３）
上記（１）から（１２）のいずれか一つに記載の情報処理装置であって、
上記接触判定部は、上記対象物体と上記操作体の距離が所定値以下の場合に、上記法線ベクトルの変化に基づいて上記対象物体に対する上記操作体の接触を判定する
情報処理装置。
【０１４５】
（１４）
上記（１）から（１３）のいずれか一つに記載の情報処理装置であって、
上記接触判定部は、偏光イメージングにより撮像された撮像画像から上記法線ベクトルを検出する
情報処理装置。
【０１４６】
（１５）
操作体による操作対象である対象物体の表面の法線ベクトルの変化に基づいて、上記対象物体に対する上記操作体の接触を判定する接触判定部
として情報処理装置を動作させるプログラム。
【０１４７】
（１６）
接触判定部が、操作体による操作対象である対象物体の表面の法線ベクトルの変化に基づいて、上記対象物体に対する上記操作体の接触を判定する
情報処理方法。
【符号の説明】
【０１４８】
１００、２００…情報処理装置
１０１、２０１…音声入力部
１０２、２０２…音声認識処理部
１０３、２０３…画像入力部
１０４…物体認識処理部
１０５、２０４…接触判定部
１０６、２０５…入力制御部
１０７、２０６…画像出力部
【図１】
0006528774.tif 000002
【図２】
0006528774.tif 000003
【図３】
0006528774.tif 000004
【図４】
0006528774.tif 000005
【図５】
0006528774.tif 000006
【図６】
0006528774.tif 000007
【図７】
0006528774.tif 000008
【図８】
0006528774.tif 000009
【図９】
0006528774.tif 000010
【図１０】
0006528774.tif 000011
【図１１】
0006528774.tif 000012
【図１２】
0006528774.tif 000013
【図１３】
0006528774.tif 000014
【図１４】
0006528774.tif 000015
【図１５】
0006528774.tif 000016
【図１６】
0006528774.tif 000017