【手続補正書】
【提出日】平成24年11月27日(2012.11.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
実空間を映した入力画像を用いて生成される環境マップであって前記実空間内に存在する１つ以上の物体の位置を表現する当該環境マップに含まれる物体のうち、操作可能な物体を識別するための物体識別データに基づいて操作可能であると認識される少なくとも１つの物体を、ユーザによる操作の対象の候補である候補物体として選択する選択部、
を備える画像処理装置。
【請求項２】
前記入力画像は、前記実空間を撮影する撮像装置から取得され、
前記画像処理装置は、
前記選択部により選択された前記候補物体の画面上での位置をユーザに認識させるための出力画像を前記入力画像から生成し、生成した当該出力画像を表示装置へ出力する画像出力部、
をさらに備える、請求項１に記載の画像処理装置。
【請求項３】
前記出力画像内の各候補物体の位置は、前記環境マップ及び前記撮像装置の位置を表す撮像位置データに基づいて計算される、
請求項２に記載の画像処理装置。
【請求項４】
前記画像処理装置は、
前記候補物体のうち操作すべき物体をユーザに指定させるためのユーザインタフェース、
をさらに備える、請求項２又は請求項３に記載の画像処理装置。
【請求項５】
前記ユーザインタフェースは、前記候補物体のうちユーザ入力が検知された時に前記出力画像の中央又は当該中央の近傍に位置している物体を前記操作すべき物体として決定する、請求項４に記載の画像処理装置。
【請求項６】
前記ユーザインタフェースは、前記候補物体のうちユーザ入力が検知された時に複数の前記候補物体が前記出力画像の中央に位置している場合には、前記出力画像内での大きさが最も小さい前記候補物体を前記操作すべき物体として決定する、請求項５に記載の画像処理装置。
【請求項７】
前記画像出力部は、前記画面上で各候補物体を囲む枠を、各物体の３次元的な形状を表す形状データに基づいて生成し、生成した当該枠を前記入力画像に重畳することにより前記出力画像を生成する、
請求項２に記載の画像処理装置。
【請求項８】
前記画像処理装置は、
前記撮像装置及び前記表示装置をさらに備え、
前記撮像装置の撮像面と前記表示装置の画面とは、互いに反対方向に向けて配置される、
請求項２に記載の画像処理装置。
【請求項９】
画像処理装置により実行される画像処理方法において、
実空間を映した入力画像を用いて生成される環境マップであって前記実空間内に存在する１つ以上の物体の位置を表現する当該環境マップに含まれる物体のうち、操作可能な物体を識別するための物体識別データに基づいて操作可能であると認識される少なくとも１つの物体を、ユーザによる操作の対象の候補である候補物体として選択すること、
を含む画像処理方法。
【請求項１０】
画像処理装置を制御するコンピュータを、
実空間を映した入力画像を用いて生成される環境マップであって前記実空間内に存在する１つ以上の物体の位置を表現する当該環境マップに含まれる物体のうち、操作可能な物体を識別するための物体識別データに基づいて操作可能であると認識される少なくとも１つの物体を、ユーザによる操作の対象の候補である候補物体として選択する選択部、
として機能させるための、プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
ある実施形態によれば、実空間を映した入力画像を用いて生成される環境マップであって前記実空間内に存在する１つ以上の物体の位置を表現する当該環境マップに含まれる物体のうち、操作可能な物体を識別するための物体識別データに基づいて操作可能であると認識される少なくとも１つの物体を、ユーザによる操作の対象の候補である候補物体として選択する選択部、を含む画像処理装置が提供される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
また、上記入力画像は、上記実空間を撮影する撮像装置から取得され、上記画像処理装置は、上記選択部により選択された上記候補物体の画面上での位置をユーザに認識させるための出力画像を上記入力画像から生成し、生成した当該出力画像を表示装置へ出力する画像出力部、をさらに備えてもよい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
また、上記出力画像内の各候補物体の位置は、上記環境マップ及び上記撮像装置の位置を表す撮像位置データに基づいて計算されてもよい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
また、上記画像出力部は、上記画面上で各候補物体を囲む枠を、各物体の３次元的な形状を表す形状データに基づいて生成し、生成した当該枠を上記入力画像に重畳することにより上記出力画像を生成してもよい。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
また、別の実施形態によれば、画像処理装置により実行される画像処理方法において、
実空間を映した入力画像を用いて生成される環境マップであって前記実空間内に存在する１つ以上の物体の位置を表現する当該環境マップに含まれる物体のうち、操作可能な物体を識別するための物体識別データに基づいて操作可能であると認識される少なくとも１つの物体を、ユーザによる操作の対象の候補である候補物体として選択すること、を含む画像処理方法が提供される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、別の実施形態によれば、画像処理装置を制御するコンピュータを、実空間を映した入力画像を用いて生成される環境マップであって前記実空間内に存在する１つ以上の物体の位置を表現する当該環境マップに含まれる物体のうち、操作可能な物体を識別するための物体識別データに基づいて操作可能であると認識される少なくとも１つの物体を、ユーザによる操作の対象の候補である候補物体として選択する選択部、として機能させるための、プログラムが提供される。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
なお、特徴点の追跡（図４のステップＳ１１４）において、追跡される全ての特徴点に関するデータが予めデータ記憶部１３０に記憶されていなくてもよい。例えば、図６の例では、時刻Ｔ＝ｔ−１において、３つの特徴点が入力画像内で検出されている（６ａ参照）。次に、時刻Ｔ＝ｔにおいてカメラの位置又は姿勢が変化すると、時刻Ｔ＝ｔ−１において入力画像に映っていた３つの特徴点のうち１つのみが入力画像内に映っている。この場合に、自己位置検出部１１２は、入力画像内で特徴的な画素のパターンを有する位置に新たに特徴点を設定し、その新たな特徴点を後のフレームにおける自己位置検出処理に用いてもよい。例えば、図６の例では、時刻Ｔ＝ｔにおいて、５つの新たな特徴点がオブジェクト上に設定されている（６ｂ参照）。かかる点は、ＳＬＡＭ技術の１つの特長であり、それにより、予め全ての特徴点を設定しておくコストを削減できると共に、追加される多数の特徴点を用いて処理の精度を高めることができる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１０４
【補正方法】変更
【補正の内容】
【０１０４】
図１８は、本実施形態に係る画像出力部１７０により生成される出力画像のさらに別の例を示す説明図である。図１８を参照すると、左に出力画像Ｉｍ４１、右に出力画像Ｉｍ４２が示されている。出力画像Ｉｍ４１には、操作可能な物体１０ｄが映っている。かかる物体１０ｄが操作可能であることは、機器認識部１４０による認識の結果として環境マップへ登録される。出力画像Ｉｍ４２は、その後、画像処理装置１００が環境１の内部で移動した後に生成される出力画像である。出力画像Ｉｍ４２においては、物体１０ｂはテーブルの背後に隠れていて視認できない。しかしながら、出力画像Ｉｍ４２においても、テーブルの背後に隠れた物体１０ｄが候補物体として選択されている。このように、実空間内に存在する物体の位置を表現する環境マップに基づいて候補物体を選択し、当該物体を識別可能な枠を表示することにより、物体が他の物体の背後に隠れている場合であっても、柔軟にその隠れた物体を操作対象として選択することができる。