(57)【要約】【課題】撮影されて物体認識により表示された複数の物体から利用者が選択または制御したい物体を優先的に選択できるようにする。【解決手段】利用者の顔面または頭部に装着される装着部を備え、前記利用者の状態を特定する状態情報を取得し、複数の物体を撮影してその画像を取り込み、この取り込んだ画像から前記複数の物体を認識し、予め前記状態情報と前記物体とを対応付けた対応付け情報を記憶しておき、前記取得された方向情報、前記取得された位置情報及び前記記憶された対応付け情報に基づいて、前記認識された複数の物体の中から前記利用者の選択または制御する物体の候補を特定する物体認識選択装置、物体認識選択方法及びプログラム。【選択図】図２
2016192096.tif 000002
【特許請求の範囲】
【請求項１】
利用者の顔面または頭部に装着される装着部を備えた物体認識選択装置であって、
複数の物体を撮影してその画像を取り込む物体画像取込手段と、
前記物体画像取込手段が取り込んだ画像から前記複数の物体を認識する物体認識手段と、
前記物体画像取込手段が前記画像を取り込むときの前記利用者の状態を特定する状態情報を取得する状態情報取得手段と、
前記状態情報と前記物体とを対応付けた対応付け情報を記憶する対応付け情報記憶手段と、
前記状態情報取得手段が取得した状態情報及び前記対応付け情報記憶手段に記憶された対応付け情報に基づいて、前記物体認識手段が認識した複数の物体の中から前記利用者の選択または制御する物体の候補を特定する物体候補特定手段と、
を備えたことを特徴とする物体認識選択装置。
【請求項２】
前記物体認識手段が認識した複数の物体を表示する物体表示手段と、
前記利用者の選択または制御する物体を確定する物体確定手段と、
をさらに備えたことを特徴とする請求項１記載の物体認識選択装置。
【請求項３】
前記対応付け情報は、前記物体確定手段が物体を確定したときに、前記状態情報取得手段が取得した状態情報と前記物体確定手段が確定した物体とを対応付けた履歴情報であることを特徴とする請求項２記載の物体認識選択装置。
【請求項４】
前記物体を指定する物体指定手段をさらに備え、
前記物体確定手段は、前記物体候補特定手段が特定した前記物体の候補または前記物体指定手段が指定した前記物体を前記利用者の選択または制御する物体として確定することを特徴とする請求項２又は請求項３記載の物体認識選択装置。
【請求項５】
前記物体確定手段が確定した物体の動作を制御する物体制御手段をさらに備えたことを特徴とする請求項２乃至請求項４のいずれかに記載した物体認識選択装置。
【請求項６】
前記状態情報は、前記利用者の顔面が向いている方向情報及び前記利用者の位置情報であることを特徴とする請求項１乃至請求項５のいずれかに記載した物体認識選択装置。
【請求項７】
利用者の顔面または頭部に装着される装着部を備えた物体認識選択装置による物体認識選択方法であって、
前記利用者の状態を特定する状態情報を取得し、
複数の物体を撮影してその画像を取り込み、
この取り込んだ画像から前記複数の物体を認識し、
予め前記状態情報と前記物体とを対応付けた対応付け情報を記憶しておき、
前記取得された状態情報及び前記記憶された対応付け情報に基づいて、前記認識された複数の物体の中から前記利用者の選択または制御する物体の候補を特定する、
ステップを備えたことを特徴とする物体認識選択方法。
【請求項８】
前記認識した複数の物体を表示し、前記利用者の選択または制御する物体を確定するステップをさらに備えたことを特徴とする請求項７記載の物体認識選択方法。
【請求項９】
前記対応付け情報は、前記利用者の選択または制御する物体を確定したときに取得した前記状態情報と前記確定した物体とを対応付けた履歴情報であることを特徴とする請求項８記載の物体認識選択方法。
【請求項１０】
前記物体を指定するステップをさらに備え、前記利用者の選択または制御する物体を確定するステップは、前記特定された物体の候補または前記指定された物体を前記利用者の選択または制御する物体として確定するステップであることを特徴とする請求項８又は請求項９記載の物体認識選択方法。
【請求項１１】
前記確定された物体の動作を制御するステップをさらに備えたことを特徴とする請求項８乃至請求項１０のいずれかに記載した物体認識選択方法。
【請求項１２】
前記状態情報は、前記利用者の顔面が向いている方向情報及び前記利用者の位置情報であることを特徴とする請求項７乃至請求項１１のいずれかに記載した物体認識選択方法。
【請求項１３】
請求項７乃至請求項１２のいずれかに記載した物体認識選択方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スマートグラス（メガネ型コンピュータ）等のカメラを搭載して頭部や顔面に装着するタイプのウエアラブルコンピュータ（端末）等に使用される物体認識選択装置、物体認識選択方法及びプログラムに関するものである。
【背景技術】
【０００２】
近年、身につけて持ち歩くことができるコンピュータ、いわゆるウエアラブルコンピュータが普及し始めているが、このウエアラブルコンピュータの中には、スマートグラスと呼ばれるメガネ型コンピュータがある。このスマートグラスは、カメラが搭載されて眼鏡として利用者に装着されることから、利用者の前方にある物体等をカメラで撮影して、これを眼鏡レンズ部分に設けられたディスプレイに表示することができるようになっている。このため、スマートグラスにおいては、利用者の目の間近にあるディスプレイに表示された物体に対して操作できるようにすれば、利用者は、あたかも実際に見ている物体に対して操作しているような感覚が得られることとなる。
そして、特開２０１１−２０９９６５号公報（特許文献１）には、スマートグラスに類するものとして、カメラとディスプレイを搭載したヘッドマウントディスプレイ（ＨＭＤ）を備えた携帯型のコンピュータである情報処理装置が開示されている。この情報処理装置においては、ユーザがＨＭＤを装着することにより、ユーザの前方にある操作対象機器（以下単に「機器」という。）がカメラで撮影され、ユーザの目の前にあるディスプレイには機器と共にボタン等の操作画像が表示され、ユーザがディスプレイに表示されたボタンを仮想的に押すことにより、機器を操作できるようになっている。
【０００３】
ここで、上記情報処理装置においては、利用者（ユーザ）の前方に複数の機器（例えば、ステレオ、テレビ、扇風機、エアコン、天井照明）がある場合、カメラで撮影された画像から物体認識により抽出された機器も複数あり、抽出された複数の機器がボタン等の操作画像と共にディスプレイに表示され、その各々に対して操作できるようになっている。
しかしながら、利用者にとっては、ディスプレイに表示された複数の機器のすべてを操作するとは限らず、特定の機器（例えば、天井照明）だけを操作したい場合も多い。
このような場合、利用者は、ディスプレイに表示された複数の機器から特定のものを選択して操作しなければならないという煩わしさが生じるのみならず、複数の機器が近接している場合は、各機器のボタン等を表示しても、どのボタンがどの機器のものであるかが判別しづらいという問題がある。また、各機器のボタン等に代えて、複数の機器のリストを別途作成してこれをディスプレイに表示し、このリストから操作したい機器を選択することも考えられるが、スマートグラスのディスプレイは表示領域が狭く、複数の機器のリストを表示すること自体が困難である。
【０００４】
ところで、スマートグラスやＨＭＤの利用者）が、ある場所（例えば、利用者の自宅の部屋の中）で、ディスプレイに表示された複数の機器の中の１つを選択して制御・操作したい場合、通常、選択（制御・操作）したい機器がある方向に顔面を向ける（例えば、部屋の天井照明を操作したい場合は、天井照明のある上方に顔面を向ける。）。また、同一方向に複数の機器がある場合であっても、どの機器を選択（制御・操作）したいかは、利用者の習性によっておおよそ決まっている（例えば、利用者の真正面にステレオ、テレビ、扇風機がある場合、ある利用者は常にテレビを操作する。）。
したがって、利用者の選択（制御・操作）したい機器は、利用者がいる場所、利用者の顔面が向いている方向等の状態及び利用者の習性に依存しているといえる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−２０９９６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする課題は、撮影されて物体認識された複数の物体から利用者が選択または制御したい物体を優先的に選択できるようにすることである。
そして、本発明は、利用者が選択または制御したい物体は、利用者がいる場所、利用者の顔面が向いている方向等の状態及び利用者の習性に依存している点に着目してなされたものである。
【課題を解決するための手段】
【０００７】
本発明は、利用者の顔面または頭部に装着される装着部を備えた物体認識選択装置であって、複数の物体を撮影してその画像を取り込む物体画像取込手段と、前記物体画像取込手段が取り込んだ画像から前記複数の物体を認識する物体認識手段と、前記状態情報と前記物体とを対応付けた対応付け情報を記憶する対応付け情報記憶手段と、前記状態情報取得手段が取得した状態情報及び前記対応付け情報記憶手段に記憶された対応付け情報に基づいて、前記物体認識手段が認識した複数の物体の中から前記利用者の選択または制御する物体の候補を特定する物体候補特定手段とを備えた物体認識選択装置を提供して、上記課題を解決するものである。
【０００８】
本発明は、前記物体認識手段が認識した複数の物体を表示する手段と、前記利用者の選択または制御する物体を確定する物体確定手段とをさらに備えた物体認識選択装置を提供して、上記課題を解決するものである。
【０００９】
本発明は、前記対応付け情報は、前記物体確定手段が物体を確定したときに、前記状態情報取得手段が取得した状態情報と前記選択物体確定手段が確定した物体とを対応付けた履歴情報である物体認識選択装置を提供して、上記課題を解決するものである。
【００１０】
本発明は、前記物体を指定する物体指定手段をさらに備え、前記物体確定手段は、前記物体候補特定手段が特定した前記物体の候補または前記物体指定手段が指定した前記物体を前記利用者の選択または制御する物体として確定する物体認識選択装置を提供して、上記課題を解決するものである。
【００１１】
本発明は、前記物体確定手段が確定した物体の動作を制御する物体制御手段をさらに備えた物体認識選択装置を提供して、上記課題を解決するものである。
【００１２】
本発明は、前記状態情報は、前記利用者の顔面が向いている方向情報及び前記利用者の位置情報である物体認識選択装置を提供して、上記課題を解決するものである。
【００１３】
本発明は、利用者の顔面または頭部に装着される装着部を備えた物体認識選択装置による物体認識選択方法であって、前記利用者の状態を特定する状態情報を取得し、複数の物体を撮影してその画像を取り込み、この取り込んだ画像から前記複数の物体を認識し、予め前記状態情報と前記物体とを対応付けた対応付け情報を記憶しておき、前記取得された状態情報及び前記記憶された対応付け情報に基づいて、前記認識された複数の物体の中から前記利用者の選択または制御する物体の候補を特定するステップを備えた物体認識選択方法を提供して、上記課題を解決するものである。
【００１４】
本発明は、前記認識した複数の物体を表示し、前記利用者の選択または制御する物体を確定するステップをさらに備えた物体認識選択方法を提供して、上記課題を解決するものである。
【００１５】
本発明は、前記対応付け情報は、前記利用者の選択または制御する物体を確定したときに取得した前記状態情報と前記確定した物体とを対応付けた履歴情報である物体認識選択方法を提供して、上記課題を解決するものである。
【００１６】
本発明は、前記物体を指定するステップをさらに備え、前記利用者の選択または制御する物体を確定するステップは、前記特定された物体の候補または前記指定された物体を前記利用者の選択または制御する物体として確定するステップである物体認識選択方法を提供して、上記課題を解決するものである。
【００１７】
本発明は、前記確定された物体の動作を制御するステップをさらに備えた物体認識選択方法を提供して、上記課題を解決するものである。
【００１８】
本発明は、前記状態情報は、前記利用者の顔面が向いている方向情報及び前記利用者の位置情報である物体認識選択方法を提供して、上記課題を解決するものである。
【００１９】
本発明は、前記物体認識選択方法をコンピュータに実行させるプログラムを提供して、上記課題を解決するものである。
【発明の効果】
【００２０】
本発明の物体認識選択装置においては、利用者の顔面または頭部に装着される装着部を備え、物体画像取込手段から複数の物体を撮影した画像が取り込まれ、物体認識手段によりその画像から前記物体が認識され、状態情報取得手段から前記物体画像取込手段が前記画像を取り込むときの前記利用者の状態を特定する状態情報が取得され、対応付け情報記憶手段には前記状態情報と前記物体とを対応付けた対応付け情報が記憶され、前記状態情報取得手段が取得した状態情報及び前記対応付け情報記憶手段に記憶された対応付け情報に基づいて、物体候補特定手段が、物体認識手段が認識した複数の物体の中から、前記利用者の選択または制御する物体の候補を特定するため、前記利用者の選択または制御したい物体を優先的に選択できるという効果を奏する。
【００２１】
本発明の物体認識選択装置においては、さらに物体表示手段が前記物体認識手段が認識した複数の物体を表示し、物体確定手段が前記利用者の選択または制御する物体を確定するため、前記利用者の選択または制御したい物体を優先的に選択できるという効果を奏する。
【００２２】
本発明の物体認識選択装置においては、前記対応付け情報は、前記物体確定手段が物体を確定したときに、前記状態情報取得手段が取得した状態情報と前記選択物体確定手段が確定した物体とを対応付けた履歴情報であるため、履歴情報である前記対応付け情報に基づいて、前記利用者の選択または制御したい物体を優先的に選択できるという効果を奏する。
【００２３】
本発明の物体認識選択装置においては、さらに物体指定手段が前記物体を指定し、前記物体確定手段が、前記物体候補特定手段が特定した前記物体の候補または前記物体指定手段が指定した前記物体を前記利用者の選択または制御る物体として確定するため、前記利用者の選択または制御したい物体を優先的に選択できて、前記利用者はそれを指定できるという効果を奏する。
【００２４】
本発明の物体認識選択装置においては、さらに物体制御手段が、前記選択物体確定手段が確定した物体の動作を制御するため、前記利用者の選択または制御したい物体を優先的に選択できて、前記利用者はそれを制御できるという効果を奏する。
【００２５】
本発明の物体認識選択装置においては、前記状態情報は、前記利用者の顔面が向いている方向情報及び前記利用者の位置情報であるため、前記利用者の選択または制御したい物体を優先的に選択できるという効果を奏する。
【００２６】
本発明の物体認識選択方法は、利用者の顔面または頭部に装着される装着部を備えた物体認識選択装置による物体認識選択方法であって、利用者の状態を特定する状態情報を取得し、複数の物体を撮影してその画像を取り込み、この取り込んだ画像から前記物体を認識し、予め前記状態情報と前記物体とを対応付けた対応付け情報を記憶しておき、前記取得された状態情報び前記記憶された対応付け情報に基づいて、前記認識した複数の物体の中から前記利用者の選択または制御する物体の候補を特定するため、前記利用者の選択または制御したい物体を優先的に選択できるという効果を奏する。
【００２７】
本発明の物体認識選択方法は、前記認識した複数の物体を表示し、前記利用者の選択または制御する物体を確定するため、前記利用者の選択または制御したい物体を優先的に選択できるという効果を奏する。
【００２８】
本発明の物体認識選択方法は、前記対応付け情報は、前記利用者の選択または制御する物体を確定したときに取得した前記状態情報と前記確定した物体とを対応付けた履歴情報であるため、履歴情報である前記対応付け情報に基づいて、前記利用者の選択または制御したい物体を優先的に選択できるという効果を奏する。
【００２９】
本発明の物体認識選択方法は、さらに物体を指定し、前記特定された物体の候補または前記指定された物体を前記利用者の選択または制御する物体として確定するため、前記利用者の選択または制御したい物体を優先的に選択できて、前記利用者はそれを指定できるという効果を奏する。
【００３０】
本発明の物体認識選択方法は、さらに確定された物体の動作を制御するため、前記利用者の選択または制御したい物体を優先的に選択できて、前記利用者はそれを制御できるという効果を奏する。
【００３１】
本発明の物体認識選択方法は、前記状態情報は、前記利用者の顔面が向いている方向情報及び前記利用者の位置情報であるため、前記利用者の選択または制御したい物体を優先的に選択できるという効果を奏する。
【図面の簡単な説明】
【００３２】
【図１】本発明の物体認識選択装置をスマートグラスに利用した場合の一実施形態の装置構成を示す外観図である。
【図２】図１に示す物体認識選択装置１の概略構成を示すブロック図である。
【図３】図１に示す物体認識選択装置１の具体的構成の一例を示すブロック図である。
【図４】利用者の姿勢と利用者に装着されたスマートグラス１（装着部２）に作用する重力との関係を説明するための図である。
【図５】利用者の顔面の向いている方位と利用者に装着されたスマートグラス１（装着部２）に作用する磁界の向きとの関係を説明するための図である。
【図６】ディスプレイ５０に表示された物体の画像の例を示した説明図である。
【図７】対応付け情報記憶部６０が記憶する対応付け情報を表した履歴情報テーブルの例を示した説明図である。
【図８】物体候補特定部７０が特定した物体の候補をディスプレイ５０（画面５１）に表示した例を説明する図である。
【図９】物体確定部９０が利用者の選択する物体を確定する例を説明するための図である。
【図１０】物体認識選択装置（スマートグラス）１の動作の概要を示すフローチャートである。
【図１１】方向情報取得部１０が行う方向情報の取得の動作の詳細を示すフローチャートである。
【図１２】位置情報取得部２０が行う位置情報の取得の動作の詳細を示すフローチャートである。
【図１３】物体画像取込部３０が行う物体画像取込の動作の詳細を示すフローチャートである。
【図１４】物体認識部４０が行う物体認識の動作の詳細を示すフローチャートである。
【図１５】画像表示部（ディスプレイ）５０が、物体画像取込部４０の認識した物体の画像を表示する動作の詳細を示すフローチャートである。
【図１６】物体候補特定部７０及び選択物体確定部９０が行う物体候補特定及び選択物体の確定の動作の詳細を示すフローチャートである。
【発明を実施するための形態】
【００３３】
［物体認識選択装置（スマートグラス）の外観構成］
本発明の物体認識選択装置をスマートグラスに利用した場合の装置の外観構成について説明する。
図１は、本発明の物体認識選択装置をスマートグラスに利用した場合の一実施形態の装置の外観を示す外観図である。図中、１は物体認識選択装置（スマートグラス）、２は装着部、３はフレーム、４はレンズ部である。スマートグラス１は、メガネ型の装着部２とこれに内蔵されたコントローラー（図示せず）からなり、コントローラーには無線部が設けられてインターネットを介してサーバーに接続するようになっている。装着部２は、フレーム３と一対のレンズ部４からなり、フレームにはカメラが搭載され、加速度センサーと地磁気センサー等が内蔵され、さらにＧＰＳ受信機等の位置検出センサーが内蔵されている。装着部２は、利用者の顔面にメガネと同様にして装着される。なお、コントローラーは、メガネ型の装着部２に内蔵せず、これと別体のものとしてもよい。
【００３４】
［物体認識選択装置（スマートグラス）１の概略構成］
図２は、図１に示す物体認識選択装置１の概略構成を示すブロック図である。図において、１０は方向情報取得部、２０は位置情報取得部、３０は物体画像取込部、４０は物体認識部、５０は物体表示部、６０は対応付け情報記憶部、７０は物体候補特定部、８０は物体指定部、９０は物体確定部、１００は物体制御部である。
方向情報取得部１０は、スマートグラス１の装着部２（フレーム３）に内蔵された加速度センサー及び地磁気センサーにより測定されたデータから、スマートグラス１を装着した利用者の顔面がどの方向を向いているかを分析し、利用者の顔面が向いている方向情報を取得する。
位置情報取得部２０は、スマートグラス１に内蔵されたＧＰＳ受信機等の位置検出センサーで検出されたデータから、スマートグラス１を装着した利用者の位置情報を取得する。
物体画像取込部３０は、スマートグラス１の装着部２（フレーム３）に搭載されたカメラにより、スマートグラス１を装着した利用者の前方に存在する各種機器類（例えば、ステレオ、テレビ、扇風機、エアコン、天井照明）等の複数の物体を撮影してその画像を取り込む。
物体認識部４０は、物体画像取込部３０が取り込んだ複数の物体を含む画像から、その複数の物体を認識する物体認識を行う。
物体表示部５０は、スマートグラス１のレンズ部４に取り付けられ、物体認識部４０が認識した複数の物体の画像を表示する。
対応付け情報記憶部６０は、各種機器類等の物体ごとに、利用者の顔面が向いている方向情報及び利用者の位置情報が対応付けられた対応付け情報を記憶している。
物体候補特定部７０は、方向情報取得部１０が取得した利用者の方向情報、位置情報取得部２０が取得した利用者の位置情報及び対応付け情報記憶部６０に記憶された対応付け情報に基づいて、物体表示部５０に表示された複数の物体の中から、利用者の選択または制御する物体の候補を特定する。
物体指定部８０は、利用者の操作により、利用者の選択または制御する物体を指定する。
選択物体確定部９０は、物体候補特定部７０が特定した利用者の選択または制御する物体の候補、または、物体指定部８０により利用者が指定した物体を、利用者の選択または制御する物体として確定する。
物体制御部１００は、通信部（図示せず）を制御し、選択物体確定部９０が確定した物体（各種機器類等）と通信を行い、その動作（例えば、スイッチのON・OFF）を制御する。
【００３５】
［物体認識選択装置１の具体的構成］
図３は、図２に示す物体認識選択装置１の具体的構成の一例を示すブロック図であり、図において、５はスマートグラス１の制御部、６はインターネットに接続されるサーバーである。以下図３に基づいて物体認識選択装置１の具体的構成について説明する。
【００３６】
［方向情報取得部１０］
図２に示す方向情報取得部１０は、加速度センサー１１、データ取得蓄積部１２、姿勢  分析特定部１３、地磁気センサー１４、データ取得部１５、方位算出特定部１６、方向情報作成部１７等から構成される。
【００３７】
加速度センサー１１は、フレーム３の左側のレンズ部４の近傍に内蔵され、スマートグラス１（装着部２）に作用する重力加速度を測定するものであり、加速度センサー１１によって測定された重力加速度データは、データ取得蓄積部１２に一旦保存されて蓄積された後、姿勢分析特定部１３に送られる。
【００３８】
姿勢分析特定部１３は、データ取得蓄積部１２から送られてくる重力加速度データを分析して、利用者がどのような姿勢でいるかを特定する。
図４は、利用者の姿勢と利用者に装着されたスマートグラス１（装着部２）に作用する重力との関係を説明するための図であり、図において、Ｕは利用者、ＵＦは利用者の顔面、ＶＤは顔面ＵＦが向く方向の範囲である。以下図に基づいて利用者の姿勢とスマートグラス１に作用する重力との関係の関係を説明するが、ここでは、スマートグラス１（装着部２）の奥行き方向をＸ軸、左右方向をＺ軸、上下方向（鉛直方向）をＹ軸とする。
図４（ａ）に示すように利用者Ｕが起立した姿勢であるときは、顔面ＵＦは水平方向を向くこととなり、顔面ＵＦに装着されたスマートグラス１のＸＺ軸方向が水平方向となるから、重力加速度はＹ軸方向に作用する。
一方、図４（ｂ）に示すように利用者Ｕが寝た姿勢であるときは、顔面ＵＦは上方を向くこととなり、顔面ＵＦに装着されたスマートグラス１のＹＺ軸方向が水平方向となるから、重力加速度はＸ軸方向に作用する。
このようにスマートグラス１に作用する重力加速度データから、利用者Ｕがどのような姿勢であるか、すなわち、顔面ＵＦが上下方向（鉛直方向）ＶＤのどの方向を向いているかを特定することができる。
利用者の姿勢としては、起立（顔面が水平方向を向いている）、寝る（顔面が真上方向を向いている）の他、斜め上（顔面が斜め上方向を向いている）、斜め下（顔面が斜め下方向を向いている）を設けてもよく、さらに細かく設定してもよい。また、連続的に測定した重力加速度データの時間的な変化を分析して、利用者の顔面の上下方向の向きの変化を求め、これより推定される姿勢（例えば、座った姿勢、うつ伏せ等）を設定してもよい。
このようにして姿勢分析特定部１３が特定した利用者の姿勢（顔面が上下方向（鉛直方向）ＶＤのどの方向を向いているか）の情報は、方向情報作成部１７に送られる。
【００３９】
地磁気センサー１４は、フレーム３の左側のレンズ部４の近傍に内蔵され、スマートグラス１（装着部２）に作用する磁界の向きを測定するものであり、地磁気センサー１４によって測定されたデータは、データ取得部１５に一旦取り込まれた後、方位算出特定部１６に送られる。
方位算出特定部１６は、データ取得部１５から送られてくるデータ（磁界の向き）から、北、北東、東等の方位を４５度単位で計算して、利用者の顔面がどの方位を向いているかを特定する。計算する方位は、北、北東、東等の他さらに北北東等を加えた１５度単位でもよく、さらに細かくしてもよい。
図５は、利用者の顔面の向いている方位と利用者に装着されたスマートグラス１（装着部２）に作用する磁界の向きとの関係を説明するための図であり。図において、ＵＤはスマートグラス１に作用する磁界の向き、ＨＤは利用者Ｕの顔面ＵＦが向く方向の範囲である。図に示すように、地磁気センサー１４によって測定される磁界の向きＵＤが、東西南北のどの方位にあるのかを求めることにより、利用者Ｕの顔面ＵＦが水平方向ＨＤのどの方向（方位）を向いているのかを求めることができる。
このようにして方位算出特定部１６が特定した利用者の方位（顔面が水平方向ＨＤのどの方向を向いているか）の情報は、方向情報作成部１７に送られる。
なお、スマートグラス１は傾いて使用されること（スマートグラス１を装着した利用者の顔が上下方向に傾くこと）も多いことから、地磁気センサー１４は３軸型が使用される。
【００４０】
方向情報作成部１７は、姿勢分析特定部１３から送られてくる利用者の姿勢（顔面が上下方向（鉛直方向）ＶＤのどの方向を向いているか）の情報と、方位算出特定部１６から送られてくる利用者の方位（顔面が水平方向ＨＤのどの方向を向いているか）の情報を合わせ、これを利用者の顔面が向いている方向情報として物体候補特定部７０に送る。
【００４１】
［位置情報取得部２０］
図２に示す位置情報取得部２０は、位置検出センサー２１、データ取得部２２、位置情報作成部２３等から構成される。
【００４２】
位置検出センサー２１は、ＧＰＳ受信機、Ｗｉｆｉ、ＩＭＥＳ、ビーコン等であり、スマートグラス１のコントローラー６に内蔵され、スマートグラス１を装着した利用者の位置を検出して出力する。ＧＰＳ受信機は利用者が屋外にいるときの位置を検出するもので、ＧＰＳ衛星からの電波を受信して位置データとして出力する。また、Ｗｉｆｉ、ＩＭＥＳ、ビーコン等は、利用者が屋内にいるときの位置を検出ものである。そして、位置検出センサー２１から出力される位置データは、データ取得部２２に一旦取り込まれた後、位置情報作成部２３に送られる。
位置情報作成部２３は、データ取得部２２から送られた位置データに基づいて、利用者の位置情報を作成し、作成した位置情報を物体候補特定部７０に送る。位置情報作成部２３が作成する位置情報は、位置検出センサー２１が出力する緯度経度等の数値データであってもよく、位置データに対応付けられた住所、施設・建物名であってもよく、利用者が特定した部屋名（リビング、寝室等）や部屋の一部（リビング窓際、リビングソファ）であってもよい（この場合は予め位置データと部屋名や部屋の一部を対応付けておく。）。
【００４３】
［物体画像取得部３０］
図２に示す物体画像取込部３０は、カメラ３１、画像取得部３２、送信部３３、インターネット回線３４、受信部３５、画像取得部３６等から構成される。
カメラ３１は、スマートグラス１のフレーム３の右側のレンズ部４の近傍に取付けられ、スマートグラス１（装着部２）を装着した利用者の前方に存在する物体を撮影する。画像取得部３２は、カメラ３１が撮影した画像を取り込み、送信部３３はこの画像をインターネット回線３４によりサーバー６に送信する。
サーバー８側では、受信部３５がインターネット回線３４から送られてくる画像を受信し、画像取得部３６が受信した画像を取り込み、物体認識部４０に送る。
【００４４】
［物体認識部４０］
物体認識部４０は、画像取得部３６から送られてくる画像について、その画像に含まれている物体をモデルデータ記憶部（図示せず）に記憶されているモデルデータに基づいて認識する。モデルデータ記憶部には、各種機器類（例えば、ステレオ、テレビ、扇風機、エアコン、天井照明）等の物体の外形データがモデルデータとしてその名称（識別記号）を付して記憶されている。
よって、物体認識部４０では、画像取得部３６から送られてくる画像に含まれる物体の外形を抽出し、抽出した物体の外形とモデルデータ記憶部に記憶されているモデルデータ（物体の外形データ）とのマッチングを行い、マッチしたモデルデータをその画像に含まれている物体として認識し、その名称（識別記号）を対応付ける。
そして、物体認識部４０は、認識した物体の画像とそれに対応付けた名称（識別記号）を送信部４１に送り、送信部４１はこれをインターネット回線４２（３４）によりスマートグラス１に送信する。
【００４５】
スマートグラス１側では、受信部４３がインターネット回線４２（３４）から送られてくる物体の画像とその名称（識別記号）を受信し、物体画像取得部４４がこれを取得し、ディスプレイ５０と物体候補特定部７０に送る。
なお、物体認識４０は、サーバー６側に設けるのではなく、スマートグラス１側に設けてもよい。その場合は、送信部３３、インターネット回線３４、受信部３５、画像取得部３６等は不要となり、物体認識４０は、画像取得部３２からの画像を直接物体認識する。
【００４６】
［画像表示部（ディスプレイ）５０］
図２の画像表示部５０であるディスプレイ５０は、スマートグラス１のレンズ部４、４の上部に設けられ、物体認識部４０が認識し物体画像取得部４４が取得した物体の画像を投影表示する。
図６は、ディスプレイ５０に表示された物体の画像の例を示したものであり、５１は画面である。この例では、物体認識部４０が、物体認識により、ステレオ、テレビ、扇風機、エアコン、天井照明を認識したため、これらの画像２００が実際に配置されている状態でデ表示画面５１に表示されている。すなわち、画面５１の上部には天井照明の画像２０１とエアコンの画像２０２が表示され、中央部にはテレビの画像２０３が表示され、下部にはステレオの画像２０４と扇風機の画像２０５が表示されている。
そして、利用者は、レンズ部４、４を通して実際にステレオ、テレビ、扇風機、エアコン、天井照明を視認すると共に、画面５１に表示されたこれらの画像２０１〜２０５を見ることとなる。
【００４７】
［対応付け情報記憶部６０］
対応付け情報記憶部６０は、方向情報作成部１７が作成する利用者の顔面が向いている方向情報及び位置情報作成部２３が作成する利用者の位置情報と、カメラ３１が撮影し物体認識部４０が認識する物体とを対応付けた対応付け情報を記憶する。
図７は、対応付け情報記憶部６０が記憶する対応付け情報を表した履歴情報テーブルの例を示したものである。
図７の履歴情報テーブル６１は、「履歴ＩＤ」、「方向情報（姿勢、方位）」、「位置情報」、「認識した物体」及び「選択した物体」の項目からなる履歴情報を記録したものである。
「履歴ＩＤ」は、利用者が過去にスマートグラス１を装着して物体を選択した履歴情報を区別する番号等であり、「方向情報」は、利用者がある物体を選択したときの姿勢（顔面が上下方向（鉛直方向）のどの方向を向いているか）と方位（顔面が水平方向ＨＤのどの方向を向いているか）の情報を記録したものであり、「位置情報」は、そのときに利用者がいた位置情報を記録したものであり、「認識した物体」は、そのときに物体認識部４０が認識しディスプレイ５０（画面５１）に表示された物体を記録したものであり、「選択した物体」は、そのときに利用者が選択した物体を記録したものである。
例えば、履歴ＩＤ「１」には、利用者が「起立」姿勢で、顔面が「東」を向いており、「リビング」にいるとき、「天井照明、エアコン、テレビ、ステレオ、扇風機」の物体が認識され、利用者が選択した物体が「天井照明」である履歴情報が記録されている。
また、履歴情報テーブル６１は、過去に利用者が物体を選択したときの履歴情報がすべて記録されており、過去に「方向情報（姿勢、方位）」、「位置情報」、「認識した物体」及び「選択した物体」のすべてが同じ履歴情報があっても、別の履歴ＩＤを付して新たな履歴情報として記録される。例えば、履歴ＩＤ「１」と「６」は、「方向情報（姿勢、方位）」、「位置情報」、「認識した物体」及び「選択した物体」のすべてが同一の履歴情報となっている。
なお、履歴テーブル６１においては、方向情報のうち姿勢は、「起立」と「寝る」としたが、さらに「斜め上」、「斜め下」等を加えてより細かく設定してもよく、方位も「北」、「東」、「南」、「西」の他に「北東」、「北北東」等を加えてより細かく設定してもよい。また、位置情報も「リビング」、「寝室」等の部屋の他に「リビング窓際」、「リビングソファ」といったように部屋の一部まで細かく設定してもよい。
【００４８】
上記のように利用者がどの位置にいて顔面がどの方向を向いている場合にどの物体を選択したかという履歴情報に基づいて、利用者の方向情報及び位置情報と物体との対応付けを行うのは、以下の理由による。
どのような物体が存在するかは利用者の位置によって決まり、一般的に利用者は選択したい物体の方に顔面を向けることから、利用者の方向情報及び位置情報から利用者が選択した物体はおおよそ特定できる。
しかしながら、利用者によっては必ずしも選択したい物体の方に顔面を向けるとは限らない。例えば、天井照明を選択したい場合、天井照明の方に顔面を向けず、上目遣いに天井照明を見る利用者もいる。また、利用者から見て同一方向に複数の物体がある場合、顔面の向きからだけでは、選択したい物体を特定できない。
このような場合、利用者の習性を利用すれば、利用者の選択したい物体を選択することができる。すなわち、選択したい物体に対して顔面をどの方向に向けるかは、利用者の習性によることが多く、また、利用者から見て同一方向に複数の物体がある場合、どの物体を選択したいかも、利用者の習性によることが多い（例えば、利用者の真正面にステレオ、テレビ、扇風機がある場合、ある利用者は常にテレビを選択して操作するという習性がある。）。
したがって、利用者がどの位置にいて顔面がどの方向を向いている場合にどの物体を選択したかという履歴情報に基づけば、利用者の習性等が反映され、利用者が選択したい物体をより的確に選択することができる。
【００４９】
［物体候補特定部７０］
物体候補特定部７０は、方向情報作成部１７から送られてくる利用者の顔面が向いている方向情報（利用者の姿勢と方位の情報）、位置情報作成部２３から送られてくる利用者の位置情報及び対応付け情報記憶部６０に記憶された履歴情報テーブル６１の履歴情報（対応付け情報）に基づいて、物体認識部４０が認識しディスプレイ５０に表示した複数の物体の中から、利用者の選択する物体の候補を特定する。
すなわち、物体候補特定部７０は、履歴情報テーブル６１を検索して、方向情報作成部１７からの方向情報（姿勢と方位）と位置情報作成部２３からの位置情報と一致する方向情報（姿勢と方位）と位置情報が記録された履歴ＩＤの履歴情報を探し、一致する履歴ＩＤの履歴情報において選択した物体を物体の候補とする。
例えば、方向情報作成部１７からの方向情報（姿勢と方位）が「起立」と「東」であり、位置情報作成部２３からの位置情報が「リビング」の場合、履歴情報テーブル６１の方向情報（姿勢と方位）と位置情報が一致する履歴ＩＤは、「１」と「６」であり、履歴ＩＤ「１」と「６」の履歴情報において「選択した物体」は、共に「天井照明」であるから、物体候補特定部７０が特定する物体の候補は「天井照明」となる。
また、物体候補特定部７０は、方向情報作成部１７からの方向情報（姿勢と方位）と位置情報作成部２３からの位置情報と一致する方向情報（姿勢と方位）と位置情報が記録された履歴ＩＤが複数あって、その履歴ＩＤの選択した物体が異なる場合は、物体の候補に優先順位を付け、一致した回数の多い物体ほど優先順位の高い物体の候補とする。
このようにして物体候補特定部７０が特定した物体の候補は、ディスプレイ５０（画面５１）に表示されるが、物体の候補の候補が複数ある場合は、優先順位を付けて表示される。
【００５０】
図８は、物体候補特定部７０が特定した物体の候補をディスプレイ５０（画面５１）に表示した例を説明する図である。図においては、物体候補特定部７０が特定した物体の候補が「天井照明」あるため、天井照明を表す画像２０１に対して、その周囲を囲む選択枠２１０を表示した例を示している。物体候補特定部７０が特定した物体の候補をディスプレイ５０（画面５１）に表示する方法は、このような選択枠を表示することの他、特定した物体の候補を点滅表示してもよく、特定した物体の候補の名称を表示してもよい。
【００５１】
［物体指定部８０、物体確定部９０］
物体指定部８０は、物体候補特定部７０が特定した物体の候補以外の物体を利用者の選択または制御する物体として選択する場合、利用者の操作により、利用者の選択する物体を指定する。
物体確定部９０は、物体候補特定部７０が特定した物体の候補、または、物体指定部８０が指定した物体を利用者の選択する物体として確定する。
【００５２】
図９は、物体確定部９０が利用者の選択する物体を確定する例を説明するための図である。以下、物体候補特定部７０が特定した物体の候補「天井照明」に対して、物体指定部８０が他の物体「エアコン」を指定した場合について説明する。
物体指定部８０は、ディスプレイ５０（画面５１）に表示された「天井照明」の画像２１０を囲む選択枠２１０の下方に、「他候補選択」の文字が入ったボタン２１１と「確定」の文字が入ったボタン２１２を表示する（図９（ａ））。利用者が「確定」のボタン２１２を押すと、物体確定部９０は、物体候補特定部７０が特定した物体の候補「天井照明」を利用者の選択する物体として確定する。一方、利用者が「他候補選択」のボタン２１１を押すと、選択枠２１０が利用者の操作により移動できるようになり、利用者が選択枠２１０を「エアコン」の画像２０２の周囲に移動させると、物体指定部８０は、選択枠２１０の下方に再び「他候補選択」のボタン２１１と「確定」のボタン２１２が表示する。ここで、利用者が「確定」のボタン２１２を押すと、物体確定部９０は、物体指定部８０が指定した物体「エアコン」を利用者の選択する物体として確定する。
このようにして物体確定部９０は利用者の選択する物体を確定するが、そのときの利用者の方向情報（姿勢と方位）及び位置情報と、物体確定部９０が確定した物体とを対応付けて新たな履歴情報とし、これを履歴情報書込部（図示せず）が履歴情報テーブル６１に追加記録する。
そして、物体確定部９０が確定した物体の情報は、物体制御部１００に送られる。
【００５３】
［物体制御部１００］
物体制御部１００は、各種操作機器を制御するサーバー（図示せず）と通信を行う通信部（図示せず）を制御し、このサーバーを介して、物体確定部９０が確定した物体（各種機器類等）と通信を行い、その動作（例えば、スイッチのON・OFF）を制御する。
【００５４】
［物体認識選択装置（スマートグラス）１の動作の概要］
図１０は、物体認識選択装置（スマートグラス）１の動作の概要を示すフローチャートであり、以下図１０に基づいて物体認識選択装置１の動作の概要を説明する。
まず、方向情報取得部１０が、加速度センサー１１及び地磁気センサー１４により測定されたデータから、スマートグラス１を装着した利用者の顔面がどの方向を向いているかを分析し、利用者の顔面が向いている方向情報を取得する（Ｓ１）。
次いで、位置情報取得部２０が、位置検出センサー２１で検出されたデータから、スマートグラス１を装着した利用者の位置情報を取得する（Ｓ２）。
次いで、物体画像取込部３０が、スマートグラス１に搭載されたカメラ３１により、利用者の前方に存在する複数の物体を撮影してその画像を取り込む（Ｓ３）。
次いで、物体認識部４０が、物体画像取込部３０が取り込んだ複数の物体を含む画像から、その複数の物体を認識する物体認識を行い（Ｓ４）、認識した複数の物体の画像を画像表示部５０に表示する（Ｓ５）。
次いで、物体候補特定部７０が、方向情報取得部１０が取得した利用者の方向情報、位置情報取得部２０が取得した利用者の位置情報及び対応付け情報記憶部６０に記憶された対応付け情報に基づいて、物体表示部５０に表示された複数の物体の中から、利用者の選択または制御する物体の候補を特定する（Ｓ６）。
次いで、物体確定部９０が、物体候補特定部７０が特定した利用者の選択または制御する物体の候補、または、物体指定部８０により利用者が指定した物体を、利用者の選択または制御する物体として確定する（Ｓ７）。
最後に、物体制御部１００が、物体確定部９０が確定した利用者の選択または制御する物体（各種機器類等）と通信を行い、その動作（例えば、スイッチのON・OFF）を制御し（Ｓ８）、終了する。
【００５５】
［方向情報取得部１０の動作］
図１１は、方向情報取得部１０が行う方向情報の取得の動作（図１０のＳ１）の詳細を示すフローチャートであり、以下図１１に基づいて方向情報取得部１０の動作を説明する。
まず、加速度センサー１１が、利用者が装着したスマートグラス１に作用する重力加速度を測定し（Ｓ１０）、データ取得蓄積部１２が測定されたデータを一旦保存蓄積する（Ｓ１１）。
次いで、姿勢分析特定部１３が、データ取得蓄積部１２から送られてくる重力加速度データを分析して、利用者の顔面が上下方向（鉛直方向）のどの方向を向いているか、すなわち、利用者がどのような姿勢でいるかを特定し（Ｓ１２）、特定した利用者の姿勢情報を方向情報作成部１７に送る（Ｓ１３）。
利用者の姿勢情報には、起立（顔面が水平方向を向いている）、寝る（顔面が真上方向を向いている）、斜め上（顔面が斜め上方向を向いている）、斜め下（顔面が斜め下方向を向いている）等がある。
次いで、地磁気センサー１４が、スマートグラス１に作用する磁界の向きを測定し（Ｓ１４）、方位算出特定部１６が、測定データ（磁界の向き）から、北、北東、東等の方位を計算して、利用者の顔面がどの方位を向いているかを特定し（Ｓ１５）、特定した利用者の方位情報を方向情報作成部１７に送る（Ｓ１６）。
最後に、方向情報作成部１７が、姿勢分析特定部１３から送られてくる利用者の姿勢情報と、方位算出特定部１６から送られてくる利用者の方位情報を合わせて、利用者の顔面が向いている方向情報を作成し（Ｓ１７）、方向情報の取得処理を終了する。
【００５６】
［位置情報取得部２０の動作］
図１２は、位置情報取得部２０が行う位置情報の取得の動作（図１０のＳ２）の詳細を示すフローチャートであり、以下図１２に基づいて位置情報取得部２０の動作を説明する。
まず、ＧＰＳ受信機等の位置検出センサー２１が、スマートグラス１を装着した利用者の位置を検出して、位置データを出力する（Ｓ２０）。
次いで、データ取得部２２が出力される位置データを取り込み（Ｓ２１）、この位置データに基づいて位置情報作成部２３が利用者の位置情報を作成し（Ｓ２２）、位置情報の取得処理を終了する。
【００５７】
［物体画像取込部３０の動作］
図１３は、物体画像取込部３０が行う物体画像取込の動作（図１０のＳ３）の詳細を示すフローチャートであり、以下図１３に基づいて物体画像取込部３０の動作を説明する。
まず、カメラ３１が、スマートグラス１を装着した利用者の前方に存在する物体を撮影し（Ｓ３０）、画像取得部３２が、撮影した画像を取り込み（Ｓ３１）、送信部３３がこの画像をインターネット回線３４によりサーバー８に送信する（Ｓ３２）。
次いで、サーバー６側の受信部３５がインターネット回線３４から送られてくる画像を受信し（Ｓ３３）、画像取得部３６が受信した画像を取り込み（Ｓ３４）、物体画像取込処理を終了する。
【００５８】
［物体画像取込部４０の動作］
図１４は、物体認識部４０が行う物体認識の動作（図１０のＳ４）の詳細を示すフローチャートであり、以下図１４に基づいて物体認識部４０の動作を説明する。
まず、画像取得部３６から送られてくる画像に含まれる物体の外形を抽出し（Ｓ４０）、抽出した物体の外形と、モデルデータ記憶部に記憶されているモデルデータ（物体の外形データ）とのマッチングを行う（Ｓ４１）。
次いで、マッチしたモデルデータをその画像に含まれている物体として認識し（Ｓ４２）、その名称（識別記号）を対応付け（Ｓ４３）、物体認識処理を終了する。
【００５９】
［画像表示部（ディスプレイ）５０の動作］
図１５は、画像表示部（ディスプレイ）５０が、物体画像取込部４０の認識した物体の画像を表示する動作（図１０のＳ５）の詳細を示すフローチャートであり、以下図１５に基づいて画像表示部（ディスプレイ）５０の動作を説明する。
まず、サーバー６側の送信部４１が、物体認識部４０の認識した物体の画像とそれに対応付けた名称（識別記号）を、インターネット回線４２（３４）により送信する（Ｓ５０）。
次いで、スマートグラス１側の受信部４３が、送られてきた物体の画像等を受信し（Ｓ５１）、物体画像取得部４４がこの物体の画像等を取得し（Ｓ５２）、画像表示部（ディスプレイ）５０が、画面５１に物体の画像を表示し（Ｓ５３、図６参照）、処理を終了する。
【００６０】
［物体候補特定部７０及び物体確定部９０の動作］
図１６は、物体候補特定部７０及び物体確定部９０が行う物体候補特定及び物体の確定の動作（図１０のＳ６、Ｓ７）の詳細を示すフローチャートであり、以下図１６に基づいて物体候補特定部７０及び物体確定部９０の動作を説明する。
まず、物体候補特定部７０は、履歴情報テーブル６１を検索して、方向情報作成部１７からの方向情報（姿勢と方位）と位置情報作成部２３からの位置情報と一致する方向情報（姿勢と方位）と位置情報が記録された履歴ＩＤがあるかを判断する（Ｓ６０）。一致する履歴ＩＤがあれば、一致する履歴ＩＤの履歴情報において選択した物体を物体の候補として特定し（Ｓ６１）、一致する履歴ＩＤがなければ処理を終了する。
次いで、物体候補特定部７０は、物体の候補が二以上（複数）あるかを判断し（Ｓ６２）、二以上（複数）なければ、物体の候補として特定したものをディスプレイ５０（画面５１）に表示する（Ｓ６３、図８参照）。
次いで、物体確定部９０が、利用者の操作により、物体指定部８０から物体の候補以外の物体の指定があるかを判断し（Ｓ６４）、物体の指定がなければ、表示された物体の候補を利用者の選択する物体として確定し（Ｓ６５）、物体の指定があれば、指定された物体を物体の候補として表示し（Ｓ６３）、Ｓ６４の処理を行う（図９参照）。
そして、このときの利用者の方向情報（姿勢と方位）及び位置情報と、選択物体確定部９０が確定した物体とを対応付けて新たな履歴情報とし、これを履歴情報書込部（図示せず）が履歴情報テーブル６１に追加記録する（Ｓ６６）。
また、Ｓ６２で物体の候補が二以上（複数）ある場合は、物体候補特定部７０が、物体の候補が同一か否かを判断し（Ｓ６７）、同一でなければ、すなわち物体の候補が異なる場合は、物体の候補に優先順位を付け（Ｓ６８）、優先順位を付けた物体の候補を表示し（Ｓ６３）、例えば、方向情報と位置情報が一致した回数の多い物体ほど優先順位の高い物体の候補とし、優先順位の高い物体について選択枠２１０を表示し、Ｓ６４以降の処理を行う。
【産業上の利用可能性】
【００６１】
本発明の物体認識選択装置、物体認識選択方法及びプログラムは、スマートグラス（メガネ型コンピュータ）等のカメラを搭載して頭部や顔面に装着するタイプのウエアラブルコンピュータ（端末）等から、利用者の選択または制御したい物体（機器）を優先的に選択できる。
【符号の説明】
【００６２】
１  物体認識選択装置（スマートグラス）
２  装着部
３  フレーム
４  レンズ部
５  制御部
６  サーバー
１０  方向情報取得部
１１  加速度センサー
１２  データ取得蓄積部
１３  姿勢分析特定部
１４  地磁気センサー
１５  データ取得部
１６  方位算出特定部、
１７  方向情報作成部
２０  位置情報取得部
２１  位置検出センサー
２２  データ取得部
２３  位置情報作成部
３０  物体画像取込部
３１  カメラ
３２  画像取得部
３３  送信部
３４、４２  インターネット回線
３５、４３  受信部
３６  画像取得部
４０  物体認識部
４４  物体画像取得部
５０  物体表示部（ディスプレイ）
５１  画面
６０  対応付け情報記憶部
６１  履歴情報テーブル
７０  物体候補特定部
８０  物体特定部
９０  選択物体確定部
１００  物体制御部
２００〜２０５  画像
２１０  選択枠
２１１、２１２  ボタン
Ｕ  利用者
ＵＦ  利用者の顔面
ＶＤ  顔面ＵＦが向く方向の範囲
ＵＤ  スマートグラス１に作用する磁界の向き
ＨＤ  利用者Ｕの顔面ＵＦが向く方向の範囲
【図１】
2016192096.tif 000003
【図２】
2016192096.tif 000004
【図３】
2016192096.tif 000005
【図４】
2016192096.tif 000006
【図５】
2016192096.tif 000007
【図６】
2016192096.tif 000008
【図７】
2016192096.tif 000009
【図８】
2016192096.tif 000010
【図９】
2016192096.tif 000011
【図１０】
2016192096.tif 000012
【図１１】
2016192096.tif 000013
【図１２】
2016192096.tif 000014
【図１３】
2016192096.tif 000015
【図１４】
2016192096.tif 000016
【図１５】
2016192096.tif 000017
【図１６】
2016192096.tif 000018
【手続補正書】
【提出日】平成27年6月12日(2015.6.12)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2016192096.tif 000019