(57)【特許請求の範囲】
【請求項１】
カメラの移動速度が閾値以上であるか否かを判定する移動速度判定部と、  前記移動速度判定部が、前記カメラの移動速度が前記閾値以上であると判定した場合、前記カメラから取得したキャプチャ画像に基づき、点検を行うべき対象物となり得る物体である点検対象候補が当該キャプチャ画像中に写っているかどうかの判定を行う対象物概要判定部と、  前記対象物概要判定部が、前記点検対象候補が前記キャプチャ画像中に写っていると判定した場合、前記カメラの移動速度を遅くさせる指示を出力する移動速度指示部と、  前記移動速度判定部が、前記カメラの移動速度が前記閾値未満であると判定した場合、前記キャプチャ画像に基づき、当該キャプチャ画像中に写っている対象物の種別を判定する対象物種別判定部と、  前記対象物種別判定部が判定した前記対象物の種別が、現在点検を行うべき点検対象物の種別と一致するかを判定し、当該対象物の種別が前記点検対象物の種別と一致する場合、現在の前記カメラの位置を撮影位置として決定し、当該カメラの動きを停止させる指示を出力する撮影位置決定部  とを備えた撮影補助装置。
【請求項２】
前記撮影位置決定部が前記撮影位置を決定すると、前記カメラに対して撮影指示を出力する撮影制御部  を備えた請求項１記載の撮影補助装置。
【請求項３】
前記対象物概要判定部は、  前記点検対象物となり得る対象物の外形を示す概要画像データと、前記キャプチャ画像中に写っている物体とを比較して、前記対象物を検出する  ことを特徴とする請求項１記載の撮影補助装置。
【請求項４】
前記対象物種別判定部は、  前記点検対象物となり得る対象物が詳細に写っている詳細画像データと、前記キャプチャ画像中に写っている物体とを比較して、前記対象物の種別を判定する  ことを特徴とする請求項１記載の撮影補助装置。
【請求項５】
前記撮影位置決定部は、  前記点検対象物となり得る対象物の種別の情報、および、当該対象物に対する点検手順が定義された点検手順データに基づき前記点検対象物を特定し、前記対象物種別判定部が判定した対象物の種別が当該点検対象物の種別と一致するかどうかを判定する  ことを特徴とする請求項１記載の撮影補助装置。
【請求項６】
前記点検を行うべき対象物となり得る対象物が複数存在し、  前記対象物種別判定部が、前記対象物の種別が前記点検対象物の種別と一致しないと判定した場合、前記対象物となり得る複数の対象物を詳細に示した画像データと、当該複数の対象物間の位置関係を判断するための情報とを含む対象物位置データとに基づき、前記カメラからみた前記点検対象物の方向を案内する情報を出力させる周辺位置情報通知部  を備えた請求項１記載の撮影補助装置。
【請求項７】
移動速度判定部が、カメラの移動速度が閾値以上であるか否かを判定し、  対象物概要判定部が、前記移動速度判定部が、前記カメラの移動速度が前記閾値以上であると判定した場合、前記カメラから取得したキャプチャ画像に基づき、点検を行うべき対象物となり得る物体である点検対象候補が当該キャプチャ画像中に写っているかどうかの判定を行い、  移動速度指示部が、前記対象物概要判定部が、前記点検対象候補が前記キャプチャ画像中に写っていると判定した場合、前記カメラの移動速度を遅くさせる指示を出力し、  対象物種別判定部が、前記移動速度判定部が、前記カメラの移動速度が前記閾値未満であると判定した場合、前記キャプチャ画像に基づき、当該キャプチャ画像中に写っている対象物の種別を判定し、  撮影位置決定部が、前記対象物種別判定部が判定した前記対象物の種別が、現在点検を行うべき点検対象物の種別と一致するかを判定し、当該対象物の種別が前記点検対象物の種別と一致する場合、現在の前記カメラの位置を撮影位置として決定し、当該カメラの動きを停止させる指示を出力する撮影補助方法。
【発明の詳細な説明】
【技術分野】
【０００１】  この発明は、カメラによる撮影を補助する撮影補助装置および撮影補助方法に関するものである。
【背景技術】
【０００２】  水処理設備、プラント設備、発電設備、またはビル設備等の機械設備では、保守点検作業が欠かせない。これらの機械設備の保守点検の際、作業者は、直接には目視確認できない場所に設置されているメータ等の状態を確認しなければならない場合がある。この場合、例えば、作業者がカメラを持ち、メータ等を撮影できそうな位置までカメラを移動し、その位置で撮影した写真からメータ等の状態を確認するという方法がある。しかし、この方法では、作業者は、メータ等の対象物を撮影できそうな位置で撮影を行った後、撮影した写真を見て、当該対象物が適切なアングル内に収まっているか等を確認する作業を何度も繰り返す必要がある。  そのため、作業者が、直接には目視確認できない対象物（以下「不可視対象物」ともいう。）を適切なアングル内に収めて撮影することができるよう、作業者の撮影動作を補助する技術が求められる。【０００３】  特許文献１には、携帯カメラで自分撮りをする際、使用者が液晶画面で自分の顔が画角に入っているか確認できない場合、当該携帯カメラに映る画像から顔の方向を検出し、使用者が設定した、予め記憶されている顔の方向と比較して、両者が一致するように、音声によるガイドで使用者に当該携帯カメラの移動を促すことで、使用者が意図した方向から自分を撮影することができるようにした撮影装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２５０１３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】  作業者が、機械設備の保守点検のために不可視対象物の撮影を行おうとする際、作業者は、不可視対象物または不可視対象物を撮影できそうな位置を手探りで探すため、カメラが捉える画像には、ボケまたはブレが生じやすい。したがって、特許文献１に開示された撮影装置において採用されている技術を、保守点検時の不可視対象物の撮影に適用した場合であっても、カメラが捉える画像のボケまたはブレにより、不可視対象物を正確に検出することができないため、適切にガイドを行うことができない。すなわち、従来の技術では、依然として、作業者が不可視対象物を適切なアングル内に収めて撮影することができるほどには、作業者の撮影動作を補助することができないという課題があった。【０００６】  この発明は上記のような課題を解決するためになされたもので、ユーザが、不可視対象物を適切なアングルに収めて撮影することができるよう、ユーザの撮影動作を補助することができる撮影補助装置および撮影補助方法を提供すること目的としている。
【課題を解決するための手段】
【０００７】  この発明に係る撮影補助装置は、カメラの移動速度が閾値以上であるか否かを判定する移動速度判定部と、移動速度判定部が、カメラの移動速度が閾値以上であると判定した場合、カメラから取得したキャプチャ画像に基づき、点検を行うべき対象物となり得る物体である点検対象候補が当該キャプチャ画像中に写っているかどうかの判定を行う対象物概要判定部と、対象物概要判定部が、点検対象候補がキャプチャ画像中に写っていると判定した場合、カメラの移動速度を遅くさせる指示を出力する移動速度指示部と、移動速度判定部が、カメラの移動速度が閾値未満であると判定した場合、キャプチャ画像に基づき、当該キャプチャ画像中に写っている対象物の種別を判定する対象物種別判定部と、対象物種別判定部が判定した対象物の種別が、現在点検を行うべき点検対象物の種別と一致するかを判定し、当該対象物の種別が点検対象物の種別と一致する場合、現在の前記カメラの位置を撮影位置として決定し、当該カメラの動きを停止させる指示を出力する撮影位置決定部とを備えたものである。
【発明の効果】
【０００８】  この発明によれば、ユーザは、不可視対象物を適切なアングルに収めて撮影することができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１に係る撮影補助装置の機能構成を示したブロック図である。
【図２】この実施の形態１において、概要画像ＤＢに記憶されている概要画像データの一例を示す図である。
【図３】この実施の形態１において、詳細画像ＤＢに記憶されている詳細画像データの一例を示す図である。
【図４】この実施の形態１において、点検手順ＤＢに記憶されている点検手順データの一例を示す図である。
【図５】この実施の形態１に係る撮影補助装置の全体の動作を説明するためのフローチャートである。
【図６】この実施の形態１に係る撮影補助装置の対象物概要判定部および移動速度指示部の詳細な動作を説明するためのフローチャートである。
【図７】この実施の形態１に係る撮影補助装置の対象物種別判定部、撮影位置決定部、および、撮影制御部の詳細な動作を説明するためのフローチャートである。
【図８】図８Ａ，図８Ｂは、この発明の実施の形態１に係る撮影補助装置のハードウェア構成の一例を示す図である。
【図９】この発明の実施の形態２に係る撮影補助装置の機能構成を示したブロック図である。
【図１０】実施の形態２において、現在のカメラの画角がとらえた対象物が、正しい点検対象ではない場合の一例を説明するための図である。この発明の実施の形態３におけるナビゲーションシステムの概要を示す図である。
【図１１】この実施の形態２において、対象物位置ＤＢに記憶されている対象物位置データの一例を示す図であって、図１１Ａは、点検対象物を２次元または３次元点群モデル等で示した画像データを示す図であり、図１１Ｂは、各２次元画像または３次元点群モデル上で、各点検対象物の中心座標の情報を示す図である。
【図１２】実施の形態２において、周辺位置情報通知部が、キャプチャ画像と、対象物位置データで示される画像とに基づき、作業者に指示する、点検対象物の位置を算出する方法の一例を説明するための図である。
【図１３】この実施の形態２に係る撮影補助装置の周辺位置情報通知部の詳細な動作を説明するためのフローチャートである。
【図１４】この実施の形態２に係る撮影補助装置の全体の動作を説明するためのフローチャートである。
【図１５】この実施の形態２において、対象物位置ＤＢに記憶されている対象物位置データの一例を示す図である。
【発明を実施するための形態】
【００１０】  以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。実施の形態１．
【００１１】  図１は、実施の形態１に係る撮影補助装置１の機能構成を示したブロック図である。  撮影補助装置１は、カメラ２、加速度センサまたはジャイロセンサ等の各種センサ（図示省略）、および、スピーカ３を搭載した、スマートフォンまたはタブレット等の携帯端末１００に搭載される。  この実施の形態１では、一例として、撮影補助装置１を搭載した携帯端末１００は、作業者が機械設備における保守点検作業を行う際に当該作業者が携帯する携帯端末であることを想定している。なお、機械設備は、例えば、水処理設備、プラント設備、発電設備、またはビル設備である。また、作業者は、撮影補助装置１を搭載した携帯端末１００のユーザでもある。  作業者は、保守点検作業において、作業者が直接には目視確認できない場所に設置されているメータ等の対象物（不可視対象物）の状態を確認する。その際、作業者は、例えば携帯端末１００を手に持ち、不可視対象物または不可視対象物を撮影できそうな位置を手探りで探し、携帯端末１００によって当該不可視対象物を撮影し、当該不可視対象物を撮影した画像を見て、当該不可視対象物の状態を確認することで、保守点検作業を行う。  撮影補助装置１は、保守点検作業時に、不可視対象物を適切なアングルに収めて撮影することができるよう、作業者による撮影動作を補助する。  なお、この実施の形態１では、不可視対象物は複数存在し、作業者は、予め決められた順番で各不可視対象物を撮影し、撮影した画像を見て、各不可視対象物の状態を確認し、保守点検作業を行うものとする。
【００１２】  撮影補助装置１は、移動速度算出部１１と、移動速度判定部１２と、対象物概要判定部１３と、移動速度指示部１４と、対象物種別判定部１５と、撮影位置決定部１６と、撮影制御部１７とを備える。  また、撮影補助装置１は、管理者または作業者等によって事前に生成されている事前生成データベース（ＤＢ）４を参照し、当該事前生成ＤＢ４に記憶されている各種情報を取得する。事前生成ＤＢ４は、例えば、撮影補助装置１がネットワークを介して参照可能な場所に備えられる。事前生成ＤＢ４は、概要画像ＤＢ４１と、詳細画像ＤＢ４２と、点検手順ＤＢ４３とを有する。概要画像ＤＢ４１と、詳細画像ＤＢ４２と、点検手順ＤＢ４３の詳細については後述する。
【００１３】  移動速度算出部１１は、加速度センサ、または、ジャイロセンサ等、携帯端末１００に搭載されている各種センサから取得した情報に基づき、手の速度を算出する。この実施の形態１において、手の速度とは、携帯端末１００を手に持ち、当該携帯端末１００を操作して対象物を撮影する作業者の手の移動速度である。すなわち、手の移動速度は、携帯端末１００のカメラ２の移動速度とほぼ同じである。以下の説明では、カメラ２の移動速度を、作業者の「手の速度」として説明する。  移動速度算出部１１は、算出した手の速度に関する情報を、移動速度判定部１２に出力する。
【００１４】  移動速度判定部１２は、移動速度算出部１１から出力された、手の速度に関する情報に基づき、手の速度が、規定速度（以下、単に「閾値」ということもある。）以上かどうかを判定する。この実施の形態１において、規定速度とは、カメラがキャプチャする画像（以下「キャプチャ画像」という。）にボケまたはブレが生じやすくなる手の速度の範囲の下限値のことをいう。キャプチャ画像とは、デジタルカメラにおいて、ユーザが写真を撮影する前に液晶画面等を利用して撮影範囲を確認するために、カメラが捉えて液晶画面等に表示させる画像のことである。管理者または作業者等は、予め、キャプチャ画像にボケまたはブレが生じやすくなる焦点距離、または、手ぶれ補正機能の有無等に基づいて、当該規定速度を算出し、撮影補助装置１が参照可能な場所に備えられる規定速度記憶部（図示省略）に設定しておく。この実施の形態１では、一例として、カメラ２は、３０ＦＰＳ（Ｆｌａｍｅｓ  Ｐｅｒ  Ｓｅｃｏｎｄ）のフレームレートを有するカメラとし、管理者または作業者等は、フレーム間で１ｃｍの手の動きがあればブレが生じ、不可視対象物の種別までは判別できないと想定し、規定速度を秒速３０ｃｍと設定したものとする。  移動速度判定部１２は、手の速度が規定速度以上かどうかの判定結果に関する情報を、対象物概要判定部１３、および、対象物種別判定部１５に出力する。
【００１５】  対象物概要判定部１３は、移動速度判定部１２が、手の速度が規定速度以上であると判定した場合に、カメラ２から取得されたキャプチャ画像と、概要画像ＤＢ４１に記憶されている概要画像データに基づき、キャプチャ画像中に写っている物体の外形を確認し、不可視対象物がキャプチャ画像中に写っているかどうかの粗い判定を行う。具体的には、対象物概要判定部１３は、キャプチャ画像中に写っている物体の外形が、例えば、不可視対象物に応じて予め定められた「○（円）」または「□（四角）」等の簡単な形状であるかどうかを確認することにより、不可視対象物がキャプチャ画像中に写っていることを判定する（このような判定を行うことを、ここでは「概要を判定する」ともいう。）。対象物概要判定部１３は、例えば、キャプチャ画像中に写っている物体の外形が予め定められた「○（円）」または「□（四角）」等の形状であるかを、概要画像データをテンプレート画像としたテンプレートマッチングを用いて確認する。当該テンプレートマッチングを行った結果、キャプチャ画像中に、概要画像データで示された形状とマッチする物体が写っていることが確認できた場合、対象物概要判定部１３は、不可視対象物らしき物体がキャプチャ画像に写っていると判定する。手の速度が規定速度以上である場合、キャプチャ画像にはボケまたはブレが生じており、キャプチャ画像中に写っている物体が何であるかを正確に判定することは、困難である。このため、対象物概要判定部１３は、上記の方法により、不可視対象物がキャプチャ画像中に写っているかどうかの粗い判定を行う。このように、対象物概要判定部１３による判定は、粗い判定であり、キャプチャ画像中に写っている物体が不可視対象物であるかどうかを確定するものではない。対象物概要判定部１３は、点検を行うべき対象である不可視対象物について、その候補となる物体（以下「点検対象候補」という。）を判定するものである。  なお、撮影補助装置１の取得部（図示省略）は、キャプチャ画像をカメラ２から取得する。そして、対象物概要判定部１３は、当該取得部からキャプチャ画像を取得する。キャプチャ画像の詳細については後述する。
【００１６】  ここで、図２は、この実施の形態１において、概要画像ＤＢ４１に記憶されている概要画像データの一例を示す図である。  概要画像ＤＢ４１には、図２に示すように、例えば、メータの外枠形状の円画像、または、スイッチの外枠形状の四角画像等の画像データが、概要画像データとして記憶されている。これらのメータまたはスイッチ等は、作業者が直接には目視確認できない場所に設置されており点検の対象となるものであり、不可視対象物の一例である。概要画像ＤＢ４１には、不可視対象物についての、外枠形状等の外形を示す画像データが、概要画像データとして記憶される。
【００１７】  なお、この実施の形態１では、対象物概要判定部１３が、上記の方法で、点検対象候補がキャプチャ画像中に写っているかどうかを判定するものとするが、対象物概要判定部１３が、点検対象候補がキャプチャ画像中に写っているかどうかを判定方法は、これに限らない。例えば、対象物概要判定部１３は、「○（円）」の形状が写っているかどうかの確認に、既存のハフ変換の技法を用いてもよい。また、例えば、不可視対象物が、ＱＲコード（登録商標／以下、記載を省略する。）のようなマーカが貼られているメータ等であれば、対象物概要判定部１３は、マーカの外枠形状の四角がキャプチャ画像中に写っていることを確認することにより、キャプチャ画像中に点検対象候補が写っているかどうかを判定してもよい。  対象物概要判定部１３は、キャプチャ画像中に点検対象候補が写っていると判定できた場合、その判定結果を、移動速度指示部１４に出力する。
【００１８】  移動速度指示部１４は、対象物概要判定部１３から、キャプチャ画像中に点検対象候補が写っているとの判定結果が出力されると、スピーカ３に対して、音声データを出力し、スピーカは、当該音声データに基づき音声を出力する。この音声データは、作業者に手の動きを遅くすることを指示する内容の音声を示すものである。具体的には、例えば、移動速度指示部１４は、スピーカ３に対して、「その周辺です。手をゆっくり動かしてください」という音声を出力させる。なお、これは一例に過ぎず、移動速度指示部１４は、「ピー」等の効果音で、その周辺に点検対象候補があることを案内してもよい。
【００１９】  対象物種別判定部１５は、移動速度判定部１２が、手の速度が規定速度未満であると判定した場合に、詳細画像ＤＢ４２に記憶されている詳細画像データと、キャプチャ画像とを照合して、キャプチャ画像中に写っている不可視対象物の種別を判定する。対象物種別判定部１５は、例えば、詳細画像データをテンプレート画像としたテンプレートマッチングを行って、物体の種別を判定する。手の速度が規定速度未満である場合、キャプチャ画像にはボケまたはブレが生じないため、キャプチャ画像中に写っている物体が何であるかを正確に判定することは、可能である。すなわち、キャプチャ画像中に不可視対象物が映っていれば、対象物種別判定部１５は、当該不可視対象物の種別を判定することができる。
【００２０】  ここで、図３は、この実施の形態１において、詳細画像ＤＢ４２に記憶されている詳細画像データの一例を示す図である。  詳細画像ＤＢ４２には、図３に示すように、例えば、メータの画像、または、スイッチの画像等、対象物が詳細に写っている画像のデータが、詳細画像データとして記憶されている。詳細画像ＤＢ４２には、不可視対象物が詳細に写っている画像のデータが、概要画像データとして記憶される。  なお、例えば、実際に、不可視対象物と全く同じ機器が、当該不可視対象物と並んで設置されている場合は、テンプレート画像に周辺情報を加え、そのテンプレート画像の違いから不可視対象物の種別を判定してもよい。全く同じ機器が並んでいる場合、ＱＲコードのようなマーカが貼られている機器であるなら、対象物種別判定部１５は、マーカを検出して、当該マーカから、不可視対象物の種別を判定してもよい。  対象物種別判定部１５は、不可視対象物の種別の判定結果を、撮影位置決定部１６に出力する。
【００２１】  撮影位置決定部１６は、対象物種別判定部１５から出力された、不可視対象物の種別の判定結果に基づき、不可視対象物を撮影する撮影位置を決定し、スピーカ３から、作業者に対して手を止めさせる指示を、音声等で出力させる。具体的には、撮影位置決定部１６は、対象物種別判定部１５で判定した不可視対象物と、点検手順ＤＢ４３に記憶されている点検手順データとに基づき、キャプチャ画像中に写っている不可視対象物と、点検手順データで定義されている、現在点検を行うべき不可視対象物とが一致しているかどうかを判定し、一致している場合、現在の手の位置を、撮影位置として決定する。この実施の形態１では、点検手順データから特定される、作業者が現在点検を行うべき不可視対象物を、点検対象物ともいう。  撮影位置決定部１６は、スピーカ３から、作業者に対して手を現在の位置で止めるよう指示する内容の音声を出力させる。
【００２２】  ここで、図４は、この実施の形態１において、点検手順ＤＢ４３に記憶されている点検手順データの一例を示す図である。  点検手順ＤＢ４３には、図４に示すように、どのような順番で、どの不可視対象物に対して、どのような作業を行うかという点検手順が定義されている。  図４では、一例として、作業ごとに手順ＩＤが付与され、当該作業ＩＤの昇順に、当該作業ＩＤに対応する作業が並べられている。ここでは、作業者は、作業ＩＤの昇順に、当該作業ＩＤに対応する作業を行うものとする。
【００２３】  作業内容の情報は、例えば、携帯端末１００の表示部（図示省略）にテキストで表示され、作業者は、当該テキストの内容を確認し、携帯端末１００を持って点検対象となる不可視対象物または不可視対象物を撮影できそうな位置を手探りで探しながら、点検作業を進める。  そして、作業者は、点検作業が終了すると、携帯端末１００のタッチパネル等の入力部（図示省略）から、点検結果を入力する。このとき、作業者は、どの不可視対象物に対する点検作業が完了したのかがわかるように、点検結果を入力する。例えば、作業者は、不可視対象物の名称と点検結果とを紐付けて入力するようにしてもよいし、作業ＩＤと点検結果とを紐付けて入力するようにしてもよい。  点検結果が入力されると、携帯端末１００の結果反映部（図示省略）は、例えば、点検手順データの該当の手順ＩＤに、点検済フラグを付与する。  撮影位置決定部１６は、点検手順データを参照し、点検済みフラグが付与されていない手順ＩＤに対応する不可視対象物であって、最も小さい点順ＩＤに対応する不可視対象物を、現在点検を行うべき不可視対象物である点検対象物と判断し、当該点検対象物と、対象物種別判定部１５が判定した不可視対象物とが一致するかどうかを判定する。  なお、点検済みフラグは、例えば、作業者が、入力部から、点検作業が終了した旨の情報を入力した場合、または、携帯端末１００の電源がオフされた場合等にクリアされる。  また、図４では、点検手順データには、手順ＩＤごとに、作業場所、作業対象、不可視対象物、および、作業内容が対応付けられるものとしているが、これは一例に過ぎず、その他の情報が対応付けられて定義されているものでもよい。点検手順データは、当該点検手順データに基づき、作業者に対して、次にどの不可視対象物に対してどのような作業を行うかを案内できるようになっていればよい。なお、図４において、作業対象は、不可視対象物が取り付けられている制御盤または分電盤等を示す。
【００２４】  撮影位置決定部１６は、撮影位置を決定すると、点検対象物を検出した旨、および、手の動きを止めさせる旨の内容の指示を音声としてスピーカ３から出力させる。具体的には、撮影位置決定部１６は、例えば、スピーカ３から「メータＡを検出しました。手を止めてください」という音声を出力させる。なお、これは一例に過ぎず、撮影位置決定部１６は、スピーカ３等から、「ピピピ」等の効果音として、点検対象物を検出した旨および手の動きを止めさせる旨の指示を出力させてもよい。  さらに、撮影位置決定部１６は、対象物種別判定部１５が判定した不可視対象物と、点検手順データで定義されている点検対象物とが一致しない場合は、例えば、スピーカ３に対して、検出された不可視対象物が点検対象物ではない旨の案内を出力させる。具体的には、撮影位置決定部１６は、例えば、スピーカ３から「メータＢを検出しました。現在の点検対象ではありません」という音声を出力させる。撮影位置決定部１６は、スピーカ３に当該案内を出力させることによって、作業者に、再度点検対象物となる不可視対象物を探すよう指示する。  また、撮影位置決定部１６は、撮影位置を決定した場合、撮影位置を決定した旨の位置決定通知を、撮影制御部１７に出力する。
【００２５】  撮影制御部１７は、撮影位置決定部１６から位置決定通知が出力されると、当該位置決定通知を取得した時点の位置を撮影位置として、カメラ２に対してシャッターを切るよう制御する。これにより、カメラ２は、自動的にシャッターを切り、写真を撮影する。
【００２６】  次に、この実施の形態１に係る撮影補助装置１の動作について説明する。  図５は、この実施の形態１に係る撮影補助装置１の全体の動作を説明するためのフローチャートである。  作業者は、携帯端末１００を操作して、カメラ２を起動する。  カメラ２が起動されると（ステップＳＴ５０１）、作業者は手探りで不可視対象物または不可視対象物を撮影できそうな位置を探す（ステップＳＴ５０２）。このとき、作業者は、カメラ２に画像をキャプチャさせながら不可視対象物を探す。キャプチャ画像は、逐次、カメラ２から撮影補助装置１の取得部（図示省略）に出力される。撮影補助装置１の取得部は、キャプチャ画像を取得し、移動速度算出部１１、対象物概要判定部１３、および、対象物種別判定部１５へ出力する。
【００２７】  移動速度算出部１１は、加速度センサ、または、ジャイロセンサ等、携帯端末１００に搭載されている各種センサから取得した情報に基づき、手の速度を算出する（ステップＳＴ５０３）。移動速度算出部１１は、算出した手の速度に関する情報を、移動速度判定部１２に出力する。
【００２８】  移動速度判定部１２は、ステップＳＴ５０３において移動速度算出部１１から出力された、手の速度に関する情報に基づき、手の速度が、規定速度（閾値）以上かどうかを判定する（ステップＳＴ５０４）。ここでは、移動速度判定部１２は、手の速度が、秒速３０ｃｍ以上かどうかを判定する。  なお、この実施の形態１では、移動速度算出部１１が手の速度を算出し、移動速度判定部１２は、移動速度算出部１１が算出した手の速度が規定速度以上かどうかを判定するようにするが、これに限らない。例えば、携帯端末１００において、携帯端末１００自身の移動速度、すなわち、手の移動速度を算出している場合、移動速度判定部１２は、携帯端末１００から当該手の移動速度に関する情報を取得し、手の速度が規定速度以上かどうかを判定するようにしてもよい。
【００２９】  ステップＳＴ５０４において、手の速度が規定速度以上と判定された場合（ステップＳＴ５０４の“ＹＥＳ”の場合）、対象物概要判定部１３は、取得部から取得したキャプチャ画像と、概要画像ＤＢ４１に記憶されている概要画像データとに基づき、キャプチャ画像中に点検対象候補が写っているかどうかを判定する。（ステップＳＴ５０５）。対象物概要判定部１３は、キャプチャ画像中に点検対象候補が写っているかどうかの判定結果を、移動速度指示部１４に出力する。  移動速度指示部１４は、ステップＳＴ５０５において、対象物概要判定部１３からキャプチャ画像中に点検対象候補が写っているかどうかの判定結果が出力されると、スピーカ３に対して、点検対象候補がある旨および手の動きを遅くさせる指示を、音声等で出力させる（ステップＳＴ５０６）。  その後、ステップＳＴ５０２に戻る。  なお、対象物概要判定部１３は、キャプチャ画像中に点検対象候補が写っていないと判定した場合は、キャプチャ画像中に点検対象候補が写っているとの判定がなされるまで、当該ステップＳＴ５０５の処理を繰り返す。
【００３０】  一方、ステップＳＴ５０４において、手の速度が規定速度未満と判定された場合（ステップＳＴ５０４の“ＮＯ”の場合）、対象物種別判定部１５は、詳細画像ＤＢ４２に記憶されている詳細画像データと、取得部から取得した、キャプチャ画像とを照合して、キャプチャ画像中の不可視対象物の種別を判定する（ステップＳＴ５０７）。  対象物種別判定部１５は、不可視対象物の種別の判定結果を、撮影位置決定部１６に出力する。
【００３１】  撮影位置決定部１６は、ステップＳＴ５０７において対象物種別判定部１５が判定した不可視対象物と点検手順ＤＢ４３に記憶されている点検手順データとに基づき、カメラ画像中に写っている不可視対象物と、点検手順データで定義されている、現在点検を行うべき対象物である点検対象物とが一致しているかどうかを判定する（ステップＳＴ５０８）。
【００３２】  ステップＳＴ５０８において、対象物種別判定部１５が判定した不可視対象物と点検対象物とが一致している場合（ステップＳＴ５０８の“ＹＥＳ”の場合）、撮影位置決定部１６は、現在の手の位置を、撮影位置として決定する。そして、撮影位置決定部１６は、スピーカ３から、作業者に対して手を止めさせる指示を出力させる。  さらに、撮影位置決定部１６は、撮影位置を決定した旨の位置決定通知を、撮影制御部１７に出力する。  撮影制御部１７は、撮影位置決定部１６から位置決定通知が出力されると、当該位置決定通知を取得した時点の位置を撮影位置として、カメラ２に対してシャッターを切るよう制御する（ステップＳＴ５０９）。
【００３３】  一方、ステップＳＴ５０８において、対象物種別判定部１５が判定した不可視対象物と、点検手順データで定義されている点検対象物とが一致していない場合（ステップＳＴ５０８の“ＮＯ”の場合）、撮影位置決定部１６は、例えば、スピーカ３に対して、「メータＢを検出しました。現在の点検対象ではありません」等、現在点検を行うべき点検対象物ではない旨の案内を出力させ、作業者に、再度点検対象物を探すよう指示する。その後、ステップＳＴ５０２に戻る。
【００３４】  例えば、作業者が、目視確認できない場所に設置されている水道メータ等を、検針の際に写真撮影し、記録する作業においては、点検の対象物となるメータ等そのものが直接目視確認できない位置にあり、作業者は、手探りで当該メータ等を探しながら撮影することになる。そのため、キャプチャ画像には、ボケまたはブレが生じやすい。キャプチャ画像にボケまたはブレが発生すると、キャプチャ画像中に写っている物体が何であるかを正確に判定することは、困難である。特に、似たようなメータ等が複数ある場合、キャプチャ画像中に写っている物体が何であるかの判定は、一層困難である。  さらに、作業者が手に持っている携帯端末１００のカメラ２と、メータ等との距離を確保できない場合は、メータ等の一部しかキャプチャ画像に写らないこともある。この場合、広い範囲を写したキャプチャ画像から、不可視対象物であるメータ等の位置情報を特定するような手法を利用して不可視対象物を認識することもできない。  一方、作業者が、手の速度を落としてメータ等を探せば、ボケやブレが生じる可能性は低くなるが、作業者は、メータ等を探す作業に時間がかかる。
【００３５】  そこで、この実施の形態１に係る撮影補助装置１では、上述のとおり、手の動きの速さが規定速度以上の場合は、まず、作業者が不可視対象物を探しながらカメラが捉えたキャプチャ画像のアングル内に、対象物が収まるよう手の動きを案内して、当該キャプチャ画像中に点検対象候補が写っているかどうかを判定し、点検対象候補が写っていた場合その旨を作業者に通知する。その際、作業者に対して手の動きを遅くするよう指示し、作業者の手の動きの速さが規定速度より遅くなった場合には、不可視対象物の種別まで判定し、撮影位置を決定する。  このように、撮影補助装置１は、作業者の手の速度に応じて、手の動きを２段階に案内し、手の速度が速く、ボケやブレが生じることで不可視対象物の種別が特定できないことを防ぎ、適切に不可視対象物の種別が特定できるようになった時点で、撮影位置を決定する。
【００３６】  これにより、作業者は、不可視対象物を撮影する際に、不可視対象物を適切なアングルに収めて撮影することができる。また、作業者は、案内に従って撮影動作を行うので、作業者によらず、同一アングルで不可視対象物を撮影することが可能となる。
【００３７】  ここで、この実施の形態１に係る撮影補助装置１の対象物概要判定部１３および移動速度指示部１４の動作について、詳細に説明する。  図６は、この実施の形態１に係る撮影補助装置１の対象物概要判定部１３および移動速度指示部１４の詳細な動作を説明するためのフローチャートである。  すなわち、図６は、図５のステップＳＴ５０５，ステップＳＴ５０６の詳細な動作を説明するフローチャートである。
【００３８】  対象物概要判定部１３は、取得部から、キャプチャ画像を取得する（ステップＳＴ６０１）。  また、対象物概要判定部１３は、概要画像ＤＢ４１を参照し、概要画像データを取得する（ステップＳＴ６０２）。
【００３９】  対象物概要判定部１３は、ステップＳＴ６０１で取得したキャプチャ画像と、ステップＳＴ６０２で取得した概要画像データとを比較して、類似度Ｓ１を算出する（ステップＳＴ６０３）。ここでは、類似度とは、例えば、既知のコサイン類似度等とする。  当該類似度Ｓ１により、画像中に写っている物体の確認を行い、キャプチャ画像中に点検対象候補が写っていることを判定することができる。  対象物概要判定部１３は、ステップＳＴ６０１で取得したキャプチャ画像中に写っている全ての物体を、ステップＳＴ６０２で取得した全ての概要画像データとそれぞれ比較し、類似度Ｓ１を算出する。
【００４０】  対象物概要判定部１３は、キャプチャ画像中に写っている各物体について、各概要画像データとの類似度Ｓ１が７０％以上であるかどうかを判定する（ステップＳＴ６０４）。  当該判定は、ステップＳＴ６０３で算出した全ての類似度Ｓ１に対して行われる。対象物概要判定部１３は、ステップＳＴ６０３で取得した概要画像データのうち、１枚でもステップＳＴ６０１で取得したキャプチャ画像中に写っているいずれかの物体との類似度Ｓ１が７０％以上のものがあれば、類似度Ｓ１が７０％以上であると判定する。  ステップＳＴ６０４において、類似度Ｓ１が７０％以上である場合（ステップＳＴ６０４の“ＹＥＳ”の場合）、対象物概要判定部１３は、キャプチャ画像中に写っている物体が、概要画像データで定義されている不可視対象物の外形等と一致するとして、キャプチャ画像中に点検対象候補が写っている旨を示す判定結果を、移動速度指示部１４に出力する。  キャプチャ画像中に写っている物体と不可視対象物の外形等が一致したということは、カメラ２が、点検対象物となり得る不可視対象物を捉えたということである。
【００４１】  移動速度指示部１４は、ステップＳＴ６０４において、対象物概要判定部１３からキャプチャ画像中に点検対象候補が写っている旨の判定結果が出力されると、スピーカ３に対して、点検対象候補がある旨を通知し、手の動きを遅くさせる指示を、音声等で出力させる（ステップＳＴ６０５）。
【００４２】  一方、ステップＳＴ６０４において、類似度Ｓ１が７０％未満である場合（ステップＳＴ６０４の“ＮＯ”の場合）、ステップＳＴ６０１に戻り、作業者は、手の速度を速く保ちながら、継続して不可視対象物を探す。このとき、対象物概要判定部１３は、スピーカ３に対して、例えば、「そのまま続けてください」等、不可視対象物を探す動作を継続させる旨の指示を、音声等によって出力させるようにしてもよい。
【００４３】  次に、この実施の形態１に係る撮影補助装置１の対象物種別判定部１５、撮影位置決定部１６、および、撮影制御部１７の動作について、詳細に説明する。  図７は、この実施の形態１に係る撮影補助装置１の対象物種別判定部１５、撮影位置決定部１６、および、撮影制御部１７の詳細な動作を説明するためのフローチャートである。  すなわち、図７は、図５のステップＳＴ５０７〜ステップＳＴ５０９の詳細な動作を説明するフローチャートである。
【００４４】  対象物種別判定部１５は、取得部から、キャプチャ画像を取得する（ステップＳＴ７０１）。  また、対象物種別判定部１５は、詳細画像ＤＢ４２を参照し、詳細画像データを取得する（ステップＳＴ７０２）。
【００４５】  対象物種別判定部１５は、ステップＳＴ７０１で取得したキャプチャ画像と、ステップＳＴ７０２で取得した詳細画像データとを比較して、類似度Ｓ２を算出する（ステップＳＴ７０３）。ここでは、類似度とは、例えば、既知のコサイン類似度等とする。  対象物種別判定部１５は、ステップＳＴ７０１で取得したキャプチャ画像中に写っている全ての物体を、ステップＳＴ７０２で取得した全ての概要画像データとそれぞれ比較し、類似度Ｓ２を算出する。
【００４６】  対象物種別判定部１５は、キャプチャ画像中に写っている各物体について、各詳細画像データとの類似度Ｓ２が９５％以上であるかどうかを判定する（ステップＳＴ７０４）。  当該判定は、ステップＳＴ７０３で算出した全ての類似度Ｓ２に対して行われる。対象物種別判定部１５は、ステップＳＴ７０３で取得した詳細画像データのうち、１枚でもステップＳＴ７０１で取得したキャプチャ画像中に写っているいずれかの物体との類似度Ｓ２が９５％以上のものがあれば、類似度Ｓ２が９５％以上であると判定する。  ステップＳＴ７０４において、類似度Ｓ２が９５％以上である場合（ステップＳＴ７０４の“ＹＥＳ”の場合）、対象物種別判定部１５は、キャプチャ画像中に写っている物体と、詳細画像データで定義されている不可視対象物とが、不可視対象物の種別まで含めて一致していると判定し、その旨の判定結果を、撮影位置決定部１６に出力する。このとき、対象物種別判定部１５は、一致していると判定した、詳細画像データで定義されている不可視対象物の情報もあわせて撮影位置決定部１６に出力する。
【００４７】  撮影位置決定部１６は、対象物種別判定部１５がキャプチャ画像中に写っていると判定した不可視対象物の情報を、対象物種別判定部１５から取得し、対象物種別データＤｒとする（ステップＳＴ７０５）。例えば、キャプチャ画像中に写っている不可視対象物と、詳細画像データで定義されている「メータＡ」の画像（図３参照）が一致した場合、対象物種別判定部１５は、当該「メータＡ」という情報を、撮影位置決定部１６に出力し、撮影位置決定部１６は、「メータＡ」の情報を、対象物種別データＤｒとして取得する。
【００４８】  撮影位置決定部１６は、点検手順ＤＢ４３の点検手順データを参照し、現在、点検する対象物である点検対象物の情報を、点検対象物種別データＤｎとして取得する（ステップＳＴ７０６）。例えば、点検手順データにおいて、手順ＩＤがＰ１およびＰ２の点検対象物まで点検済みフラグが付与されているとすると、撮影位置決定部１６は、現在の点検対象物は手順ＩＤがＰ３の「メータＡ」であると判断し、当該「メータＡ」という情報を、点検対象物種別データＤｎとして取得する。
【００４９】  撮影位置決定部１６は、ステップＳＴ７０５で取得した対象物種別データＤｒと、ステップＳＴ７０６で取得した点検対象物種別データＤｎが一致するかどうかを判定する（ステップＳＴ７０７）。
【００５０】  ステップＳＴ７０７において、対象物種別データＤｒと、点検対象物種別データＤｎが一致する場合（ステップＳＴ７０７の“ＹＥＳ”の場合）、撮影位置決定部１６は、現在の手の位置を、撮影位置として決定する。そして、撮影位置決定部１６は、スピーカ３から、作業者に対して手を止めさせる指示を出力させる（ステップＳＴ７０８）。  撮影位置決定部１６は、撮影位置を決定した旨の位置決定通知を、撮影制御部１７に出力する。  撮影制御部１７は、ステップＳＴ７０８において、撮影位置決定部１６から位置決定通知が出力されると、当該位置決定通知を取得した時点の位置を撮影位置として、カメラ２に対してシャッターを切るよう制御する（ステップＳＴ７０９）。
【００５１】  一方、ステップＳＴ７０７において、対象物種別データＤｒと、点検対象物種別データＤｎが一致しない場合（ステップＳＴ７０７の“ＮＯ”の場合）、撮影位置決定部１６は、例えば、スピーカ３に対して、現在点検を行うべき点検対象物ではない旨の案内を出力させ、作業者に、再度点検対象物を探すよう指示する（ステップＳＴ７１０）。その後、ステップＳＴ７０１に戻る。
【００５２】  図８Ａ，図８Ｂは、この発明の実施の形態１に係る撮影補助装置１のハードウェア構成の一例を示す図である。  この発明の実施の形態１において、移動速度算出部１１と、移動速度判定部１２と、対象物概要判定部１３と、移動速度指示部１４と、対象物種別判定部１５と、撮影位置決定部１６と、撮影制御部１７の各機能は、処理回路８０１により実現される。すなわち、撮影補助装置１は、カメラ２から取得したカメラ画像と、事前生成ＤＢ４に記憶されている情報とに基づき、作業者に対して、目視確認できない場所に存在する対象物を撮影する撮影動作を補助する案内を出力する処理の制御を行うための処理回路８０１を備える。  処理回路８０１は、図８Ａに示すように専用のハードウェアであっても、図８Ｂに示すようにメモリ８０５に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）８０６であってもよい。
【００５３】  処理回路８０１が専用のハードウェアである場合、処理回路８０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
【００５４】  処理回路８０１がＣＰＵ８０６の場合、移動速度算出部１１と、移動速度判定部１２と、対象物概要判定部１３と、移動速度指示部１４と、対象物種別判定部１５と、撮影位置決定部１６と、撮影制御部１７の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、移動速度算出部１１と、移動速度判定部１２と、対象物概要判定部１３と、移動速度指示部１４と、対象物種別判定部１５と、撮影位置決定部１６と、撮影制御部１７は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）８０２、メモリ８０５等に記憶されたプログラムを実行するＣＰＵ８０６、またはシステムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ８０２、またはメモリ８０５等に記憶されたプログラムは、移動速度算出部１１と、移動速度判定部１２と、対象物概要判定部１３と、移動速度指示部１４と、対象物種別判定部１５と、撮影位置決定部１６と、撮影制御部１７の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ８０５とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等が該当する。
【００５５】  なお、移動速度算出部１１と、移動速度判定部１２と、対象物概要判定部１３と、移動速度指示部１４と、対象物種別判定部１５と、撮影位置決定部１６と、撮影制御部１７の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、移動速度算出部１１については専用のハードウェアとしての処理回路８０１でその機能を実現し、移動速度判定部１２と、対象物概要判定部１３と、移動速度指示部１４と、対象物種別判定部１５と、撮影位置決定部１６と、撮影制御部１７については処理回路がメモリ８０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。  また、メモリ８０５は、カメラ２から取得したカメラ画像データ、および、処理回路８０１の処理中のデータを記憶する。  また、撮影補助装置１は、携帯端末１００が備えるカメラ２およびスピーカ３、または、事前生成ＤＢ４等の外部機器との通信を行う、入力インタフェース装置８０３、および、出力インタフェース装置８０４を有する。撮影補助装置１の取得部は、入力インタフェース装置８０３で構成される。
【００５６】  以上のように、実施の形態１の撮影補助装置１は、カメラ２の移動速度が閾値以上であるか否かを判定する移動速度判定部１２と、移動速度判定部１２が、カメラ２の移動速度が閾値以上であると判定した場合、カメラ２から取得したキャプチャ画像に基づき、点検を行うべき対象物となり得る物体である点検対象候補が当該キャプチャ画像中に写っているかどうかの判定を行う対象物概要判定部１３と、対象物概要判定部１３が、点検対象候補がキャプチャ画像中に写っていると判定した場合、カメラ２の移動速度を遅くさせる指示を出力する移動速度指示部１４と、移動速度判定部１２が、カメラ２の移動速度が閾値未満であると判定した場合、キャプチャ画像に基づき、当該キャプチャ画像中に写っている対象物の種別を判定する対象物種別判定部１５と、対象物種別判定部１５が判定した対象物の種別が、現在点検を行うべき点検対象物の種別と一致するかを判定し、当該対象物の種別が点検対象物の種別と一致する場合、現在の前記カメラの位置を撮影位置として決定し、当該カメラの動きを停止させる指示を出力する撮影位置決定部１６とを備えるように構成されている。そのため、目視確認できない場所に存在する対象物を探す手の動きの速さに応じて、手の動きを２段階に案内する。これにより、ユーザが、不可視対象物を適切なアングルに収めて撮影することができるよう、ユーザの撮影動作を補助することができる。  また、撮影位置決定部１６が撮影位置を決定すると、カメラ２に対して撮影指示を出力する撮影制御部１７を備えるように構成されている。そのため、点検対象物を、適切なアングルで、自動的に撮影することができる。
【００５７】実施の形態２．  実施の形態１では、撮影位置決定部１６が、対象物種別判定部１５が判定した不可視対象物と、点検手順データで定義されている点検対象物とが一致していないと判定すると、撮影位置決定部１６は、例えば、スピーカ３に対して、現在点検を行うべき点検対象物ではない旨の案内を出力させ、作業者に、再度点検対象物を探すよう指示するようにしていた。  この実施の形態２では、撮影位置決定部１６が、対象物種別判定部１５で判定した不可視対象物と、点検手順データで定義されている点検対象物とが一致していないと判定した場合は、点検対象物の方向へカメラ２を向けるよう案内する実施の形態について説明する。
【００５８】  図９は、この発明の実施の形態２に係る撮影補助装置１ａの機能構成を示したブロック図である。  この実施の形態２に係る撮影補助装置１ａは、実施の形態１同様、カメラ２、加速度センサまたはジャイロセンサ等の各種センサ（図示省略）、および、スピーカ３を搭載した、スマートフォンまたはタブレット等の携帯端末１００に搭載される。  また、この実施の形態２でも、一例として、撮影補助装置１ａを搭載した携帯端末１００は、水処理設備、プラント設備、発電設備、またはビル設備等の機械設備における保守点検作業を行う際に、ユーザである作業者が携帯する携帯端末であることを想定している。
【００５９】  図９に示すように、この発明の実施の形態２に係る撮影補助装置１ａは、図１を用いて説明した実施の形態１に係る撮影補助装置１とは、周辺位置情報通知部１８をさらに備える点が異なる。その他の、実施の形態１に係る撮影補助装置１と同様の構成については、同じ符号を付して重複した説明を省略する。
【００６０】  また、撮影補助装置１ａが参照する事前生成データベース４ａは、概要画像ＤＢ４１、詳細画像ＤＢ４２、および、点検手順ＤＢ４３に加え、対象物位置ＤＢ４４をさらに有する点が異なる。対象物位置ＤＢ４４の詳細については後述する。
【００６１】  周辺位置情報通知部１８は、撮影位置決定部１６において、対象物種別判定部１５が判定した不可視対象物と、点検手順ＤＢ４３に記憶されている点検手順データから特定した点検対象物とが一致しないと判定された場合、点検対象物が、その時点でのカメラ２の位置からみてどの位置にあるのかを案内する音声情報等を、スピーカ３から出力させる。  例えば、図１０に示すように、現在のカメラ２の画角がスイッチＢに合っており、現在点検すべき対象となる点検対象物であるスイッチＡが、当該スイッチＢの左にあるとする。  この場合、周辺位置情報通知部１８は、例えば、「スイッチＢを検出しました。現在の点検対象のスイッチＡは左側にあります。」という音声をスピーカ３から出力させ、作業者に対して、正しい点検対象物の位置を指示する。この際、周辺位置情報通知部１８は、正しい点検対象物の位置を、対象物位置ＤＢ４４に記憶されている対象物位置データから算出する。
【００６２】  ここで、図１１は、この実施の形態２において、対象物位置ＤＢ４４に記憶されている対象物位置データの一例を示す図である。  例えば、対象物位置データは、図１１に示すように、点検対象物となり得る不可視対象物を２次元または３次元点群モデル等で詳細に示した画像データ（図１１Ａ）と、各２次元画像または３次元点群モデル上で、各点検対象物となり得る不可視対象物の中心座標の情報（図１１Ｂ）とを含む。  なお、各対象物の中心座標は、予め、作業者等が設定しておく。具体的には、例えば、作業者等が、ある位置で不可視対象物を撮影し、撮影した画像中で、各不可視対象物の中心座標を設定しておく。当該各不可視対象物の中心座標は、不可視対象物が複数ある場合に、各不可視対象物間の位置関係を判断するための情報である。  また、図１１Ａでは、点検対象物となり得る不可視対象物のうち、盤Ａが有する不可視対象物を詳細に写した画像データを示している。
【００６３】  周辺位置情報通知部１８は、撮影位置決定部１６において、対象物種別判定部１５が判定した不可視対象物と、点検手順ＤＢ４３に記憶されている点検手順データから特定した点検対象物とが一致しないと判定された場合、キャプチャ画像と、図１１Ａに示すような対象物位置データで示される画像とに基づき、作業者に指示する、点検対象物の位置を算出する。  以下、対象物位置データが、図１１に示す内容であり、正しい点検対象である点検対象物は盤Ａが有するスイッチＡである場合に、キャプチャ画像が、図１２Ａに示す内容であったとして、具体的に説明する。  まず、周辺位置情報通知部１８は、キャプチャ画像と対象物位置データで示される画像とのマッチングを行い、キャプチャ画像が、予め設定されている対象物位置データが示す画像中のどこを写したものであるかを特定する。  周辺位置情報通知部１８は、マッチング手法として、テンプレートマッチング、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）またはＳＵＲＦ（Ｓｐｅｅｄ−Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）特徴量等の既存の手法を用いればよい。  ここでは、キャプチャ画像が、盤Ａが有する不可視対象物であるスイッチＢを写しており（図１２Ａ参照）、点検対象物は、盤Ａが有する不可視対象物であるスイッチＡである（図１１Ａ参照）。  よって、周辺位置情報通知部１８は、図１２Ａで示すような画像と、図１１Ａで示すような、対象物位置データが示す画像をマッチングし、キャプチャ画像が、対象物位置データが示す画像中のどこを写したものであるかを特定する。その結果、周辺位置情報通知部１８は、図１２Ｂの１２０１で示す範囲が、キャプチャ画像で写されている範囲であると特定する。
【００６４】  次に、周辺位置情報通知部１８は、対象物位置データにおける、各２次元画像または３次元点群モデル上で、各点検対象物となり得る不可視対象物の中心座標の情報（図１１Ｂ参照）に基づき、キャプチャ画像におけるスイッチＢの中心座標が対応する位置座標として、対象物位置データが示す画像上でのスイッチＢの中心座標Ｃｒを特定する。  そして、周辺位置情報通知部１８は、特定した中心座標Ｃｒと、対象物位置データが示す画像上の、点検対象物であるスイッチＡの中心座標Ｃｎを比較し、キャプチャ画像が撮像された、その時点でのカメラ２の位置からみて、どの位置に、点検対象物であるスイッチＡが存在するかを算出する。  上述した例でいうと、周辺位置情報通知部１８は、キャプチャ画像で写されているスイッチＢの中心座標が対応する位置座標である中心座標Ｃｒは（２００，１００）であり、点検対象物であるスイッチＡの中心座標Ｃｎは（１００，１００）であるので、スイッチＡは、カメラ２の位置からみて左に位置すると算出する。
【００６５】  なお、以上の説明では、周辺位置情報通知部１８は、撮影位置決定部１６において、対象物種別判定部１５が判定した不可視対象物と、点検手順ＤＢ４３に記憶されている点検手順データから特定した点検対象物とが一致しないと判定された場合、点検対象物が、その時点でのカメラ２の位置からみてどの位置にあるのかを案内する音声情報等を、スピーカ３から出力させるものとしたが、作業者に対する点検対象物の案内方法はこれに限らない。  例えば、周辺位置情報通知部１８は、点検対象物が、その時点でのカメラ２の位置から点検対象物までの距離を案内する音声情報等を、スピーカ３から出力させるものとしてもよい。また、周辺位置情報通知部１８は、点検対象物が、その時点でのカメラ２の位置からみてどの方向にあるかを案内する音声情報等を、スピーカ３から出力させるものとしてもよい。  周辺位置情報通知部１８は、カメラ２の位置から点検対象物までの距離は、上述の例で説明したように、例えば、キャプチャ画像で写されているスイッチＢの中心座標が対応する中心座標Ｃｒと、点検対象物であるスイッチＡの中心座標Ｃｎとから算出できる。上述の例でいうと、中心座標Ｃｎ（１００，１００）は、中心座標Ｃｒ（２００，１００）からみて、右方向へ、座標１００分の距離の位置にあることになる。  周辺位置情報通知部１８は、座標１００分の距離は、予め、座標１００分が何ｃｍに相当するかを求めた比率を用いて算出する。当該比率は、例えば、事前に計測した実空間での、各点検対象物となり得る不可視対象物間の距離と、対象物位置データが示す画像上での座標の差分の比率である。また、当該比率の情報は、比率情報として、撮影補助装置１ａが参照可能な場所に記憶されており、周辺位置情報通知部１８は、当該比率情報に基づき、座標１００分の距離を算出することができる。
【００６６】  この発明の実施の形態２に係る撮影補助装置１ａのハードウェア構成は、実施の形態１において図８Ａおよび図８Ｂを用いて説明した構成と同様であるため、重複した説明を省略する。  周辺位置情報通知部１８は、移動速度算出部１１、移動速度判定部１２、対象物概要判定部１３ａ、移動速度指示部１４、対象物種別判定部１５、撮影位置決定部１６、および、撮影制御部１７同様、処理回路８０１により実現される。
【００６７】  次に、この実施の形態２に係る撮影補助装置１ａの動作について説明する。  図１３は、この実施の形態２に係る撮影補助装置１ａの全体の動作を説明するためのフローチャートである。  図１３において、ステップＳＴ１２０１〜ステップＳＴ１２０８，ステップＳＴ１２１０の具体的な動作は、それぞれ、実施の形態１において説明した、図５のステップＳＴ５０１〜ステップＳＴ５０８，ステップＳＴ５０９の具体的な動作と同様であるため、重複した説明を省略し、図１３のステップＳＴ１２０９の具体的な動作について以下説明する。
【００６８】  撮影位置決定部１６は、ステップＳＴ１２０７において対象物種別判定部１５が判定した不可視対象物と、点検手順データで定義されている点検対象物とが一致しているかどうかを判定し（ステップＳＴ１２０８）、一致している場合（ステップＳＴ１２０８の“ＹＥＳ”の場合）、ステップＳＴ１２１０へ進む。
【００６９】  ステップＳＴ１２０８において、対象物種別判定部１５が判定した不可視対象物と、点検手順データで定義されている点検対象物とが一致していない場合（ステップＳＴ１２０８の“ＮＯ”の場合）、撮影位置決定部１６は、対象物種別判定部１５が判定した不可視対象物の情報と、点検手順データで定義されている点検対象物の情報とを、周辺位置情報通知部１８に出力する。  周辺位置情報通知部１８は、ステップＳＴ１２０８において撮影位置決定部１６から出力された、対象物種別判定部１５が判定した不可視対象物の情報と、点検対象物の情報とに基づき、正しい点検対象となる点検対象物が、その時点でカメラ２の位置からみてどの方向および距離にあるのかを案内する音声情報等を、スピーカ３から出力させる（ステップＳＴ１２０９）。例えば、対象物種別判定部１５が判定した不可視対象物が「スイッチＢ」であり、点検対象物が「スイッチＡ」であるとすると、周辺位置情報通知部１８は、「スイッチＢを検出しました。現在の点検対象のスイッチＡは左側にあります。」等、点検対象物が近くにある旨の案内を出力させる。その後、ステップＳＴ１２０２に戻る。
【００７０】  ここで、この実施の形態２に係る撮影補助装置１ａの周辺位置情報通知部１８の動作について、詳細に説明する。  図１４は、この実施の形態２に係る撮影補助装置１ａの周辺位置情報通知部１８の詳細な動作を説明するためのフローチャートである。  すなわち、図１４は、図１３のステップＳＴ１２０９の詳細な動作を説明するフローチャートである。
【００７１】  周辺位置情報通知部１８は、撮影位置決定部１６から、対象物種別データＤｒの情報を取得する（ステップＳＴ１３０１）。なお、対象物種別データＤｒは、撮影位置決定部１６が、対象物種別判定部１５が判定した不可視対象物について設定した情報である（図１３のステップＳＴ１２０５参照）。
【００７２】  周辺位置情報通知部１８は、撮影位置決定部１６から、点検対象物種別データＤｎの情報を取得する（ステップＳＴ１３０２）。なお、点検対象物種別データＤｎは、撮影位置決定部１６が、点検手順ＤＢ４３の点検手順データを参照して取得した点検対象物の情報である（図２のステップＳＴ１２０６参照）。
【００７３】  周辺位置情報通知部１８は、対象物位置ＤＢ４４に記憶されている対象物位置データを参照し、当該対象物位置ＤＢ４４において定義されている、対象物種別データＤｒと一致する不可視対象物の中心座標Ｃｒを取得する（ステップＳＴ１３０３）。  周辺位置情報通知部１８は、同様に、対象物位置ＤＢ４４において定義されている、点検対象物種別データＤｎと一致する不可視対象物の中心座標Ｃｎを取得する（ステップ１３０４）。  具体的には、例えば、対象物種別データＤｒが「スイッチＢ」であり、点検対象物種別データＤｎが「スイッチＡ」であるとすると、周辺位置情報通知部１８は、中心座標Ｃｒおよび中心座標Ｃｎとして、それぞれ、（２００，１００）、（１００，１００）の情報を取得する。
【００７４】  周辺位置情報通知部１８は、ステップＳＴ１３０３で取得した中心座標Ｃｒと、ステップＳＴ１３０４で取得した中心座標Ｃｎとに基づき、対象物種別データＤｒからみた点検対象物種別データＤｎまでの方向および距離を算出する（ステップＳＴ１３０５）。  例えば、上述の例でいうと、中心座標Ｃｒ（２００，１００）からみて、中心座標Ｃｎ（１００，１００）は、右方向へ、座標１００分の距離の位置にあることになる。すなわち、対象物種別データＤｒからみた点検対象物種別データＤｎは、右方向へ、座標１００分移動させた位置にあることになる。  周辺位置情報通知部１８は、座標１００分移動させた距離については、上述のとおり、予め定義され記憶されている比率情報に基づき、算出する。
【００７５】  周辺位置情報通知部１８は、ステップＳＴ１３０５で算出した方向および距離までカメラ２を移動するよう指示する音声等を、スピーカ３から出力させる（ステップＳＴ１３０６）。  なお、ここでは、周辺位置情報通知部１８は、対象物種別データＤｒからみた点検対象物種別データＤｎまでの方向よび距離を算出し、算出した方向および距離までカメラ２を移動するよう指示する音声等を、スピーカ３から出力させるものとしたが、これは一例に過ぎない。上述したように、周辺位置情報通知部１８は、対象物種別データＤｒからみた点検対象物種別データＤｎまでの位置を算出し、算出した位置までカメラ２を移動するよう指示する音声等を、スピーカ３から出力させるようにすることもできる。
【００７６】  以上の説明では、対象物位置ＤＢ４４には、図１１に示すように、点検対象物となり得る不可視対象物を２次元または３次元点群モデル等で詳細に示した画像データ、および、当該不可視対象物の中心座標の情報を、対象物位置データとして記憶しているものとした。  これに加え、対象物位置ＤＢ４４には、図１５に示すような、点検対象物となり得る対不可視象物の概要を２次元または３次元点群モデル等で示した画像データを、対象物位置データとして記憶しておくようにしてもよい。  対象物概要判定部１３は、移動速度判定部１２において、手の速度が規定速度以上と判定された場合（ステップＳＴ１２０４の“ＹＥＳ”の場合）、キャプチャ画像に点検対象候補が写っているかどうかを判定する（ステップＳＴ１２０５）。このとき、対象物概要判定部１３は、点検対象候補らしきものがカメラ画像に写っていなくても、図１５に示すような対象物位置データと、現在のカメラ２の移動方向から、点検対象候補に近づいていることを推測し、点検対象候補に近づいている旨の情報を、判定結果として移動速度指示部１４に出力するようにしてもよい。そして、移動速度指示部１４は、スピーカ３に、点検対象候補が周辺にあることを作業者に対して通知し、手の動きを遅くするように指示する音声等を、出力させるようにしてもよい。
【００７７】  以上のように、実施の形態２の撮影補助装置１ａは、点検を行うべき対象物となり得る不可視対象物が複数存在し、対象物種別判定部１５が判定した不可視対象物の種別が点検対象物の種別と一致しないと判定された場合、対象物となり得る複数の不可視対象物を詳細に示した画像データと、当該複数の対象物間の位置関係を判断するための情報とを含む対象物位置データとに基づき、カメラ２からみた点検対象物の方向を案内する情報を出力させる周辺位置情報通知部１８を備えるように構成されている。このため、点検対象物を正しく撮影できるよう、作業者を誘導するようにすることができる。
【００７８】  なお、以上の実施の形態１，２では、不可視対象物が複数あるものとして説明したが、不可視対象物は１つであっても構わない。  また、以上の実施の形態１，２では、対象物概要判定部１３は、類似度Ｓ１が７０％以上の場合に、キャプチャ画像中に点検対象候補が写っていると判定し、対象物種別判定部１５は、類似度Ｓ２が９５％以上の場合に、キャプチャ画像中に写っている物体と、詳細画像データで定義されている不可視対象物とが種別まで一致していると判定したが、類似度Ｓ１および類似度Ｓ２の値はこれに限らない。類似度Ｓ１および類似度Ｓ２の値は、適宜設定可能である。
【００７９】  また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００８０】  この発明に係る撮影補助装置は、ユーザが、不可視対象物を適切なアングルに収めて撮影することができるように構成したため、カメラによる撮影を補助する撮影補助装置および撮影補助方法等に適用することができる。
【符号の説明】
【００８１】１，１ａ  撮影補助装置、２  カメラ、３  スピーカ、４，４ａ  事前生成データベース、１１  移動速度算出、１２  移動速度判定部、１３  対象物概要判定部、１４  移動速度指示部、１５  対象物種別判定部、１６  撮影位置決定部、１７  撮影制御部、１８  周辺位置情報通知部、４１  概要画像ＤＢ、４２  詳細画像ＤＢ、４３  点検手順ＤＢ、４４  対象物位置ＤＢ、１００  携帯端末、８０１  処理回路、８０２  ＨＤＤ、８０３  入力インタフェース装置、８０４  出力インタフェース装置、８０５  メモリ、８０６  ＣＰＵ。
【図１】
0006567225.tif 000002
【図２】
0006567225.tif 000003
【図３】
0006567225.tif 000004
【図４】
0006567225.tif 000005
【図５】
0006567225.tif 000006
【図６】
0006567225.tif 000007
【図７】
0006567225.tif 000008
【図８】
0006567225.tif 000009
【図９】
0006567225.tif 000010
【図１０】
0006567225.tif 000011
【図１１】
0006567225.tif 000012
【図１２】
0006567225.tif 000013
【図１３】
0006567225.tif 000014
【図１４】
0006567225.tif 000015
【図１５】
0006567225.tif 000016