(57)【要約】      （修正有）【課題】ユーザのノウハウを画像の判定に反映させることのできる画像判定システムを提供する。【解決手段】画像判定システムは、第１情報処理装置１０と、第２情報処理装置３０と、を備え、第１情報処理装置１０は、第１撮像データ２ａに含まれる被撮像対象を判別する第１判別部１１ａと、第１撮像データ２ａを撮像する期間に取得された視線情報データ３ａに基づいて、第１撮像データ２ａに含まれる被撮像対象の重要度を判定する第１判定部１１ｂと、第１撮像データ２ａに含まれる被撮像対象と重要度とが対応付けられた教師データ１２ｂを生成する生成部１１ｃと、を備え、第２情報処理装置３０は、第２撮像データ４０ａに含まれる被撮像対象を判別する第２判別部３１ａと、教師データ１２ｂに基づいて、第２撮像データ４０ａに含まれる被撮像対象の重要度を判定する第２判定部３１ｂと、を備える。【選択図】図２
2019179406.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが撮像装置を用いて撮像した動画像に含まれる被撮像対象の重要度を決定するためのデータを生成する第１情報処理装置と、前記データに基づいて前記動画像とは異なる画像に含まれる被撮像対象の重要度を判定する第２情報処理装置と、を備え、
前記第１情報処理装置は、
前記動画像に含まれる被撮像対象を判別する第１判別部と、
前記動画像を撮像する期間に取得された前記ユーザの視線に対応する視線情報に基づいて、前記動画像に含まれる被撮像対象の重要度を判定する第１判定部と、
前記動画像に含まれる被撮像対象と前記重要度とが対応付けられた前記データを生成する生成部と、
を備え、
前記第２情報処理装置は、
前記画像に含まれる被撮像対象を判別する第２判別部と、
前記データに基づいて、前記画像に含まれる被撮像対象の重要度を判定する第２判定部と、
を備える画像判定システム。
【請求項２】
前記第１判定部は、前記動画像に含まれる被撮像対象に対する前記視線の到達までの時間、前記視線が向けられた回数、前記動画像に含まれる複数の被撮像対象の各々に視線が向けられた順番、前記視線が向けられた時間長のうち少なくとも１つに基づいて重要度を判定する
請求項１に記載の画像判定システム。
【請求項３】
前記ユーザの頭部に取り付け可能な視線情報取得部をさらに備え、
前記視線情報は、前記視線情報取得部が取り付けられた前記ユーザが前記動画像を撮像する期間に取得される
請求項１又は２に記載の画像判定システム。
【請求項４】
前記撮像装置は、画角が前記ユーザの視野と重複するよう前記頭部に配置されたウェアラブルカメラであり、
前記視線情報取得部は、前記ユーザの眼前側に配置されたアイトラッカーである
請求項３に記載の画像判定システム。
【請求項５】
前記画像を撮像する撮像部と、
前記第２情報処理装置と、
前記第２判定部が判定した前記画像に含まれる被撮像対象の重要度に基づいて前記撮像部の動作を制御する制御部と、
を備える無人移動体をさらに備える
請求項１から４のいずれか一項に記載の画像判定システム。
【請求項６】
前記制御部は、画像の撮像倍率及び画角を制御する
請求項５に記載の画像判定システム。
【請求項７】
前記制御部は、さらに、前記無人移動体の進路を制御する
請求項５又は６に記載の画像判定システム。
【請求項８】
前記無人移動体は、２以上の足を有する多足歩行型ロボットである
請求項５から７のいずれか一項に記載の画像判定システム。
【請求項９】
前記無人移動体は、飛行体である
請求項５から７のいずれか一項に記載の画像判定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像判定システムに関する。
【背景技術】
【０００２】
カメラで撮像された画像等のリアルタイム情報に応じて動作を分岐可能なロボットが知られている（例えば、特許文献１から特許文献４）。これらのロボットでは、撮像された画像等に基づいて、分岐する動作のいずれの条件に該当するかを判定している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３１６９６６号公報
【特許文献２】特開２０１０−６１５３３号公報
【特許文献３】特開２０１０−２３８１８２号公報
【特許文献４】特開２０１６−１０３２７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ユーザが身に着けたノウハウを先行技術文献のロボットが行う画像の判定条件に反映することは困難であった。すなわち、ある対象を視認したユーザがその後に視線や注意を向ける動作のように、当該対象を被撮像対象として撮像したロボットにその後も画角を向けさせることや拡大画像を撮像させることは困難であった。
【０００５】
本開示は、上記の課題に鑑みてなされたものであって、ユーザのノウハウを画像の判定に反映させることのできる画像判定システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するため、本開示の一態様の画像判定システムは、ユーザが撮像装置を用いて撮像した動画像に含まれる被撮像対象の重要度を決定するためのデータを生成する第１情報処理装置と、前記データに基づいて前記動画像とは異なる画像に含まれる被撮像対象の重要度を判定する第２情報処理装置と、を備え、前記第１情報処理装置は、前記動画像に含まれる被撮像対象を判別する第１判別部と、前記動画像を撮像する期間に取得された前記ユーザの視線に対応する視線情報に基づいて、前記動画像に含まれる被撮像対象の重要度を判定する第１判定部と、前記動画像に含まれる被撮像対象と前記重要度とが対応付けられた前記データを生成する生成部と、を備え、前記第２情報処理装置は、前記画像に含まれる被撮像対象を判別する第２判別部と、前記データに基づいて、前記画像に含まれる被撮像対象の重要度を判定する第２判定部と、を備える。
【０００７】
画像判定システムの望ましい態様として、前記第１判定部は、前記動画像に含まれる被撮像対象に対する前記視線の到達までの時間、前記視線が向けられた回数、前記動画像に含まれる複数の被撮像対象の各々に視線が向けられた順番、前記視線が向けられた時間長のうち少なくとも１つに基づいて重要度を判定する。
【０００８】
画像判定システムの望ましい態様として、前記ユーザの頭部に取り付け可能な視線情報取得部をさらに備え、前記視線情報は、前記視線情報取得部が取り付けられた前記ユーザが前記動画像を撮像する期間に取得される。
【０００９】
画像判定システムの望ましい態様として、前記撮像装置は、画角が前記ユーザの視野と重複するよう前記頭部に配置されたウェアラブルカメラであり、前記視線情報取得部は、前記ユーザの眼前側に配置されたアイトラッカーである。
【００１０】
画像判定システムの望ましい態様として、前記画像を撮像する撮像部と、前記第２情報処理装置と、前記第２判定部が判定した前記画像に含まれる被撮像対象の重要度に基づいて前記撮像部の動作を制御する制御部と、を備える無人移動体をさらに備える。
【００１１】
画像判定システムの望ましい態様として、前記制御部は、画像の撮像倍率及び画角を制御する。
【００１２】
画像判定システムの望ましい態様として、前記制御部は、さらに、前記無人移動体の進路を制御する。
【００１３】
画像判定システムの望ましい態様として、前記無人移動体は、２以上の足を有する多足歩行型ロボットである。
【００１４】
画像判定システムの望ましい態様として、前記無人移動体は、飛行体である。
【発明の効果】
【００１５】
本開示によれば、ユーザのノウハウを画像の判定に反映させることのできる画像判定システムを提供することができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、実施形態の画像判定システムの主要構成を示すブロック図である。
【図２】図２は、画像判定システムの主要機能を示すブロック図である。
【図３】図３は、撮像装置と視線情報取得装置を使用中のユーザを示す模式図である。
【図４】図４は、視線情報取得装置の主要構成を示す模式図である。
【図５】図５は、第１撮像データに含まれるフレームの一例を示す模式図である。
【図６】図６は、図５に示すフレームに含まれる被撮像対象であって、第１判別部により判別された被撮像対象を破線で示す模式図である。
【図７】図７は、視線と図６に示す被撮像対象との関係を示す模式図である。
【図８】図８は、無人移動体の主要構成例を示す模式図である。
【図９】図９は、撮像部が教師データに基づいて拡大した範囲を示す模式図である。
【図１０】図１０は、第１情報処理装置の処理の流れを示すフローチャートである。
【図１１】図１１は、無人移動体の処理の流れを示すフローチャートである。
【図１２】図１２は、教師データの構成例を示す模式図である。
【図１３】図１３は、図８とは異なる無人移動体の主要構成例を示す模式図である。
【図１４】図１４は、図８及び図１３とは異なる無人移動体の主要構成例を示す模式図である。
【発明を実施するための形態】
【００１７】
以下、本発明につき図面を参照しつつ詳細に説明する。なお、本発明を実施するための形態（以下、実施形態という）により本発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、下記実施形態で開示した構成要素は適宜組み合わせることが可能である。
【００１８】
（実施形態）
図１は、実施形態の画像判定システム１の主要構成を示すブロック図である。図２は、画像判定システム１の主要機能を示すブロック図である。図１に示すように、画像判定システム１は、第１情報処理装置１０と、無人移動体２０とを備える。第１情報処理装置１０は、無人移動体２０が自動的に動作するための教師データ１２ｂを生成する。無人移動体２０は、教師データ１２ｂに基づいて動作する。すなわち、本実施形態の画像判定システム１は、教師データ１２ｂを生成して無人移動体２０を自動的に動作させるためのシステムである。
【００１９】
第１情報処理装置１０は、第１演算部１１と、第１記憶部１２と、第１通信部１３と、入力部１４と、出力部１５とを備えるコンピュータである。第１演算部１１は、ＣＰＵ（Central  Processing  Unit）等の演算装置を有し、第１記憶部１２に記憶されているソフトウェア・プログラム（以下、単にプログラムと記載）を読み出して処理することで、プログラムに含まれる命令に応じて機能する。第１演算部１１は、プログラムの実行に伴い、第１記憶部１２に記憶されているデータ、第１通信部１３を介して取得されたデータ及び入力部１４を介して入力されたパラメータ等を参照可能に設けられる。
【００２０】
第１記憶部１２は、ＲＡＭ（Random  Access  Memory）として機能するメモリモジュールを有し、第１演算部１１が実行するプログラムの一次的な記憶領域として機能する。また、第１記憶部１２は、例えばＨＤＤ（Hard  Disk  Drive）、ＳＳＤ（Solid  State  Drive）等の補助記憶装置を有し、第１演算部１１に読み出されるプログラム及びデータを記憶する。
【００２１】
図１に示す第１記憶部１２は、第１撮像データ２ａ、視線情報データ３ａ、第１プログラム１２ａ及び教師データ１２ｂを記憶する。第１撮像データ２ａは、撮像装置２により撮像された動画像のデータである。視線情報データ３ａは、第１撮像データ２ａに含まれる動画像の撮像中に取得されたユーザＨ（図３参照）の視線情報を示すデータである。第１撮像データ２ａ及び視線情報データ３ａの詳細については後述の図３及び図４を参照して説明する。
【００２２】
第１プログラム１２ａは、本実施形態で第１情報処理装置１０により実現される機能に対応する命令を含むプログラムである。第１演算部１１は、第１記憶部１２から第１プログラム１２ａを読み出して処理することで、図２に示すように、第１判別部１１ａ、第１判定部１１ｂ及び生成部１１ｃとして機能する。教師データ１２ｂは、図２に示すように、生成部１１ｃにより生成されるデータである。第１判別部１１ａ、第１判定部１１ｂ及び生成部１１ｃならびに教師データ１２ｂの詳細については後述の図５から図７を参照して説明する。
【００２３】
第１通信部１３は、ＮＩＣ（Network  Interface  Controller）として機能する回路を有する。図１に示す第１通信部１３は、第１情報処理装置１０と、無人移動体２０が備える第２情報処理装置３０との通信を行う。第１通信部１３は、インターネットのような公共の通信回線等、別途設けられた他の通信網と接続可能であってもよい。
【００２４】
入力部１４は、キーボード、マウス等の入力装置を有する。入力部１４を介して第１情報処理装置１０の管理者により入力操作が行われると、第１演算部１１が利用可能なパラメータが第１情報処理装置１０に入力される。出力部１５は、第１情報処理装置１０の処理内容に応じた出力を行う。出力部１５は、例えば液晶ディスプレイのような表示出力装置を有していてもよいし、スピーカのような音声出力装置を有していてもよい。
【００２５】
無人移動体２０は、第２情報処理装置３０と、撮像部４０と、撮像制御部４５と、移動機構駆動部５０と、移動制御部５５とを備える。無人移動体２０は、第２情報処理装置３０の処理内容に基づいて、撮像部４０による画像の撮像や移動機構駆動部５０による移動を自動的に実行可能な無人移動体である。
【００２６】
第２情報処理装置３０は、第２演算部３１と、第２記憶部３２と、第２通信部３３とを備えるコンピュータである。第２演算部３１は、ＣＰＵ等の演算装置を有し、第２記憶部３２に記憶されているプログラムを読み出して処理することで、プログラムに含まれる命令に応じて機能する。第２演算部３１は、プログラムの実行に伴い、第２記憶部３２に記憶されているデータ及び第２通信部３３を介して取得されたデータ等を参照可能に設けられる。
【００２７】
第２記憶部３２は、第１記憶部１２と同様、ＲＡＭとして機能するメモリモジュール及びプログラム等を記憶可能な補助記憶装置を有する。図１に示す第２記憶部３２は、第２プログラム３２ａ及び第２撮像データ４０ａを記憶する。
【００２８】
第２プログラム３２ａは、本実施形態で第２情報処理装置３０により実現される機能に対応する命令を含むプログラムである。第２演算部３１は、第２記憶部３２から第２プログラム３２ａを読み出して処理することで、図２に示すように、第２判別部３１ａ、第２判定部３１ｂ及び制御部３１ｃとして機能する。第２判別部３１ａ、第２判定部３１ｂ及び制御部３１ｃの詳細については後述の図５、図６及び図９を参照して説明する。
【００２９】
第２通信部３３は、第１通信部１３と同様、ＮＩＣとして機能する回路を有する。図１に示す第２通信部３３は、第１通信部１３と通信することで、第１情報処理装置１０と無人移動体２０との通信を実現する。第２通信部３３は、第１通信部１３と同様、他の通信網と接続可能であってもよい。
【００３０】
第２撮像データ４０ａは、撮像部４０により撮像された動画像のデータである。撮像部４０は、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサのような撮像素子と、当該撮像素子により撮像された画像を動画像のデジタルデータとして出力する回路等を有する。すなわち、撮像部４０は、所謂デジタルビデオカメラとして機能する。撮像部４０は、静止画像を撮像可能な機能を有していてもよい。
【００３１】
撮像制御部４５は、撮像部４０と連結された複数のアクチュエータと、当該複数のアクチュエータの動作を制御するコントローラを有する。複数のアクチュエータは、撮像部４０と連結され、個々のアクチュエータの動作により撮像部４０の画角、画像の撮像倍率（ズーム）等を個別に変更可能に設けられている。このように、撮像制御部４５は、撮像部４０により撮像される画像の撮像倍率及び画角を含む各種の撮像条件を制御可能に設けられる。撮像制御部４５は、第２情報処理装置３０の制御下で撮像部４０の撮像条件を制御する。
【００３２】
移動機構駆動部５０は、無人移動体２０を移動可能にする機構（移動機構）を駆動する。移動機構の例として、無限軌道（図８参照）、四脚（図１３参照）等の複数の脚部、飛行のためのロータ（図１４参照）等が挙げられる。移動機構は、車輪等、他の形態を取ってもよい。移動機構駆動部５０は、移動機構を駆動するためのアクチュエータを有する。移動制御部５５は、移動機構駆動部５０のアクチュエータの動作を制御するコントローラを有する。移動制御部５５は、第２情報処理装置３０の制御下で移動機構駆動部５０の動作を制御する。
【００３３】
次に、撮像装置２と視線情報取得装置３の形態について、図３及び図４を参照して説明する。図３は、撮像装置２と視線情報取得装置３を使用中のユーザＨを示す模式図である。図４は、視線情報取得装置３の主要構成を示す模式図である。
【００３４】
図３に示す撮像装置２は、ウェアラブルカメラである。図３に示す撮像装置２は、ユーザＨの頭部を覆うように装着されたヘルメットＭの外周面に取り付けられる。撮像装置２の画角が向く方向は、ユーザＨの視線が向く方向と一致する。このように、撮像装置２は、ユーザＨが顔を向けて眼Ｅ１及び眼Ｅ２で見ている対象を被撮像対象として撮像可能に設けられている。すなわち、撮像装置２は、画角がユーザＨの視野と重複するようユーザＨの頭部に配置されている。撮像装置２は、撮像部４０と同様、撮像素子と、当該撮像素子により撮像された画像を動画像のデジタルデータとして出力する回路等を有する。すなわち、本実施形態の撮像装置２は、所謂デジタルビデオカメラとして機能する。撮像装置２の撮像により得られた動画像のデータは、第１撮像データ２ａとして第１情報処理装置１０に出力される。
【００３５】
図３及び図４に示す視線情報取得装置３は、眼Ｅ１及び眼Ｅ２の視線に関する情報を出力する眼鏡型のアイトラッカーである。視線情報取得装置３は、フレームＦ、赤外線発光部３ｂ、赤外線画像撮像部３ｃ及び赤外線画像撮像部３ｄを有する。視線情報取得装置３は、図３に示すように、フレームＦがユーザＨの耳Ｙに掛けられることでユーザＨの眼前側に赤外線発光部３ｂ及び赤外線画像撮像部３ｃ及び赤外線画像撮像部３ｄが配置されるよう装着される。
【００３６】
赤外線発光部３ｂ及び赤外線画像撮像部３ｃ及び赤外線画像撮像部３ｄは、フレームＦのユーザＨ側に設けられる。赤外線発光部３ｂは、眼Ｅ１及び眼Ｅ２に赤外線を照射する光源である。赤外線画像撮像部３ｃ及び赤外線画像撮像部３ｄは、赤外線カメラである。赤外線画像撮像部３ｃは、赤外線発光部３ｂにより照射されて眼Ｅ１により反射された赤外線を検知し、眼Ｅ１の赤外線画像を撮像する。赤外線画像撮像部３ｄは、赤外線発光部３ｂにより照射されて眼Ｅ２により反射された赤外線を検知し、眼Ｅ２の赤外線画像を撮像する。赤外線画像撮像部３ｃ及び赤外線画像撮像部３ｄにより取得された画像は、ユーザＨの視線を示す視線情報データ３ａとして第１情報処理装置１０に出力される。すなわち、赤外線画像撮像部３ｃ及び赤外線画像撮像部３ｄにより取得された画像における眼Ｅ１及び眼Ｅ２の向きが、視線を特定する情報として機能する。眼Ｅ１及び眼Ｅ２の向きの検出は、不動の基準点を目頭の位置又は赤外線の照射位置とし、視線に応じて移動する動点を虹彩の位置とし、基準点に対する動点の位置関係を画像から特定する処理を行うことで可能になる。当該処理の機能は、第１判定部１１ｂに含まれていてもよいし、視線情報取得装置３が備えていてもよい。
【００３７】
このように、本実施形態の画像判定システム１は、撮像装置２から出力される第１撮像データ２ａと、視線情報取得装置３から出力される視線情報データ３ａとを利用する。視線情報取得装置３は、ユーザＨが撮像装置２を用いて画像を撮像している期間の眼Ｅ１及び眼Ｅ２の視線を検知することで視線情報データ３ａを出力する。すなわち、視線情報データ３ａに含まれる情報は、第１撮像データ２ａに含まれる動画像を撮像する期間に取得されたユーザＨの視線に対応する視線情報として機能する。
【００３８】
撮像装置２による動画像の撮像及び視線情報取得装置３による視線情報の取得が行われる現場として、例えば建築事業の工事現場が挙げられる。図３に示すユーザＨが建築事業の工事現場を巡回する期間に動画像の撮像及び視線情報の取得を行うことで、当該工事現場を巡回するユーザＨの視線に対応する第１撮像データ２ａ及び視線情報データ３ａが得られる。工事現場を巡回するユーザＨとして、例えば、工事現場の品質に関する担当者、工事の安全に関する担当者、工事現場の責任者等が挙げられる。ユーザＨの役目に応じて、役目に特有の視線に対応した視線情報データ３ａ及び当該視線に対応した画角の第１撮像データ２ａが得られる。このように、第１撮像データ２ａ及び視線情報データ３ａのデータの収集対象は、ユーザＨの役目等、撮像装置２及び視線情報取得装置３を使用するユーザＨにより決定される。
【００３９】
現場は、建築事業の工事現場に限られない。他の現場として、工場の敷地又は施設、電気又はガス工事の工事現場、オフィス、サーバルーム等の施設が挙げられる。
【００４０】
図３及び図４を参照して説明した撮像装置２と視線情報取得装置３の形態は、あくまで一例であってこれに限られるものでない。例えば、撮像装置２は、眼Ｅ１と眼Ｅ２の中間位置ＩＦに設けられていてもよい。すなわち、撮像装置２と視線情報取得装置３は、共通する１つのデバイス（アイトラッカー）に設けられた一構成であってもよい。また、図４を参照して説明した視線情報取得装置３は、赤外線を照射して視線を検知するものであるが、他の仕組みで視線を検知するものであってもよい。他の仕組みの例として、コイルが設けられたコンタクトレンズを眼Ｅ１及び眼Ｅ２に取り付ける方法、眼Ｅ１及び眼Ｅ２の角膜と網膜の間の電位差を検出する方法等が挙げられる。また、撮像装置２の画角内における所定位置を視線情報として利用してもよい。例えば、第１撮像データ２ａに含まれる複数のフレーム内の所定位置（例えば、中心点）に視線が向いているものとみなし、視線情報として取り扱ってもよい。この場合、視線情報取得装置３を省略可能である。
【００４１】
次に、第１情報処理装置１０の機能である第１判別部１１ａ、第１判定部１１ｂ及び生成部１１ｃについて、図２と図５から図７を参照して順次説明する。
【００４２】
図５は、第１撮像データ２ａに含まれるフレームの一例を示す模式図である。第１撮像データ２ａは、動画像のデータである。従って、第１撮像データ２ａは、撮像装置２が撮像する動画像のフレームレートに応じた数のフレームが所定時間（例えば、１秒間）に切り替わりながら描画されるよう構成されたデータである。図５は、第１撮像データ２ａに含まれるフレームのうち１つを模式的に示している。
【００４３】
図５に示すフレームは、被撮像対象として、箱体６１、円柱６２、棒状部材６３、箱体６４、立設物６５、掲示物６６を含む。箱体６１と箱体６４は、交差路Ｔが形成されている工事現場の床面に載置されている箱状の物体である。箱体６１は、矩形状の画像の四角の頂点のうち画像の手前側（図５の下側）に位置する二角の頂点の一方付近に位置する。箱体６４は、画像の手前側に位置する二角の頂点の他方に位置する。交差路Ｔは、画像の長手方向を横切り、画像の手前側に一辺が延出するＴ字路状の通路である。円柱６２は、交差路Ｔの交差点付近の上辺に接する位置で立設する円柱状の部材である。棒状部材６３は、交差路Ｔに含まれる画像の長手方向を横切る通路と箱体６４との間の位置で床面に載置された円柱又は円筒状の部材である。立設物６５は、交差路Ｔの奥側（図５の上側）に位置する直方体状の部材である。掲示物６６は、円柱６２を挟んで立設物６５の反対側で交差路Ｔの奥側に立設する壁面に貼られている紙状又は板状の部材（例えばポスター）である。
【００４４】
図６は、図５に示すフレームに含まれる被撮像対象であって、第１判別部１１ａにより判別された被撮像対象を破線で示す模式図である。図６に示すように、第１判別部１１ａは、フレームに含まれる被撮像対象である箱体６１、円柱６２、棒状部材６３、箱体６４、立設物６５、掲示物６６を判別し、個別の被撮像対象として扱うことが可能な状態にする。第１判別部１１ａが被撮像対象を判別する仕組みとして、所謂パターンマッチングが挙げられる。パターンマッチングは、多数のフレームに含まれる同一の被撮像対象の部分画像をマッチングし、当該部分画像の類似の度合いが閾値を超えた場合に同一の被撮像対象として判別する方法である。パターンマッチングの判定に用いられる元画像として、この説明のように多数のフレームにおける共通の部分画像のパターンを利用してもよいし、予め指定された被撮像対象の画像（見本画像）のように事前に用意されたものを利用してもよい。このように、第１判別部１１ａは、第１撮像データ２ａに含まれる被撮像対象を判別する。なお、第１判別部１１ａが判別する被撮像対象は、箱体６１、円柱６２、棒状部材６３、箱体６４、立設物６５、掲示物６６に限られるものでなく、撮像可能なものであれば何でも対象になりうる。
【００４５】
図７は、視線と図６に示す被撮像対象との関係を示す模式図である。図７では、数値が付された円形の記号Ｐ１から記号Ｐ１３で視線の位置を表している。また、円内の数値は、視線の遷移順を示している。すなわち、記号Ｐ１から記号１３のうち、より小さい数値が付された位置により先に視線が向けられていたことを示している。また、記号Ｐ１、記号２、…、記号１３の遷移のインターバルは共通である。例えば、記号Ｐ１から記号２に視線があった時間長と、記号１２から記号１３に視線があった時間長とは同一である。すなわち、視線がより長い時間集中していた箇所に、記号Ｐ１から記号１３のうちより多くの円形の記号が位置している。
【００４６】
視線情報データ３ａは、図７に示すように、撮像装置２の画角内で撮像された第１撮像データ２ａにおけるユーザＨの眼Ｅ１及び眼Ｅ２の視線の位置及び遷移状況を示すデータとして機能する。図７の場合、記号Ｐ１、記号２及び記号３が示すように、眼Ｅ１及び眼Ｅ２の視線は、まず箱体６１の交差路Ｔ側に延出した部分に集中的に向いている。次に、記号４、記号５及び記号６が示すように、視線は、円柱６２が交差路Ｔに延出する根元部分に集中的に向いている。次に、記号７、記号８及び記号９が示すように、視線は、棒状部材６３が載置されている場所の四隅のうち、交差路Ｔに近い三点に注目するように向いている。次に、記号１０及び記号１１が示すように、視線は、箱体６４の交差路Ｔ側寄りから反対側に向かって移動している。次に、記号１２が示すように、視線は、立設物６５の交差路Ｔ寄りの根元部分に移動している。その後、記号１３が示すように、視線は、掲示物６６の内側に移動している。
【００４７】
図７は、建築事業の工事現場の安全に関する担当者の視線を模式的に示したものである。このため、ヒトや台車等の通過が想定される交差路Ｔに延出するよう位置している箱体６１、円柱６２が交差路Ｔの通行に与える影響を予想した当該担当者の意識が、記号Ｐ１から記号６の示す視線に反映されている。記号７以降の視線の向き及び遷移についても、交差路Ｔに対する被撮像対象の影響に基づいた当該担当者の意識が働いている。
【００４８】
第１判定部１１ｂは、第１撮像データ２ａの動画像を撮像する期間に取得された視線情報データ３ａが示す視線情報に基づいて、当該動画像に含まれる被撮像対象の重要度を判定する。具体的には、第１判定部１１ｂは、所定の判定基準に基づいて、視線が向けられた被撮像対象の重要度を判定する。所定の判定基準として、視線到達までの時間、視線停留時間長、視線が向けられた回数、視線が向けられた順番等が挙げられる。
【００４９】
図７では、まず箱体６１に視線が向けられている。その後、円柱６２、棒状部材６３、箱体６４、立設物６５、掲示物６６の順で視線が遷移している。視線が向けられた順番に基づいた重要度の判定では、第１判定部１１ｂは、より先に視線が向けられた被撮像対象の重要度をより高くする。また、被撮像対象の各々に対する視線到達までの時間という観点では、より先に視線が向けられた被撮像対象に視線が到達するまでの時間が、より後に視線が向けられた被撮像対象に視線が到達するまでの時間よりも短いことになる。視線到達までの時間に基づいた重要度の判定では、第１判定部１１ｂは、視線が到達するまでの時間がより短い被撮像対象の重要度をより高くする。従って、これらの基準に基づいた重要度の判定では、第１判定部１１ｂは、重要度が相対的に高い被撮像対象から順に、箱体６１、円柱６２、棒状部材６３、箱体６４、立設物６５、掲示物６６となるよう、被撮像対象の重要度を判定する。
【００５０】
また、図７では、箱体６１、円柱６２及び棒状部材６３に対して円形の記号３つ分の時間だけ視線が向けられている。これに対し、箱体６４には円形の記号２つ分の時間だけ視線が向けられている。また、立設物６５及び掲示物６６には円形の記号１つ分の時間だけ視線が向けられている。このように、箱体６１、円柱６２及び棒状部材６３は、箱体６４、立設物６５及び掲示物６６よりもより視線滞留時間が長い。すなわち、ユーザＨがより重要な対象として被撮像対象に視線を向けていた可能性がある。このため、視線停留時間に基づいた重要度の判定では、第１判定部１１ｂは、箱体６１、円柱６２及び棒状部材６３の重要度を、箱体６４、立設物６５及び掲示物６６の重要度よりも高くする。同様の理由で、第１判定部１１ｂは、箱体６４の重要度を、立設物６５及び掲示物６６の重要度よりも高くする。
【００５１】
また、視線が向けられた回数を基準にした場合、図７では、ある特定の被撮像対象から他の被撮像対象に視線が遷移してから再び当該特定の被撮像対象に視線が戻されていない。このため、図７の視線情報データ３ａに基づいた場合、第１判定部１１ｂは、箱体６１、円柱６２、棒状部材６３、箱体６４、立設物６５及び掲示物６６に対して、視線が向けられた回数を基準にした重要度について差異をつけない。ある特定の被撮像対象から他の被撮像対象に視線が遷移してから再び当該特定の被撮像対象に視線が戻される等、より多くの回数視線が向けられた被撮像対象があった場合、第１判定部１１ｂは、より多くの回数視線が向けられた被撮像対象の重要度をより高くする。
【００５２】
第１判定部１１ｂは、視線到達までの時間、視線停留時間、視線が向けられた回数、視線が向けられた順番のうち少なくとも１つ以上の判定基準で被撮像対象の重要度を判定する。本実施形態では、視線到達までの時間、視線停留時間、視線が向けられた回数、視線が向けられた順番の各々の基準に重み付けがされている。第１判定部１１ｂは、各基準で判定された重要度と重み付けとの関係によって被撮像対象の重要度を判定する。図７では、視線が向けられた回数に基づいた箱体６１、円柱６２、棒状部材６３、箱体６４、立設物６５及び掲示物６６の各々の重要度に差異がない。一方、視線滞留時間に基づいた重要度では、箱体６１、円柱６２及び棒状部材６３が箱体６４、立設物６５及び掲示物６６より高く、箱体６４が立設物６５及び掲示物６６より高い。また、視線が向けられた順番及び視線到達までの時間に基づいた重要度では、箱体６１、円柱６２、棒状部材６３、箱体６４、立設物６５、掲示物６６の順に重要度が高い。このため、第１判定部１１ｂは、箱体６１、円柱６２、棒状部材６３、箱体６４、立設物６５、掲示物６６の順に重要度が高いと判定する。このように、第１判定部１１ｂは、第１撮像データ２ａに含まれる被撮像対象に対する視線の到達までの時間、視線が向けられた回数、第１撮像データ２ａに含まれる複数の被撮像対象の各々に視線が向けられた順番、視線が向けられた時間長のうち少なくとも１つに基づいて重要度を判定する。
【００５３】
以上、図７を参照して第１判定部１１ｂによる被撮像対象の重要度の判定について説明したが、第１判定部１１ｂが重要度を判定する被撮像対象は、箱体６１、円柱６２、棒状部材６３、箱体６４、立設物６５、掲示物６６に限られるものでなく、撮像可能なものであれば何でも対象になりうる。
【００５４】
生成部１１ｃは、動画像に含まれる被撮像対象と重要度とが対応付けられたデータとして、教師データ１２ｂを生成する。図７を参照した説明を前提とすると、箱体６１、円柱６２、棒状部材６３、箱体６４、立設物６５、掲示物６６の順に重要度が高い。このため、図７を踏まえた教師データ１２ｂは、箱体６１、円柱６２、棒状部材６３、箱体６４、立設物６５、掲示物６６の順に重要度が高いことを示す情報を含むデータになる。
【００５５】
教師データ１２ｂの形式は任意であるが、一例として、重要度を点数で表した場合、より点数が大きい（又は小さい）ものがより高い重要度を示すものとして予め規定される。すなわち、点数の比較で被撮像対象の各々の重要度を相対比較可能になっている。また、重要度と対応付けられる被撮像対象の情報は、フレームから被撮像対象を判別するための１以上の見本画像と紐づけられる。
【００５６】
なお、視線情報が示す重要度の判定と被撮像対象の判別の順序は逆であってもよい。例えば、第１撮像データ２ａの動画像の画角範囲内で所定時間以上視線が向けられた部分画像領域に含まれる被撮像対象を所定以上の重要度が与えられる被撮像対象として扱い、第１判定部１１ｂによって重要度を判定するようにしてもよい。この場合、第１判定部１１ｂによって重要度が判定された被撮像対象を第１判別部１１ａによって判別し、生成部１１ｃによって重要度と被撮像対象とを対応付けた教師データ１２ｂを生成する。このように、所謂ヒートマップ方式で第１撮像データ２ａに含まれる被撮像対象の重要度の判定及び被撮像対象の判別を行ってもよい。
【００５７】
また、教師データ１２ｂの元になる第１撮像データ２ａ及び視線情報データ３ａは、１回の撮像及び視線情報の取得によるものに限られない。同一のユーザＨによる複数回の撮像及び視線情報の取得による第１撮像データ２ａ及び視線情報データ３ａに基づいて教師データ１２ｂを生成するようにしてもよい。また、複数のユーザＨによる第１撮像データ２ａ及び視線情報データ３ａに基づいた教師データ１２ｂを生成するようにしてもよい。これにより、複数のユーザＨの個々の意識のばらつきを平均化した重要度を導出することができる。
【００５８】
次に、教師データ１２ｂを利用する無人移動体２０の形態及び動作について説明する。図８は、無人移動体２０の主要構成例を示す模式図である。図８に示す無人移動体２０は、一対の無限軌道である移動機構駆動部５０により移動可能に設けられた台車型の無人移動体である。図８に示す第２情報処理装置３０は、台座２１の下面側に配置されている。図８に示す撮像部４０は、台座２１に立設する撮像制御部４５の上側に配置されている。図８に示す撮像制御部４５は、基部４５ａ、第１動作部４５ｂ、第２動作部４５ｃを有する。基部４５ａは、台座２１に固定された円筒状の部材である。第１動作部４５ｂは、基部４５ａの内側に設けられた円柱又は円筒状の部材であり、アクチュエータによって第１動作部４５ｂの円筒中心軸を軸とした回動及び台座２１の上面に対する高さ位置を変更する直動を可能に設けられている。第２動作部４５ｃは、アクチュエータによって撮像部４０の仰俯角を変更可能に設けられている。なお、図８に示す撮像制御部４５の構成は、撮像部４０の画角の変更に関する構成であるが、撮像制御部４５による撮像部４０の動作制御の内容はこれに限られるものでない。撮像制御部４５は、撮像部４０の撮像倍率の制御も行う。
【００５９】
図９は、撮像部４０が教師データ１２ｂに基づいて拡大した範囲を示す模式図である。撮像制御部４５は、第２情報処理装置３０の制御下で、撮像部４０による画像の撮像倍率及び画角を制御する。図９では、図６に示すフレームの画角のうち箱体６１、円柱６２、棒状部材６３を含む範囲に拡大するよう画角を向けるとともに撮像倍率を上げた場合を示している。これは、図７を参照して説明した被撮像対象の重要度において、箱体６４、立設物６５、掲示物６６よりも箱体６１、円柱６２、棒状部材６３の重要度が高く、かつ、箱体６１、円柱６２、棒状部材６３の交差路Ｔ側に視線が集中していることに基づいている。このような被撮像対象の重要度に基づいた撮像倍率及び画角の制御は、図２に示すように、第２通信部３３と第１通信部１３との通信により第２情報処理装置３０が教師データ１２ｂを取得し、教師データ１２ｂを利用した処理を行うことで実現される。つまり、撮像制御部４５は、被撮像対象の重要度に基づいた撮像部４０の動作制御を第２情報処理装置３０の制御下で行う。以下、第２情報処理装置３０の機能である第２判別部３１ａ、第２判定部３１ｂ及び制御部３１ｃについて、図２、図５、図６及び図９を参照して順次説明する。
【００６０】
第２判別部３１ａは、第２撮像データ４０ａに含まれる被撮像対象を判別する。第２判別部３１ａの具体的な処理内容は、図５と図６を参照して説明した第１判別部１１ａの処理内容と同様である。ただし、第１判別部１１ａが処理の対象を第１撮像データ２ａとしていたのに対し、第２判別部３１ａは、第２撮像データ４０ａを処理の対象とする。従って、第２撮像データ４０ａが第１撮像データ２ａと同じ撮像倍率及び画角で撮像された図５の静止画像又は動画像のフレームを含んでいた場合、第２判別部３１ａは、図６のように、被撮像対象として箱体６１、円柱６２、棒状部材６３、箱体６４、立設物６５、掲示物６６を判別する。
【００６１】
第２判定部３１ｂは、教師データ１２ｂに基づいて、第２撮像データ４０ａに含まれる被撮像対象の重要度を判定する。図６の場合、第２判定部３１ｂは、教師データ１２ｂを参照して、箱体６１、円柱６２、棒状部材６３、箱体６４、立設物６５、掲示物６６の各々の重要度を判定する。図７を参照した説明によれば、教師データ１２ｂは、箱体６１、円柱６２、棒状部材６３、箱体６４、立設物６５、掲示物６６の順に重要度が高いことを示すデータになっている。このため、第２判定部３１ｂは、図６に含まれる被撮像対象の重要度が、高い方から箱体６１、円柱６２、棒状部材６３、箱体６４、立設物６５、掲示物６６の順になるものと判定する。
【００６２】
制御部３１ｃは、第２判定部３１ｂが判定した被撮像対象の重要度に基づいて撮像部４０の動作を制御する。本実施形態では、制御部３１ｃによる撮像部４０の動作制御は、図２に示すように、撮像制御部４５を介して行われる。制御部３１ｃは、第２判定部３１ｂがより重要であると判定した被撮像対象をより大きく撮像するための撮像部４０による画像の撮像倍率及び画角を示す命令を撮像制御部４５に出力する。撮像制御部４５は、当該命令に応じて各種のアクチュエータを動作させて撮像部４０による画像の撮像倍率及び画角を当該命令に応じたものにする。これによって、図９のように、箱体６１、円柱６２、棒状部材６３を含む範囲に拡大するよう画角を向けるとともに撮像倍率を上げた画像が撮像される。
【００６３】
制御部３１ｃによる撮像の制御は、撮像倍率や画角の制御に限られない。例えば、制御部３１ｃは、動画像を撮像中の撮像部４０の撮像モードを切り替え、撮像部４０に静止画像を撮像させるようにしてもよい。この場合、制御部３１ｃは、動画像の撮像により図５のようなフレームを得た撮像部４０に対して、図９のようにより重要度が高い被撮像対象に拡大するよう撮像倍率及び画角が設定された状態で静止画像を撮像させる。
【００６４】
制御部３１ｃの制御対象は、撮像制御部４５に限られない。制御部３１ｃは、図２に示すように、移動制御部５５を介して移動機構駆動部５０を制御する。すなわち、制御部３１ｃは、無人移動体２０の進路を制御する。図８に示す移動制御部５５は、一対の無限軌道である移動機構駆動部５０のいずれか一方を停止又は正転させ、他方を停止又は逆転させることで無人移動体２０の進行方向角度を制御することができる。正転は、前進方向の履帯の移動をさす。逆転は、後退方向の履帯の移動をさす。制御部３１ｃによる進路の制御として、例えば図５、図６に示す被撮像対象のうち、より重要度が高い箱体６１により近接するよう無人移動体２０を進ませる制御が挙げられる。このような進路の制御により、より重要度が高い被撮像対象により近接した状態での撮像部４０による撮像が可能になる。
【００６５】
次に、画像判定システム１による処理の流れを図１０及び図１１を参照して説明する。図１０は、第１情報処理装置１０の処理の流れを示すフローチャートである。まず、ユーザＨによるデータの収集対象の決定が行われる（ステップＳ１）。具体的には、工事現場の品質に関する担当者、工事の安全に関する担当者又は工事現場の責任者等、ユーザＨの役目に応じて教師データ１２ｂの元になる第１撮像データ２ａ及び視線情報データ３ａの収集対象が決定される。次に、撮像装置２による動画像の撮像による第１撮像データ２ａの取得と、視線情報取得装置３の使用による視線情報データ３ａの取得が行われる（ステップＳ２）。次に、第１判別部１１ａが、第１撮像データ２ａに含まれる被撮像対象の判別を行う（ステップＳ３）。また、第１撮像データ２ａに含まれる被撮像対象に対して、第１判定部１１ｂが、視線情報データ３ａに基づいた被撮像対象の重要度の判定を行う（ステップＳ４）。ステップＳ３の処理とステップＳ４の処理の順は逆であってもよい。その後、生成部１１ｃが、教師データ１２ｂを生成する（ステップＳ５）。
【００６６】
図１１は、無人移動体２０の処理の流れを示すフローチャートである。まず、撮像部４０による動画像の撮像が開始される（ステップＳ１１）。次に、第２判別部３１ａが、第２撮像データ４０ａに含まれる被撮像対象の判別を行う（ステップＳ１２）。また、第２撮像データ４０ａに含まれる被撮像対象に対して、第２判定部３１ｂが、教師データ１２ｂに基づいた被撮像対象の重要度の判定を行う（ステップＳ１３）。その後、制御部３１ｃが、第２撮像データ４０ａに含まれる被撮像対象の重要度に基づいて無人移動体２０の動作制御を行う（ステップＳ１４）。ステップＳ１４における無人移動体２０の動作制御として、撮像部４０による画像の撮像倍率及び画角の制御や静止画像の撮像、移動機構駆動部５０による無人移動体２０の進路の制御等が挙げられる。撮像部４０による動画像の撮像が終了していない場合（ステップＳ１５；Ｎｏ）、ステップＳ１２の処理に戻る。撮像部４０による動画像の撮像が終了した場合（ステップＳ１５；Ｙｅｓ）、無人移動体２０は、動作を終了する。
【００６７】
撮像部４０による動画像の撮像の終了条件は任意である。撮像部４０は、動画像の撮像時間長が所定時間長になった場合、第２撮像データ４０ａのデータ量が所定データ量以上になった場合、予め定められた無人移動体２０の進路を予め定められた回数（１回以上）巡回した場合等の条件をトリガーとして動画像の撮像を終了する。なお、撮像部４０による動画像の撮像の開始条件も任意である。撮像部４０は、無人移動体２０の起動に伴い自動的に撮像を開始してもよいし、タイマー等で定められた撮像開始タイミングに撮像を開始してもよいし、管理者による手動により撮像を開始してもよいし、他の条件によってもよい。
【００６８】
教師データ１２ｂは、目的別に利用されるデータを含んでいてもよい。図１２は、教師データ１２ｂの構成例を示す模式図である。図１２に示す教師データ１２ｂは、品質管理用教師データ１２１と、安全管理用教師データ１２２と、法定管理用教師データ１２３とを含む。品質管理用教師データ１２１は、工事の品質に関する担当者が撮像装置２及び視線情報取得装置３を使用して工事現場を巡回したことで得られた第１撮像データ２ａ及び視線情報データ３ａに基づいたデータである。安全管理用教師データ１２２は、工事現場の安全に関する担当者が撮像装置２及び視線情報取得装置３を使用して工事現場を巡回したことで得られた第１撮像データ２ａ及び視線情報データ３ａに基づいたデータである。法定管理用教師データ１２３は、法に基づいて定められた工事現場の責任者が撮像装置２及び視線情報取得装置３を使用して工事現場を巡回したことで得られた第１撮像データ２ａ及び視線情報データ３ａに基づいたデータである。このように、ユーザＨによるデータの収集対象毎にデータを生成することで、無人移動体２０を利用した第２撮像データ４０ａの撮像に際して画像の判定に利用したい重要度の基準を目的別に選択可能になる。
【００６９】
無人移動体２０は、無限軌道である移動機構駆動部５０及び当該移動機構駆動部５０に対応した移動制御部５５を備える構成に限られない。図１３は、図８とは異なる無人移動体２００の主要構成例を示す模式図である。無人移動体２００は、２以上の足を有する多足歩行型ロボットであってもよい。図１３に示す無人移動体２００は、４つの脚部５０ａを動作させて進行する四足歩行型の無人移動体である。移動制御部５５ａは、４つの脚部５０ａの動作を制御するよう設けられた動作制御部である。移動制御部５５ａは、動作制御の対象が移動機構駆動部５０ではなく４つの脚部５０ａになる点を除いて、機能的な構成は移動制御部５５と同様である。また、図１３に示す撮像制御部４５は、無人移動体２００の進行方向の前方に設けられた撮像部４０の仰俯角及び方位角を変更可能に設けられている。図１３では、足として機能する脚部５０ａの数が４つであるが、足の数は２以上の任意の数とすることができる。
【００７０】
図１４は、図８及び図１３とは異なる無人移動体２１０の主要構成例を示す模式図である。図１４に示すように、無人移動体２１０は、飛行体であってもよい。図１４に示す無人移動体２１０は、複数のロータ５０ｂを回転させて飛行する飛行型の無人移動体である。移動制御部５５ｂは、複数のロータ５０ｂの回転動作を制御するよう設けられた動作制御部である。移動制御部５５ｂは、動作制御の対象が移動機構駆動部５０ではなく複数のロータ５０ｂになる点を除いて、機能的な構成は移動制御部５５と同様である。また、図１４に示す撮像制御部４５は、無人移動体２１０の下部に設けられた撮像部４０の仰俯角及び方位角を変更可能に設けられている。
【００７１】
無人移動体２０、無人移動体２００及び無人移動体２１０が撮像に用いる構成は、撮像部４０に限られない。図１３に示すように、無人移動体２００は、全周撮像部４１を備える。全周撮像部４１は、水平方向に３６０°の範囲で同時に撮像を行い、当該水平方向のパノラマ画像を含む撮像画像を得られるよう設けられている。全周撮像部４１は、図１３に示すように、無人移動体２００の最上部等、水平方向の撮像に死角がより生じにくい位置に設けられることが望ましい。無人移動体２０が全周撮像部４１と同様の構成を備える場合も同様である。また、図１４のような飛行体である無人移動体２１０が全周撮像部４１と同様の構成を備える場合、無人移動体２１０の下部のように、死角がより生じにくい位置に設けられることが望ましい。
【００７２】
図１３のように無人移動体２００が全周撮像部４１を備える場合、第２判別部３１ａは、全周撮像部４１により撮像された画像に含まれる被撮像対象を識別する。また、全周撮像部４１により撮像された画像に含まれる被撮像対象に対して、第２判定部３１ｂが、教師データ１２ｂに基づいた被撮像対象の重要度の判定を行う。その後、制御部３１ｃが、全周撮像部４１により撮像された画像に含まれる被撮像対象の重要度に基づいて無人移動体２００の動作制御を行う。無人移動体２００の動作制御として、より重要度が高いと判定された被撮像対象に撮像部４０の画角を向ける制御、撮像部４０の画角内で当該被撮像対象の撮像倍率を上げる制御等が挙げられる。また、より重要度が高いと判定された被撮像対象に無人移動体を近付けるための無人移動体２００の進路の制御が並行して実施されてもよい。全周撮像部４１を利用することで、無人移動体２００を中心としたより広い範囲の撮像画像に含まれる被撮像対象に対する重要度の判定及びこの重要度の判定に基づいた無人移動体２００の動作制御が可能になる。無人移動体２０及び無人移動体２１０が全周撮像部４１を備える場合も、同様である。
【００７３】
以上、教師データ１２ｂを利用する無人移動体２０、無人移動体２００及び無人移動体２１０について説明したが、教師データ１２ｂを利用する構成は無人移動体に限られない。撮像部４０は、監視カメラのように所定位置に固定された構成であってもよい。すなわち、撮像部４０は、移動機構駆動部５０を利用した移動を伴わない構成であってもよい。この場合、制御部３１ｃは、移動機構駆動部５０に関する制御を省略し、撮像部４０の仰俯角及び方位角を制御する。
【００７４】
また、第２情報処理装置３０が教師データ１２ｂを取得する具体的な方法は適宜変更可能である。第２情報処理装置３０は、教師データ１２ｂを第２記憶部３２に記憶させる作業を管理者が行う構成であってもよい。この場合、第１通信部１３及び第２通信部３３を省略可能である。
【００７５】
また、図８、図１３、図１４を参照して説明した無人移動体２０無人移動体２００及び無人移動体２１０はあくまで無人移動体の具体的態様の一例であってこれに限られるものでない。例えば、無限軌道である移動機構駆動部５０は、車輪等、別の移動手段に置換可能である。この例に限らず、無人移動体の具体的態様は、本発明の特徴を逸脱しない範囲内で変更可能である。
【００７６】
以上で説明したように、画像判定システム１は、ユーザＨが撮像装置２を用いて撮像した第１撮像データ２ａに含まれる被撮像対象の重要度を決定するための教師データ１２ｂを生成する撮像装置２と、教師データ１２ｂに基づいて第２撮像データ４０ａに含まれる被撮像対象の重要度を判定する第２情報処理装置３０と、を備える。第１情報処理装置１０は、第１撮像データ２ａに含まれる被撮像対象を判別する第１判別部１１ａと、第１撮像データ２ａを撮像する期間に取得された視線情報データ３ａに基づいて、第１撮像データ２ａに含まれる被撮像対象の重要度を判定する第１判定部１１ｂと、第１撮像データ２ａに含まれる被撮像対象と重要度とが対応付けられた教師データ１２ｂを生成する生成部１１ｃと、を備える。第２情報処理装置３０は、第２撮像データ４０ａに含まれる被撮像対象を判別する第２判別部３１ａと、教師データ１２ｂに基づいて、第２撮像データ４０ａに含まれる被撮像対象の重要度を判定する第２判定部３１ｂと、を備える。
【００７７】
これにより、第１撮像データ２ａの撮像中にユーザＨが視線を向けた被撮像対象の重要度を示すデータを含む教師データ１２ｂを、第２撮像データ４０ａに含まれる被撮像対象の重要度の判定に利用することができる。従って、ユーザＨのノウハウを第２撮像データ４０ａの判定に反映させることのできる画像判定システム１を提供することができる。
【００７８】
また、画像判定システム１において、第１判別部１１ａは、第１撮像データ２ａに含まれる被撮像対象に対するユーザＨの視線の到達までの時間、視線が向けられた回数、第１撮像データ２ａに含まれる複数の被撮像対象の各々に視線が向けられた順番、視線が向けられた時間長のうち少なくとも１つに基づいて重要度を判定する。これにより、ユーザＨがより重要だと判断してより注意を向けた被撮像対象の重要度をより高めることができる。すなわち、ユーザＨによる重要度の認識を第２撮像データ４０ａの判定により反映することができる。
【００７９】
また、画像判定システム１において、ユーザＨの頭部に取り付け可能な視線情報取得装置３をさらに備える。視線情報データ３ａは、視線情報取得装置３が取り付けられたユーザＨが第１撮像データ２ａを撮像する期間に取得される。これにより、撮像装置２による第１撮像データ２ａの取得期間と視線情報取得装置３による視線情報データ３ａの取得期間とをより確実に一致させることができる。また、視線情報取得装置３がユーザＨの頭部に取り付け可能であることで、眼Ｅ１及び眼Ｅ２に対して視線情報取得装置３の位置を固定することができる。従って、視線情報データ３ａの精度をより高めることができる。
【００８０】
また、画像判定システム１において、撮像装置２は、画角がユーザＨの視野と重複するようユーザＨ頭部に配置されたウェアラブルカメラである。これにより、撮像装置２の画角を眼Ｅ１及び眼Ｅ２の視野を含むユーザＨの正面側にしてユーザＨの頭部の動きに連動させることができる。また、視線情報取得装置３は、ユーザＨの眼前側に配置されたアイトラッカーである。これにより、眼Ｅ１及び眼Ｅ２に対してより容易に視線情報取得装置３の位置を固定することができる。従って、視線情報データ３ａの精度をより容易により高めることができる。
【００８１】
また、画像判定システム１において、第２撮像データ４０ａを撮像する撮像部４０と、第２情報処理装置３０と、第２判定部３１ｂが判定した撮像部４０ａに含まれる被撮像対象の重要度に基づいて撮像部４０の動作を制御する制御部３１ｃと、を備える無人移動体２０無人移動体２００及び無人移動体２１０をさらに備える。これにより、無人移動体２０無人移動体２００及び無人移動体２１０が備える撮像部４０が撮像した第２撮像データ４０ａに含まれる被撮像対象の判定にユーザＨのノウハウを反映させることのできる画像判定システム１を提供することができる。
【００８２】
また、画像判定システム１において、制御部３１ｃは、撮像部４０により撮像される第２撮像データ４０ａの撮像倍率及び画角を制御する。これにより、重要度がより高い被撮像対象に拡大するように撮像倍率及び画角を制御可能になる。従って、重要度がより高い被撮像対象をより詳細に撮像可能になる。
【００８３】
また、画像判定システム１において、制御部３１ｃは、さらに、無人移動体２０無人移動体２００及び無人移動体２１０の進路を制御する。これにより、重要度がより高い被撮像対象の撮像がより容易になる位置に無人移動体２０無人移動体２００及び無人移動体２１０を移動可能になる。従って、重要度がより高い被撮像対象をより詳細に撮像可能になる。
【００８４】
また、画像判定システム１において、無人移動体２００は、２以上の足を有する多足歩行型ロボットである。これにより、車輪では進行が困難な段差等を含む陸上の進路をより容易に進行可能な無人移動体で第２撮像データ４０ａを撮像することができる。
【００８５】
また、画像判定システム１において、無人移動体２１０は、飛行体である。これにより、空中から第２撮像データ４０ａを撮像することができる。
【００８６】
また、教師データ１２ｂを利用した撮像部４０による撮像動作は、教師データ１２ｂの元になったユーザＨの視線情報に基づいて判定された被撮像対象の重要度に基づいたものになる。すなわち、第２撮像データ４０ａに、ユーザＨが有する被撮像対象の重要度の認識に関するノウハウを反映することができる。従って、単に所定のアルゴリズムで自動的に撮像を行う撮像装置による撮像に比して、ユーザＨの認識により近い撮像を撮像部４０で行うことが可能になる。このため、ユーザＨの役目（例えば、品質、安全、法定管理等）に応じた観点での撮像を自動化することが可能になる。すなわち、巡回等の点検作業を行うユーザＨが被撮像対象の重要度に応じて注意を向ける行為を、撮像部４０を備える無人移動体２０無人移動体２００及び無人移動体２１０によって代替可能になる。また、複数のユーザＨによる第１撮像データ２ａ及び視線情報データ３ａに基づいた教師データ１２ｂを生成することで、複数のユーザＨの個々の意識のばらつきを平均化した重要度を導出することができる。従って、より標準化されたより質の高い重要度の認識に対応した第２撮像データ４０ａを得られる。
【符号の説明】
【００８７】
１      画像判定システム
２      撮像装置
３      視線情報取得装置
１０    第１情報処理装置
１１    第１演算部
１１ａ  第１判別部
１１ｂ  第１判定部
１１ｃ  生成部
１２    第１記憶部
１２ｂ  教師データ
１３    第１通信部
１４    入力部
１５    出力部
２０，２００，２１０  無人移動体
３０    第２情報処理装置
３１    第２演算部
３２    第２記憶部
３３    第２通信部
４０    撮像部
４１    全周撮像部
４５    撮像制御部
５０，５０ａ，５０ｂ  移動機構駆動部
５５，５５ａ，５５ｂ  移動制御部
【図１】
2019179406.tif 000003
【図２】
2019179406.tif 000004
【図３】
2019179406.tif 000005
【図４】
2019179406.tif 000006
【図５】
2019179406.tif 000007
【図６】
2019179406.tif 000008
【図７】
2019179406.tif 000009
【図８】
2019179406.tif 000010
【図９】
2019179406.tif 000011
【図１０】
2019179406.tif 000012
【図１１】
2019179406.tif 000013
【図１２】
2019179406.tif 000014
【図１３】
2019179406.tif 000015
【図１４】
2019179406.tif 000016