(57)【要約】【課題】  カメラで撮像した画像を解析する画像解析システムにおいて、画像解析による検出および識別精度を向上させる。【解決手段】  カメラの設定データおよび被写体に関するデータからなる撮像環境データセットを複数記憶しておき、撮像環境をカメラから検出する検出モジュール２１１と、撮像環境を照合する照合モジュール２１２と、検出した撮像環境と類似する撮像環境データセットを抽出する抽出モジュール２１３とを備え、抽出された撮像環境データセットを適用して画像解析を行う。【選択図】図１
2018078861.tif 000002
【特許請求の範囲】
【請求項１】
撮像するカメラの設定データおよび被写体に関するデータからなる撮像環境データセットを複数記憶する記憶手段と、
撮像した画像の撮像環境を前記カメラから検出する検出手段と、
前記検出した撮像環境を、前記記憶手段と照合する照合手段と、
前記照合の結果、前記記憶した複数の撮像環境データセットの中から、前記検出した撮像環境と類似する撮像環境データセットを抽出する抽出手段と、
前記撮像した画像の画像解析を行う際に、前記抽出された撮像環境データセットを適用して画像解析を行う画像解析手段と、を備えることを特徴とする画像解析システム。
【請求項２】
前記記憶手段は、前記画像解析手段で適用された撮像環境データセットを、新たな撮像環境データセットとして記憶することを特徴とする請求項１に記載の画像解析システム。
【請求項３】
前記撮像環境データセットは、３６０度撮像によるデータであることを特徴とする請求項１または請求項２に記載の画像解析システム。
【請求項４】
前記撮像環境データセットには、前記カメラの撮像角度と、前記被写体までの距離と、を含むことを特徴とする請求項１から請求項３のいずれかに記載の画像解析システム。
【請求項５】
撮像するカメラの設定データと被写体に関するデータとからなる撮像環境データセットを複数記憶するステップと、
撮像した画像の撮像環境を前記カメラから検出するステップと、
前記検出した撮像環境を、前記記憶した複数の撮像環境データセットと照合するステップと、
前記照合の結果、前記記憶した複数の撮像環境データセットの中から、前記検出した撮像環境と類似する撮像環境データセットを抽出するステップと、
前記撮像した画像の画像解析を行う際に、前記抽出された撮像環境データセットを適用して画像解析を行うステップと、を備えることを特徴とする画像解析方法。
【請求項６】
コンピュータシステムに、
撮像するカメラの設定データと被写体に関するデータとからなる撮像環境データセットを複数記憶するステップ、
撮像した画像の撮像環境を前記カメラから検出するステップ、
前記検出した撮像環境を、前記記憶した複数の撮像環境データセットと照合するステップ、
前記照合の結果、前記記憶した複数の撮像環境データセットの中から、前記検出した撮像環境と類似する撮像環境データセットを抽出するステップ、
前記撮像した画像の画像解析を行う際に、前記抽出された撮像環境データセットを適用して画像解析を行うステップ、を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮像した画像を解析する画像解析システムにおいて、撮像を行った環境に合わせたパラメータを使用することで、画像解析による検出および識別精度を向上させる画像解析システム、画像解析方法、およびプログラムに関する。
【背景技術】
【０００２】
画像撮影装置には、過去に撮影された記録画像と同じ内容の撮影設定情報を使用して今回の画像撮影をできるようにするものがある（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２２５０９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の装置では、今回の撮影前に記録画像と同じ内容の撮影設定情報を適用する必要があり、既に撮像された画像に対して、適切な画像処理を行うことはできない。近年では、無人航空機に搭載したカメラ、ウェアラブルデバイスのカメラ、防犯カメラ等で撮像した、様々なものが映っている大量の画像を画像解析するニーズが生じており、そのような場合には、撮像前の設定が必要な特許文献１の手法は適さない。また、画像解析を行う際には、画像解析の目的にあわせて被写体の検出や識別を向上させるためのパラメータの調整が必要であるが、調整のための時間や手間の削減が望まれる。【０００５】
本発明では、これらの課題に鑑み、カメラで撮像した画像を解析する画像解析システムにおいて、撮像を行った環境に合わせたパラメータを使用することで、画像解析による検出および識別精度を向上させる画像解析システム、画像解析方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明では、以下のような解決手段を提供する。【０００７】
第１の特徴に係る発明は、
撮像するカメラの設定データおよび被写体に関するデータからなる撮像環境データセットを複数記憶する記憶手段と、
撮像した画像の撮像環境を前記カメラから検出する検出手段と、
前記検出した撮像環境を、前記記憶手段と照合する照合手段と、
前記照合の結果、前記記憶した複数の撮像環境データセットの中から、前記検出した撮像環境と類似する撮像環境データセットを抽出する抽出手段と、
前記撮像した画像の画像解析を行う際に、前記抽出された撮像環境データセットを適用して画像解析を行う画像解析手段と、
を備えることを特徴とする画像解析システムを提供する。【０００８】
第１の特徴に係る発明によれば、画像解析システムにおいて、撮像するカメラの設定データおよび被写体に関するデータからなる撮像環境データセットを複数記憶する記憶手段と、撮像した画像の撮像環境を前記カメラから検出する検出手段と、前記検出した撮像環境を、前記記憶手段と照合する照合手段と、前記照合の結果、前記記憶した複数の撮像環境データセットの中から、前記検出した撮像環境と類似する撮像環境データセットを抽出する抽出手段と、前記撮像した画像の画像解析を行う際に、前記抽出された撮像環境データセットを適用して画像解析を行う画像解析手段と、を備える。【０００９】
第１の特徴に係る発明は、画像解析システムのカテゴリであるが、画像解析方法、およびプログラムであっても同様の作用、効果を奏する。【００１０】
第２の特徴に係る発明は、第１の特徴に係る発明である画像解析システムであって、
前記記憶手段は、前記画像解析手段で適用された撮像環境データセットを、新たな撮像環境データセットとして記憶することを特徴とする画像解析システムを提供する。【００１１】
第２の特徴に係る発明によれば、第１の特徴に係る発明である画像解析システムにおいて、前記記憶手段は、前記画像解析手段で適用された撮像環境データセットを、新たな撮像環境データセットとして記憶する。【００１２】
第３の特徴に係る発明は、第１の特徴または第２の特徴に係る発明である画像解析システムであって、
前記撮像環境データセットは、３６０度撮像によるデータであることを特徴とする画像解析システムを提供する。【００１３】
第３の特徴に係る発明によれば、第１の特徴または第２の特徴に係る発明である画像解析システムにおいて、前記撮像環境データセットは、３６０度撮像によるデータである。【００１４】
第４の特徴に係る発明は、第１の特徴から第３の特徴のいずれかに係る発明である画像解析システムであって、
前記撮像環境データセットには、前記カメラの撮像角度と、前記被写体までの距離と、を含むことを特徴とする画像解析システムを提供する。【００１５】
第４の特徴に係る発明によれば、第１の特徴から第３の特徴のいずれかに係る発明である画像解析システムにおいて、前記撮像環境データセットには、前記カメラの撮像角度と、前記被写体までの距離と、を含む。【００１６】
第５の特徴に係る発明は、
撮像するカメラの設定データと被写体に関するデータとからなる撮像環境データセットを複数記憶するステップと、
撮像した画像の撮像環境を前記カメラから検出するステップと、
前記検出した撮像環境を、前記記憶した複数の撮像環境データセットと照合するステップと、
前記照合の結果、前記記憶した複数の撮像環境データセットの中から、前記検出した撮像環境と類似する撮像環境データセットを抽出するステップと、
前記撮像した画像の画像解析を行う際に、前記抽出された撮像環境データセットを適用して画像解析を行うステップと、
を備えることを特徴とする画像解析方法を提供する。【００１７】
第６の特徴に係る発明は、コンピュータシステムに、
撮像するカメラの設定データと被写体に関するデータとからなる撮像環境データセットを複数記憶するステップ、
撮像した画像の撮像環境を前記カメラから検出するステップ、
前記検出した撮像環境を、前記記憶した複数の撮像環境データセットと照合するステップ、
前記照合の結果、前記記憶した複数の撮像環境データセットの中から、前記検出した撮像環境と類似する撮像環境データセットを抽出するステップ、
前記撮像した画像の画像解析を行う際に、前記抽出された撮像環境データセットを適用して画像解析を行うステップ、
を実行させるためのプログラムを提供する。
【発明の効果】
【００１８】
本発明によれば、カメラで撮像した画像を解析する画像解析システムにおいて、撮像を行った環境に合わせたパラメータを使用することで、画像解析による検出および識別精度を向上させる画像解析システム、画像解析方法、およびプログラムを提供することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】図１は、本発明の好適な実施形態の概要図である。
【図２】図２は、カメラ１００とコンピュータ２００の機能ブロックと各機能の関係を示す図である。
【図３】図３は、カメラ１００での撮像画像をコンピュータ２００で画像解析処理を行う場合のフローチャート図である。
【図４】図４は、画像解析処理に使用した環境データセットを新たに記憶させる場合のフローチャート図である。
【図５】図５は、カメラ１００で被写体４００を撮像した場合の一例を示す図である。
【図６】図６は、撮像環境データセットのデータ構造の一例を示す表である。
【図７】図７は、画像解析処理に使用した環境データセットを新たに記憶させた場合の撮像環境データセットのデータ構造の一例を示す表である。
【図８】図８は、実際の撮像を基に撮像環境データセットを記憶させる場合のフローチャート図である。
【図９】図９は、カメラ１００の撮像角度を取得する方法を模式的に説明するための図である。
【発明を実施するための形態】
【００２０】
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
【００２１】
［画像解析システムの概要］
図１は、本発明の好適な実施形態の概要図である。この図１に基づいて、本発明の概要を説明する。画像解析システムは、カメラ１００、コンピュータ２００、通信網３００から構成される。
【００２２】
なお、図１において、カメラ１００の数は１つに限らず複数であってもよい。また、コンピュータ２００は、実在する装置に限らず、仮想的な装置であってもよい。
【００２３】
カメラ１００は、図２に示すように、撮像部１０、制御部１１０、通信部１２０から構成される。また、コンピュータ２００は、同じく図２に示すように、制御部２１０、通信部２２０、記憶部２３０、入出力部２４０、から構成される。制御部２１０は通信部２２０と協働して検出モジュール２１１を実現する。また、制御部２１０は記憶部２３０と協働して照合モジュール２１２、抽出モジュール２１３、画像解析モジュール２１４を実現する。また、記憶部２３０は、制御部２１０と協働して記憶モジュール２３１を実現する。通信網３００は、インターネット等の公衆通信網でも専用通信網でも良く、カメラ１００とコンピュータ２００間の通信を可能とする。
【００２４】
カメラ１００は、コンピュータ２００とデータ通信可能な、撮像素子やレンズ等の撮像デバイスを備え、被写体までの距離を測定可能な、または、被写体を複数の異なる方向から同時に撮像可能な撮像装置である。ここでは、例としてＷＥＢカメラを図示しているが、デジタルカメラ、デジタルビデオ、無人航空機に搭載したカメラ、ウェアラブルデバイスのカメラ、防犯カメラ、車載カメラ、３６０度カメラ等の必要な機能を備える撮像装置であってよい。
【００２５】
コンピュータ２００は、カメラ１００とデータ通信可能な計算装置である。ここでは、例としてデスクトップ型のコンピュータを図示しているが、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末等であってよい。
【００２６】
図１の画像解析システムにおいて、コンピュータ２００は、撮像環境データセット記憶データベースを備える。ここで、撮像環境データセットとは、撮像時のカメラの水平方向からの角度、被写体の種類、被写体までの距離、照度、場所、天候、カメラの種類、解像度、等の撮像時の環境データをセットとしたものである。コンピュータ２００の記憶モジュール２３１は、あらかじめ複数の撮像環境データセットそれぞれに対して、被写体の検出および識別精度が良い画像解析パラメータの初期値を紐付けして、撮像環境データセット記憶データベースに記憶しておくものとする。
【００２７】
カメラ１００の撮像部１０は、対象物である被写体の動画又は静止画等の画像を撮像する（ステップＳ０１）。カメラ１００は、被写体として、人間、動物、風景、物品、農作物、樹木等を撮像する。
【００２８】
コンピュータ２００は、通信部２２０を介して、カメラ１００が撮像した画像を取得する（ステップＳ０２）。
【００２９】
コンピュータ２００の検出モジュール２１１は、撮像環境データセットの情報として必要な撮像時の環境データを検出する（ステップＳ０３）。撮像時の環境データとは、例えば、撮像時のカメラの水平方向からの角度、被写体の種類、被写体までの距離、照度、場所、天候、カメラの種類、解像度、等である。これらのデータは、カメラ１００からデータとして直接取得しても良いし、ステップＳ０２で取得した画像をコンピュータ２００で画像解析することにより検出しても良い。
【００３０】
図５は、カメラ１００で被写体４００を撮像した場合の一例を示す図である。ここでは、カメラ１００と通信網３００で接続されたコンピュータ２００の検出モジュール２１１が、２０１６年７月７日の１２：１５：０５に撮像したＤａｔａ  Ａという画像が、「撮像時のカメラの水平方向からの角度が２５度、被写体の種類が植物、被写体までの距離が７メートル、照度が２５０ルクス、場所が屋外、天候が晴れ、カメラの種類がＣａｍｅｒａＺ、解像度が５００万画素」であることを検出したことを示している。撮像時のカメラの水平方向からの角度（撮像角度）は、カメラ１００から取得するか、コンピュータ２００で後述する方法により算出するものとする。被写体の種類は、カメラ１００から取得するか、コンピュータ２００での画像解析により検出するものとする。被写体までの距離は、カメラ１００から取得するか、コンピュータ２００で後述する方法により算出するものとする。照度は、カメラ１００から取得するものとする。場所は、カメラ１００から取得するか、コンピュータ２００での画像解析により検出するものとする。天候は、場所が屋外である場合に、コンピュータ２００での画像解析により検出するか、撮像時のカメラ１００の場所の天気情報を、通信部２２０を介して外部より取得するものとする。カメラの種類は、カメラ１００から取得するか、事前にコンピュータ２００に登録しておくものとする。解像度は、カメラ１００から取得するか、事前にコンピュータ２００にカメラ１００の画素数を登録しておくか、撮像画像の実際の画素数を算出するものとする。
【００３１】
コンピュータ２００の照合モジュール２１２は、ステップＳ０３で検出した撮像画像の撮像環境データセットと、撮像環境データセット記憶データベースに登録済の撮像環境データセットとを照合する（ステップＳ０４）。
【００３２】
図６は、撮像環境データセットのデータ構造の一例を示す表である。ここでは、撮像環境データセット記憶データベースに、図６のデータ構造が登録済であるとする。ステップＳ０３で検出した撮像環境データセットが、前述の図５で被写体４００を撮像した場合の撮像環境データセットである場合、これと類似したものは、「Ｓｅｔ４」の「撮像時のカメラの水平方向からの角度が３０度、被写体の種類が植物、被写体までの距離が８メートル、照度が２４０ルクス、場所が屋外、天候が晴れ、カメラの種類がＣａｍｅｒａＺ、解像度が５００万画素」である環境データセットであることが照合により判定できる。
【００３３】
コンピュータ２００の抽出モジュール２１３は、検出した撮像環境データセットと類似した「Ｓｅｔ４」の撮像環境データセットを抽出する（ステップＳ０５）。
【００３４】
コンピュータ２００の画像解析モジュール２１４は、「Ｓｅｔ４」の撮像環境データセットに紐付けられた画像解析パラメータの初期値「ＰａｒａｍＤ」を利用して画像解析を行う（ステップＳ０６）。ここで、「ＰａｒａｍＤ」を使用して画像解析を行うことで、例えば、「Ｓｅｔ１」の「撮像時のカメラの水平方向からの角度が１０度、被写体の種類が人間、被写体までの距離が３メートル、照度が１００ルクス、場所が屋外、天候が曇り、カメラの種類がＣａｍｅｒａＸ、解像度が２５０万画素」の環境データセットに適した画像解析パラメータの初期値「ＰａｒａｍＡ」を使用して画像解析を行う場合より、短時間で識別精度の良い結果を得ることが可能である。
【００３５】
ここでの画像解析は、例えば、個人判定用の顔認識、農作物の害虫被害状況の判別、倉庫内の在庫確認、医療診断用の患部画像認識、等、個々の目的に応じた適切なものであるとする。また、画像解析パラメータも、前述の目的に応じて、例えば、フィルタ処理を行う範囲、フィルタ処理の強度、二値化の閾値、画像処理の順番、等、適切なものであるとする。
【００３６】
以上のように、本発明によれば、カメラで撮像した画像を解析する画像解析システムにおいて、撮像を行った環境に合わせたパラメータを使用することで、画像解析による検出および識別精度を向上させる画像解析システム、画像解析方法、およびプログラムを提供することが可能となる。
【００３７】
［各機能の説明］
図２は、カメラ１００とコンピュータ２００の機能ブロックと各機能の関係を示す図である。カメラ１００は、撮像部１０、制御部１１０、通信部１２０から構成される。また、コンピュータ２００は、制御部２１０、通信部２２０、記憶部２３０、入出力部２４０、から構成される。制御部２１０は通信部２２０と協働して検出モジュール２１１を実現する。また、制御部２１０は記憶部２３０と協働して照合モジュール２１２、抽出モジュール２１３、画像解析モジュール２１４を実現する。また、記憶部２３０は、制御部２１０と協働して記憶モジュール２３１を実現する。通信網３００は、インターネット等の公衆通信網でも専用通信網でも良く、カメラ１００とコンピュータ２００間の通信を可能とする。
【００３８】
カメラ１００は、コンピュータ２００とデータ通信可能な、撮像素子やレンズ等の撮像デバイスを備え、被写体までの距離を測定可能な、または、被写体を複数の異なる方向から同時に撮像可能な撮像装置である。ここでは、例としてＷＥＢカメラを図示しているが、デジタルカメラ、デジタルビデオ、無人航空機に搭載したカメラ、ウェアラブルデバイスのカメラ、防犯カメラ、車載カメラ、３６０度カメラ等の必要な機能を備える撮像装置であってよい。
【００３９】
カメラ１００は、撮像部１０として、レンズ、撮像素子、各種ボタン、フラッシュ等の撮像デバイス等を備え、動画や静止画等の撮像画像として撮像する。また、撮像して得られる画像は、画像解析に必要なだけの情報量を持った精密な画像であるものとし、画素数や画質を指定可能であるものとする。
【００４０】
制御部１１０として、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等を備える。
【００４１】
通信部１２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）対応デバイス又は第３世代、第４世代移動通信システム等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。
【００４２】
コンピュータ２００は、カメラ１００とデータ通信可能な計算装置である。ここでは、例としてデスクトップ型のコンピュータを図示しているが、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末等であってよい。
【００４３】
制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。制御部２１０は通信部２２０と協働して検出モジュール２１１を実現する。また、制御部２１０は記憶部２３０と協働して照合モジュール２１２、抽出モジュール２１３、画像解析モジュール２１４を実現する。
【００４４】
通信部２２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイス又は第３世代、第４世代移動通信システム等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。
【００４５】
記憶部２３０として、ハードディスクや半導体メモリによる、データのストレージ部を備え、撮像画像や、撮像環境検出結果、撮像環境照合結果、抽出した撮像環境データセット、画像解析結果等の処理に必要なデータ等を記憶する。また、記憶部２３０は、制御部２１０と協働して記憶モジュール２３１を実現する。記憶部２３０に、撮像環境データセット記憶データベースを備えても良い。
【００４６】
入出力部２４０は、画像解析システムを利用するために必要な機能を備えるものとする。入力を実現するための例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。また、出力を実現するための例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクターへの投影等の表示と音声出力等の形態が考えられる。入出力方法により、本発明は特に機能を限定されるものではない。
【００４７】
［画像解析処理］
図３は、カメラ１００での撮像画像をコンピュータ２００で画像解析処理を行う場合のフローチャート図である。上述した各モジュールが実行する処理について、本処理にあわせて説明する。
【００４８】
はじめに、コンピュータ２００の記憶モジュール２３１は、記憶部２３０に撮像環境データセットを複数記憶する（ステップＳ３０１）。記憶部２３０に撮像環境データセット記憶データベースを備え、データベースに記憶することとしてもよい。ここで、撮像環境データセットとは、撮像時のカメラの水平方向からの角度、被写体の種類、被写体までの距離、照度、場所、天候、カメラの種類、解像度、等の撮像時の環境データをセットとしたものである。ここであらかじめ、複数の撮像環境データセットそれぞれに対して、被写体の検出および識別精度が良い画像解析パラメータの初期値を紐付けして、撮像環境データセット記憶データベースに記憶しておくものとする。なお、既に複数の撮像環境データセットが記憶されている場合には、この処理はスキップしてよいものとする。
【００４９】
次に、カメラ１００の撮像部１０は、対象物である被写体の動画又は静止画等の画像を撮像する（ステップＳ３０２）。カメラ１００は、被写体として、人間、動物、風景、物品、農作物、樹木等を撮像する。撮像の指示は、コンピュータ２００から行っても良い。
【００５０】
コンピュータ２００は、通信部２２０を介して、カメラ１００が撮像した画像を取得する（ステップＳ３０３）。
【００５１】
コンピュータ２００の検出モジュール２１１は、撮像環境データセットの情報として必要な撮像時の環境データを検出する（ステップＳ３０４）。撮像時の環境データとは、例えば、撮像時のカメラの水平方向からの角度、被写体の種類、被写体までの距離、照度、場所、天候、カメラの種類、解像度、等である。これらのデータは、カメラ１００からデータとして直接取得しても良いし、ステップＳ３０３で取得した画像をコンピュータ２００で画像解析することにより検出しても良い。
【００５２】
図５は、カメラ１００で被写体４００を撮像した場合の一例を示す図である。ここでは、カメラ１００と通信網３００で接続されたコンピュータ２００の検出モジュール２１１が、２０１６年７月７日の１２：１５：０５に撮像したＤａｔａ  Ａという画像が、「撮像時のカメラの水平方向からの角度が２５度、被写体の種類が植物、被写体までの距離が７メートル、照度が２５０ルクス、場所が屋外、天候が晴れ、カメラの種類がＣａｍｅｒａＺ、解像度が５００万画素」であることを検出したことを示している。撮像時のカメラの水平方向からの角度（撮像角度）は、カメラ１００から取得するか、コンピュータ２００で後述する方法により算出するものとする。被写体の種類は、カメラ１００から取得するか、コンピュータ２００での画像解析により検出するものとする。被写体までの距離は、カメラ１００から取得するか、コンピュータ２００で後述する方法により算出するものとする。照度は、カメラ１００から取得するものとする。場所は、カメラ１００から取得するか、コンピュータ２００での画像解析により検出するものとする。天候は、場所が屋外である場合に、コンピュータ２００での画像解析により検出するか、撮像時のカメラ１００の場所の天気情報を、通信部２２０を介して外部より取得するものとする。カメラの種類は、カメラ１００から取得するか、事前にコンピュータ２００に登録しておくものとする。解像度は、カメラ１００から取得するか、事前にコンピュータ２００にカメラ１００の画素数を登録しておくか、撮像画像の実際の画素数を算出するものとする。
【００５３】
コンピュータ２００の照合モジュール２１２は、ステップＳ３０４で検出した撮像画像の撮像環境データセットと、記憶部２３０に記憶済の撮像環境データセットとを照合する（ステップＳ３０５）。
【００５４】
図６は、撮像環境データセットのデータ構造の一例を示す表である。ここでは、撮像環境データセット記憶データベースに、図６のデータ構造が登録済であるとする。ステップＳ３０４で検出した撮像環境データセットが、前述の図５で被写体４００を撮像した場合の撮像環境データセットである場合、これと類似したものは、「Ｓｅｔ４」の「撮像時のカメラの水平方向からの角度が３０度、被写体の種類が植物、被写体までの距離が８メートル、照度が２４０ルクス、場所が屋外、天候が晴れ、カメラの種類がＣａｍｅｒａＺ、解像度が５００万画素」である環境データセットであることが照合により判定できる。
【００５５】
コンピュータ２００の抽出モジュール２１３は、検出した撮像環境データセットと類似した「Ｓｅｔ４」の撮像環境データセットを抽出する（ステップＳ３０６）。
【００５６】
コンピュータ２００の画像解析モジュール２１４は、「Ｓｅｔ４」の撮像環境データセットに紐付けられた画像解析パラメータの初期値「ＰａｒａｍＤ」を利用して画像解析を行う（ステップＳ３０７）。ここで、「ＰａｒａｍＤ」を使用して画像解析を行うことで、例えば、「Ｓｅｔ１」の「撮像時のカメラの水平方向からの角度が１０度、被写体の種類が人間、被写体までの距離が３メートル、照度が１００ルクス、場所が屋外、天候が曇り、カメラの種類がＣａｍｅｒａＸ、解像度が２５０万画素」の環境データセットに適した画像解析パラメータの初期値「ＰａｒａｍＡ」を使用して画像解析を行う場合より、短時間で識別精度の良い結果を得ることが可能である。
【００５７】
ここでの画像解析は、例えば、個人判定用の顔認識、農作物の害虫被害状況の判別、倉庫内の在庫確認、医療診断用の患部画像認識、等、個々の目的に応じた適切なものであるとする。また、画像解析パラメータも、前述の目的に応じて、例えば、フィルタ処理を行う範囲、フィルタ処理の強度、二値化の閾値、画像処理の順番、等、適切なものであるとする。
【００５８】
以上のように、本発明によれば、カメラで撮像した画像を解析する画像解析システムにおいて、撮像を行った環境に合わせたパラメータを使用することで、画像解析による検出および識別精度を向上させる画像解析システム、画像解析方法、およびプログラムを提供することが可能となる。
【００５９】
［撮像環境データセット追加記憶処理］
図４は、画像解析処理に使用した環境データセットを新たに記憶させる場合のフローチャート図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。図４のステップＳ４０１からステップＳ４０７の処理は、図３のステップＳ３０１からステップＳ３０７の処理に相当するため、ステップＳ４０８以降について説明する。
【００６０】
記憶モジュール２３１は、ステップＳ４０７での画像解析後、「ＰａｒａｍＤ」を使用した画像解析結果が、良好であったかどうかを確認する（ステップＳ４０８）。
【００６１】
ステップＳ４０７の画像解析結果が良好であった場合には、記憶モジュール２３１は、ステップＳ４０４で検出した撮像環境を「ＰａｒａｍＤ」と紐付けて、新たな撮像環境データセットとして記憶する（ステップＳ４０９）。
【００６２】
図７は、画像解析処理に使用した環境データセットを新たに記憶させた場合の撮像環境データセットのデータ構造の一例を示す表である。図６の状態から、新たに「Ｓｅｔ５」として、「撮像時のカメラの水平方向からの角度が２５度、被写体の種類が植物、被写体までの距離が７メートル、照度が２５０ルクス、場所が屋外、天候が晴れ、カメラの種類がＣａｍｅｒａＺ、解像度が５００万画素」の環境データセットと紐付けた「ＰａｒａｍＤ」を、追加して記憶させている。これにより、次回撮像時から「Ｓｅｔ５」の撮像環境データセットも利用可能となる。
【００６３】
ステップＳ４０７の画像解析結果が良好でなかった場合には、記憶モジュール２３１はなにも行わず処理を終了する。
【００６４】
ステップＳ４０８において、画像解析結果が良好であったかどうかとは、個人判定用の顔認識、農作物の害虫被害状況の判別、倉庫内の在庫確認、医療診断用の患部画像認識、等、個々の画像解析の目的に応じて閾値等を用いて自動で判断しても良いし、人間が判断してもよい。
【００６５】
以上のように、本発明によれば、カメラで撮像した画像を解析する画像解析システムにおいて、良好な画像解析結果を得た撮像環境データセットを新たに登録することで、より画像解析による検出および識別精度を向上させることが可能となる。
【００６６】
［撮像画像を基にした撮像環境データセット記憶処理］
図８は、実際の撮像を基に撮像環境データセットを記憶させる場合のフローチャート図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。
【００６７】
はじめに、カメラ１００の撮像部１０は、対象物である被写体の動画又は静止画等の画像を撮像する（ステップＳ８０１）。カメラ１００は、被写体として、人間、動物、風景、物品、農作物、樹木等を撮像する。
【００６８】
コンピュータ２００は、通信部２２０を介して、カメラ１００が撮像した画像を取得する（ステップＳ８０２）。
【００６９】
コンピュータ２００の検出モジュール２１１は、必要な撮像時の環境データを検出する（ステップＳ８０３）。撮像時の環境データとは、例えば、撮像時のカメラの水平方向からの角度、被写体の種類、被写体までの距離、照度、場所、天候、カメラの種類、解像度、等である。これらのデータは、カメラ１００からデータとして直接取得しても良いし、ステップＳ８０２で取得した画像をコンピュータ２００で画像解析することにより検出しても良い。
【００７０】
コンピュータ２００の画像解析モジュール２１４は、画像解析を行う（ステップＳ８０４）。ここでは、画像処理パラメータの適切な初期値が特に指定されていないため、画像処理パラメータのチューニングを行っても良い。チューニングを行う際は、システムに応じて時間等による制限をつけても良い。ここで、最終的に使用したパラメータを「ＰａｒａｍＸ」として記憶部２３０に記憶しておく。
【００７１】
ここでの画像解析は、例えば、個人判定用の顔認識、農作物の害虫被害状況の判別、倉庫内の在庫確認、医療診断用の患部画像認識、等、個々の目的に応じた適切なものであるとする。また、画像解析パラメータも、前述の目的に応じて、例えば、フィルタ処理を行う範囲、フィルタ処理の強度、二値化の閾値、画像処理の順番、等、適切なものであるとする。
【００７２】
次に、記憶モジュール２３１は、ステップＳ８０４での画像解析後、「ＰａｒａｍＸ」を使用した画像解析結果が、良好であったかどうかを確認する（ステップＳ８０５）。
【００７３】
ステップＳ８０４の画像解析結果が良好であった場合には、記憶モジュール２３１は、ステップＳ８０３で検出した撮像環境を「ＰａｒａｍＸ」と紐付けて、新たな撮像環境データセットとして記憶する（ステップＳ８０６）。
【００７４】
ステップＳ８０４の画像解析結果が良好でなかった場合には、記憶モジュール２３１はなにも行わず処理を終了する。
【００７５】
ステップＳ８０４において、画像解析結果が良好であったかどうかとは、個人判定用の顔認識、農作物の害虫被害状況の判別、倉庫内の在庫確認、医療診断用の患部画像認識、等、個々の画像解析の目的に応じて閾値等を用いて自動で判断しても良いし、人間が判断してもよい。
【００７６】
以上のように、本発明によれば、カメラで撮像した画像を解析する画像解析システムにおいて、撮像画像を基にした撮像環境データセットを新たに登録することで、撮像環境データセットを人間が入力する場合に比較して、手間を省くことが可能となる。
【００７７】
［撮像角度取得処理］
本発明でのカメラ１００は、被写体までの距離を測定可能、または、被写体を複数の異なる方向から同時に撮像可能な撮像装置である。被写体までの距離を測定する方法については、カメラ１００のセンサ等から取得する他に、被写体を複数の異なる方向から同時に撮像可能である場合には、その複数のカメラそれぞれで撮像した画像のズレの長さと、実際の距離を学習させて、距離を測定することも可能である。また、その測定した距離を用いて、撮像角度を算出することも可能である。複数のカメラから距離を測定する方法については、既存技術として知られているため、ここでは、図９に基づいて、撮像角度を取得する方法について説明する。
【００７８】
図９は、カメラ１００の撮像角度を取得する方法を模式的に説明するための図である。図９において、カメラ１００は、被写体４００と、壁９１０と、床９２０を撮像した状態である。カメラ１００またはコンピュータ２００が、撮像画像を画像解析し、撮像角度を取得する場合、撮像画像中に存在する同じパターン（模様）面積が、最大の領域を床又は地面等の平面と認識し、平面の傾きから自身の撮像角度を取得する。ここでは、床９２０が平面に該当する。
【００７９】
カメラ１００の撮像角度を取得する方法は、カメラ１００またはコンピュータ２００のいずれで行っても良いが、以下では簡略化のために、コンピュータ２００で行うものとして記載する。コンピュータ２００は、撮像位置から床９２０までの２か所の所定位置９３０，９３１をサンプルとして抽出する。この所定位置９３０，９３１と、撮像地点の中心位置９３２とを結んだ三角形９３３を形成する。三角形９３３は、辺９４０、辺９４１、辺９４２の３辺により形成される。コンピュータ２００は、中心位置９３２から床９２０へ垂線９５０を形成し、辺９４２と垂線９５０の交点９３４を形成する。コンピュータ２００は、複数のカメラで撮像した画像のずれの長さと実際の距離を学習させ、距離を推定することにより辺９４０，９４１及び垂線９５０の長さを算出する。コンピュータ２００は、辺９４２において、所定位置９３０と交点９３４とを結ぶ線分９６０と、所定位置９３１と交点９３４とを結ぶ線分９６１との長さを算出する。コンピュータ２００は、三角関数により、角度９７０を算出し、この算出した角度９７０を自身の３次元の撮像角度として取得する。
【００８０】
以上のように、本発明によれば、カメラに被写体までの距離を測定する機能が無い場合にも、被写体を複数の異なる方向から同時に撮像する機能を利用することにより、被写体までの距離を算出するとともに、撮像時の水平方向からの角度を算出することが可能である。
【００８１】
上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態であってもよいし、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）、コンパクトメモリ等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
【００８２】
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
【符号の説明】
【００８３】
１００  カメラ、２００  コンピュータ、３００  通信網、４００  被写体
【図１】
2018078861.tif 000003
【図２】
2018078861.tif 000004
【図３】
2018078861.tif 000005
【図４】
2018078861.tif 000006
【図５】
2018078861.tif 000007
【図６】
2018078861.tif 000008
【図７】
2018078861.tif 000009
【図８】
2018078861.tif 000010
【図９】
2018078861.tif 000011
【手続補正書】
【提出日】平成29年8月25日(2017.8.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像するカメラの設定データおよび被写体に関するデータからなり、当該カメラの撮像角度と、当該被写体までの距離と、を含む撮像環境データセットを複数記憶する記憶手段と、
撮像した画像の撮像環境を前記カメラから検出する検出手段と、
前記検出した撮像環境を、前記記憶手段と照合する照合手段と、
前記照合の結果、前記記憶した複数の撮像環境データセットの中から、前記検出した撮像環境と類似する撮像環境データセットを抽出する抽出手段と、
前記撮像した画像の画像解析を行う際に、前記抽出された撮像環境データセットを適用して画像解析を行う画像解析手段と、を備えることを特徴とする画像解析システム。
【請求項２】
前記記憶手段は、前記画像解析手段で適用された撮像環境データセットを、新たな撮像環境データセットとして記憶することを特徴とする請求項１に記載の画像解析システム。
【請求項３】
前記撮像環境データセットは、３６０度撮像によるデータであることを特徴とする請求項１に記載の画像解析システム。
【請求項４】
画像解析システムが実行する画像解析方法であって、
撮像するカメラの設定データと被写体に関するデータとからなり、当該カメラの撮像角度と、当該被写体までの距離と、を含む撮像環境データセットを複数記憶するステップと、
撮像した画像の撮像環境を前記カメラから検出するステップと、
前記検出した撮像環境を、前記記憶した複数の撮像環境データセットと照合するステップと、
前記照合の結果、前記記憶した複数の撮像環境データセットの中から、前記検出した撮像環境と類似する撮像環境データセットを抽出するステップと、
前記撮像した画像の画像解析を行う際に、前記抽出された撮像環境データセットを適用して画像解析を行うステップと、を備えることを特徴とする画像解析方法。
【請求項５】
コンピュータシステムに、
撮像するカメラの設定データと被写体に関するデータとからなり、当該カメラの撮像角度と、当該被写体までの距離と、を含む撮像環境データセットを複数記憶するステップ、
撮像した画像の撮像環境を前記カメラから検出するステップ、
前記検出した撮像環境を、前記記憶した複数の撮像環境データセットと照合するステップ、
前記照合の結果、前記記憶した複数の撮像環境データセットの中から、前記検出した撮像環境と類似する撮像環境データセットを抽出するステップ、
前記撮像した画像の画像解析を行う際に、前記抽出された撮像環境データセットを適用して画像解析を行うステップ、を実行させるためのコンピュータ読み取り可能なプログラム。
【国際調査報告】
2018078861.tif 000012
2018078861.tif 000013
2018078861.tif 000014
2018078861.tif 000015