(57)【要約】      （修正有）【課題】動画の認識精度の低下を抑制できる情報処理装置を提供すること。【解決手段】画像から対象を認識する情報処理装置であって、動画データを複数の静止画像に展開する動画展開手段３１と、前記静止画像の種類に応じて、認識処理のパラメータを設定する認識処理パラメータ設定手段３２と、前記認識処理パラメータ設定手段により設定されたパラメータに基づき、前記静止画像に対し前記対象の認識処理を行う画像認識手段３３と、を有する。【選択図】図６
2018063551.tif 000002
【特許請求の範囲】
【請求項１】
画像から対象を認識する情報処理装置であって、
動画データを複数の静止画像に展開する動画展開手段と、
前記静止画像の種類に応じて、認識処理のパラメータを設定する認識処理パラメータ設定手段と、
前記認識処理パラメータ設定手段により設定されたパラメータに基づき、前記静止画像に対し前記対象の認識処理を行う画像認識手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記認識処理パラメータ設定手段は、前記静止画像の画質に応じた前記パラメータを設定する請求項１に記載の情報処理装置。
【請求項３】
前記静止画像の種類は、フレームの全ての情報を保持した第一のフレーム、
時間的に前の前記第一のフレームとの差異を保持した第二のフレーム、又は、
時間的に前後する第一のフレームと前記第二のフレームの差異を保持した第三のフレームであり、
前記認識処理パラメータ設定手段は、前記フレームの種類に応じて前記パラメータを設定する請求項１に記載の情報処理装置。
【請求項４】
前記認識処理パラメータ設定手段は、前記フレームの種類に応じて画像認識のテンプレートを変更するか、
前記対象を検出したと判断するか否かのしきい値を変更するか、
又は、色情報を検出するためのしきい値を変更する請求項３に記載の情報処理装置。
【請求項５】
画像から対象を認識する情報処理装置であって、
動画データを複数の静止画像に展開する動画展開手段と、
前記静止画像の種類に応じて、認識処理のパラメータを設定する認識処理パラメータ設定手段と、
前記静止画像の種類に応じて認識処理の対象とするか否かを決定する認識処理パラメータ設定手段と、
前記認識処理パラメータ設定手段が認識処理の対象とすると決定した種類の前記静止画像に対し前記対象の認識処理を行う画像認識手段と、
を有することを特徴とする情報処理装置。
【請求項６】
前記静止画像の種類は、フレームの全ての情報を保持した第一のフレーム、
時間的に前の前記第一のフレームとの差異を保持した第二のフレーム、又は、
時間的に前後する第一のフレームと前記第二のフレームの差異を保持した第三のフレームである請求項５に記載の情報処理装置。
【請求項７】
前記認識処理パラメータ設定手段は、前記第一のフレームを認識処理の対象に決定する請求項６に記載の情報処理装置。
【請求項８】
前記認識処理パラメータ設定手段は、時系列の前記静止画像の変化の大きさを算出し、
前記大きさがしきい値以上の場合、前記第一のフレームを認識処理の対象に決定し、
前記大きさがしきい値以上でない場合、前記第二のフレーム又は前記第三のフレームを認識処理の対象に決定する請求項６に記載の情報処理装置。
【請求項９】
前記動画データは前記静止画像ごとに画質指標値を有しており、
前記認識処理パラメータ設定手段は、前記画質指標値がしきい値以上の前記静止画像を認識処理の対象に決定する請求項５に記載の情報処理装置。
【請求項１０】
画像から対象を検出する情報処理装置と、ネットワークを介して通信を行うＷｅｂサービスとを有する画像処理システムであって、
動画データを複数の静止画像に展開する動画展開手段と、
前記静止画像の種類に応じて、認識処理のパラメータを設定する認識処理パラメータ設定手段と、
前記認識処理パラメータ設定手段により設定されたパラメータに基づき、前記静止画像に対し前記対象の認識処理を行う画像認識手段と、を有し、
前記情報処理装置が認識結果を送信するＷｅｂＡＰＩを介してＷｅｂサービスに前記認識結果を送信し、Ｗｅｂサービスが作成する情報を提供するか又はＷｅｂサービスが機器の制御を行う画像処理システム。
【請求項１１】
画像から対象を認識する情報処理装置を、
動画データを複数の静止画像に展開する動画展開手段と、
前記静止画像の種類に応じて、認識処理のパラメータを設定する認識処理パラメータ設定手段と、
前記認識処理パラメータ設定手段により設定されたパラメータに基づき、前記静止画像に対し前記対象の認識処理を行う画像認識手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム及びプログラムに関する。
【背景技術】
【０００２】
通信環境の整備や通信コストの低下などに伴い、インターネット上のデータやサービスが急激に増加した。これによりクラウドサービスと呼ばれるサービス形態が知られるようになった。クラウドサービスはユーザがインターネットを介してサービスを受け、必要に応じてサービス料金を支払うサービスの形態である。クラウドサービスを初めとするインターネット上のサービスでは、世界中のデータを収集できるため、ビッグデータと呼ばれる大量のデータを利用することが現実的に可能になり、これを活用したデータ処理が活発になっている。
【０００３】
また、スマートフォンを始めとしたインターネットに接続されるハードウェアが急増しており、モノのインターネット（Internet of Things, IoT）という概念が生まれた。モノがインターネットに接続されることで、モノを必要とするサービスをクラウドサービスが提供することが可能になり、サービス提供者はますます多様なクラウドサービスを容易に提供することが可能になっていく。
【０００４】
クラウドサービスの１つとして撮像装置が撮像した画像の解析が挙げられる。画像に写っている人や人物を識別したり、写っている物体の一般的な名称を特定したりする画像認識の処理アルゴリズムの開発が進んでいる。画像が入力されれば、これらのアルゴリズムを用いることで、インテリジェントな情報を得ることができるようになる。このアルゴリズムは、画像を撮像する撮像装置に内蔵されている処理チップで実行することもできるが、上記のようにクラウドサービスとしてクラウド上で実行することもできる。
【０００５】
クラウドサービスにおいて、モノとインターネットを通信で結ぶための仕組みとしてWebAPIが知られている。撮像装置が撮像した画像がWebAPIで画像認識の対象となることで、画像から多くの情報を抽出できる。例えば、人の有無や数、車両の有無や数、障害物の有無、信号機の状態など目的に応じて種々の情報をクラウドサービスが抽出できる。
【０００６】
人間の視覚は全体の感覚の７割といわれているが、インテリジェントな視覚情報を提供するクラウドサービスのWebAPIがあれば、ユーザは他のWebAPIを適宜組み合わせて簡単に高度なアプリケーションを作ることができる。
【０００７】
このような画像認識は動画に対して行うことも可能である（例えば、特許文献１参照。）。特許文献１には、認識処理を行う前後のフレームで、最も文字認識に適しているフレームを用いて認識処理を行う方法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の技術では、動画の認識精度が低下するおそれがあるという問題がある。すなわち、撮像装置等から動画をクラウド側に送信する必要があるが、動画のデータ量は非常に多く、広い帯域が必要となり、通信コストが高くなってしまう。通信コストを低減するには、動画を高い圧縮率で圧縮すればよいが、圧縮率が高いと画像が劣化し画像認識の精度が低下するおそれがある。動画を送信せず記憶装置に記憶された動画に画像認識処理を行うだけだとしても、圧縮率が低ければ容量を圧迫し、圧縮率が高ければ画像認識の精度が低下するおそれがある。
【０００９】
本発明は、動画の認識精度の低下を抑制できる情報処理装置の提供を行うことを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、画像から対象を認識する情報処理装置であって、動画データを複数の静止画像に展開する動画展開手段と、前記静止画像の種類に応じて、認識処理のパラメータを設定する認識処理パラメータ設定手段と、前記認識処理パラメータ設定手段により設定されたパラメータに基づき、前記静止画像に対し前記対象の認識処理を行う画像認識手段と、を有する。
【発明の効果】
【００１１】
動画の認識精度の低下を抑制できる情報処理装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】画像処理システムの概略的な動作を説明する図の一例である。
【図２】画像処理システムのシステム構成例を示す図である。
【図３】画像処理システムにより利用可能なアプリケーションの一例を示す図である。
【図４】複数のＷｅｂサービスの連携の一例を示す図である。
【図５】認識サーバの概略的なハードウェア構成図の一例である。
【図６】認識サーバの機能をブロック状に示す機能ブロック図の一例である。
【図７】認識処理パラメータ設定部が変化の大小に応じて認識処理を行うフレームを決定する手順を示すフローチャート図の一例である。
【図８】認識処理パラメータ設定部が画像の変化の大小に応じて認識処理を行うフレームとテンプレートを決定する手順を示すフローチャート図の一例である。
【図９】認識処理パラメータ設定部が画質に応じて対象検出のしきい値を変更する手順を示すフローチャート図の一例である。
【図１０】認識処理パラメータ設定部が特定のフレームを認識対象に指示する手順を示すフローチャート図の一例である。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態について図面を参照しながら実施例を挙げて説明する。
【００１４】
図１は、本実施形態の画像処理システム１００の概略的な動作を説明する図の一例である。撮像装置１０は動画を撮像しており適宜、動画の画像データ（動画データ）を認識サーバ３０に送信する。認識サーバ３０は画像認識を行い、WebAPIを介して認識結果を各種のクラウドサービスに提供する。
（１）撮像装置１０は動画を高い圧縮率で圧縮し、認識サーバ３０に送信する。圧縮率を高めることで通信コストを低減できる。
（２）しかし、圧縮率が高いことは圧縮ノイズが含まれやすいことを意味し、画像の認識精度が低下するおそれがある。ここで、圧縮された動画は三種類のフレーム (Ｉフレーム、Ｂフレーム、Ｐフレームなど)を有するが、圧縮ノイズの大きさ（画質の良さ）はフレームによって異なる（圧縮ノイズの大きさは必ずしもフレームの種類のみに依存しないが、ここでは説明の便宜上、フレームの種類に着目する）。
【００１５】
そこで、認識サーバ３０はフレームの種類に応じて認識処理のパラメータを変更する。詳細は後述されるが、例えば各フレーム用に用意された対象の検出のためのテンプレートをフレームの種類によって切り替えたり、対象の検出のためのしきい値を変更したりする。フレームの種類によって異なる画質等に応じたパラメータを使って認識処理が可能になり、高圧縮率の動画に対しても高い精度の画像認識が可能となる。
【００１６】
なお、パラメータを変更するだけでなく、所定の種類のフレームのみを認識対象に決定してもよい。例えば、圧縮ノイズが少ない特定のフレーム（例えば、Ｉフレーム）のみに認識処理を行う。この場合も、高圧縮率の動画に対して高い精度の画像認識が可能となる。
【００１７】
＜用語について＞
特許請求の範囲の静止画像の種類とは、動画データを動画として再生するために動画データに含まれる静止画像をいう。例えば、静止画像の種類としてI、Ｐ，Ｂフレームがある。
【００１８】
静止画像の画質とは、静止画像の良さの程度だけでなく、静止画像の性質が異なることをいう。例えば、画質の違いはＩ，Ｐ，Ｂフレームが含む情報の違いにより生じうる。
【００１９】
＜システム構成例＞
図２は、画像処理システム１００のシステム構成例を示す図である。ネットワークを介して撮像装置１０と認識サーバ３０が接続されている。撮像装置１０はインターネットに繋がるモノという意味でＩＯＴ（Internet of Things）と呼ばれる場合がある。撮像装置１０は、ＣＣＤやＣＭＯＳなどの光電変換素子を備えレンズを通って入射した光を、輝度情報を有する画像データに変換する。具体的には、デジタルスチルカメラ又はデジタルビデオカメラと呼ばれるが、撮像機能を有していればカメラと呼ばれていなくてもよい。例えば、スマートフォン、タブレット端末、ＰＣ（Personal Computer）、ゲーム機などにはカメラを有するものがある。また、例えば、複合機、プロジェクタ、テレビ会議端末、電子黒板、又は、ドローンなどでもよい。また、カメラは外付けされてよく、カメラが外付けされた機器がカメラとして動作してもよい。
【００２０】
また、撮像装置１０が本実施形態の画像の認識処理を行ってもよく、この場合、撮像装置１０は認識結果を認識サーバ３０又はＷｅｂサービス３０１に送信する。
【００２１】
認識サーバ３０はＰＣやサーバ装置などを実体とする情報処理装置である。認識サーバ３０はWebAPIを介して各種のＷｅｂサービス３０１、ＷｅｂのＤＢサービス３０２、又はユーザが作成したアプリ３０３と接続されている。これらに認識結果を送信し、高度なアプリケーションを実現している。なお、WebAPIとは、機器と機器がネットワークを介して処理を行う際の取り決め（処理の依頼方法やデータの指定方法など）をいう。Ｗｅｂサービス３０１やＷｅｂのＤＢサービス３０２はWebAPIを公開しているため、認識サーバ３０とＷｅｂサービス３０１又はＷｅｂのＤＢサービス３０２が連携できるようになる。ユーザが作成したアプリ３０３のWebAPIはユーザにとって既知なので同様に認識サーバ３０がこれを利用できる。
【００２２】
なお、本実施形態のアプリケーションとは、認識サーバ３０の認識結果を利用して有用な情報を得ること又は機器の制御を行う応用例又はこれに準ずる意味である。必ずしもある１つのソフトウェアを指していない。
【００２３】
図２の構成によれば、撮像装置１０が撮像した画像を認識サーバ３０が認識して所定の対象を検出し、Ｗｅｂサービス３０１、ＷｅｂのＤＢサービス３０２、又は、ユーザが作成したアプリ３０３の少なくとも１つを介して、ユーザ又は制御対象３０４に情報が送信される。ユーザがどのような情報を得るか、又は、どのような制御対象がどのように制御されるかがアプリケーションになる。
【００２４】
なお、図２に示したＷｅｂサービス３０１同士を連携させるためのＷｅｂサービスがあり、このような連携Ｗｅｂサービス３０１ａをユーザが利用することで、認識サーバ３０と他のＷｅｂサービス３０１とを連携させることができる。連携Ｗｅｂサービス３０１ａの一例としてＩＦＴＴＴ、zapier及びmyThings等がある。これらの連携Ｗｅｂサービス３０１ａは、認識サーバ３０と他のＷｅｂサービス３０１を連携させるインタフェースとなる。
【００２５】
連携Ｗｅｂサービス３０１ａとは、任意のＷｅｂサービス（又はスマートフォンなどの端末装置）の作業を契機にして、他のＷｅｂサービスのアクションを自動化させることにより作業効率化を図るＷｅｂサービスである。ユーザは連携Ｗｅｂサービス３０１ａを使用することで、認識サーバ３０の認識結果を利用して種々のアプリケーションを容易に構築できる。
【００２６】
ＷｅｂのＤＢサービス３０２は主にデータを蓄積するＷｅｂサービスである。ＷｅｂのＤＢサービス３０２にもインタフェースとしての役割を果たす連携Ｗｅｂサービス３０２ａが存在する。例えばfluentdという連携Ｗｅｂサービス３０２ａが知られている。ユーザが作成したアプリ３０３の場合、WebAPIもユーザが作成するので連携Ｗｅｂサービス３０１ａ、３０２ａは不要になるが、連携Ｗｅｂサービス３０１ａ、３０２ａを利用されてもよい。なお、ユーザが作成したアプリ３０３はどのようなものでもよく、また、様々である。このユーザには企業も個人も含まれ、ある企業に特有のアプリ３０３や個人に特有のアプリ３０３を任意に作成できる。企業の場合、認識結果を警備や設備の制御又はＦＡ（ファクトリーオートメーション）等に使用するアプリ３０３が考えられ、個人の場合、認識結果で静止画像や動画の画像データ等を整理するアプリ３０３等が考えられる。
【００２７】
認識サーバ３０は撮像装置１０に画像を送るようにリクエストを送る。リクエストの契機となるのは、画像処理システム１００のユーザの操作、画僧の認識のＷｅｂサービスが直接若しくは間接に要求された場合、又は、認識サーバ３０に設定された一定時間が経過した場合等である。なお、ユーザからの要求、Ｗｅｂサービス３０１からの要求、又は、一定時間の経過を契機とするリクエストは、撮像装置１０を指定して行われる。撮像装置１０は撮像装置ＩＤにより指定される。あるいは、ユーザがリクエストする場合は撮像装置ＩＤと対応付けられたユーザＩＤが指定される。ＩＤはIdentificationの略であり識別子や識別情報という意味である。ＩＤは複数の対象から、ある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち１つ以上の組み合わせをいう。
【００２８】
また、リクエストは、撮像装置ＩＤ又はユーザＩＤに加え、撮像条件（カラー、モノクロ等、認識処理に適した撮像条件）、送信する動画データの撮像期間等を含んでもよい。また、撮像装置１０が画像の認識処理を行う場合、本実施形態の認識処理のパラメータの情報を含むものとする。
【００２９】
リクエストを取得した撮像装置１０は、新たに画像を取得して認識サーバ３０に送信する。あるいは、常時、取得している（撮像している）画像のうち最新の画像を認識サーバ３０に返送する。その際、撮像装置１０から認識サーバ３０までの通信経路で他者による盗聴が成功しないように、撮像装置１０側で画像の暗号化を施してから送信する。
【００３０】
画像を受信した認識サーバ３０は暗号を解除し、予め定まっている又は指定された認識処理を画像に施す。認識処理により得られた認識結果をＷｅｂサービス３０１、ＷｅｂのＤＢサービス３０２又はユーザが作成したアプリ３０３にWebAPIを用いて送信する。この後、これらの処理結果がユーザ又は制御対象３０４に情報が送信される。後述するように画像そのものは送信されないが、処理結果と共に画像を送信してもよい。
【００３１】
認識サーバ３０は、個別のユーザごとに画像処理システム１００の利用料を課金するようになっており、１回のリクエストに応答するたびに、その数をカウントし、そのカウント数を元に、個別のユーザの課金額を決定する。
【００３２】
なお、WebAPIのフォーマットは認識結果が格納されていればXML、JSON形式又はCSV形式など何でもよい。認識結果を取得したＷｅｂサービス３０１又はユーザが作成したアプリ３０３は、認識結果をユーザ又は制御対象３０４に送信する。これにより、制御対象３０４は例えば、敷地への侵入者が検知されたと判断して警報を吹鳴したり、ユーザにメールを送信したりする。また、自宅の玄関にユーザ（例えば家人）が接近したと判断して、ドアの鍵を解錠するように自宅の施錠機構を駆動する。あるいは、自宅の玄関に不審者が接近したと判断して、ドアの鍵を施錠（施錠の確認を含む）したりセキュリティレベルを上げたりするように制御する。
【００３３】
撮像装置１０が送信する画像は、そのままの画像（ビットマップやＲＡＷデータ）でもよいが、通信コストを考慮してjpg画像のように圧縮された画像でもよい。あるいは、画像そのものでなく、SIFT,Surf,Haar-like特徴、HOG特徴など画像に基づいた特徴量でもよい。ただし、例えば人検出の場合はモノクロ画像で問題ないが、一般の物体認識ではカラー情報が必要になるなど、認識処理の種類によって適切な圧縮方法又は情報の削減方法が異なる。
【００３４】
非圧縮(例えば、ビットマップ形式)又は可逆圧縮(たとえばtiff形式)の画像を撮像装置１０が送信すれば、情報が失われずに認識サーバ３０に届くため、任意の認識処理に対応することが可能である。しかし、撮像装置１０から認識サーバ３０に送信する画像のデータ量が多くなるため、認識サーバ３０がリクエストしてからユーザ又は制御対象３０４が認識結果を取得するためのレイテンシ（遅延）が大きくなったり、通信回線を通るデータ量が多くなったりして、通信コストが増大してしまう。
【００３５】
そこで、認識処理の種類によって、撮像装置１０が、例えば非可逆圧縮のjpg画像を用いたり、その場合にも細かい解像度の情報が必要でない認識処理の場合には圧縮率を高めたり、送信する画像の解像度を小さくしたりする。また、モノクロ画像でよい認識処理の場合には、撮像装置１０がモノクロ画像を送信するなど、認識処理の種類にあわせて、認識サーバ３０がどのような動画データを送信させるかを撮像装置１０に対し指示することが望ましい。
【００３６】
さらに、人認識を行う際の特徴量としてHOG特徴を認識サーバ３０が使う場合には、撮像装置１０側で画像をHOG特徴に変換しておき、HOG特徴のデータを可逆圧縮したものを認識サーバ３０に送信する。すなわち、認識処理の種類に適した特徴量を抽出しておき、その特徴量のみを可逆圧縮して認識サーバ３０に送信すると、認識処理を良好に行わせ、かつ通信量を抑えることができる。
【００３７】
さらに、撮像装置１０がある場所に固定された定点撮像装置の場合、撮像装置１０が撮像する画像の背景はほぼ変化がないため、撮像装置１０は背景とそれ以外の部分を分け、撮像装置１０側から認識サーバ３０に送信する画像又は特徴量は背景以外の部分とすることで、さらに通信データ量を削減することができる。
【００３８】
なお、認識サーバ３０が行う認識処理が人の手を振る動作を検出する場合など、連続したフレーム（複数の静止画像、又は短い動画）が必要になる場合には、撮像装置１０側は一定量のフレームを撮像し、その静止画像群（あるいは動画）を認識サーバ３０に送信する。その場合も、適切な動画圧縮処理を施して送信することが望ましい。
【００３９】
認識サーバ３０が一定時間ごとに撮像装置１０に対しリクエストを発生させる場合、ユーザからは簡単なWebAPIコマンドで撮像装置１０の撮像条件を設定できる。例えば、どの撮像装置１０で、どのくらいの間隔で、どのように撮像するかを設定できる。また、撮像装置１０が認識処理を行う場合はどのような認識処理を実行するかを設定したり、どのような特徴量を抽出するかを設定したりできる。そうすることで、画像処理システム１００は、例えば、１秒ごとに人がいないかどうかを監視し、人がいる場合には、設定されたスマートフォンや携帯電話にアラートを送信するようなアプリケーションを簡単に実現できる。
【００４０】
また、撮像装置１０はカラー画像を取得できるものでもモノクロ画像を取得するものでもよい。また、アプリケーションによっては分光画像や偏光画像を取得できる撮像装置１０であってもよい。また、距離情報が取得できるステレオ撮像装置や、ＴＯＦ（Time Of Flight）などで距離情報を取得できる単眼撮像装置を用いるとよい。また、全天球画像を取得できる撮像装置でもよい。
【００４１】
認識サーバ３０では撮像装置１０ごとに撮像装置１０の種類が登録されており、その撮像装置１０の種類に応じた最適な認識処理を行う。また、暗い場所を撮像できるように撮像装置１０又は撮像装置１０の周辺に照明が設置されていてもよく、この場合、撮像装置１０に撮像のリクエストがあった時のみ照明をＯＮすると消費電力を削減できる。
【００４２】
例えば、人を検出するアプリケーションでは、認識サーバ３０が定期的に人を検出する処理を行っている場合に、認識サーバ３０が人を検出したら、該当の撮像装置１０に所定のコマンドを送り、撮像装置１０が高フレームレートでその後の一定時間の動画を記録しておく。例えば、認識サーバ３０は、不審者が現れた後の画像を細かい時系列で記録できるため、後ほど時間をかけて認識サーバ３０や関係者などが解析を行うことができる。
【００４３】
また、認識サーバ３０がユーザに送信する情報は、認識結果の情報だけとし、認識処理前の元画像をユーザが復元できる情報を除去する。すなわち、画像は返送せずに、人が何人写っているかなど認識結果のテキスト情報のみ送る。これにより、プライバシーの侵害を避けることができる。
【００４４】
＜アプリケーション＞
図３を用いて、画像処理システム１００により利用可能なアプリケーションについて補足する。図３は、画像処理システム１００により利用可能なアプリケーションの一例を示す。図３では、カテゴリーごとにアプリケーションの一例が示されている。カテゴリーは、例えば、交通、セキュリティ、オフィス、介護、建設、店、保健、工場、農業、家、漁業、畜産、監視等、及び物流であるがこれらには限定されない。
【００４５】
例えば、交通のカテゴリーに交通量調査というアプリケーションがある。交通量を調査するには通過する各車両を検出する必要がある。従来では、車両検出が可能な専用で高価な撮像装置１０を用いてシステムを構成する必要があり、交通量調査の場所が変わるとシステムを移動して設置する必要があった。また、移動可能であるため盗難のリスクもあり、一般には実用化されていない。
【００４６】
しかし、本実施形態の画像処理システム１００によれば、安価で通信機能を有する撮像装置１０が測定地点に固定されていればよい。ユーザは認識サーバ３０にＰＣなどでアクセスし、交通量調査を行いたい場所にある撮像装置１０の撮像装置ＩＤ及び車両検出処理を指定する。これにより、現在、撮像装置１０に写っている車両の台数を遠隔地より測定可能となる。時間を指定して例えば５秒ごとに撮像するようにユーザが設定し、認識結果の出力先としてＷｅｂサービスのＤＢサービス３０２を指定しておけば、自動で車両数を検出するアプリケーションを容易に実現可能である。
【００４７】
＜ＷｅｂＡＰＩについて＞
認識サーバ３０がＷｅｂサーバとして提供される場合のWebAPIの一例をいくつか説明する。
１．撮像装置１０に写っている顔の数を返す。
http://rirs.xxxxxxx.com/mysite/cgi-bin/face.cgi
２．撮像装置１０に写っている人の数を返す。
http://rirs.xxxxxxx.com/mysite/cgi-bin/human.cgi
３．撮像装置１０に写っているものの名称を返す。
http://rirs.xxxxxxx.com/mysite/cgi-bin/god.cgi
４．１secごとに撮像装置１０に写っている顔の数を返す。
http://rirs.xxxxxxx.com/mysite/cgi-bin/start_face.cgi
５．１secごとに撮像装置１０に写っている顔の数を返すのを止める。
http://rirs.xxxxxxx.com/mysite/cgi-bin/stop_face.cgi
ユーザはスマートフォンやＰＣで連携Ｗｅｂサービス３０１ａにアクセスし、１〜５のＵＲＬと任意のＷｅｂサービス３０１ｂを連携させる。これにより、以下のようなＷｅｂサービスの自動化（アプリケーションの構築）が可能になる。
【００４８】
図４は、複数のＷｅｂサービスの連携の一例を示す図である。図４（ａ）の１番目のＷｅｂサービスは本実施形態の認識サーバ３０が提供するＷｅｂサービスであり、例えば「１．撮像装置１０に写っている顔の数を返す。」である。Ｗｅｂサービス３０１ｂは「席に人がいたら扇風機などを自動的にＯＮにする」である。ユーザ又は制御対象３０４は扇風機である。連携Ｗｅｂサービス３０１ａは１番目と２番目のＷｅｂサービスを連携させる。これにより、撮像装置１０に顔が写っている場合、自動的に扇風機をＯＮにするアプリケーションが実現される。
【００４９】
図４（ｂ）の１番目のＷｅｂサービスは本実施形態の認識サーバ３０が提供するＷｅｂサービスであり、例えば「２．撮像装置１０に写っている人の数を返す。」である。Ｗｅｂサービス３０１ｃは「指定された電話番号に自動で電話をかける」である。ユーザ又は制御対象３０４はユーザへの着信や電話をかける装置が相当する。連携Ｗｅｂサービス３０１ａは１番目と２番目のＷｅｂサービスを連携させる。これにより、夜間に人が侵入した場合、自動的に指定された電話番号に電話をかけるアプリケーションが実現される。
【００５０】
＜認識サーバ３０のハードウェア構成例＞
図５は、認識サーバ３０の概略的なハードウェア構成図の一例である。認識サーバ３０は、ＣＰＵ２０１と、ＣＰＵ２０１が使用するデータの高速アクセスを可能とするメモリ２０２とを備える。ＣＰＵ２０１及びメモリ２０２は、システム・バス２０３を介して、認識サーバ３０の他のデバイス又はドライバ、例えば、グラフィックス・ドライバ２０４及びネットワーク・ドライバ（ＮＩＣ）２０５へと接続されている。
グラフィックス・ドライバ２０４は、バスを介してＬＣＤ（ディスプレイ装置）２０６に接続されて、ＣＰＵ２０１による処理結果をモニタする。また、ネットワーク・ドライバ２０５は、トランスポート層レベル及び物理層レベルで認識サーバ３０をネットワークＮへと接続して、撮像装置１０やＷｅｂサービス３０１とのセッションを確立させている。
システム・バス２０３には、さらにＩ／Ｏバス・ブリッジ２０７が接続されている。Ｉ／Ｏバス・ブリッジ２０７の下流側には、ＰＣＩなどのＩ／Ｏバス２０８を介して、ＩＤＥ、ＡＴＡ、ＡＴＡＰＩ、シリアルＡＴＡ、ＳＣＳＩ、ＵＳＢなどにより、ＨＤＤ（ハードディスクドライブ）２０９などの記憶装置が接続されている。ＨＤＤ２０９は認識サーバ３０の全体を制御するプログラム２０９ｐを記憶している。ＨＤＤ２０９はＳＳＤ（Solid State Drive）でもよい。
【００５１】
また、Ｉ／Ｏバス２０８には、ＵＳＢなどのバスを介して、キーボード及びマウス（ポインティング・デバイスと呼ばれる）などの入力装置２１０が接続され、システム管理者などのオペレータによる入力及び指令を受け付けている。
【００５２】
なお、図示した認識サーバ３０のハードウェア構成は、１つの筐体に収納されていたりひとまとまりの装置として備えられていたりする必要はなく、認識サーバ３０が備えていることが好ましいハード的な要素を示す。また、クラウドコンピューティングに対応するため、本実施例の認識サーバ３０の物理的な構成は固定的でなくてもよく、負荷に応じてハード的なリソースが動的に接続・切断されることで構成されてよい。
【００５３】
＜機能について＞
図６は、認識サーバ３０の機能をブロック状に示す機能ブロック図の一例である。認識サーバ３０は、動画展開部３１、認識処理部３３、及び認識処理パラメータ設定部３２を有している。これらは、図５に示されているＣＰＵ２０１がプログラム２０９ｐに従って出力する命令等によって実現される機能又は手段である。
【００５４】
動画展開部３１は、撮像装置１０などのＩＯＴから動画を取得したり、ＳＤカードなどの記憶媒体から動画を読み出したり、動画を展開したりする。例えばMpeg1, Mpeg2,Mpeg4、又はH.264のデコーダである。動画展開部３１は動画に含まれる静止画像（後述するＩ，Ｐ，Ｂフレーム）を抽出する。
【００５５】
認識処理パラメータ設定部３２は、認識処理部３３が画像の認識処理を行う際のパラメータを認識処理部３３に設定する。詳細は後述されるが、Ｉ，Ｐ，Ｂフレームのいずれであるかに応じて認識処理部３３に認識処理のためのパラメータを設定する。また、Ｉ，Ｐ，Ｂフレームのいずれであるかに応じて認識処理を行うか否かを認識処理部３３に通知する。
【００５６】
認識処理部３３は、認識処理パラメータ設定部３２が設定したパラメータに従って画像の認識処理を行う。例えば、認識対象を画像から検出したり、対象の動作を検出したりする。
【００５７】
＜動画に対する認識方法＞
以下では、認識サーバ３０が動画をどのように認識するかについて説明する。一般に、撮像装置１０が撮像した動画をネットワーク経由で認識サーバ３０まで送信する場合、又は、ＳＤカードなどの記憶媒体に記憶する場合、動画が圧縮される。動画の圧縮方法としては、Mpeg1, Mpeg2,Mpeg4又は、H.264などの標準化された圧縮方法が知られているが、いずれも、圧縮された動画は以下のような画質が異なる３つのフレームで構成されている。なお、この画質とは画像の良さの程度を言うだけでなく、画像の性質が異なることも含んでいる。
Ｉフレーム：そのフレーム全ての情報を保持したフレーム（キーフレームという）
Ｐフレーム：時間的に前の「Ｉフレーム」との差異を保持したフレーム
Ｂフレーム：時間的に前後の「Iフレーム」「Ｐフレーム」の差異を保持したフレーム（Ｂフレームとの差異が保持される場合もある）
また、これらＩ、Ｐ、Ｂフレームに分けて非可逆圧縮を行う技術を、ＧＯＰ（Group of Picture）と呼ぶ。ここで、圧縮率を上げていった場合、圧縮率を上げるほど画質が低下していき、画像認識の精度も低下していく。ただし、圧縮された画像は上記のようなフレーム構成となっており、圧縮する際には、例えばIフレームはシーンが変わった場合のような前フレームからの変化が大きいフレームで入力されたり、一定間隔で入力されたりする。このような理由で、動きが激しいシーンにおいては、Ｉフレームの画質は差分データであるＰフレームやＢフレームと比較して劣化が少ない。また、逆に背景が固定されているようなシーンの場合には、Iフレームと比較して、差分の情報を蓄積できるＰフレームやＢフレームの方が画質の劣化が少ない。
【００５８】
<<画像の変化に基づくフレームの選択>>
Iフレームの画質は、シーンが大きく変わるフレームで多いので、例えば、背景が常時変わっていく車載された撮像装置１０が撮像した動画を認識サーバ３０が認識する場合、画質の低いＰフレームや、Ｂフレームよりも、Iフレームのみを選んで使用し画像認識処理を行うことで、認識精度を上げることができる。すなわち、変化が大きいフレームの場合には、認識サーバ３０は画質が高いと考えられるIフレームを用いて画像認識処理を行う。
【００５９】
逆に、動きが少ないフレームではＰフレームやＢフレームの方がＩフレームよりも画質が高いので、認識サーバ３０はＰ、Ｂフレームで画像認識処理を行う。
【００６０】
従って、変化の程度を判断し、変化の大小に応じて認識処理を行うフレームを切り替えることが好適になる。変化の大小は、例えば着目しているフレームと時間的に一つ前のフレームとの画素値の差をとり、その絶対値の総和で判断することができる。
【００６１】
図７は、認識処理パラメータ設定部３２が変化の大小に応じて認識処理を行うフレームを決定する手順を示すフローチャート図の一例である。
【００６２】
まず、動画展開部３１は動画をＩ，Ｐ、Ｂフレームに展開する（Ｓ１０）。
【００６３】
認識処理パラメータ設定部３２は、時系列の２つのフレームの差分を算出する（Ｓ２０）。この場合の２つのフレームは、時間的に最も近いＩフレーム同士、時間的に最も近いＰフレーム同士、又は、時間的に最も近いＢフレーム同士の少なくとも１つ以上である。
【００６４】
次に、認識処理パラメータ設定部３２は、差分がしきい値以上か否かを判断する（Ｓ３０）。ステップＳ３０の判断がＹｅｓの場合、変化（動き）が大きいので、認識処理パラメータ設定部３２は画質がよいと考えられるＩフレームに画像認識処理を行うよう認識処理部３３に通知する（Ｓ４０）。
【００６５】
ステップＳ２０の判断がＮｏの場合、変化（動き）が少ないので、認識処理パラメータ設定部３２は画質がよいと考えられるＰ又はＢフレームに画像認識処理を行うよう認識処理部３３に通知する（Ｓ５０）。
【００６６】
こうすることで画質が高いフレームを選択して画像認識処理を行うことができるので、トータルの認識精度を上げることができる。
【００６７】
<<テンプレートの変更>>
図７の処理のようにＩフレーム又はＰ、Ｂフレームを選択した場合、さらにテンプレートも変更することが有効である。テンプレートとは、画像から認識される対象の特徴が反映された比較の基準となるデータ（画像認識の場合は画像に関するデータ）である。例えば、画像内の看板等を検出する場合を考える。背景が変化する車載された撮像装置１０の動画の場合、Iフレームでは、比較的看板がはっきりと写っているのに対し、ＢやＰフレームではぼけて写っている場合が多い。従って、看板とマッチしやすいテンプレートもIフレームとＢ、Ｐフレームとで異なる。
【００６８】
そこで、Iフレームでのテンプレートと、Ｂ，Ｐフレームでのテンプレートを変えて、認識処理部３３がテンプレートマッチングを行うことで、認識精度を高めることができる。
【００６９】
図８は、認識処理パラメータ設定部３２が画像の変化の大小に応じて認識処理を行うフレームとテンプレートを決定する手順を示すフローチャート図の一例である。なお、図８では主に図７との相違を説明する。
【００７０】
ステップＳ１０〜Ｓ５０は図７と同様である。ステップＳ６０で、認識処理パラメータ設定部３２はＩフレーム用のテンプレートを認識処理部３３に指示し、ステップＳ７０で、認識処理パラメータ設定部３２はＰ，Ｂフレーム用のテンプレートを認識処理部３３に指示する。
【００７１】
これにより、認識処理部３３はフレームの種類に適切なテンプレートで画像に認識処理を行うことができる。
【００７２】
<<画質又はフレームの種類に応じた対象を検出するしきい値の変更>>
画質が劣化したフレームに対して画像認識処理が実行されると、対象物体の検出率が落ちる上に、誤検出が多く発生してしまうという不都合がある。検出率の低下と誤検出はどちらも少ない方がよい。例えば、検出率が低下した場合、動画であれば別のフレームで検出可能な場合があるが、所定の制御が遅れたり制御できなかったりする状況が生じうる。また、誤検出が増えた場合、不要警報が増大する。例えば車両の自動ブレーキのために周囲の障害物を認識サーバ３０（又は車載の撮像装置１０でもよい）が認識する場合、周囲に障害物がないのに、障害物があると誤検出して車両がブレーキをかけるおそれがある。動画であれば不要警報はさらに増大してしまう。
【００７３】
このような不都合を抑制するためには、画質に応じて、物体を検出したと判断するか否かのしきい値を変更することが有効である。すなわち、画質が低い場合にはしきい値を高く設定することで、認識サーバ３０は検出対象の物体らしさが高くならないと検出しないようになる。従って、誤検出を低減できる。逆に画質が高い場合、しきい値を低く設定することで、物体らしさが高くなくても対象を検出するので認識率が向上する。従って、検出率を向上させ、誤検出を抑制でき、トータルの認識精度を上げることができる。
【００７４】
画質に関する情報は、PSNR（ピーク信号対雑音比：Peak Signal-to-Noise Ratio）やSSIM（Structural Similarity)と言った画質指標値に基づき判断できる。PNSRは、値が小さいほど劣化が大きく、値が高いほど劣化していないことを示す。SSIMは人間が感じる違いをより正確に指標化した画質指標値である。
【００７５】
画質指標値は認識サーバ３０が算出できる。しかし、撮像装置１０が圧縮する際に、圧縮前後のフレームを比較し、PSNRやSSIMと言った画質指標値を各フレームごとに記憶しておくことが好ましい。認識処理パラメータ設定部３２はPSNRやSSIMに基づいて、物体を検出したと判断するか否かのしきい値を変更できる。
【００７６】
図９（ａ）は、認識処理パラメータ設定部３２が画質に応じて対象検出のしきい値を変更する手順を示すフローチャート図の一例である。
【００７７】
まず、動画展開部３１は動画をＩ，Ｐ、Ｂフレームに展開する（Ｓ１０）。
【００７８】
認識処理パラメータ設定部３２は、各フレームの画質指標値を取得する（Ｓ２０）。画質は１つのフレームから判断可能なので、Ｉ、Ｐ、Ｂのそれぞれのフレームから画質指標値を取得する。あるいは、数フレーム置きに画質指標値を取得してもよい。
【００７９】
次に、認識処理パラメータ設定部３２は、画質指標値がしきい値以上か否かを判断する（Ｓ３０）。ステップＳ３０の判断がＹｅｓの場合、画質が高いので物体を検出したと判断するか否かのしきい値をしきい値Ａに設定する（Ｓ４０）。しきい値Ａは、認識の対象物をある程度の確率で検出できる比較的、低い値である。
【００８０】
ステップＳ３０の判断がＮｏの場合、画質が低いので物体を検出したと判断するか否かのしきい値をしきい値Ｂに設定する（Ｓ５０）。しきい値Ｂは、認識の対象物の確からしさが十分に高いと考えられる値である。なお、しきい値Ａ＜しきい値Ｂである。
【００８１】
こうすることで画質に応じて物体を検出したと判断するか否かのしきい値を変更できるので、検出率の低下を抑制し誤検出を低下させることができる。
【００８２】
また、画質はフレームの種類によってある程度、推定することができる。例えば、上記のように背景が常に変わっていく車載された撮像装置１０の動画のような場合、Ｉフレーム（キーフレーム）の画質が高いので、Ｉフレームか否かで物体を検出したと判断するか否かのしきい値を変更することができる。
【００８３】
図９（ｂ）は、認識処理パラメータ設定部３２がフレームの種類に応じて対象検出のしきい値を変更する手順を示すフローチャート図の一例である。
【００８４】
まず、動画展開部３１は動画をＩ，Ｐ、Ｂフレームに展開する（Ｓ１０）。
【００８５】
次に、認識処理パラメータ設定部３２は、展開された動画のフレームがＩフレームか否かを判断する（Ｓ２０）。
【００８６】
Ｉフレームの場合、画質が高いと推定されるので物体を検出したと判断するか否かのしきい値をしきい値Ａに設定する（Ｓ３０）。
【００８７】
Ｉフレームでない場合、画質が低いと推定されるので、物体を検出したと判断するか否かのしきい値をしきい値Ｂに設定する（Ｓ４０）。なお、しきい値Ａ＜しきい値Ｂである。
【００８８】
なお、図９（ｂ）ではＩフレームに対し物体を検出したと判断するか否かのしきい値を小さくしたが、背景が固定されているようなシーンの場合には、画質が高いと推定されるＰフレーム又はＢフレームに対し物体を検出したと判断するか否かのしきい値を小さくしてもよい。
【００８９】
物体を検出したと判断するか否かのしきい値に限らず、以下のようなパラメータをフレームの種類に応じて設定してもよい。例えば信号機の色情報の検出において、信号機はカラーであるが、各フレーム種類により色情報の精度が異なる。このため、フレームの種類によって、例えば赤信号を検出するしきい値や、色範囲を変更することで認識精度を高めることができる。信号機の赤、青、黄の色情報をＹ，Ｕ，Ｖで表す場合、フレーム種類によって色情報が取り得る範囲をY_min, Y_max, U_min, U_max, V_min, V_maxで設定する。例えば、Ｉフレームで赤信号と判断するY_min, Y_max, U_min, U_max, V_min, V_maxと、Ｐ、Ｂフレームで赤信号と判断するY_min, Y_max, U_min, U_max, V_min, V_maxを変更する。青信号や黄信号についても同様である。
【００９０】
図９（ｃ）は、認識処理パラメータ設定部３２がフレームの種類に応じて色情報のしきい値を変更する手順を示すフローチャート図の一例である。ステップＳ１０、Ｓ２０は図９（ｂ）と同様である。
【００９１】
ステップＳ３０では、認識処理パラメータ設定部３２は、Ｉフレーム用の色情報の検出のためのしきい値又は色範囲を設定し、ステップＳ４０でＰ，Ｂフレーム用の色情報の検出のためのしきい値又は色範囲を設定する。
【００９２】
このように、フレームの種類に応じて色情報の検出のためのしきい値又は色範囲を設定することで、色の検出精度が向上される。
【００９３】
<<Ｉフレーム又はＰ，Ｂフレームのみを用いた認識処理>>
Ｉフレーム又はＰ，Ｂフレームのみを用いて認識処理を行ってもよい。例えば、背景が次々に変化する場所に設置された監視用の撮像装置１０が撮像した画像データから人物を認識する画像処理において、画質が高いIフレームの画像のみを用いて認識することで、検出率を向上させ誤検出を低下させることができる。また、背景がほとんど変化しない場所に設置される監視用の撮像装置１０においては、動き情報がない分、積算の情報量が多いＢフレームやＰフレームの方が、画質が良くなる場合があるため、例えばＰフレームのみを用いて認識処理を行う。
【００９４】
図１０は、認識処理パラメータ設定部３２が特定のフレームを認識対象に指示する手順を示すフローチャート図の一例である。図１０では、背景が次々に変化する場所に設置された監視用の撮像装置１０が撮像した画像データ内の人物を認識する画像処理を認識サーバ３０が行うものとする。
【００９５】
まず、動画展開部３１は動画をＩ，Ｐ，Ｂフレームに展開する（Ｓ１０）。
【００９６】
次に、認識処理パラメータ設定部３２は、Ｉフレームか否かを判断する（Ｓ２０）。Ｉフレームの場合、認識処理パラメータ設定部３２は認識処理部３３に対しＩフレームに対する認識処理を許可する（Ｓ３０）。
【００９７】
Ｉフレームでない場合、認識処理パラメータ設定部３２は認識処理部３３に対しＩフレームに対する認識処理を許可しない（Ｓ４０）。
【００９８】
こうすることで、画質が高いIフレームの画像のみを用いて認識処理を行うことができる。
【００９９】
図１０では、背景が次々に変化する場所に設置された監視用の撮像装置１０が撮像した画像データの人物を認識する画像処理を例にしたが、背景がほとんど変化しない場所に設置する撮像装置１０の画像データに対する画像処理では、Ｐ又はＢフレームに対し認識処理が許可され、Ｉフレームには認識処理が許可されない。
【０１００】
また、図１０では、フレームの種類で認識処理の有無を制御したが、図７，８のように変化の大きさでＩフレームかＰ，Ｂフレームかを判断し、認識処理の有無を制御してもよい。この場合、パラメータの設定は認識処理の対象となるフレームに対してのみ行えばよい。また、図９のように画質指標値で画質の良否、又はフレームの種類を判断し、認識処理の有無を制御してもよい。画質が良いフレームは認識処理の対象となる。この場合、パラメータの設定は認識処理の対象となるフレームに対してのみ行えばよい。
【０１０１】
＜まとめ＞
以上のように、フレームの種類に応じて認識処理のパラメータを変更することで、高圧縮率の動画に対しても高い精度の画像認識が可能となる。また、所定の種類のフレームのみに認識処理を行うことで、高圧縮率の動画に対して高い精度の画像認識が可能となる。圧縮率が高いので通信コスト又は記憶装置のコストを低減でき、画像データが高圧縮率でも認識精度の低下を抑制できる。
【０１０２】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【０１０３】
例えば、本実施形態では、動画を例に説明したが連続した静止画像であって、同様のフレームを有する画像データに対して適用できる。
【０１０４】
また、動画の種類としてMpeg1, Mpeg2,又は、H.264を挙げたが、AVI（Audio Video Interleave）、MOV、ASF（Advanced Systems Format）、Ogg（オッグ）、Matroska（マトリョーシカ）、DivX（デイビックス）等の動画にも適用できる。また、Ｉ，Ｐ，Ｂフレームを有する動画であれば、これらの規格以外の動画に適用できる。
【０１０５】
なお、動画展開部３１は動画展開手段の一例であり、認識処理パラメータ設定部３２は認識処理パラメータ設定手段の一例であり、認識処理部３３は画像認識手段の一例である。Ｉフレームは第一のフレームの一例であり、Ｐフレームは第二のフレームの一例であり、Ｂフレームは第三のフレームの一例である。
【符号の説明】
【０１０６】
１０      撮像装置
３０      認識サーバ
３１      動画展開部
３２      認識処理パラメータ設定部
３３      認識処理部
１００    画像処理システム
【先行技術文献】
【特許文献】
【０１０７】
【特許文献１】特開2009-88944号公報
【図１】
2018063551.tif 000003
【図２】
2018063551.tif 000004
【図３】
2018063551.tif 000005
【図４】
2018063551.tif 000006
【図５】
2018063551.tif 000007
【図６】
2018063551.tif 000008
【図７】
2018063551.tif 000009
【図８】
2018063551.tif 000010
【図９】
2018063551.tif 000011
【図１０】
2018063551.tif 000012