(57)【要約】  プロセッサと、前記プロセッサに接続される記憶装置と、を有する映像監視支援装置であって、前記記憶装置は、複数の画像を保持し、前記映像監視支援装置は、入力された映像から抽出された画像に類似する画像を、前記記憶装置に保持された複数の画像から検索する類似画像検索を実行し、それぞれ前記類似画像検索によって得られた画像に関する情報を含む複数の認識結果を出力し、出力される前記認識結果の量を所定の値以下に制御する。
2015137190.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサと、前記プロセッサに接続される記憶装置と、を有する映像監視支援装置であって、
前記記憶装置は、複数の画像を保持し、
前記映像監視支援装置は、
入力された映像から抽出された画像に類似する画像を、前記記憶装置に保持された複数の画像から検索する類似画像検索を実行し、
それぞれ前記類似画像検索によって得られた画像に関する情報を含む複数の認識結果を出力し、
出力される前記認識結果の量を所定の値以下に制御することを特徴とする映像監視支援装置。
【請求項２】
請求項１に記載の映像監視支援装置であって、
単位時間に出力される前記認識結果の量が、既に出力された前記複数の認識結果に対するユーザの処理の単位時間当たりの実行量以下となるように、前記類似画像検索の動作パラメータを制御することによって、前記出力される認識結果の量を前記所定の値以下に制御することを特徴とする映像監視支援装置。
【請求項３】
請求項２に記載の映像監視支援装置であって、
前記入力された映像に含まれる複数のフレームから抽出された複数の画像が同一の物体の画像であるか否かを判定し、同一の物体の画像であると判定された複数の画像のうち所定の数の画像に関する前記認識結果を出力し、
前記複数のフレームから抽出された複数の画像が同一の物体の画像であるか否かを判定する条件を制御することによって、前記出力される認識結果の量を前記所定の値以下に制御することを特徴とする映像監視支援装置。
【請求項４】
請求項３に記載の映像監視支援装置であって、
前記映像監視支援装置には、それぞれ異なる撮影装置によって撮影された複数の映像が入力され、
前記映像監視支援装置は、前記複数の映像に含まれる複数のフレームから抽出された複数の画像の認識結果、前記各撮影装置の設置条件および前記各映像の撮影時刻に基づいて、前記複数の映像に含まれる複数のフレームから抽出された複数の画像が同一の物体の画像であるか否かを判定することを特徴とする映像監視支援装置。
【請求項５】
請求項２に記載の映像監視支援装置であって、
前記映像監視支援装置には、それぞれ異なる撮影装置によって撮影された複数の映像が入力され、
前記各認識結果に対するユーザの処理は、前記入力された映像から抽出された画像と前記類似画像検索によって得られた画像とが同一の物体の画像であるか否かの判定であり、
前記映像監視支援装置は、前記撮影装置ごとに、前記各撮影装置の撮影条件、または、前記ユーザの処理の結果に基づいて、前記認識結果の誤認識率を推定し、前記推定された誤認識率が低い撮影装置によって撮影された映像から抽出された画像の認識結果が出力されやすいように、前記認識結果の出力を制御することを特徴とする映像監視支援装置。
【請求項６】
請求項２に記載の映像監視支援装置であって、
生成されたがまだ出力されていない複数の認識結果を保持し、
前記各認識結果の信頼度、または、前記記憶装置に保持された各画像に予め付与された属性値の少なくとも一方に基づいて、前記各認識結果の優先度を決定し、
前記優先度が高い順に前記複数の認識結果を出力し、
保持されているいずれかの前記認識結果が生成されてからの経過時間または保持されている前記認識結果の数が所定の条件を満たす場合、前記優先度が低い順に一つ以上の前記認識結果を削除することを特徴とする映像監視支援装置。
【請求項７】
請求項２に記載の映像監視支援装置であって、
前記映像監視支援装置は、
生成されたがまだ出力されていない複数の認識結果を保持し、
前記複数の認識結果を、前記各認識結果から抽出した特徴量に基づいてクラスタリングし、
各クラスタに含まれる所定の数の認識結果以外の認識結果を削除することを特徴とする映像監視支援装置。
【請求項８】
プロセッサと、前記プロセッサに接続される記憶装置と、を有する映像監視支援装置が実行する映像監視支援方法であって、
前記記憶装置は、複数の画像を保持し、
前記映像監視支援方法は、
入力された映像から抽出された画像に類似する画像を、前記記憶装置に保持された複数の画像から検索する第１手順と、
それぞれ前記第１手順によって得られた画像に関する情報を含む複数の認識結果を出力する第２手順と、
出力される前記認識結果の量を所定の値以下に制御する第３手順と、を含むことを特徴とする映像監視支援方法。
【請求項９】
請求項８に記載の映像監視支援方法であって、
前記第３手順は、単位時間に出力される前記認識結果の量が、既に出力された前記複数の認識結果に対するユーザの処理の単位時間当たりの実行量以下となるように、前記類似画像検索の動作パラメータを制御する手順を含むことを特徴とする映像監視支援方法。
【請求項１０】
請求項９に記載の映像監視支援方法であって、
前記入力された映像に含まれる複数のフレームから抽出された複数の画像が同一の物体の画像であるか否かを判定する手順をさらに含み、
前記第２手順は、同一の物体の画像であると判定された複数の画像のうち所定の数の画像に関する前記認識結果を出力する手順を含み、
前記第３手順は、前記複数のフレームから抽出された複数の画像が同一の物体の画像であるか否かを判定する条件を制御することによって、前記出力される認識結果の量を前記所定の値以下に制御する手順を含むことを特徴とする映像監視支援方法。
【請求項１１】
請求項１０に記載の映像監視支援方法であって、
前記映像監視支援装置には、それぞれ異なる撮影装置によって撮影された複数の映像が入力され、
前記映像監視支援方法は、前記複数の映像に含まれる複数のフレームから抽出された複数の画像の認識結果、前記各撮影装置の設置条件および前記各映像の撮影時刻に基づいて、前記複数の映像に含まれる複数のフレームから抽出された複数の画像が同一の物体の画像であるか否かを判定する手順をさらに含むことを特徴とする映像監視支援方法。
【請求項１２】
請求項９に記載の映像監視支援方法であって、
前記映像監視支援装置には、それぞれ異なる撮影装置によって撮影された複数の映像が入力され、
前記各認識結果に対するユーザの処理は、前記入力された映像から抽出された画像と前記類似画像検索によって得られた画像とが同一の物体の画像であるか否かの判定であり、
前記第３手順は、前記撮影装置ごとに、前記各撮影装置の撮影条件、または、前記ユーザの処理の結果に基づいて、前記認識結果の誤認識率を推定し、前記推定された誤認識率が低い撮影装置によって撮影された映像から抽出された画像の認識結果が出力されやすいように、前記認識結果の出力を制御する手順を含むことを特徴とする映像監視支援方法。
【請求項１３】
請求項９に記載の映像監視支援方法であって、
前記映像監視支援装置は、生成されたがまだ出力されていない複数の検索結果を保持し、
前記映像監視支援方法は、
前記各認識結果の信頼度、または、前記記憶装置に保持された各画像に予め付与された属性値の少なくとも一方に基づいて、前記各認識結果の優先度を決定する手順と、
前記優先度が高い順に前記複数の認識結果を出力する手順と、
保持されているいずれかの前記認識結果が生成されてからの経過時間または保持されている前記認識結果の数が所定の条件を満たす場合、前記優先度が低い順に一つ以上の前記認識結果を削除する手順と、をさらに含むことを特徴とする映像監視支援方法。
【請求項１４】
請求項９に記載の映像監視支援方法であって、
前記映像監視支援装置は、生成されたがまだ出力されていない複数の認識結果を保持し、
前記映像監視支援方法は、
前記複数の認識結果を、前記各認識結果から抽出した特徴量に基づいてクラスタリングする手順と、
各クラスタに含まれる所定の数の認識結果以外の認識結果を削除する手順と、をさらに含むことを特徴とする映像監視支援方法。
【請求項１５】
計算機を制御するプログラムを格納する非一時的な計算機読み取り可能な記憶媒体であって、
前記計算機は、プロセッサと、前記プロセッサに接続される記憶装置と、を有し、
前記記憶装置は、複数の画像を保持し、
前記プログラムは、
入力された映像から抽出された画像に類似する画像を、前記記憶装置に保持された複数の画像から検索する第１手順と、
それぞれ前記第１手順によって得られた画像に関する情報を含む複数の認識結果を出力する第２手順と、
出力される前記認識結果の量を所定の値以下に制御する第３手順と、を前記プロセッサに実行させることを特徴とする非一時的な計算機読み取り可能な記憶媒体。
【発明の詳細な説明】
【参照による取り込み】
【０００１】
本出願は、平成２６年（２０１４年）３月１４日に出願された日本出願である特願２０１４−５２１７５の優先権を主張し、その内容を参照することにより、本出願に取り込む。
【技術分野】
【０００２】
本発明は、映像監視支援技術に関する。
【背景技術】
【０００３】
防犯カメラの普及に伴い、多地点で撮影された映像から特定の人物または車両などを探すことへのニーズが高まっている。しかし、従来の防犯カメラシステムの多くは、防犯カメラ、レコーダーおよび再生機からなるシステムであり、特定の人物を発見するためには作業者が映像中の人物や車両を全てチェックする必要があり、作業者の大きな負担になっていた。【０００４】
これに対して、画像認識技術、特に物体検出と類似画像検索を導入したシステムに注目が集まっている。物体検出技術を用いると、画像中から特定のカテゴリの物体を抽出することができる。また、類似画像検索技術を用いると、事前にデータベースに登録された事例画像と、物体検出技術によって抽出された物体の画像を照合することで、その物体の名前や属性情報などを推定することができる。画像認識を導入したシステムを用いると、作業者は、大量の入力画像を逐一チェックすることなく、システムが提示した認識結果を優先的に確認すれば良くなるため、作業負担が軽減する。例えば、特許文献１は、類似画像検索を用いた監視映像中の顔検索システムに関する発明であるが、作業効率をあげるために、連続フレーム内の同一人物の顔から目視確認しやすい顔を選択して表示する方法を開示している。
【先行技術文献】
【特許文献】
【０００５】
特許文献１：特開２０１１−０２９７３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１は、１回の目視確認作業の効率化を目的とした発明を開示している。一方で、絶えず映像が流れ続ける映像監視作業においては、所定時間内の確認作業量、つまり画像認識結果の表示流量が課題となる。表示流量が作業者の処理能力以上であれば、画像認識結果で候補を出しても、かえって見逃しを増やす要因となってしまう可能性がある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明は、プロセッサと、前記プロセッサに接続される記憶装置と、を有する映像監視支援装置であって、前記記憶装置は、複数の画像を保持し、前記映像監視支援装置は、入力された映像から抽出された画像に類似する画像を、前記記憶装置に保持された複数の画像から検索する類似画像検索を実行し、それぞれ前記類似画像検索によって得られた画像に関する情報を含む複数の認識結果を出力し、出力される前記認識結果の量を所定の値以下に制御することを特徴とする。
【発明の効果】
【０００８】
本発明に係る映像監視装置によれば、作業者の負担を軽減し、監視対象の物体の見逃しを防止することができる。上記した以外の課題、構成、および効果は、以下の実施形態の説明により明らかになるであろう。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例１に係る映像監視支援システムの構成を示す機能ブロック図である。
【図２】本発明の実施例１に係る映像監視支援システムのハードウェア構成を示すブロック図である。
【図３】本発明の実施例１に係る画像データベースの構成およびデータ例を示す説明図である。
【図４】本発明の実施例１に係る映像監視支援システムにおいて、画像認識部が画像データベースを用いて行う画像認識処理の動作を説明するための図である。
【図５】本発明の実施例１に係る映像監視支援システムを特定人物の監視業務に適用した際の、監視者による目視確認タスクの表示方法の一例の説明図である。
【図６】本発明の実施例１に係る映像監視支援システムが実行する、物体追跡を用いた認識結果の縮約を説明するための図である。
【図７Ａ】本発明の実施例１に係る映像監視支援装置に映像が入力されてから、表示装置に目視確認作業が提示されるまでのデータフローを表す説明図である。
【図７Ｂ】本発明の実施例１に係る映像監視支援装置によって出力される目視確認タスク数の増減の要因となる画像認識処理の動作パラメータの例を示す説明図である。
【図８】本発明の実施例１に係る映像監視支援装置が、類似画像検索による画像認識を行い、作業量に応じて認識結果の表示量を抑えるために認識処理の動作パラメータを制御する一連の処理を説明するフローチャートである。
【図９】本発明の実施例１に係る映像監視支援システムの処理シーケンスを説明する図である。
【図１０】本発明の実施例１に係る映像監視支援装置を用いて、映像中の特定の物体を発見することを目的とした監視作業をするための操作画面の構成例を表す図である。
【図１１】本発明の実施例２に係る映像監視支援システムによる目視確認タスクの非順序表示方法を説明する図である。
【図１２】本発明の実施例２に係る映像監視支援システムによる目視確認タスクの非順序表示方法の処理を説明するフローチャートである。
【図１３】本発明の実施例３に係る映像監視支援システムによる映像ソース独立の表示量制御方法を説明するための図である。
【図１４】本発明の実施例３に係る映像監視支援システムによる、複数地点で撮影された映像から生成された目視確認タスクの縮約方法を説明する図である。
【図１５】発明の実施例３に係る映像監視支援システムによる、複数地点で撮影された映像から生成された目視確認タスクの縮約方法を説明するフローチャートである。
【図１６】本発明の実施例４に係る映像監視支援システムによるクラスタリングを用いた残存タスクの棄却方法を説明するための図である。
【図１７】本発明の実施例４に係る映像監視支援システムによるクラスタリングを用いた残存タスクの棄却方法を説明するためのフローチャートである。
【図１８】本発明の実施例５に係る映像監視支援装置を用いて、映像中の特定の人物を発見することを目的とした監視作業をするための操作画面の構成例を表す図である。
【発明を実施するための形態】
【実施例１】
【００１０】
＜システム構成＞
図１は、本発明の実施例１に係る映像監視支援システム１００の構成を示す機能ブロック図である。【００１１】
映像監視支援システム１００は、画像データベースに登録された事例画像を用いて、入力映像から特定の物体（例えば人物等）の画像を自動検出および提示することで、監視者（ユーザ）の作業負担を軽減することを目的としたシステムである。【００１２】
映像監視支援システム１００は、映像記憶装置１０１、入力装置１０２、表示装置１０３、および映像監視支援装置１０４を備える。【００１３】
映像記憶装置１０１は、一つ以上の撮影装置（例えばビデオカメラ又はスチルカメラ等の監視カメラ、図示省略）によって撮影された一つ以上の映像データを保存する記憶媒体であり、コンピュータ内蔵のハードディスクドライブ、または、ＮＡＳ（Ｎｅｔｗｏｒｋ  Ａｔｔａｃｈｅｄ  Ｓｔｏｒａｇｅ）もしくはＳＡＮ（Ｓｔｏｒａｇｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などのネットワークで接続されたストレージシステムを用いて構成することができる。また、映像記憶装置１０１は、例えば、カメラから継続的に入力される映像データを一時的に保持するキャッシュメモリであっても良い。【００１４】
なお、映像記憶装置１０１に保存される映像データは、何らかの形で画像間の時系列情報が取得できる限りは、どのような形式のデータであってもよい。例えば、保存される映像データは、ビデオカメラで撮影された動画像データであってもよいし、スチルカメラによって所定の間隔で撮影された一連の静止画像データであってもよい。【００１５】
複数の撮影装置によって撮影された複数の映像データが映像記憶装置１０１に保存される場合、それぞれの映像データは、それを撮影した撮影装置を特定する情報（例えばカメラＩＤ、図示省略）を含んでもよい。【００１６】
入力装置１０２は、マウス、キーボード、タッチデバイスなど、ユーザの操作を映像監視支援装置１０４に伝えるための入力インタフェースである。表示装置１０３は、液晶ディスプレイなどの出力インタフェースであり、映像監視支援装置１０４の認識結果の表示、ユーザとの対話的操作などのために用いられる。【００１７】
映像監視支援装置１０４は、与えられた映像データの各フレームに含まれる特定の物体を検出し、情報を縮約して表示装置１０３に出力する。出力された情報は、表示装置１０３によってユーザに提示される。映像監視支援装置１０４は、ユーザに提示する情報量と、提示した情報に対するユーザの作業量と、を観測し、画像認識を動的に制御することで、ユーザの作業量を所定値以下となるように抑制する。映像監視支援装置１０４は、映像入力部１０５、画像認識部１０６、表示制御部１０７、および画像データベース１０８を備える。【００１８】
映像入力部１０５は、映像記憶装置１０１から、映像データを読み出し、映像監視支援装置１０４内部で使用するデータ形式に変換する。具体的には、映像入力部１０５は、映像（動画データ形式）をフレーム（静止画データ形式）に分解する動画デコード処理を行う。得られたフレームは、画像認識部１０６へ送られる。【００１９】
画像認識部１０６は、映像入力部１０５から与えられた画像から所定カテゴリの物体を検出し、その物体の固有名称を推定する。例えば、特定人物の検知が目的のシステムであれば、画像認識部１０６は、まず、画像から顔領域を検出する。次に、画像認識部１０６は、顔領域から画像特徴量（顔特徴量）を抽出し、予め画像データベース１０８に登録された顔特徴量と照合することで、人物の名前およびその他の属性（性別、年齢、人種など）を推定する。また、画像認識部１０６は、連続するフレームに現れる同一の物体を追跡することで、複数フレームの認識結果を単一の認識結果に縮約する。得られた認識結果は、表示制御部１０７に送られる。【００２０】
表示制御部１０７は、画像認識部１０６から得られた認識結果を整形し、さらに、画像データベース１０８から物体の情報を取得することで、ユーザに提示するための画面を生成し、出力する。後述するように、ユーザは、提示された画面を参照して、所定の作業を行う。所定の作業とは、例えば、認識結果として得られた画像と、当該画像を得るための類似検索に使用された画像（すなわち、画像認識部１０６が認識結果として得られた画像と類似すると判定した画像）とが同一の物体の画像であるか否かを判定し、その結果を入力する作業である。所定時間に出力される認識結果の量が一定量以上になる場合、表示制御部１０７は、画像認識の結果を減らすように画像認識部１０６を制御する。あるいは、表示制御部１０７は、画像認識部１０６から送られた全ての認識結果を出力するのではなく、所定の条件に基づいて出力する認識結果の量を減らすように制御してもよい。例えば、表示制御部１０７は、所定時間に出力する認識結果の量を、ユーザが指定した量以下になるように制御しても良いし、ユーザの作業量を観測して、その作業量に基づいて動的に変更しても良い。【００２１】
上記のように、画像認識部１０６及び表示制御部１０７によって、ユーザに提示される認識結果の流量が制御される。以下、画像認識部１０６及び表示制御部１０７の全体を流量制御表示部１１０と記載する場合がある。【００２２】
画像データベース１０８は、画像認識に必要な、画像データ、物体の事例、物体の個体情報を管理するためのデータベースである。画像データベース１０８は、画像特徴量を保存し、画像認識部１０６は、その画像特徴量を用いた類似画像検索を行うことができる。類似画像検索は、クエリと画像特徴量が近い順にデータを並び替えて出力する機能である。画像特徴量の比較には、例えば、ベクトル間のユークリッド距離を用いることができる。画像データベース１０８には、予め映像監視支援システム１００で認識したい物体が登録されているものとする。画像データベース１０８へのアクセスは、画像認識部１０６からの検索処理、および、表示制御部１０７からの情報取得処理の際に発生する。画像データベース１０８の構造について、詳しくは図３の説明として後述する。【００２３】
図２は、本発明の実施例１に係る映像監視支援システム１００のハードウェア構成を示すブロック図である。【００２４】
映像監視支援装置１０４は、例えば一般的な計算機によって実現することができる。例えば、映像監視支援装置１０４は、相互に接続されたプロセッサ２０１および記憶装置２０２を有してもよい。記憶装置２０２は任意の種類の記憶媒体によって構成される。例えば、記憶装置２０２は、半導体メモリと、ハードディスクドライブとの組み合わせによって構成されてもよい。【００２５】
この例において、図１に示した映像入力部１０５、画像認識部１０６、表示制御部１０７といった機能部は、プロセッサ２０１が記憶装置２０２に格納された処理プログラム２０３を実行することによって実現される。言い換えると、この例において、上記の各機能部が実行する処理は、実際には、上記の処理プログラム２０３に基づいて、プロセッサ２０１によって実行される。また、画像データベース１０８は、記憶装置２０２に含まれる。【００２６】
映像監視支援装置１０４は、さらに、プロセッサに接続されたネットワークインターフェース装置（ＮＩＦ）２０４を含む。映像記憶装置１０１は、ネットワークインターフェース装置２０４を介して映像監視支援装置１０４に接続されたＮＡＳまたはＳＡＮであってもよい。あるいは、映像記憶装置１０１は、記憶装置２０２に含まれてもよい。【００２７】
図３は、本発明の実施例１に係る画像データベース１０８の構成およびデータ例を示す説明図である。ここではテーブル形式の構成例を示すが、画像データベース１０８のデータ形式は任意でよい。【００２８】
画像データベース１０８は、画像テーブル３００、事例テーブル３１０、および個体情報テーブル３２０からなる。図３のテーブル構成および各テーブルのフィールド構成は、本発明を実施する上で必要となる最小構成であり、アプリケーションに応じてテーブルおよびフィールドを追加しても良い。また、図３のテーブル構成は、映像監視支援システム１００を、特定人物の監視向けに応用した場合の例であり、テーブル内のフィールドおよびデータの例として監視対象の人物の顔および属性等の情報を使用している。以降は、例にしたがって説明する。ただし、映像監視支援システム１００は、人物以外の物体の監視向けに応用することもでき、その場合には、その物体の監視に適した物体の部分および物体の属性に関する情報を使用することができる。【００２９】
画像テーブル３００は、画像ＩＤフィールド３０１、画像データフィールド３０２、および事例ＩＤリストフィールド３０３を有する。画像ＩＤフィールド３０１は、各画像データの識別番号を保持する。画像データフィールド３０２は、静止画像のバイナリデータであり、認識結果を表示装置１０３に出力する際に使用されるデータを保持する。事例ＩＤリストフィールド３０３は、画像中に存在する事例のリストを管理するためのフィールドであり、事例テーブル３１０で管理されるＩＤのリストを保持する。【００３０】
事例テーブル３１０は、事例ＩＤフィールド３１１、画像ＩＤフィールド３１２、座標フィールド３１３、画像特徴量フィールド３１４、および個体ＩＤフィールド３１５を有する。事例ＩＤフィールド３１１は、各事例データの識別番号を保持する。画像ＩＤフィールド３１２は、事例が含まれる画像を参照するために、画像テーブル３００で管理される画像ＩＤを保持する。座標フィールド３１３は、事例の画像中での位置を表す座標データを保持する。事例の座標は、例えば、物体の外接矩形の「左上隅の水平座標、左上隅の垂直座標、右下隅の水平座標、矩形の右下隅の垂直座標」という形式で表現される。画像特徴量フィールド３１４は、事例の画像から抽出された画像特徴量を保持する。画像特徴量は、例えば、固定長のベクトルで表現される。個体ＩＤフィールド３１５は、事例を個体の情報と関連付けるために、個体情報テーブル３２０で管理される個体ＩＤを保持する。【００３１】
個体情報テーブル３２０は、個体ＩＤフィールド３２１と、ひとつ以上の属性情報フィールドを有する。図３の例では、個体（すなわち人物）の属性情報として、人物名フィールド３２２、重要度フィールド３２３、および性別フィールド３２４を与えている。個体ＩＤフィールド３２１は、各個体情報データの識別番号を保持する。属性情報フィールドは、個体の属性情報であり、文字列または数値など任意の形式で表現されるデータを保持する。図３では、人物名フィールド３２２は人物の名前を文字列で保持し、重要度フィールド３２３は人物の重要度を数値で保持し、性別フィールド３２４は人物の性別を数値で保持する。【００３２】
例えば、図３の事例テーブル３１０の１番目および２番目のレコードの画像ＩＤフィールド３１２にはいずれも同じ「１」が保持され、個体ＩＤフィールド３１５にはそれぞれ「１」および「２」が保持されている。これは、画像ＩＤ「１」で識別される一つの画像に、それぞれ個体ＩＤ「１」および「２」で識別される二人の人物の画像（例えばそれらの人物の顔の画像）が含まれていることを意味する。すなわち、それらのレコードの座標フィールド３１３および画像特徴量フィールド３１４には、それぞれの人物の顔画像の範囲の座標およびその顔画像の特徴量が保持される。【００３３】
一方、例えば、図３の事例テーブル３１０の２番目および３番目のレコードの個体ＩＤフィールド３１５にはいずれも同じ「２」が保持され、事例ＩＤフィールド３１１にはそれぞれ「２」および「３」が、画像ＩＤフィールド３１２にはそれぞれ「１」および「２」が保持されている。これは、個体ＩＤ「２」で識別される一人の人物の画像が、画像ＩＤ「１」および「２」でそれぞれ識別される二つの画像に含まれることを意味する。例えば、画像ＩＤ「１」で識別される画像には当該人物の正面顔の画像が含まれ、画像ＩＤ「２」で識別される画像には当該人物の横顔の画像が含まれてもよい。この場合、事例ＩＤ「２」に対応する座標フィールド３１３および画像特徴量フィールド３１４には、当該人物の正面顔の画像の範囲を示す座標およびその正面顔の画像の特徴量が保持され、事例ＩＤ「３」に対応する座標フィールド３１３および画像特徴量フィールド３１４には、当該人物の横顔の画像の範囲を示す座標およびその横顔の画像の特徴量が保持される。【００３４】
＜各部の動作＞
以上、映像監視支援システム１００の全体構成を説明した。以下では映像監視支援システム１００の動作原理を概説した上で、各機能部の詳細動作を説明する。【００３５】
図４は、本発明の実施例１に係る映像監視支援システム１００において、画像認識部１０６が画像データベース１０８を用いて行う画像認識処理の動作を説明するための図である。図中の楕円はデータを、矩形は処理ステップを表す。【００３６】
類似画像検索を用いた画像認識は、前処理である登録処理Ｓ４００と、運用時の認識処理Ｓ４１０からなる。【００３７】
登録処理Ｓ４００は、入力として属性情報４０１および画像４０２を与え、画像データベース１０８に事例データを追加する処理である。まず、画像認識部１０６は、領域抽出Ｓ４０３を行い、画像４０２から部分画像４０４を抽出する。登録時の領域抽出Ｓ４０３は、ユーザによる手動であっても、画像処理による自動であっても良い。画像特徴量抽出方法としては、任意の公知の方法を使用することができる。領域抽出を必要としない画像特徴量抽出方法を使用した場合には、領域抽出Ｓ４０３を省略しても良い。【００３８】
次に、画像認識部１０６は、抽出された部分画像４０４から、特徴量抽出Ｓ４０５を行い、画像特徴量４０６を抽出する。画像特徴量は、例えば、固定長のベクトルで表現される数値データである。最後に、画像認識部１０６は、属性情報４０１と画像特徴量４０６を関連付けて画像データベース１０８に登録する。【００３９】
認識処理Ｓ４１０は、入力として画像４１１を与え、画像データベース１０８を用いて、認識結果４１９を生成する処理である。まず、画像認識部１０６は、登録処理Ｓ４００と同様に、領域抽出Ｓ４１２を行い、画像４１１から部分画像４１３を抽出する。認識処理Ｓ４１０においては、基本的に領域抽出Ｓ４１２は画像処理による自動実行で行われる。次に、画像認識部１０６は、抽出された部分画像４１３から、特徴量抽出Ｓ４１４を行い、画像特徴量４１５を抽出する。画像特徴量抽出の方法は任意であるが、登録時と同一のアルゴリズムで抽出されなければいけない。【００４０】
類似画像検索Ｓ４１６では、画像認識部１０６は、抽出された画像特徴量４１５をクエリとして、画像データベース１０８に登録された事例から、類似度の高い事例を検索する。例えば、特徴量ベクトル間の距離が小さいほど、類似度が高いと考えることができる。類似画像検索Ｓ４１６は、画像データベース１０８から得られたひとつ以上の事例ＩＤと類似度、属性情報などをセットにして、検索結果４１７を出力する。【００４１】
最後に、認識結果生成Ｓ４１８では、画像認識部１０６は、検索結果４１７を用いて、認識結果４１９を出力する。認識結果４１９は、例えば、属性情報と認識結果の信頼度、および事例ＩＤからなる。認識結果の信頼度は、例えば、類似画像検索Ｓ４１６で計算された類似度の高さを示す値であってもよい。認識結果の生成方法は、例えば、検索結果の類似度上位１件の属性情報とその類似度を用いる最近傍判定法を用いることができる。類似度上位１件の認識結果の信頼度が所定値以下の場合は、認識結果を出力しなくても良い。【００４２】
以上に述べた認識処理Ｓ４１０を用いれば、画像データベース１０８に登録された人物等の物体が、撮影装置による撮影範囲を通過したことをトリガーとして、自動的に所定の動作を実施するシステムを構築することができる。しかし、一般に監視映像解析における画像認識の精度は低く、誤報の発生によりシステムが誤作動してしまう危険性が高いため、現実的にはユーザが最終的に目視確認をした後に、所定の動作を実行するようなユーザ支援に画像認識が用いられるケースが多い。本発明の映像監視支援システム１００も、ユーザによる目視確認作業の効率化を目的としたシステムであり、図４で説明した画像認識結果を用いてシステムを自動制御するのではなく、ユーザに目視確認を要求するために画像認識結果を提示する表示機能を有する。【００４３】
図５は、本発明の実施例１に係る映像監視支援システム１００を特定人物の監視業務に適用した際の、監視者による目視確認タスクの表示方法の一例の説明図である。【００４４】
映像監視支援装置１０４において、画像認識部１０６から画像認識結果が出力されると、表示制御部１０７は、目視確認タスク表示画面５００を生成する。目視確認タスク表示画面５００は、フレーム表示領域５０１、フレーム情報表示領域５０２、確認処理対象表示領域５０３、事例画像表示領域５０４、信頼度表示領域５０５、属性情報表示領域５０６、認識結果採用ボタン５０７、および認識結果棄却ボタン５０８を有する。【００４５】
フレーム表示領域５０１は、画像認識結果が得られたフレームを表示するための領域である。認識結果が得られたフレームのみを表示してもよいし、その前後数フレームを動画で表示してもよい。また、認識結果を映像に重畳しても良い。例えば、人物の顔領域の矩形、および、人物の動線を描画してもよい。【００４６】
フレーム情報表示領域５０２には、画像認識結果が得られた時間およびフレームが取得されたカメラの情報などを表示する。確認処理対象表示領域５０３には、フレームから抽出された物体の画像を、ユーザが確認し易いサイズに拡大して表示する。事例画像表示領域５０４には、画像認識に用いられた事例画像を画像データベース１０８から読みだして表示する。ユーザは、確認処理対象表示領域５０３と事例画像表示領域５０４に表示された画像を目視確認して判断するため、必要に応じて補助線を加えたり、画像の高解像度化および向き補正等を行ったりしても良い。【００４７】
画像認識結果の信頼度と属性情報は、それぞれ信頼度表示領域５０５と属性情報表示領域５０６に表示される。ユーザは、これらの領域に表示された画像を目視して、認識結果が正しいか否か、すなわちそれらの画像が同一の人物の画像であるか否かを判断する。認識結果が正しいと判断した場合、ユーザは、入力装置１０２を用いてマウスカーソル５０９を操作し、認識結果採用ボタン５０７をクリックする。認識結果が誤りであれば、同様にして、認識結果棄却ボタン５０８をクリックする。ユーザの判断結果は、入力装置１０２から表示制御部１０７に伝えられ、さらに、必要に応じて外部のシステムに伝えられても良い。【００４８】
以上に示した認識処理Ｓ４１０を、入力映像の各フレームに対して適用することで、特定の属性を持つ物体が映像に現れたことを、ユーザに通知することができる。しかし、フレームごとに認識処理を行うと、連続するフレームに現れる同一の物体に対して、何回も同様の認識結果が提示されてしまうため、それらの認識結果を確認するためのユーザの作業量が多くなる。しかし、実際には、そのような場合には、連続するフレームに現れる同一の物体の複数の画像のうち一つまたは少数をユーザが確認すれば十分であると考えられる。そこで、映像監視支援システム１００では、フレーム間で物体を対応付ける追跡処理を行うことで、認識結果を縮約して出力する。【００４９】
図６は、本発明の実施例１に係る映像監視支援システム１００が実行する、物体追跡を用いた認識結果の縮約を説明するための図である。【００５０】
映像入力部１０５から連続するフレーム（例えばフレーム６０１Ａ〜６０１Ｃ）が入力されると、画像認識部１０６は、各フレームに対して、図４で述べた方法を用いて画像認識を行い、フレーム単位の認識結果６０２を生成する。【００５１】
次に、画像認識部１０６は、フレーム間で物体の特徴量を比較することで、フレーム間で物体の対応付け（すなわち物体の追跡処理）を行う（Ｓ６０３）。例えば、画像認識部１０６は、複数のフレームに含まれる複数の画像の特徴量を比較することで、それらの画像が同一の物体の画像であるか否かを判定する。この際に、画像認識部１０６は、認識処理に用いた特徴量以外の情報を使用してもよい。例えば、人物の場合は、顔の特徴量だけでなく服装の特徴を使用してもよい。また、特徴量に加えて物理的制約を使用しても良い。例えば、画像認識部１０６は、対応する顔の探索範囲を画面内での一定範囲（ピクセル長）内に限定してもよい。物理的制約は、カメラの撮影範囲、映像のフレームレート、対象物体の最大移動速度などから計算できる。【００５２】
この結果、画像認識部１０６は、フレーム間で特徴量が近い物体は同一の個体（例えば同一人物）であると判定し、認識結果をひとつにまとめることができる（６０５）。認識結果縮約Ｓ６０４において、画像認識部１０６は、例えば、対応付けられたフレーム単位の認識結果の中から、最も信頼度の高い認識結果を採用してもよいし、信頼度に応じた重み付き投票を用いても良い。【００５３】
図６を参照して、縮約の具体例を説明する。ここでは顔の特徴量を使用する例を示す。フレーム６０１Ａ〜６０１Ｃに人物の画像が含まれる場合、画像認識部１０６は、それぞれのフレームから抽出した画像のそれぞれを画像データベース１０８に保持された画像と比較することによって、フレーム単位の認識結果６０２を生成する。その結果、フレーム６０１Ａから抽出された画像は、名前が「Carol」である人物の画像に最も類似し、その信頼度は２０％であると判定される。一方、フレーム６０１Ｂおよび６０１Ｃから抽出された画像は、いずれも、名前が「Alice」である人物の画像に最も類似するが、それらの信頼度はそれぞれ４０％および８０％であると判定される。【００５４】
一方、画像認識部１０６は、Ｓ６０３においてフレーム６０１Ａ〜６０１Ｃの画像から抽出された人物の画像の顔の特徴量を相互に比較した結果、それらが類似するため、フレーム６０１Ａ〜６０１Ｃに含まれる人物の画像が同一人物の画像であると判定する。この場合、画像認識部１０６は、信頼度が高い所定の数の認識結果（例えば、信頼度が最も高い一つの認識結果）を出力し、他の認識結果を出力しない。図６の例では、フレーム６０１Ｃの認識結果のみが出力される。【００５５】
以上に述べた、単一フレームでの画像認識処理と、過去のフレームを用いた追跡処理とを、新しいフレームが入力される度に行い、認識結果を更新していくことで、ユーザはその時点で最も信頼度の高い認識結果のみを目視確認すれば良いことになり、作業負担を軽減することができる。ただし、以上のような縮約処理を行っても、通行量の多い場所を監視する場合や複数の場所を同時に監視する場合においては、提示される確認タスクが多くなってしまう。監視業務においては、ユーザの処理能力以上の確認タスクを提示すると、かえって重要な情報を見逃しやすくなることから、本発明の映像監視支援システム１００は、ユーザに提示する確認タスクの量を所定値以下に抑制することで、監視業務を効率化する。【００５６】
本発明の映像監視支援装置１０４は、表示制御部１０７がユーザの作業状況を観測し、作業量と現在のタスク流量（単位時間あたりの新規タスク生成数）にしたがって、画像認識部１０６の動作パラメータを動的に制御する。タスク流量を抑えるためには、運用時の映像状況（撮影条件、通行量など）および作業者の処理能力を見積もる必要があり、運用開始前に画像認識の動作パラメータを調整することは困難である。本発明の特徴は、作業者の目視確認作業量を所定値に抑えることによって、適応的に画像認識処理を制御する点である。【００５７】
図７Ａは、本発明の実施例１に係る映像監視支援装置１０４に映像が入力されてから、表示装置１０３に目視確認作業が提示されるまでのデータフローを表す説明図である。【００５８】
映像入力部１０５によって映像のフレーム７０１が抽出されると、画像認識部１０６は画像認識処理を行い、認識結果７０３を生成する（Ｓ７０２）。画像認識処理Ｓ７０２の内容は、図４および図６を参照して説明したとおりである。【００５９】
表示制御部１０７は、認識結果の量が予め設定された所定量以下、または、運用時に得られたユーザの作業速度に応じて導出された量以下になるように、認識結果をフィルタリングする（Ｓ７０４）。また、認識結果の生成後ではなく、画像認識のパラメータを制御することで、画像認識部１０６が生成する認識結果の量自体を調整することもできる。動作パラメータの制御方法については、図７Ｂの説明として後述する。表示制御部１０７は、フィルタリングされた認識結果から、目視確認タスク７０５を生成する。【００６０】
表示制御部１０７は、ユーザの作業に応じて、順次目視確認タスク７０５を表示装置１０３に表示する（Ｓ７０６）。ユーザの作業内容は、表示制御部１０７に通知され、以降の表示量制御に利用される。図５を参照して説明したユーザの判断結果が、通知されるユーザの作業内容に相当する。操作画面の詳細については、図１０の説明として後述する。【００６１】
例えば、表示制御部１０７は、所定の数（一つまたは複数）の目視確認タスク７０５を表示装置１０３に出力してそれらを同時に表示させ、それらのいずれかに対するユーザの作業内容（すなわち目視確認の結果）が通知されると、ユーザによる目視確認が終了したタスクの表示が削除され、代わりに、表示制御部１０７が新たな目視確認タスク７０５を表示装置１０３に表示させてもよい。表示制御部１０７は、目視確認タスク７０５を新たに生成したときに、その前に生成された古い目視確認タスク７０５に対するユーザの作業内容が通知されていない場合、当該古い目視確認タスク７０５に対するユーザの目視確認作業がまだ終了していないため、新たに生成した目視確認タスク７０５をすぐに出力せずに記憶装置２０２内に保持する。そして、当該古い目視確認タスク７０５に対するユーザの作業内容が通知されると、表示制御部１０７は、記憶装置２０２内に保持された目視確認タスク７０５を出力する。記憶装置２０２は、このようにして生成され、出力を待っている一つまたは複数の目視確認タスク７０５を保持することができる。【００６２】
図７Ｂは、本発明の実施例１に係る映像監視支援装置１０４によって出力される目視確認タスク数の増減の要因となる画像認識処理の動作パラメータの例を示す説明図である。【００６３】
動作パラメータは、認識結果に用いる事例の類似度に対する閾値７１１、属性による検索範囲の絞込条件７１２、物体追跡におけるフレーム抜けの許容値７１３などである。【００６４】
認識結果に用いる事例の類似度に対する閾値７１１を上げると、検索結果から採用される事例数が減るため、結果として認識結果に加わる個体の候補数が減少する。【００６５】
例えば、信頼度が８０％以上の認識結果の数は、信頼度が４０％以上の認識結果の数より少ない。類似度が低いほど、画像データベース１０８から検索された画像が入力された画像と同一の物体の画像である可能性が低い、言い換えると、入力された画像が監視対象の物体の画像である可能性が低いと考えられる。このため、ユーザの処理能力に余裕がある場合には類似度が低い画像も目視確認することが望ましいが、そうでない場合には、類似度が低い画像を優先的に目視確認の対象から除外することによって、監視対象の物体の画像である可能性がより高い画像の確認にユーザの処理能力を振り向けることができる。これによって、監視対象の物体の画像の見逃しを防ぐことが期待できる。【００６６】
属性による検索範囲の絞込条件７１２をつけることで、検索結果には条件に一致する状態の良い事例のみが残り、目視確認タスクの量と難易度を減らすことができる。【００６７】
例えば、図３の事例テーブル３１０に示すように、同一物体の複数の事例の画像が画像データベース１０８に保持されている場合がある。これらの複数の事例の画像が、例えば、同一人物の正面顔の画像、非正面顔（例えば横顔）の画像、および装飾（例えば眼鏡）付きの顔の画像等である場合、それらの全てを検索対象として類似画像検索をしたときの認識結果の数より、それらの一部（例えば一つのみ）を検索対象としたときの認識結果の数が少なくなると考えられる。ユーザの処理能力が不足している場合には、これらの事例の一部の画像のみを検索対象とすることによって、目視確認タスクの量（すなわちユーザの作業量）を減らすことができる。このとき、例えば、確認が容易と思われる事例（例えば装飾のない正面顔）の画像を検索対象として選択すれば、より確認が容易な画像にユーザの処理能力を振り向けることができるため、監視対象の物体の画像の見逃しを防ぐことが期待できる。【００６８】
なお、上記のように検索に使用する事例を選択するために、事例テーブル３１０は、それぞれの事例の属性（例えば、正面顔、非正面顔、装飾付きの顔、服装等）を示す情報、または、検索対象として選択する優先度を示す情報を含んでもよい。後者の場合、例えば、正面顔の優先度を非正面顔の優先度より高くし、目視確認タスクの量を減らしたいときに、優先度の高い事例の画像のみを検索対象として選択してもよい。【００６９】
物体追跡におけるフレーム抜けの許容値７１３は、例えば、物体が別の物体の影に隠れて数フレームの間検出されなかった場合でも、再度現れた物体を、隠れる前の物体と対応付けるか否かを決定するパラメータである。許容度を上げれば、多少のフレーム抜けがあっても同一動線として処理される。すなわち、同一の物体の画像であると判定される画像の数が多くなるため、縮約によって、検索クエリとして使用される画像の数が減少し、その結果、認識結果の生成量も減少する。一方で、許容度を下げれば、物体が別の物体の影に隠れる前の動線と再度現れた後の動線とが別個の動線として処理され、認識結果が複数生成される。【００７０】
具体的には、画像認識部１０６は、縮約のために、一つのフレームから抽出された物体の画像を、その直前のフレームから抽出された物体の画像と比較してもよいが、それに加えて、二つ以上前のフレームから抽出された物体の画像と比較してもよい。比較の対象が多くなる（すなわちより古いフレームと比較する）ほど、物体追跡におけるフレーム抜けの許容値７１３が大きくなり、縮約によって目視確認タスクの量は少なくなる。ユーザの処理能力が不足している場合には、物体追跡におけるフレーム抜けの許容値７１３を大きくすることによって、他の画像と同一の物体の画像である可能性がより低い画像の認識結果にユーザの処理能力を振り向けることができるため、監視対象の物体の画像の見逃しを防ぐことが期待できる。【００７１】
上記のフレーム抜けの許容値７１３の制御は、複数のフレームにから抽出された複数の画像が同一の物体の画像であるか否かを判定する条件の制御の一例である。上記以外のパラメータ、例えば、物体追跡の際に使用される画像特徴量の類似度の閾値を制御することによって、複数のフレームにから抽出された複数の画像が同一の物体の画像であるか否かを判定する条件を制御してもよい。【００７２】
上記以外の表示量制御の例として、複数の事例を対象として類似検索した結果の論理積または論理和のいずれかを認識結果として選択することが挙げられる。例えば、ある人物の画像が入力され、その画像から抽出した顔画像を検索クエリとしたときの認識結果と、その画像から抽出した服装画像を検索クエリとしたときの認識結果とが同一の人物であった場合に当該人物を認識結果として出力し、両者が異なる場合には認識結果を出力しなくてもよいし、両者が異なる場合にもそれぞれの認識結果を出力してもよい。前者の場合は後者の場合より出力される認識結果の量（すなわち生成される目視確認タスクの量）が少なくなる。【００７３】
図８は、本発明の実施例１に係る映像監視支援装置１０４が、類似画像検索による画像認識を行い、作業量に応じて認識結果の表示量を抑えるために認識処理の動作パラメータを制御する一連の処理を説明するフローチャートである。以下、図８の各ステップについて説明する。【００７４】
（図８：ステップＳ８０１）
映像入力部１０５は、映像記憶装置１０１から映像を取得し、システム内部で利用可能な形式に変換する。具体的には、映像入力部１０５は、映像をデコードしてフレーム（静止画）を抽出する。【００７５】
（図８：ステップＳ８０２）
画像認識部１０６は、ステップＳ８０１で得られたフレーム中の物体領域を検出する。物体領域の検出は公知の画像処理方法で実現可能である。ステップＳ８０２では、フレーム内の複数の物体領域が得られる。【００７６】
（図８：ステップＳ８０３〜Ｓ８０８）
画像認識部１０６は、ステップＳ８０３で得られた複数の物体領域について、ステップＳ８０３からＳ８０８を実行する。【００７７】
（図８：ステップＳ８０４）
画像認識部１０６は、物体領域から画像特徴量を抽出する。画像特徴量は、例えば、色または形状など、画像の見た目の特徴を表す数値データであり、固定長のベクトルデータである。【００７８】
（図８：ステップＳ８０５）
画像認識部１０６は、ステップＳ８０４で得られた画像特徴量をクエリとして、画像データベース１０８に対して類似画像検索を行う。類似画像検索結果は、事例のＩＤ、類似度、および事例の属性情報のセットとして、類似度順に出力される。【００７９】
（図８：ステップＳ８０６）
画像認識部１０６は、ステップＳ８０５で得られた類似画像検索結果を用いて、画像認識結果を生成する。画像認識結果の生成方法は、図４の説明で前述した通りである。【００８０】
（図８：ステップＳ８０７）
画像認識部１０６は、ステップＳ８０６で生成された画像認識結果を、過去の認識結果と対応付けることで、認識結果を縮約する。認識結果の縮約方法は、図６の説明として前述したとおりである。【００８１】
（図８：ステップＳ８０９）
表示制御部１０７は、ユーザが入力装置１０２を用いて行った目視確認の作業量と、新規に生成された認識結果の量から、単位時間あたりのユーザの作業量を推定する。例えば、表示制御部１０７は、単位時間に受信したユーザの作業内容の通知（図７Ａ参照）の数を、単位時間あたりのユーザの作業量として推定してもよい。【００８２】
（図８：ステップＳ８１０）
表示制御部１０７は、ステップＳ８０９で得られた単位時間あたりのユーザの作業量を元に、画像認識部１０６の動作パラメータを更新する。制御する動作パラメータの例は、図７Ｂの説明として前述したとおりである。例えば、単位時間に新規に生成された認識結果の量が所定の値を超えた場合に、表示制御部１０７は、画像認識部１０６の動作パラメータを、生成される認識結果の数が少なくなるように（すなわちそれらの認識結果に対する目視確認タスクの数が少なくなるように）更新してもよい。これによって、生成および出力される認識結果の量が所定の値を超えないように制御される。【００８３】
このとき、単位時間に新規に生成された認識結果の量と比較される所定の値は、ステップＳ８０９で推定された単位時間あたりのユーザの作業量に基づいて、単位時間あたりのユーザの作業量が多いほど当該所定の値が大きくなるように定められてもよい。具体的には、例えば、当該所定の値が単位時間あたりのユーザの作業量と同一であってもよい。あるいは、当該所定の値は、ユーザ自身によって指定された値（図１０参照）であってもよい。【００８４】
（図８：ステップＳ８１１）
表示制御部１０７は、目視確認タスクの画面を生成する。必要であれば表示制御部１０７は画像データベース１０８にアクセスして事例の情報を取得する。画面の構成例は、図５の説明として前述したとおりである。【００８５】
（図８：ステップＳ８１２）
表示制御部１０７は、目視確認タスクを表示装置１０３に出力し、表示装置１０３は目視確認タスクを画面に表示する。表示装置１０３は、複数の目視確認タスクを同時に表示してもよい。【００８６】
なお、実際には、図７Ａを参照して説明したように、ステップＳ８１１で生成された目視確認タスクがすぐにステップＳ８１２で表示されるのではなく、一時的に記憶装置２０２に保持されてもよい。複数の目視確認タスクが記憶装置２０２に保持される場合、それらが待ち行列を形成する。【００８７】
（図８：ステップＳ８１３）
映像監視支援装置１０４は、映像記憶装置１０１から次のフレームの入力があれば、ステップＳ８０１に戻り、上記の処理を継続実行する。そうでなければ、処理を終了する。【００８８】
なお、上記の処理の手順は一例であり、実際には種々の変形例があり得る。例えば、ステップＳ８１３は、ステップＳ８１２の後ではなく、ステップＳ８０８の後かつステップＳ８０９の前に、画像認識部１０６によって実行されてもよい。この場合、縮約の結果として得られた信頼度の高い認識結果のみが画像認識部１０６から表示制御部１０７に出力され、表示制御部１０７は、画像認識部１０６から出力された認識結果についてステップＳ８０９〜Ｓ８１２を実行する。【００８９】
図７Ｂに示したような方法で設定された動作パラメータは、画像認識部１０６によって使用されてもよいし、表示制御部１０７において使用されてもよい。例えば、画像認識部１０６が、ステップＳ８０６において、類似度が閾値７１１以上である検索結果のみを対象として認識結果を生成してもよいし、表示制御部１０７が、ステップＳ８１１において、類似度が閾値７１１以上である認識結果のみについて目視確認タスクを生成してもよい。【００９０】
図９は、本発明の実施例１に係る映像監視支援システム１００の処理シーケンスを説明する図であり、具体的には、以上で説明した映像監視支援システム１００の画像認識および表示処理における、ユーザ９００、映像記憶装置１０１、計算機９０１、画像データベース１０８の処理シーケンスを示す。なお、計算機９０１は、映像監視支援装置１０４を実現する計算機である。以下、図９の各ステップについて説明する。【００９１】
計算機９０１は、映像記憶装置１０１から映像が取得される限り、継続的にステップＳ９０２を実行する。計算機９０１は、映像記憶装置１０１から映像データを取得し、必要に応じてデータ形式を変換してフレームを取り出す（Ｓ９０３〜Ｓ９０４）。計算機９０１は、得られたフレームから、物体領域を抽出する（Ｓ９０５）。計算機９０１は、得られた複数の物体領域に対して、画像認識処理を行う（Ｓ９０６）。具体的には、計算機９０１は、まず、物体領域から特徴量を抽出する（Ｓ９０７）。次に、計算機９０１は、画像データベース１０８に対して類似画像検索を行い、検索結果を取得し、検索結果を集計することで認識結果を生成する（Ｓ９０８〜Ｓ９１０）。最後に、計算機９０１は、過去の認識結果と対応付けを行い、認識結果を縮約する（Ｓ９１１）。【００９２】
計算機９０１は、新規に生成された認識結果と、ユーザの過去の作業量から、単位時間あたりの作業量を推定し、それにしたがって画像認識の動作パラメータを更新する（Ｓ９１２〜Ｓ９１３）。計算機９０１は、ユーザ確認用の画面を生成し、ユーザ９００に提示する（Ｓ９１４〜Ｓ９１５）。ユーザ９００は、画面に表示された認識結果を目視確認し、計算機９０１にその結果を採用するか棄却するかを伝える（Ｓ９１６）。ユーザ９００による確認作業と、計算機９０１による認識処理Ｓ９０２は、同時並行的に進行する。すなわち、計算機９０１がユーザ確認用の画面をユーザ９００に提示（Ｓ９１５）してから、その確認結果が計算機９０１に伝えられる（Ｓ９１６）までの間に、次回以降のステップＳ９０１の実行が開始されてもよい。【００９３】
図１０は、本発明の実施例１に係る映像監視支援装置１０４を用いて、映像中の特定の物体を発見することを目的とした監視作業をするための操作画面の構成例を表す図である。本画面は、表示装置１０３上でユーザに提示される。ユーザは、入力装置１０２を用いて、画面上に表示されたカーソル６０９を操作することで、映像監視支援装置１０４に処理の指示を与える。【００９４】
図１０の操作画面は、入力映像表示領域１０００、確認タスク量表示領域１００１、表示量制御設定領域１００２、目視確認タスク表示領域６００を有する。【００９５】
映像監視支援装置１０４は、映像記憶装置１０１から取得した映像を入力映像表示領域１０００にライブ動画として表示する。映像記憶装置１０１からそれぞれ別の撮影装置（カメラ）によって撮影された複数の映像が取得された場合、撮影装置ごとに映像が表示されてもよい。また、映像監視支援装置１０４は、画像認識結果を目視確認タスク表示領域６００に表示し、図５の説明で前述したとおり、ユーザは目視確認タスクを実施する。映像が入力され続ける限り、映像監視支援装置１０４は映像認識結果を生成し続け、新しい目視確認タスクが追加される。図１０の例では、複数の目視確認タスクを重ねて表示しているが、所定数のタスクを同時に並べて表示してもよい。また、タスクの重要度に応じて、表示サイズを変えても良い。ユーザが目視確認を終えたタスクは画面から削除される。また、所定時間処理されなかったタスクは自動的に棄却するようにしてもよい。現在の残存タスク数および単位時間あたりの処理量は、確認タスク量表示領域１００１に表示される。【００９６】
ユーザが、表示量制御設定領域１００２を用いて、表示量制御の指示を与えると、映像監視支援装置１０４は、処理量が所定数以下になるように画像認識の動作パラメータを制御する（図８のステップＳ８１０）。なお、画像認識の信頼度が一定以上であれば、設定された表示量以上であっても優先的に表示する設定を加えても良い。【００９７】
以上の本発明の実施例１によれば、映像監視支援装置１０４による目視確認タスクの生成量を所定の値、例えばユーザの作業量に基づいて決定される値、またはユーザによって指定された値以下に抑えることによって、監視対象の物体の見逃しを防止することができる。
【実施例２】
【００９８】
実施例１では、ユーザの作業量に応じて画像認識の動作パラメータを制御することで、ユーザに一定の目視確認作業を提示する方法について説明した。一方で、リアルタイムの監視業務においては、ユーザが時系列順に認識結果を確認していると、新規により重要な物体が検知されたときに、即時に対応できなくなってしまう。そこで、本発明の実施例２に係る映像監視支援装置１０４は、目視確認タスクを時系列順に表示するのではなく、優先度をつけて非順序に表示することを特徴とする。【００９９】
以下に説明する相違点を除き、実施例２の映像監視支援システム１００の各部は、図１〜図１０に示された実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。【０１００】
図１１は、本発明の実施例２に係る映像監視支援システム１００による目視確認タスクの非順序表示方法を説明する図である。【０１０１】
画像認識部１０６から生成された目視確認タスクは、残存タスクの待ち行列１１０１に追加され、ユーザの目視確認作業に応じて順次表示装置１０３に表示される。このとき、新規の目視確認タスクが追加されると、表示制御部１０７は、残存タスクを優先度に応じて随時並び替える（１１０２）。並び替えの対象は、残存タスクの全てであっても良いし、画面に表示されていないタスクに限定してもよい。並び替えの基準として、例えば、認識結果の信頼度を優先度として用いても良いし、所定の属性に該当する認識結果の優先度を上げても良い。具体的には、例えば、属性情報フィールド３２３に保持された重要度が高い人物の認識結果に高い優先度を付してもよい。あるいは、認識結果の信頼度と属性値との組み合わせに基づいて優先度を決定してもよい。【０１０２】
図１２は、本発明の実施例２に係る映像監視支援システム１００による目視確認タスクの非順序表示方法の処理を説明するフローチャートである。以下、図１２の各ステップについて説明する。【０１０３】
（図１２：ステップＳ１２０１）  
表示制御部１０７は、画像認識部１０６が生成した画像認識結果を元に、目視確認タスクを生成する。ステップＳ１２０１は、図８のステップＳ８０１からＳ８１１に相当する。【０１０４】
（図１２：ステップＳ１２０２）  
表示制御部１０７は、ステップ１２０１で生成した目視確認タスクを、表示待ち行列１１０１に追加する。【０１０５】
（図１２：ステップＳ１２０３）  
表示制御部１０７は、表示待ち行列１１０１に保持された残存タスクを優先度に応じて並び替える。優先度として、前述のとおり例えば、認識結果の信頼度または属性値を用いることができる。【０１０６】
（図１２：ステップＳ１２０４）  
表示制御部１０７は、表示待ち行列１１０１に保持された残存タスクが所定数以上であるか、または、所定時間未処理のタスク（すなわち生成されてから所定時間以上経過したタスク）があれば、タスクを棄却する。残存タスクが所定数以上である場合には、表示制御部１０７は、待ち行列１１０１の末尾から順に、所定数を越える分の数の残存タスクを選択し、棄却する。これによって、優先度が低い順に一つ以上のタスクが棄却される。棄却されたタスクをデータベースに保存しておき、後から閲覧できるようにしても良い。【０１０７】
（図１２：ステップＳ１２０５）  
表示制御部１０７は、待ち行列１１０１の先頭から順に（すなわち優先度が高い順に）、目視確認タスクを表示装置１０３に表示する。この時、複数の目視確認タスクを同時に表示してもよい。【０１０８】
（図１２：ステップＳ１２０６）  
表示制御部１０７は、ユーザが確認作業を完了したタスクを、待ち行列１１０１から削除する。【０１０９】
（図１２：ステップＳ１２０７）  
映像監視支援装置１０４は、映像記憶装置１０１から次のフレームの入力があれば、ステップＳ１２０１に戻り、上記の処理を継続実行する。そうでなければ、処理を終了する。【０１１０】
以上の本発明の実施例２によれば、認識された順序によらずに、例えば、監視対象の物体の画像である可能性が高い画像、または、重要性の高い監視対象の物体の画像である可能性が高い画像のような、目視確認する必要性が高い画像を優先的に確認することができる。
【実施例３】
【０１１１】
以下の実施例３では、映像記憶装置１０１から複数の映像ソースが同時に入力された場合の処理、例えば、複数地点に設置された防犯カメラが撮影した映像に本発明の映像監視システムを適用した時の動作について説明する。【０１１２】
以下に説明する相違点を除き、実施例３の映像監視支援システム１００の各部は、図１〜図１０に示された実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。【０１１３】
図１３は、本発明の実施例３に係る映像監視支援システム１００による映像ソース独立の表示量制御方法を説明するための図である。【０１１４】
図１３は、近接する設置場所にカメラ１３０３とカメラ１３０４が設置されており、それぞれ、範囲１３０５、１３０６を撮影している状況を示している。通行人物１３０１は、経路１３０２上を移動しており、カメラ１３０３とカメラ１３０４で撮影される。この時、例えばカメラ１３０３は、照明条件が暗く、設置の俯角が深いために画像認識に適した映像が撮影しにくく、誤認識による目視確認タスクが生成される可能性が高い。一方で、カメラ１３０４は、撮影条件がよいために、誤認識率は低い。ユーザは、複数地点のカメラから１回でも目的の人物を発見できれば良い。このため、映像監視支援システム１００は、画像認識の動作パラメータを、撮影条件の悪い（すなわち誤認識率が高い）映像ソースについては、目視確認タスクの表示量を抑制するように制御し、撮影条件の良い（すなわち誤認識率が低い）映像ソースについては、目視確認タスクの表示量を増加するように制御する。これによって、誤認識率が低い映像ソースの認識結果が、誤認識率が高い映像ソースの認識結果より出力されやすくなる。【０１１５】
映像監視支援装置１０４は、カメラごとに、そのカメラによって撮影された画像を認識するための動作パラメータを保持する。例えば、映像記憶装置１０１から映像入力部１０５に入力される映像データに、映像を撮影したカメラを識別する情報が含まれ、映像監視支援装置１０４は、撮影したカメラに対応する動作パラメータを用いて画像認識を実行してもよい。動作パラメータの具体的な制御およびそれを用いた処理は、図７Ａ、図７Ｂおよび図８等に示される実施例１と同様の方法で行うことができる。【０１１６】
撮影条件の良し悪しは、ユーザがシステムに入力してもよいし、作業結果から自動的に誤認識率を計算して判定してもよい。例えば、ユーザが各カメラの撮影条件に基づいて誤認識率を推定してそれを入力し、映像監視支援装置１０４がカメラごとの誤認識率に応じて（すなわち誤認識率が高いほど目視確認タスクの量が少なくなるように）動作パラメータを制御してもよい。あるいは、ユーザが各カメラの撮影条件（例えば照明条件および設置の俯角等）を入力し、映像監視支援装置１０４が撮影条件に基づいてカメラごとの誤認識率を計算し、それに応じてカメラごとに動作パラメータを制御してもよい。あるいは、映像監視支援装置１０４は、それぞれのカメラによって撮影された画像に対するユーザによる目視確認作業の結果（具体的には認識結果採用ボタン５０７および認識結果棄却ボタン５０８のいずれを操作したか）に基づいて、カメラごとの誤認識率を計算し、それに応じてカメラごとに動作パラメータを制御してもよい。【０１１７】
図１４は、本発明の実施例３に係る映像監視支援システム１００による、複数地点で撮影された映像から生成された目視確認タスクの縮約方法を説明する図である。【０１１８】
図１４では、カメラ１４０２、カメラ１４０３、およびカメラ１４０４が、図示するような位置関係１４０１で設置されている。カメラ１４０２〜１４０４のような複数の映像ソースから取得された映像データから目視確認タスクを生成した結果、残存タスクの待ち行列１４０９には、同一の属性を持ち、異なる映像ソースから生成された結果１４０５、１４０６および１４０７が保持される。この例において、結果１４０５、１４０６および１４０７は、それぞれ、カメラ１４０２、１４０３および１４０４によって撮影された画像の認識結果を含む。映像監視支援システム１００は、これらの単一映像ソースの認識結果を合わせて縮約することで複数映像ソースの認識結果１４０８に縮約する。これによって、縮約後の残存タスクの待ち行列１４１０を、縮約前の残存タスクの待ち行列１４０９より短くすることができる。【０１１９】
縮約方法としては、例えば、認識結果の属性値、時間、および複数カメラの位置関係から判定する方法を採用してもよい。具体的には、例えば、各カメラの設置条件から特定される位置関係に基づいて、各カメラで撮影された画像上の位置と実際の空間内での位置との対応関係を特定し、複数のカメラで撮影された画像の認識結果に基づいて、同一の時刻に同一の位置にあった同一の属性値の物体を同一の物体であると判定してもよい。あるいは、図６で説明した、一つのカメラによって撮影された画像間の物体追跡方法を、異なるカメラによって撮影された画像間の物体追跡に応用してもよい。【０１２０】
図１５は、本発明の実施例３に係る映像監視支援システム１００による、複数地点で撮影された映像から生成された目視確認タスクの縮約方法を説明するフローチャートである。以下、図１５の各ステップについて説明する。【０１２１】
（図１５：ステップＳ１５０１）
表示制御部１０７は、画像認識部１０６が生成した画像認識結果を元に、目視確認タスクを生成する。ステップＳ１５０１は、図８のステップＳ８０１からＳ８１１に相当する。【０１２２】
（図１５：ステップＳ１５０２）
表示制御部１０７は、ステップ１５０１で生成した目視確認タスクを、表示待ち行列１４０９に追加する。【０１２３】
（図１５：ステップＳ１５０３）
表示制御部１０７は、単一映像ソースの目視確認タスクを、複数映像ソースの目視確認タスクに縮約する。【０１２４】
（図１５：ステップＳ１５０４）
表示制御部１０７は、表示待ち行列１４１０に保持された残存タスクが所定数以上であるか、または、所定時間未処理のタスクがあれば、タスクを棄却する。この棄却は、図１２のステップＳ１２０４と同様に行われても良い。棄却されたタスクをデータベースに保存しておき、後から閲覧できるようにしても良い。【０１２５】
（図１５：ステップＳ１５０５）
表示制御部１０７は、待ち行列１４１０の先頭から順に、目視確認タスクを表示装置１０３に表示する。この時、複数の目視確認タスクを同時に表示してもよい。【０１２６】
（図１５：ステップＳ１５０６）
表示制御部１０７は、ユーザが確認作業を完了したタスクを、待ち行列１４１０から削除する。【０１２７】
（図１５：ステップＳ１５０７）
映像監視支援装置１０４は、映像記憶装置１０１から次のフレームの入力があれば、ステップＳ１５０１に戻り、上記の処理を継続実行する。そうでなければ、処理を終了する。【０１２８】
以上の本発明の実施例３によれば、カメラの設置条件等に起因して誤認識率が高いと推定される画像から生成される目視確認タスクの量が少なくなるように動作パラメータを制御することによって、誤認識率が低いと推定される画像の目視確認にユーザの処理能力を振り向けることができるため、監視対象の物体の見逃しを防止することができる。また、縮約の範囲を広げることによって、他の画像と同一の物体の画像である可能性がより低い画像の目視確認にユーザの処理能力を振り向けることができるため、監視対象の物体の画像の見逃しを防ぐことができる。
【実施例４】
【０１２９】
実施例２と実施例３では、ユーザが所定時間内に処理できなかった古い確認タスクを優先度に応じて棄却していた。以下の実施例４では、多様性を保持したままタスクを棄却する手段について説明する。【０１３０】
以下に説明する相違点を除き、実施例４の映像監視支援システム１００の各部は、図１〜図１０に示された実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。【０１３１】
図１６は、本発明の実施例４に係る映像監視支援システム１００によるクラスタリングを用いた残存タスクの棄却方法を説明するための図である。【０１３２】
目視確認タスクの待ち行列１６０１に、新規タスクが追加されると、映像監視支援装置１０４は、タスクから特徴量を抽出し、一次記憶領域（例えば記憶装置２０２の記憶領域の一部）に保持しておく。特徴量として、画像認識に用いた特徴量をそのまま用いても良いし、認識結果の属性情報を特徴量として使用してもよい。また、映像監視支援装置１０４は、タスクが追加されるたびに、特徴量をクラスタリングする。クラスタリングの手法としては、例えばＫ−ＭＥＡＮＳクラスタリングなどの、公知の手法を用いる事ができる。この結果、メンバとして複数のタスクを有するクラスタが多数形成される。例えば、待ち行列１６０１に含まれるタスク１６０２、１６０３および１６０４からはそれぞれ、特徴量１６０６、１６０７および１６０８が生成され、特徴量空間１６０５上でそれらを含むクラスタ１６０９が形成される。タスクの総数が一定量以上を超えると、映像監視支援装置１０４は、クラスタ毎にメンバであるタスクを、一定数を残して棄却する。なお、クラスタリングは、タスク量が一定量を超えたタイミングのみに実行されも良い。例えば、クラスタ１６０９に属するメンバは、最も信頼度が高いタスク１６０４を残して棄却される。棄却対象は、実施例２のように優先度を基準として決定されてもよい。【０１３３】
図１７は、本発明の実施例４に係る映像監視支援システム１００によるクラスタリングを用いた残存タスクの棄却方法を説明するためのフローチャートである。以下、図１７の各ステップについて説明する。【０１３４】
（図１７：ステップＳ１７０１）
表示制御部１０７は、画像認識部１０６が生成した画像認識結果を元に、目視確認タスクを生成する。ステップＳ１７０１は、図８のステップＳ８０１からＳ８１１に相当する。【０１３５】
（図１７：ステップＳ１７０２）
表示制御部１０７は、新規に追加されたタスクの特徴量を特徴量空間１６０５に追加する。【０１３６】
（図１７：ステップＳ１７０３）
表示制御部１０７は、特徴量空間１６０５に保持された特徴量に基づいてタスクをクラスタリングする。【０１３７】
（図１７：ステップＳ１７０４）
表示制御部１０７は、タスクの量が一定以上であれば、ステップＳ１７０５に移動し、そうでなければステップＳ１７０６を実行する。【０１３８】
（図１７：ステップＳ１７０５）
表示制御部１０７は、特徴量空間上に形成された各クラスタから所定数のタスクを残してその他のタスクを棄却する。【０１３９】
（図１７：ステップＳ１７０６）
表示制御部１０７は、待ち行列１６０１の先頭から順に、目視確認タスクを表示装置１０３に表示する。この時、複数の目視確認タスクを同時に表示してもよい。【０１４０】
（図１７：ステップＳ１７０７）
表示制御部１０７は、ユーザが確認作業を完了したタスクを、待ち行列１６０１から削除する。同時に、削除したタスクに該当する特徴量を特徴量空間上から削除する。【０１４１】
（図１７：ステップＳ１７０８）
映像監視支援装置１０４は、映像記憶装置１０１から次のフレームの入力があれば、ステップＳ１５０１に戻り、上記の処理を継続実行する。そうでなければ、処理を終了する。【０１４２】
クラスタリングによって同一のクラスタに分類されたタスクは、同一の人物の画像に関するタスクである可能性が高い。また、画像特徴量に基づくクラスタリングは、カメラの位置関係が不明な場合でも、複数のカメラで撮影された画像を対象に行うことができる。上記の本発明の実施例４によれば、各クラスタについて目視確認タスクを所定数以内に制限することによって、他の画像と同一の物体の画像である可能性がより低い画像の目視確認にユーザの処理能力を振り向けることができるため、監視対象の物体の画像の見逃しを防ぐことができる。
【実施例５】
【０１４３】
実施例２乃至４では、残存タスクの内容や、優先度が低いために棄却されるタスクを、ユーザに意識させずに、目視確認作業の流量を所定量以下に制限して提示していた。一方で、人物の発見の遅れよりも見逃しそのものを問題視する用途や、目視確認の対象とするか否かに関わる動作パラメータを変更したくない用途も存在する。そこで、本発明の実施例５に係る映像監視支援装置１０４は、動作パラメータを段階的に複数設定し、また画面の複数の領域に分け、各領域で動作パラメータに応じた目視確認タスクまたは残存タスクを表示することを特徴とする。【０１４４】
以下に説明する相違点を除き、実施例５の映像監視支援システムの各部は、実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。本例の説明では理解の便のため、動作パラメータとして、類似度に対する閾値７１１のみを想定し、３つの閾値Ａ，ＢおよびＣ（ただしＡ≦Ｂ≧Ｃ、ＡとＣの関係は任意）を設定する。【０１４５】
図１８は、本発明の実施例５に係る映像監視支援装置１０４を用いて、映像中の特定の物体を発見することを目的とした監視作業をするための操作画面の構成例を表す図である。図１８の操作画面は、入力映像表示領域１８００、目視確認タスク表示操作領域１８０２および残存タスク要約表示領域１８０４を有する。【０１４６】
入力映像表示領域１８００は、複数の撮影装置によって撮影された複数のライブ映像が表示される領域である。映像監視支援装置１０４は、認識結果の縮約（Ｓ８０７）に至る前または縮約中に閾値がＡ以上となった認識結果があるときは、これらライブ映像に、その認識結果を得た際にＳ８０２で検出された物体領域（外接矩形）に対応する枠１８１３を重畳表示する。【０１４７】
目視確認タスク表示操作領域１８０２は、目視確認タスク表示領域６００に相当する領域であり、閾値Ｂ以上の目視確認タスクについての待ち行列（不図示）から出力される最古の目視確認タスクが表示される。本例の映像監視支援装置１０４は、最も類似すると認識された１つの個体ＩＤについて、複数の事例が事例テーブル３１０に保持されている場合、それらの事例の画像もＤＢ内事例画像として事例画像表示領域５０４に表示する。同時に表示できる画像の数を超える事例があるときは、それら事例画像は自動スライドショーの様態で表示することができる。【０１４８】
また事例画像表示領域５０４付近には、個体情報テーブル３２０から読み出したその個体ＩＤの属性情報のうち有用なものを複数表示する。また、認識結果棄却ボタン５０８の付近に、判断保留ボタン１８１２を設け、判断保留ボタン１８１２を押下された認識結果は、再び目視確認タスクとして待ち行列１８１０に入力されるか、後述のタスクリスト（不図示）に移動される。また、実施例１乃至４で破棄されていたタスクも、タスクリストに移動される。【０１４９】
残存タスク要約表示領域１８０４は、閾値Ｃ以上の目視確認タスクについてのタスクリストが保持している確認タスクを、スクロールにより全て表示可能にした領域である。本例のタスクリストは、その人物の属性情報（重要度）３２３で降順にソートされており、同一の属性情報（重要度）３２３の確認タスクは、時刻で降順にソートされる。スクロールは所定時間以上操作が無いと、リストの最上位を表示するように自動的に移動し、重要度が高く新しいものが表示領域１８０４に可能なだけ多く表示される。【０１５０】
それぞれの確認タスクでは、目視確認タスク表示領域６００と同様に、認識された個体ＩＤに対応する人物名、認識の信頼度、画像認識結果が得られたフレーム、物体の画像、事例画像等が表示されるが、画像のサイズは目視確認タスク表示操作領域１８０２に表示されるものより小さくなっている。各確認タスクは、色等によってその重要度が区別可能に表示される。個々の確認タスクの表示領域において入力装置１０２によって所定の操作（ダブルクリック等）を行うと、その確認タスクは待ち行列の最古タスクへ移動される。タスクリストは、必要に応じ実施例２の待ち行列１１０２のように、所定の優先度を満たさない古いタスクを破棄するようにしてもよい。【０１５１】
本実施例によれば、目視確認タスクの生成数の一過性の増加があっても比較的長時間バッファリングされるので、気づかないうちにタスクが破棄されることがない。つまり、このバッファリングが、タスクの生成頻度や個々のユーザの作業能力の違いなどを吸収するので、動作パラメータのシビアな動的制御は不要になる。【０１５２】
なお、本発明は上述した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。【０１５３】
上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。【０１５４】
また、図面には、実施例を説明するために必要と考えられる制御線及び情報線を示しており、必ずしも、本発明が適用された実際の製品に含まれる全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
【図１】
2015137190.tif 000003
【図２】
2015137190.tif 000004
【図３】
2015137190.tif 000005
【図４】
2015137190.tif 000006
【図５】
2015137190.tif 000007
【図６】
2015137190.tif 000008
【図７Ａ】
2015137190.tif 000009
【図７Ｂ】
2015137190.tif 000010
【図８】
2015137190.tif 000011
【図９】
2015137190.tif 000012
【図１０】
2015137190.tif 000013
【図１１】
2015137190.tif 000014
【図１２】
2015137190.tif 000015
【図１３】
2015137190.tif 000016
【図１４】
2015137190.tif 000017
【図１５】
2015137190.tif 000018
【図１６】
2015137190.tif 000019
【図１７】
2015137190.tif 000020
【図１８】
2015137190.tif 000021
【国際調査報告】
2015137190.tif 000022
2015137190.tif 000023
2015137190.tif 000024
2015137190.tif 000025