(57)【要約】  映像処理装置（１０）は、カメラ映像内に存在する着目対象としてのオブジェクト（４１）に関連する付加情報をタグとして重畳表示させる装置であって、オブジェクト検出部（１２）と、付加情報を格納するデータベースを管理するタグ情報管理部（１３）と、検出されたオブジェクト（４１）に関連する付加情報を取得する第１の処理と、検出されたオブジェクト（４１）を含む検索領域を設定する第２の処理と、検索領域内における背景画領域（すなわち、オブジェクトが占める領域とタグが占める領域とである前景画領域以外の領域）に付加情報としてのタグ（５１）を表示することができる表示可能領域がある場合に、タグ（５１）の表示位置を表示可能領域内に決定する第３の処理とを行うタグ配置決定部（１４）と、カメラ映像にタグ（５１）を重畳表示させるタグ重畳部（１５）とを有する。
2018122895.tif 000002
【特許請求の範囲】
【請求項１】
カメラ撮影によって取得されたカメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置において前記カメラ映像にタグとして重畳表示させる映像処理装置であって、
前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、
前記オブジェクトを検出するオブジェクト検出部と、
前記付加情報を格納するデータベースを管理するタグ情報管理部と、
前記オブジェクト検出部によって検出された前記オブジェクトに関連する前記付加情報を前記タグ情報管理部から取得する第１の処理と、前記オブジェクト検出部によって検出された前記オブジェクトを含む検索領域を設定する第２の処理と、前記検索領域内における前記背景画領域に前記第１の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第３の処理とを行うタグ配置決定部と、
前記カメラ映像に前記タグを重畳表示させる合成映像データを生成するタグ重畳部と
を有することを特徴とする映像処理装置。
【請求項２】
前記タグ配置決定部は、前記検索領域内における前記背景画領域に前記表示可能領域がない場合に、前記検索領域より大きい拡大された検索領域を設定する第４の処理を行い、前記第４の処理の後に、前記第３の処理を再度実行することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記オブジェクト検出部は、前記カメラ映像の画像解析によって前記オブジェクトを検出することを特徴とする請求項１又は２に記載の映像処理装置。
【請求項４】
前記オブジェクトを検出して検出信号を出力するセンサをさらに有し、
前記オブジェクト検出部は、前記検出信号に基づいて前記オブジェクトを検出する
ことを特徴とする請求項１又は２に記載の映像処理装置。
【請求項５】
前記タグ情報管理部は、互いに関連する前記オブジェクトの識別情報と付加情報とを格納するデータベースから取得された前記付加情報を前記タグ配置決定部に提供することを特徴とする請求項１から４のいずれか１項に記載の映像処理装置。
【請求項６】
前記タグ情報管理部は、互いに関連する前記オブジェクトの識別情報と付加情報と表示色情報とを格納する前記データベースから取得された前記付加情報及び前記表示色情報を前記タグ配置決定部に提供し、
前記タグ配置決定部は、前記表示色情報に基づく色で前記タグを表示させる
ことを特徴とする請求項１から４のいずれか１項に記載の映像処理装置。
【請求項７】
前記タグ情報管理部は、互いに関連する前記オブジェクトの識別情報と付加情報と優先順位情報とを格納する前記データベースから取得された前記付加情報及び前記優先順位情報を前記タグ配置決定部に提供し、
前記タグ配置決定部は、複数のタグが重複する場合に、前記複数のタグの内のより高い優先順位に関連するタグを手前に表示させる
ことを特徴とする請求項１から４のいずれか１項に記載の映像処理装置。
【請求項８】
カメラ撮影によって取得されたカメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置において前記カメラ映像にタグとして重畳表示させる映像処理方法であって、
前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、
前記オブジェクトを検出する検出ステップと、
前記検出ステップによって検出された前記オブジェクトに関連する前記付加情報を、前記付加情報を管理するデータベースから取得する第１の処理と、前記検出ステップによって検出された前記オブジェクトを含む検索領域を設定する第２の処理と、前記検索領域内における前記背景画領域に前記第１の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第３の処理とを行う配置決定ステップと、
前記カメラ映像に前記タグを重畳表示させる合成映像データを生成する重畳ステップと
を有することを特徴とする映像処理方法。
【請求項９】
コンピュータに、カメラ撮影によって取得されたカメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置において前記カメラ映像にタグとして重畳表示させる映像処理プログラムであって、
前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、
前記コンピュータに、
前記オブジェクトを検出する検出ステップと、
前記検出ステップによって検出された前記オブジェクトに関連する前記付加情報を、前記付加情報を管理するデータベースから取得する第１の処理と、前記検出ステップによって検出された前記オブジェクトを含む検索領域を設定する第２の処理と、前記検索領域内における前記背景画領域に前記第１の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第３の処理とを行う配置決定ステップと、
前記カメラ映像に前記タグを重畳表示させる合成映像データを生成する重畳ステップと
を実行させる映像処理プログラム。
【請求項１０】
被写体を撮影することによってカメラ映像を生成するカメラと、
映像データに基づく映像を表示する表示装置と、
前記カメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、前記表示装置において前記カメラ映像にタグとして重畳表示させる映像処理装置と、を有し、
前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、
前記映像処理装置は、
前記オブジェクトを検出するオブジェクト検出部と、
前記付加情報を格納するデータベースを管理するタグ情報管理部と、
前記オブジェクト検出部によって検出された前記オブジェクトに関連する前記付加情報を前記タグ情報管理部から取得する第１の処理と、前記オブジェクト検出部によって検出された前記オブジェクトを含む検索領域を設定する第２の処理と、前記検索領域内における前記背景画領域に前記第１の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第３の処理とを行うタグ配置決定部と、
前記カメラ映像に前記タグを重畳表示させる合成映像データを生成するタグ重畳部と
を有することを特徴とする映像監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置においてカメラ映像上にタグとして重畳表示させるための映像処理装置、映像処理方法、及び映像処理プログラム、並びに、前記映像処理装置を含む映像監視システムに関する。
【背景技術】
【０００２】
従来、カメラ撮影によって取得された映像データに基づいて表示装置に表示されるカメラ映像（撮影画像）上に、付加情報を重畳表示させるシステムがある。【０００３】
例えば、特許文献１は、舞台を見ている鑑賞者が装着しているヘッドマウントディスプレイに、字幕などの付加情報を表示するシステムを提案している。このシステムは、ユーザーの目線方向に存在する画像から人物像をオブジェクトとして検出し、人物像に関連する付加情報を表示する。【０００４】
また、特許文献２は、カメラの撮影方向が変化したときに、カメラ映像内で位置を変化させるオブジェクトに付加情報を追従させる装置を提案している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−１０８７９３号公報（例えば、段落００５５〜００５７）
【特許文献２】特開２０１４−０８６９８８号公報（例えば、段落００３５〜００４４）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来の技術では、表示装置に表示されるカメラ映像（撮影画像）において、あるオブジェクトの上に他のオブジェクトの付加情報が重なって表示されて、又は、あるオブジェクトの付加情報の上に他のオブジェクトの付加情報が重なって表示されて、オブジェクト及び付加情報を監視することが難しい場合があるという問題がある。【０００７】
本発明は、上記のような課題を解決するためになされたものであり、表示装置に表示されるカメラ映像において、オブジェクト及びこれに関連する付加情報としてのタグの監視を容易にすることができる映像処理装置、映像処理方法、及び映像処理プログラム、並びに、前記映像処理装置を含む映像監視システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様に係る映像処理装置は、カメラ撮影によって取得されたカメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置において前記カメラ映像にタグとして重畳表示させる映像処理装置であって、前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、前記オブジェクトを検出するオブジェクト検出部と、前記付加情報を格納するデータベースを管理するタグ情報管理部と、前記オブジェクト検出部によって検出された前記オブジェクトに関連する前記付加情報を前記タグ情報管理部から取得する第１の処理と、前記オブジェクト検出部によって検出された前記オブジェクトを含む検索領域を設定する第２の処理と、前記検索領域内における前記背景画領域に前記第１の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第３の処理とを行うタグ配置決定部と、前記カメラ映像に前記タグを重畳表示させる合成映像データを生成するタグ重畳部とを有する。【０００９】
本発明の他の態様に係る映像処理方法は、カメラ撮影によって取得されたカメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置において前記カメラ映像にタグとして重畳表示させる映像処理方法であって、前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、前記オブジェクトを検出する検出ステップと、前記検出ステップによって検出された前記オブジェクトに関連する前記付加情報を、前記付加情報を管理するデータベースから取得する第１の処理と、前記検出ステップによって検出された前記オブジェクトを含む検索領域を設定する第２の処理と、前記検索領域内における前記背景画領域に前記第１の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第３の処理とを行う配置決定ステップと、前記カメラ映像に前記タグを重畳表示させる合成映像データを生成する重畳ステップとを有する。
【発明の効果】
【００１０】
本発明によれば、表示装置に表示されるカメラ映像において、オブジェクトに関連する付加情報としてのタグを背景画領域に配置するので、他のオブジェクト及びその付加情報の監視が容易になるという効果がある。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態１に係る映像処理装置の概略構成を示す機能ブロック図である。
【図２】実施の形態１に係る映像処理装置のハードウェア構成を示す図である。
【図３】実施の形態１におけるタグ情報テーブルＤＢ部に格納されるタグ情報テーブルの一例を表形式で示す図である。
【図４】実施の形態１におけるオブジェクト検出部によるオブジェクト検出の一例を示す図である。
【図５】（ａ）から（ｃ）は、実施の形態１におけるタグの他の例を示す図である。
【図６】実施の形態１におけるオブジェクト検出部によって作成されたオブジェクト情報リストの一例を表形式で示す図である。
【図７】実施の形態１における検索領域を説明するための図である。
【図８】実施の形態１における拡大された検索領域を説明するための図である。
【図９】実施の形態１における映像受信部の動作を示すフローチャートである。
【図１０】実施の形態１におけるタグ情報管理部の動作を示すフローチャートである。
【図１１】実施の形態１におけるオブジェクト検出部の動作を示すフローチャートである。
【図１２】実施の形態１におけるタグ配置決定部の動作を示すフローチャートである。
【図１３】実施の形態１におけるタグ重畳部の動作を示すフローチャートである。
【図１４】実施の形態２に係る映像処理装置のタグ情報テーブルＤＢ部に格納されているタグ情報テーブルの一例を示す図である。
【図１５】（ａ）から（ｃ）は、実施の形態２に係る映像処理装置の効果を説明するための図である。
【図１６】実施の形態３に係る映像処理装置のタグ情報テーブルＤＢ部に格納されているタグ情報テーブルの一例を示す図である。
【図１７】（ａ）から（ｃ）は、実施の形態３に係る映像処理装置の効果を説明するための図である。
【図１８】実施の形態１から３に係る映像処理装置の変形例の概略構成を示す機能ブロック図である。
【発明を実施するための形態】
【００１２】
以下に、本発明の実施の形態に係る映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システムを、添付図面を参照しながら説明する。実施の形態に係る映像処理装置は、カメラ映像内の着目対象としてのオブジェクト（被写体）に関連する付加情報としてのタグを、カメラ映像上の適切な位置に配置させることができるタグ配置装置である。また、実施の形態に係る映像処理方法及び映像処理プログラムはそれぞれ、カメラ映像内のオブジェクトに関連する付加情報としてのタグをカメラ映像上の適切な位置に配置させるためのタグ配置方法及びタグ配置プログラムである。また、実施の形態に係る映像監視システムは、１台以上のカメラと、映像処理装置と、１台以上の表示装置とを有するシステムである。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
【００１３】
《１》実施の形態１
《１−１》構成
図１は、本発明の実施の形態１に係る映像処理装置１０の概略構成を示す機能ブロック図である。映像処理装置１０は、実施の形態１に係る映像処理方法及び実施の形態１に係る映像処理プログラムを実施することができる装置である。
【００１４】
図１において、映像処理装置１０は、被写体を撮影する撮影装置としてのカメラ２０と、入力される映像データに基づく映像を画面３１に表示する表示装置３０とに、有線又は無線で、通信可能に接続されている。映像処理装置１０とカメラ２０の間及び映像処理装置１０と表示装置３０との間に、インターネットなどのようなネットワークが介在してもよい。また、カメラ２０、映像処理装置１０、及び表示装置３０は、工場などの施設内又は公共エリア内などをカメラ映像によって監視する映像監視システムを構成することができる。また、映像処理装置１０に、複数台のカメラが接続されてもよく、複数台のカメラに対応する複数台の表示装置が接続されてもよい。また、映像処理装置１０に、複数台のカメラが接続され、表示装置３０に複数台のカメラに対応する複数の映像が順に表示されてもよい。
【００１５】
映像処理装置１０は、カメラ２０による撮影によって取得された映像データＤ１に対応するカメラ映像内に存在する着目対象としてのオブジェクト（被写体）４１に関連する付加情報を、表示装置３０の画面３１におけるカメラ映像上にタグ５１として重畳表示させることができる。本出願では、画面３１におけるカメラ映像において１又は複数のオブジェクト４１が占める領域と１又は複数のタグ５１が占める領域とを「前景画領域」と言い、画面３１のカメラ映像における前景画領域以外の領域を「背景画領域」と言う。
【００１６】
図１に示されるように、映像受信部１１と、オブジェクト検出部１２と、記憶部に記憶された付加情報としてのタグ情報のデータベース（タグ情報テーブルＤＢ）を管理する付加情報管理部としてのタグ情報管理部１３とを備える。映像処理装置１０は、タグ情報を記憶する記憶部としてのタグ情報テーブルＤＢ（ＤａｔａＢａｓｅ）部１７を備えてもよい。ただし、タグ情報テーブルＤＢ部１７は、映像処理装置１０の外部の記憶装置であってもよい。また、映像処理装置１０は、付加情報配置決定部としてのタグ配置決定部１４と、付加情報重畳部としてのタグ重畳部１５と、映像出力部１６とを備える。
【００１７】
映像受信部１１は、カメラ撮影によって生成されたカメラ映像としての映像データＤ１を受信し、映像データＤ１に必要な処理を施して、映像データを出力する。映像信号Ｄ１が、圧縮符号化データである場合には、映像受信部１１は、受信された圧縮符号化データをデコードすることで映像データ（非圧縮の画像データ）として、例えば、ＲＡＷ画像データＤ２を生成する。映像受信部１１は、ＲＡＷ画像データＤ２をオブジェクト検出部１２及びタグ重畳部１５に提供する。
【００１８】
タグ情報管理部１３は、オブジェクトを特定する識別情報（ＩＤ）であるオブジェクトＩＤと、このオブジェクトＩＤによって特定されるオブジェクトのタグ情報とを紐付けし、紐付けされたオブジェクトＩＤとタグ情報とをタグ情報テーブルＤＢとして管理する機能を持つ。タグ情報管理部１３は、オブジェクト検出部１２によって検出されたオブジェクトに基づいて指定されたオブジェクトＩＤに対応するタグ情報を、タグ配置決定部１４に提供する機能を持つ。
【００１９】
図１に示される例では、タグ情報管理部１３は、映像処理装置１０の一部として示されているが、映像処理装置１０から分離された外部装置の一部であってもよい。タグ情報管理部１３が外部装置の一部である場合には、映像処理装置１０と外部装置との各々は、両者間で通信を行うための通信部を備える。映像処理装置１０と外部装置と間の通信方式（通信規格）及び通信手段（有線通信又は無線通信、専用線又はネットワーク経由など）は、特に限定されない。タグ情報管理部１３によって管理されるタグ情報テーブルＤＢは、ユーザー操作などによって、オブジェクトＩＤとタグ情報の追加及び削除が可能なＤＢである。
【００２０】
オブジェクト検出部１２は、映像受信部１１から受け取ったＲＡＷ画像データＤ２に含まれる人物などのような着目対象としてのオブジェクト４１を検出し、検出されたオブジェクトを認識（識別）して、タグ配置決定部１４にオブジェクト４１に関する情報Ｄ３を提供する。オブジェクトは、例えば、公共エリアを歩行する人物、工場内の製造ライン上で移動する生産物などであるが、これらに限定されない。
【００２１】
タグ配置決定部１４は、オブジェクト検出部１２によって検出されたオブジェクト４１に関する情報Ｄ３を受け取り、タグ情報管理部１３から、検出されたオブジェクト４１に関連するタグ情報Ｄ４を取得する処理（第１の処理）を行う。次に、タグ配置決定部１４は、検出されたオブジェクト４１を含む検索領域（例えば、オブジェクト４１を囲う矩形領域）を設定する処理（第２の処理）を行う。次に、タグ配置決定部１４は、設定された検索領域内における背景画領域に第１の処理で取得されたタグ情報をタグ５１として表示することができる表示可能領域があるか否かを判断し、表示可能領域があると判断した場合に、タグ５１の表示位置をこの表示可能領域内に決定する処理（第３の処理）を行う。
【００２２】
タグ配置決定部１４は、検索領域内における背景画領域に、タグ５１の表示可能領域がない場合に、検索領域を変更する処理（例えば、検索領域を拡大する処理）（第４の処理）を行い、第４の処理の後に、第３の処理を再度行う。
【００２３】
タグ重畳部１５は、表示装置３０の画面３１に表示されるカメラ映像にオブジェクト４１に関連するタグ情報Ｄ５に基づくタグ５１を重畳表示させるための合成映像データＤ６を生成する。
【００２４】
映像出力部１６は、合成映像データＤ６に基づく映像データＤ７を表示装置３０に出力する。
【００２５】
図２は、実施の形態１に係る映像処理装置１０のハードウェア構成を示す図である。図２に示されるように、映像処理装置１０は、主要なハードウェア構成として、情報処理部としてのメインプロセッサ１０１と、情報記憶部としてのメインメモリ１０２と、カメラインタフェース１０３と、画像処理用の情報処理部としての画像処理プロセッサ１０４と、画像処理用の情報記憶部としての画像処理メモリ１０５と、表示インタフェース１０６と、入力インタフェース１０７と、これらの構成１０１〜１０７が接続された信号経路１０８とを備える。
【００２６】
カメラ２０は、映像処理装置１０のカメラインタフェース１０３と有線又は無線で通信可能に接続されている。また、カメラ２０とカメラインタフェース１０３は、ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）ネットワークなどのネットワークを経由して接続されてもよく、又は、同軸ケーブルなどの専用の通信線によって接続されてもよい。このように、カメラ２０とカメラインタフェース１０３との接続方法は、特に限定されない。
【００２７】
カメラインタフェース１０３は、カメラ２０から送信されたカメラ映像としての映像データＤ１を受信する。メインプロセッサ１０１は、カメラインタフェース１０３で受信されたカメラ映像に、タグを重畳表示させるための画像処理を行うタグ配置プログラムを実行することができる。
【００２８】
メインメモリ１０２は、メインプロセッサ１０１によって直接アクセスされる記憶装置である。メインメモリ１０２には、オブジェクトＩＤに紐付けられたタグ情報が保持されている。メインメモリ１０２は、例えば、半導体記憶装置である。メインメモリ１０２の他に、ＨＤＤ（ハードディスクドライブ）のような大容量記憶装置を備えてもよい。メインプロセッサ１０１は、メインメモリ１０２に記憶されたタグ配置プログラムを読み出して実行することで、図１に示されるオブジェクト検出部１２が行う処理、タグ情報管理部１３が行う処理、タグ配置決定部１４が行う処理、タグ重畳部１５が行う処理を実行することができる。
【００２９】
画像処理プロセッサ１０４は、行列演算及び浮動小数点演算を高速に実行することができる画像処理に特化した専用プロセッサである。画像処理メモリ１０５は、画像処理プロセッサ１０４によって直接アクセスされる記憶装置である。ただし、メインプロセッサ１０１が、画像処理プロセッサ１０４の動作を代行し、メインメモリ１０２が、画像処理メモリ１０５の機能を代行する場合には、画像処理プロセッサ１０４と画像処理メモリ１０５とを備える必要はない。
【００３０】
表示インタフェース１０６は、表示装置３０と接続されており、カメラ映像にタグ５１を重畳して表示するための映像データ信号Ｄ７を表示装置３０に提供する。
【００３１】
図３は、実施の形態１におけるタグ情報テーブルＤＢ部１７に格納されるタグ情報テーブルの一例を表形式で示す図である。図３に示されるように、タグ情報テーブル１７ａは、項目番号（項番）ごとに、互いに紐付けされたオブジェクトＩＤとタグ情報とを有する。オブジェクトＩＤは、オブジェクト検出部１２によって検出され、認識されたオブジェクトに付与されたＩＤ（識別情報）である。
【００３２】
タグ情報は、オブジェクトに関連する付加情報である。タグ情報の一例は、オブジェクトが会社に帰属する人物（社員）である場合に、オブジェクトとしての人物が所属する会社の社員番号である。タグ情報の他の例は、オブジェクトが工場の生産ラインを移動する工業製品である場合に、オブジェクトとしての工業製品の製造番号である。タグ情報のさらに他の例は、オブジェクトが公共エリアを歩行する人物（不特定の人物）である場合に、オブジェクトとしての人物の特徴を表す情報であるおおよその年齢（年代）及び性別である。図３では、オブジェクトＩＤに１つのタグ情報が紐付けられたタグ情報テーブルを示しているが、オブジェクトＩＤに２つ以上のタグ情報が紐付けられたタグ情報テーブルを用いてもよい。
【００３３】
図４は、実施の形態１におけるオブジェクト検出部１２によるオブジェクト検出の一例を示す図である。オブジェクト検出部１２は、映像受信部１１から受け取ったカメラ映像としての映像データ（例えば、ＲＡＷ画像データ）Ｄ２からオブジェクト４１ａ，４１ｂ，４１ｃを検出する。オブジェクト４１ａ，４１ｂ，４１ｃの検出とは、映像受信部１１から受け取ったＲＡＷ画像データＤ２におけるオブジェクト４１ａ，４１ｂ，４１ｃの位置を取得することである。
【００３４】
オブジェクト４１ａ，４１ｂ，４１ｃの位置は、例えば、オブジェクト４１ａ，４１ｂ，４１ｃを代表する代表点座標（例えば、オブジェクト４１ａ，４１ｂ，４１ｃの中心位置の座標）とオブジェクト４１ａ，４１ｂ，４１ｃの大きさ（例えば、オブジェクト４１ａ，４１ｂ，４１ｃを囲う矩形領域５１ａ，５１ｂ，５１ｃの大きさ）とで特定される。
【００３５】
オブジェクト４１ａ，４１ｂ，４１ｃを囲う領域が、オブジェクト４１ａ，４１ｂ，４１ｃの外周に接する枠線の内側の矩形領域である場合には、オブジェクト４１ａ，４１ｂ，４１ｃの大きさは、矩形領域５１ａ，５１ｂ，５１ｃの４つの頂点の座標（角部座標）を用いて表わすことができる。ただし、オブジェクト４１ａ，４１ｂ，４１ｃの大きさを表す指標は、矩形領域５１ａ，５１ｂ，５１ｃの４つの角部座標に限定されるものではない。オブジェクト４１ａ，４１ｂ，４１ｃの大きさは、矩形領域５１ａ，５１ｂ，５１ｃの枠線の対角の２点の角部座標（例えば、左上の角部座標と右下の角部座標）などのような、他の指標で表されてもよい。また、オブジェクト４１ａ，４１ｂ，４１ｃを囲う領域は、着目対象であるオブジェクト４１ａ，４１ｂ，４１ｃの形状に応じて矩形以外の形状（例えば、三角形、五角以上の多角形、円形、楕円形などの他の形状）とすることも可能である。
【００３６】
オブジェクト４１ａ，４１ｂ，４１ｃの検出には、例えば、ＲＡＷ画像データＤ２から動体を抽出する方法を用いることができる。動体を抽出する方法としては、背景差分（ｂａｃｋｇｒｏｕｎｄ  ｓｕｂｔｒａｃｔｉｏｎ）を用いて前景画領域を抽出する方法がある。
【００３７】
背景差分とは、観測画像を事前に取得した画像と比較することで、事前に取得した画像に存在しない物体を抽出する処理を指す。観測画像において、事前に取得した画像に存在しない物体が占める領域は、オブジェクトが存在する領域であり、前景画領域に含まれる。ただし、オブジェクトを検出する方法は、背景差分に限られず、他の方法を採用してもよい。
【００３８】
図４に示される例では、３つのオブジェクト４１ａ，４１ｂ，４１ｃが検出されている。図４における右側のオブジェクト４１ａの矩形領域５１ａの左上の角部座標は（１５２０，３５０）であり、右下の角部座標は（１５７０，４５０）である。図４における中央のオブジェクト４１ｂの矩形領域５１ｂの左上の角部座標は（９００，３００）であり、右下の角部座標は（９５０，４００）である。図４における左側のオブジェクト４１ｃの左上の矩形領域５１ｃの角部座標は（４００，８００）であり、右下の角部座標は（４５０，９００）である。
【００３９】
また、図４には、検出された３つのオブジェクト４１ａ，４１ｂ，４１ｃに関連するタグである矩形領域５１ａ，５１ｂ，５１ｃの枠線が表示されている。図４におけるタグは、オブジェクト４１ａ，４１ｂ，４１ｃを囲う枠線である。
【００４０】
図５（ａ）から（ｃ）は、実施の形態１におけるタグの他の例を示す図である。図５（ａ）では、オブジェクト４１ｄから延びる引出し線に付された番号がタグである。図５（ｂ）では、オブジェクト４１ｅの近傍に表示された番号がタグである。図５（ｃ）では、オブジェクト４１ｆの真上に表示されたオブジェクトを向いた矢印がタグである。タグは、表示画面においてオブジェクトを強調することができる表示であれば、他の表示形式であってもよい。
【００４１】
オブジェクト検出部１２は、オブジェクト４１ａ，４１ｂ，４１ｃの位置を取得し、オブジェクト４１ａ，４１ｂ，４１ｃごとにオブジェクトの認識を行い、オブジェクト４１ａ，４１ｂ，４１ｃの位置（例えば、中心座標）及び大きさと、オブジェクト４１ａ，４１ｂ，４１ｃに付与したオブジェクトＩＤとを紐付ける。オブジェクト検出部１２は、オブジェクトの位置（例えば、中心座標）、オブジェクトの大きさ、及びオブジェクトＩＤを元にオブジェクト情報リストを作成する。
【００４２】
図６は、実施の形態１におけるオブジェクト検出部１２によって作成されたオブジェクト情報リストの一例を表形式で示す図である。図６に示されるように、オブジェクト情報リストは、例えば、オブジェクトの位置（例えば、中心座標）、オブジェクトの大きさ、及びオブジェクトＩＤの３項目により構成される。オブジェクト検出部１２は、作成したオブジェクト情報リストを、タグ配置決定部１４に送信する。
【００４３】
タグ配置決定部１４は、オブジェクト検出部１２からオブジェクト情報リストを受け取り、このオブジェクト情報リストに記載されたオブジェクトＩＤを用いて、該当オブジェクトＩＤに関するタグ情報をタグ情報管理部１３から取得する。
【００４４】
タグ配置決定部１４は、オブジェクト検出部１２で検出した着目対象であるオブジェクトの中心座標から任意のサイズを検索領域として設定する。ここでいう検索領域のサイズは、必ずしも固定されるものではなく、例えば、オブジェクト４１ａ，４１ｂ，４１ｃの大きさ（例えば、縦幅及び横幅）に対して２倍の大きさ（例えば、２倍の縦幅及び２倍の横幅）としてもよい。
【００４５】
図７は、実施の形態１における検索領域６１ａ，６１ｂ，６１ｃを説明するための図である。図７では、３つのオブジェクト４１ａ，４１ｂ，４１ｃが検出されており、３つのオブジェクト４１ａ，４１ｂ，４１ｃを含む矩形の検索領域（矩形の破線）６１ａ，６１ｂ，６１ｃが設定されている。図７に示される例においては、検索領域６１ａ，６１ｂ，６１ｃの横幅は、オブジェクト４１ａ，４１ｂ，４１ｃの横幅の約３倍であり、検索領域６１ａ，６１ｂ，６１ｃの縦幅は、オブジェクト４１ａ，４１ｂ，４１ｃの縦幅の約３倍である。
【００４６】
タグ配置決定部１４は、設定した検索領域６１ａ，６１ｂ，６１ｃの中から前景画領域と背景画領域を区別して、背景画領域と認識した領域からタグを配置可能な領域を検索する。タグ配置決定部１４によりオブジェクトに紐付けるタグの大きさは、予め決定されている。タグの大きさは、ユーザー指定で固定として決められているもよいし、タグの情報量に応じて可変であってもよい。ここでは、タグの大きさは、予め決められた固定の大きさである場合を説明する。
【００４７】
タグ配置決定部１４は、検索領域６１ａ，６１ｂ，６１ｃの中で背景画領域と判断された領域において、タグを配置可能な領域が見つかった場合に、タグの配置位置をタグ配置可能領域内に設定する。タグ配置決定部１４により設定されたタグが占める領域は、前景画領域として認識される。検索領域６１ａ，６１ｂ，６１ｃ内にタグを配置する領域が見つからない場合は、タグ配置決定部１４は、検索領域を拡大する。
【００４８】
図８は、実施の形態１における拡大された検索領域７１ｂを説明するための図である。例えば、図８の中央のオブジェクト４１ｂの検索領域６１ｂにおいて、タグを配置可能な領域が見つからなかった場合は、タグ配置決定部１４は、図８のオブジェクト４１ｂにおいて、検索領域６１ｂを拡大した検索領域７１ｂ（破線の矩形枠）を設定する。図８に示されるように、拡大された検索領域７１ｂは、拡大前の検索領域６１ｂを囲むように、検索領域６１ｂよりも広い範囲に設定される。
【００４９】
タグ配置決定部１４は、オブジェクトＩＤ、該当するタグ情報、タグを配置する座標（左上の角部座標と右下の角部座標）を持つタグ配置リストをタグ重畳部１５に送る。
【００５０】
タグ重畳部１５は、タグ配置決定部１４から受信したタグ配置リストを用いて、映像受信部１１から渡されたカメラ映像にタグ情報を重畳させる。タグ重畳部１５では、タグ配置リストにあるタグ情報を重畳し、カメラ映像にタグ情報を重畳した映像を映像出力部１６に送信する。
【００５１】
映像出力部１６は、タグ重畳部１５から映像データＤ６を受け取り、映像データＤ６に基づく映像データＤ７を表示装置３０に出力する。
【００５２】
《１−２》動作
図９は、実施の形態１における映像受信部１１の動作を示すフローチャートである。図９に示されるように、映像受信部１１は、カメラ２０から送信されたカメラ映像である映像データＤ１を受信する（ステップＳ１０）。次に、映像データＤ１が圧縮符号化データである場合には、映像受信部１１は、映像データＤ１をデコードすることで、デコードされた映像データであるＲＡＷ画像データＤ２を出力する（ステップＳ１１）。
【００５３】
例えば、カメラ２０からＨ．２６４形式で圧縮符号化された映像データＤ１がストリーミング配信される場合には、映像受信部１１は、Ｈ．２６４形式の映像データに対応するデコードを行うことで、例えば、ＲＧＢＡ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ，Ａｌｐｈａ）３２ビットのＲＡＷ画像データＤ２を、オブジェクト検出部１２とタグ重畳部１５に供給する。デコード後のＲＡＷ画像データＤ２は、ＲＧＢＡ３２ビットのＲＡＷ画像データに限定されず、非圧縮の画像データであれば、他の形式の画像データであってもよい。
【００５４】
図１０は、実施の形態１におけるタグ情報管理部１３の動作を示すフローチャートである。図１０に示されるように、タグ情報管理部１３は、タグ配置決定部１４によって指定されたオブジェクトＩＤに紐付けされたタグ情報を、タグ情報テーブルＤＢ部１７から取得し（ステップＳ２０）、オブジェクトＩＤと取得したタグ情報とを含む情報Ｄ４をタグ配置決定部１４に提供する（ステップＳ２１）。
【００５５】
図１１は、実施の形態１におけるオブジェクト検出部１２の動作を示すフローチャートである。図１１に示されるように、オブジェクト検出部１２は、映像受信部１１から出力されたＲＡＷ画像データＤ２からオブジェクトの検出処理を行う（ステップＳ３０）。オブジェクトの検出処理では、例えば、オブジェクトの中心座標と、オブジェクトのサイズとして左上と右上の角部座標を取得する。
【００５６】
オブジェクトの検出処理で１つ以上のオブジェクトが検出された場合（ステップＳ３１においてＹＥＳ）、オブジェクト検出部１２は、検出されたオブジェクトの認識を行う（ステップＳ３２）。オブジェクト検出部１２は、オブジェクトが１つも検出できない場合（ステップＳ３１においてＮＯ）は処理を終了し、タグ配置決定部１４に処理終了を通知する。
【００５７】
オブジェクトの認識（ステップＳ３２）は、一般的に、画像に映っているオブジェクト（例えば、人、動物、物など）を画像解析する機械学習の手法を用いて、行われる。オブジェクトの認識手法は、特に限定されない。続いて、オブジェクト検出部１２は、認識したオブジェクトに対してオブジェクトＩＤを紐付けする（ステップＳ３３）。オブジェクト検出部１２は、オブジェクトの中心座標、オブジェクトの大きさ、オブジェクトＩＤを項目として持つオブジェクト情報リスト（図６）をタグ配置決定部１４に提供する（ステップＳ３４）。
【００５８】
図１２は、実施の形態１におけるタグ配置決定部１４の動作を示すフローチャートである。図１２に示されるように、タグ配置決定部１４は、オブジェクト検出部１２から出力されたオブジェクト情報リスト（図６）を用いて、オブジェクトの個数分だけステップＳ４０〜Ｓ４７の処理を繰り返す。
【００５９】
まず、タグ配置決定部１４は、該当オブジェクトＩＤのタグ情報をタグ情報管理部１３から取得する（ステップＳ４０）。
【００６０】
次に、タグ配置決定部１４は、タグ情報管理部１３から該当するオブジェクトＩＤのタグ情報を受け取り、１つのオブジェクトＩＤに対してタグを配置するための検索領域（図７における領域６１ａ，６１ｂ，６１ｃなど）を設定する（ステップＳ４１）。このときの検索領域のサイズは、事前にユーザー指定された大きさであるが、オブジェクトの大きさに対して２倍の長さでの領域を検索領域としてもよい。このように、検索領域のサイズは、必ずしも固定されている必要はなく、オブジェクトのサイズに応じて変えられてもよい。
【００６１】
次に、タグ配置決定部１４は、設定した検索領域の中で背景画領域と前景画領域を区別する（ステップＳ４２）。ここで、背景画領域とは、前景画領域以外の領域のことをいう。前景画領域は、該当オブジェクトが占める領域と、他のオブジェクトが占める領域と、他のオブジェクトのタグ領域とを含む。なお、事前に複数枚の画像を取得して背景モデルを構築し，その背景モデルと新たに観測された画像の比較により、変化した領域を前景画領域とし、それ以外の領域を背景画領域とすることも可能である。
【００６２】
図４を用いて説明すると、該当オブジェクトと他オブジェクトのタグ領域の部分が前景画領域となり、それ以外の部分が背景画領域となる。ここで前景画領域は、該当オブジェクトと他のオブジェクトとオブジェクトのタグ領域とに限るものではない。例えば、カメラ映像上に重畳する映像を、前景画領域と設定することも可能である。
【００６３】
次に、タグ配置決定部１４は、抽出した背景画領域において、タグ（例えば、図５（ａ）〜（ｃ）における５１ｄ，５１ｅ，５１ｆ）を配置可能な領域を検索する（ステップＳ４３）。タグ配置決定部１４が配置するタグの大きさは、タグ情報の文字数により可変とすることができ、また、固定の大きさとすることもできる。背景画領域におけるタグ配置可能な領域の検索手法として、検索領域の左上を原点として順次タグの配置領域を検索してもよい。タグ配置可能な領域の検索は、予め定められた位置から開始されてもよい。
【００６４】
例えば、検索領域を任意サイズの格子状に配列された複数の格子領域に区分し、複数の格子領域の各々について、背景画領域であるか前景画領域であるかを判定し、この判定結果に基づいてタグの配置可能領域を見つけてもよい。その際、複数の格子領域の内のどの格子領域からタグ配置が可能かを検索する検索手順は、特に限定されない。タグ配置決定部１４は、設定された検索領域の中でタグ配置可能な領域が見つかった場合（ステップＳ４４においてＹＥＳ）、タグ配置リストにタグの配置位置とタグ情報を出力する（ステップＳ４５）。
【００６５】
タグ配置決定部１４は、検索領域の中でタグ配置可能な領域が見つからなかった場合（ステップＳ４４においてＮＯ）、検索領域を拡大してオブジェクトに対する検索領域の再設定（拡大された検索領域の設定）を行う（ステップＳ４６）。検索領域の再設定が可能ならば（ステップＳ４７においてＹＥＳ）、処理はステップＳ４２に戻り、再設定された検索領域において、前景画領域と背景画領域とを区別する。検索領域の拡大サイズは、固定（予め決められたサイズ）でもよいし、オブジェクトの大きさ又は拡大前の検索領域の大きさなどに応じて動的に変更されてもよい。検索領域の再設定が不可能な場合（ステップＳ４７においてＮＯ）は、タグ配置決定部１４は、タグ情報を未取得な他のオブジェクトがあるかを判断し、ある場合には（ステップＳ４８においてＹＥＳ）、処理をステップＳ４０に戻し、ない場合には（ステップＳ４８においてＮＯ）、タグ重畳部１５にタグ情報を出力して、タグ配置決定部１４は、動作を終了する。
【００６６】
図１３は、実施の形態１におけるタグ重畳部１５の動作を示すフローチャートである。図１３に示されるように、タグ重畳部１５は、映像受信部１１から出力されたＲＡＷ画像データＤ２に、タグ配置決定部１４から出力されたタグ配置リストを用いてタグ情報を重畳する（ステップＳ５０）。
【００６７】
オブジェクトとタグ情報の位置が離れている場合は、図５（ａ）に示されるように、互いの関連性を示すために、オブジェクトとタグを線で結んで表示してもよい。タグ重畳部１５は、タグ情報を重畳した画像データＤ６を映像出力部１６に出力する。映像出力部１６では、タグ重畳部１５から得た画像データＤ７を表示装置３０に出力する。
【００６８】
《１−３》効果
以上に説明したように、実施の形態１に係る映像処理装置１００、映像処理方法、映像処理プログラム、及び映像監視システムによれば、表示装置３０に表示されるカメラ映像において、オブジェクト４１に関連する付加情報としてのタグ５１を背景画領域に配置することができるので、他のオブジェクト及び他のオブジェクトのタグに重ってタグを設定しない。このため、オブジェクトの監視が容易になるという効果がある。
【００６９】
《２》実施の形態２
上記実施の形態１に係る映像処理装置１０は、カメラ２０から出力された映像データＤ１に基づくＲＡＷ画像データＤ２から被写体としてオブジェクト４１の位置を検出し、オブジェクト４１の中心座標を基準位置として検索領域を設定し、検索領域内における背景画領域に、タグ５１の配置位置を決定している。
【００７０】
しかし、オブジェクトが移動し、このオブジェクトに関連するタグがオブジェクトに追従して移動する場合には、表示装置３０の画面３１において、複数のオブジェクトが互いに重なったり、複数のタグが互いに近づいたり若しくは重なったりする場合がある。このように、複数のオブジェクトが、互いに接近して又は互いに重なって存在する場合には、画面３１を見ている監視者は、関連するオブジェクトとタグとの組が分かり難くなる。
【００７１】
そこで、実施の形態２に係る映像処理装置は、複数のタグの色を互いに異なる色で表示できる機能を備えている。さらに、実施の形態２に係る映像処理装置は、複数のオブジェクトの各々の上に、関連するタグの色と同じ色のマークを付すことができる機能を備えてもよい。なお、実施の形態２の説明に際しては、図１をも参照する。
【００７２】
図１４は、実施の形態２に係る映像処理装置のタグ情報テーブルＤＢ部１７に格納されているタグ情報テーブル１７ｂの一例を示す図である。図１４に示されるように、タグ情報テーブル１７ｂを持つ実施の形態２に係る映像処理装置は、オブジェクトＩＤごとに表示色に関する表示色情報を有し、タグ配置決定部１４が表示色情報に基づいてタグの表示色を指定する点で、実施の形態１に係る映像処理装置１０と相違する。
【００７３】
図１５（ａ）から（ｃ）は、実施の形態２に係る映像処理装置の効果を説明するための図である。図１５（ａ）に示されるように、オブジェクト（人物）４１ｇと他のオブジェクト（他の人物）４１ｈとが十分に離れているときには、オブジェクト４１ｇに関連するタグ５１ｇと他のオブジェクト４１ｈに関連するタグ５１ｈとは、互いに十分離れているので、監視者は、タグ５１ｇを参照してオブジェクト４１ｇを容易に把握し、タグ５１ｈを参照してオブジェクト４１ｈを容易に把握することができる。しかし、他のオブジェクト４１ｈが白矢印方向（図１５（ａ）における左方向）に移動して、オブジェクト４１ｇに近づくと、タグ５１ｇとタグ５１ｈが、オブジェクト４１ｇと４１ｈのいずれに関連しているものであるかが、画面上でわかりにくくなる。
【００７４】
このとき、図１５（ｂ）に比較例として示されるように、タグ５１ｇとタグ５１ｈとが同じ表示色であると仮定すると、監視者は、オブジェクト４１ｇと４１ｈの把握に際し、２つのタグのいずれを参照するべきか容易に判断することができない。
【００７５】
そこで、実施の形態２に係る映像処理装置においては、図１４に示されるように、タグ情報テーブル１７ｂは、オブジェクトＩＤごとに表示色に関する表示色情報を有し、タグ配置決定部１４はタグ５１ｇと５１ｈの表示色を指定する。このため、実施の形態２においては、オブジェクト５１ｇと５１ｈとが接近した場合であっても、タグ５１ｇと５１ｈとを容易に監視することができる。
【００７６】
また、図１５（ｃ）に示されるように、タグ配置決定部１４はオブジェクト４１ｇ上にタグ５１ｇと同じ色のマーク５２ｇを付し、オブジェクト４１ｈ上にタグ５１ｈと同じ色のマーク５２ｈを付す機能を備えてもよい。この場合には、図１５（ｃ）に示されるように、監視者は、オブジェクトとタグとの関連を色で判断できるので、オブジェクトに関連するタグを誤ることはなくなり、オブジェクトの監視を容易に行うことができる。
【００７７】
以上の点を除いて、実施の形態２に係る映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システムは、実施の形態１のものと同じである。
【００７８】
《３》実施の形態３
上記実施の形態１に係る映像処理装置１０は、カメラ２０から出力された映像データＤ１に基づくＲＡＷ画像データＤ２から被写体としてオブジェクト４１の位置を検出し、オブジェクト４１の中心座標を基準位置として検索領域を設定し、検索領域内における背景画領域に、タグ５１の配置位置を決定している。
【００７９】
しかし、オブジェクトが移動し、このオブジェクトに関連するタグがオブジェクトに追従して移動する場合には、表示装置３０の画面３１において、複数のオブジェクトが互いに重なったり、複数のタグが互いに近づいたり若しくは重なったりする場合がある。この場合に、より監視の重要度（優先順位）が高いオブジェクトのタグが監視の重要度が低いオブジェクト又はそのタグに隠れて、表示されなくなることがある。
【００８０】
そこで、実施の形態３に係る映像処理装置は、タグ情報テーブルにおいて、オブジェクトＩＤごとに重要度を示す優先順位情報を持ち、優先順位が高いオブジェクト（例えば、子供、ベビーカー、車いす、不審者など）のタグは、他のオブジェクト又は他のオブジェクトのタグによって隠れないように手前に表示させる機能を持つ。なお、実施の形態３の説明に際しては、図１をも参照する。
【００８１】
図１６は、実施の形態３に係る映像処理装置のタグ情報テーブルＤＢ部１７に格納されているタグ情報テーブル１７ｃの一例を示す図である。図１６に示されるように、タグ情報テーブル１７ｃを持つ実施の形態３に係る映像処理装置は、オブジェクトＩＤごとに優先順位を示す優先順位情報を有し、タグ配置決定部１４がタグの優先順位を指定する点で、実施の形態１に係る映像処理装置１０と相違する。
【００８２】
図１７（ａ）から（ｃ）は、実施の形態３に係る映像処理装置の効果を説明するための図である。図１７（ａ）に示されるように、オブジェクト（大人）４１ｉと優先順位の高い他のオブジェクト（子供）４１ｊとが十分に離れているときには、オブジェクト（大人）４１ｉに関連するタグ５１ｉと他のオブジェクト（子供）４１ｊに関連するタグ５１ｊとは互いに十分離れている。しかし、他のオブジェクト（子供）４１ｊが白矢印方向に移動して、図１７（ｂ）の比較例に示されるように、オブジェクト（大人）４１ｉに重なったときに、オブジェクト（子供）４１ｊのタグ５１ｊがオブジェクト（大人）４１ｉの下に隠れると、オブジェクト（子供）４１ｊのタグ５１ｊを、画面上で参照することができなくなる。
【００８３】
そこで、実施の形態３に係る映像処理装置おいては、図１６に示されるように、タグ情報テーブル１７ｃが、オブジェクトＩＤごとに優先順位情報を有し、タグ配置決定部１４はタグ５１ｉとタグ５１ｊの優先順位を指定する。このため、実施の形態３に係る映像処理装置おいては、優先順位が低いオブジェクト（大人）４１ｉと優先順位が高いオブジェクト（子供）４１ｊとが接近した場合であっても、優先順位の高いオブジェクト（子供）４１ｊのタグ５１ｊを容易に確認することができる。例えば、図１７（ｃ）に示されるように、タグ配置決定部１４は、オブジェクト（子供）４１ｊのタグ５１ｊを付し、オブジェクト（大人）４１ｉの上（手前）の位置に表示するので、図１７（ｂ）の比較例の場合に比べ、オブジェクト４１ｊの監視を容易に行うことができる。
【００８４】
以上の点を除いて、実施の形態３に係る映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システムは、実施の形態１のものと同じである。
【００８５】
また、実施の形態３の機能を、実施の形態２に適用することも可能である。
【００８６】
《４》変形例
図１８は、実施の形態１から３に係る映像処理装置の変形例の概略構成を示す機能ブロック図である。図１８において、図１に示される構成要素と同じ又は対応する構成要素には、図１に示される符号と同じ符号が付される。図１８に示される映像処理装置は、オブジェクトを検出するセンサ２１を有し、オブジェクト検出部１２ａは、センサ２１の検出結果に基づいてオブジェクトを検出及び認識する点で、上記実施の形態１から３に係る映像処理装置と相違する。
【００８７】
センサ２１は、オブジェクトの位置を検出できるものであれば、特に、制限はない。例えば、オブジェクトである人物が、アクティブＲＦＩＤ（ｒａｄｉｏ  ｆｒｅｑｕｅｎｃｙ  ｉｄｅｎｔｉｆｉｅｒ）を携帯し、センサ２１がアクティブＲＦＩＤの電波を検出することで、特定人物の位置情報を継続的に追跡する方式が考えられる。また、センサ２１のオブジェクト検出と、ＲＡＷ画像データＤ２の画像解析に基づく検出との両方に基づいてオブジェクトの検出を行うことも可能である。この場合には、オブジェクトの検出をより正確且つ迅速に行うことができる。
【符号の説明】
【００８８】
１０  映像処理装置、  １１  映像受信部、  １２，１２ａ  オブジェクト検出部、  １３  タグ情報管理部、  １４  タグ配置決定部、  １５  タグ重畳部、  １６  映像出力部、  １７  タグ情報テーブルＤＢ部、  １７ａ〜１７ｃ  タグ情報テーブル、  ２０  カメラ、  ２１  センサ、  ３０  表示装置、  ３１  画面、  ４１，４１ａ〜４１ｊ  オブジェクト（被写体）、  ５１，５１ａ〜５１ｊ  タグ、  ６１ａ〜６１ｃ  検索領域、  ７１ｂ  拡大された検索領域、  １０１  メインプロセッサ、  １０２  メインメモリ、  １０３  カメラインタフェース、  １０４  映像処理プロセッサ、  １０５  映像処理メモリ、  １０６  表示インタフェース、  １０７  入力インタフェース、  １０８  信号経路。
【図１】
2018122895.tif 000003
【図２】
2018122895.tif 000004
【図３】
2018122895.tif 000005
【図４】
2018122895.tif 000006
【図５】
2018122895.tif 000007
【図６】
2018122895.tif 000008
【図７】
2018122895.tif 000009
【図８】
2018122895.tif 000010
【図９】
2018122895.tif 000011
【図１０】
2018122895.tif 000012
【図１１】
2018122895.tif 000013
【図１２】
2018122895.tif 000014
【図１３】
2018122895.tif 000015
【図１４】
2018122895.tif 000016
【図１５】
2018122895.tif 000017
【図１６】
2018122895.tif 000018
【図１７】
2018122895.tif 000019
【図１８】
2018122895.tif 000020
【手続補正書】
【提出日】平成29年10月13日(2017.10.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カメラ撮影によって取得されたカメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置において前記カメラ映像にタグとして重畳表示させる映像処理装置であって、
前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、
前記オブジェクトを検出するオブジェクト検出部と、
前記付加情報を格納するデータベースを管理するタグ情報管理部と、
前記オブジェクト検出部によって検出された前記オブジェクトに関連する前記付加情報を前記タグ情報管理部から取得する第１の処理と、前記オブジェクト検出部によって検出された前記オブジェクトを含む検索領域を設定する第２の処理と、前記検索領域内における前記背景画領域に前記第１の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第３の処理とを行うタグ配置決定部と、
前記カメラ映像に前記タグを重畳表示させる合成映像データを生成するタグ重畳部と
を有し、
前記タグ配置決定部は、前記検索領域を、前記オブジェクト検出部で検出された前記オブジェクトの大きさに応じた大きさに設定する
ことを特徴とする映像処理装置。
【請求項２】
前記タグ配置決定部は、前記検索領域内における前記背景画領域に前記表示可能領域がない場合に、前記検索領域より大きい拡大された検索領域を設定する第４の処理を行い、前記第４の処理の後に、前記第３の処理を再度実行することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記オブジェクト検出部は、前記カメラ映像の画像解析によって前記オブジェクトを検出することを特徴とする請求項１又は２に記載の映像処理装置。
【請求項４】
前記オブジェクトを検出して検出信号を出力するセンサをさらに有し、
前記オブジェクト検出部は、前記検出信号に基づいて前記オブジェクトを検出する
ことを特徴とする請求項１又は２に記載の映像処理装置。
【請求項５】
前記タグ情報管理部は、互いに関連する前記オブジェクトの識別情報と付加情報とを格納するデータベースから取得された前記付加情報を前記タグ配置決定部に提供することを特徴とする請求項１から４のいずれか１項に記載の映像処理装置。
【請求項６】
前記タグ情報管理部は、互いに関連する前記オブジェクトの識別情報と付加情報と表示色情報とを格納する前記データベースから取得された前記付加情報及び前記表示色情報を前記タグ配置決定部に提供し、
前記タグ配置決定部は、前記表示色情報に基づく色で前記タグを表示させる
ことを特徴とする請求項１から４のいずれか１項に記載の映像処理装置。
【請求項７】
前記タグ情報管理部は、互いに関連する前記オブジェクトの識別情報と付加情報と優先順位情報とを格納する前記データベースから取得された前記付加情報及び前記優先順位情報を前記タグ配置決定部に提供し、
前記タグ配置決定部は、複数のタグが重複する場合に、前記複数のタグの内のより高い優先順位に関連するタグを手前に表示させる
ことを特徴とする請求項１から４のいずれか１項に記載の映像処理装置。
【請求項８】
カメラ撮影によって取得されたカメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置において前記カメラ映像にタグとして重畳表示させる映像処理方法であって、
前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、
前記オブジェクトを検出する検出ステップと、
前記検出ステップによって検出された前記オブジェクトに関連する前記付加情報を、前記付加情報を管理するデータベースから取得する第１の処理と、前記検出ステップによって検出された前記オブジェクトを含む検索領域を設定する第２の処理と、前記検索領域内における前記背景画領域に前記第１の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第３の処理とを行う配置決定ステップと、
前記カメラ映像に前記タグを重畳表示させる合成映像データを生成する重畳ステップと
を有し、
前記配置決定ステップでは、前記検索領域を、前記検出ステップで検出された前記オブジェクトの大きさに応じた大きさに設定する
ことを特徴とする映像処理方法。
【請求項９】
コンピュータに、カメラ撮影によって取得されたカメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置において前記カメラ映像にタグとして重畳表示させる映像処理プログラムであって、
前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、
前記コンピュータに、
前記オブジェクトを検出する検出ステップと、
前記検出ステップによって検出された前記オブジェクトに関連する前記付加情報を、前記付加情報を管理するデータベースから取得する第１の処理と、前記検出ステップによって検出された前記オブジェクトを含む検索領域を設定する第２の処理と、前記検索領域内における前記背景画領域に前記第１の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第３の処理とを行う配置決定ステップと、
前記カメラ映像に前記タグを重畳表示させる合成映像データを生成する重畳ステップと
を実行させ、
前記配置決定ステップでは、前記検索領域を、前記検出ステップで検出された前記オブジェクトの大きさに応じた大きさに設定する映像処理プログラム。
【請求項１０】
被写体を撮影することによってカメラ映像を生成するカメラと、
映像データに基づく映像を表示する表示装置と、
前記カメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、前記表示装置において前記カメラ映像にタグとして重畳表示させる映像処理装置と、を有し、
前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、
前記映像処理装置は、
前記オブジェクトを検出するオブジェクト検出部と、
前記付加情報を格納するデータベースを管理するタグ情報管理部と、
前記オブジェクト検出部によって検出された前記オブジェクトに関連する前記付加情報を前記タグ情報管理部から取得する第１の処理と、前記オブジェクト検出部によって検出された前記オブジェクトを含む検索領域を設定する第２の処理と、前記検索領域内における前記背景画領域に前記第１の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第３の処理とを行うタグ配置決定部と、
前記カメラ映像に前記タグを重畳表示させる合成映像データを生成するタグ重畳部と
を有し、
前記タグ配置決定部は、前記検索領域を、前記オブジェクト検出部で検出された前記オブジェクトの大きさに応じた大きさに設定する
ことを特徴とする映像監視システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の一態様に係る映像処理装置は、カメラ撮影によって取得されたカメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置において前記カメラ映像にタグとして重畳表示させる映像処理装置であって、前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、前記オブジェクトを検出するオブジェクト検出部と、前記付加情報を格納するデータベースを管理するタグ情報管理部と、前記オブジェクト検出部によって検出された前記オブジェクトに関連する前記付加情報を前記タグ情報管理部から取得する第１の処理と、前記オブジェクト検出部によって検出された前記オブジェクトを含む検索領域を設定する第２の処理と、前記検索領域内における前記背景画領域に前記第１の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第３の処理とを行うタグ配置決定部と、前記カメラ映像に前記タグを重畳表示させる合成映像データを生成するタグ重畳部とを有し、前記タグ配置決定部は、前記検索領域を、前記オブジェクト検出部で検出された前記オブジェクトの大きさに応じた大きさに設定する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の他の態様に係る映像処理方法は、カメラ撮影によって取得されたカメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置において前記カメラ映像にタグとして重畳表示させる映像処理方法であって、前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、前記オブジェクトを検出する検出ステップと、前記検出ステップによって検出された前記オブジェクトに関連する前記付加情報を、前記付加情報を管理するデータベースから取得する第１の処理と、前記検出ステップによって検出された前記オブジェクトを含む検索領域を設定する第２の処理と、前記検索領域内における前記背景画領域に前記第１の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第３の処理とを行う配置決定ステップと、前記カメラ映像に前記タグを重畳表示させる合成映像データを生成する重畳ステップとを有し、前記配置決定ステップでは、前記検索領域を、前記検出ステップで検出された前記オブジェクトの大きさに応じた大きさに設定する。
【国際調査報告】
2018122895.tif 000021
2018122895.tif 000022
2018122895.tif 000023
2018122895.tif 000024