(57)【要約】【課題】監視対象を効率的に監視する。【解決手段】表示装置は、複数ある撮像部によって撮像された映像情報各々から所定の物体を検出し、検出した所定の物体の位置情報と、当該物体の映像情報とを取得する。また、表示装置は、取得した位置情報を、映像情報各々の内表示部によって表示される映像情報である表示映像内における位置情報へと変換し、変換の結果得られた位置情報を用いて、取得した物体の映像情報を表示映像と併せて表示する。また、複数ある撮像部は、それぞれ異なる位置から同一の領域を撮像するものであって、表示装置は、位置情報として、領域内における座標情報を取得する。【選択図】        図１
2010220077.tif 000002
【特許請求の範囲】
【請求項１】
複数ある撮像部によって撮像された映像情報各々から所定の物体を検出する検出部と、
前記検出部によって検出された所定の物体の位置情報と、当該物体の映像情報とを取得する取得部と、
前記取得部によって取得された前記位置情報を、前記映像情報各々の内表示部によって表示される映像情報である表示映像内における位置情報へと変換する変換部と、
前記変換部による変換の結果得られた位置情報を用いて、前記取得部によって取得された前記物体の映像情報を前記表示映像と併せて表示する表示制御部と
を備えたことを特徴とする表示装置。
【請求項２】
複数ある前記撮像部は、それぞれ異なる位置から同一の領域を撮像するものであって、
前記取得部は、前記位置情報として、前記領域内における座標情報を取得することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記表示制御部は、前記表示映像と併せて表示する前記物体の映像情報とともに、当該物体の映像情報を示す目印となる映像情報を表示することを特徴とする請求項１または２に記載の表示装置。
【請求項４】
前記表示制御部は、前記表示映像と併せて表示する前記物体の映像情報とともに、当該物体の移動方向を示す映像情報を表示することを特徴とする請求項１〜３のいずれか一つに記載の表示装置。
【請求項５】
前記所定の物体は、人であって、
前記表示制御部は、前記表示映像と併せて表示する前記人の映像情報とともに、当該人の視線および／または顔の向きを示す映像情報を表示することを特徴とする請求項１〜４のいずれか一つに記載の表示装置。
【請求項６】
複数ある撮像部によって撮像された映像情報各々から所定の物体を検出する検出工程と、
前記検出工程によって検出された所定の物体の位置情報と、当該物体の映像情報とを取得する取得工程と、
前記取得工程によって取得された前記位置情報を、前記映像情報各々の内表示部によって表示される映像情報である表示映像内における位置情報へと変換する変換工程と、
前記変換工程による変換の結果得られた位置情報を用いて、前記取得工程によって取得された前記物体の映像情報を前記表示映像と併せて表示する表示制御工程と
を含んだことを特徴とする表示方法。
【請求項７】
コンピュータが、
複数ある撮像部によって撮像された映像情報各々から所定の物体を検出する検出ステップと、
前記検出ステップによって検出された所定の物体の位置情報と、当該物体の映像情報とを取得する取得ステップと、
前記取得ステップによって取得された前記位置情報を、前記映像情報各々の内表示部によって表示される映像情報である表示映像内における位置情報へと変換する変換ステップと、
前記変換ステップによる変換の結果得られた位置情報を用いて、前記取得ステップによって取得された前記物体の映像情報を前記表示映像と併せて表示する表示制御ステップと
を実行することを特徴とする表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、表示装置、表示方法および表示プログラムに関する。
【背景技術】
【０００２】
複数台の監視カメラから得られる監視画像各々をモニタに表示する監視システムが知られている。監視システムを利用する利用者は、モニタに表示される監視画像（表示映像とも称する）を用いて、監視対象（例えば、人など）を監視していた。また、利用者は、表示映像に死角がある場合には、当該死角に対応する他の監視画像を表示し、当該死角を監視していた。
【０００３】
ここで、従来より、複数の監視画像を一つのモニタにて表示する複数技術が知られている。複数技術では、個々の監視画像を表示するモニタ上のサイズを小さくすることにより、複数の監視画像を同時に一つのモニタにて表示する。また、表示映像を他の監視画像に切り替える切替技術が用いられている。切替技術では、一つの監視画像が表示される時間を限定することにより、複数の監視画像を順番に一つのモニタにて表示する。また、モニタの数を増加させる増加技術が用いられている。増加技術では、複数の監視画像を複数台のモニタにて表示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−３２２２３９号公報（第１−３頁、第２図）
【特許文献２】特開２００３−２４４６８３号公報（第１−３頁、第１図）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記した従来の技術は、監視対象を効率的に監視するのが困難であるという課題があった。例えば、表示映像に死角がある場合には、死角に対応する他の監視画像を表示しなければならなかった。
【０００６】
また、上記した複数技術を用いても、個々の監視画像が表示されるモニタ上のサイズが小さくなり、監視対象を監視するのが困難であった。また、切替技術を用いても、一つの監視画像が表示される時間を限定され、監視対象を監視するのが困難であった。また、増加技術を用いても、複数のモニタを利用者が確認することになり、監視対象を監視するのが困難であった。
【０００７】
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、監視対象を効率的に監視することが可能な表示装置、表示方法および表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するため、表示装置は、複数ある撮像部によって撮像された映像情報各々から所定の物体を検出する検出部を備える。また、表示装置は、前記検出部によって検出された所定の物体の位置情報と、当該物体の映像情報とを取得する取得部を備える。また、表示装置は、前記取得部によって取得された前記位置情報を、前記映像情報各々の内表示部によって表示される映像情報である表示映像内における位置情報へと変換する変換部を備える。また、表示装置は、前記変換部による変換の結果得られた位置情報を用いて、前記取得部によって取得された前記物体の映像情報を前記表示映像と併せて表示する表示制御部を備える。
【発明の効果】
【０００９】
監視対象を効率的に監視することが可能である。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施例１に係る表示装置の概要を説明するための図である。
【図２】図２は、実施例１に係る表示装置の構成の一例を説明するためのブロック図である。
【図３】図３は、実施例１における撮像部の配置の一例を説明するための図である。
【図４】図４は、実施例１における検出部による位置計測を説明するための図である。
【図５】図５は、実施例１における画像取得部を説明するための図である。
【図６】図６は、実施例１におけるオーバーレイ部による目印表示の一例を説明するための図である。
【図７】図７は、実施例１におけるオーバーレイ部による移動方向表示の一例を説明するための図である。
【図８】図８は、実施例１に係る表示装置の全体処理の流れの一例を説明するためのフローチャートである。
【図９】図９は、実施例１における識別情報を用いての表示映像選択処理の流れの一例を説明するためのフローチャートである。
【図１０】図１０は、実施例２に係る表示装置の構成の一例を説明するためのブロック図である。
【図１１】図１１は、実施例２における撮像部の配置の一例を説明するための図である。
【図１２】図１２は、実施例１に係る表示装置のプログラムの一例を説明するための図である。
【図１３】図１３は、実施例１におけるオーバーレイ部による画素数算出処理を説明するための図である。
【発明を実施するための最良の形態】
【００１１】
以下に添付図面を参照して、この発明に係る表示装置、表示方法および表示プログラムの実施例を詳細に説明する。なお、以下では、実施例１に係る表示装置の概要、表示装置の構成および処理の流れを順に説明し、その後、その他の実施例について説明する。
【実施例１】
【００１２】
［表示装置の概要］
まず最初に、図１を用いて、実施例１に係る表示装置の概要を説明する。図１は、実施例１に係る表示装置の概要を説明するための図である。
【００１３】
図１の（１）に示すように、実施例１に係る表示装置は、監視画像（映像情報とも称する）を撮像する撮像部を複数備え、複数ある撮像部が、それぞれ異なる位置から同一の監視領域を撮像する。
【００１４】
図１の（１）に示す例では、撮像部「１」と撮像部「２」とは、人１０と棚２０とが存在する監視領域についての映像情報を撮像する。ここで、撮像部「１」は、中央に撮像された人１０と、棚２０とを含む映像情報を撮像し、撮像部「２」が、棚２０のみを含む映像情報を撮像する。なお、撮像部「２」が撮像する映像情報に人１０が含まれないのは、撮像部「２」から見ると、棚２０による死角に人１０が位置するからである。なお、撮像部「２」は、棚２０による死角の影響を考慮しない場合には、映像情報の左側に人１０を撮像するものとして説明する。また、実施例１に係る表示装置は、撮像部によって撮像された映像情報を表示する表示部を備える。
【００１５】
そして、図１の（２）に示すように、実施例１に係る表示装置は、撮像部によって撮像された映像情報各々から所定の物体を検出し、例えば、映像情報「１」から所定の物体として人１０を検出する。
【００１６】
そして、図１の（３）と（４）とに示すように、実施例１に係る表示装置は、検出した所定の物体の位置情報と、当該物体の映像情報とを取得する。例えば、映像情報「１」から、映像情報「１」内における人１０の位置情報として「映像情報の中央」を取得し、人１０の映像情報を取得する。
【００１７】
そして、図１の（５）に示すように、実施例１に係る表示装置は、取得した位置情報を、映像情報各々の内表示部によって表示される映像情報である表示映像内における位置情報へと変換する。例えば、表示装置は、映像情報「１」内における人１０の位置である「映像情報の中央」から、映像情報「２」内における人１０の位置である「映像情報の左側」へと変換する。
【００１８】
そして、図１の（６）に示すように、実施例１に係る表示装置は、変換の結果得られた位置情報を用いて、取得した物体の映像情報を表示映像と併せて表示する。例えば、表示装置は、取得した人１０の映像情報を、映像情報「２」の左側の位置に、棚２０に重ねて表示する。
【００１９】
このようなことから、実施例１に係る表示装置は、監視対象を効率的に監視することが可能である。
【００２０】
［表示装置の構成］
次に、図２を用いて、図１に示した表示装置１００の構成の一例を説明する。図２は、表示装置の構成を説明するためのブロック図である。図２に示すように、この表示装置１００は、撮像部１０１と表示部１０２と制御部２００とを備える。
【００２１】
撮像部１０１は、制御部２００と接続される。撮像部１０１は、映像情報を撮像し、例えば、監視カメラが該当する。なお、映像情報とは、撮像部１０１が撮像する静止画や動画が該当し、例えば、監視カメラから得られる監視画像や監視映像が該当する。また、撮像部１０１は、撮像した映像情報を制御部２００に送る。
【００２２】
ここで、図３に示すように、複数ある撮像部１０１は、それぞれ異なる位置から監視領域についての映像情報を撮像する。なお、図３は、実施例１における撮像部の配置の一例を説明するための図である。また、以下では、複数ある撮像部１０１それぞれについて、撮像部「１」や撮像部「２」などと記載する。
【００２３】
なお、以下では、特に言及しない限り、複数ある撮像部１０１各々は、監視領域全体についての映像情報を撮像するのではなく、監視領域の一部領域各々についての映像情報を撮像するものとして説明する。また、一部領域各々は、他の一部領域各々と重複する領域を有するものとして説明する。
【００２４】
例えば、図３に示すように、棚が列を成して配列されている監視領域内において、撮像部「１」〜「９」各々は、列ごとに設置されるものとして説明する。その上で、各撮像部１０１が映像情報を撮像する一部領域には、自撮像部が設置された列と隣接する列とが含まれ、隣接する列が棚により死角となっているものとして説明する。
【００２５】
例えば、撮像部「４」が映像情報を撮像する一部領域は、撮像部「３」が映像情報を撮像する一部領域と撮像部「５」が映像情報を撮像する一部領域とに一部重複する。言い換えると、撮像部「４」は、撮像部「４」が設置された列と、撮像部「３」が設置された列と撮像部「５」が設置された列とについての映像情報を撮像する。また、例えば、撮像部「４」の一部領域と、撮像部「７」〜「９」の一部領域とは、重複しないものとして説明する。
【００２６】
表示部１０２は、制御部２００と接続され、制御部２００から出力された映像情報を表示する。例えば、表示部１０２は、モニタが該当する。
【００２７】
制御部２００は、各種の表示処理手順などを規定したプログラムを格納するための内部メモリを有し、種々の表示処理を実行する。また、制御部２００は、検出部２０１と画像取得部２０２と表示映像選択部２０３とオーバーレイ部２０４とを備える。
【００２８】
検出部２０１は、撮像部１０１と画像取得部２０２と表示映像選択部２０３と接続され、撮像部１０１から映像情報を受け付けると、複数ある撮像部１０１によって撮像された映像情報各々から所定の物体を検出する。例えば、検出部２０１は、背景差分法やオプティカルフロー、その他公知の手法を用いることで、映像情報から所定の物体を検出する。なお、検出部２０１は、背景差分法やオプティカルフロー、その他の公知の手法を複数組み合わせて用いてもよい。
【００２９】
なお、背景差分法とは、所定の物体が撮像されていない状態における映像情報を予め用意し、撮像部１０１によって撮像された現在の映像情報との差分である背景差分画像を取得し、所定の物体を検出する手法である。また、オプティカルフローとは、映像情報上の各点の速度ベクトルを算出することで、所定の移動物体を検出する手法である。
【００３０】
なお、実施例１では、検出部２０１は、所定の物体として人１０を検出する場合を例に説明する。なお、所定の物体とは、人１０に限定されるものではなく、表示装置１００を管理する利用者によって任意に設定されるもの（例えば、「動く物体」すべてなど）である。
【００３１】
また、検出部２０１は、撮像部１０１からの映像情報から所定の物体の位置情報を取得し、例えば、位置情報として、監視領域内における座標情報を取得する。また、検出部２０１は、取得した位置情報と、所定の物体を検出した映像情報とを画像取得部２０２に送り、また、所定の物体を検出した映像情報を識別する識別情報を表示映像選択部２０３に送る。
【００３２】
検出部２０１による位置情報取得処理の一例について、図４を用いて説明する。なお、図４は、実施例１における検出部による位置計測を説明するための図である。以下では、撮像部「１」〜「９」各々が設置された監視領域内における座標情報と、撮像部「１」〜「９」各々が向いている監視方向と、カメラ設置角「α」とが既知であるとして説明する。なお、図４の（２）に示すように、カメラ設置角「α」とは、「監視領域の床面への垂線」と「カメラの光軸」とが成す角度である。また、監視方向とは、カメラ設置角「α」が「９０度」である場合における撮像部の向きである。また、所定の物体は、監視領域の床面に接地しているとして説明する。
【００３３】
ここで、検出部２０１は、図４の（１）に示すように、距離「Ｌ」と距離「Ｓ」とを算出し、撮像部が設置された監視領域内における座標情報と合わせることで所定の物体の位置情報を取得する。すなわち、検出部２０１は、撮像部の座標情報を基点として、図４の（Ｌ）に示すように、監視方向軸上を距離「Ｌ」進み、図４の（Ｓ）に示すように、監視方向軸と直交する軸上を「Ｓ」進んだ点についての座標を、所定の物体の位置情報として取得する。
【００３４】
なお、距離「Ｌ」とは、図４の（１）の「Ａ」に示す監視方向軸上での距離であって、撮像部１０１が設置された座標から所定の物体までの距離を示す。また、距離「Ｓ」は、図４の（１）の「Ａ」に示す監視方向軸からの距離であって、図４の（１）の「Ｂ」に示す「監視方向軸と直行する軸」上での距離を示す。以下では、まず、図４の（３）に示す「β」と「γ」とを用いて距離「Ｌ」を取得する点について説明し、その後、距離「Ｓ」を取得する点について説明する。なお、図４の（３）に示す「β」と「γ」とを用いて距離「Ｌ」や距離「Ｓ」を算出するのは、検出部２０１が受け付ける情報が、撮像部１０１からの映像情報のみだからである。
【００３５】
図４の（２）と（３）とを用いて、距離「Ｌ」を取得する点について説明する。なお、図４の（２）は、側面から見た図であり、また、図４の（３）は、撮像部から見た映像情報の一例を示す図である。ここで、図４の（２）に示すパラメータの内、カメラ設置角「α」は既知であり、また、高さ「Ｈ」が、撮像部が設置された監視領域内における座標情報から既知となる。すなわち、「監視領域の床面への垂線」と「所定の物体と監視領域の床面との接点と、撮像部１０１とを結ぶ直線」とが成す角度「θ」がわかれば、距離「Ｌ」＝Ｈｔａｎθとなり、検出部２０１は、距離「Ｌ」を算出できる。
【００３６】
その上で、図４の（３）に示すように、検出部２０１は、撮像部１０１から受け付けた映像情報を用いて、カメラ光軸から「所定の物体と監視領域の床面との接点」までの画素数「β」を取得する。例えば、検出部２０１は、映像情報上における画素数を取得し、取得した画素数「β」と映像情報の解像度とを用いてから角度「β’」を取得する。ここで、１画素当たりの角度との対応関係を既知とすることで、検出部２０１は、画素数「β」から角度「β’」を算出する。また、図４の（１）に示すように、角度「θ」＝角度「α」−角度「β’」となり、検出部２０１が、角度「θ」を算出して距離「Ｌ」を取得する。
【００３７】
また、図４の（３）と（４）とを主に用いて、距離「Ｓ」を算出する点について説明する。なお、図４の（４）は、上面から見た図である。ここで、図４の（４）に示すパラメータの内、距離「Ｌ」が既知である。すなわち、カメラ光軸と「所定の物体と撮像部１０１とを結ぶ直線」とが成す角度「γ’」がわかれば、距離「Ｓ」＝Ｌｔａｎγ’となり、検出部２０１は、距離「Ｓ」を算出できる。
【００３８】
その上で、図４の（３）に示すように、検出部２０１は、角度「β’」を算出した手法と同様に、撮像部１０１から受け付けた映像情報を用いて角度「γ’」を算出し、距離「Ｓ」を算出する。
【００３９】
なお、検出部２０１は、複数ある撮像部１０１から受け付けた映像情報各々について、同様の処理を実行する。すなわち、例えば、検出部２０１は、撮像部「１」〜「９」各々から受け付けた映像情報「１」〜「９」各々について人１０を検出し、人１０を検出した映像情報から位置情報を取得する。図３に示す例を用いて説明すると、検出部２０１は、人１０を五人検出し、位置情報を５つ取得する。
【００４０】
画像取得部２０２は、検出部２０１とオーバーレイ部２０４と接続される。画像取得部２０２は、位置情報と映像情報とを検出部２０１から受け付け、検出部２０１によって検出された所定の物体の映像情報を取得する。例えば、画像取得部２０２は、検出部２０１から受け付けた映像情報から、背景とは異なる部分の映像情報を所定の物体の映像情報として取得する。
【００４１】
また、画像取得部２０２は、検出部２０１によって検出された所定の物体各々について、物体の映像情報を取得する。図３に示す例を用いて説明すると、検出部２０１によって人１０が五人検出されたため、画像取得部２０２は、物体の映像情報を５つ取得する。
【００４２】
また、画像取得部２０２は、位置情報と所定の物体の映像情報とを対応づけて、オーバーレイ部２０４に送り、例えば、位置情報と物体の映像情報との対応づけを５つ送る。
【００４３】
このように、画像取得部２０２と検出部２０１とは、協同して動作することで、検出部２０１によって検出された所定の物体の位置情報と、当該物体の映像情報とを取得する。
【００４４】
表示映像選択部２０３は、検出部２０１とオーバーレイ部２０４と接続され、表示映像をオーバーレイ部２０４に送る。ここで、表示映像選択部２０３は、例えば、利用者からいずれの撮像部１０１からの映像情報を表示するかの指示を受け付け、受け付けた指示によって指定される映像情報をオーバーレイ部２０４に送る。また、表示映像選択部２０３は、検出部２０１から受け付けた識別情報を用いて映像情報を選択し、選択した映像情報をオーバーレイ部２０４に送る。なお、識別情報を用いての選択処理については、図９を用いて後述する。
【００４５】
ここで、オーバーレイ部２０４は、検出部２０１によって取得された位置情報を表示映像内における位置情報へと変換する。例えば、オーバーレイ部２０４は、検出部２０１による位置情報取得処理と逆の処理を行うことで、検出部２０１によって取得された位置情報から、表示映像内における画素数「β」と画素数「γ」とに変換する。
【００４６】
すなわち、オーバーレイ部２０４は、撮像部１０１が設置された監視領域内における座標情報と、物体の位置情報とから、表示するカメラにおける図４に示した「Ｌ」と「Ｓ」とを算出する。そして、オーバーレイ部２０４は、算出した「Ｌ」と「Ｓ」とを用いることで、図４に示した「β」と「γ」とに変換する。例えば、人１０が二人いた場合には、二つ組の「Ｌ」と「Ｓ」とが算出されており、それぞれについて、表示するカメラについての画素数「β」と画素数「γ」とに変換する。図５の（１）に示す例では、オーバーレイ部２０４は、画素数「β１」と画素数「γ１」、および、画素数「β２」と画素数「γ２」とに変換する。
【００４７】
例えば、図１３に示すように、撮影したカメラ１から得られた対象物とカメラまでの距離「Ｌ」を前記方法で求める。ここで、表示するカメラ２において、カメラ１との距離が「Ｐ」は既知であり、カメラ１の「Ｌ」に相当する距離は「Ｐ−Ｌ」で表され、図中の「β’’」が計算できる。これによって、表示するカメラにおける画素数「β」が判り、これを使って、オーバーレイ表示を行う。また、「Ｓ」についても同様の方法で求めることができ、画素数「γ」を算出することができる。なお、図１３に示す例では、２台のカメラ間の距離のみに注目したが、各々のカメラを配置している位置を平面の地図座標で表した場合でも同様に計算が可能である。なお、図１３は、実施例１におけるオーバーレイ部による画素数算出処理を説明するための図である。
【００４８】
なお、オーバーレイ部２０４は、画像取得部２０２から受け付けた対応付けに含まれる位置情報それぞれについて、変換処理を実行する。一方、オーバーレイ部２０４は、変換処理の結果、表示映像内における位置情報を取得するとは限らない。撮像部１０１が映像情報を撮像する一部領域は、他の撮像部１０１が映像情報を撮像する一部領域全てと重複するとは限らないからである。
【００４９】
図３に示す例を用いて具体的に説明する。なお、撮像部「４」からの映像情報を表示映像とする。すなわち、撮像部「３」〜「５」が設置された列についての映像情報が撮像される範囲とする。ここで、撮像部「７」や撮像部「８」の映像情報から検出される人「Ｄ」と人「Ｅ」との位置情報は、撮像部「４」が映像情報を撮像する範囲内とはならず、変換の結果得られる画素数「β」と画素数「γ」とは表示映像内における位置とはならない。また、撮像部「３」や撮像部「５」の映像情報から検出される人「Ａ」と人「Ｃ」との位置情報は、撮像部「４」が映像情報を撮像する範囲内となり、変換の結果得られる画素数「β」と画素数「γ」とが表示映像内における位置となる。また、図３に示す人「Ｂ」は、撮像部「４」からの映像情報から検出される人である。この結果、オーバーレイ部２０４は、画像取得部２０２から対応付けを５つ受け付け、変換の結果、表示映像内における人「Ａ」と人「Ｃ」とについての位置情報を得ることになる。
【００５０】
また、図５の（２）に示すように、オーバーレイ部２０４は、変換の結果得られた位置情報を用いて、画像取得部２０２によって取得された物体の映像情報を表示映像と併せて表示部１０２にて表示する。なお、表示部１０２にて表示するとは、オーバーレイ部２０４が、画像取得部２０２によって取得された物体の映像情報を表示映像に併せた映像情報を表示部１０２に送り、表示部１０２がオーバーレイ部２０４から受け付けた映像情報を表示することを示す。
【００５１】
図５の（２）に示す例では、オーバーレイ部２０４は、変換の結果得られた位置情報である画素数「β１」と画素数「γ１」、および、画素数「β２」と画素数「γ２」との位置に、当該位置情報それぞれに対応づけられた物体の映像情報を表示する。
【００５２】
また、オーバーレイ部２０４は、物体の映像情報に透過性を持たせることで、表示映像と物体の映像情報とを併せて表示する。例えば、オーバーレイ部２０４は、所定の物体の映像情報を薄くして表示映像に重ねて表示することで、所定の物体の映像情報と、同じ位置にある表示映像とを共に判別できるように表示部１０２にて表示する。
【００５３】
なお、図６に示すように、オーバーレイ部２０４は、表示映像と併せて表示する物体の映像情報とともに、当該物体の映像情報を示す目印となる映像情報を表示してもよい。なお、図６は、実施例１におけるオーバーレイ部による目印表示の一例を説明するための図である。図６に示す例では、オーバーレイ部２０４は、物体の映像情報に併せて目印３０を表示する。例えば、人１０の数が多い場合などには、目印を用いることにより、人１０を効率的に監視することが可能である。
【００５４】
また、図７に示すように、オーバーレイ部２０４は、表示映像と併せて表示する物体の映像情報とともに、当該物体の移動方向を示す映像情報を表示してもよい。なお、図７は、実施例１におけるオーバーレイ部による移動方向表示の一例を説明するための図である。例えば、オーバーレイ部２０４は、移動方向を示す映像情報として、所定の時間経過前の物体から所定の時間経過後の物体への矢印である移動方向表示矢印４０を表示する。
【００５５】
また、オーバーレイ部２０４は、表示映像と併せて表示する人１０の映像情報とともに、当該人１０の視線や顔の向きを示す映像情報を表示してもよい。例えば、オーバーレイ部２０４は、画像取得部２０２によって取得された物体の映像情報から顔を認識し、顔が向いている方向を矢印として表示する。なお、オーバーレイ部２０４による顔認識処理は、公知の手法を用いてよい。
【００５６】
［表示装置による処理］
次に、図８を用いて、実施例１に係る表示装置１００の全体処理の流れの一例について説明する。なお、図８は、実施例１に係る表示装置の全体処理の流れの一例を説明するためのフローチャートである。
【００５７】
図８に示すように、表示装置１００では、検出部２０１が、所定の物体を検出すると（ステップＳ１０１肯定）、つまり、複数ある撮像部１０１によって撮像された映像情報各々から所定の物体を検出すると、所定の物体の位置情報を取得する（ステップＳ１０２）。例えば、検出部２０１は、位置情報として、監視領域内における座標情報を取得する。
【００５８】
そして、画像取得部２０２は、物体の映像情報を取得する（ステップＳ１０３）。つまり、画像取得部２０２は、検出部２０１によって検出された所定の物体の映像情報を取得する。そして、オーバーレイ部２０４は、表示映像内の位置情報へと、検出部２０１によって取得された位置情報を変換する（ステップＳ１０４）。例えば、オーバーレイ部２０４は、検出部２０１による位置情報取得処理と逆の処理を行うことで、表示映像内における位置情報へと変換する。
【００５９】
そして、オーバーレイ部２０４は、変換の結果得られた位置情報を用いて、画像取得部２０２によって取得された物体の映像情報を表示映像と併せて表示部１０２にて表示する（ステップＳ１０５）。例えば、オーバーレイ部２０４は、所定の物体の映像情報を薄くして表示映像に重ねて表示することで、所定の物体の映像情報と、同じ位置にある表示映像とを共に判別できるように表示部１０２にて表示する。
【００６０】
［表示映像決定処理の一例］
次に、図９を用いて、実施例１における識別情報を用いての表示映像選択処理について説明する。なお、図９は、実施例１における識別情報を用いての表示映像選択処理の流れの一例を説明するためのフローチャートである。
【００６１】
すなわち、図９に示すように、表示映像選択部２０３は、撮像部１０１各々が映像情報を撮像する範囲に関する情報と、人が検出された映像情報を識別する識別情報とを用いて、表示映像を選択する。なお、撮像部１０１各々が映像情報を撮像する範囲に関する情報とは、撮像部１０１各々について、他の撮像部１０１が映像情報を撮像する範囲と重複する範囲に関する情報を含む。例えば、図３に例を用いて説明すると、撮像部１０１各々は、自撮像部が設置された列と、両隣の列の映像情報を撮像するという情報が該当する。
【００６２】
ここで、図９に示すように、表示映像選択部２０３は、検出部２０１によって所定の物体が検出されると（ステップＳ２０１肯定）、つまり、例えば、所定の物体が検出された映像情報を識別する識別情報を検出部２０１から受け付けると、表示映像選択処理を行う。
【００６３】
つまり、表示映像選択部２０３は、まず、受け付けた識別情報を用いて、二列のみ連続して人１０が検出されたかを判定する（ステップＳ２０２）。例えば、表示映像選択部２０３は、識別情報として、二列のみ連続する撮像部１０１を識別する識別情報を受け付けたかを判定する。ここで、二列のみ連続して人１０が検出されたと判定すると（ステップＳ２０２肯定）、表示映像選択部２０３は、人１０が検出された二列のみ連続した列の内いずれか一方の列についての映像情報を選択する（ステップＳ２０３）。なぜなら、二列連続する列の内いずれを選択しても、他方の列にて検出された人１０について、選択した列についての映像情報にオーバーレイすることで表示できるからである。
【００６４】
例えば、表示映像選択部２０３は、検出部２０１から随時識別情報を受け付け、その都度、該識別情報を用いて人１０が検出された列の連続態様を識別する。図３に示す例をあげて具体的に説明すると、撮像部１０１が番号順に設置された場合には、番号の連続性を用いて識別する。例えば、撮像部「６」では人１０が検出されず、撮像部「７」と撮像部「８」とで人１０が検出され、撮像部「９」で人１０が検出されないと、表示映像選択部２０３は、二列連続して人が検出されたと識別し、撮像部「７」か撮像部「８」かのいずれかについての映像情報を選択する。
【００６５】
一方、表示映像選択部２０３は、二列のみ連続して人１０が検出されていないと判定すると（ステップＳ２０２否定）、三列のみ連続で人１０が検出されたかを判定する（ステップＳ２０４）。ここで、三列のみ連続して人１０が検出されたと判定すると（ステップＳ２０４肯定）、表示映像選択部２０３は、人１０が検出された三列連続した列の内真ん中の列についての映像情報を選択する（ステップＳ２０５）。つまり、例えば、撮像部「２」で人１０が検出されず、撮像部「３」〜撮像部「５」とで三列連続して人１０が検出され、撮像部「６」で人１０が検出されないと、表示映像選択部２０３は、撮像部「４」についての映像情報を選択する。なぜなら、三列連続する列の内真ん中を選択することで、両端の列にて検出された人１０について、選択した真ん中の列についての映像情報にオーバーレイすることで表示できるからである。
【００６６】
一方、表示映像選択部２０３は、三列のみ連続して人１０が検出されていないと判定すると（ステップＳ２０４否定）、四列以上連続して人１０を検出したと判定する（ステップＳ２０６）。そして、表示映像選択部２０３は、四列以上連続した列の内、端から二つ目の列についての映像情報と、端から二つ目の列から二列飛ばした列各々についての映像情報を選択する（ステップＳ２０７）。例えば、撮像部「１」から撮像部「５」とで人１０が検出されると、表示映像選択部２０３は、撮像部「２」と撮像部「５」とよって撮像された映像情報各々を選択し、または、撮像部「１」と撮像部「４」とよって撮像された映像情報各々を選択する。
【００６７】
なお、表示映像選択部２０３は、端から二つ目の列から二列飛ばした列が無い場合には、一列飛ばした列を選択する。この結果、端から一列飛ばした列以降についても、確実に表示することが可能である。
【００６８】
このように、識別情報を用いて表示映像を選択することで、検出された人１０の映像情報すべてを効率的に表示することが可能であり、例えば、表示する映像情報の数を減少することが可能である。
【００６９】
［実施例１の効果］
上記したように、実施例１によれば、表示装置１００は、複数ある撮像部１０１によって撮像された映像情報各々から所定の物体を検出し、検出した所定の物体の位置情報と、当該物体の映像情報とを取得する。そして、表示装置１００は、取得した位置情報を、表示映像内における位置情報へと変換し、変換の結果得られた位置情報を用いて、取得した物体の映像情報を表示映像と併せて表示する。この結果、監視対象を効率的に監視することが可能である。
【００７０】
例えば、表示映像内に死角がある場合であっても、死角にいる人１０を表示映像に併せて表示することができ、監視対象を効率的に監視することが可能である。すなわち、例えば、表示映像とは別の映像情報により、表示映像内の死角に対応する位置に人１０が検出されると、検出された人１０の画像を表示映像内の死角の位置に併せて表示することができ、監視効率を向上することが可能である。
【００７１】
この結果、実施例１によれば、表示装置１００は、利用者による映像情報の切り換え頻度を減らすことが可能である。すなわち、他の映像情報によって得られた所定の物体についての情報を表示映像と合わせて表示することができ、所定の物体が撮像された映像情報への切り替える頻度を減少させることが可能である。
【００７２】
また、この結果、実施例１によれば、表示装置１００は、映像情報を表示するモニタの数を削減することが可能である。すなわち、他の映像情報によって得られた所定の物体についての情報を表示映像と合わせて表示することができ、所定の物体が撮像された映像情報すべてを表示することなく、所定の物体についての映像情報を表示することが可能である。この結果、表示すべき映像情報の数が減少し、映像情報を表示するモニタの数を削減することが可能である。
【００７３】
また、実施例１によれば、表示装置１００では、複数ある撮像部１０１が、それぞれ異なる位置から同一の領域を撮像する。また、表示装置１００は、位置情報として、領域内における座標情報を取得するので、位置情報を表示映像内における位置情報へと正確に変換することが可能である。
【００７４】
また、実施例１によれば、表示装置１００では、物体の映像情報を示す目印となる映像情報を表示するので、表示映像と併せて表示される物体の映像情報の位置について、利用者が簡単に把握することが可能である。
【００７５】
また、実施例１によれば、表示装置１００では、物体の移動方向を示す映像情報を表示するので、表示映像と併せて表示される物体の映像情報の移動方向について、利用者が簡単に把握することが可能である。
【００７６】
また、実施例１によれば、表示装置１００では、人１０の視線や顔の向きを示す映像情報を表示するので、表示映像と併せて表示される人１０の視線や顔の向きについて、利用者が簡単に把握することが可能である。
【実施例２】
【００７７】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例１以外にも、その他の実施例にて実施されてもよい。そこで、以下では、その他の実施例について説明する。
【００７８】
［録画］
例えば、図１０に示すように、表示装置１００は、撮像部１０１各々によって撮像された映像情報を記憶する記憶部３００をさらに備えてもよい。なお、図１０は、実施例２に係る表示装置の構成の一例を説明するためのブロック図である。
【００７９】
図１０に示す例では、記憶部３００は、検出部２０１と接続される。その上で、表示装置１００では、検出部２０１（「格納部」とも称する）が、複数ある撮像部１０１によって撮像された映像情報各々について、取得した位置情報と併せて記憶部３００に格納してもよい。この結果、映像情報を記憶部３００に記憶する（録画）する際に、位置情報を併せて記録することが可能である。
【００８０】
［撮像部設置位置］
また、例えば、実施例１では、複数ある撮像部１０１は、監視領域の一部領域各々についての映像情報を撮像し、例えば、棚が列を成して配列されている監視領域内において、撮像部「１」〜「９」各々は、列ごとに設置されるものとして説明した。しかし、本発明はこれに限定されるものではない。
【００８１】
例えば、図１１に示すように、少数の撮像部１０１にて監視領域すべての映像情報が撮像されるように撮像部１０１をさらに設置してもよい。例えば、図１１の「Ａ〜Ｄ」に示すように、撮像部１０１を監視領域の四隅に設置してもよく、また、天井に全方位カメラとして撮像部１０１を設置してもよい。なお、図１１は、実施例２における撮像部の配置の一例を説明するための図である。また、表示映像選択部２０３は、監視領域の四隅に設置した撮像部１０１からの映像情報や、天井に設置した全方位カメラとして設置した撮像部１０１からの映像情報を表示映像として選択してもよい。
【００８２】
その上で、表示装置１００では、列ごとに設置した撮像部１０１からの映像情報を用いて、所定の物体の位置情報と物体の映像情報とを取得し、全方位カメラとしてや四隅に設置した撮像部１０１についての映像情報に併せて表示してよい。
【００８３】
また、例えば、表示装置１００は、表示部１０２の画面上を５つに分割し、４つの領域に監視領域の四隅に設置した撮像部１０１からの映像情報を表示し、また、残りの一つの領域に人１０が検出された映像情報を表示する。すなわち、隅に設置した撮像部１０１についての映像情報を表示する４つの領域にて、監視領域すべてを表示し、また、必要に応じてオーバーレイすることで監視領域にいる人１０すべてを表示する。その上で、表示部１０２は、残りの一つの領域に人１０が検出された映像情報を表示することで、検出された人１０を利用者が詳細に監視できるようにしてもよい。なお、表示装置１００は、画面上を分割する際には任意の数に分割してよく、また、複数のモニタを併用してもよい。
【００８４】
［物体の映像情報］
また、例えば、実施例１では、表示映像に併せて表示する物体の映像情報として、映像情報の一部を用いる場合を説明したが、本発明はこれに限定されるものではなく、ＣＧ（Computer  Graphics）に置き換えてもよい。例えば、表示装置１００では、画像取得部２０２は、物体の映像情報を取得すると、物体の映像情報と同等の大きさへとＣＧ画像の大きさをフィッティングし、物体の映像情報としてフィッティングしたＣＧをオーバーレイ部２０４に送ってもよい。
【００８５】
［監視領域］
また、例えば、実施例１では、撮像部１０１が、一つの監視領域についての映像情報を撮像する場合について説明したが、本発明はこれに限定されるものではない。例えば、複数ある撮像部１０１は、複数の監視領域それぞれについて、異なる位置から映像情報を撮像してもよい。
【００８６】
［実施例の組み合わせについて］
また、例えば、実施例１では、他の監視映像にて検出された人１０の映像を当該人１０が検出された位置に対応する表示映像内の位置にて、表示映像と併せて表示する手法に加えて、様々な手法を併せて実施する場合について説明した。具体的には、（手法１）位置情報を座標情報として用いる手法、（手法２）目印を表示する手法、（手法３）移動方向を表示する手法、および、（手法４）顔の向きを表示する手法を併せて実施する実施例について説明した。しかし、本発明はこれに限定されるものではなく、（手法１）〜（手法４）の内一部のみを併せて実施し、または、いずれも併せて実施しなくてもよい。
【００８７】
［システム構成］
また、例えば、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、例えば、所定の物体を手動にて検出してもよい。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報（例えば、図１〜図１２）については、特記する場合を除いて任意に変更することができる。
【００８８】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図２を用いて説明すると、表示装置１００と表示部１０２とを別個独立した装置としてもよい。また、制御部２００内の各部の内、所定の物体についての位置情報と物体の映像情報を取得する検出部２０１や画像取得部２０２を別装置としてもよい。
【００８９】
［コンピュータ］
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１２を用いて、上記の実施例と同様の機能を有する表示プログラムを実行するコンピュータの一例を説明する。なお、図１２は、実施例１に係る表示装置のプログラムを説明するための図である。
【００９０】
図１２に示すように、コンピュータ３０００は、操作部３００１、マイク３００２、スピーカ３００３、撮像部３００４、ディスプレイ３００５、通信部３００６、ＣＰＵ（Central  Processing  Unit）３０１０、ＲＯＭ（Read  Only  Memory）３０１１、ＲＡＭ（Random  Access  Memory）３０１３をバス３００９などで接続して構成されている。
【００９１】
ＲＯＭ３０１１には、上記の実施例１で示した検出部２０１と、画像取得部２０２と、表示映像選択部２０３と、オーバーレイ部２０４と同様の機能を発揮する制御プログラム、つまり、図１２に示すように、検出プログラム３０１１ａと、画像取得プログラム３０１１ｂと、表示映像選択プログラム３０１１ｃと、オーバーレイプログラム３０１１ｄとが予め記憶されている。なお、これらのプログラム３０１１ａ〜３０１１ｄについては、図２に示した表示装置１００の各構成要素と同様、適宜統合または分離してもよい。
【００９２】
そして、ＣＰＵ３０１０が、これらのプログラム３０１１ａ〜３０１１ｄをＲＯＭ３０１１から読み出して実行することにより、図１２に示すように、各プログラム３０１１ａ〜３０１１ｄについては、検出プロセス３０１０ａと、画像取得プロセス３０１０ｂと、表示映像選択プロセス３０１０ｃと、オーバーレイプロセス３０１０ｄとして機能するようになる。なお、各プロセス３０１０ａ〜３０１０ｄは、図２に示した、検出部２０１と、画像取得部２０２と、表示映像選択部２０３と、オーバーレイ部２０４とにそれぞれ対応する。
【００９３】
そして、ＣＰＵ３０１０は、ＲＡＭ３０１３に格納された映像情報データ３０１３ａと、位置情報データ３０１３ｂとを用いて、表示プログラムを実行する。
【００９４】
［その他］
なお、本実施例で説明した表示装置は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【００９５】
以上の実施例１〜２を含む実施形態に関し、更に以下の付記を開示する。
【００９６】
（付記１）複数ある撮像部によって撮像された映像情報各々から所定の物体を検出する検出部と、
前記検出部によって検出された所定の物体の位置情報と、当該物体の映像情報とを取得する取得部と、
前記取得部によって取得された前記位置情報を、前記映像情報各々の内表示部によって表示される映像情報である表示映像内における位置情報へと変換する変換部と、
前記変換部による変換の結果得られた位置情報を用いて、前記取得部によって取得された前記物体の映像情報を前記表示映像と併せて表示する表示制御部と
を備えたことを特徴とする表示装置。
【００９７】
（付記２）複数ある前記撮像部は、それぞれ異なる位置から同一の領域を撮像するものであって、
前記取得部は、前記位置情報として、前記領域内における座標情報を取得することを特徴とする付記１に記載の表示装置。
【００９８】
（付記３）前記表示制御部は、前記表示映像と併せて表示する前記物体の映像情報とともに、当該物体の映像情報を示す目印となる映像情報を表示することを特徴とする付記１または２に記載の表示装置。
【００９９】
（付記４）前記表示制御部は、前記表示映像と併せて表示する前記物体の映像情報とともに、当該物体の移動方向を示す映像情報を表示することを特徴とする付記１〜３のいずれか一つに記載の表示装置。
【０１００】
（付記５）前記所定の物体は、人であって、
前記表示制御部は、前記表示映像と併せて表示する前記人の映像情報とともに、当該人の視線および／または顔の向きを示す映像情報を表示することを特徴とする付記１〜４のいずれか一つに記載の表示装置。
【０１０１】
（付記６）前記複数ある撮像部によって撮像された映像情報各々について、前記取得部によって取得された位置情報と併せて記憶部に格納する格納部をさらに備えたことを特徴とする付記１〜５のいずれか一つに記載の表示装置。
【０１０２】
（付記７）複数ある撮像部によって撮像された映像情報各々から所定の物体を検出する検出工程と、
前記検出工程によって検出された所定の物体の位置情報と、当該物体の映像情報とを取得する取得工程と、
前記取得工程によって取得された前記位置情報を、前記映像情報各々の内表示部によって表示される映像情報である表示映像内における位置情報へと変換する変換工程と、
前記変換工程による変換の結果得られた位置情報を用いて、前記取得工程によって取得された前記物体の映像情報を前記表示映像と併せて表示する表示制御工程と
を含んだことを特徴とする表示方法。
【０１０３】
（付記８）コンピュータが、
複数ある撮像部によって撮像された映像情報各々から所定の物体を検出する検出ステップと、
前記検出ステップによって検出された所定の物体の位置情報と、当該物体の映像情報とを取得する取得ステップと、
前記取得ステップによって取得された前記位置情報を、前記映像情報各々の内表示部によって表示される映像情報である表示映像内における位置情報へと変換する変換ステップと、
前記変換ステップによる変換の結果得られた位置情報を用いて、前記取得ステップによって取得された前記物体の映像情報を前記表示映像と併せて表示する表示制御ステップと
を実行することを特徴とする表示プログラム。
【符号の説明】
【０１０４】
１０  人
２０  棚
１００  表示装置
１０１  撮像部
１０２  表示部
２００  制御部
２０１  検出部
２０２  画像取得部
２０３  表示映像選択部
２０４  オーバーレイ部
３００  記憶部
【図１】
2010220077.tif 000003
【図２】
2010220077.tif 000004
【図３】
2010220077.tif 000005
【図４】
2010220077.tif 000006
【図５】
2010220077.tif 000007
【図６】
2010220077.tif 000008
【図７】
2010220077.tif 000009
【図８】
2010220077.tif 000010
【図９】
2010220077.tif 000011
【図１０】
2010220077.tif 000012
【図１１】
2010220077.tif 000013
【図１２】
2010220077.tif 000014
【図１３】
2010220077.tif 000015