(57)【特許請求の範囲】
【請求項１】
入力された動画像を、少なくとも２つの列及び２つの行で構成される複数の表示領域のそれぞれに動画像として表示させるための画像信号を生成する画像生成装置であって、
前記入力された動画像の画像信号を蓄積する記憶部と、
前記記憶部に蓄積された画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させるための画像信号とする画像信号生成部と、
前記画像信号生成部で生成させる画像信号の読み出し開始フレームを、前記表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示させる動画像の再生フレーム間隔を制御する制御部とを備え、
前記制御部は、
前記記憶部が記憶した画像信号から判別した、特定の物体の映像を含むフレームを、前記複数の表示領域で形成されるマルチ画面全体に再割り当てさせるための指令が入力された場合には、
前記物体が動いている時間と、前記複数の表示領域の行数の情報とを基に、行方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔を再計算し、
前記物体の動き終わりのフレームの情報と、前記物体がフレームアウトする直前のフレームの情報と、前記複数の表示領域の列の数の情報とを基に、列方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔を再計算し、
前記複数の表示領域のうちのいずれかの端の表示領域に、前記物体がフレームアウトする直前のフレームを読み出し開始フレーム位置として割り当て、
前記端の表示領域からの各表示領域の配置順に、同じ列同士の表示領域には、前記再計算された行方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当て、異なる列同士の表示領域には、前記再計算された列方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当てる
画像生成装置。
【請求項２】
入力された動画像を、少なくとも４つの列及び２つの行で構成される複数の表示領域のそれぞれに動画像として表示させるための画像信号を生成する画像生成装置であって、
前記入力された動画像の画像信号を蓄積する記憶部と、
前記記憶部に蓄積された画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させるための画像信号とする画像信号生成部と、
前記画像信号生成部で生成させる画像信号の読み出し開始フレームを、前記表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示させる動画像の再生フレーム間隔を制御する制御部とを備え、
前記制御部は、
前記記憶部が記憶した画像信号から判別した、特定の物体の映像を含むフレームを、前記複数の表示領域で形成されるマルチ画面全体に再割り当てさせるための指令が入力された場合には、
前記物体が動いている時間と、前記複数の表示領域の行数の情報とを基に、行方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔を再計算し、
前記物体がフレームインした直後のフレームの情報と、前記物体がフレームアウトする直前のフレームの情報と、前記複数の表示領域の列の数の情報とを基に、前記物体がフレームインした直後のフレームから前記物体の動き終わりのフレームまでのうちの少なくとも一部のフレームを端の列の隣の列の表示領域に表示させるように、列方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔を、端の列とその隣の列との間でそれ以外の列の間よりも短くなるように再計算し、
前記複数の表示領域のうちのいずれかの端の表示領域に、前記物体がフレームアウトする直前のフレームを読み出し開始フレーム位置として割り当て、
前記端の表示領域からの各表示領域の配置順に、同じ列同士の表示領域には、前記再計算された行方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当て、異なる列同士の表示領域には、前記再計算された列方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当てる
画像生成装置。
【請求項３】
入力された動画像を、少なくとも２つの列及び２つの行で構成される複数の表示領域のそれぞれに、動画像として表示させる表示装置であって、
前記入力された動画像の画像信号を蓄積する記憶部と、
前記記憶部に蓄積された動画像の画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させる画像信号とする画像信号生成部と、
前記画像信号生成部で生成させる各表示領域の動画像の画像信号の読み出し開始フレームを、前記表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示される動画像の再生フレーム間隔を制御する制御部と、
前記画像信号生成部で生成された画像信号を表示し、前記複数の表示領域を有する表示部とを備え、
前記制御部は、
前記記憶部が記憶した画像信号から判別した、特定の物体の映像を含むフレームを、前記複数の表示領域で形成されるマルチ画面全体に再割り当てさせるための指令が入力された場合には、
前記物体が動いている時間と、前記複数の表示領域の行数の情報とを基に、行方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔を再計算し、
前記物体の動き終わりのフレームの情報と、前記物体がフレームアウトする直前のフレームの情報と、前記複数の表示領域の列の数の情報とを基に、列方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔を再計算し、
前記複数の表示領域のうちのいずれかの端の表示領域に、前記物体がフレームアウトする直前のフレームを読み出し開始フレーム位置として割り当て、
前記端の表示領域からの各表示領域の配置順に、同じ列同士の表示領域には、前記再計算された行方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当て、異なる列同士の表示領域には、前記再計算された列方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当てる
表示装置。
【請求項４】
入力された動画像を、少なくとも４つの列及び２つの行で構成される複数の表示領域のそれぞれに、動画像として表示させる表示装置であって、
前記入力された動画像の画像信号を蓄積する記憶部と、
前記記憶部に蓄積された動画像の画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させる画像信号とする画像信号生成部と、
前記画像信号生成部で生成させる各表示領域の動画像の画像信号の読み出し開始フレームを、前記表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示される動画像の再生フレーム間隔を制御する制御部と、
前記画像信号生成部で生成された画像信号を表示し、前記複数の表示領域を有する表示部とを備え、
前記制御部は、
前記記憶部が記憶した画像信号から判別した、特定の物体の映像を含むフレームを、前記複数の表示領域で形成されるマルチ画面全体に再割り当てさせるための指令が入力された場合には、
前記物体が動いている時間と、前記複数の表示領域の行数の情報とを基に、行方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔を再計算し、
前記物体がフレームインした直後のフレームの情報と、前記物体がフレームアウトする直前のフレームの情報と、前記複数の表示領域の列の数の情報とを基に、前記物体がフレームインした直後のフレームから前記物体の動き終わりのフレームまでのうちの少なくとも一部のフレームを端の列の隣の列の表示領域に表示させるように、列方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔を、端の列とその隣の列との間でそれ以外の列の間よりも短くなるように再計算し、
前記複数の表示領域のうちのいずれかの端の表示領域に、前記物体がフレームアウトする直前のフレームを読み出し開始フレーム位置として割り当て、
前記端の表示領域からの各表示領域の配置順に、同じ列同士の表示領域には、前記再計算された行方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当て、異なる列同士の表示領域には、前記再計算された列方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当てる
表示装置。
【請求項５】
入力された動画像を、少なくとも２つの列及び２つの行で構成される複数の表示領域のそれぞれに、動画像として表示させる画像生成方法であって、
前記入力された動画像の画像信号を蓄積する蓄積処理と、
前記蓄積処理で蓄積された画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させる画像信号生成処理と、
前記画像信号生成処理で生成させる画像信号の読み出し開始フレームを、前記表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示される動画像の再生フレーム間隔を制御する制御処理とを実行し、
前記制御処理では、
前記蓄積処理で蓄積された画像信号から判別した、特定の物体の映像を含むフレームを、前記複数の表示領域で形成されるマルチ画面全体に再割り当てさせるための指令が入力された場合には、
前記物体が動いている時間と、前記複数の表示領域の行数の情報とを基に、行方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔を再計算し、
前記物体の動き終わりのフレームの情報と、前記物体がフレームアウトする直前のフレームの情報と、前記複数の表示領域の列の数の情報とを基に、列方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔を再計算し、
前記複数の表示領域のうちのいずれかの端の表示領域に、前記物体がフレームアウトする直前のフレームを読み出し開始フレーム位置として割り当て、
前記端の表示領域からの各表示領域の配置順に、同じ列同士の表示領域には、前記再計算された行方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当て、異なる列同士の表示領域には、前記再計算された列方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当てる
画像生成方法。
【請求項６】
入力された動画像を、少なくとも４つの列及び２つの行で構成される複数の表示領域のそれぞれに、動画像として表示させる画像生成方法であって、
前記入力された動画像の画像信号を蓄積する蓄積処理と、
前記蓄積処理で蓄積された画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させる画像信号生成処理と、
前記画像信号生成処理で生成させる画像信号の読み出し開始フレームを、前記表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示される動画像の再生フレーム間隔を制御する制御処理とを実行し、
前記制御処理では、
前記蓄積処理で蓄積された画像信号から判別した、特定の物体の映像を含むフレームを、前記複数の表示領域で形成されるマルチ画面全体に再割り当てさせるための指令が入力された場合には、
前記物体が動いている時間と、前記複数の表示領域の行数の情報とを基に、行方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔を再計算し、
前記物体がフレームインした直後のフレームの情報と、前記物体がフレームアウトする直前のフレームの情報と、前記複数の表示領域の列の数の情報とを基に、前記物体がフレームインした直後のフレームから前記物体の動き終わりのフレームまでのうちの少なくとも一部のフレームを端の列の隣の列の表示領域に表示させるように、列方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔を、端の列とその隣の列との間でそれ以外の列の間よりも短くなるように再計算し、
前記複数の表示領域のうちのいずれかの端の表示領域に、前記物体がフレームアウトする直前のフレームを読み出し開始フレーム位置として割り当て、
前記端の表示領域からの各表示領域の配置順に、同じ列同士の表示領域には、前記再計算された行方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当て、異なる列同士の表示領域には、前記再計算された列方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当てる
画像生成方法。
【請求項７】
入力された動画像を、少なくとも２つの列及び２つの行で構成される複数の表示領域のそれぞれに、動画像として表示させる画像生成方法であって、
前記入力された動画像の画像信号を蓄積する蓄積処理と、
前記蓄積処理で蓄積された画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させる画像信号生成処理と、
前記画像信号生成処理で生成させる画像信号の読み出し開始フレームを、前記表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示される動画像の再生フレーム間隔を制御する制御処理であって、
前記蓄積処理で蓄積された画像信号から判別した、特定の物体の映像を含むフレームを、前記複数の表示領域で形成されるマルチ画面全体に再割り当てさせるための指令が入力された場合には、
前記物体が動いている時間と、前記複数の表示領域の行数の情報とを基に、行方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔を再計算し、
前記物体の動き終わりのフレームの情報と、前記物体がフレームアウトする直前のフレームの情報と、前記複数の表示領域の列の数の情報とを基に、列方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔を再計算し、
前記複数の表示領域のうちのいずれかの端の表示領域に、前記物体がフレームアウトする直前のフレームを読み出し開始フレーム位置として割り当て、
前記端の表示領域からの各表示領域の配置順に、同じ列同士の表示領域には、前記再計算された行方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当て、異なる列同士の表示領域には、前記再計算された列方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当てる制御処理とを実行させるための
プログラム。
【請求項８】
入力された動画像を、少なくとも４つの列及び２つの行で構成される複数の表示領域のそれぞれに、動画像として表示させる画像生成方法であって、
前記入力された動画像の画像信号を蓄積する蓄積処理と、
前記蓄積処理で蓄積された画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させる画像信号生成処理と、
前記画像信号生成処理で生成させる画像信号の読み出し開始フレームを、前記表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示される動画像の再生フレーム間隔を制御する制御処理であって、
前記蓄積処理で蓄積された画像信号から判別した、特定の物体の映像を含むフレームを、前記複数の表示領域で形成されるマルチ画面全体に再割り当てさせるための指令が入力された場合には、
前記物体が動いている時間と、前記複数の表示領域の行数の情報とを基に、行方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔を再計算し、
前記物体がフレームインした直後のフレームの情報と、前記物体がフレームアウトする直前のフレームの情報と、前記複数の表示領域の列の数の情報とを基に、前記物体がフレームインした直後のフレームから前記物体の動き終わりのフレームまでのうちの少なくとも一部のフレームを端の列の隣の列の表示領域に表示させるように、列方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔を、端の列とその隣の列との間でそれ以外の列の間よりも短くなるように再計算し、
前記複数の表示領域のうちのいずれかの端の表示領域に、前記物体がフレームアウトする直前のフレームを読み出し開始フレーム位置として割り当て、
前記端の表示領域からの各表示領域の配置順に、同じ列同士の表示領域には、前記再計算された行方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当て、異なる列同士の表示領域には、前記再計算された列方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当てる制御処理とを実行させるための
プログラム。
【請求項９】
入力された動画像を、少なくとも２つの列及び２つの行で構成される複数の表示領域のそれぞれに、動画像として表示させる画像生成方法であって、
前記入力された動画像の画像信号を蓄積する蓄積処理と、
前記蓄積処理で蓄積された画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させる画像信号生成処理と、
前記画像信号生成処理で生成させる画像信号の読み出し開始フレームを、前記表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示される動画像の再生フレーム間隔を制御する制御処理であって、
前記蓄積処理で蓄積された画像信号から判別した、特定の物体の映像を含むフレームを、前記複数の表示領域で形成されるマルチ画面全体に再割り当てさせるための指令が入力された場合には、
前記物体が動いている時間と、前記複数の表示領域の行数の情報とを基に、行方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔を再計算し、
前記物体の動き終わりのフレームの情報と、前記物体がフレームアウトする直前のフレームの情報と、前記複数の表示領域の列の数の情報とを基に、列方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔を再計算し、
前記複数の表示領域のうちのいずれかの端の表示領域に、前記物体がフレームアウトする直前のフレームを読み出し開始フレーム位置として割り当て、
前記端の表示領域からの各表示領域の配置順に、同じ列同士の表示領域には、前記再計算された行方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当て、異なる列同士の表示領域には、前記再計算された列方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当てる制御処理とを実行させるためのプログラムを記録した
記録媒体。
【請求項１０】
入力された動画像を、少なくとも４つの列及び２つの行で構成される複数の表示領域のそれぞれに、動画像として表示させる画像生成方法であって、
前記入力された動画像の画像信号を蓄積する蓄積処理と、
前記蓄積処理で蓄積された画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させる画像信号生成処理と、
前記画像信号生成処理で生成させる画像信号の読み出し開始フレームを、前記表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示される動画像の再生フレーム間隔を制御する制御処理であって、
前記蓄積処理で蓄積された画像信号から判別した、特定の物体の映像を含むフレームを、前記複数の表示領域で形成されるマルチ画面全体に再割り当てさせるための指令が入力された場合には、
前記物体が動いている時間と、前記複数の表示領域の行数の情報とを基に、行方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔を再計算し、
前記物体がフレームインした直後のフレームの情報と、前記物体がフレームアウトする直前のフレームの情報と、前記複数の表示領域の列の数の情報とを基に、前記物体がフレームインした直後のフレームから前記物体の動き終わりのフレームまでのうちの少なくとも一部のフレームを端の列の隣の列の表示領域に表示させるように、列方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔を、端の列とその隣の列との間でそれ以外の列の間よりも短くなるように再計算し、
前記複数の表示領域のうちのいずれかの端の表示領域に、前記物体がフレームアウトする直前のフレームを読み出し開始フレーム位置として割り当て、
前記端の表示領域からの各表示領域の配置順に、同じ列同士の表示領域には、前記再計算された行方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当て、異なる列同士の表示領域には、前記再計算された列方向に隣り合う各表示領域間での前記読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当てる制御処理とを実行させるためのプログラムを記録した
記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば監視カメラが撮影した画像などの入力した画像信号を、複数の表示領域に分割してマルチ画面表示を行う場合に適用して好適な画像生成装置及び表示装置、画像生成方法、プログラム並びにプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
従来、ビル等の建物の内部や駐車場等、監視を行いたい場所に監視カメラを設置して、監視カメラから送信される映像を確認することで、監視領域を監視することが行われている。監視領域の監視は、監視カメラとは離れた場所にある管理室等で行うのが一般的であり、監視カメラは、例えば管理室内に設置された制御装置にネットワークを介して接続してある。制御装置には記憶装置や表示装置を接続してあり、監視カメラから送信された映像は、制御装置を介して記憶装置に記録されるとともに、表示装置上に表示される。
【０００３】
監視カメラが複数の箇所に設置されている場合には、複数の監視カメラからの映像が制御装置に送信されることになる。この場合は、複数の監視カメラからの映像を同時にモニタすることができるように、複数の映像を１つの画面上に分割表示したり、複数台の表示装置で構成されるマルチ画面上に表示したりすることも行われている。表示画面上に映像を表示する時間の間隔は、例えば１フレーム毎や１０フレーム毎等に設定可能であり、所定のフレーム表示時間が経過した後には、次のフレームの映像が表示されるようになる。
【０００４】
ところが、ある特定の監視カメラから送信された映像に注目して、その時点で表示されている映像から時間的に前後する映像を確認したい場合等には、巻き戻しや早送り等の操作を行う必要があり、手間がかかるという問題があった。
【０００５】
特許文献１には、１つの映像を構成する各フレームを抜き出して、抜き出した各フレームを、表示画面上の各分割領域に順番に貼り付けることについて開示してある。
【特許文献１】特開２００７−２５１９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載のような手法を用いれば、複数台の表示装置又は複数の分割領域の集合体で形成されるマルチ画面において、映像の時間方向の変化が表現されるようになる。よって、映像中の特定の物体の動きも解析し易くなる。ところが、監視の対象が、駐車場に駐車された車等である場合には、このような手法では物体の変化を追えない場合がある。駐車場に車が駐車されている時間は１時間や２時間等となる場合がほとんどであり、この間に撮影された映像においては、物体に時間方向の変化が生じないためである。
【０００７】
このような長い時間間隔における変化を確認できるように、各表示画面に表示させるフレームのサンプリング間隔を長くとることも可能である。しかしこのような設定にすると、今度は車の動き終わりと動き出しといった短い時間軸において表現される情報が、マルチ画面上で表示されなくなってしまう可能性が出てくる。つまり、従来の手法では、長い時間間隔で表現される大局的な情報と、短い時間間隔で表現される細かい動きの情報とを一度に確認することができなかった。
【０００８】
本発明はかかる点に鑑みてなされたものであり、長い時間間隔で表現される大局的な情報と、短い時間間隔で表現される細かい動きの情報とを、一度に確認できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、入力された動画像を、少なくとも２つの列及び２つの行で構成される複数の表示領域のそれぞれに、動画像として表示させるための画像信号を生成する画像生成装置において、入力された画像信号を蓄積する記憶部と、記憶部に蓄積された画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させるための画像信号とする画像信号生成部を備えた。そして、画像信号生成部で生成させる画像信号の読み出し開始フレームを、表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示される動画像の再生フレーム間隔を制御する制御部とを備えた。
この制御部は、
記憶部が記憶した画像信号から判別した、特定の物体の映像を含むフレームを、複数の表示領域で形成されるマルチ画面全体に再割り当てさせるための指令が入力された場合には、
物体が動いている時間と、複数の表示領域の行数の情報とを基に、行方向に隣り合う各表示領域間での読み出し開始フレームの設定間隔を再計算し、
物体の動き終わりのフレームの情報と、物体がフレームアウトする直前のフレームの情報と、複数の表示領域の列の数の情報とを基に、列方向に隣り合う各表示領域間での読み出し開始フレームの設定間隔を再計算し、
複数の表示領域のうちのいずれかの端の表示領域に、物体がフレームアウトする直前のフレームを読み出し開始フレーム位置として割り当て、
端の表示領域からの各表示領域の配置順に、同じ列同士の表示領域には、再計算された行方向に隣り合う各表示領域間での読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当て、異なる列同士の表示領域には、再計算された列方向に隣り合う各表示領域間での読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当てる。
また本発明は、入力された動画像を、少なくとも４つの列及び２つの行で構成される複数の表示領域のそれぞれに、動画像として表示させるための画像信号を生成する画像生成装置において、入力された画像信号を蓄積する記憶部と、記憶部に蓄積された画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させるための画像信号とする画像信号生成部を備えた。そして、画像信号生成部で生成させる画像信号の読み出し開始フレームを、表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示される動画像の再生フレーム間隔を制御する制御部とを備えた。
この制御部は、
記憶部が記憶した画像信号から判別した、特定の物体の映像を含むフレームを、複数の表示領域で形成されるマルチ画面全体に再割り当てさせるための指令が入力された場合には、
物体が動いている時間と、複数の表示領域の行数の情報とを基に、行方向に隣り合う各表示領域間での読み出し開始フレームの設定間隔を再計算し、
物体がフレームインした直後のフレームの情報と、物体がフレームアウトする直前のフレームの情報と、複数の表示領域の列の数の情報とを基に、物体がフレームインした直後のフレームから物体の動き終わりのフレームまでのうちの少なくとも一部のフレームを端の列の隣の列の表示領域に表示させるように、列方向に隣り合う各表示領域間での読み出し開始フレームの設定間隔を、端の列とその隣の列との間でそれ以外の列の間よりも短くなるように再計算し、
複数の表示領域のうちのいずれかの端の表示領域に、物体がフレームアウトする直前のフレームを読み出し開始フレーム位置として割り当て、
端の表示領域からの各表示領域の配置順に、同じ列同士の表示領域には、再計算された行方向に隣り合う各表示領域間での読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当て、異なる列同士の表示領域には、再計算された列方向に隣り合う各表示領域間での読み出し開始フレームの設定間隔ずつ前のフレームを読み出し開始フレーム位置として割り当てる。
【００１０】
このようにしたことで、複数の各表示部においては所定の再生フレーム間隔で映像が表示されるとともに、少なくとも２つの列及び２つの行で構成されるマルチ画面上では、複数の表示部の配置の順番に応じて読み出し開始位置が遅延された、複数の映像が表示されるようになる。
そして、物体が動いている時間の長さが停止している時間の長さに比べて極端に短い場合であっても、物体が動いている時間の情報を、時間方向における密度を落とすことなくマルチ画面上に表現することができるようになる。
また、このようにしたことで、複数の各表示部においては所定の再生フレーム間隔で映像が表示されるとともに、少なくとも４つの列及び２つの行で構成されるマルチ画面上では、複数の表示部の配置の順番に応じて読み出し開始位置が遅延された、複数の映像が表示されるようになる。
そして、物体が動いている時間の長さが停止している時間の長さに比べて極端に短い場合であっても、物体が動いている時間の情報を、時間方向における密度を落とすことなくマルチ画面上に表現することができるようになる。
さらに、ユーザによる物体の見逃しを防止することができるようになる。
【発明の効果】
【００１１】
本発明によると、各表示部においては短い時間間隔で表現される細かい動きの情報を確認できると同時に、複数の表示部により構成されるマルチ画面上では、長い時間間隔で表現される大局的な情報を確認することができるようになる。
そして、物体が動いている時間の長さが停止している時間の長さに比べて極端に短い場合であっても、物体が動いている時間の情報を、時間方向における密度を落とすことなくマルチ画面上に表現することができるようになる。
さらに、ユーザによる物体の見逃しを防止することができるようになる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の第１の実施の形態を、図１〜図５を参照して説明する。図１は、本実施の形態の例による監視システムの構成例を示す図である。図１に示した監視システム１は、駐車場等の監視領域を撮影するカメラ１０と、表示装置Ｄ１〜Ｄ２５と、カメラ１０から送信された動画像を蓄積して、蓄積した動画像の画像信号を表示装置Ｄごとにタイミングをずらして読み出し、読み出した画像信号を各表示装置Ｄに出力する画像生成装置２０とで構成される。カメラ１０は図示せぬネットワーク等を介して画像生成装置２０に接続してあり、画像生成装置２０には表示装置Ｄ１〜Ｄ２５を接続してある。図１においては、画像信号の流れを破線で示してあり、制御信号の流れを実線で示してある。なお、図１では表示装置Ｄ２〜Ｄ２４の図示を省略してある。
【００１３】
表示装置Ｄは、図３に示したように、縦方向に５行、横方向に５列のマトリクス状に配置してあり、２５個の表示装置Ｄによって一つのマルチ画面を形成するようにしてある。そして画像生成装置２０（図１参照）は、マルチ画面を構成する各表示装置Ｄ上に表示される映像が、マルチ画面の左端から上方向及び右側方向に進むにつれて徐々に遅延されるように、画像信号を読み出す際の読み出し開始フレームの位置を例えば９０フレーム等の所定の間隔でずらしながら、１フレーム等の所定の再生フレーム間隔で画像信号を読み出して、各表示装置Ｄに出力する処理を行う。表示装置Ｄの配列や画像信号の再生間隔については後述する。
【００１４】
なお、本例では表示装置Ｄを２５個用いる構成を例に挙げているが、表示装置Ｄをその他の数で構成するようにしてもよい。また、表示装置Ｄを複数台用いるのではなく、一つの表示装置の画面を複数の領域に分割した分割領域により、マルチ画面を構成するようにしてもよい。又は、表示装置あるいは分割領域を縦方向の一列もしくは横方向の一列に配列した場合に適用してもよい。
【００１５】
また、本例では画像信号を蓄積する記憶部２１を画像生成装置２０に備えさせた場合を例に挙げたが、各表示装置Ｄがそれぞれに記憶部２１を備える構成に適用してもよい。
【００１６】
再び図１に戻って監視システム１の構成についての説明を続けると、画像生成装置２０は、カメラ１０から送信された画像信号を蓄積する記憶部２１と、リモートコントローラとして構成された操作部２２と、画像生成装置２０の各部を制御する制御部２３と、フレーム抽出部２４と、ＯＳＤ処理部２５とを備える。記憶部２１は、例えばＨＤＤ（Hard Disk Drive）やＤＶＤ（Digital Versatile Disc）ドライブ等で構成してあり、制御部２３は、ＭＰＵ（Micro Processing Unit）等で構成してある。フレーム抽出部２４とＯＳＤ処理部２５は、表示装置Ｄの数に対応させて設けるようにする。図１に示した例では、表示装置Ｄは２５台としてあるため、フレーム抽出部２４とＯＳＤ処理部２５もそれぞれ２５個必要となる。
【００１７】
操作部２２は、ユーザより、映像の再生開始や再生停止の指示、再生を開始するフレームの指定や、後述する画像信号の読み出し開始フレームの設定間隔や映像再生フレーム間隔等の入力を受け付けるインターフェース部であり、受け付けた操作入力に対応する操作信号を生成して制御部２３に出力する。なお、本例では、操作部２２としてリモートコントローラを用いた場合を例に挙げたが、これに限定されるものではなく、ジョイスティックや十字キー、キーボード等の他の装置を用いるようにしてもよい。
【００１８】
制御部２３は、フレーム制御部２３ａを有しており、フレーム制御部２３ａは、表示装置Ｄの配列情報と、画像信号取得の読み出し開始フレームの設定間隔情報、映像再生のサンプリング間隔情報を基に、どの表示装置Ｄに、記憶部２１に蓄積された画像信号のうちのどのフレームを出力するかを算出する。そして算出したフレームのフレーム番号をフレーム制御情報に含めて、生成したフレーム制御情報をフレーム抽出部２４に出力する。またフレーム制御部２３ａは、表示装置Ｄ上で再生させる映像にフレーム番号を重畳するための、ＯＳＤ（On Screen Display）制御情報も生成し、生成したＯＳＤ制御情報をＯＳＤ処理部２５に出力する。
【００１９】
フレーム抽出部２４は、フレーム制御情報の中で指定されたフレームを記憶部２１から読み出し、読み出したフレームをＯＳＤ処理部２５に出力する。ＯＳＤ処理部２５は、フレーム抽出部３１ｂから入力されたフレームに、フレーム制御部２３ａから入力されたＯＳＤ制御情報に含まれるフレーム番号を重畳して、フレーム番号を重畳したフレームを各表示装置Ｄ１〜Ｄ２５に出力する。
【００２０】
このように構成された監視システム１において、カメラ１０で撮影された画像信号はまず、画像生成装置２０の記憶部２１に蓄積される。そして、操作部２２からの操作入力等によって再生が指示されたタイミングで、フレーム制御部２３ａによって、各表示装置Ｄに表示させるフレームのフレーム番号が算出される。算出されたフレーム番号は、フレーム制御情報に含められて制御部２３のフレーム抽出部２４に出力される。
【００２１】
フレーム抽出部２４では、受信したフレーム制御情報に含まれるフレーム番号に対応するフレームを、記憶部２１から読み出す処理が行われる。フレーム抽出部２４で読み出されたフレームは、ＯＳＤ処理部２５に出力される。ＯＳＤ処理部２５では、フレーム抽出部２４から出力されたフレームに、ＯＳＤ制御情報内に記載されたフレーム番号を重畳する処理が行われる。フレーム番号が重畳されたフレームは、ＯＳＤ処理部２５から表示装置Ｄ１〜Ｄ２５に出力され、表示装置Ｄの図示せぬモニタ等に表示される。なお、本例では映像にＯＳＤ表示する情報としてフレーム番号を例に挙げたが、フレーム番号以外の他の情報をＯＳＤ表示させるようにしてもよい。又は、ＯＳＤ表示を行わないようにしてもよい。
【００２２】
なお、図１に示した構成では、画像生成装置２０で、各表示装置Ｄに供給する画像信号を生成させる処理まで行って、それぞれの表示装置Ｄでは、供給される画像信号を入力させるだけの構成としたが、画像生成装置２０として、画像信号の記憶とその記憶した画像信号の表示制御だけを行う構成として、各表示装置Ｄが記憶部２１に記憶された画像信号を読み出す構成としてもよい。
【００２３】
この場合の監視装置１′の構成例を、図２に示してある。図２において図１に対応する箇所には同一の符号を付してある。図２に示した監視装置１′において、画像生成装置２０′は、カメラ１０から送信された画像信号を蓄積する記憶部２１と、操作部２２と、制御部２３のみを備えた構成としてある。制御部２３には、フレーム制御部２３ａも含まれる。フレーム制御部２３ａでは、図１に示した構成と同様に、フレーム制御情報とＯＳＤ制御情報を生成する処理を行う。そして、生成したフレーム制御情報とＯＳＤ制御情報各表示装置Ｄ１〜Ｄ２５に出力する。
【００２４】
そして、表示装置Ｄ１〜Ｄ２５側に、フレーム抽出部３１ｂとＯＳＤ処理部３１ｄを備えさせてある。表示装置Ｄ１〜Ｄ２５には、それぞれＬＣＤ（Liquid Crystal Display）等で構成された表示部３２を設けてあり、この他に、画像生成装置２０′から送信されたフレーム制御情報を、フレーム抽出部３１ｂに出力するフレーム情報Ｉ／Ｆ部３１ａと、画像生成装置２０′から送信されたＯＳＤ制御情報を、ＯＳＤ処理部３１ｄに出力するＯＳＤ制御情報Ｉ／Ｆ部３１ｃとを備える。
【００２５】
フレーム抽出部３１ｂは、フレーム制御情報の中で指定されたフレームを取得するための取得要求を、画像生成装置２０に送信するとともに、画像生成装置２０から送信されたフレームを受信する。そして、受信したフレームをＯＳＤ処理部３１ｄに出力する。ＯＳＤ処理部３１ｄでは、ＯＳＤ制御情報Ｉ／Ｆ部３１ｃから送られたＯＳＤ制御情報に基づいて、フレーム抽出部３１ｂから出力されたフレームにフレーム番号を重畳し、フレーム番号を重畳したフレームを表示部３２に出力する。表示部３２は、ＯＳＤ処理部３１ｄから送信されたフレームを表示する。
【００２６】
このように構成された監視システム１′において、カメラ１０で撮影された画像信号はまず画像生成装置２０の記憶部２１に蓄積される。そして、操作部２２からの操作入力等によって再生が指示されたタイミングで、フレーム制御部２３ａによって、各表示装置Ｄに表示させるフレームのフレーム番号が算出される。算出されたフレーム番号は、フレーム制御情報に含められて表示装置Ｄ１〜Ｄ２５のフレーム制御情報Ｉ／Ｆ部３１ａに出力され、フレーム制御情報Ｉ／Ｆ部３１ａによって受信されたフレーム制御情報は、フレーム抽出部３１ｂに伝送される。
【００２７】
フレーム抽出部３１ｂでは、受信したフレーム制御情報に含まれるフレーム番号に対応するフレームを、画像生成装置２０の記憶部２１から読み出す処理が行われる。そしてフレーム抽出部３１ｂで読み出されたフレームは、ＯＳＤ処理部３１ｄに出力される。またＯＳＤ処理部３１ｄには、画像生成装置２０から送信されたＯＳＤ制御情報も、ＯＳＤ制御情報Ｉ／Ｆ部３１ｃを介して入力される。そしてＯＳＤ処理部３１ｄによって、フレーム抽出部３１ｂから出力されたフレームに、ＯＳＤ制御情報内に記載されたフレーム番号を重畳する処理が行われる。フレーム番号が重畳されたフレームは、ＯＳＤ処理部３１ｄから表示部３２に出力され、表示部３２上に表示される。
【００２８】
次に、図３を参照して、表示装置Ｄ１〜Ｄ２５の配列についてと、画像生成装置２０における画像信号の読み取り開始フレームの設定間隔について説明する。図３には、表示装置Ｄ１〜Ｄ２５を５行×５列のマトリクス状に配置して、マルチ画面を構成した様子を示してある。マルチ画面の右上端には表示装置Ｄ１を配置してあり、表示装置Ｄ１の下には表示装置Ｄ２〜Ｄ５を縦一列に並べて配置してある。表示装置Ｄ１の左隣には表示部Ｄ６を配置してあり、表示装置Ｄ６の下には表示装置Ｄ７〜Ｄ１０を縦一列に並べて配置してある。このような形態で、表示装置Ｄ２５までを配置してあり、表示装置Ｄ２５が、マルチ画面の左下端に位置するようにしてある。
【００２９】
各表示装置Ｄの右下方の領域に四角で囲って表現した数字は、表示装置Ｄに表示されているフレームのフレーム番号である。各表示装置Ｄ上では、映像が例えば６０ｆｐｓ等の再生レートで表示されるため、表示されるフレーム番号は、時間の経過に伴って次々と新しいフレーム番号に書き換えられるようになる。つまり図３に示した図は、１フレーム表示時間における表示状態を示したものとなる。各表示装置Ｄ上での映像再生のサンプリング間隔も、操作部２２（図１、図２参照）を通して設定可能としてあり、再生サンプリング間隔を例えば２と設定した場合には、画像信号が２フレームおきに間引かれて表示されるようになる。
【００３０】
図３においては、右上端に配置された表示装置Ｄ１に表示されているフレーム番号は０であり、その下に配置された表示装置Ｄ２に表示されているフレーム番号は、９０であることが示されている。そして、表示部Ｄ２の下に配置された表示装置Ｄ３に表示されているフレーム番号は１８０となっている。以降、配置位置が下方向に進むにつれて、再生映像におけるフレームの番号が、９０フレームずつ大きくなっていることが示されている。
【００３１】
本例では、このような、行方向に隣り合う表示装置Ｄ間での読み出し開始フレームの設定間隔をＫｒとしてあり、この値は、各表示装置Ｄのフレーム抽出部３１ｂ（図２参照）が、画像生成装置２０の記憶部２１から画像信号を読み出す間隔によって決定するものである。読み出し開始フレームの設定間隔Ｋｒは、操作部２２等を介してユーザが任意の値に設定可能としてある。つまり図３に示した例では、読み出し開始フレームの設定間隔Ｋｒは９０に設定されていることになる。以下の説明においては、読み出し開始フレームの設定間隔Ｋｒを、変数Ｋｒとも称する。
【００３２】
読み出し開始フレームの設定間隔Ｋｒは、マルチ画面の右端の列の最下段に配置された表示装置Ｄ５と、その左隣の列の最上段の表示装置Ｄ６との間にも、同じ値（９０）が設定される。このため、表示装置Ｄ５にはフレーム番号３６０の映像が表示されているのに対して、表示装置Ｄ６には、３６０フレームから９０フレーム先の、フレーム番号４５０の映像が表示されている。つまり、列方向に隣り合う表示装置Ｄ間での読み出し開始フレームの設定間隔Ｋｃは、マルチ画面を構成する列の数をＭ列とした場合に、Ｋｒ×Ｍで求めることができる。
【００３３】
図３に示した例では列の数を５列としてあるため、読み出し開始フレームの設定間隔Ｋｃは、Ｋｒ（９０）×Ｍ（５）＝４５０となる。このように構成してあるため、マルチ画面における表示装置Ｄの配置位置が上から下、そして右から左に進むにつれて、表示装置Ｄに表示される映像のフレーム番号は大きくなり、マルチ画面の左下端に配置された表示装置Ｄ２５に一番大きなフレーム番号（２１６０）の映像が表示されるようになる。つまり、マルチ画面の左下端に配置された表示装置Ｄ２５には、その時点での最新の映像が表示されるのに対して、右上端に配置された表示装置Ｄ１には、一番古い映像が表示されるようになる。
【００３４】
次に、図４のフローチャートを参照して、ユーザにより映像の再生開始が指示されてから各表示装置Ｄに映像が表示されるまでの間の、画像生成装置２０及び表示装置Ｄでの処理の例について説明する。図４における画像生成装置２０と表示装置Ｄは、図２に示した構成であるものとする。図４において、画像生成装置２０は、まず操作部２２より映像再生開始を指示する操作信号の入力を受け付けると（ステップＳ１）、フレーム制御部２３ａによって、マルチ画面に表示させるフレームの範囲が算出される（ステップＳ２）。例えば図３に示したような５×５のマトリクスに、読み出し開始フレームの設定間隔Ｋｒを９０として映像を表示する場合で、かつユーザにより指定された再生開始フレームの番号が０であった場合には、マルチ画面に表示させるフレームの終端フレームの番号は、９０×（５×５−１）＋０＝２１６０と算出される。よって、１フレーム表示時間でマルチ画面に表示させるフレームは、フレーム番号０から２１６０までのフレームということになる。
【００３５】
そしてステップＳ３では、ステップＳ２で算出したフレームの範囲に基づいて、各表示装置Ｄに表示させるフレームが算出され、算出したフレーム番号を含むフレーム制御情報及びＯＳＤ制御情報がＯＳＤ処理部３１ｄによって生成される。そして、生成されたフレーム情報及びＯＳＤ制御情報が、ＯＳＤ処理部３１ｄから各表示装置Ｄに送信される（ステップＳ４）。ステップＳ４では、予め設定された各表示装置Ｄの配列情報を基に、まず、表示装置Ｄ１にはフレーム番号０、表示装置Ｄ２にはフレーム番号９０、表示装置Ｄ３にはフレーム番号１８０のフレームといったように、各表示装置Ｄとそこに表示させるフレームとを対応づける処理が行われる。そして、フレーム制御情報とＯＳＤ制御情報とが、対応づけられた各表示装置Ｄに送信される。
【００３６】
表示装置Ｄでは、画像生成装置２０から送信されたフレーム制御情報及びＯＳＤ制御情報を受信すると（ステップＳ１１）、フレーム制御情報の中で指定されたフレーム番号に対応するフレームが、フレーム抽出部３１ｂによって画像生成装置２０の記憶部２１から読み出され（ステップＳ１２）、ＯＳＤ処理部３１ｄによって、ステップＳ１２で読み出されたフレームに、ＯＳＤ制御情報内で指定されたフレーム番号がＯＳＤ処理される（ステップＳ１３）。そして、ＯＳＤ処理されたフレームがＯＳＤ処理部３１ｂから表示部３２（図２参照）に出力され（ステップＳ１４）、ＯＳＤ処理されたフレームが表示部３２上に表示される（ステップＳ１５）。表示装置Ｄでの処理は、画像生成装置２０からフレーム制御情報が送信されている間、継続して行われる。
【００３７】
画像生成装置２０では、ステップＳ４でフレーム制御情報及びＯＳＤ制御情報を表示装置Ｄに送信した後は、再生の停止を指示する指令を受信したか否かの判断、又は、再生フレームが終了したかの判断を行う（ステップＳ５）。再生の停止指令を受信した場合、又は再生すべきフレームが無いと判断された場合には、再生を終了する（ステップＳ８）。再生の停止命令を受信しておらず、また再生すべきフレームもまだあると判断された場合には、次にフレーム制御部２３ａによって、表示装置Ｄに送信済みのフレーム番号にＬフレーム分が追加され、Ｌフレームが追加された新たなフレーム番号を基に、フレーム制御情報及びＯＳＤ制御情報が更新される（ステップＳ６）。Ｌが例えば１に設定されている場合には、表示装置Ｄ１に送信したフレーム番号であれば、０に１を加算して得られる「１」が新しいフレーム番号となり、表示装置Ｄ２に送信したフレーム番号であれば、９０に１を加算した「９１」が新しいフレーム番号になる。ステップＳ６の処理は、マルチ画面を構成するすべての表示装置Ｄに対して行われる。
【００３８】
次に、Ｌフレームの表示時間が経過したか否かの判断が行われ（ステップＳ７）、Ｌフレーム表示時間が経過するまでの時間は、そのままの状態で待機となる。Ｌフレームの表示時間が経過したと判断された場合にはステップＳ４に戻り、フレーム制御情報及びＯＳＤ制御情報が各表示装置Ｄに送信される。ここで送信されるフレーム制御情報とＯＳＤ制御情報は、ステップＳ６で更新された制御情報となる。画像生成装置２０における上述した処理は、ステップＳ５で“Ｙｅｓ”が選択されるまでの間継続して行われる。
【００３９】
なお、図４に示した処理では、画像生成装置２０側で各表示装置Ｄに表示させるフレーム番号をＬフレーム表示時間毎に更新し、その都度各表示装置Ｄに送信する場合を例に挙げたが、画像生成装置２０から表示装置Ｄに対するフレーム制御情報の送信は最初の一度だけ行い、以降は、表示装置Ｄ側でＬフレーム表示時間毎にフレーム番号の更新を行う構成としてもよい。この場合は、画像生成装置２０から各表示装置Ｄに対して送信される最初のフレーム制御情報の中に、再生サンプリング間隔Ｌと読み出し開始フレームの設定間隔Ｋｒの情報も含めるようにする。例えば、表示装置Ｄ２（図３参照）に対しては、（表示装置Ｄ１に出力するフレーム＋Ｋｒ）のフレームをＬフレーム間隔で表示させるための制御情報を送り、表示装置Ｄ２５に対しては、（表示装置Ｄ１に出力するフレーム＋Ｋｒ×（２５−１））のフレームをＬフレーム間隔で表示させるための制御情報を送るようにする。
【００４０】
図５には、マルチ画面に表示される各フレームが、時間経過に伴い遷移する様子の例を示してある。図５においては、各表示装置Ｄ上に表示される映像の図示を省略してある。図５（ａ）には、マルチ画面の右上端の表示装置Ｄ１にフレーム番号０の映像が表示され、左下端の表示装置Ｄ２５にはフレーム番号２１６０の映像が表示されている様子を示してある。つまり、各表示装置Ｄ間での読み出し開始フレームの設定間隔Ｋｒは、９０に設定してある。図５に示した例においては、再生サンプリング間隔Ｌは１に設定されているものとする。
【００４１】
図５（ａ）に示した状態からＬフレーム表示時間が経過すると、図４のフローチャートのステップＳ７でＹｅｓが選択されてステップＳ４に進む。そしてステップＳ４では、ステップＳ６で予め更新済みのフレーム制御情報及びＯＳＤ制御情報が、各表示装置Ｄに送信される。ステップＳ６においては、表示装置Ｄ１〜Ｄ２５に送信済みの各フレーム番号にＬ（１）が加算されているため、表示装置Ｄ１に送信されるフレーム番号は９０＋１＝９１となり、表示装置２５に送信されるフレーム番号は２１６０＋１＝２１６１となる。フレーム制御情報及びＯＳＤ制御情報を受信した各表示装置Ｄでは、受信したフレーム制御情報に記載されたフレーム番号のフレームを表示させる。よって、図５（ａ）からＬ（１）フレーム表示時間が経過した段階では、マルチ画面を構成する各表示装置Ｄに表示されるフレーム番号は、図５（ｂ）のようになる。
【００４２】
図５（ｂ）では、表示装置Ｄ１にはフレーム番号１の映像が表示され、表示装置Ｄ２にはフレーム番号９１の映像が表示され、表示装置Ｄ２５にはフレーム番号２１６１の映像が表示されている。図５（ｂ）においても、各表示装置Ｄ間での読み出し開始フレームの設定間隔Ｋｒは９０であることが示されている。図５（ｂ）に示した状態から９０Ｌフレーム表示期間が経過した状態を、図５（ｃ）に示してある。図５（ｃ）では、表示装置Ｄ１にフレーム番号９０の映像が表示され、表示装置Ｄ２にフレーム番号１８０の映像が表示され、表示装置Ｄ１にはフレーム番号２２５０の映像が表示されている。
【００４３】
つまり、図５（ｃ）に示したタイミングでは、表示装置Ｄ２に９０フレーム表示時間前に表示されていたフレーム（フレーム番号９０）が表示装置Ｄ１に表示されており、表示装置Ｄ３に９０フレーム表示時間前に表示されていたフレーム（フレーム番号１８０）が表示装置Ｄ１に表示されている。そして、左下端に配置された表示装置Ｄ２５には、その時点での最新のフレーム（フレーム番号２２５０）が表示されている。
【００４４】
このような構成とすることにより、ユーザ（監視者）は、自分が注視している画面上で監視対象としての物体を見失った場合であっても、視線を上方向もしくは右方向に移動させることで、見失った物体を再度確認することができる。同様に、下方向もしくは左方向に視線を移動させることで、注視している画面上に表示されている映像より未来の映像を確認することができる。つまり、早送りや巻き戻し等の煩雑な操作等を行うことなく、視線を移動させるのみで、所望の時間軸の映像を見ることができるようになる。
【００４５】
また、マトリクス状に配置した各表示装置に、再生のタイミングを所定の間隔でずらした映像を表示させているため、長い時間間隔で表現される大局的な情報を一度に取得することができるようになる。
【００４６】
また、各表示装置Ｄにおける映像の再生サンプリング間隔Ｌと、各表示装置Ｄ間での読み出し開始フレームの設定間隔Ｋｒという２つの異なる時間軸を、一つのマルチ画面上で表現しているため、Ｌフレーム間隔で表現される物体の細かな動き情報と、Ｋｒを基にマルチ画面全体で表現される大局的な情報とを、一度に確認することができるようになる。
【００４７】
さらに、各表示装置Ｄ間での読み出し開始フレームの設定間隔Ｋｒの大きさを調整することで、マルチ画面全体で一度に表現可能な時間の長さを調整することができるようになる。例えばＫｒを大きな値とすることで、マルチ画面全体で一度に表現可能な時間の間隔を長くとることができるようになる。これにより、監視する領域が駐車場等の、監視対象の物体に長い時間変化がないような状況であっても、長い時間における映像を、マルチ画面の一画面上に表現することができるようになる。
【００４８】
なお、ここまで説明した実施の形態では、各表示装置Ｄ間での読み出し開始フレームの設定間隔を決める値として、変数Ｋｒと、変数Ｋｒにマルチ画面の列の数を乗算することで算出できる変数Ｋｃとを用いた例を説明したが、変数Ｋｒと変数Ｋｃとで、互いに相関しない別々の値を設定するようにしてもよい。変数Ｋｒと変数Ｋｃの値は、ユーザから操作部２２を介して値を入力させるようにしてもよく、監視領域における特定の物体の動きに基づいて自動的に算出するようにしてもよい。
【００４９】
監視領域における物体の動きに基づいて、変数Ｋｒと変数Ｋｃを自動的に算出する場合の例を、図６〜図８を参照して説明する。ここでは、監視領域が駐車場であり、駐車場における特定の車を監視対象とした場合を例に挙げる。図６には、監視対象の車が監視領域内にフレームインしてからフレームアウトするまでの間に起きたイベントを、フレーム中のタイムコード（秒）と対応させて示してある。監視対象の車（以下、物体とも称する）が監視領域内に存在している時間が３６００秒である場合に、そのうち、車が監視領域内に進入開始してから進入を終えるまでの時間は、３００秒時点から４８０秒時点までの１８０秒間であり、車が監視領域内から退去を開始してから退去終了までの時間が、３６６０秒時点から３９００秒時点までの２４０秒間である場合の例が示されている。残りの３１８０秒間は、車が駐車場内で停止している滞在時間となる。
【００５０】
図６に示した例において、監視領域に車が存在している１時間の間に得た映像を、一つのマルチ画面上で表現するとなると、読み出し開始フレームの設定間隔Ｋｒの値を大きな値とする必要がある。ところが、変数Ｋｒを大きな値とすると、車の進入時や退去時のような非常に短い時間間隔で表現されるイベントは、映像としてサンプリングされなくなってしまう可能性がある。このような問題を解決するには、車の進入時や退去時などの、監視者が注視したい映像をより多く含む時間帯においてはフレームのサンプリング間隔を細かくし、車に動きのない滞在時間においてはフレームのサンプリング間隔を大きくとるようにすればよい。つまり、行方向に隣り合う各表示装置間での読み出し開始フレームの設定間隔であるＫｒは、車の移動時間を基に算出し、列方向に隣り合う各表示装置間での読み出し開始フレームの設定間隔であるＫｃは、車の滞在時間を基に算出するようにすることで、長い時間間隔での動きと短い時間間隔での動きとを一つのマルチ画面上に表現することができるようになる。
【００５１】
図７には、この場合の画像表示装置２０及び表示装置Ｄでの処理の例を、フローチャートで示してある。図７において、画像生成装置２０はまず、ユーザからの再生の開始指令を受け取ると（ステップＳ２１）、フレーム制御部２３ａによって、監視領域における物体の存在時間と動き時間とが算出される（ステップＳ２２）。監視領域における物体の特定は、動体検知等のプログラムによって自動的に行われるものとする。物体の存在時間は、図６に示した例であれば３６００秒であり、物体の移動時間は、進入時間の１８０秒と退去時間の２４０秒となる。
【００５２】
次のステップＳ２３では、フレーム制御部２３ａによって、物体の動き時間（物体が動いている時間）と表示装置Ｄの行数（Ｍ）との情報を基に、行方向に隣り合う各表示装置Ｄ間での読み出し開始フレームの設定間隔Ｋｒが算出される。ここでは説明を簡単にするため、フレーム単位ではなく秒単位で計算した場合を例に挙げる。
【００５３】
物体の動き時間としては進入時間と退去時間があるが、ここでは経過時間が長い方の時間を計算に用いるようにする。よって、図６に示した例では、進入時間ではなく退去時間（２４０秒）が採用される。また行数Ｎは、表示装置Ｄの配列を例えば図３に示した配列（Ｍ列×Ｎ行＝５×５）とした場合には５となる。これらの情報を、変数Ｋｒ×（Ｎ列−１）＝（物体の動き時間）の式に当てはめることにより、変数Ｋｒを求める。変数Ｋｒ×（５−１）＝２４０を解くと、Ｋｒは６０となる。
【００５４】
次にステップＳ２４では、物体の動き終わりのフレームの情報と、物体が存在する最終フレーム（物体がフレームアウトする直前フレーム）の情報と、マルチ画面を構成する列の数Ｍから、列方向に隣り合う各表示装置Ｄ間での読み出し開始フレームの設定間隔Ｋｃが算出される。ここではＭが５であることから、列間の間隔は４つあることになる。よって、４Ｋｃ＝｛（物体がフレームアウトする時点の秒数（又はフレーム番号））−（物体の動き終わり時点での秒数（又はフレーム番号）｝の計算式を解くことにより、変数Ｋｃを求めることができる。物体が存在する最終フレームや物体の動き終わりのフレームは、プログラムにより自動的に算出してもよく、ユーザにフレーム番号や秒数等で指定させるようにしてもよい。
【００５５】
図６に示した例では、物体が退去を完了した時点（物体が監視領域からフレームアウトした時点）の秒数は３９００秒であり、物体が監視領域への進入を終えた（動きを止めた）時点での秒数は４８０秒である。よって、４Ｋｃ＝（３９００−４８０）の式が成り立ち、Ｋｃ＝３４２０／４＝８５５と算出される。そして図７のステップＳ２５において、このようにして求めた変数ＫｒとＫｃと、物体が存在する最終フレームの情報を基に、各表示装置Ｄに表示させるフレームのフレーム番号が算出される。
【００５６】
物体が退去を完了した時点での秒数は３９００秒であるため、３９００秒時点でのフレームが表示装置Ｄ２５に割り当てられ、３９００−Ｋｒ（＝６０）で求められるフレーム番号、つまりフレーム番号３８４０が、表示装置Ｄ２５の上段に配置された表示装置Ｄ２４に割り当てられる。また、表示装置Ｄ２５の右隣に配置された表示装置Ｄ２０には、３９００−Ｋｃ（＝８５５）で求められるフレーム番号３０４５が割り当てられる。ステップＳ２５の処理は、すべての表示装置Ｄに対して行われる。そしてステップＳ２５で求められたフレーム番号は、フレーム制御部２３ａによってフレーム制御情報とＯＳＤ制御情報に含められて、各表示装置Ｄに送信される（ステップＳ２６）。
【００５７】
表示装置Ｄでは、画像生成装置２０から送信されたフレーム制御情報及びＯＳＤ制御情報を受信すると（ステップＳ２７）、フレーム制御情報内で指定されたフレーム番号に対応するフレームが、フレーム抽出部３１ｂによって、画像生成装置２０の記憶部２１から読み出される（ステップＳ２８）。ここでのフレームの読み出しは、変数ＫｒとＫｃに基づいて行われる。そして、フレーム抽出部３１ｂが読み出したフレームに対して、ＯＳＤ制御情報内で指定されたフレーム番号がＯＳＤ処理される（ステップＳ２９）。そして、ＯＳＤ処理されたフレームが、ＯＳＤ処理部３１ｄから表示部３２に出力され（ステップＳ３０）、表示部３２上に映像が表示される（ステップＳ３１）。
【００５８】
図８には、図７のフローチャートに示した処理を行った場合の、マルチ画面での映像の表示例を示してある。図８においては、表示装置Ｄの右端にはフレーム番号ではなく秒数を示してあるため、四角ではなく括弧で囲んで示してある。実際の表示では、フレーム番号が表示されるものとする。また、図８及び図９においては説明を分かりやすくするため、物体の動き時間における映像を表示したフレームを、太線で囲んで表示してある。
【００５９】
マルチ画面の一番左下端の表示装置Ｄ２５には、物体が監視領域からフレームアウトする直前のフレーム（３９００秒時点でのフレーム）が表示されている。また、表示装置Ｄ２５が配置されている列Ｍ１においては、再下段の表示装置Ｄ２５から最上段の表示装置Ｄ２１までの間で、Ｋｒ（６０）秒毎に映像が遅延されて表示されていることが示されている。表示装置Ｄ２１には、３９００−（６０×４）＝３６６０秒時点でのフレームが表示されている。３９００秒は、物体が退去を終える時点での秒数であり、３６６０秒は、物体が退去を開始した時点での秒数である。つまり、マルチ画面の左端の一列Ｍ１の間に、車が退去を開始してから退去が完了する（監視領域からフレームアウトする）までの時間における映像が、６０秒間隔で表現されていることになる。
【００６０】
また、マルチ画面右端の一列である列Ｍ５においても、車が進入を開始した（監視領域にフレームインした）時間から進入を終えた時間までの１８０秒間の映像が、６０秒間隔で表現されている。つまり、列Ｍ５の上から２段目に配置された表示装置Ｄ２に、車が進入を開始した３００秒時点でのフレームが表示されており、列Ｍ５の再下段の表示装置Ｄ５に、車が進入を終えた４８０秒時点でのフレームが表示されている。
【００６１】
また、車の停止時間を基に、列方向に隣接する各表示装置Ｄ間での読み出し開始フレームの設定間隔Ｋｃを算出してあるため、列Ｍ１から列Ｍ５においては、映像が８５５秒（＝Ｋｃ）間隔で表現されている。Ｋｃをこのように大きな値に設定してあることで、３６００秒という長い時間における映像を、マルチ画面の一画面上で表現することができる。
【００６２】
このように、物体の動いている時間の情報を基に変数Ｋｒを算出し、物体が停止している時間の情報を基に変数Ｋｃを算出しているため、物体が動いている時間の長さが停止している時間の長さに比べて極端に短い場合であっても、物体が動いている時間の情報を、時間方向における密度を落とすことなくマルチ画面上に表現することができる。
【００６３】
なお、図８では車の進入時における映像を、マルチ画面の一番右側の列Ｍ５に表現するようにしたが、図８に示した状態から少し時間が経過した段階においても、車の進入時の映像をマルチ画面からフレームアウトさせないように、マルチ画面の右端一列（Ｍ５）は空けるようにしてもよい。この場合は、列の位置によって変数Ｋｃの値に粗密をつけるようにする。
【００６４】
図９には、図６に示した例を、マルチ画面の右端一列を空けて表現した場合の例を示してある。図９においては、マルチ画面の右端の２列（列Ｍ５と列Ｍ４）と、左端の２列（列Ｍ１と列Ｍ２）との間に適用する変数Ｋｃ１と、列Ｍ４と列Ｍ３の間及び列Ｍ３と列Ｍ２との間に適用する変数Ｋｃ２とで、値を変えてある。マルチ画面の端の方の列では、車の動き時間という短い時間を表現するために、値の小さい変数Ｋｃ１を適用し、マルチ画面の中央付近の列では、車の停車時間という長い時間を表現するために、値の大きい変数Ｋｃ２を適用するようにしてある。
【００６５】
変数Ｋｃ２には、例えば変数Ｋｒ×マルチ画面の列数Ｍで求められる値を設定する。変数Ｋｒを、図８に示した例と同様に６０に設定するものとすると、変数Ｋｃ２は、６０×５＝３００となる。変数Ｋｃ１は、次の計算式を解くことで求めることができる。
２×Ｋｃ１＋２×Ｋｃ２＝車の存在時間（３６００秒）
変数Ｋｃ２は３００であるため、２×Ｋｃ１＋６００＝３６００となり、Ｋｃ１＝１５００と算出される。
【００６６】
そして、画像生成装置２０において、物体が存在するフレームの最終フレームをマルチ画面左下端の表示装置Ｄ２５に割り当て、それ以降は算出した変数Ｋｃ１，変数Ｋｃ２,変数Ｋｒを基にフレームを記憶部２１から読み出して、各表示装置Ｄに出力する処理を行う。このようにすることで、マルチ画面の左端の列Ｍ１には車の退去時における映像が表示され、マルチ画面の右下端に配置された表示装置Ｄ５及びその左隣の列Ｍ４の上から３段（表示装置Ｄ６〜Ｄ８）には、車の進入時における映像が表示されるようになる。つまり、マルチ画面の右端一列のうち、最上段から４段目までの表示装置Ｄ（表示装置Ｄ１〜Ｄ４）には、対象の車が映っていない映像が表示されるようになる。
【００６７】
このような処理を行うことにより、図９に示した状態から２４０秒が経過した時点でも、車が監視領域への進入を開始した３００秒時点でのフレームが、マルチ画面の右上端の表示装置Ｄ１に表示されるようになる。よって、ユーザによる物体の見逃しを防止することができるようになる。
【００６８】
また、列Ｍ４と列Ｍ３の間及び列Ｍ３と列Ｍ２の間においては、車の停止時間を基に算出した変数Ｋｃ２を適用してあるため、中央付近の列においては、車に動きのない停止時間中における映像が、粗いサンプリング間隔で表示されるようになる。
【００６９】
なお、図８及び図９に示した例では、マルチ画面のどの列においても、変数Ｋｒの値は同じ値を用いるようにしたが、列の位置に応じて、変数Ｋｒの大きさを変化させるようにしてもよい。
【００７０】
次に、本発明の第２の実施の形態を、図１０〜図１６を参照して説明する。図１０は、本実施の形態の例による監視システムの構成例を示す図である。図１０において図１及び図２と対応する箇所には同一の符号を付す。
【００７１】
本例においても、カメラ１０と、画像生成装置２０′′と、表示装置Ｄ１〜Ｄ２５とで監視システム１′′を構成してある。本例においては、監視システム１に、映像中の特定の物体をマークするためのユーザインタフェース（以下、ＵＩと称す）を備えさせている。監視システム１が提供するＵＩは、図１１に示したようなものとなる。図１１には、矩形のマーカＭｋが表示装置Ｄ７とＤ８にまたがって表示されている様子を示してあり、ユーザが操作部２２を操作することで、マルチ画面内でマーカの位置を自由に移動させることができるようにしてある。そして、マーカＭｋにより物体が特定された後は、マーカＭｋによるマークをマルチ画面全体に展開するようにしてある。つまり、特定された物体が表示されるマルチ画面上のすべての箇所に、マーカＭｋによるマークがされるようになる。なお、図１１に示した例では矩形のマーカを採用してあるが、丸形や十字型のマーカ等、その他の形状のマーカを使用するようにしてもよい。
【００７２】
このような機能を提供するため、図１０の監視システム１′′において、画像生成装置２０′′の制御部２３′には、フレーム制御部２３ａの他に指定位置検出部２３ｂと物体追尾部２３ｃとを備えさせてある。指定位置検出部２３ｂは、ユーザが操作部２２を介してカーソル（ポインタ）等で指定した箇所が、マルチ画面内のどの位置にあたるのかを検出して、検出した位置情報を物体追尾部２３ｃに出力する。また指定位置検出部２３ｂは、位置情報をＯＳＤ制御情報に含めて、各表示装置ＤのＯＳＤ制御情報Ｉ／Ｆ部３１ｃに送信する処理も行う。
【００７３】
物体追尾部２３ｃは、指定位置検出部２３ｂから受け取った位置情報を基に物体を特定し、マルチ画面の各表示装置Ｄ上に表示する各フレームを対象として、物体の追尾を行う。物体の追尾は変数ＫｒやＫｃの値を基に行う。そして、追尾の結果から各表示装置Ｄ内における物体の位置情報を算出し、算出した位置情報をＯＳＤ制御情報に含めて各表示装置ＤのＯＳＤ制御情報Ｉ／Ｆ部３１ｃに出力する。ここで生成されるＯＳＤ制御情報は、算出した位置にマークを重畳させるための制御情報となる。なお、物体追尾部２３ｃでの処理はオフラインで行うものとする。
【００７４】
表示装置Ｄの構成は図２で説明したものと同一の構成であり、制御部３１と表示部３２とで構成される。制御部３１には、フレーム制御情報Ｉ／Ｆ部３１ａとフレーム抽出部３１ｂとＯＳＤ制御情報Ｉ／Ｆ部３１ｃとＯＳＤ処理部３１ｄが含まれる。フレーム制御情報Ｉ／Ｆ部３１ａは、画像生成装置２０′′のフレーム制御部２３ａから送信されたフレーム制御情報を受信すると、受信したフレーム制御情報をフレーム抽出部３１ｂに出力する。
【００７５】
フレーム抽出部３１ｂでは、フレーム制御情報の中で指定されたフレームを取得するために、フレームの取得要求を画像生成装置２０′′に送信し、画像生成装置２０′′の記憶部２１から送信されたフレームを受信する。そして、受信したフレームをＯＳＤ処理部３１ｄに出力する。ＯＳＤ制御情報Ｉ／Ｆ部３１ｃは、画像生成装置２０の物体追尾部２３ｃから出力されたＯＳＤ制御情報を受信して、受信したＯＳＤ制御情報をＯＳＤ処理部３１ｄに伝送する。ＯＳＤ処理部３１ｄは、ＯＳＤ制御情報Ｉ／Ｆ部３１ｃから送られたＯＳＤ制御情報に基づいて、フレーム抽出部３１ｂで抽出されたフレームにマーカを重畳し、マーカを重畳したフレームを表示部３２に出力する。表示部３２は、ＯＳＤ処理部３１ｄから送信されたフレームを表示する。
【００７６】
図１２には、ユーザにより指定された物体をマークして表示する場合の処理例を、フローチャートで示してある。画像生成装置２０ではまず、ユーザから物体を指定する指示を受け付けると（ステップＳ４１）、指定位置検出部２３ｂによって、マルチ画面内におけるカーソルの位置が算出される（ステップＳ４２）。次に、指定位置検出部２３ｂによって、マーカを表示させる表示装置Ｄの特定と、特定した表示装置Ｄの画面内における、マーカの表示位置の算出が行われる（ステップＳ４３）。そして、ステップＳ４３で特定した各表示装置Ｄに対して、マーカの表示位置情報を含むＯＳＤ制御情報が送信される（ステップＳ４４）。
【００７７】
表示装置Ｄでは、画像生成装置２０′′から送信されたＯＳＤ制御情報を受信すると（ステップＳ４５）、画像生成装置２０′′から取得済みのフレームに対して、ＯＳＤ制御情報内で指定された位置にマーカを重畳（ＯＳＤ）する処理が行われる（ステップＳ４６）。そして、ＯＳＤ処理部３１ｄから表示部３２に対して、ステップＳ４６でマーカが重畳されたフレームが出力され（ステップＳ４７）、マーカが重畳されたフレームが表示部３２上に表示される（ステップＳ４８）。
【００７８】
このような処理を行うことで、ユーザの操作に基づいて位置が特定された物体が、マーカＭｋによってマークされて各表示部３２上に表示されるようになる。よって、ユーザは、不審な物体等をマルチ画面内のいずれかの画面において発見した場合等に、特定したい物体に、物体を認識しやすくするためのマークをつけることができるようになる。
【００７９】
次に、図１３のフローチャートを参照して、物体がマーカＭｋによってマークされてから、マーカＭｋによるマークをマルチ画面全体に展開するまでの処理の例について説明する。図１３において、画像生成装置２０′′はまず、ユーザから物体を指定する指示を受け付けると（ステップＳ５１）、指定位置検出部２３ｂで、マルチ画面内におけるカーソルの位置が算出される（ステップＳ５２）。次に、指定位置検出部２３ｂにおいて、マーカを表示させる表示装置Ｄの特定と、特定した表示装置Ｄの画面内におけるマーカの表示位置の算出が行われる（ステップＳ５３）。ここまでは、図１２で説明した処理と同一の処理となる。
【００８０】
次に、物体追尾部２３ｃにおいて、マルチ画面内での物体の追尾処理が行われる（ステップＳ５４）。マルチ画面内での物体の追尾は、指定位置検出部２３から渡された位置情報と、マルチ画面を構成する表示装置Ｄの配列情報、変数Ｋｒや変数Ｋｃの情報を基に行われる。また、マルチ画面内での物体の追尾は、物体が指定された表示装置Ｄを起点としてその上あるいは下の表示装置Ｄに表示されるフレーム、その次も、その上あるいは下の表示装置Ｄに表示されるフレームといったように、対象とするフレームを変えながら次々に行われる。
【００８１】
次のステップＳ５５では、物体追尾の処理が、マルチ画面を構成するすべてのフレームに対して行われたか否かの判断がされ、マルチ画面を構成するすべてのフレームにおける物体追尾が完了していない間は、ステップＳ５４の処理が続けられる。マルチ画面を構成するすべてのフレームにおける物体追尾が完了したと判断された場合には、物体追尾部２３ｃによって、マークをすべき物体が追尾対象フレームに含まれていたか否かの判断が行われる（ステップＳ５６）。追尾の対象フレームに、マークすべき物体が含まれていなかった場合には、処理は終了される。
【００８２】
マークをすべき物体が追尾対象のフレームに含まれていた場合には、物体追尾部２３ｃによって、マーカを表示すべき位置の情報がＯＳＤ制御情報に含められて、各表示装置Ｄに送信される（ステップＳ５７）。ＯＳＤ制御情報の送信後には、Ｌフレームの表示時間が経過したか否かの判断が行われる（ステップＳ５８）。Ｌフレームの表示時間が経過するまでの間は、そのまま待機となり、Ｌフレームの表示時間が経過した時には、ステップＳ５４に戻って引き続き物体の追尾処理が行われる。
【００８３】
表示装置Ｄでは、画像生成装置２０′から送信されたＯＳＤ制御情報をＯＳＤ制御情報Ｉ／Ｆ部３１ｃが受信すると（ステップＳ５９）、フレーム抽出部３１ｂがすでに画像生成装置２０′から取得済みのフレームに対して、ＯＳＤ制御情報内で指定された位置にマーカが重畳（ＯＳＤ）される（ステップＳ６０）。そして、ＯＳＤ処理部３１ｄから表示部３２に対して、ステップＳ６０でマーカが重畳されたフレームが出力され（ステップＳ６１）、マーカが重畳されたフレームが表示部３２上に表示される（ステップＳ６２）。なお、図１３に示した処理では、マルチ画面内のすべての画面における物体追尾が完了した後に、画像生成装置２０′から表示装置ＤにＯＳＤ制御情報が送信されるようにしてあるが、ステップＳ５４で、マルチ画面内で物体の追尾処理を行う都度ＯＳＤ制御情報を送信して、表示部３２上でマーカを表示させる構成としてもよい。
【００８４】
このような処理がされることにより、図１４に示したように、表示装置Ｄ７上で特定された物体Ｏｂ１を含むマルチ画面上のすべての映像、つまり表示装置Ｄ４〜Ｄ１６に表示された映像において、物体Ｏｂ１がマーカＭｋによってマークされるようになる。
【００８５】
このため、ユーザは特定した物体がマルチ画面上のどの位置に存在するかを容易に把握することができるようになる。また、物体にマークがされることにより、ユーザは、その物体が監視領域にフレームイン又はフレームアウトした時間や、物体の動き始めや動き終わり時の時間の情報を一目で把握することができるようになる。
【００８６】
さらに、マークされた物体Ｏｂ１を表示した表示装置Ｄの数を数えることで、物体Ｏｂ１が監視領域に存在していた時間や、物体Ｏｂ１に動きの無かった時間等を容易に計算することができるようになる。つまり、物体の存在時間や停止時間等の情報を可視化させることができる。
【００８７】
また、本例では、ユーザにより特定された物体が表示されるすべての箇所にマーカＭｋを重畳して表示する上に、マークされた物体Ｏｂ１を含む映像のみをマルチ画面一杯に広げて再表示する等の、マルチ画面でのフレームの割り当てを行えるようにしてある。
【００８８】
図１５には、ユーザによってフレームの再割り当てが指示された場合の処理の例を示してある。ここでは、図１４に示した状態で、ユーザからフレームの再割り当てが指示された場合を例に挙げて説明する。図１５のフローチャートにおいて、画像生成装置２０′′はまず、ユーザからのフレーム再割り当て指示を受け付けると（ステップＳ６１）、指定位置検出部２３ｂにより、一つのマルチ画面で表現される時間帯の中における、物体の存在時間が算出される（ステップＳ６２）。図１４に示した例では、物体Ｏｂ１はフレーム番号２７０から１２６０までの間に表示されているため、物体Ｏｂ１の存在時間は１２６０−２７０＝９９０フレーム表示時間となる。
【００８９】
そして次に、ステップＳ６２で求めた物体の存在時間と表示装置Ｄの配列情報とを基に、変数Ｋｒが新たに算出される（ステップＳ６３）。表示装置Ｄの配列は図１４に示したとおりであり、Ｍ列×Ｎ行＝５×５で構成されるものとする。図１４に示したマルチ画面のうち、一番右側の列は空けてフレームの再割り当てを行う場合は、（Ｍ−１）×Ｎで求められる数の表示装置Ｄにフレームを割り当てればよい。つまり、（５−１）×５＝２０個の表示装置Ｄに、映像を出力するようにする。これにより、変数Ｋｒは、（物体の存在時間）／（フレームを割り当てる表示装置Ｄの数）で算出できる。図１４に示した例では、変数Ｋｒ＝９９０／２０＝４９．５≒５０となる。
【００９０】
そして、ステップＳ６３で求めた新たな変数Ｋｒと、物体がフレームアウトする直前の時点でのフレームの情報とを基に、各表示装置Ｄに表示させるフレームのフレーム番号が算出される（ステップＳ６４）。図１４の例では、物体が監視領域内に存在する最終のフレームは１２６０フレームであるため、フレーム番号１２６０のフレームが表示装置Ｄ２５に割り当てられる。そして、１２６０−Ｋｒ（＝５０）で求められるフレーム番号、つまりフレーム番号１２１０のフレームが、表示装置Ｄ２５の上段に配置された表示装置Ｄ２４に割り当てられる。また、表示装置Ｄ２５の右隣に配置された表示装置Ｄ２０には、１２６０−Ｋｒ×Ｎで求められる、フレーム番号１０１０のフレームが割り当てられる。ステップＳ６４の処理は、マルチ画面を構成するすべての表示装置Ｄに対して行われる。そしてステップＳ６４で求められたフレーム番号は、ステップＳ６５でフレーム制御情報とＯＳＤ制御情報に含められて、各表示装置Ｄに送信される。このとき、物体をマークするマーカＭｋの位置情報もＯＳＤ制御情報に含められる。
【００９１】
表示装置Ｄでは、画像生成装置２０′′から送信されたフレーム制御情報及びＯＳＤ制御情報を受信すると（ステップＳ６６）、フレーム制御情報内で指定されたフレーム番号に対応するフレームが、変数Ｋｒに基づいて画像生成装置２０の記憶部２１から読み出され（ステップＳ６７）、読み出されたフレームに対して、ＯＳＤ制御情報内で指定されたフレーム番号をＯＳＤする処理が行われる（ステップＳ６８）。これと同時に、物体Ｏｂ１にマーカＭｋを重畳する処理も行われる。そして、ＯＳＤ処理されたフレームが表示部３２に出力され（ステップＳ６９）、表示部３２上に表示される（ステップＳ７０）。
【００９２】
図１４に示した映像が表示されている状態において、図１５に示した処理が行われた場合の映像の表示例を、図１６に示してある。図１６では、マルチ画面の右下端の表示装置Ｄ５から左下端の表示装置Ｄ２５までの間に、物体Ｏｂ１を含む映像がマーカＭｋ付きで表示されていることが示されている。なお、図１５に示した例では、マルチ画面の右端一列を構成する表示装置Ｄ１〜Ｄ４には、物体を含むフレームを表示しないように調整した例を挙げているが、物体の映像を含むフレームをマルチ画面全体に表示させるようにしてもよい。
【００９３】
このような表示に切り替えることで、ユーザが注視したい物体を含む映像のみが、１つのマルチ画面上に表示されるようになる。よってユーザは、注視したい物体の情報をより細かく見ることができるようになる。
【００９４】
なお、図１５に示した例では、各表示装置Ｄ間での読み出し開始フレームの設定間隔を決める変数として変数Ｋｒのみを使用するようにしたが、図８や図９の例と同様に、列方向に隣り合う各表示装置Ｄ間に、変数Ｋｒとは異なる値の変数Ｋｃを適用するようにしてもよい。また、列の位置によって適用する変数Ｋｒの大きさを変えるようにしてもよい。
【００９５】
また、図１５に示した例では、物体の監視領域内に滞在している間の映像を、マルチ画面の所望の領域に再割り当てする処理について説明したが、フレーム再割り当てを行いたい範囲をユーザに指定させ、ユーザにより指定された範囲の映像をマルチ画面上に再割り当てするようにしてもよい。
【００９６】
また、上述した実施の形態では、マルチ画面を構成する複数の表示装置Ｄが、垂直方向又は水平方向に隣接するように配置した例を挙げたが、図１７に示すように、列方向において、表示装置Ｄ〜Ｄ２５が互いに斜め方向に隣接するように配置した場合に適用するようにしてもよい。もしくは、行方向において、表示装置Ｄが互いに斜め方向に隣接するように配置するようにしてもよい。またこの場合においても、１つの表示装置の画面を複数の領域に分割した表示領域の設定により、同様のマルチ画面を構成するようにしてもよい。
【００９７】
このように１つの表示装置の表示領域を分割してマルチ画面を構成させる場合には、画像生成装置内で、その１つの表示装置に供給する画像信号として、マルチ画面を表示させる画像信号とし、表示装置ではそのマルチ画面を表示させる画像信号を入力して表示させる構成とすればよい。表示装置として１つの表示装置を使用した構成の場合には、その表示装置で、画像生成装置での処理に相当する処理を行う構成としてもよい。
【００９８】
上述した実施形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムを、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させる。
【００９９】
また、上述した実施形態例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても達成される。
【０１００】
この場合のプログラムコードを供給するための記録媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０１０１】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行い、その処理によって上述した実施形態例の機能が実現される場合も含まれる。
【０１０２】
また、本明細書において、ソフトウェアを構成するプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１０３】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１０４】
【図１】本発明の第１の実施の形態による監視システムの構成例を示すブロック図である。
【図２】本発明の第１の実施の形態による監視システムの構成例を示すブロック図である。
【図３】本発明の第１の実施の形態による映像の表示例を示す構成図である。
【図４】本発明の第１の実施の形態による映像表示の処理例を示すフローチャートである。
【図５】本発明の第１の実施の形態による映像の時間方向での変化の例を示す斜視図である。
【図６】本発明の第１の実施の形態の変形例による物体の存在時間の内訳を示す説明図である。
【図７】本発明の第１の実施の形態の変形例によるフレーム再割り当ての処理例を示すフローチャートである。
【図８】本発明の第１の実施の形態の変形例による映像の表示例を示す説明図である。
【図９】本発明の第１の実施の形態の変形例よる映像の表示例を示す説明図である。
【図１０】本発明の第２の実施の形態による監視システムの構成例を示すブロック図である。
【図１１】本発明の第２の実施の形態による映像の表示例を示す説明図である。
【図１２】本発明の第２の実施の形態によるＯＳＤ表示の処理例を示すフローチャートである。
【図１３】本発明の第２の実施の形態によるＯＳＤ表示の処理例を示すフローチャートである。
【図１４】本発明の第２の実施の形態による映像の表示例を示す説明図である。
【図１５】本発明の第２の実施の形態によるフレーム再割り当ての処理例を示すフローチャートである。
【図１６】本発明の第２の実施の形態による映像の表示例を示す説明図である。
【図１７】本発明の他の実施の形態による表示部の配置例を示す説明図である。
【符号の説明】
【０１０５】
１…監視システム、１０…カメラ、２０…画像生成装置、２１…記憶部、２２…操作部、２３…制御部、２３ａ…フレーム制御部、２３ｂ…指定位置検出部、２３ｃ…物体追尾部、３１…制御部、３１ａ…フレーム制御情報Ｉ／Ｆ部、３１ｂ…フレーム抽出部、３１ｃ…ＯＳＤ制御情報Ｉ／Ｆ部、３１ｄ…ＯＳＤ処理部、３２…表示部、Ｄ１〜Ｄ２５…表示装置
【図１】
0004867852.tif 000002
【図２】
0004867852.tif 000003
【図３】
0004867852.tif 000004
【図４】
0004867852.tif 000005
【図５】
0004867852.tif 000006
【図６】
0004867852.tif 000007
【図７】
0004867852.tif 000008
【図８】
0004867852.tif 000009
【図９】
0004867852.tif 000010
【図１０】
0004867852.tif 000011
【図１１】
0004867852.tif 000012
【図１２】
0004867852.tif 000013
【図１３】
0004867852.tif 000014
【図１４】
0004867852.tif 000015
【図１５】
0004867852.tif 000016
【図１６】
0004867852.tif 000017
【図１７】
0004867852.tif 000018