(57)【要約】【課題】  撮影対象を撮影したカメラ映像から、地震等の外部要因によって、カメラが揺れた際に発生する映像の揺れを検出する映像揺れ検出装置、その方法及びそのプログラムを提供する。【解決手段】  映像揺れ検出装置１０は、映像を構成する画像を特定の大きさのブロックに分割し、時間毎のブロック間の動きベクトルに基づいて映像を符号化した符号化映像から、動きベクトル抽出手段１１が動きベクトルを抽出し、その動きベクトルの大きさによって、揺れ開始検出部１２ａが揺れの開始を検出し、揺れ停止検出部１２ｂが、動きベクトル累計部１２ｂ１によって、揺れの開始から揺れの停止までの動きベクトルを累計し、その動きベクトルの累計が予め定めた閾値よりも小さくなることで、その揺れが地震等による揺れで発生したものであると判定することを特徴とする。【選択図】      図１
2005037273.tif 000002
【特許請求の範囲】
【請求項１】
映像を構成する時系列の画像を特定の大きさのブロックに分割し、時間毎の前記ブロック間の動きベクトルに基づいて前記映像を符号化した符号化映像から、撮影対象に対する前記映像の揺れを検出する映像揺れ検出装置であって、
前記符号化映像から、時間毎に前記動きベクトルを抽出する動きベクトル抽出手段と、
この動きベクトル抽出手段で抽出した動きベクトルの大きさに基づいて、前記映像の揺れを検出する揺れ検出手段と、
を備えていることを特徴とする映像揺れ検出装置。
【請求項２】
前記揺れ検出手段は、前記動きベクトル抽出手段で抽出した動きベクトルの大きさと、予め定めた大きさとを比較することで、前記映像の揺れの開始を検出する揺れ開始検出手段と、
この揺れ開始検出手段で前記映像の揺れの開始を検出後、前記動きベクトル抽出手段で抽出した動きベクトルの大きさと、予め定めた大きさとを比較することで、前記映像の揺れの停止を検出する揺れ停止検出手段と、
を備えていることを特徴とする請求項１に記載の映像揺れ検出装置。
【請求項３】
前記揺れ開始検出手段で前記映像の揺れの開始を検出した以降において、前記動きベクトル抽出手段で抽出した動きベクトルを時間毎に累計する動きベクトル累計手段を備え、
前記揺れ停止検出手段は、前記動きベクトル累計手段で累計した動きベクトルの大きさ、及び、前記動きベクトル抽出手段で抽出した動きベクトルの大きさを、それぞれ予め定めた大きさと比較することで、前記映像の揺れの停止を検出することを特徴とする請求項２に記載の映像揺れ検出装置。
【請求項４】
前記映像の揺れの開始から停止までの間で、前記動きベクトル抽出手段で抽出した動きベクトルの大きさが最大となる揺れ最大値を測定する揺れ最大値測定手段を備えていることを特徴とする請求項２又は請求項３に記載の映像揺れ検出装置。
【請求項５】
映像を構成する時系列の画像を特定の大きさのブロックに分割し、時間毎の前記ブロック間の動きベクトルに基づいて前記映像を符号化した符号化映像から、撮影対象に対する前記映像の揺れを検出する映像揺れ検出方法であって、
前記符号化映像から、時間毎に前記動きベクトルを抽出する動きベクトル抽出ステップを備え、
この動きベクトル抽出ステップで抽出した動きベクトルの大きさと、予め定めた大きさとを比較することで、前記揺れの開始を検出する揺れ開始検出ステップと、
この揺れ開始検出ステップで前記揺れの開始を検出してから、前記動きベクトルを時間毎に累計する動きベクトル累計ステップと、
この動きベクトル累計ステップで累計した動きベクトルの大きさ、及び、前記動きベクトル抽出ステップで抽出した動きベクトルの大きさを、それぞれ予め定めた大きさと比較することで、前記揺れの停止を検出する揺れ停止検出ステップと、
を含んでいることを特徴とする映像揺れ検出方法。
【請求項６】
映像を構成する時系列の画像を特定の大きさのブロックに分割し、時間毎の前記ブロック間の動きベクトルに基づいて前記映像を符号化した符号化映像から、撮影対象に対する前記映像の揺れを検出するために、コンピュータを、
前記符号化映像から、時間毎に前記動きベクトルを抽出する動きベクトル抽出手段、
この動きベクトル抽出手段で抽出した動きベクトルの大きさと、予め定めた大きさとを比較することで、前記揺れの開始を検出する揺れ開始検出手段、
この揺れ開始検出手段で前記揺れの開始を検出してから、前記動きベクトルを時間毎に累計する動きベクトル累計手段、
この動きベクトル累計手段で累計した動きベクトルの大きさ、及び、前記動きベクトル抽出手段で抽出した動きベクトルの大きさを、それぞれ予め定めた大きさと比較することで、前記揺れの停止を検出する揺れ停止検出手段、
として機能させることを特徴とする映像揺れ検出プログラム。
【請求項７】
各地域に設置したカメラで撮影された映像を構成する時系列の画像を特定の大きさのブロックに分割し、時間毎の前記ブロック間の動きベクトルに基づいて前記映像を符号化した符号化映像から、地震が発生した地域に設置されているカメラの映像を選択して出力するカメラ映像選択装置であって、
前記カメラ毎の前記符号化映像を、通信回線を介して受信するカメラ映像受信手段と、
このカメラ映像受信手段で受信した符号化映像に含まれる動きベクトルに基づいて、撮影対象に対する前記映像の揺れを検出する映像揺れ検出手段と、
前記カメラ映像受信手段で受信した符号化映像と、前記映像揺れ検出手段で検出した映像の揺れを示す揺れ情報とを、前記カメラ毎に蓄積する蓄積手段と、
この蓄積手段に蓄積された前記揺れ情報に基づいて、揺れが発生したカメラの映像である符号化映像を選択する映像選択手段と、
を備えていることを特徴とするカメラ映像選択装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影対象を撮影した映像の揺れを検出する映像揺れ検出装置、その方法及びそのプログラムに関し、さらに、この映像揺れ検出装置を備え、複数のカメラ映像からカメラを設置した場所で地震が発生したときのカメラ映像を選択するカメラ映像選択装置に関する。
【背景技術】
【０００２】
現在、全国各地の放送局や、主な港、空港等には、リモコン遠隔操作によって所望の映像を撮影するロボットカメラが設置されており、そのロボットカメラを直轄する各放送局からのリモコン遠隔操作によって、地震等の災害時における現場の映像の撮影を可能にしている。
従来、例えばキー局となる放送局が、全国各地に設置されたロボットカメラで撮影した映像を放送用映像として使用する場合、全国各地の放送局から送信されてくるロボットカメラの映像をモニタリングし、目視により確認を行うことで最適な映像を選択して放送用映像として使用していた。
【０００３】
ここで、図６を参照して、ロボットカメラで撮影された映像から放送用映像を生成する、従来のロボットカメラモニタリングシステムについて説明する。図６は、従来のロボットカメラモニタリングシステムの概略構成図である。
【０００４】
図６において、ロボットカメラモニタリングシステム１００Ｂは、全国放送を行う放送局（中央放送局）４Ｂと、ロボットカメラ７を管轄する放送局（地方放送局）４Ｃとを、通信回線６によって接続している。また、地方放送局４Ｃが管轄する地域内には、複数のロボットカメラ（以下、単にカメラという）７（７1、７2、…、７n）と、複数の基地局８（８1、８2、…、８n）とが設置されており、カメラ７で撮影された映像（カメラ映像）は、基地局８を経由して、地方放送局４ＣのＦＰＵ（Ｆｉｅｌｄ  Ｐｉｃｋｕｐ  Ｕｎｉｔ：無線送受信装置）５へ送信される。
【０００５】
地方放送局４Ｃは、ＦＰＵ５で、カメラ７が撮影した映像を切り替えて受信する。すなわち、地方放送局４Ｃは、ＦＰＵ５でカメラ７1、７2、…、７nのいずれかを確保し、その確保したカメラ７の映像を受信する。また、他のカメラ７の映像を受信する場合は、ＦＰＵ５で他のカメラ７を確保する（切り替える）。なお、地方放送局４Ｃは、全国各地に複数存在しているが、図６では省略している。
【０００６】
中央放送局４Ｂは、全国各地の地方放送局４Ｃから、通信回線６を介して、放送に必要なカメラ７が撮影した映像（カメラ映像）を受信し、放送映像として放送する。
ここで、地方放送局４Ｃの管轄地域で地震が発生した場合のロボットカメラモニタリングシステム１００Ｂの動作について説明する。まず、地方放送局４Ｃの管轄地域で地震が発生すると、地方放送局４Ｃと中央放送局４Ｂの放送用の回線が担当者によって手配される。
【０００７】
そして、中央放送局４Ｂの担当者は、地方放送局４Ｃに対して、地震に関する状況調査と、カメラ７の接続を依頼する。この依頼を受けた地方放送局４Ｃでは、自局が管轄する全てのカメラ７1、７2、…、７nを、ＦＰＵ５によって順次切り替えて地震の状況を把握する。そして、地方放送局４Ｃと中央放送局４Ｂの放送用の回線（通信回線６）を接続し、現時点で最適な映像（カメラ映像）を中央放送局４Ｂに送信する。そして、中央放送局４Ｂが、受信したカメラ映像から放送用映像を生成し放送を行う。
【０００８】
なお、テレビジョン放送番組素材伝送用の無線伝送機器であるＦＰＵを用いたデジタル伝送システムについては、社団法人電波産業会（ＡＲＩＢ：Ａｓｓｏｃｉａｔｉｏｎ  ｏｆ  Ｒａｄｉｏ  Ｉｎｄｕｓｔｒｉｅｓ  ａｎｄ  Ｂｕｓｉｎｅｓｓ）によって規格化されている（非特許文献１参照）。
【非特許文献１】電波産業会（ＡＲＩＢ）標準規格「テレビジョン放送番組素材伝送用可搬形ＯＦＤＭ方式デジタル無線伝送システム」（ＡＲＩＢ  ＳＴＤ−Ｂ３３）平成１４年３月２８日策定
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかし、前記した従来のロボットカメラモニタリングシステムでは、各地域に設置されたカメラから送られてきた映像を一つ一つ確認（目視）しながら最適なカメラを手動で選択して放送しなければならないので、現地の状況を判断するためのタイムラグが発生し、迅速なカメラ映像の提供が行えなかった。
【００１０】
また、緊急報道や災害報道では初動対応が最も重要であるが、従来のロボットカメラモニタリングシステムでは、情報が整理されていない段階で、各地の状況を把握しなければならないため、各地方放送局における複数のカメラの映像を同時に手配することとなる。そのため、中央放送局は、複数の地方放送局のカメラをほぼ同時刻に接続することがある。これにより、地方放送局と中央放送局とを結ぶ通信回線を伝送する情報が輻輳してしまい、迅速に映像を送信することができないという問題があった。
【００１１】
さらに、震源地が判明した場合であっても、震源地に近い地域の揺れが大きいとは限らず、震源地から遠い地域でも揺れが大きい場合がある。このため、中央放送局が、震源地に近い地域に設置されているカメラを管轄する地方放送局から、カメラ映像を取得した場合、揺れが小さい、あるいは、揺れそのものの事象が記録されていない映像である場合があり、適切なカメラ映像の提供が行えなかった。
【００１２】
本発明は、以上のような問題点に鑑みてなされたものであり、カメラ映像から、撮影対象に対する映像の揺れを検出する映像揺れ検出装置、その方法及びそのプログラム、並びに、各地域に設置されているカメラのカメラ映像の揺れに基づいて、地震の大きさを判定し、最適なカメラ映像を選択することが可能なカメラ映像選択装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の映像揺れ検出装置は、映像を構成する時系列の画像を特定の大きさのブロックに分割し、時間毎の前記ブロック間の動きベクトルに基づいて前記映像を符号化した符号化映像から、撮影対象に対する前記映像の揺れを検出する映像揺れ検出装置であって、動きベクトル抽出手段と、揺れ検出手段とを備える構成とした。
【００１４】
かかる構成によれば、映像揺れ検出装置は、動きベクトル抽出手段によって、符号化映像から、時間毎に動きベクトルを抽出する。この動きベクトルは、映像を構成する画像（ピクチャ：フレーム又はフィールド）を特定の大きさに分割したブロック間の、時間毎の移動方向及びその移動量を示したものである。例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）等の符号化方式では、マクロブロック単位の動きベクトルのより映像の圧縮符号化を行っている。
【００１５】
このように、映像を動きベクトルによって符号化した符号化映像は、地震等の外部要因によってカメラが揺れた場合、画像全体に動きベクトルが発生することになる。そこで、映像揺れ検出装置は、揺れ検出手段によって、符号化映像に含まれる動きベクトルの大きさを判定することで、撮影対象に対する映像の揺れを検出することが可能になる。
【００１６】
また、請求項２に記載の映像揺れ検出装置は、請求項１に記載の映像揺れ検出装置において、前記揺れ検出手段が、揺れ開始検出手段と、揺れ停止検出手段とを備えていることを特徴とする。
【００１７】
かかる構成によれば、映像揺れ検出装置は、揺れ開始検出手段によって、動きベクトル抽出手段で抽出した動きベクトルの大きさと、予め定めた大きさとを比較し、動きベクトルの大きさが、予め定めた大きさより大きい場合に、映像の揺れが開始したと判定する。例えば、カメラで被写体を撮影した映像で、動きベクトルの大きさが画像全体で一定の大きさ以上である場合は、被写体そのものの動きではなく、カメラが動いたことによって映像が揺れたものであると判定することができる。この場合、画像全体のブロック（マクロブロック）全てに対して、動きベクトルの大きさを判定してもよいし、予め定めた複数のブロックに対して、動きベクトルの大きさを判定することとしてもよい。
【００１８】
そして、映像揺れ検出装置は、揺れ停止検出手段によって、映像の揺れの開始を検出後、動きベクトル抽出手段で抽出した動きベクトルの大きさと、予め定めた大きさとを比較し、動きベクトルの大きさが、予め定めた大きさより小さい場合に、映像の揺れが停止したと判定する。すなわち、一旦、映像の揺れの開始を検出した後で、画像全体のブロック（マクロブロック）全てに対して、あるいは、予め定めた複数のブロックに対して、動きベクトルの大きさが一定の大きさよりも小さいかどうかを判定することで、映像の揺れが停止したと判定することができる。
【００１９】
さらに、請求項３に記載の映像揺れ検出装置は、請求項２に記載の映像揺れ検出装置において、動きベクトル累計手段を備え、前記揺れ停止検出手段が、前記動きベクトル累計手段で累計した動きベクトルの大きさ、及び、前記動きベクトル抽出手段で抽出した動きベクトルの大きさが、それぞれ予め定めた大きさより小さいかどうかを判定することで、前記映像の揺れの停止を検出することを特徴とする。
【００２０】
かかる構成によれば、映像揺れ検出装置は、動きベクトル累計手段によって、揺れ開始検出手段で映像の揺れの開始を検出した以降において、動きベクトル抽出手段で抽出した動きベクトルを時間毎に累計する。一般に、地震等の外部要因に基づく映像の揺れは、一方向に揺れが発生した場合、揺れ戻しによって反対方向の揺れが発生する。すなわち、地震等の揺れの場合は、揺れの開始から停止まで動きベクトルを累計すると、その大きさはほぼ「０」に収束することになる。例えば、地震の揺れで、縦揺れや横揺れが発生する場合、それぞれ縦方向の動きベクトル、横方向の動きベクトルが発生し、それぞれの動きベクトルが時間とともに収束する。
これによって、揺れ停止検出手段は、映像の揺れの停止を検出した際に、その揺れが地震等の外部要因に基づいて発生した揺れであるかどうかを判定することができる。
【００２１】
また、請求項４に記載の映像揺れ検出装置は、請求項２又は請求項４に記載の映像揺れ検出装置において、揺れ最大値測定手段を備えていることを特徴とする。
【００２２】
かかる構成によれば、映像揺れ検出装置は、揺れ最大値測定手段によって、映像の揺れの開始から停止までの間で、動きベクトル抽出手段で抽出した動きベクトルの大きさが最大となる揺れ最大値を測定する。この揺れ最大値は、地震等の揺れの大きさを示すことになるため、例えば、各地域に設置された複数のカメラで撮影された映像の中から、地震の震度が大きい場所で撮影されたカメラを特定することが可能になる。
【００２３】
さらに、請求項５に記載の映像揺れ検出方法は、映像を構成する時系列の画像を特定の大きさのブロックに分割し、時間毎の前記ブロック間の動きベクトルに基づいて前記映像を符号化した符号化映像から、撮影対象に対する前記映像の揺れを検出する映像揺れ検出方法であって、動きベクトル抽出ステップを備え、さらに、揺れ開始検出ステップと、動きベクトル累計ステップと、揺れ停止検出ステップとを含んでいることを特徴とする。
【００２４】
この手順によれば、映像揺れ検出方法は、動きベクトル抽出ステップで、符号化映像から、時間毎に動きベクトルを抽出する。この動きベクトルは、映像を構成する画像（ピクチャ：フレーム又はフィールド）を特定の大きさに分割したブロック間の、時間毎の移動方向及びその移動量を示したものである。
【００２５】
そして、映像揺れ検出方法は、揺れ開始検出ステップで、動きベクトル抽出ステップで抽出した動きベクトルの大きさと、予め定めた大きさとを比較し、動きベクトルの大きさが、予め定めた大きさより大きい場合に、映像の揺れが開始したと判定する。また、映像揺れ検出方法は、映像の揺れを検出した以降において、動きベクトル累計ステップで、動きベクトル抽出ステップで抽出した動きベクトルを時間毎に累計する。
そして、揺れ停止検出ステップで、動きベクトル累計ステップで累計した動きベクトルの大きさ、及び、動きベクトル抽出ステップで抽出した動きベクトルの大きさを、それぞれ予め定めた大きさと比較し、予め定めた大きさより小さい場合に、揺れが停止したと判定する。
【００２６】
また、請求項６に記載の映像揺れ検出プログラムは、映像を構成する時系列の画像を特定の大きさのブロックに分割し、時間毎の前記ブロック間の動きベクトルに基づいて前記映像を符号化した符号化映像から、撮影対象に対する前記映像の揺れを検出するために、コンピュータを、動きベクトル抽出手段、揺れ開始検出手段、動きベクトル累計手段、揺れ停止検出手段として機能させることを特徴とする。
【００２７】
かかる構成によれば、映像揺れ検出プログラムは、動きベクトル抽出手段によって、符号化映像から、時間毎に前記動きベクトルを抽出する。この動きベクトルは、映像を構成する画像（ピクチャ：フレーム又はフィールド）を特定の大きさに分割したブロック間の、時間毎の移動方向及びその移動量を示したものである。
【００２８】
そして、映像揺れ検出プログラムは、揺れ開始検出手段によって、動きベクトル抽出手段で抽出した動きベクトルの大きさと、予め定めた大きさとを比較し、動きベクトルの大きさが、予め定めた大きさより大きい場合に、映像の揺れが開始したと判定する。また、映像揺れ検出プログラムは、動きベクトル累計手段によって、揺れ開始検出手段で映像の揺れの開始を検出した以降において、動きベクトル抽出手段で抽出した動きベクトルを時間毎に累計する。
【００２９】
そして、映像揺れ検出プログラムは、揺れ停止検出手段によって、動きベクトル累計手段で累計した動きベクトルの大きさ、及び、動きベクトル抽出手段で抽出した動きベクトルの大きさを、それぞれ予め定めた大きさと比較し、予め定めた大きさより小さい場合に、揺れが停止したと判定する。
【００３０】
さらに、請求項７に記載のカメラ映像選択装置は、各地域に設置したカメラで撮影された映像を構成する時系列の画像を特定の大きさのブロックに分割し、時間毎の前記ブロック間の動きベクトルに基づいて前記映像を符号化した符号化映像から、地震が発生した地域に設置されているカメラの映像を選択して出力するカメラ映像選択装置であって、カメラ映像受信手段と、映像揺れ検出手段と、蓄積手段と、映像選択手段とを備える構成とした。
【００３１】
かかる構成によれば、カメラ映像選択装置は、カメラ映像受信手段によって、各地域に設置したカメラで撮影された映像の符号化映像を、ネットワーク等の通信回線を介して受信して、蓄積手段に逐次蓄積しておく。さらに、カメラ映像選択装置は、映像揺れ検出手段によって、カメラ映像受信手段で受信した符号化映像に含まれる動きベクトルに基づいて、撮影対象に対する映像の揺れを検出し、その揺れが発生した情報である揺れ情報を蓄積手段に蓄積手段に蓄積する。これによって、各カメラで撮影された映像（符号化映像）で映像の揺れが発生した場合に、その揺れ情報を各カメラに関連付けて記憶しておく。
【００３２】
そして、カメラ映像選択装置は、映像選択手段によって、蓄積手段から揺れ情報に基づいて揺れが発生している映像を撮影したカメラを特定し、その揺れが発生している映像を再生映像として利用することが可能になる。
【発明の効果】
【００３３】
請求項１に記載の発明によれば、ＭＰＥＧ等のような特定の大きさのブロック単位で発生する動きベクトルにより符号化された映像（符号化映像）から、撮影対象に対する映像の揺れを検出することができる。例えば、各地域に設置したカメラで撮影された映像（符号化映像）から、地震が発生時に撮影した映像を、映像の揺れにより特定することが可能になる。
【００３４】
請求項２に記載の発明によれば、動きベクトルの大きさによって、映像の揺れの開始と停止を特定することができる。これによって、映像内で揺れが発生している間の映像を特定することができる。
【００３５】
請求項３、請求項５又は請求項６に記載の発明によれば、地震等の外部要因に基づく映像の揺れを検出することができる。すなわち、カメラをパン、チルト等の動作によって制御する場合であっても、その制御に伴う動きベクトルの変化を地震の揺れとは区別することができる。これによって、例えば、各地域に設置されたカメラで撮影した映像をモニタする場合に、地震によって発生した映像の揺れを確実に検出することができる。
【００３６】
請求項４に記載の発明によれば、映像の揺れの開始から停止までの間で、動きベクトルの大きさが最大となる瞬間の大きさを揺れ最大値として測定することができる。これによって、例えば、各地域に設置されたカメラで撮影した映像をモニタする場合に、震度の大きい地域のカメラ映像を特定することが可能になる。
【００３７】
請求項７に記載の発明によれば、各地域に設置したカメラで撮影されたカメラ映像（符号化映像）と、その映像内で地震等の揺れが発生したときの情報を示す揺れ情報とを蓄積し、その揺れ情報に基づいて、地震等の揺れが発生した地域のカメラ及びその映像を特定することができる。さらに、その映像の揺れが発生した瞬間の映像を蓄積手段から読み出すことができる。これによって、各地域に災害の状況を問い合わせることなく、地震等の災害時の映像を迅速に検索することができる。また、気象庁等が発表する震源地、震度等の情報が、カメラが設置されている地域の揺れと合致しない場合であっても、確実にカメラが設置されている地域の地震を検出することができ、初動対応が重要な緊急報道や災害報道に用いる映像を迅速に検索し、放送用の映像として用いることができる。
【発明を実施するための最良の形態】
【００３８】
以下、本発明の実施の形態について図面を参照して説明する。
ここでは、まず、地震等の外部要因に起因した、カメラの撮影対象に対する映像の揺れと、その映像を符号化した符号化映像との関係を説明し、続いて、その映像の揺れを検出する映像揺れ検出装置、並びに、映像揺れ検出装置を用いて、各地域に設置したカメラで撮影された映像の中から、地震が発生した映像を選択するカメラ映像選択装置について順次説明を行うこととする。
【００３９】
［映像の揺れについて］
まず、図４及び図５を参照して、カメラの被写体（撮影対象）に対する映像の揺れと、その映像を符号化した符号化映像との関係を説明する。なお、符号化映像は、映像を構成する時系列の画像を特定の大きさのブロックに分割し、時間毎のブロック間の動きベクトルに基づいて、映像を符号化したものである。例えば、ＭＰＥＧ等の符号化方式によって、符号化されたストリームデータである。
【００４０】
図４は、映像を構成する画像毎に、映像の揺れを、ブロック（マクロブロック）の動きベクトルの動きで表現した模式図である。図４（ａ）は、映像を構成する画像を特定の大きさのブロックＢ（例えば、ＭＰＥＧにおける１６×１６画素のマクロブロック）に分割した状態を示しており、ここでは、映像の揺れが発生していない定常状態を示している。なお、図中○印は、動きベクトルが発生していない（動き無し）状態を示している。
【００４１】
図４（ｂ）は、被写体が右上方向に移動した動きベクトルＶ1が発生した状態を示している。図４（ｃ）は、被写体が左下方向に移動した動きベクトルＶ2が発生した状態を示している。図４（ｄ）は、被写体が右上に移動した動きベクトルＶ3が発生した状態を示している。
【００４２】
ここで、地震等で被写体を撮影しているカメラが揺れた場合、図４（ａ）の定常状態から、図４（ｂ）に示したような画像の各ブロックＢに一様な動きベクトルＶ1（ここでは右上方向の動きベクトル）が発生する。さらに時間の経過に伴い、図４（ｂ）の揺れに対する揺れ戻しとして、図４（ｃ）に示した動きベクトルＶ2（ここでは左下方向の動きベクトル）が発生する。また、図４（ｃ）の揺れに対する揺れ戻しとして、図４（ｄ）に示した動きベクトルＶ3（ここでは右上方向の動きベクトル）が発生する。この動きを順次繰り返し、揺れが収束することで、図４（ａ）の定常状態に戻ることになる。
このように、カメラが揺れた場合、一様に発生した各ブロックＢの動きベクトルは、時間の経過とともに、逆方向の動きベクトルを発生させながら、収束していくことになる。
【００４３】
ここで、図５を参照して、１つのブロック（マクロブロック）のみに着目し、揺れの開始から停止までの、動きベクトルの変化について説明する。図５は、映像の揺れの開始から停止までの、１つのマクロブロックにおける動きベクトルの動きを概念的に示した概念図である。この図５では、映像の揺れの開始（発生）から停止までの動きベクトルが、時間ｔに伴って変化する様子を２次元的に表している。
【００４４】
図５に示したように、地震等によって、カメラの揺れが発生した映像を符号化した符号化映像は、時刻ｔに伴って、逆方向の動きベクトル（ここでは、右方向の動きベクトル及び左方向の動きベクトル）を発生させ、揺れが収まることで、動きベクトルの大きさが「０」に収束していくことになる。なお、ここでは、逆方向の動きベクトルが交互に発生しているが、これは、映像のサンプリング時間に依存し、一方向の動きベクトルが複数発生した後に、逆方向の動きベクトルが複数発生する場合もある。
【００４５】
このように、地震等による揺れにおいては、一方向の動きベクトルのみが発生するのではなく、逆方向の動きベクトルが発生するため、揺れの開始から停止までの間に発生した動きベクトルの総和の大きさは、限りなく「０」に近づくことになる。このように、動きベクトルが発生してから、動きベクトルの総和の大きさが「０」に近づいたかどうかを計測することで、その揺れが、地震等の外部要因に起因して発生したものかどうかを認識することができる。
【００４６】
［映像揺れ検出装置：構成］
次に、図１を参照して、本発明に係る映像揺れ検出装置の構成について説明を行う。図１は、映像揺れ検出装置の構成を示すブロック図である。映像揺れ検出装置１は、ＭＰＥＧ等の、時間毎の各マクロブロック間の動きベクトルに基づいて映像を符号化した符号化映像から、撮影されている被写体（撮影対象）に対する映像の揺れを検出するものである。ここでは、映像揺れ検出装置１０を、動きベクトル抽出手段１１と、揺れ検出手段１２とを備えて構成している。
【００４７】
動きベクトル抽出手段１１は、ＭＰＥＧ等で符号化された符号化映像（ストリームデータ）を解析して、符号化映像から、時間毎にマクロブロック単位で動きベクトルを抽出するものである。ここで抽出された動きベクトルは、揺れ検出手段１２の揺れ開始検出部１２ａ及び揺れ停止検出部１２ｂに通知される。なお、この動きベクトル抽出手段１１は、入力された符号化映像のフレーム（又はフィールド）単位で、各フレーム（又はフィールド）を構成するマクロブロック全ての動きベクトルを抽出することとしてもよいし、フレーム（又はフィールド）内で予め定めた特定のマクロブロックの動きベクトルを抽出することとしてもよい。
【００４８】
なお、ＭＰＥＧでは、符号化映像のストリームは、階層構造となっており、上位層から順に、シーケンス（Ｓｅｑｕｅｎｃｅ）層、ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）層、スライス（Ｓｌｉｃｅ）層、マクロブロック（Ｍａｃｒｏ  Ｂｌｏｃｋ）層、及びブロック（Ｂｌｏｃｋ）層となっている。また、動きベクトルのデータは、マクロブロック層に記述されているため、動きベクトル抽出手段１１は、マクロブロック層からマクロブロック単位で動きベクトルを取得することができる。
また、ここでは、動きベクトル抽出手段１１は、ＧＯＰ層のヘッダ（ＧＯＰヘッダ）に含まれるタイムコード（時、分、秒、ピクチャ）を取得し、動きベクトルと同時に揺れ検出手段１２に通知するものとする。
【００４９】
揺れ検出手段１２は、動きベクトル抽出手段１１で抽出された動きベクトルに基づいて、被写体に対する映像の揺れを検出するものである。ここでは、揺れ検出手段１２を、揺れ開始検出部１２ａと、揺れ停止検出部１２ｂとを備えて構成している。
【００５０】
揺れ開始検出部（揺れ開始検出手段）１２ａは、動きベクトル抽出手段１１で抽出された動きベクトルに基づいて、映像の揺れの開始を検出するものである。この揺れ開始検出部１２ａでは、動きベクトルの大きさが、予め定めた大きさ（閾値：揺れ開始検出閾値）より大きいかどうかを判定することで、揺れの開始を検出する。揺れ開始検出部１２ａは、揺れの開始を検出した場合、その揺れを検出したタイムコードを含んだ検出開始通知を、揺れ停止検出部１２ｂに通知する。
【００５１】
なお、地震等の揺れの場合は、画像全体が一様の動きを伴うため、揺れ開始検出部１２ａでは、画像（ピクチャ：フレーム又はフィールド）内の全てのマクロブロック、又は画像内の予め決められた複数位置のマクロブロックの方向及び大きさが、予め定めた範囲内に収まっており、その大きさが予め定めた閾値より大きい場合に、揺れが発生（開始）したと判定する。
【００５２】
揺れ停止検出部（揺れ停止検出手段）１２ｂは、揺れ開始検出部１２ａから検出開始通知を通知された後に、動きベクトル抽出手段１１で抽出された動きベクトルに基づいて、映像の揺れの停止を検出するものである。この揺れ停止検出部１２ｂでは、揺れの検出後、動きベクトルの大きさが、予め定めた大きさ（閾値：揺れ停止検出閾値）より小さいかどうかを判定することで、揺れの停止を検出する。
【００５３】
この揺れ停止検出部１２ｂは、映像の揺れの停止を検出した段階で、揺れが発生した時刻を示す揺れ開始タイムコードと、揺れが停止した時刻を示す揺れ停止タイムコードと、揺れの開始（発生）から停止までの間で動きベクトルの大きさの最大値を示す揺れ最大値とを、揺れ情報として外部に出力する。
ここでは、揺れ停止検出部１２ｂに、動きベクトル累計部１２ｂ１及び揺れ最大値測定部１２ｂ２を備えることで、地震等の外部要因に基づく映像の揺れの停止、及び、映像の揺れの開始から停止までの間で、揺れの大きさが最大となる値を検出している。
【００５４】
動きベクトル累計部（動きベクトル累計手段）１２ｂ１は、揺れ開始検出部１２ａから検出開始通知を通知されてから、動きベクトル抽出手段１１で抽出されたマクロブロックの動きベクトルを、個々に時間毎に累計するものである。動きベクトル累計部１２ｂ１は、この累計結果を、逐次図示していない蓄積手段に蓄積する。そして、揺れ停止検出部１２ｂが、動きベクトルの大きさによって、揺れの停止を検出した段階で累計結果を参照し、この累計された動きベクトル（累計動きベクトル）の大きさが予め定めた値（揺れ停止検出閾値）より小さい（「０」に近い）場合に、この映像の揺れが、地震等の外部要因に基づくものであると判定する。
これによって、揺れ停止検出部１２ｂは、映像の揺れ戻し（図５参照）を認識することができるので、カメラのパン、チルト等の内部要因によって発生する一様な動きベクトルを揺れの対象から省くことができる。
【００５５】
揺れ最大値測定部（揺れ最大値測定手段）１２ｂ２は、動きベクトル抽出手段１１で抽出されたマクロブロックの動きベクトルの大きさが最大となる揺れ最大値を測定するものである。なお、この揺れ最大値測定部１２ｂ２は、揺れ開始検出部１２ａから検出開始通知を通知されてから、入力される各マクロブロックの動きベクトルの大きさを比較し、最大となる動きベクトルの大きさを揺れ最大値とする。
【００５６】
なお、地震等の揺れの場合は、画像全体が一様の動きを伴うため、揺れ停止検出部１２ｂは、画像（ピクチャ：フレーム又はフィールド）内の全てのマクロブロック、又は画像内の予め決められた複数位置のマクロブロックについて、動きベクトルを累計して、揺れの停止を検出する。このように、画像（ピクチャ：フレーム又はフィールド）内で複数箇所のマクロブロックの動きベクトルに基づいて、映像の揺れを検出することで、地震等の外部要因に起因した映像の揺れを確実に検出することができる。
【００５７】
以上、一実施の形態として映像揺れ検出装置１０の構成について説明したが、本発明はこれに限定されるものではない。ここでは、映像揺れ検出装置１０は、揺れが停止した段階で揺れの情報（揺れ開始タイムコード、揺れ停止タイムコード及び揺れ最大値）を出力することとしたが、揺れの開始及び停止のみを検出する場合であれば、揺れ最大値測定部１２ｂ２を構成から外してもよい。
また、リアルタイムで映像の揺れの開始と停止を検出する場合であれば、揺れ開始検出部１２ａが、揺れを検出した段階で、揺れ情報である揺れ開始タイムコードを外部に出力することとしてもよい。また、この場合は、タイムコードを含めずに、揺れの開始及び停止の事象が発生したことのみを通知することとしてもよい。
【００５８】
なお、映像揺れ検出装置１０は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現することができる。このプログラム（映像揺れ検出プログラム）は、通信回線を介して配付することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配付することも可能である。
【００５９】
［映像揺れ検出装置：動作］
次に、図２を参照（適宜図１参照）して、本発明に係る映像揺れ検出装置の動作について説明を行う。図２は、映像揺れ検出装置の動作を示すフローチャートである。
【００６０】
＜動きベクトル抽出ステップ＞
まず、映像揺れ検出装置１０は、動きベクトル抽出手段１１によって、入力された符号化映像を解析し、画像（ピクチャ：フレーム又はフィールド）における動きベクトルを抽出する。ここでは、まず、動きベクトル抽出手段１１が、ＧＯＰ層のＧＯＰヘッダからタイムコードを抽出し（ステップＳ１）、そのＧＯＰ層に含まれるピクチャ（画像）内におけるマクロブロックの動きベクトルを抽出する（ステップＳ２）。
【００６１】
＜揺れ開始検出ステップ＞
そして、映像揺れ検出装置１０は、揺れ検出手段１２の揺れ開始検出部１２ａによって、動きベクトル抽出手段１１で抽出された動きベクトルの大きさが、予め定めた大きさ（閾値：揺れ開始検出閾値）より大きいかどうかを判定する（ステップＳ３）。ここで動きベクトルの大きさが、揺れ開始検出閾値より大きい場合（ステップＳ３でＹｅｓ）、揺れ開始検出部１２ａは、検出開始通知を揺れ停止検出部１２ｂに通知し、以下の揺れの停止検出動作（ステップＳ４以降）に進む。一方、動きベクトルの大きさが、揺れ開始検出閾値以下の場合（ステップＳ３でＮｏ）、その画像では揺れが発生していないと判断し、ステップＳ１３へ進んで次の画像の符号化映像の解析を継続する。
【００６２】
ここで、検出開始通知の通知を受けた揺れ停止検出部１２ｂは、動きベクトル累計部１２ｂ１によって、動きベクトル抽出手段１１で抽出された画像内の動きベクトルを加算し、累計動きベクトルの初期値として設定し（ステップＳ４）、揺れ最大値測定部１２ｂ２によって、画像内の動きベクトルの大きさの最大値を揺れ最大値の初期値として設定する（ステップＳ５）。
【００６３】
そして、映像揺れ検出装置１０は、動きベクトル抽出手段１１によって、時系列に次の画像を示すＧＯＰ層のＧＯＰヘッダからタイムコードを抽出し（ステップＳ６）、そのＧＯＰ層に含まれるピクチャ（画像）内におけるマクロブロックの動きベクトルを抽出する（ステップＳ７）。
【００６４】
＜動きベクトル累計ステップ＞
ここで、揺れ停止検出部１２ｂの動きベクトル累計部１２ｂ１は、画像内の動きベクトルを加算し、前の画像までで累計した累計動きベクトルに加算することで、動きベクトルを累計していく（ステップＳ８）。また、揺れ停止検出部１２ｂの揺れ最大値測定部１２ｂ２は、画像内の動きベクトルの大きさが前の画像までの揺れ最大値よりも大きい場合に、その大きさを揺れ最大値として更新する（ステップＳ９）。
【００６５】
＜揺れ停止検出ステップ＞
そして、映像揺れ検出装置１０は、揺れ停止検出部１２ｂによって、画像内の動きベクトルの大きさが、予め定めた大きさ（閾値：揺れ停止検出閾値）より小さいかどうかを判定する（ステップＳ１０）。ここで動きベクトルの大きさが、揺れ停止検出閾値より小さい場合（ステップＳ１０でＹｅｓ）、揺れ停止検出部１２ｂは、揺れが停止したものと判断し、ステップＳ１１へ進む。一方、動きベクトルの大きさが、揺れ停止検出閾値以上の場合（ステップＳ１０でＮｏ）、その画像では揺れが停止していないと判断し、ステップＳ６へ戻って、次に入力される符号化画像のＧＯＰ層について解析を行う。
【００６６】
また、映像揺れ検出装置１０は、揺れ停止検出部１２ｂによって、ステップＳ８で累計された累計動きベクトルの大きさが、揺れ停止検出閾値より小さいかどうかを判定する（ステップＳ１１）。ここで、累計動きベクトルの大きさが、揺れ停止検出閾値より小さい場合（ステップＳ１１でＹｅｓ）、揺れ停止検出部１２ｂは、揺れ戻しが発生している揺れが停止したと判断し、この画像のタイムコードを揺れ停止タイムコードとし、揺れが開始したタイムコードである揺れ開始タイムコードと、揺れ最大値とを併せて揺れ情報として外部に出力する（ステップＳ１２）。一方、累計動きベクトルの大きさが、揺れ停止検出閾値以上の場合（ステップＳ１１でＮｏ）、揺れ停止検出部１２ｂは、揺れ戻しが発生する地震のような揺れではないと判断し、ステップＳ１３へ進む。
【００６７】
そして、映像揺れ検出装置１０は、入力された符号化映像に次の画像が存在するかどうかを判定し（ステップＳ１３）、次の画像が存在する場合（ステップＳ１３でＹｅｓ）、ステップＳ１へ戻って、映像の揺れの検出を継続する。一方、次の画像が存在しない場合（ステップＳ１３でＮｏ）、映像揺れ検出装置１０は、映像の揺れの検出を終了する。
以上の動作によって、映像揺れ検出装置１０は、被写体を撮影した映像（符号化映像）から、地震等の外的な要因によって発生した、映像の揺れを検出することができる。
【００６８】
［カメラ映像選択装置］
次に、図３を参照して、本発明に係るカメラ映像選択装置について説明する。図３は、カメラ映像選択装置を含んだロボットカメラモニタリングシステムの構成を示すブロック図である。このロボットカメラモニタリングシステム１００は、全国各地の主な港、空港等に、リモコン遠隔操作によって所望の映像を撮影するロボットカメラを設置し、地震等の揺れが発生したカメラ映像を、放送用の映像として放送するものである。ここでは、ロボットカメラモニタリングシステム１００は、全国各地に設置されたカメラ（ロボットカメラ）１と、放送局４とを、ネットワーク３を介して接続して構成している。
【００６９】
カメラ１（１1、…１n）は、全国各地の放送局や、主な港、空港等に設置され、現場の映像を撮影するロボットカメラである。このカメラ１で撮影された映像は、それぞれＩＰ符号化器２（２1、…２n）に送信される。
【００７０】
ＩＰ符号化器２（２1、…２n）は、カメラ１が撮影した映像に対してＭＰＥＧ等の符号化を行うものである。ここで符号化された符号化映像（ストリームデータ）は、図示していない暗号化装置によって、ＩＰｓｅｃ（ＩＰ  Ｓｅｃｕｒｉｔｙ  Ｐｒｏｔｏｃｏｌ）に基づく暗号化を行って、放送局４に送信される。
【００７１】
ネットワーク３は、例えば、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）等の仮想私設網である。これによって、カメラ１と放送局４とを専用線のように相互に接続し、安全な通信を行うことができる。
放送局４は、カメラ映像選択装置２０を備え、全国各地に設置されたカメラ１で撮影されたカメラ映像から、放送に必要なカメラ映像を選択して放送を行う。
【００７２】
カメラ映像選択装置２０は、カメラ１で撮影されたカメラ映像から、地震が発生した地域に設置されているカメラの映像を選択するものである。ここで選択された映像は、放送用映像として放送される。ここでは、カメラ映像選択装置２０で選択された映像は、スタジオ３０内で撮影されるニュース番組等で、アナウンサＭを撮影した放送カメラＣの映像と必要に応じて合成されて放送用の映像として放送される。
【００７３】
以下、カメラ映像選択装置２０について詳細に説明する。
ここでは、カメラ映像選択装置２０を、カメラ映像受信手段２１と、映像揺れ検出手段（映像揺れ検出装置）１０と、蓄積手段２２と、映像選択手段２３と、放送用映像出力手段２４とを備えて構成している。
【００７４】
カメラ映像受信手段２１は、ネットワーク（ＩＰ−ＶＰＮ）３を介して、全国各地に配置されているカメラ１が撮影した映像（符号化映像）を受信するものである。このカメラ映像受信手段２１は、常時接続によって、全国各地のカメラ映像（符号化映像）２２ａを、カメラを特定する識別情報（識別番号）とタイムコードとともに、蓄積手段２２に蓄積していく。
【００７５】
映像揺れ検出手段（映像揺れ検出装置）１０は、カメラ映像受信手段２１で受信したカメラ映像（符号化映像）に記述されている動きベクトルに基づいて、地震による映像の揺れを検出し、その揺れが開始した揺れ開始タイムコードと、揺れが停止した揺れ停止タイムコードと、その揺れの開始から停止までの間の動きベクトルの最大値（揺れ最大値）とを含んだ揺れ情報２２ｂを、カメラを特定する識別情報（識別番号）とともに蓄積手段２２に蓄積していく。なお、この映像揺れ検出手段（映像揺れ検出装置）１０は、図１で説明した映像揺れ検出装置と同一のものであるため、その内容については説明を省略する。
【００７６】
蓄積手段２２は、カメラ映像受信手段２１で受信したカメラ１の映像（カメラ映像２２ａ）と、映像揺れ検出手段１０で検出した揺れ情報２２ｂとを蓄積するもので、ハードディスク等の記憶媒体である。この蓄積手段２２には、例えば、全国各地のカメラ映像を１日分蓄積する。なお日数を超過した映像は削除されるものとする。
【００７７】
映像選択手段２３は、蓄積手段２２に蓄積されている揺れ情報２２ｂに基づいて、カメラ映像２２ａから、地震による揺れが発生している映像を選択するものである。例えば、揺れ情報２２ｂには、揺れが開始した揺れ開始タイムコードがカメラ１の識別情報とともに記録されているため、揺れが発生しているカメラ１を特定することができる。また、タイムコードによって、揺れが発生した映像の開始時刻も特定することができる。
【００７８】
そして、映像選択手段２３は、地震が発生したときの映像を複数、図示していない表示手段に表示し、操作者（スイッチャ等）が放送用映像として用いる映像を選択する。また、揺れ情報２２ｂには、カメラ１毎に揺れ最大値を記録しているため、図示していない表示手段に放送用映像の候補となる映像を表示する際に、揺れ最大値が大きい順にカメラの映像を表示することで、操作者が放送に用いる映像として最適な映像を素早く選択することができる。なお、ここで選択されたカメラ１の識別情報と、地震が発生した時刻（タイムコード）とは、放送用映像出力手段２４に通知される。
【００７９】
放送用映像出力手段２４は、映像選択手段２３で選択されたカメラの識別番号と時刻に対応するカメラ映像２２ａを蓄積手段２２から読み出して、放送用映像として出力するものである。ここで出力された放送用映像が、放送されることになる。
このように、カメラ映像選択装置２０を構成することで、ロボットカメラモニタリングシステム１００は、地震が発生した地域に設置されているカメラが撮影した映像を、素早く検索して放送用映像として出力することが可能になる。このとき、カメラ映像から、揺れを検出するため、震源地とは関係なく揺れが大きい場所に設置されているカメラの映像を的確に選択することが可能になる。
【図面の簡単な説明】
【００８０】
【図１】本発明の実施の形態に係る映像揺れ検出装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る映像揺れ検出装置の動作を示すフローチャートである。
【図３】本発明の実施の形態に係るカメラ映像選択装置を含んだロボットカメラモニタリングシステムの構成を示すブロック図である。
【図４】映像を構成する画像毎に、映像の揺れを、ブロック（マクロブロック）の動きベクトルの動きで表現した模式図である
【図５】映像の揺れの発生から停止までの、１つのマクロブロックにおける動きベクトルの動きを概念的に示した概念図である。
【図６】従来のロボットカメラモニタリングシステムの概略構成図である。
【符号の説明】
【００８１】
１０      映像揺れ検出装置（映像揺れ検出手段）
１１      動きベクトル抽出手段
１２      揺れ検出手段
１２ａ    揺れ開始検出部（揺れ開始検出手段）
１２ｂ    揺れ停止検出部（揺れ停止検出手段）
１２ｂ１  動きベクトル累計部（動きベクトル累計手段）
１２ｂ２  揺れ最大値測定部（揺れ最大値測定手段）
２０      カメラ映像選択装置
２１      カメラ映像受信手段
２２      蓄積手段
２３      映像選択手段
【図１】
2005037273.tif 000003
【図２】
2005037273.tif 000004
【図３】
2005037273.tif 000005
【図４】
2005037273.tif 000006
【図５】
2005037273.tif 000007
【図６】
2005037273.tif 000008