(57)【要約】【課題】広角映像内から動体を抽出し、監視対象を自動的に選択して動画撮影を行うことができるようにする。【解決手段】広角映像を撮像する撮像手段と、前記撮像手段により撮像された広角映像から動体を抽出する動体抽出手段と、前記動体抽出手段によって抽出した動体に優先度を設ける優先度付与手段と、前記広角映像から一部の領域の映像を切り出す映像切り出し手段と、映像を第１の映像データと第２の映像データに変換する映像変換手段と、を有し、前記映像切り出し手段は、前記優先度付与手段によって設定された優先度のうち最も優先度の高い動体を含む領域を動画表示用のアスペクト比に切り出し、前記映像変換手段は、前記映像切り出し手段により切り出された最も優先度の高い動体を含む領域を第１の映像データに変換し、残りの領域を第２の映像データに変換する。【選択図】図１
2014222825.tif 000002
【特許請求の範囲】
【請求項１】
広角映像を撮像する撮像手段と、
前記撮像手段により撮像された広角映像から動体を抽出する動体抽出手段と、
前記動体抽出手段によって抽出した動体に優先度を設ける優先度付与手段と、
前記広角映像から一部の領域の映像を切り出す映像切り出し手段と、
映像を第１の映像データと第２の映像データに変換する映像変換手段と、
を有し、
前記映像切り出し手段は、前記優先度付与手段によって設定された優先度のうち最も優先度の高い動体を含む領域を動画表示用のアスペクト比に切り出し、
前記映像変換手段は、前記映像切り出し手段により切り出された最も優先度の高い動体を含む領域を第１の映像データに変換し、残りの領域を第２の映像データに変換することを特徴とする映像処理装置。
【請求項２】
前記第１の映像データと第２の映像データは、少なくとも生成されるタイミング、周期、フレームレートが異なることを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記第１の映像データと第２の映像データでは、第１の映像データの方が早く生成されることを特徴とする請求項２に記載の映像処理装置。
【請求項４】
前記動画表示用のアスペクト比に切り出す場合には、少なくともアスペクト比が３：４または９：１６の映像サイズを含むことを特徴とする請求項１に記載の映像処理装置。
【請求項５】
前記動画表示用のアスペクト比に切り出す場合には、前記映像変換手段で変換される領域の高さをアスペクト比の縦に合わせた映像サイズとすることを特徴とする請求項１に記載の映像処理装置。
【請求項６】
前記優先度付与手段は、動体が密集している場合に複数の動体を集合体として高い優先度とすることを特徴とする請求項１〜５の何れか１項に記載の映像処理装置。
【請求項７】
前記優先度付与手段は、最大サイズが大きい動体を高い優先度とすることを特徴とする請求項１〜５の何れか１項に記載の映像処理装置。
【請求項８】
前記優先度付与手段は、最大サイズが一致している場合には、存在時間が長い動体を高い優先度とすることを特徴とする請求項１〜５の何れか１項に記載の映像処理装置。
【請求項９】
前記優先度付与手段は、最大サイズ及び存在時間が一致している場合には、移動速度が速い動体を高い優先度とすることを特徴とする請求項１〜５の何れか１項に記載の映像処理装置。
【請求項１０】
前記優先度付与手段は、最大サイズ、存在時間、及び移動速度が一致している場合には、切り出し領域が存在するか否かに応じて高い優先度を決定することを特徴とする請求項１〜５の何れか１項に記載の映像処理装置。
【請求項１１】
前記優先度付与手段は、切り出し領域が存在する場合には、現在の領域から最も近い動体を選択して高い優先度とすることを特徴とする請求項１０に記載の映像処理装置。
【請求項１２】
前記優先度付与手段は、切り出し領域が存在しない場合には、デフォルトの位置から最も近い動体を選択して高い優先度とすることを特徴とする請求項１０に記載の映像処理装置。
【請求項１３】
前記撮像手段は、前記広角映像を撮像するためのレンズとして、全方位を撮影可能なレンズ、または３６０度撮影可能なレンズ、及び前記全方位を撮影可能なレンズ、または３６０度撮影可能なレンズにより撮影された円形映像から歪を取り除く補正を行う映像補正手段を有し、
前記動体抽出手段は、前記映像補正手段によって補正された映像内の背景部分との差分をとることによって動体を抽出することを特徴とする請求項１〜１２の何れか１項に記載の映像処理装置。
【請求項１４】
広角映像を撮像する撮像工程と、
前記撮像工程において撮像された広角映像から動体を抽出する動体抽出工程と、
前記動体抽出工程において抽出した動体に優先度を設ける優先度付与工程と、
前記広角映像から一部の領域の映像を切り出す映像切り出し工程と、
映像を第１の映像データと第２の映像データに変換する映像変換工程と、
を有し、
前記映像切り出し工程は、前記優先度付与工程において設定された優先度のうち最も優先度の高い動体を含む領域を動画表示用のアスペクト比に切り出し、
前記映像変換工程は、前記映像切り出し工程において切り出された最も優先度の高い動体を含む領域を第１の映像データに変換し、残りの領域を第２の映像データに変換することを特徴とする映像処理方法。
【請求項１５】
広角映像を撮像する撮像手順と、
前記撮像手順において撮像された広角映像から動体を抽出する動体抽出手順と、
前記動体抽出手順において抽出した動体に優先度を設ける優先度付与手順と、
前記広角映像から一部の領域の映像を切り出す映像切り出し手順と、
映像を第１の映像データと第２の映像データに変換する映像変換手順と、
をコンピュータに実行させるプログラムであって、
前記映像切り出し手順は、前記優先度付与手順において設定された優先度のうち最も優先度の高い動体を含む領域を動画表示用のアスペクト比に切り出し、
前記映像変換手順は、前記映像切り出し手順において切り出された最も優先度の高い動体を含む領域を第１の映像データに変換し、残りの領域を第２の映像データに変換するようコンピュータを制御することを特徴とするプログラム。
【請求項１６】
請求項１５に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像処理装置および映像処理方法に関し、特に、広角レンズや全方位レンズを用いた広域監視カメラで撮影する領域内の動体を含む注目領域に対して、再生映像に適したサイズを自動的に選択するために用いて好適な技術に関するものである。
【背景技術】
【０００２】
従来、広角レンズや魚眼レンズを用いて撮影する場合、広角映像内に複数の対象が存在することがあり、特定の対象を絞り込むために映像から一部を切り出す機能を搭載することが検討されている。広角映像から切り出した映像を圧縮して配信することにより、受信側で表示サイズに合わせた変換をかけることにより、切り出し映像を表示することができる方法も検討されている。
【０００３】
例えば、特許文献１では、広角映像内から画像を切り出す場合に、切り出した映像と広角映像における切り出し位置を対応付けておき、切り出し画像を一時的に保持して参照フレームとすることで、切り出した画像の圧縮率を高めることを開示している。
【０００４】
例えば、特許文献２では、動きの大きな領域を主領域として切り出しておく。更に内部の動きの小さなものを低画質化し、補助領域から動きの大きなものを低画質化した部分に重ね合わせることで、広角映像内の動きのある部分を効率的に映像伝送する方法を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２１８８５１号公報
【特許文献２】特開２００４−３６３９７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前述の特許文献１に開示された従来技術では、広角映像から注目する対象を切り出す場合に、ユーザーが画面を見ながら切り出す範囲を指定する方法と共に、監視カメラなどで動体の部分を切り出すことが提示されている。したがって、切り出した映像以外は広角映像の一部として表示することとなり、全体の広角画像を基に受信側で見る必要がある。
【０００７】
また、特許文献２に開示された従来技術では、広角映像内の動体部分において重要領域と非重要領域を判断しているが、切り出す主領域のサイズについては言及しておらず、低画質化領域と子画面領域とが不一致のときは子画面領域を変形させて対応させている。主領域に対して表示画像を考慮した映像サイズの設定を行わずに、圧縮率とデータサイズを考慮して送信すると、映像データの変換にかかる負荷が高くなってしまい、配信映像サイズは抑えられるが映像配信側の処理に制限がかかってしまう問題点があった。
【０００８】
本発明は前述の問題点に鑑み、広角映像内から動体を抽出し、監視対象を自動的に選択して動画撮影を行うことができるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の映像処理装置は、広角映像を撮像する撮像手段と、前記撮像手段により撮像された広角映像から動体を抽出する動体抽出手段と、前記動体抽出手段によって抽出した動体に優先度を設ける優先度付与手段と、前記広角映像から一部の領域の映像を切り出す映像切り出し手段と、映像を第１の映像データと第２の映像データに変換する映像変換手段と、を有し、前記映像切り出し手段は、前記優先度付与手段によって設定された優先度のうち最も優先度の高い動体を含む領域を動画表示用のアスペクト比に切り出し、前記映像変換手段は、前記映像切り出し手段により切り出された最も優先度の高い動体を含む領域を第１の映像データに変換し、残りの領域を第２の映像データに変換することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、広角画像から動体の多い部分を優先的に抽出し、表示装置に応じた映像サイズで動画撮影できると共に、優先度の低い部分は分けて配信することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態を示し、動体を含む領域の抽出処理を説明する図である。
【図２】実施形態を示し、全方位監視カメラの構成例を示すブロック図である。
【図３】実施形態を示し、全方位監視カメラの映像の一例を示す図である。
【図４】実施形態を示し、動体抽出方法を実現する処理手順を説明するフローチャートである。
【図５】実施形態を示し、最高優先度決定の手順を説明するフローチャートである。
【図６】実施形態を示し、領域サイズを決定する手順を説明するフローチャートである。
【図７】実施形態を示し、映像変換処理の手順を説明するフローチャートである。
【発明を実施するための形態】
【００１２】
以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
先ず、図２を参照して、本発明の実施形態による、映像処理装置である全方位監視カメラの構成について説明する。
【００１３】
本実施形態の映像処理装置は、例えば、ビデオカメラや、デジタルカメラや、監視カメラや、定点カメラなど、広く映像を処理する装置に適用可能である。また、本実施形態の映像処理装置においては、監視カメラ等のシステムにおいて、外部の機器において撮像された映像を入力し、処理する装置であってもよいものとする。
【００１４】
図２に、全方位監視カメラの構成図の一例を示す。
全方位監視カメラは、レンズ２０１を通して入力された映像が、撮像部２０３によって撮像されデジタル映像データとして処理される。
【００１５】
レンズ２０１は、レンズ制御部２０２によってレンズの操作が行われ、フォーカスやズーム制御、アイリス調整などで被写体を最適な値によって撮影できるように制御される。撮像部２０３で撮影されたデジタル映像データは映像補正部２０４に出力され、映像補正部２０４において映像の歪などを取り除き監視目的として見やすい映像に補正される。
【００１６】
映像補正部２０４で補正された映像は動体抽出部２０５に出力され、動体抽出部２０５において映像内の背景部分との差分をとることによって動体が抽出される。抽出された各動体の位置と、大きさと、動体が検出されていた期間と、方向と、移動速度とを保持する。映像切り出し部２０６において、映像補正部２０４で補正された映像と、動体抽出部２０５により抽出された動体情報を基に、任意の位置の映像が切り出される。
【００１７】
映像切り出し部２０６で切り出された映像は映像変換処理部２０７に出力され、通信に最適な符号化処理を施されて映像データに映像変換される。映像変換処理部２０７で符号化され映像変換された映像データは、通信部２０８によって外部のネットワークに送信される。通信部２０８では、クライアントからの制御要求や配信要求に応じて通信を制御している。
【００１８】
各ブロックは、内部バス２０９によって接続されており、ＣＰＵ２１０によって制御信号を受けて動作を行う。また、映像データはＲＡＭ２１１に一時的に退避させ処理シーケンスを待つことに利用され、ユーザーからの設定情報やプログラムなどがロードされている。ＲＯＭ２１２では、プログラムが保存されており、起動してからＲＡＭ２１１へロードされ、ＣＰＵ２１０からの読み出しにより動作する。また、ユーザーからの設定情報はＲＡＭ２１１に一時的に保存されるものと、ＲＯＭ２１２へ保存されて装置再起動後も有効になるものと存在する。
【００１９】
動体抽出部２０５は、ＣＰＵ２１０によって抽出する動体の条件を変更することができる。抽出した動体情報はＲＡＭ２１１に一時的に保存され、ＣＰＵ２１０によって抽出情報から計算され、広角映像から一部の領域の映像を切り出す際の切り出し位置やサイズとして映像切り出し部２０６に送信される。なお、ＣＰＵ２１０は、ネットワーク上のクライアントに対し、ＲＡＭ２１１およびＲＯＭ２１２にある動体情報および設定値を、通信部２０８を介して送信制御する。
【００２０】
ここで、全方位監視カメラにより撮影される映像の一例を図３に示す。
図３は、魚眼レンズを用いて撮影した光学系を表す全方位画像（図３（ａ））と、その展開画像（図３（ｂ））を模式的に示す図である。
【００２１】
図３（ａ）に示す全方位画像３０１は、天井から真下に向かって撮影した状態であり、全体として３０２のように円環状をなす領域内に、方位ごとの被写体情報をその画像中心３０３から径方向に向かって放射状に持つ。方位角度Θ１とΘ２は、それぞれ中心ラインを３０４とする位置からラインＬ１とラインＬ２として表される。
【００２２】
一方、図３（ｂ）に示す展開画像は全体として矩形状であり、実空間の鉛直方向と対応する縦方向が全方位画像における径方向に対応するとともに、実空間の水平方向と対応する横方向が全方位画像における周方向と対応する。
【００２３】
図３（ａ）における円形映像の中心３０３と中心から垂直におろした線３０４および垂直に伸ばした線３０５において、垂線３０５を基準として展開を行うと、図３（ｂ）のように垂線３０４を中心とした矩形になる。
【００２４】
ここで、方位角度ごとの被写体情報を横方向に沿って並列上に持つように形成され、方位角度Θ１に対応したラインＬ１はＬ１’として表され、方位角度Θ２に対応したラインＬ２はＬ２’として展開される。
なお、図３（ａ）で示される領域を３０６ａ、３０７ａ、３０８ａとして映像補正部２０４を介して展開すると、図３（ｂ）にある３０６ｂ、３０７ｂ、３０８ｂのように垂線３０４を中心として横方向に展開されて補正される。
【００２５】
本実施形態において、全方位カメラとして魚眼レンズを用いた全方位画像を用いている例を示した。この他に、魚眼レンズの撮影に限らず広角映像を撮影できる、ミラーを用いた光学式の３６０度撮影可能なレンズや、超広角の映像を撮影できるレンズなど、撮影する対象が広範囲にわたるものであっても、本実施形態の目的を満たすことができる。
【００２６】
ここで、図４のフローチャートを用いて動体抽出部２０５における動体抽出方法を実現する処理手順について説明する。
動体抽出部２０５では、入力される映像の背景映像を学習しており、入力される映像データと背景映像との差分を比較して動体を検出する。
【００２７】
処理が開始されると、Ｓ４０１で映像データを入力し、事前に学習した背景画像と入力映像データとの背景差分を比較する（Ｓ４０２）。Ｓ４０１の映像データは、初期起動時に必要数の映像データを入力することで背景を学習することが可能であり、ここでは起動してから十分に時間が経過しており、既に学習した背景映像が存在するものとする。
【００２８】
Ｓ４０２において、背景差分がある場合には動体として認識できる最低サイズの変化が発生したか確認する（Ｓ４０３）。
Ｓ４０２の背景差分とＳ４０３の最低サイズを超えない誤差は無視され、Ｓ４０１の映像データ入力に戻る。Ｓ４０３で動体最低サイズを超えた場合、動体の位置およびサイズの情報を更新する（Ｓ４０４）。
【００２９】
更に、過去の動体情報との相関があるか否かをＳ４０５で判断し、同一物体であると判断できた場合はＳ４０６に進み、動体の出現時間情報を更新する。
Ｓ４０５で相関が取れず同一物体でないと判断できた場合にはＳ４０７に進み、新規物体の出現として登録する。
【００３０】
Ｓ４０６で時間情報を更新した物体は、時間情報と位置およびサイズの比較により対象物体が移動しているか否かを判断する（Ｓ４０８）。
移動している物体であれば位置とサイズとの相関から速度情報を更新し（Ｓ４０９）、移動していない場合は静止物体として速度情報を０にリセットする（Ｓ４１０）。
【００３１】
速度情報と新規物体のそれぞれで動体情報を更新し（Ｓ４１１）、全動体を抽出したか否かを確認する（Ｓ４１２）。全動体に対して更新が済んでいなければ、Ｓ４０５に戻り、各動体についての情報を更新し、全動体についての情報更新が終了すれば動体抽出処理を終える。
【００３２】
なお、動体が存在しない場合、映像データ入力を繰り返すことになるが、この場合は映像補正部２０４から映像切り出し部２０６へ直接映像データが出力されるので、映像変換処理および外部クライアントへの通信を妨げることにはならない。
【００３３】
本実施形態の中では、背景差分を用いた動体検出方式を用いて説明を行ったが、動体を検出できるものであれば目的を達することができる。例えば、フレーム間差分のような入力されてくる映像データをある一定周期のフレーム単位で処理することで動体を抽出する方式を用いてもよい。
【００３４】
動体抽出部２０５で抽出した動体について、各動体の中で最高優先度を決定する処理を図５のフローチャートを用いて説明する。
動体抽出処理を終えた動体のうち、指定距離内の動体を一つの物体として扱うようにマージする（Ｓ５０１）。
Ｓ５０１の動体マージ後に全動体情報をサイズ、存在時間、移動速度の順にソートする（Ｓ５０２）。
全動体のうち最大サイズが一致しているか否かを確認し（Ｓ５０３）、最大サイズが異なれば最大サイズのものを動体の最高優先度とする優先度付与処理を行う（Ｓ５０９）。
【００３５】
次に、最大サイズが一致していれば、動体が現れてからの存在時間を比較する（Ｓ５０４）。存在時間が一致していれば、動体の移動速度を比較し（Ｓ５０５）、それぞれ一致していない場合は動体の存在時間が最長のもの、動体の移動速度が最も高速のものを最高優先度とする優先度付与処理を行う（Ｓ５０９）。
【００３６】
サイズ、存在時間、移動速度が一致している動体が複数ある場合、現在既に切り出し領域が存在しているか否かを判断し（Ｓ５０６）、存在する場合には現在の領域の中心位置から最も近い動体を選択する（Ｓ５０７）。
【００３７】
切り出し領域が存在せず、複数の候補動体が存在する場合は、予め定められているデフォルトの中心位置から最も近い動体を選択する（Ｓ５０８）。デフォルト領域としては、図３（ｂ）に展開された画像の中心位置とする。この処理により、動体の中から最もサイズが大きく、存在時間が長く、移動速度が速いものを最高優先度として設定する優先度付与処理を行う（Ｓ５０９）。
【００３８】
動体抽出部２０５によって最高優先度の動体と、その映像内の位置を算出することができるため、動体の位置情報とサイズに関する情報をＲＡＭ２１１へ保存することができる。ＣＰＵ２１０は、動体の位置情報を基にレンズ制御部２０２に対して、優先度の最も高い動体に応じたシャッタースピードや明るさの設定を指示することができる。これにより、動体に合わせてレンズ制御を行い、動体に適した撮影パラメータによる撮影を継続することが可能となる。
【００３９】
次に、映像切り出し部２０６において、最高優先度を持つ動体を含む領域の抽出処理を図１（Ａ）〜（Ｄ）によって示す。
図１（Ａ）は、図３（ｂ）に示す展開画像の一例である。
動体抽出部２０５によって抽出された動体はサイズ順にＭ１０１、Ｍ１０２、Ｍ１０３、Ｍ１０４の４つ存在する。
【００４０】
前述した最高優先度の決定方法に従い、図１（Ｂ）のように各動体に対して動体間の距離とサイズによって優先度を定め、各動体を囲む外接矩形によって表すと、優先度の高い順に領域はＲ１０１、Ｒ１０２、Ｒ１０３となる。ここでは、複数の動体が密集している場合に、複数の動体を集合体として動体Ｍ１０２と動体Ｍ１０３を含む領域Ｒ１０１が対象となる。
【００４１】
領域Ｒ１０１は、高さＨｒ、幅Ｗｒの外接矩形によって表わされる。対象となる領域Ｒ１０１の高さが展開画像における高さに満たない場合、図１（Ｃ）のように展開画像の最大高Ｈ１まで広げ領域Ｒ１０４を設定する。
【００４２】
ここで、監視カメラの映像を表示するクライアントへの配信サイズを考慮し、アスペクト比が一定になるように、３：４もしくは９：１６のビデオ映像サイズに適した領域を選択するよう領域Ｒ１０４を基準として映像変換処理における映像サイズを決める。
【００４３】
領域Ｒ１０４の高さＨ１を基準とし、幅を設定する際、高さ対幅が３：４になるように幅を決める。図１（Ｄ）に示すように、高さＨ１に対しての３：４の幅Ｗ１を持つ領域Ｒ１０５を動体撮影の切り出し位置となるように定める。領域Ｒ１０５は高さＨ１、幅Ｗ１の矩形領域であり、映像切り出し部２０６において切り出す位置およびサイズは領域Ｒ１０５の中心位置と幅および高さを用いて行われる。
【００４４】
なお、動体抽出において、動体のサイズが大きい場合、複数の動体をマージして動体領域として抽出する際に、動画表示用のアスペクト比３：４に収まらない幅を持つ領域になる場合が想定される。
【００４５】
動体サイズが大きい場合の一例を図１（Ｅ）に示し、領域サイズを決定するためのフローチャートを図６に示す。
図１（Ｅ）に示すように、動体Ｍ１０５と動体Ｍ１０６を持つ領域Ｒ１０６は高さＨｒと幅Ｗｒを持つ。展開画像の高さをＨ１、Ｈ１に対するアスペクト比３：４の場合の幅をＷ１、アスペクト比９：１６サイズの幅をＷ２、高さＨ１と幅Ｗ２の場合の領域は、領域Ｒ１０７とする。
【００４６】
まず、動体抽出の優先度を設定する処理を行い、動体Ｍ１０５と動体Ｍ１０６を持つ領域Ｒ１０６が最高優先度として選択される（Ｓ６０１）。
対象の領域Ｒ１０６の幅Ｗｒが、展開画像の高さＨ１を基準にした３：４サイズの幅Ｗ１と比較して（Ｓ６０２）、ＷｒとＷ１のうちＷ１が広い場合には、３：４の領域を切り出し領域として選択する（Ｓ６０３）。
【００４７】
Ｓ６０２の判断において、領域Ｒ１０６の幅Ｗｒの方が広い場合はアスペクト比９：１６サイズの幅Ｗ２を持つ領域Ｒ１０７を切り出し領域として選択する（Ｓ６０４）。
次に、領域Ｒ１０６の幅Ｗｒと９：１６サイズの幅Ｗ２との比較を行い（Ｓ６０５）、幅Ｗ２が広い場合は、外接矩形である領域Ｒ１０６の中心位置を切り出しの中心として設定する（Ｓ６０７）。同じように、３：４の領域に切り出した場合にも外接矩形の中心位置を切り出しの中心として設定する（Ｓ６０８）。
【００４８】
動体を含む領域Ｒ１０６の幅ＷｒがＷ２よりも広い場合、表示用映像サイズとして表現できるサイズを超えてしまう。このため、領域サイズは維持したまま切り出し位置の中心を、含まれる動体の中で最もサイズの大きな動体に対しての中心位置を使用する（Ｓ６０６）。
【００４９】
前述したように、切り出し位置のサイズは動画表示用のアスペクト比３：４、もしくは９：１６のサイズによって設定され、切り出しの中心位置は動体を含む領域の中心位置もしくは最大サイズの動体の中心を用いて設定される。
【００５０】
映像切り出し部２０６によって決定された切り出し情報を基に映像変換処理部２０７における映像変換処理について、図７のフローチャートを用いて説明する。
切り出し情報として領域および位置とサイズの詳細情報を取得する（Ｓ７０１）。
次いで、切り出し領域情報を取得した時間を計測し（Ｓ７０２）、予め指定された生成タイミングにより切り出し領域を映像変換する（Ｓ７０３）。
【００５１】
時間計測はフレームレートや周期、タイミングなどの時間情報を入手することにより、映像データ間の入力時間間隔を測定し、一定の間隔で映像変換を行うために実行する。
Ｓ７０３の映像変換では、ＪＰＥＧ形式などによる静止画像（第２の映像データ）の連続生成や、Ｈ．２６４やＭＰＥＧ４などの符号化方式を用いて動画像（第１の映像データ）としてクライアントに配信可能な変換を行う。
【００５２】
切り出し領域の映像変換が終了したら、予めパラメータとしてクライアントから設定されているフレームレートや周期、タイミングなどの時間間隔を超えているか否かを判断する（Ｓ７０４）。
指定時間が経過していれば、切り出し領域を除く全ての映像を映像変換する（Ｓ７０５）。Ｓ７０５の映像変換では、ＪＰＥＧ形式などの静止画像として扱うための映像変換を行い、一定周期で映像を取得することができるようにＲＡＭ２１１に保存する。切り出し領域を変換した動画像と、切り出し領域以外の映像を変換した静止画像の情報を更新し、映像変換処理を終える（Ｓ７０６）。
【００５３】
更新された映像情報はＲＡＭ２１１に保存されており、通信部２０８を介してクライアント要求があった場合に、最新情報を送信することで、現在の映像情報を配信することが可能である。
また、クライアントから映像取得要求が来た場合には、通信部２０８を介して一定間隔で配信する。クライアントは、フレームレートや周期情報といった時間間隔を指定することで、映像切り出し位置の動画像と、全体の中から切り出し領域を除く静止画像を取得することが可能である。
【００５４】
本実施形態の説明では、動画像と静止画像の映像変換処理について、ＪＰＥＧおよびＨ．２６４やＭＰＥＧ４などの符号化方式を用いて説明を行った。しかし、動画と静止画というカテゴリに含まれる符号化方式や圧縮方式であれば本実施の目的を満たせるため、符号化方式を限定するものではない。
【００５５】
以上のように、本実施形態では、全方位画像を用いた映像から動きのある動体を抽出し、抽出した動体のうち最も優先度の高い動体を含む領域を常に動画撮影できるように、切り出し位置、切り出し映像サイズを決定する。そして、切り出す映像サイズは、動画表示用の、動画表示に適した表示用動画サイズのアスペクト比に合わせて設定する。
【００５６】
これにより、全方位画像から動画像のみを切り出すことができ、切り出した以外の画像を静止画像として保存することができ、注目部分の抽出が簡易にできると共に、撮影画像全体の状況を把握することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【００５７】
前述した本発明の実施形態における映像処理装置を構成する各手段、並びに制御方法の各ステップは、コンピュータのＲＡＭやＲＯＭ等に記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【００５８】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、一つの機器からなる装置に適用してもよい。
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、装置に直接、または遠隔から供給する。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【符号の説明】
【００５９】
Ｍ１０１、Ｍ１０２、Ｍ１０３、Ｍ１０４、Ｍ１０５、Ｍ１０６  動体
Ｒ１０１、Ｒ１０２、Ｒ１０３、Ｒ１０４、Ｒ１０５、Ｒ１０６、Ｒ１０７  領域
２０３  撮像部、２０４  映像補正部、２０５  動体抽出部、２０６  映像切り出し部、２０７  映像変換処理部、２０８  通信部、３０１  全方位画像、３０２  円環状の撮影領域、３０３  全方位画像の中心、３０４  展開画像の中心線、３０５  展開画像の分断線、３０６、３０７、３０８  動体領域
【図１】
2014222825.tif 000003
【図２】
2014222825.tif 000004
【図３】
2014222825.tif 000005
【図４】
2014222825.tif 000006
【図５】
2014222825.tif 000007
【図６】
2014222825.tif 000008
【図７】
2014222825.tif 000009