(57)【要約】      （修正有）【課題】動画像を効率的に符号化する画像処理装置を提供する。【解決手段】画像処理装置は、フレーム内予測を用いる第１のモードとフレーム間予測を用いる第２のモードとの何れかを利用して動画像を構成するフレーム画像を符号化する符号化手段と、動画像において先行するフレーム画像に対して画像回転が発生したフレーム画像を第１のモードにより符号化するよう符号化手段を制御する制御手段と、を有する。【選択図】図１
2020088610.tif 000002
【特許請求の範囲】
【請求項１】
フレーム内予測を用いる第１のモードとフレーム間予測を用いる第２のモードとの何れかを利用して動画像を構成するフレーム画像を符号化する符号化手段と、
前記動画像において、先行するフレーム画像に対して画像回転が発生したフレーム画像を前記第１のモードにより符号化するよう前記符号化手段を制御する制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
撮像により動画像を取得する撮像手段と、
前記撮像手段の撮影方向を制御する撮影方向制御手段と、
前記撮像手段により取得された動画像を構成するフレーム画像を所定角度だけ回転して前記符号化手段に出力する画像処理手段と、
を更に有し、
前記撮影方向制御手段は、前記撮像手段の撮影方向に関する方向情報を前記制御手段及び前記画像処理手段に提供するよう構成されており、
前記画像処理手段は、前記方向情報に基づいて、該方向情報に対応するフレーム画像を回転するか否かを決定し、
前記制御手段は、前記方向情報に基づいて、該方向情報に対応するフレーム画像を前記第１のモードにより符号化するか否かを決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮像手段は、通路の天井に設置された天井吊り下げ型のカメラであり、
前記撮影方向制御手段は、パン・チルト動作により前記撮像手段の撮影方向を制御する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記通路は直線状の通路であり、
前記撮影方向制御手段は、チルト動作により前記直線状の通路に沿って前記撮像手段の撮影方向を制御し、
前記画像処理手段は、前記方向情報が鉛直下向きを示す場合に該方向情報に対応するフレーム画像を１８０°回転するよう決定し、
前記制御手段は、前記方向情報が鉛直下向きを示す場合に該方向情報に対応するフレーム画像を前記第１のモードにより符号化する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記通路は直線状の通路であり、
前記撮影方向制御手段は、各時刻における撮影方向を規定した所与の制御内容に従って前記撮像手段の撮影方向を制御するよう構成されており、
前記画像処理手段は、前記所与の制御内容に従ってフレーム画像を１８０°回転するよう決定し、
前記制御手段は、前記所与の制御内容に従ってフレーム画像を前記第１のモードにより符号化する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記所与の制御内容を設定する設定手段を更に有する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記撮像手段は、通路の天井に設置された天井吊り下げ型のカメラであり、
前記画像処理手段は、前記撮像手段により取得された動画像を構成するフレーム画像に対してトリミング処理及び拡大処理を更に行うよう構成されており、
前記撮影方向制御手段は、前記撮像手段により取得された動画像に対して前記画像処理手段による画像処理を行うことにより疑似的に撮影方向を制御する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項８】
前記通路は直線状の通路であり、
前記撮影方向制御手段は、前記動画像に対する前記画像処理手段によるトリミング領域の変更により前記直線状の通路に沿って疑似的に撮影方向を制御し、
前記画像処理手段は、前記動画像における前記トリミング領域の位置座標に基づいて、フレーム画像を回転するか否かを決定し、
前記制御手段は、前記動画像における前記トリミング領域の位置座標に基づいて、フレーム画像を前記第１のモードにより符号化する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記符号化手段は、所定の周期で前記第１のモードと前記第２のモードとを切り替えるよう構成されており、
前記画像処理手段は、前記符号化手段が前記第１のモードで符号化することになるフレーム画像に対して回転を行う
ことを特徴とする請求項２乃至７の何れか１項に記載の画像処理装置。
【請求項１０】
フレーム内予測を用いる第１のモードとフレーム間予測を用いる第２のモードとの何れかを利用して動画像を構成するフレーム画像を符号化する符号化部を有する画像処理装置における制御方法であって、
前記符号化部による符号化対象のフレーム画像が、先行するフレーム画像に対して画像回転が発生したフレーム画像であるか否かを判定する判定工程と、
先行するフレーム画像に対して画像回転が発生したと判定されたフレーム画像を前記第１のモードにより符号化するよう前記符号化部を制御する制御工程と、
を含むことを特徴とする画像処理装置の制御方法。
【請求項１１】
コンピュータを、請求項１に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の符号化技術に関するものである。
【背景技術】
【０００２】
近年、テレビ会議システムの普及に伴いカメラを用いた映像システムが広く導入されてきている。また、防犯目的だけでなく調査や管理を目的として施設内に監視カメラが導入されることが多くなっている。中でも、監視対象を監視カメラにより監視し、インターネットまたは無線通信等を介して映像データを送信したり、映像データを格納媒体に格納したりする用途も多くなっている。昨今では監視カメラで撮影された映像データの高画質化、高解像度化が進んでおり映像データ量が増加してきているため、データ量の低減が求められている。
【０００３】
映像符号化技術として、対象フレームの前後のフレームから対象フレームの画素値を予測するフレーム間予測、対象フレーム内から対象フレームの画素値を予測するフレーム内予測の他、エントロピー符号化や量子化等が利用されている。これらの映像符号化技術を利用することにより映像データを効果的に圧縮することが可能になる。
【０００４】
ところで、映像において場面の切り替わり（シーンチェンジ）が発生する場合、画質の劣化を避けるため、Ｉフレーム（Intra-coded Frame）として符号化することが望ましい。Ｉフレームは、フレーム内の符号化対象ブロックの周辺にある復号済み画素を用いて予測信号を生成したフレームであり、Ｐフレーム（Predicted Frame）などに比較して符号量が大きい。特許文献１では、テレビ会議システムにおいて、音声や人物の出現等のトリガとエンコーダ部側からあらかじめ通知されるフレーム情報とに基づいて、使用する範囲を変更する（シーンチェンジを行う）技術が提案されている。より具体的には、トリガの受信に応じて、Ｉフレームのタイミングでシーンチェンジを行うことで効率的な符号化処理を行っている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１７−２８３７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、テレビ会議とは異なり、監視カメラの用途においては、不特定多数の人間が不定期のタイミングで音声を発したり出現したりする。そのため、特許文献１のように音声や人物の出現等のトリガを利用することは困難である。また、天井吊り下げ型の監視カメラにおいては、パンチルト動作によるシーンチェンジが発生しやすい。これは、違和感のない映像を出力するため、撮影方向が鉛直下向きになったタイミングで映像の上下反転（画像の１８０°回転）を行うことによる。その結果、反転前後のフレーム画像間で、フレーム間予測で利用される動きベクトルの情報量が大きくなる。結果、映像全体としての符号化効率が低下し符号化データサイズが増加することになる。
【０００７】
本発明は、このような問題に鑑みてなされたものであり、動画像の効率的な符号化を可能とする技術を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、画像処理装置は、
フレーム内予測を用いる第１のモードとフレーム間予測を用いる第２のモードとの何れかを利用して動画像を構成するフレーム画像を符号化する符号化手段と、
前記動画像において、先行するフレーム画像に対して画像回転が発生したフレーム画像を前記第１のモードにより符号化するよう前記符号化手段を制御する制御手段と、
を有する。
【発明の効果】
【０００９】
本発明によれば、動画像の効率的な符号化を可能とする技術を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態に係る画像処理装置を含む監視カメラの機能構成を示す図である。
【図２】映像処理部のハードウェア構成を示す図である。
【図３】３次元座標におけるパンチルト動作を説明する図である。
【図４】パンチルト動作により取得される映像を説明する図である。
【図５】画像を１８０°回転した場合の探索範囲を例示的に示す図である。
【図６】符号化処理の変更制御を説明する図である。
【図７】第１実施形態における画像処理装置の動作フローチャートである。
【図８】パンチルト動作時における符号化処理の制御を示すフローチャートである。
【図９】各フレームでの参照フレームを説明する図である。
【図１０】第２実施形態における符号化処理の変更を説明する図である。
【図１１】第２実施形態における各フレームでの参照フレームを説明する図である。
【図１２】ＤＰＴＺ設定情報に基づく画像処理を説明する図である。
【図１３】矩形領域の位置座標を説明する図である。
【発明を実施するための形態】
【００１１】
以下に、図面を参照して、この発明の実施の形態の一例を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
【００１２】
（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、天井吊り下げ型の監視カメラにより得られた映像を符号化する画像処理装置（映像処理部２００）を例に挙げて以下に説明する。
【００１３】
＜装置構成＞
図１は、第１実施形態に係る画像処理装置を含む監視カメラの機能構成を示す図である。監視カメラは、画像処理装置である映像処理部１００、カメラ３００、全体制御部２００を含み、ＰＴＺ設定部２０１から受信したＰＴＺ設定情報に基づいて動作する。以下の説明では、ＰＴＺ設定部２０１は監視カメラとは別個の筐体として構成される場合を想定するが、同一の筐体に含めるよう構成してもよい。
【００１４】
ＰＴＺ設定部２０１は、監視カメラにおけるパン・チルト・ズーム（ＰＴＺ）に関するＰＴＺ設定情報（方向情報）をユーザから受け付け、例えばネットワークを介して全体制御部２００に対して当該設定を送信する。なお、以下の説明では監視カメラの初期ポジションを基準にしたパン・チルト角度（φpan、φtilt）を受け付けることを想定しているが、監視カメラの現在のチルト角度に対する角度（Δφ）として受け付けるよう構成してもよい。
【００１５】
説明を簡単にするために、以下ではチルトに関する設定に着目して説明する。なお、ユーザから設定を受け付ける代わりにＰＴＺ設定部２０１自身が算出するよう構成してもよい。例えば、監視カメラによる撮影対象物を追尾するために必要な設定を撮像画像に基づいて算出する構成でもよい。
【００１６】
全体制御部２００は、ＰＴＺ設定部２０１から受け付けた撮影方向の設定に基づいて、不図示のモータ等を制御しパン・チルトによる撮影方向制御を行う。ここで、パンはカメラのレンズの向き（撮影方向）を水平方向（左右方向）に動かす動作のことであり、チルトはカメラのレンズの向きを垂直方向（上下方向）に動かす動作のことを意味している。また、オプションで、カメラ１００にズームに関する情報を送信しズームの制御を行う。さらに、映像処理部１００にも撮影方向に関する情報を送信する。
【００１７】
カメラ３００は、映像を撮影し、撮影した映像を映像処理部１００に送信する。カメラ３００は、カメラ制御部３０１と、レンズ３０２と、撮像部３０３を有する。カメラ制御部３０１は、レンズ３０２及び撮像部３０３を制御し、全体制御部２００から受信した情報に基づくズーム動作やフォーカス制御を行う。
【００１８】
映像処理部１００は、カメラ３００により得られた映像に対して画像処理及び圧縮符号化を行い、符号化ストリームを出力する。特に、映像処理部１００は、全体制御部２００から入力されるＰＴＺ設定情報に基づいて画像処理及び圧縮符号化を行う点に特徴がある。
【００１９】
画像回転判定部１０１は、全体制御部２００からの指示に基づいて、画像処理部１０３における画像回転のタイミングのトリガ情報を生成する。トリガ情報とは、天井吊り下げ型の監視カメラにより得られた映像（撮像部３０３から出力される映像）において、チルト動作により画像が回転する（撮像画像における上下関係が反転する）タイミングを示す情報ことである。なお、以下の説明では、映像処理部１００の内部で画像の回転を判定しているものとしているが、外部の装置で判定し判定結果を受け付けるよう構成してもよい。例えば、全体制御部２００において、ＰＴＺ設定部２０１から受け付けたチルト設定があらかじめ設定された閾値を超えたか否かを判定することにより、画像が回転するタイミングを判定してもよい。
【００２０】
符号化処理制御部１０２は、画像回転判定部１０１から出力された画像回転タイミングのトリガ情報に基づいて、符号化部１０４においてフレーム内予測（第１のモード）とフレーム間予測（第２のモード）との何れによる符号化を実行するかを決定する。
【００２１】
画像処理部１０３は、カメラ３００により得られた映像に対して画像処理を行う。映像は、一連のフレーム画像（例えば３０フレーム毎秒）でカメラ３００から入力される。以下の説明では、画像処理部１０３は、画像回転判定部１０１から受信したトリガ情報に基づいてフレーム画像に対する所定角度（例えば１８０°）の回転処理を行うものとして説明するが、他の画像処理を合わせて行うように構成してもよい。画像処理部１０３により回転処理がなされた（又は回転処理がされなかった）フレーム画像は符号化部１０４に出力される。
【００２２】
符号化部１０４は、符号化処理制御部１０２から受信した情報（フレーム内予測かフレーム間予測のどちらを使うか）に基づいて、画像処理部１０３から受信したフレーム画像に対して符号化処理を行う。
【００２３】
図２は、映像処理部１００のハードウェア構成を示す図である。映像処理部１００は、ＣＰＵ１５１、ＲＯＭ１５２、ＲＡＭ１５３、カメラＩ／Ｆ１５４、制御Ｉ／Ｆ１５５、ネットワークＩ／Ｆ１５６を含む。ＲＯＭ１５２は、ＣＰＵ１５１が実行するプログラムや各種の設定データを記憶する。ＣＰＵ１５１は、ＲＯＭ１５２に記憶されたプログラムをＲＡＭ１５３に読み込み実行することにより、カメラＩ／Ｆ１５４を介して入力されたフレーム画像に対する画像処理や符号化処理、ネットワークＩ／Ｆ１５６を介した通信処理を実現する。カメラＩ／Ｆ１５４は、カメラ３００から映像（フレーム画像）を受信する。制御Ｉ／Ｆ１５５は、全体制御部２００からの制御信号を受信する。ネットワークＩ／Ｆ１５５は、ネットワークを介して符号化ストリームを送信する。
【００２４】
＜天井吊り下げ型の監視カメラにより取得される映像＞
図３は、３次元座標におけるパンチルト動作を説明する図である。ここでは、ＸＹＺ直交座標系において、Ｘ軸の負の方向をカメラの初期ポジションとしたパン・チルト動作を示している。天井吊り下げ型の監視カメラによる撮影方向は、水平方向（ＸＺ平面）よりも下側の方向を向くことになる。そのため、ここでは、カメラの初期ポジションの方向を基準にチルト角度（φtilt）及びパン角度（φpan）を規定している。
【００２５】
図４は、パンチルト動作により取得される映像を説明する図である。図４は、図３におけるＺ軸の正の方向からＸＹ平面を観察した状態に対応する。（１）〜（５）に示すカメラポジションは、それぞれ、チルト角度（φtilt）が３０°、６０°、９０°、１２０°、１５０°に対応している。なお、説明を簡単にするためにここではパン角度（φpan）は全て０°であると想定する。
【００２６】
カメラポジションを（１）から（５）まで連続的に変化させた場合、鉛直下向きを撮影する（３）のポジションでフレーム画像における上下が反転することになる。図４は、西（West Gate）から東（East Gate）へ延びる直線状の通路を移動している人物を、通路の天井に設置した監視カメラのチルト動作により追尾する状況を示している。この場合、撮像部３０３から出力される映像として、フレーム画像Ｆ１、Ｆ２、ＦＡ、ＦＢ、ＦＣが順に得られることになる。すなわち、映像の途中で画像の上下が反転することになり不自然な映像となる。そこで、映像として自然なものとする（上下の反転が発生しないようにする）ために、フレーム画像ＦＡ、ＦＢ、ＦＣを１８０°回転する手法が用いられることがある。当該手法の結果、フレーム画像Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５が順に得られることになる。
【００２７】
そこで、第１実施形態では、画像回転判定部１０１は、全体制御部２００から入力されるチルト角度（φtilt）の情報が所定の角度（φtrig）を超えたか否かに基づいて、入力されたフレーム画像に対して１８０°回転するか否かの判定処理を行う。例えば、φtrig＝９０°と設定した場合に、画像回転判定部１０１は、φtilt＝９０°（図４に示す（３）のポジション）になると、フレーム画像を１８０°回転すると判定する。そして、１８０°の回転を「しない」から「する」（又はその反対）に変化したタイミングでトリガ情報を生成し、画像処理部１０３に出力する。なお、基準とするカメラの初期ポジション、および、トリガ情報を出力するチルト角度は、上述の形態に限定されるものではなくユーザが任意に設定可能である。
【００２８】
なお、第１実施形態では、画像回転判定部１０１は、ＰＴＺ設定部２０１から設定され全体制御部２００経由で受信したパンチルトの角度情報から、指示がパン動作、チルト動作、それらの組み合わせの何れであるかを判断する。パン動作のみの場合は上述した映像の回転は発生しないため、画像回転判定部１０１は、パン動作のみの場合は画像回転のトリガ情報を生成しない。
【００２９】
図５は、画像を１８０°回転した場合のフレーム間予測での探索範囲を例示的に示す図である。符号化処理部１０４は、フレーム間予測を用いて符号化処理を実施する場合、先行する直前のフレーム画像を参照フレームとして利用する。ただし、図４を参照して説明したように映像の途中で画像処理部１０３により画像の１８０°回転を行った場合、当該１８０°回転の前後で、符号化処理部１０４に入力される画像が１８０°回転することになる。そのため、１８０°回転直後の画像フレーム５００ｂを符号化する場合、１８０°回転直後の画像フレーム５００ａを参照フレームとして利用することになる。
【００３０】
そのため、画像フレーム５００ｂの矩形Ｂを符号化するための動きベクトルを算出する際に、画像フレーム５００ａの矩形Ａの周辺を動き予測の探索範囲として設定することになる。すなわち、矩形Ｂに対応する矩形Ｃは探索範囲から外れることになる。その結果、フレーム間予測を用いて画像フレーム５００ｂの符号化処理を行った場合、動き予測の差分が増加し、それに合わせて生成される符号量も増加することになる。
【００３１】
そこで、第１実施形態では、符号化処理制御部１０２は、画像回転判定部１０１から入力される画像の１８０°回転処理を行うトリガ情報に従い、当該トリガ情報に対応するフレーム画像の符号化処理を強制的にフレーム内予測で行うよう制御する。
【００３２】
＜装置の動作＞
図６は、符号化処理の変更制御を説明する図である。カメラポジションを（１）から（５）まで連続的に変化させた場合に得られるフレーム画像を例示的に示している。従来は、例えば所定の周期でフレーム内予測を用いた符号化を行い、それ以外は全てフレーム間予測を用いた符号化を行っている。図６では、Ｉ（０）がフレーム内予測を用いて符号化されたＩフレーム（Ｉピクチャ）である。また、Ｐ（１）〜Ｐ（ｎ）はフレーム間予測を用いて符号化されたＰフレーム（Ｐピクチャ）である。すなわち、従来は、撮像部３０３からの映像が１８０°回転するフレーム画像を、Ｐ（５）を参照フレームとしたフレーム間予測を用いたＰフレーム（Ｐ（６））として符号化する。
【００３３】
一方、第１実施形態では、撮像部３０３からの映像が１８０°回転するフレーム画像を、フレーム内予測を用いたＩフレーム（Ｉ（１））として符号化する。そして、後続のフレーム画像は、先行するフレーム画像を参照フレームとしてＰフレーム（Ｐ（７）、・・・、Ｐ（ｎ））として符号化する。
【００３４】
図９は、各フレームでの参照フレームを説明する図である。各カメラポジションにおける各処理対象フレームに対応する参照フレームと１８０°回転トリガの関係を表にしたものである。図９で示すように、符号化処理部１０４は、カメラポジション（３）のタイミングで、１８０°回転を行うトリガ情報を受信する。そのため、符号化処理部１０４は、そのタイミングで符号化処理しているフレーム画像を、フレーム間予測によるＰ（６）ではなくフレーム内予測によるＩ（１）として符号化処理を行う。
【００３５】
図７は、第１実施形態における画像処理装置の動作フローチャートである。当該処理は、例えば、監視カメラによる監視の開始に合わせて行われる。
【００３６】
ステップＳ７０１では、ＰＴＺ設定部２０１は、ユーザから、監視カメラの初期設定を受け付ける。ここでの設定される情報は、監視カメラの撮影時間、パンチルトのスピード、カメラの水平方向の首ふり角度に関する閾値情報等である。ＰＴＺ設定部２０１は、ユーザから受け付けた設定を例えばネットワークを介して全体制御部２００に通知する。
【００３７】
ステップＳ７０２では、全体制御部２００は、カメラ３００による撮影を開始する。ここでは、ポジション（１）を撮影開始時の初期ポジションとして想定するが、撮影開始時のポジションはこれに限定されるものではない。
【００３８】
ステップＳ７０３では、全体制御部２００は、ＰＴＺ設定部２０１から受信した設定にＰＴＺ制御の設定情報が含まれているか否かを確認する。ＰＴＺ制御の設定情報が無い場合（Ｓ７０３でＮｏ）は、Ｓ７０５に進む。ＰＴＺ制御の設定情報が有る場合（Ｓ７０３でＹｅｓ）は、Ｓ７０４に進む。
【００３９】
ステップＳ７０４では、全体制御部２００は、ＰＴＺ制御の設定情報に基づいて、カメラ３００のパン・チルト制御をしながら撮影を実施する。また、映像処理部１００は、カメラ３００により生成された動画像（フレーム画像）を受信し符号化処理を実行する。
【００４０】
ステップＳ７０５では、全体制御部２００は、撮影終了設定情報があるか否かを判定する。撮影終了の設定情報が無い場合（Ｓ７０５でＮｏ）は、Ｓ７０４に進み、撮影終了の設定情報が有る場合（Ｓ７０５でＹｅｓ）は、カメラ３００での撮影を終了し処理を終了する。
【００４１】
図８は、パンチルト動作時（Ｓ７０４）における符号化処理の制御を示すフローチャートである。具体的には、画像回転判定部１０１及び符号化処理制御部１０２において実行される、符号化処理の予測モードの決定手順である。当該処理は、カメラ３００から入力される各フレーム画像に対して実施される。
【００４２】
ステップＳ８０１では、画像回転判定部１０１は、カメラ動作の角度情報からパン動作か否かを判定する。パン動作であると判定された場合（Ｓ８０１でＮｏ）はＳ８０５に進み、パン動作でないと判定された場合（Ｓ８０１でＹｅｓ）はＳ８０２に進む。
【００４３】
ステップＳ８０２では、画像回転判定部１０１は、カメラ動作の角度情報からチルト動作か否かを判定する。チルト動作でないと判定された場合（Ｓ８０２でＮｏ）はＳ８０５に進み、チルト動作であると判定された場合（Ｓ８０２でＹｅｓ）はＳ８０３に進む。
【００４４】
ステップＳ８０３では、画像回転判定部１０１は、カメラ動作の角度情報からカメラポジションを確定し、画像処理部１０３によるフレーム画像の１８０°回転を行うか否かを判定する。フレーム画像の１８０°回転を行わないと判定した場合（Ｓ８０３でＮｏ）はＳ８０５に進み、１８０°回転を行うと判定した場合（Ｓ８０３でＹｅｓ）はＳ８０４に進む。
【００４５】
ステップＳ８０４では、画像回転判定部１０１は、フレーム画像の１８０°回転を行うトリガ信号を画像処理部１０３に送信する。また、現在着目している符号化対象のフレーム画像をフレーム内予測で符号化処理を行う指示を符号化処理制御部１０２に送信する。これにより、画像処理部１０３は当該フレーム画像の１８０°回転を行い、符号化部１０４は当該フレーム画像をフレーム内予測で符号化する。符号化が完了すると処理を終了する。
【００４６】
ステップＳ８０５では、画像処理部１０３は、現在着目している符号化対象のフレーム画像に対して先行するフレーム画像と同様の処理を行う。すなわち、先行するフレーム画像で回転処理を行っていなければ回転処理を行わず、回転処理を行っていれば回転処理を行う。また、符号化部１０４は、現在着目している符号化対象のフレーム画像を、事前に設定されたフレーム内予測またはフレーム間予測で符号化処理を行う。符号化が完了すると処理を終了する。
【００４７】
以上説明したとおり第１実施形態によれば、カメラ３００から入力される映像に基づいて、符号化部１０４における符号化処理を制御する。具体的には、カメラ３００から入力される映像において回転が発生したタイミングのフレーム画像に対して、画像処理部１０３は画像回転を行い、符号化部１０４はフレーム内予測で符号化処理を行うよう制御する。なお上述の説明では１８０°回転の場合について説明したが、他の角度の回転であってもよい。例えばＬ字型通路の角の天井に設置されたカメラで人物追跡を行う場合は９０°の回転となるが同様に適用可能である。
【００４８】
これにより、天井吊り下げ型カメラのチルト動作により画像回転（シーンチェンジ）が発生する場合においても、データ増大を抑制しつつより高画質な符号化ストリームを生成することが可能となる。そのため、記録媒体の容量を節約することが可能となると共に、ネットワーク上で伝送する場合の通信負荷についても軽減することが可能となる。
【００４９】
（変形例）
第１実施形態においては画像回転判定部１０１において、カメラポジションの情報から、画像処理部１０３における画像の回転処理の実施の有無を判定した。これに対して、カメラのセンサ自体を回転することにより画像の回転を実現する場合は、全体制御部２００は、センサの回転処理タイミングを画像回転判定部１０１に通知するよう構成するとよい。このとき、画像回転判定部１０１は、符号化処理制御部１０２に画像が回転されることを通知するトリガ情報を通知することで、上述の説明と同様の処理を行うことが可能となる。
【００５０】
また、上述の説明では、画像の回転トリガを生成するための角度情報（φtrig）を設定する形態について説明した。一方、角度情報（φtilt）に応じて符号化処理パラメータを予め設定することも可能である。ここでの符号化処理パラメータとは、フレーム内予測かフレーム間予測かの情報、量子化処理を行うための量子化値等を意味する。
【００５１】
また、上述の説明では、全体制御部２００から入力されるカメラのチルト動作量を示す角度情報から、画像回転判定部１０１において画像回転処理を実施するか否かを判定し、符号化処理の制御を行った。これに対して、画像回転判定部１０１は、フレーム内予測で符号化処理が実施されるタイミングでトリガ情報を通知するよう構成してもよい。全体制御部２００は受信したトリガ情報とカメラの角度情報（φtilt）をもとに、画像回転のトリガ情報を生成する、すなわち、フレーム画像がフレーム内予測で符号化されるタイミングに合わせて画像回転を実施することも可能である。
【００５２】
なお、角度情報（φtrig）は特定の角度だけではなく所定の角度範囲として設定することも可能である。例えば、カメラの角度情報（φtilt）が以下の条件を満たす場合にトリガ情報を生成してもよい。αはユーザが任意に設定可能な角度幅である。
φtrig−α  ≦  φtilt  ≦  φtrig＋α
【００５３】
（第２実施形態）
第２実施形態では、天井吊り下げ型のカメラが周期的なチルト動作を行うことにより撮影を行う場合の符号化制御について説明する。特に、カメラ設置時に、周期動作に応じた画像回転を行うカメラ位置情報、及び、画像回転を行うカメラ位置までチルト動作するための時間情報を設定する。そして、設定された初期情報から周期的にフレーム内予測またはフレーム間予測どちらかの符号化処理を選択する形態について説明する。なお、画像処理装置の機能構成およびハードウェア構成は第１実施形態とほぼ同様である。そのため以下では異なる部分を中心に説明を行う。
【００５４】
＜装置の動作＞
ＰＴＺ設定部２０１は、カメラの周期動作に応じた初期情報の設定をユーザから受け付ける。全体制御部２００は、ＰＴＺ設定部２０１から初期情報を受け取り、当該初期情報に従った設定を画像回転判定部１０１に設定する。その後、画像回転判定部１０１は、初期情報に基づいて画像回転位置を算出し、カメラポジションが画像回転位置にきたと判断した場合、トリガ情報を符号化処理制御部１０２に通知する。
【００５５】
図１０は、第２実施形態における符号化処理の変更を説明する図である。ここでは、カメラポジションが、チルト動作により図１０に示す（１）から（５）の間を往復して周期的に変化する。図１０の下段は、このような往復運動での各カメラポジションにおいて、フレーム画像がフレーム内予測またはフレーム間予測どちらで符号化処理されるかを示している。
【００５６】
図１０で示すように、カメラが周期的にチルト動作を行うなかで、カメラポジションが（３）の位置に来るたびにフレーム画像に対する画像回転の有無を変更し、そのタイミングで当該フレーム画像をフレーム内予測で符号化処理を行う。
【００５７】
図１１は、第２実施形態における各フレームでの参照フレームを説明する図である。図１１で示すように、初期設定情報として、カメラの設置場所に合わせてカメラポジションを設定する（テーブルの３列目）。併せて、カメラポジション毎のフレーム画像をフレーム内予測又はフレーム間予測どちらを用いるかの設定情報（テーブルの１列目）と、フレーム画像を１８０°回転するカメラポジション（テーブルの４列目）を設定する。以下では、フレーム画像の１８０°回転の有無が変化してから次にフレーム画像が１８０°回転されるまでの期間をＴとして説明する。
【００５８】
画像回転判定部１０１は、全体制御部２００から設定された図１０に示すテーブル情報に基づいて、フレーム画像を回転するか否かの判定処理を行う。上述したように、テーブル情報には、各時刻（各タイミング）における撮影方向を規定した所与の制御内容が含まれている。画像回転判定部１０１は、撮影が開始されると同時に動作時間のカウントを開始する。動作時間をＴcountとすると、カメラによる撮影を初期位置姿勢（図１０の（１））から開始するとしたとき、Ｔcount＝Ｔ／２のときに図１０の（３）で示すカメラポジションとなる。このとき、画像回転判定部１０１は、画像回転が必要なカメラポジションであると判断し、画像を１８０°回転するトリガ情報を符号化処理部１０２に通知する。これにより、符号化処理制御部１０２は、画像が１８０°回転されるカメラポジションにおいて、フレーム内予測モードを選択し符号化処理を行うことが可能となる。このとき、画像回転判定部１０１は、カメラポジションが（３）であると判定されたときに、Ｔcountを初期値０に設定し、処理を再開する。
【００５９】
なお、上述の説明では、チルト動作開始からの時間（テーブルの５列目）をもとに画像の回転タイミングを検出した。一方で、カメラポジション毎のフレーム画像をフレーム内予測又はフレーム間予測どちらを用いるかの設定情報（テーブルの１列目）をもとに画像の回転タイミングを検出してもよい。
【００６０】
また、上述の説明ではカメラの周期動作に合わせたテーブル情報を、カメラ設置時に作成し設定しているが、カメラの動作中にテーブル情報を更新するよう構成してもよい。これにより、運用形態が途中で変化した場合にも対応することができる。
【００６１】
以上説明したとおり第２実施形態によれば、天井吊り下げ型の監視カメラが周期的な動作を行う場合に、カメラの動作周期に合わせたテーブル情報を利用する。当該テーブル情報を利用することにより、第１実施形態と同様の効果を得ることが可能となる。
【００６２】
（第３実施形態）
第３実施形態では、デジタル・パン・チルト・ズーム（ＤＰＴＺ）機能を備えた監視カメラを用いた場合の処理について説明する。ここで、ＤＰＴＺ機能とは、監視カメラにより得られた映像に対してトリミング処理や回転処理といった一連の画像処理を施すことによりパン・チルト・ズームされた映像を生成する機能である。例えば、超広角の撮像光学系を利用することにより、モータやギヤなどにより構成される可動部を用いることなく、幅広い方向の撮像映像を得ることができる。
【００６３】
画像処理装置の機能構成は第１実施形態（図１）とほぼ同様であるが、物理的にカメラ３００の向きを変更する代わりに、映像処理部１００による画像処理により疑似的にパン・チルト・ズームを行う。具体的には、全体制御部２００は、映像処理部１００に対してＤＰＴＺ設定情報を提供する。ＤＰＴＺ設定情報は、出力すべき画像領域を画像処理部１０３に指示する情報である。映像処理部１００は、カメラ３００から入力されたカメラ情報と、全体制御部２００から入力されるＤＰＴＺ設定情報と、に基づいて符号化ストリームを出力する。
【００６４】
より具体的には、画像処理部１０３は、ＤＰＴＺ設定情報に基づいて、カメラ３００から入力されたフレーム画像に対してトリミング処理や回転処理を行う。画像回転判定部１０１は、ＤＰＴＺ設定情報をもとに画像回転を実施するか否かの判定を行う。そして、符号化処理制御部１０２は、ＤＰＴＺ機能により画像処理部１０３で生成されたフレームの符号化部１０４による符号化処理を制御する。ここでは、フレーム内予測又はフレーム間予測で符号化処理を適応的に選択する。
【００６５】
＜ＤＰＴＺによるフレーム画像の生成＞
図１２は、ＤＰＴＺ設定情報に基づく画像処理を説明する図である。画像１２００ａは撮像部３０３から出力されたフレーム画像を示しており、画像１２００ｂはＤＰＴＺ設定情報をもとに画像処理部１０３で生成されたフレーム画像を示している。
【００６６】
具体的には、画像１２００ａに含まれる３人の人物画像の１つに対して、上半身領域をトリミング処理及び拡大処理及び１８０°回転処理を行った結果が画像１２００ｂである。領域１２０１は、画像１２００ａにおいてＤＰＴＺ設定情報をもとに設定される矩形領域（トリミング領域）を示している。
【００６７】
図１３は、矩形領域の位置座標を説明する図である。ここでは、画像１２００ａにおいて、画像の左端をＸ軸上の座標０と設定し、画像の縦（上下）方向の中心をＹ軸上の座標０と設定している。領域１３０１は領域１２０１に対応する領域であり、４つの頂点Ａ〜Ｄにより規定される領域である。ここで、４つの頂点は、Ａ（ｘ１、ｙ１）、Ｂ（ｘ２、ｙ１）、Ｃ（ｘ１、ｙ２）、Ｄ（ｘ２、ｙ２）として規定される。
【００６８】
画像回転判定部１０１は、全体制御部２００から送信されたＤＰＴＺ設定情報をもとに領域１３０１の位置座標情報を取得する。画像回転判定部１０１は取得した位置座標情報をもとに、画像処理が施された画像に対して画像を回転するか否かの判定処理を行う。
【００６９】
例えば、領域１３０１の画像に対して画像回転を実施するか否かを、以下の判定式（１）を用いて判定する。
【００７０】
｜ｙ１｜−｜ｙ２｜  ＜  ０ ・・・（１）
すなわち、数式（１）では、領域１３０１において、Ｙ軸方向において正負どちらの領域をより多く含んでいるかを判定している。画像回転判定部１０１は、数式（１）を満たす（Ｙ軸方向において負の領域をより多く含んでいる）場合、対象矩形を１８０°回転すると決定し、トリガ情報を符号化処理制御部１０２に通知する。一方で、画像回転判定部１０１は、数式（１）を満たさない（Ｙ軸方向において正の領域をより多く含んでいる）場合、回転処理が必要無いと決定し、トリガ情報を通知しない。
【００７１】
なお、数式（１）を用いた判定は一例であり、画像回転の判定方法についてはこれに限定されるものでは無い。
【００７２】
以上説明したとおり第３実施形態によれば、ＤＰＴＺ機能を有する監視カメラにおいても、画像回転の発生を判定することが可能となる。そのため、画像回転が発生するタイミングでフレーム内予測による符号化処理を選択することにより、第１実施形態と同様の効果を得ることが可能となる。
【００７３】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７４】
１００  映像処理部；  １０１  画像回転判定部；  １０２  符号化処理制御部；  １０３  画像処理部；  １０４  符号化部；  ２００  全体制御部；  ２０１  ＰＴＺ設定部；  ３００  カメラ；  ３０１  カメラ制御部；  ３０２  レンズ；  ３０３  撮像部
【図１】
2020088610.tif 000003
【図２】
2020088610.tif 000004
【図３】
2020088610.tif 000005
【図４】
2020088610.tif 000006
【図５】
2020088610.tif 000007
【図６】
2020088610.tif 000008
【図７】
2020088610.tif 000009
【図８】
2020088610.tif 000010
【図９】
2020088610.tif 000011
【図１０】
2020088610.tif 000012
【図１１】
2020088610.tif 000013
【図１２】
2020088610.tif 000014
【図１３】
2020088610.tif 000015