(57)【要約】【課題】撮像画像の一部の領域に対応する部分画像の位置変更の際の画質劣化を低減することを目的とする。【解決手段】撮像手段によって撮像された撮像画像の一部の領域に対応する部分画像のフレームをフレーム内符号化又はフレーム間符号化の少なくとも何れかを用いて符号化する符号化手段と、符号化手段によって符号化された部分画像を出力する出力手段とを有し、符号化手段は、出力手段によって第１の部分画像が出力された状態から、出力手段によって第１の部分画像と異なる領域の第２の部分画像が出力される状態へと変わる場合に、第２の部分画像を、フレーム間符号化を用いずに符号化する。【選択図】図５
2019075685.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段によって撮像された撮像画像の一部の領域に対応する部分画像のフレームをフレーム内符号化又はフレーム間符号化の少なくとも何れかを用いて符号化する符号化手段と、
前記符号化手段によって符号化された前記部分画像を出力する出力手段と
を有し、
前記符号化手段は、前記出力手段によって第１の部分画像が出力された状態から、前記出力手段によって前記第１の部分画像と異なる領域の第２の部分画像が出力される状態へと変わる場合に、前記第２の部分画像を、前記フレーム間符号化を用いずに符号化することを特徴とする画像符号化装置。
【請求項２】
前記符号化手段は、前記第２の部分画像を前記フレーム内符号化を用いて符号化することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記第１の部分画像及び前記第２の部分画像は、１つの動画に含まれるフレームであることを特徴とする請求項１又は２に記載の画像符号化装置。
【請求項４】
前記符号化手段は、前記第１の部分画像が出力された状態において、前記第２の部分画像に対応する領域の指定を受け付けた場合に、前記第２の部分画像を、前記フレーム間符号化を用いずに符号化することを特徴とする請求項１乃至３の何れか１項に記載の画像符号化装置。
【請求項５】
前記第２の部分画像と前記第１の部分画像との位置の差分に基づいて、前記第２の部分画像を、前記フレーム間符号化を用いずに符号化するか否かを判断する判断手段をさらに有し、
前記符号化手段は、前記判断手段が前記第２の部分画像を、前記フレーム間符号化を用いずに符号化すると判断した場合に、前記第２の部分画像を、前記フレーム間符号化を用いずに符号化することを特徴とする請求項１乃至４の何れか１項に記載の画像符号化装置。
【請求項６】
前記出力手段は、前記一部の領域の位置を徐々に移動する移動指示を受け付けた場合に、前記移動指示に応じた領域に対応した複数の部分画像を連続して出力し、
前記第１の部分画像は、前記移動指示を受け付けたタイミングに対応して出力される部分画像であることを特徴とする請求項５に記載の画像符号化装置。
【請求項７】
前記判断手段は、さらに前記第２の部分画像に最も近いタイミングで出力された、前記フレーム内符号化が行われた部分画像と前記第２の部分画像との位置の差分に基づいて、前記第２の部分画像を、前記フレーム間符号化を用いずに符号化するか否かを判断することを特徴とする請求項６に記載の画像符号化装置。
【請求項８】
前記出力手段は、前記一部の領域の位置を徐々に移動する移動指示を受け付けた場合に、前記移動指示に応じた領域に対応した複数の部分画像を連続して出力し、
前記第１の部分画像は、前記第２の部分画像に最も近いタイミングで出力された、前記フレーム内符号化が行われた部分画像であることを特徴とする請求項６に記載の画像符号化装置。
【請求項９】
前記移動指示を受け付けたタイミング以降に出力する部分画像の画質を前記タイミングより前に出力した前記部分画像の画質に比べて低くなるように変更する画質変更手段をさらに有し、
前記出力手段は、前記移動指示を受け付けた場合に、前記画質変更手段による変更後の画質の前記部分画像を出力することを特徴とする請求項６乃至８の何れか１項に記載の画像符号化装置。
【請求項１０】
前記出力手段は、前記移動指示を受け付けた後、前記一部の領域の移動の停止指示を受け付けた場合に、前記停止指示を受け付けたタイミングに対応した、移動後の領域に対応した部分画像を、前記フレーム間符号化を用いずに符号化することを特徴とする請求項６乃至９の何れか１項に記載の画像符号化装置。
【請求項１１】
前記第２の部分画像と前記第１の部分画像とに基づいて、前記第２の部分画像を、前記フレーム間符号化を用いずに符号化するか否かを判断する判断手段をさらに有し、
前記符号化手段は、前記判断手段が前記第２の部分画像を、前記フレーム間符号化を用いずに符号化すると判断した場合に、前記第２の部分画像を、前記フレーム間符号化を用いずに符号化することを特徴とする請求項１乃至４の何れか１項に記載の画像符号化装置。
【請求項１２】
前記判断手段は、前記第２の部分画像と前記第１の部分画像との画角の差分に基づいて、前記第２の部分画像を、前記フレーム間符号化を用いずに符号化するか否かを判断することを特徴とする請求項１１に記載の画像符号化装置。
【請求項１３】
画像符号化装置が実行する画像符号化方法であって、
撮像手段によって撮像された撮像画像の一部の領域に対応する部分画像のフレームをフレーム内符号化又はフレーム間符号化の少なくとも何れかを用いて符号化する符号化ステップと、
前記符号化ステップにおいて符号化された前記部分画像を出力手段に出力する出力ステップと
を含み、
前記符号化ステップにおいては、前記出力手段に第１の部分画像が出力された状態から、前記出力手段に前記第１の部分画像と異なる領域の第２の部分画像が出力される状態へと変わる場合に、前記第２の部分画像を、前記フレーム間符号化を用いずに符号化することを特徴とする画像符号化方法。
【請求項１４】
コンピュータを、請求項１乃至１２の何れか１項に記載の画像符号化装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置、画像符号化方法及びプログラムに関する。
【背景技術】
【０００２】
従来、ネットワークや専用線を介して、遠隔操作により監視カメラを制御し、映像を監視する監視システムが知られている。この監視システムの中には、長時間録画やスムーズな映像配信を行うため、動画像の符号化を行い配信データサイズの削減を実現するものが存在する。符号化方式としては、例えば、同一フレーム内の相関を用いたフレーム内符号化方式（イントラ予測を用いた符号化方式）と、前後のフレーム間の相関を用いたフレーム間符号化方式（インター予測を用いた符号化方式）が知られている。
【０００３】
この映像配信方式では、フレーム内符号化された少なくとも一枚のＩフレームと、フレーム間符号化された複数枚のＰフレーム及びＢフレームから成るグループをグループオブピクチャ（ＧＯＰ）と呼び、ＧＯＰ毎に出力する。また、Ｉフレームは単独で復号されるが、ＰフレームはＩフレーム及びこれより前のＰフレームを基に復号される。ＢフレームはＩフレーム及び前後のＰフレームを基に復号される。さらに、ＧＯＰ長が短い場合、映像の再生または停止などのシークをスムーズに行うことが可能だが、情報量が多いＩフレームの間隔が短くなるためデータサイズが大きくなる。そこで、ＧＯＰ長を数十秒と長くすることでデータサイズをより小さくする機能がある。
【０００４】
このような機能を有する監視システムでは、配信する映像のデータサイズを抑えることができ、スムーズな映像配信が可能となる。しかし、Ｐフレームにおいてシーンチェンジ等が発生し、大きく映像が変化すると、フレーム間符号化方式の高い圧縮率を維持することができなくなる。結果として、データ量が増加し、画質も劣化する場合がある。これに対し、特許文献１には、シーンチェンジを検知した場合、フレーム間符号化ではなく、フレーム内符号化によって映像を圧縮する技術が公開されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−５１７８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された技術は、シーンチェンジ後のフレームがＢフレームの場合に、その後に現れるＩフレームまたはＰフレームに変更するため、シーンが変更された直後の映像そのものはＩフレームにならない。したがって、シーン変更直後の映像を配信することができない。また、Ｐフレームの場合はそのまま配信されるため、差分の大きい映像がＰフレームになってしまい、画質が劣化するという課題が残る。特に、全方位カメラにおけるデジタルＰＴＺ画像の位置を連続して変更した場合、位置変更直後の差分の大きいＰフレームが多数送信されてしまうという問題がある。
【０００７】
本発明はこのような問題点に鑑みなされたもので、撮像画像の一部の領域に対応する部分画像から他の領域に対応した部分画像に切り替わる際の画質劣化を低減することを目的とする。
【課題を解決するための手段】
【０００８】
そこで、本発明は、画像符号化装置であって、撮像手段によって撮像された撮像画像の一部の領域に対応する部分画像のフレームをフレーム内符号化又はフレーム間符号化の少なくとも何れかを用いて符号化する符号化手段と、前記符号化手段によって符号化された前記部分画像を出力する出力手段とを有し、前記符号化手段は、前記出力手段によって第１の部分画像が出力された状態から、前記出力手段によって前記第１の部分画像と異なる領域の第２の部分画像が出力される状態へと変わる場合に、前記第２の部分画像を、前記フレーム間符号化を用いずに符号化することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮像画像の一部の領域に対応する部分画像の位置変更の際の画質劣化を低減することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係るカメラシステムの全体図である。
【図２】カメラサーバ装置のハードウェア構成図である。
【図３】カメラサーバ装置の機能構成図である。
【図４】ビューワの一例を示す図である。
【図５】位置指定の場合の符号化方式決定処理を示すフローチャートである。
【図６】方向指定の場合の符号化方式決定処理を示すフローチャートである。
【図７】第２の実施形態に係る符号化方式決定処理を示すフローチャートである。
【図８】第３の実施形態に係る符号化方式決定処理を示すフローチャートである。
【図９】閾値テーブルの一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について図面に基づいて説明する。なお、実施形態において、Ｉフレームとは当該フレーム内の各ブロックにおいてインター予測を用いずに、イントラ予測のみを用いて符号化されるフレームである。このようなフレームはイントラフレームやキーフレームとも呼ばれる。また、Ｐフレーム及びＢフレームは、当該フレームの少なくとも一部においてインター予測を用いて符号化されるフレームである。このようなフレームはインターフレームとも呼ばれる。
【００１２】
（第１の実施形態）
図１は、第１の実施形態に係るカメラシステムの全体図である。カメラシステムは、カメラサーバ装置１００とクライアント装置１１０とを有している。カメラサーバ装置１００とクライアント装置１１０は、ネットワーク１２０を介して相互に接続されている。カメラサーバ装置１００は、画像符号化装置の一例である。カメラサーバ装置１００は、撮影画角可変のカメラを備え、撮影した画像を、ネットワーク１２０を介して配信する。クライアント装置１１０は、カメラサーバ装置１００にアクセスし、画像を取得しながら、パン（Ｐ）・チルト（Ｔ）・ズーム（Ｚ）及びフォーカスや露出等の画質パラメータを制御し、プリセット設定する。それぞれの詳細については後述する。なお、説明の簡略化のためにカメラサーバ装置１００は、１台としているが、２台以上であってもよい。またクライアント装置１１０以外にもカメラサーバ装置１００にアクセスして画像の受信や蓄積を行う他のクライアントがあってもよい。ネットワーク１２０はＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。なお、ネットワークの通信規格、規模、構成は、実施形態に限定されるものではない。他の例としては、ネットワーク１２０は、インターネットやＬＡＮ（Ｌｏｃａｌ  Ａｒａ  Ｎｅｔｗｏｒｋ）等であってもよい。
【００１３】
図２は、カメラサーバ装置１００のハードウェア構成図である。ＣＰＵ２００、一次記憶装置２０１、二次記憶装置２０２、画像キャプチャＩ／Ｆ２０３、雲台制御Ｉ／Ｆ２０４、ネットワークＩ／Ｆ２０５が内部バス２１０を介して相互に接続されている。一次記憶装置２０１は、ＲＡＭに代表される書き込み可能な高速の記憶装置で、ＯＳや各種プログラム及び各種データがロードされ、またＯＳや各種プログラムの作業領域としても使用される。二次記憶装置２０２は、ＨＤＤ、フラッシュメモリ、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等に代表される不揮発性を持った記憶装置で、ＯＳや各種プログラム及び各種データの永続的な記憶領域として使用される。また、二次記憶装置２０２は、短期的な各種データの記憶領域としても使用される。なお、後述するカメラサーバ装置１００の機能や処理は、ＣＰＵ２００が二次記憶装置２０２に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
【００１４】
画像キャプチャＩ／Ｆ２０３には、ＣＣＤやＣＭＯＳからなる画像センサ２０６が接続されている。画像キャプチャＩ／Ｆ２０３は、画像センサ２０６から取得した画像データを画質パラメータに従って画像処理し、所定のフォーマットに変換・圧縮して一次記憶装置２０１に転送する。雲台制御Ｉ／Ｆ２０４には、レンズ／雲台２０７が接続されている。雲台制御Ｉ／Ｆ２０４は、パン・チルト・ズーム機構を制御して撮影位置や撮影画角を変更する。ネットワークＩ／Ｆ２０５は前述のネットワーク１２０と接続するためのＩ／Ｆであり、Ｅｔｈｅｒｎｅｔ等の通信媒体を介してクライアント装置１１０等との通信を担う。
【００１５】
図３は、カメラサーバ装置１００の機能構成図である。カメラサーバ装置１００は、撮像処理部３００と、ＰＴＺ処理部３０１と、プリセット制御部３０２と、通信処理部３０３と、を有している。撮像処理部３００は、画像センサ２０６で生成された画像データを画像キャプチャＩ／Ｆ２０３を経由して取得する。なお、本実施形態においては、画像データは、動画データであるものとする。但し、画像データは連続した静止画であってもよい。撮像処理部３００はさらに、プリセット制御部３０２から指定された画質パラメータに従って画像処理と符号化処理を行い、一次記憶装置２０１に保存する。また、撮像処理部３００は、符号化処理を行う前に、画像データの一部を切り出すことで、指定された切り出し位置及び切り出し画角のデジタルＰＴＺ画像を生成する。また、カメラサーバ装置１００は、レンズ／雲台２０７として全周魚眼レンズを搭載した全方位カメラの場合、３６０度円環あるいは円形などの魚眼画像を撮影することができる。この場合、撮像処理部３００は、撮影された魚眼画像に対して幾何変換処理を行なうことにより、パノラマ展開画像や平面透視投影画像へ変換することができる。
【００１６】
ＰＴＺ処理部３０１は、クライアント装置１１０上のビューワ等で指定されたデジタルＰＴＺ画像の切り出し位置や切り出し画角の情報をネットワーク１２０経由で取得し、撮像処理部３００にその情報を設定する。これにより、カメラサーバ装置１００は、所定のデジタルＰＴＺ画像を生成することができる。ＰＴＺ処理部３０１が切り出し位置及び切り出し画角を撮像処理部３００に再設定するまで、撮像処理部３００は、前回設定した切り出し位置及び切り出し画角のデジタルＰＴＺ画像を生成する。また、ＰＴＺ処理部３０１は、フレームの符号化方式を、フレーム内符号化にするかフレーム間符号化にするかを判断し、決定した符号化方式を撮像処理部３００に設定する。カメラサーバ装置１００が全方位カメラである場合、ＰＴＺ処理部３０１は、魚眼画像から切り出したデジタルＰＴＺ画像を生成する。
【００１７】
プリセット制御部３０２は、クライアント装置１１０から予め設定されたプリセット位置やプリセット巡回設定、またはイベントによるプリセット移動設定に応じて、雲台制御Ｉ／Ｆ２０４を経由しレンズ／雲台２０７を制御する。これにより、パン・チルト・ズーム位置を制御することができる。プリセット制御部３０２はまた、プリセットとして保存されているフォーカス、露出、ホワイトバランス、デイナイト、暗部補正、ノイズリダクション、シャープネス、色の濃さ等の画質パラメータを、撮像処理部３００に設定する。
【００１８】
通信処理部３０３は、各種クライアントからのリクエストに応じ、一次記憶装置２０１に保存されている画像データを、ネットワークＩ／Ｆ２０５を制御し、ネットワーク１２０を介して各種クライアントへ送信する。また、通信処理部３０３は、各種クライアントから送られるパン・チルト・ズーム位置や画質パラメータをプリセット制御部３０２に伝え、受信したプリセット設定やプリセット巡回設定を二次記憶装置２０２に保存する。
【００１９】
図４は、クライアント装置１１０に表示されるビューワの一例を示す図である。ユーザは、ビューワ４００を操作することで、デジタルＰＴＺの切り出し位置や画角を設定し、撮像画像の一部をデジタルＰＴＺ画像として切り出して、ビューワ４００上に表示することができる。ここで、デジタルＰＴＺ画像は、撮像画像の一部の領域に対応する部分画像の一例である。ユーザは、クライアント装置１１０上のビューワ４００を操作することで、デジタルＰＴＺの切り出し位置や切り出し画角を変更することができる。
【００２０】
デジタルＰＴＺの切り出し位置や切り出し画角を変更する方法としては、主に移動後の切り出し位置と切り出し画角を指定する「位置指定」と、移動する方向を指定する「方向指定」、ズーム倍率（画角）を変更する「ズーム指定」がある。クライアント装置１１０からネットワーク１２０経由で「位置指定」のコマンドを受信した場合、ＰＴＺ処理部３０１は、指定された切り出し位置及び切り出し画角を撮像処理部３００に設定する。これにより、撮像処理部３００は、指定された切り出し位置及び切り出し画角の映像を直ちに生成する。
【００２１】
受信したコマンドが「方向指定」の場合、ＰＴＺ処理部３０１は、指定された方向に移動させた切り出し位置を一定の間隔で撮像処理部３００に設定する。ＰＴＺ処理部３０１は、クライアント装置１１０からネットワーク１２０経由で取得するスピード値から移動させる大きさを算出する。そして、ＰＴＺ処理部３０１は、クライアント装置１１０から停止コマンドを受信すると、指定された方向への切り出し位置の移動を停止する。これにより、撮像処理部３００は、切り出し位置がフレーム毎に徐々に移動していくような連続的なデジタルＰＴＺ画像（映像）を生成することができる。
【００２２】
受信したコマンドが「ズーム指定」の場合、ＰＴＺ処理部３０１は、指定された変化量に応じて、切り出し画角を一定の間隔で撮像処理部３００に設定する。ＰＴＺ処理部３０１は、クライアント装置１１０から停止コマンドを受信すると、指定された変化量での倍率の変化を停止する。これにより、撮像処理部３００は、ズーム倍率がフレーム毎に徐々に増加又は減少するような連続的なデジタルＰＴＺ画像（映像）を生成することができる。
【００２３】
次に、ビューワ４００を用いて位置指定、方向指定及びズーム指定を行う方法について説明する。ビューワ４００の下側には、魚眼画像４１０が表示されている。さらに、ビューワ４００の上側には、魚眼画像４１０における切出し位置４１１で切り出されたデジタルＰＴＺ画像４２０が表示されている。ここで、デジタルＰＴＺ画像４２０は、撮像画像としての魚眼画像４１０の一部の領域に対応する部分画像である。
【００２４】
ユーザは、切り出し位置４１１を変更することで、デジタルＰＴＺ画像４２０のパン、チルト位置を変更することができる。また、切り出し位置４１１の円の大きさを変更することで、デジタルＰＴＺ画像４２０のズームを変更することができる。ユーザは、パン用位置指定バー４３０のスライダー４３１及びチルト用位置指定バー４４０のスライダー４４１を移動させることで、デジタルＰＴＺ画像４２０のパン、チルト位置を変更することができる。また、ユーザは、ズーム用位置指定バー４５０のスライダー４５１を移動させることで、デジタルＰＴＺ画像４２０のズームを変更することができる。スライダー４５１を上方向に移動させるとズームイン、下方向に移動させるとズームアウトする。以上の方法により、位置指定を行うことができる。
【００２５】
なお、図示していないが、他の方法によって位置指定を行ってもよい。例えば、デジタルＰＴＺ画像４２０上で表示する位置を取り囲むことで、切り出し位置及び切り出し画角を指定させてもよい。また、ＰＴＺ処理部３０１は、プリセット制御部３０２から通知されたプリセット位置を撮像処理部３００に設定してもよい。
【００２６】
次に、方向指定の方法について説明する。ユーザは、ベクトル４６０の向きを指定することで、デジタルＰＴＺ画像４２０の移動方向を指定することができる。また、ユーザは、ベクトル４６０の長さを変更することによって、スピード値を指定することができる。以上の方法により方向指定を行うことができるが、他の方法を用いてもよい。例えば、ベクトル４６０のかわりに、パン、チルトの方向を指定可能なボタンと、スピード値を指定可能なスライダーを用意してもよい。また、ズーム指定の場合、倍率を指定可能なボタンと、スピード値を指定可能なスライダーを用意し、これらを用いることにより、倍率の変化量（スピード）を指定することができる。
【００２７】
図５は、カメラサーバ装置１００による、ユーザの指定方法が位置指定の場合の符号化方式決定処理を示すフローチャートである。Ｓ５００において、ＰＴＺ処理部３０１は、受信したコマンドが位置指定か否かを確認する。ＰＴＺ処理部３０１は、位置指定の場合には（Ｓ５００でＹＥＳ）、処理をＳ５０１へ進める。ＰＴＺ処理部３０１は、位置指定でない場合には（Ｓ５００でＮＯ）、処理を終了する。なお、受信したコマンドが方向指定の場合については、図６を参照しつつ後述する。Ｓ５０１において、ＰＴＺ処理部３０１は、撮像処理部３００に対してデジタルＰＴＺの切り出し位置及び切り出し画角の設定と同時にフレーム符号化方式を、フレーム内符号化に設定する。これに対応し、撮像処理部３００は、位置指定に係るデジタルＰＴＺ画像を、フレーム内符号化を用いて符号化する。すなわち、撮像処理部３００は、位置指定に係るデジタルＰＴＺ画像を、フレーム間符号化を用いずに符号化する。
【００２８】
このように、カメラサーバ装置１００は、切り出し位置及び切り出し画角の設定と同時にフレーム内符号化に切り替える。したがって、シーンが大きく変更することが多いデジタルＰＴＺの切り出し位置及び切り出し画角を変更した際に、変更後の画像を差分の大きいフレーム間符号化のＰフレームではなく、フレーム内符号化のＩフレームとして生成することができる。
【００２９】
図６は、カメラサーバ装置１００による、ユーザの指定方法が方向指定の場合の符号化方式決定処理を示すフローチャートである。Ｓ６００において、ＰＴＺ処理部３０１は、受信したコマンドが方向指定か否かを確認する。ここで、方向指定は、デジタルＰＴＺ画像とする一部の領域の位置を徐々に移動する移動指示の一例である。ＰＴＺ処理部３０１は、方向指定の場合には（Ｓ６００でＹＥＳ）、処理をＳ６０１へ進める。ＰＴＺ処理部３０１は、受信したコマンドが方向指定でない場合には（Ｓ６００でＮＯ）、処理を終了する。Ｓ６０１において、ＰＴＺ処理部３０１は、処理時点における画質パラメータを一次記憶装置２０１に保存した上で、画質を落とすように、撮像処理部３００に設定する画質パラメータを変更する。本実施形態においては、ＰＴＺ処理部３０１は、処理時点における画質から１０％画質を落とすように画質パラメータを変更することとする。なお、画質パラメータの変更方法は実施形態に限定されるものではない。他の例としては、ＰＴＺ処理部３０１は、処理時点における画質が既に一定以下の画質の場合はそのままにすることとしてもよい。なお、Ｓ６０１の処理は、移動指示としての方向指定を受け付けたタイミング以降に出力するデジタルＰＴＺ画像の画質を、方向指定を受け付けたタイミングより前に出力したデジタルＰＴＺ画像に比べて低くなるように変更する画質変更処理の一例である。
【００３０】
次に、Ｓ６０２において、ＰＴＺ処理部３０１は、方向指定に応じた、Ｓ６０２の処理時点における移動後のデジタルＰＴＺ画像の切り出し位置と、移動開始時のデジタルＰＴＺ画像の切り出し位置と、の差分を求める。ＰＴＺ処理部３０１はまた、方向指定に応じた、Ｓ６０２の処理時点における移動後のデジタルＰＴＺ画像の切り出し位置と、Ｓ６０２の処理時点に最も近いタイミングで出力されたＩフレームとしてのデジタルＰＴＺ画像の切り出し位置と、の差分を求める。ここで、Ｉフレームは、フレーム内符号化が行われた部分画像の一例である。以下においては、Ｓ６０２の処理時点に最も近いタイミングで出力されたＩフレームを前回のＩフレームと称することとする。そして、ＰＴＺ処理部３０１は、より小さい差分を選択し、選択した差分と予め設定された閾値とを比較する。ここで、閾値は、一次記憶装置２０１に予め設定されているものとする。ＰＴＺ処理部３０１は、差分が閾値以上の場合には（Ｓ６０２でＹＥＳ）、処理をＳ６０３へ進める。ＰＴＺ処理部３０１は、差分が閾値未満の場合には（Ｓ６０２でＮＯ）、処理をＳ６０５へ進める。
【００３１】
Ｓ６０３において、ＰＴＺ処理部３０１は、Ｓ６０３の処理時点において、前回のＩフレームの生成のタイミングから一定時間以上経過しているか否かを判定する。ここで、一定時間は一次記憶装置２０１に予め設定されているものとする。なお、一定時間は、ＰＴＺ処理部３０１によって予め設定されているＩフレーム間隔よりも短い期間とする。ＰＴＺ処理部３０１は、一定時間以上経過している場合には（Ｓ６０３でＹＥＳ）、処理をＳ６０４へ進める。ＰＴＺ処理部３０１は、一定時間以上経過していない場合には（Ｓ６０３でＮＯ）、処理をＳ６０５へ進める。Ｓ６０４において、ＰＴＺ処理部３０１は、フレーム符号化方式を、フレーム内符号化に設定する。
【００３２】
次に、Ｓ６０５において、ＰＴＺ処理部３０１は、クライアント装置１１０から、方向指定に応じた移動の停止指示を受け付けたか否かを判定する。ＰＴＺ処理部３０１は、停止指示を受け付けた場合には（Ｓ６０５でＹＥＳ）、処理をＳ６０６へ進める。ＰＴＺ処理部３０１は、停止指示を受け付けなかった場合には（Ｓ６０５でＮＯ）、処理をＳ６０２へ進める。Ｓ６０６において、ＰＴＺ処理部３０１は、一次記憶装置２０１に保存された画質パラメータを取得し、撮像処理部３００に設定することで、画質パラメータを元の値に戻すことで画質を基に戻す。次に、Ｓ６０７において、ＰＴＺ処理部３０１は、停止時の映像生成時にフレーム符号化方式をフレーム内符号化に設定する。以上で処理が終了する。これにより、ＰＴＺ処理部３０１は、画質を元に戻す変更とＩフレームを生成する変更を同時に行うことができる。なお、ＰＴＺ処理部３０１は、デジタルＰＴＺ画像を切り出す領域に制限がある場合は、領域の端に到達した時点でＳ６０６へ処理を進めることとする。
【００３３】
なお、ズーム指定の場合の符号化方式決定処理は、図６を参照しつつ説明した方向指定の場合の符号化方式とほぼ同様である。ズーム指定の場合には、Ｓ６０２において、切り出し位置の差分に替えて、倍率（画角）の差分と閾値との比較を行えばよい。
【００３４】
以上のように、カメラサーバ装置１００は、方向指定の場合には、重要度が低いと考えられる方向移動中の映像に対してデータサイズを抑えつつ、適切なタイミングでＩフレームを生成することができる。そして、カメラサーバ装置１００は、停止時には画質を戻し、Ｉフレームを生成することで、重要度が高い映像を鮮明に表示することができる。なお、本実施形態においては、Ｓ６０３において、一定時間経過した場合にＩフレームを生成することとしたが、ＰＴＺ処理部３０１はさらに、この一定期間を、移動速度に応じて変更してもよい。
【００３５】
以上のように、第１の実施形態に係るカメラサーバ装置１００は、切り出し位置や切り出し画角の変更に応じて、符号化方式をフレーム内符号化に設定する。したがって、カメラサーバ装置１００は、撮像画像の一部の領域に対応する第１の部分画像（デジタルＰＴＺ画像）が出力された状態から他の領域に対応した第２の部分画像が出力される状態へと変わる際の画質劣化を低減することができる。
【００３６】
第１の実施形態の第１の変形例としては、図６を参照しつつ説明した、方向指定の場合の符号化方式決定処理において画質を落とす処理は行わなくともよい。例えば、移動中の映像も重要である場合に有効である。
【００３７】
また、第２の変形例としては、ＰＴＺ処理部３０１は、映像情報の差分を用いてＩフレームに切り替えるような機能を実行している間は、移動時又は停止時のＩフレームへの切り替えを実行しないこととしてもよい。
【００３８】
また、第３の変形例としては、ＰＴＺ処理部３０１は、Ｓ６０２において、方向指定に応じた、Ｓ６０２の処理時点における移動後のデジタルＰＴＺ画像の切り出し位置と、移動開始時のデジタルＰＴＺ画像の切り出し位置と、の差分のみを求めてもよい。そして、ＰＴＺ処理部３０１は、この差分と閾値との比較を行ってもよい。また、他の例としては、ＰＴＺ処理部３０１は、方向指定に応じた、Ｓ６０２の処理時点における移動後のデジタルＰＴＺ画像の切り出し位置と、前回のＩフレームとしてのデジタルＰＴＺ画像の切り出し位置と、の差分のみを求めることとしてもよい。そして、ＰＴＺ処理部３０１は、この差分と閾値との比較を行ってもよい。
【００３９】
（第２の実施形態）
次に、第２の実施形態に係るカメラシステムについて、主に第１の実施形態に係るカメラシステムと異なる点を説明する。図７は、第２の実施形態に係るカメラサーバ装置１００による、位置指定の場合の符号化方式決定処理を示すフローチャートである。なお、図７に示す各処理のうち、図５を参照しつつ説明した第１の実施形態に係る符号化方式決定処理の各処理と同一の処理には、同一の番号を付している。Ｓ５００において、ＰＴＺ処理部３０１は、位置指定の場合には（Ｓ５００でＹＥＳ）、処理をＳ７００へ進める。Ｓ７００において、ＰＴＺ処理部３０１は、位置指定に係るデジタルＰＴＺ画像と、位置指定の直前に表示されていたデジタルＰＴＺ画像との重なり部分の面積と閾値とを比較する。ＰＴＺ処理部３０１は、面積が閾値以上の場合には（Ｓ７００でＹＥＳ）、処理をＳ５０１へ進める。ＰＴＺ処理部３０１は、面積が閾値未満の場合には（Ｓ７００でＮＯ）、処理を終了する。なお、第２の実施形態に係るカメラシステムのこれ以外の構成及び処理は、第１の実施形態に係るカメラシステムの構成及び処理と同様である。
【００４０】
以上の処理により、第２の実施形態に係るカメラサーバ装置１００は、位置指定に応じた移動前後のデジタルＰＴＺ画像の変化量が閾値未満の場合に、Ｐフレームを生成し、変化量が閾値以上の場合にＩフレームを生成することになる。したがって、第２の実施形態に係るカメラサーバ装置１００は、撮像画像の一部の領域に対応する部分画像から他の領域に対応した部分画像に切り替わる際の画質劣化を低減することができる。
【００４１】
なお、第２の実施形態の第１の変形例としては、カメラサーバ装置１００は、魚眼画像４１０の中心からの距離に応じてＳ７００において利用する閾値を設定することとしてもよい。
【００４２】
第２の変形例としては、カメラサーバ装置１００は、位置指定に係るデジタルＰＴＺ画像と、直前に表示されていたデジタルＰＴＺ画像と、に基づいて、位置指定に係るデジタルＰＴＺ画像の符号化方式を決定すればよい。すなわち、具体的な処理は実施形態に限定されるものではない。例えば、カメラサーバ装置１００は、両画像の切り出し画角の差分が閾値以上の場合に符号化方式をフレーム内符号化に設定してもよい。また、他の例としては、カメラサーバ装置１００は、両画像の切り出し位置の差分が閾値以上の場合に符号化方式をフレーム内符号化に設定してもよい。
【００４３】
（第３の実施形態）
次に、第３の実施形態に係るカメラシステムについて、主に第１の実施形態に係るカメラシステムと異なる点を説明する。図８は、第３の実施形態に係るカメラサーバ装置１００による、位置指定の場合の符号化方式決定処理を示すフローチャートである。なお、図８に示す各処理のうち、図５を参照しつつ説明した第１の実施形態に係る符号化方式決定処理の各処理と同一の処理には、同一の番号を付している。Ｓ５００において、ＰＴＺ処理部３０１は、位置指定の場合には（Ｓ５００でＹＥＳ）、処理をＳ８００へ進める。
【００４４】
Ｓ８００において、ＰＴＺ処理部３０１は、切り出される映像から、移動先のデジタルＰＴＺの映像の画質パラメータを予め取得する。次に、Ｓ８０１において、ＰＴＺ処理部３０１は、移動前後の画質パラメータの差分を求め、差分と閾値との比較を行う。本実施形態においては、ＰＴＺ処理部３０１は、画質パラメータとして、デジタルＰＴＺの映像全体に対する輝度値とエッジ量それぞれの差分を求め、各差分をそれぞれに対応する閾値と比較する。各閾値は、一次記憶装置２０１に予め設定されているものとする。
【００４５】
図９は、一次記憶装置２０１に記憶されている閾値テーブル９００の一例を示す図である。閾値テーブル９００において、画質パラメータの種類と閾値とが対応付けられている。図９に示す例では、輝度値とエッジ量それぞれの閾値が設定されている。ＰＴＺ処理部３０１は、輝度値の差分が輝度値の閾値以上で、かつエッジ量の差分がエッジ量の閾値以上という条件を満たすか否かを判定する。ＰＴＺ処理部３０１は、条件を満たす場合に（Ｓ８０１でＹＥＳ）、処理をＳ５０１へ進める。ＰＴＺ処理部３０１は、条件を満たさない場合に（Ｓ８０１でＮＯ）、処理を終了する。なお、第３の実施形態に係るカメラシステムのこれ以外の構成及び処理は、他の実施形態に係るカメラシステムの構成及び処理と同様である。
【００４６】
以上の処理により、第３の実施形態に係るカメラサーバ装置１００は、位置指定に応じた移動前後のデジタルＰＴＺ画像の画質パラメータの変化量が閾値未満の場合にＰフレームを生成し、変化量が閾値以上の場合にはＩフレームを生成することになる。なお、画質パラメータの変化量が閾値未満の場合には、シーンがあまり変化していないと推測される。一方、画質パラメータの変化量が閾値以上の場合には、シーンが大きく変化していると推測される。すなわち、第３の実施形態に係るカメラサーバ装置１００は、シーン変化に応じた符号化方式を設定しつつ、撮像画像の一部の領域に対応する部分画像から他の領域に対応した部分画像に切り替わる際の画質劣化を低減することができる。
【００４７】
なお、第３の実施形態の変形例としては、Ｓ８０１において利用する画質パラメータの種類及び数は実施形態に限定されるものではない。画質パラメータとしては、上記以外に、露出補正値やシャッタースピード値、絞り値等が考えられる。
【００４８】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００４９】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５０】
１００  カメラサーバ装置
１２０  クライアント装置
２００  ＣＰＵ
２０１  一時記憶装置
２０６  画像センサ
【図１】
2019075685.tif 000003
【図２】
2019075685.tif 000004
【図３】
2019075685.tif 000005
【図４】
2019075685.tif 000006
【図５】
2019075685.tif 000007
【図６】
2019075685.tif 000008
【図７】
2019075685.tif 000009
【図８】
2019075685.tif 000010
【図９】
2019075685.tif 000011