(57)【要約】      （修正有）【課題】フレームレート制御により映像の全体的な符号量の低減を実現しつつ、第１のフレームレートよりも低い第２のフレームレートへ制御された際の映像の画質劣化を抑制する画像処理装置を提供する。【解決手段】画像処理装置１００は、連続するフレームにより構成された映像を取得する映像入力部１０１と、映像入力部１０１により取得された映像を圧縮する圧縮部１０２と、映像入力部１０１により取得された映像から動体を検知する動体検知部１０３と、動体検知部１０３により検知された動体に関する動体情報に基づいて、圧縮部１０２により圧縮された映像を配信するフレームレートを決定するＦＲ制御部１０４と、圧縮部１０２を制御して、配信する映像の符号量が目標符号量を超えない範囲で、第１のフレームレートよりも低い第２のフレームレートで配信するフレームの符号量を規定値よりも大きくする圧縮制御部１０５と、を備える。【選択図】図１
2020039045.tif 000002
【特許請求の範囲】
【請求項１】
連続するフレームにより構成された映像を取得する取得手段と、
前記取得手段により取得された映像を圧縮する圧縮手段と、
前記取得手段により取得された映像から動体を検知する検知手段と、
前記検知手段により検知された動体に関する動体情報に基づいて、前記圧縮手段により圧縮された映像を配信するフレームレートを決定する決定手段と、
前記圧縮手段を制御して、配信する映像の符号量が目標符号量を超えない範囲で、第１のフレームレートよりも低い第２のフレームレートで配信するフレームの符号量を規定値よりも大きくする制御手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記決定手段は、
前記フレームレートを前記第１のフレームレートから前記第２のフレームレートへ切り替える場合、所定期間、前記フレームレートを、前記第１のフレームレートと前記第２のフレームレートとの間の過渡的なフレームレートに決定し、
前記制御手段は、
前記圧縮手段を制御して、前記過渡的なフレームレートで配信するフレームのうち、最終フレームの符号量を規定値よりも大きくすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、
前記圧縮手段を制御して、前記過渡的なフレームレートで配信するフレームのうち、最終フレームを除くフレームの符号量を抑圧し、抑圧した分の符号量を前記最終フレームに割り当てることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記最終フレームは、フレーム内予測を使用して圧縮されたフレームであることを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記決定手段は、
前記最終フレームが前記フレーム内予測を使用して圧縮されたフレームとなるように前記過渡的なフレームレートを決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記検知手段による動体検知の統計情報に基づいて、前記第１のフレームレートで映像を配信する第１の期間と、前記第２のフレームレートで映像を配信する第２の期間とを予測する第１の予測手段と、
前記第１の予測手段により予測された第１の期間および第２の期間に基づいて、前記映像の圧縮効率を予測する第２の予測手段と、をさらに備え、
前記制御手段は、
前記第２の予測手段により予測された圧縮効率が目標圧縮効率よりも高い場合、前記圧縮効率と前記目標圧縮効率との差分に基づいて、前記最終フレームに割り当てる符号量を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記第２の予測手段は、
前記第１の期間および前記第２の期間を含む第３の期間において、前記第１のフレームレートで前記圧縮手段により圧縮された映像を配信した場合の第１の符号量と、
前記第３の期間のうち前記第２の期間を除く期間においては前記第１のフレームレートで、前記第２の期間においては前記第２のフレームレートで、前記圧縮手段により圧縮された映像を配信した場合の第２の符号量との比を、
前記圧縮効率として予測することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記制御手段は、
前記第３の期間において圧縮効率が前記目標圧縮効率となる場合の符号量と、前記第２の符号量との差分を、前記最終フレームに割り当てる符号量として決定することを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
前記決定手段は、
前記フレームを複数の領域に分割した部分領域ごとに前記フレームレートを決定し、
前記制御手段は、
前記圧縮手段を制御して、前記過渡的なフレームレートで配信する前記部分領域のフレームのうち、最終フレームの符号量を、各部分領域の符号量の分散の逆数の比に基づいて決定することを特徴とする請求項２から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記決定手段により決定されたフレームレートで前記映像を配信する配信手段をさらに備え、
前記配信手段は、前記部分領域にスキップマクロブロックを挿入することで、前記部分領域ごとに疑似的にフレームレートを制御することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記決定手段により決定されたフレームレートで前記映像を配信する配信手段をさらに備え、
前記配信手段は、画像情報が含まれていない疑似フレームを配信することで、疑似的に前記フレームレートを制御することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記決定手段は、
前記検知手段により前記動体を検知した場合、当該動体の速度に応じて前記第１のフレームレートを決定し、
前記検知手段により前記動体を検知しなくなった場合に、前記フレームレートを前記第１のフレームレートから前記第２のフレームレートへ切り替えると判断することを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項１３】
連続するフレームにより構成された映像を取得するステップと、
取得された前記映像から動体を検知するステップと、
検知された動体に関する動体情報に基づいて、圧縮された前記映像を配信するフレームレートを決定するステップと、
配信する映像の符号量が目標符号量を超えない範囲で、第１のフレームレートよりも低い第２のフレームレートで配信するフレームの符号量が規定値よりも大きくように、前記映像を圧縮するステップと、を含むことを特徴とする画像処理方法。
【請求項１４】
コンピュータを、請求項１から１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来、ネットワークを介して動画（映像）を配信するネットワークカメラでは、ユーザにとって冗長な部分を削って、配信する映像の符号量を抑圧する方法がとられている。配信する映像の符号量を抑圧する方法としては、映像内の動体の有無に応じて、配信する映像のフレームレートを制御する方法が知られている。
特許文献１には、映像から動体を検知し、その動体の動きの滑らかさを評価してフレームレートを決定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１１５４７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に記載の技術では、動体の動きの滑らかさを評価する評価値が規定値よりも大きい場合には、フレームレートを低速フレームレートとし、評価値が規定値よりも小さい場合には、フレームレートを高速フレームレートとしている。しかしながら、上記特許文献１に記載の技術では、低速フレームレートで配信される画像の画質と、高速フレームレートで配信される画像の画質とが同等に扱われている。
フレームレートが低速フレームレートである場合、高速フレームレートである場合と比較して画面更新が遅いため、配信される画像の画質が低いと長時間にわたり低画質の画像がユーザに提示されてしまい、ユーザに対して画質が劣化しているという印象を強く与えてしまう。
【０００５】
そこで、本発明は、フレームレート制御により映像の全体的な符号量の低減を実現しつつ、第１のフレームレートよりも低い第２のフレームレートへ制御された際の映像の画質劣化を抑制することを課題としている。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る画像処理装置の一態様は、連続するフレームにより構成された映像を取得する取得手段と、前記取得手段により取得された映像を圧縮する圧縮手段と、前記取得手段により取得された映像から動体を検知する検知手段と、前記検知手段により検知された動体に関する動体情報に基づいて、前記圧縮手段により圧縮された映像を配信するフレームレートを決定する決定手段と、前記圧縮手段を制御して、配信する映像の符号量が目標符号量を超えない範囲で、第１のフレームレートよりも低い第２のフレームレートで配信するフレームの符号量を規定値よりも大きくする制御手段と、を備える。
【発明の効果】
【０００７】
本発明によれば、フレームレート制御により映像の全体的な符号量の低減を実現しつつ、第１のフレームレートよりも低い第２のフレームレートへ制御された際の映像の画質劣化を抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態における画像処理装置のブロック構成例を示す図である。
【図２】画像処理装置のハードウェア構成例である。
【図３】第一の実施形態における動画圧縮の概念図である。
【図４】第一の実施形態の動画圧縮処理の手順を示すフローチャートである。
【図５】第二の実施形態における動画圧縮の概念図である。
【図６】第二の実施形態の動画圧縮処理の手順を示すフローチャートである。
【図７】第三の実施形態の圧縮制御部の詳細を示すブロック構成図である。
【図８】第三の実施形態における動画圧縮の説明図である。
【図９】第三の実施形態の動画圧縮処理の手順を示すフローチャートである。
【図１０】領域毎のフレームレート制御を説明するための図である。
【図１１】第四の実施形態の圧縮制御部の詳細を示すブロック構成図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【００１０】
図１は、本実施形態における画像処理装置１００のブロック構成例を示す図である。
この画像処理装置１００は、時系列上で連続するフレームにより構成された動画（映像）の圧縮を行う動画圧縮装置である。本実施形態では、異常監視システム等に用いられるネットワークカメラが、画像処理装置１００として動作する場合について説明する。ネットワークカメラは、所定の監視領域を撮像し、撮像した映像を、ネットワークを介してクライアント装置へ配信する。その際、ネットワークカメラは、撮像した映像から動体を検知し、検知された動体に関する動体情報に基づいて配信する映像のフレームレートを決定し、当該フレームレートを制御するフレームレート制御を行う。
【００１１】
図１に示すように、画像処理装置１００は、映像入力部１０１と、圧縮部１０２と、動体検知部１０３と、ＦＲ制御部１０４と、圧縮制御部１０５と、配信部１０６と、を備える。
映像入力部１０１は、圧縮して配信するための映像データを取得し、取得した映像データを圧縮部１０２および動体検知部１０３に出力する。
圧縮部１０２は、映像入力部１０１から入力された映像を、圧縮制御部１０５による圧縮制御に従って圧縮し、圧縮データをＦＲ制御部１０４に出力する。ここで、映像の圧縮方法は、フレーム内相関（フレーム内予測）を用いた圧縮方法や、フレーム間相関（フレーム間予測）を用いた圧縮方法、それらを組み合わせた圧縮方法であってよい。例えば、映像の圧縮方法としては、Ｈ.２６４に準拠した圧縮符号化方法を用いることができる。ただし、映像の圧縮方法は、上記に限定されるものではなく、任意の圧縮方法を用いることができる。
【００１２】
動体検知部１０３は、映像入力部１０１により入力された映像から動体を検知し、動体検知の結果である動体情報をＦＲ制御部１０４に出力する。例えば、動体検知部１０３は、入力された画像（フレーム）と、過去に入力された画像から作成された背景画像との差分を、動体として検知する背景差分を用いることができる。
ＦＲ制御部１０４は、動体検知部１０３より入力された動体情報に基づいて、配信する映像のフレームレートを決定する。ＦＲ制御部１０４は、動体情報をもとに、フレームレートモードを、例えば以下の３つのモードの中から選択し、フレームレートを決定する。
【００１３】
（１）高速フレームレートモード：映像内に動体が存在する場合のモードである。フレームレートは、例えば３０ｆｐｓ（フレーム／秒）といった固定値であってもよいし、動体の動きの速度に応じて可変であってもよい。以下、高速フレームレートモード時におけるフレームレートを「高速フレームレート」、高速フレームレートモードを「高速モード」という。
（２）低速フレームレートモード：映像内に動体が存在しない場合のモードである。フレームレートは、高速フレームレートよりも低い値であり、例えば０．１ｆｐｓであってもよいし、０．００１ｆｐｓであってもよい。なお、当該フレームレートは、０ｆｐｓであってもよい。ここで、０ｆｐｓは、フレーム内に画像情報が含まれていない疑似フレームを送ることによって疑似的に達成することができる。以下、低速フレームレートモード時におけるフレームレートを「低速フレームレート」、低速フレームレートモードを「低速モード」という。という。
（３）過渡フレームレートモード：動体が存在する画像から動体が存在しない画像に遷移し、フレームレートを高速フレームレートから低速フレームレートへ切り替えると判断した場合に、所定期間をかけてフレームレートを落としていくモードである。ここで、上記所定期間は、動体検知の統計情報（動体の検知頻度）に応じて設定してもよいし、一律で例えば２秒等と設定してもよい。また、フレームレートは、高速フレームレートと低速フレームレートとをリニアもしくは対数関数でつないで時間的に変化させてもよいし、単純に低速フレームレートと高速フレームレートの間にある定数としてもよい。以下、過渡フレームレートモード時におけるフレームレートを「過渡フレームレート」、過渡フレームレートモードを「過渡モード」という。という。
【００１４】
圧縮制御部１０５は、ＦＲ制御部１０４により決定されたフレームレートモードを入力し、入力したモードに合わせて圧縮部１０２を制御する。具体的には、圧縮制御部１０５は、ＦＲ制御部１０４から入力したフレームレートモードに応じて、画像を圧縮する際の量子化量を表す量子化値（Ｑ値）を設定し、圧縮部１０２に出力する。また、その際、圧縮制御部１０５は、配信する映像の全体的な符号量が目標符号量を超えない範囲で、低速フレームレートで配信する映像の符号量を規定値よりも大きくし、低速モード時の画質を良化するべく量子化値を制御する。圧縮制御部１０５における圧縮制御方法の詳細については後述する。
配信部１０６は、圧縮された映像を、ＦＲ制御部１０４により決定されたフレームレートに従って、不図示のネットワーク上へ配信する。
【００１５】
図２は、画像処理装置１００のハードウェア構成例である。
画像処理装置１００は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、外部メモリ１４と、通信Ｉ／Ｆ１５と、システムバス１６と、を備える。
ＣＰＵ１１は、画像処理装置１００における動作を統括的に制御する。ＲＯＭ１２は、ＣＰＵ１１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ１４や不図示の着脱可能な記憶媒体に記憶されていてもよい。ＲＡＭ１３は、ＣＰＵ１１の主メモリ、ワークエリア等として機能する。ＣＰＵ１１は、処理の実行に際してＲＯＭ１２から必要なプログラム等をＲＡＭ１３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
外部メモリ１４は、例えば、ＣＰＵ１１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ１４には、例えば、ＣＰＵ１１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。通信Ｉ／Ｆ１５は、外部機器との間の無線または有線の通信インタフェースを提供する。
【００１６】
図１に示す画像処理装置１００の各要素の一部または全部の機能は、ＣＰＵ１１がプログラムを実行することで実現することができる。ただし、図１に示す画像処理装置１００の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１１の制御に基づいて動作する。
本実施形態では、ネットワークカメラが画像処理装置１００として動作する。したがって、本実施形態では、画像処理装置１００は、ハードウェア構成として撮像部を備えることができる。ここで、撮像部は、撮像光学系を構成するレンズ部や撮像素子を備える。撮像素子は、ＣＣＤセンサやＣＭＯＳセンサなどを備え、その受光面上に形成された像を電気信号に変換する。
なお、本実施形態では、ネットワークカメラが画像処理装置１００として動作する場合について説明するが、一般のＰＣや他の機器等が画像処理装置１００として動作してもよい。
【００１７】
以下、圧縮制御部１０５による圧縮制御方法について具体的に説明する。
図３は、本実施形態における動画圧縮の概念図であり、画像処理装置１００が配信した各画像（フレーム）の符号量を縦軸、時間を横軸にとった図である。
画像処理装置１００は、映像に動体が存在する場合、高速モードにて映像を配信し、映像に動体が存在しなくなったことを検知すると、高速モードから過渡モードに遷移し、その後、低速モードに遷移する。図３は、画像処理装置１００が、時刻Ｔ１において映像に動体が存在しなくなったことを検知した場合を示す。
【００１８】
このように、画像処理装置１００は、映像から動体を検知した場合、高速フレームレートに制御し、ユーザに対して被写体の滑らかな動きを提示する。このとき、画像処理装置１００は、動体の速度に応じて高速フレームレートを決定することができる。また、画像処理装置１００は、映像から動体を検知しなくなった場合には、フレームレートを高速フレームレートから低速フレームレートに切り替え、ユーザにとって冗長な部分を削って符号量を抑圧する。さらに、画像処理装置１００は、過渡モードを設け、高速モードから低速モードへの移行時に過渡モードに遷移させるようにする。これにより、被写体に動きのある映像から被写体に動きのない映像に変化した直後に、再び被写体に動きのある映像に戻るといった静動の変化が激しい映像に対応することができる。
【００１９】
符号量３０１は、高速モードで配信されるフレームの符号量である。時刻Ｔ１で配信されるフレームにおいて被写体の動きが無くなると、以降過渡モードとなる。過渡モードでは、高速モードから低速モードに移行させるための、過渡的なフレームレートと符号量とが設定される。上述したように、過渡フレームレートは固定値でもよいし、例えば高速フレームレートから低速フレームレートへ対数関数にて漸近させてもよい。
過渡モードで配信されるフレームの符号量３０２は、高速モード時の符号量３０１よりも抑圧される。画像処理装置１００の圧縮制御部１０５は、過渡モード時の量子化値を、高速モード時の量子化値よりも例えば３大きくして圧縮を強くかけ、符号量を抑圧する。圧縮制御部１０５は、過渡モードの最初のフレームから、最終フレームの直前のフレームまで、上記のように符号量を抑圧する。
【００２０】
そして、圧縮制御部１０５は、過渡モード中に抑圧された符号量を、過渡モードの最終フレームに割り当てる。具体的には、圧縮制御部１０５は、過渡モードの最初のフレームから最終フレームの直前のフレームまでの、高速モード時の符号量３０１の平均と過渡モード時の符号量３０２との差分符号量３０３を合計する。そして、圧縮制御部１０５は、その差分符号量３０３の合計値が最終フレームに割り当てられるように、最終フレームに対する量子化値を制御する。
これにより、最終フレームの符号量３０４は、低速モード時の規定値である符号量３０６よりも、斜線で示す合計符号量３０５分大きい値となる。したがって、画質を向上させた状態で低速モードに遷移することができる。ここで、低速モード時の規定値は、低速フレームレート用の量子化値に従って圧縮されたフレームの符号量である。なお、本実施形態において、低速フレームレート用の量子化値は、高速フレームレート用の量子化値と同じであってよい。
【００２１】
次に、本実施形態における画像処理装置１００の動作について説明する。
図４は、画像処理装置１００が実行する動画圧縮処理の手順を示すフローチャートである。この動画圧縮処理は、映像内の動体情報に基づいてフレームレートを変更するフレームレート制御を行う際に、低速モード時の画質を良化する処理である。図４の処理は、画像処理装置１００が起動したタイミングで開始される。ただし、図４の処理の開始タイミングは、上記のタイミングに限らない。画像処理装置１００は、ＣＰＵ１１が必要なプログラムを読み出して実行することにより、図４に示す各処理を実現することができる。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。
【００２２】
まずＳ１において、ＦＲ制御部１０４は初期化を行い、フレームレートモードとして高速モードを選択する。
次にＳ２において、ＦＲ制御部１０４は、動体検知部１０３から動体情報を入力して映像から動体が検出されているか否かを判定し、動体が検出されている場合にはＳ３に移行し、動体が検出されていない場合にはＳ８に移行する。Ｓ３では、ＦＲ制御部１０４は、現在のフレームレートモードが低速モードであるか否かを判定し、低速モードではないと判定された場合にはＳ４に移行し、低速モードであると判定された場合にはＳ６に移行する。
【００２３】
Ｓ４では、ＦＲ制御部１０４は、現在のフレームレートモードが過渡モードであるか否かを判定し、過渡モードではないと判定された場合には、現在のフレームレートモードが高速モードであるため、そのままＳ２に戻る。一方、Ｓ４において過渡モードであると判定された場合にはＳ５に移行する。Ｓ５では、圧縮制御部１０５は、最終フレーム用量子化値を初期化してＳ６に移行する。ここで、最終フレーム用量子化値は、過渡モードの最終フレームに適用する量子化値である。
Ｓ６では、圧縮制御部１０５は、高速フレームレート用の量子化値を圧縮部１０２に設定し、Ｓ７に移行する。Ｓ７では、ＦＲ制御部１０４は、フレームレートを高速フレームレートに設定して高速モードに遷移し、Ｓ２へ戻る。
【００２４】
Ｓ８では、ＦＲ制御部１０４は、現在のフレームレートモードが高速モードであるか否かを判定し、高速モードであると判定された場合にはＳ９に移行し、高速モードではないと判定された場合にはＳ１１に移行する。Ｓ９では、ＦＲ制御部１０４は、フレームレートを過渡フレームレートに設定して高速モードから過渡モードへ遷移させ、Ｓ１０に移行する。Ｓ１０では、ＦＲ制御部１０４は、過渡モードを抜けるためのタイマを起動してＳ２に戻る。
【００２５】
Ｓ１１では、ＦＲ制御部１０４は、現在のフレームレートモードが過渡モードであるか否かを判定し、過渡モードであると判定された場合にはＳ１２に移行し、過渡モードではないと判定された場合にはＳ１７に移行する。
Ｓ１２では、ＦＲ制御部１０４は、処理対象のフレームが過渡モードの最終フレームであるか否かを判定する。ＦＲ制御部１０４は、Ｓ１０において設定したタイマをもとに最終フレームであるか否かを判定することができる。そして、過渡モードの最終フレームではないと判定された場合にはＳ１３に移行して、圧縮制御部１０５は、過渡フレームレート用の量子化値を圧縮部１０２に設定し、Ｓ１４に移行する。
【００２６】
Ｓ１４では、圧縮制御部１０５は、最終フレーム用量子化値を更新し、Ｓ２に戻る。このＳ１４では、圧縮制御部１０５は、過渡フレームレート用の量子化値に従って圧縮されたフレームの符号量と、高速フレームレート用の量子化値に従って圧縮されたフレームの符号量との差分を積算していく。そして、圧縮制御部１０５は、その積算された差分符号量が、最終フレームの符号量に加えられる符号量になるように、最終フレーム用量子化値を求めて更新する。最終フレーム用量子化値Ｑｆは、例えば以下の式をもとに算出することができる。
【００２７】
【数１】
2020039045.tif 000003
【００２８】
ここで、α，βは効率、ａは過渡モード中の１フレームあたりの符号量の平均、ｎは過渡モードのフレーム数、ｂｋは高速モード中の１フレームあたりの符号量の平均と過渡モード中のｋフレーム目の符号量との差分、Ｑｋは過渡モード時の量子化値である。αは、複数フレームの差分符号量を１つのフレームに押し込む際の効率で、例えば、０.３とする。また、βは、量子化値が１増えた場合に符号量がどの程度変化するかといった量子化の効率を表す値であり、例えば０．８８とする。なお、αおよびβは、それぞれ動的に予測値を算出して用いてもよい。この場合、例えば、α＝０．３、β＝０．８８を初期値として、得られた符号量と設定した量子化値、過渡フレーム数ｎによって、例えばカルマンフィルタ等を用いて動的に予測値を算出することができる。
【００２９】
Ｓ１２において過渡モードの最終フレームであると判定された場合には、Ｓ１５に移行し、圧縮制御部１０５は、Ｓ１４において最終的に更新された最終フレーム用量子化値を圧縮部１０２に設定してＳ１６に移行する。Ｓ１６では、ＦＲ制御部１０４は、フレームレートを低速フレームレートに設定して過渡モードから低速モードに遷移し、Ｓ２に戻る。
Ｓ１７では、圧縮制御部１０５は、低速フレームレート用の量子化値を圧縮部１０２に設定してＳ１８に移行する。Ｓ１８では、圧縮制御部１０５は、最終フレーム用量子化値を初期化して、Ｓ２に戻る。
【００３０】
以上説明したように、本実施形態における画像処理装置１００は、時系列上で連続するフレームにより構成された映像を取得し、取得された映像を圧縮し、配信する。このとき、画像処理装置１００は、映像から動体を検知し、検知された動体に関する動体情報に基づいて、圧縮された映像を配信するフレームレートを決定し、決定されたフレームレートに従って映像を配信する。さらに、画像処理装置１００は、圧縮部１０２を制御して、配信する映像の符号量が目標符号量を超えない範囲で、低速フレームレートで配信するフレームの符号量を規定値よりも大きくする。
これにより、画像処理装置１００は、フレームレート制御による映像の符号量低減を実現しつつ、低速フレームレート時における画質の向上を図ることができる。
【００３１】
画像処理装置１００は、フレームレートモードとして、高速フレームレートモード（高速モード）、低速フレームレートモード（低速モード）、過渡フレームレートモード（過渡モード）を有する。そして、画像処理装置１００は、過渡的なフレームレートで配信するフレームのうち、最終フレームの符号量を規定値よりも大きくすることで、低速フレームレートで配信する最初のフレームの符号量を規定値よりも大きくする。
このように、高速モードから低速モードに変化する最後のフレームである過渡モードの最終フレームの符号量を増大させることで、低速モードの最初のフレームの画質を適切に良化することができる。
【００３２】
また、画像処理装置１００は、圧縮部１０２を制御して、過渡的なフレームレートで配信するフレームのうち、最終フレームを除くフレームの符号量を抑圧し、抑圧した分の符号量を最終フレームに充当する。
このように、量子化値制御により、過渡モードのフレームの符号量を抑圧し、その抑圧した分の符号量を最終フレームに充当する。したがって、映像の全体的な符号量を、上記量子化値制御を行わない場合の符号量（目標符号量）から増加させることなく、低速フレームレート時における画質を向上させることができる。
【００３３】
以上のように、本実施形態では、フレームレート制御を行った際の低速フレームレート時の画質を向上させることができる。したがって、フレームレート制御により映像の全体的な符号量の低減を実現しつつ、高速フレームレートよりも低い低速フレームレートへ制御された際に、ユーザに対して映像の画質劣化の印象を与えにくくすることができる。
【００３４】
（第二の実施形態）
次に、本発明における第二の実施形態について説明する。
この第二の実施形態は、過渡モードの最終フレームが、フレーム内相関（フレーム内予測）を使用して圧縮したフレームとなるように、過渡モードのフレームレートを調整するようにしたものである。
【００３５】
図５は、本実施形態における動画圧縮の概念図であり、画像処理装置１００が配信した各画像（フレーム）の符号量を縦軸、時間を横軸にとった図である。
本実施形態では、圧縮方法として、フレーム内相関（フレーム内予測）とフレーム間相関（フレーム間予測）とを使用した圧縮方法を採用する。したがって、本実施形態では、圧縮した結果、フレーム内相関を使用して圧縮したフレーム（Ｉフレーム）と、フレーム間相関を使用して圧縮したフレーム（Ｐフレーム）との二種類のフレームが出力される。一般に、Ｉフレームの符号量とＰフレームの符号量とでは、前者の符号量の方が大きくなる。また、画質もＩフレームの方がＰフレームよりも良いのが一般的である。
【００３６】
図５において、符号量３１１は、高速モードで配信されるＩフレームの符号量、符号量３１２は、高速モードで配信されるＰフレームの符号量を表している。時刻Ｔ２で配信されるフレームにおいて被写体の動きが無くなると、高速モードから過渡モードに遷移し、その後、低速モードに遷移する。
過渡モードでは、過渡モードのＰフレームの符号量３１３が、高速モードのＰフレームの平均符号量との差分が符号量３１４となるように量子化値が制御される。Ｉフレームについても同様に、過渡モードのＩフレームの符号量３１５が、高速モードのＩフレームの平均符号量との差分が符号量３１６となるように量子化値が制御される。
【００３７】
そして、圧縮制御部１０５は、過渡モード中に抑圧された符号量を、過渡モードの最終フレームに割り当てる。つまり、圧縮制御部１０５は、過渡モードの最初のフレームから最終フレームの直前のフレームまでの、各Ｐフレームの差分符号量の合計と各Ｉフレームの差分符号量の合計とを合算する。そして、圧縮制御部１０５は、その合算した合計符号量３１８を、最終フレームに充当させるように、最終フレームの量子化値を制御する。ここで、過渡モードの最終フレームはＩフレームであるものとする。これにより、最終フレームの符号量３１７は、低速モード時の規定値である符号量３１９に、斜線で示す合計符号量３１８を加えたものとなる。ここで、上記規定値は、低速フレームレート用の量子化値に従って圧縮されたＩフレームの符号量である。
また、このときＦＲ制御部１０４は、過渡モードの最終フレームがＩフレームになるように、過渡モードのフレームレートを決定し、制御する。
なお、過渡モードの最終フレームを最高画質に設定しても充当する符号量が余る場合は、リミットをかけてもよい。
【００３８】
本実施形態における画像処理装置の構成は、図１に示す画像処理装置１００と同様である。だたし、ＦＲ制御部１０４における処理が第一の実施形態とは異なる。したがって、以下、第一の実施形態とは処理の異なる部分を中心に説明する。
ＦＲ制御部１０４は、動体検知部１０３から入力された動体情報に基づいて、配信する映像のフレームレートを決定する。ＦＲ制御部１０４は、第一の実施形態と同様に、上記動体情報に基づいて、高速モード、過渡モード、低速モードの中からフレームレートモードを選択し、選択したモードに従ってフレームレートを決定する。このとき、ＦＲ制御部１０４は、過渡モードのフレームレートについては、圧縮部１０２からのＩフレームとＰフレームとの判別情報と、設定されたＩフレーム周期とをもとに、過渡モードの最終フレームがＩフレームになるように調整を行う。
【００３９】
図６は、本実施形態の画像処理装置１００が実行する動画圧縮処理の手順を示すフローチャートである。この図６は、第一の実施形態との違いがある過渡モード時の動作を示すフローチャートである。画像処理装置１００は、ＣＰＵ１１が必要なプログラムを読み出して実行することにより、図６に示す各処理を実現することができる。
まずＳ２１において、ＦＲ制御部１０４は、処理対象のフレームが過渡モードの最初のフレームであるか否かを判定する。そして、最初のフレームであると判定された場合には、初期化のためにＳ２２に移行し、最初のフレームでないと判定された場合にはＳ２９に移行する。
【００４０】
Ｓ２２では、ＦＲ制御部１０４は、設定されたＩフレーム周期をもとに、過渡モードで出力する総フレーム数を算出する。具体的には、ＦＲ制御部１０４は、Ｉフレームから次のＩフレームまでに要する総フレーム数の平均をｍ、現フレームに最も近い過去に圧縮されたＩフレームからのフレーム数をｎとし、過渡モードで出力する総フレーム数Ｎを次式により算出する。
Ｎ＝ｍ＋ｎ  ………（２）
次にＳ２３では、ＦＲ制御部１０４は、Ｓ２２において算出された総フレーム数Ｎが、予め設定された閾値Ａを超えているか否かを判定する。そして、総フレーム数Ｎが閾値Ａ以下である場合にはＳ２４に移行し、総フレーム数Ｎが閾値Ａを超えている場合にはＳ２５に移行する。ここで、閾値Ａは、例えば、以下のような値とする。
Ａ＝ωh−ωl  ………（３）
ここで、ωhは、高速フレームレート、ωlは、低速フレームレートである。
【００４１】
Ｓ２４では、ＦＲ制御部１０４は、高速フレームレートと低速フレームレートとの線形補間によって、過渡フレームレートを算出する。例えば、ＦＲ制御部１０４は、過渡モードにおける各時刻での過渡フレームレートωkを、次式をもとに算出する。
【００４２】
【数２】
2020039045.tif 000004
【００４３】
ここで、ｔは、過渡モードの開始時を０とした時間（ｓｅｃ）である。
Ｓ２５では、ＦＲ制御部１０４は、Ｓ２２において算出された総フレーム数Ｎが、予め設定された閾値Ｂを超えているか否かを判定する。そして、総フレーム数Ｎが閾値Ｂを超えている場合にはＳ２６に移行し、総フレーム数Ｎが閾値Ｂ以下である場合にはＳ２７に移行する。ここで、閾値Ｂは、例えば、以下のような値とする。
【００４４】
【数３】
2020039045.tif 000005
【００４５】
Ｓ２６では、ＦＲ制御部１０４は、過渡モードのタイムアウトまでの時間を計測するためのタイマを設定してＳ２７に移行する。ここで、タイマアウトまでの時間は、例えば２秒とする。総フレーム数Ｎが閾値Ｂを超えている場合、設定したフレームレートで最終フレームかどうかの判断がつかないため、タイマを設定して、過渡モードの期間を定めるようにしている。
Ｓ２７では、ＦＲ制御部１０４は、高速フレームレートと低速フレームレートとの楕円関数補間によって、過渡フレームレートを算出する。例えば、ＦＲ制御部１０４は、過渡モードにおける各時刻での過渡フレームレートωkを、次式をもとに算出する。
【００４６】
【数４】
2020039045.tif 000006
【００４７】
上記（６）式は、過渡フレームレートを、高速フレームレートと低速フレームレートとを楕円関数でつないで時間的に変化させることを示す。楕円関数で接続すると、直線で接続するよりも過渡モード中のフレーム数が多くなるため、次のＩフレームまでのフレーム数が多い場合に適している。
Ｓ２８では、ＦＲ制御部１０４は、現在のフレームから時刻を求め、Ｓ２４もしくはＳ２７において算出された過渡フレームレートωkをもとに次のフレームを圧縮する時間を定めてＳ２１に戻る。
【００４８】
Ｓ２９では、ＦＲ制御部１０４は、処理対象のフレームが過渡モードの最終フレームであるか否かを判定する。そして、過渡モードの最終フレームではないと判定された場合にはＳ３０に移行して、ＦＲ制御部１０４は、Ｓ２６において設定されたタイマをもとに、過渡モードがタイムアウトしているか否かを判定する。タイムアウトしていない場合は、Ｓ３１に移行し、ＦＲ制御部１０４は、現在のフレームから時刻を求め、Ｓ２４もしくはＳ２７において算出された過渡フレームレートωkをもとに次のフレームを圧縮する時間を定めてＳ２１に戻る。
【００４９】
一方、Ｓ２９において過渡モードの最終フレームであると判定されるか、もしくはＳ３０において過渡モードがタイムアウトしたと判定された場合には、Ｓ３２に移行して過渡モードの終了処理を実行する。具体的には、Ｓ３２において、圧縮制御部１０５は、Ｉフレームを作成し、そのＩフレームの符号量が上述した過渡モードの合計符号量を充当した符号量となるような量子化値を、圧縮部１０２に設定する。当該量子化値の算出方法は、例えば第一の実施形態における最終フレーム用量子化値の算出方法と同様とすることができる。
Ｓ３３では、ＦＲ制御部１０４は、フレームレートを低速フレームレートに設定して過渡モードから低速モードに遷移し、図６の処理を終了する。
【００５０】
以上説明したように、本実施形態における画像処理装置１００は、上述した第一の実施形態と同様に、圧縮部１０２を制御して、過渡モードのフレームのうち、最終フレームを除くフレームの符号量を抑圧し、抑圧した分の符号量を最終フレームに充当する。ここで、最終フレームは、フレーム内予測を使用して圧縮されたフレーム（Ｉフレーム）である。
このように、最終フレームを、フレーム間予測を使用して圧縮されたＰフレーム等と比較して画質の良いＩフレームとするので、より適切に低速フレームレート時における画質を向上させることができる。
【００５１】
また、画像処理装置１００は、過渡モードにおける過渡的なフレームレートを制御する手段を有するので、過渡モードの最終フレームを確実にＩフレームとすることができる。
以上のように、本実施形態では、映像の全体的な符号量を増加させることなく、低速フレームレート直前のフレームを、フレーム内予測のみを用いた圧縮画像とすることができ、低速フレームレート時の画質を適切に高めることができる。
【００５２】
（第三の実施形態）
次に、本発明における第三の実施形態について説明する。
この第三の実施形態は、実際の圧縮効率が予め設定された目標圧縮効率よりも高い場合に、その差分に応じた符号量を過渡モードの最終フレームに充当させるようにしたものである。
本実施形態における画像処理装置の構成は、図１に示す画像処理装置１００と同様である。だたし、圧縮制御部１０５における処理が第一の実施形態とは異なる。したがって、以下、第一の実施形態とは処理の異なる部分を中心に説明する。
【００５３】
図７は、本実施形態における圧縮制御部１０５の構成の一例を示すブロック図である。圧縮制御部１０５は、量子化値毎予測符号量テーブル更新部１０５ａと、予測フレームレート計算部１０５ｂと、予測符号量計算部１０５ｃと、圧縮率計算部１０５ｄと、量子化値決定部１０５ｅと、を備える。
以下、図８を参照しながら、図７に示す各ブロックについて説明する。図８は、縦軸に一秒あたりの符号量、横軸に時間をとったグラフである。区間Ａは、高速フレームレートの平均保持期間（予測保持期間）、区間Ｃは、低速フレームレートの平均保持期間（予測保持期間）である。区間Ｂは、フレームの画質を向上させる期間であり、例えばフレーム数が１となる期間とする。図８において、高速フレームレートをωh、高速モード時のフレームの平均符号量をαh、低速フレームレートをωl、低速モード時のフレームの平均符号量をαl、予め設定した圧縮効率をεhとしている。
【００５４】
量子化値毎予測符号量テーブル更新部（以下、「テーブル更新部」という。）１０５ａは、設定された量子化値と当該量子化値に従って圧縮部１０２により圧縮されたフレームの符号量とをテーブルとして保持する。テーブル更新部１０５ａは、このテーブルを、フレームが圧縮される毎に更新する。なお、更新値は、５０回の移動平均結果でもよい。これにより、量子化値毎に符号量が定まる。図８では、高速モードの平均符号量αhおよび低速モードの平均符号量αlが、テーブル更新部１０５ａが提供する値となる。
【００５５】
予測フレームレート計算部１０５ｂは、過渡モードに遷移した際に、この後に遷移する低速モードの保持期間を予測する。具体的には、予測フレームレート計算部１０５ｂは、ＦＲ制御部１０４により決定された過去の低速モードの保持期間の統計情報から、低速モードの保持期間を予測する。例えば、予測フレームレート計算部１０５ｂは、移動平均を用いて過去５０回分の低速モードの保持期間の平均をとり、その値を予測値としてもよい。なお、過去の低速モードの保持期間は、映像中の動体の検出頻度に応じて決まるものである。したがって、予測フレームレート計算部１０５ｂは、動体検知の統計情報に基づいて、低速モードの保持期間を予測することになる。
また、予測フレームレート計算部１０５ｂは、高速モードの保持期間についても同様に予測することができる。図８では、期間Ａと期間Ｃとの値が、予測フレームレート計算部１０５ｂが提供する値となる。
【００５６】
予測符号量計算部１０５ｃは、低速モード中に配信される映像の符号量を予測し、予測符号量として出力する。具体的には、予測符号量計算部１０５ｃは、テーブル更新部１０５ａが更新したテーブルから得られる低速モードの平均符号量αlと、低速フレームレートをωlと、予測フレームレート計算部１０５ｂにより予測された低速モードの保持期間Ｃとを用いる。図８では、斜線で示す面積Ｄの値が、予測ビットレート計算部１０５ｃが提供する値となる。
【００５７】
圧縮率計算部１０５ｄは、予測された低速モードの保持期間において映像の符号量が予測符号量まで圧縮された場合の実際の圧縮効率を予測する。具体的には、圧縮率計算部１０５ｄは、図８の期間Ａ〜Ｃにおいて、常時、高速モードを適用した場合の第１の符号量と、期間ＡおよびＢは高速モード、期間Ｃは低速モードを適用した場合の第２の符号量との比を、実際の圧縮効率として算出する。
圧縮率計算部１０５ｄは、上記テーブルから得られる高速モードの平均符号量αhと、高速フレームレートωhと、高速モードの平均保持期間Ａと、低速モードの平均保持期間Ｃとを用いて、第１の符号量を算出することができる。また、圧縮率計算部１０５ｄは、上記テーブルから得られる高速モードの平均符号量αhと、高速フレームレートωhと、高速モードの平均保持期間Ａと、予測符号量計算部１０５ｃにより計算された予測符号量を用いて、第２の符号量を算出することができる。
【００５８】
量子化値決定部１０５ｅは、圧縮率計算部１０５ｄにおいて算出された実際の圧縮効率と予め定められた目標圧縮効率とを比較し、その比較結果に基づいて、過渡モードの最終フレーム用量子化値を決定する。まず、量子化値決定部１０５ｅは、実際の圧縮効率が目標圧縮効率よりも高い場合に、両者の差分に応じて、過渡フレームの最終フレームに割り当てる符号量を計算し、高速モードの平均符号量αhと合算した符号量を算出する。次に、量子化値決定部１０５ｅは、最終フレームを圧縮した結果、符号量が上記の合算された符号量になるような量子化値をテーブルから算出し、算出した量子化値を過渡モードの最終フレーム用量子化値として決定する。
【００５９】
具体的には、量子化値決定部１０５ｅは、次式を満たす符号量Ｘを算出し、算出した符号量Ｘを満たす量子化値を最終フレーム用量子化値として算出する。
εhαhωh（Ａ＋Ｂ＋Ｃ）＝Ａαhωh＋ＢＸ＋Ｃαlωl  ………（７）
つまり、本実施形態では、量子化値決定部１０５ｅは、期間（Ａ＋Ｂ＋Ｃ）において圧縮効率が目標圧縮効率となる場合の映像の符号量と第２の符号量との差分を、最終フレームに割り当てる符号量として決定する。
【００６０】
図９は、本実施形態の画像処理装置１００が実行する動画圧縮処理の手順を示すフローチャートである。この動画圧縮処理は、映像内の動体の有無に応じてフレームレートを変更するフレームレート制御を行う際に、低速モード時の画質を良化する処理である。図９の処理は、画像処理装置１００が起動したタイミングで開始される。ただし、図９の処理の開始タイミングは、上記のタイミングに限らない。画像処理装置１００は、ＣＰＵ１１が必要なプログラムを読み出して実行することにより、図９に示す各処理を実現することができる。
【００６１】
まずＳ４１において、ＦＲ制御部１０４は初期化を行い、フレームレートモードとして高速モードを選択する。
次にＳ４２において、ＦＲ制御部１０４は、動体検知部１０３から動体情報を入力して映像から動体が検出されているか否かを判定し、動体が検出されている場合にはＳ４３に移行し、動体が検出されていない場合にはＳ４８に移行する。Ｓ４３では、圧縮制御部１０５は、動体検出頻度を更新してＳ４４に移行する。
【００６２】
Ｓ４４では、圧縮制御部１０５は、動体検出頻度に基づいて低速モードの保持期間を予測する。また、このとき圧縮制御部１０５は、高速モードの保持期間も予測する。Ｓ４５では、圧縮制御部１０５は、平均符号量と量子化値とを対応付けたテーブルを更新してＳ４６に移行する。Ｓ４６では、圧縮制御部１０５は、高速フレームレート用の量子化値を圧縮部１０２に設定し、Ｓ４７に移行する。Ｓ４７では、ＦＲ制御部１０４は、フレームレートを高速フレームレートに設定し、高速モードに遷移してＳ４２へ戻る。
【００６３】
Ｓ４８では、ＦＲ制御部１０４は、現在のフレームレートモードが高速モードであるか否かを判定し、高速モードであると判定された場合にはＳ４９に移行し、高速モードではないと判定された場合にはＳ５１に移行する。Ｓ４９では、ＦＲ制御部１０４は、高速モードから過渡モードへ遷移させる。その際、ＦＲ制御部１０４は、過渡モードの初期化を行い、フレームレートを過渡フレームレートに設定する。Ｓ５０では、ＦＲ制御部１０４は、過渡モードのタイムアウトまでの時間を計測するためのタイマを起動してＳ４２に戻る。
【００６４】
Ｓ５１では、圧縮制御部１０５は、圧縮処理されたフレームの平均符号量と量子化値とのテーブルを更新する。Ｓ５２では、ＦＲ制御部１０４は、現在のフレームレートモードが過渡モードであるか否かを判定し、過渡モードであると判定された場合にはＳ５３に移行し、過渡モードではないと判定された場合にはＳ４２に戻る。
Ｓ５３では、ＦＲ制御部１０４は、過渡モードがタイムアウトしたか否かを判定し、タイムアウトしていない場合にはＳ５４に移行する。
Ｓ５４では、圧縮制御部１０５は、更新されたテーブルから得られる情報とＳ４４において予測された低速モードの保持期間とに基づいて、低速モード時の予測符号量を算出し、Ｓ５５に移行する。Ｓ５５では、圧縮制御部１０５は、予測符号量を用いて実際の圧縮効率を算出し、Ｓ５６に移行する。
【００６５】
Ｓ５６では、圧縮制御部１０５は、Ｓ５５において算出された実際の圧縮効率と、予め定められた目標圧縮効率とを比較する。そして、圧縮制御部１０５は、実際の圧縮効率の方が高いと判定すると、その差分に応じた符号量を過渡モードの最終フレームに割り当てて最終フレーム用の符号量を算出する。さらに、圧縮制御部１０５は、算出された最終フレーム用の符号量から量子化値を算出し、過渡モードの最終フレーム用量子化値として更新してＳ４２に戻る。
【００６６】
一方、Ｓ５３において過渡モードがタイムアウトしたと判定された場合には、Ｓ５７に移行する。Ｓ５７では、圧縮制御部１０５は、最終フレーム用量子化値を圧縮部１０２に設定し、Ｓ５８に移行する。Ｓ５８では、圧縮制御部１０５は、最終フレームの圧縮が終了した後、平均符号量と量子化値のテーブルを更新してＳ５９に移行する。
Ｓ５９では、圧縮制御部１０５は、低速フレームレート用の量子化値を圧縮部１０２に設定してＳ６０に移行する。Ｓ６０では、ＦＲ制御部１０４は、フレームレートを低速フレームレートに設定し、低速モードに遷移してＳ４２へ戻る。
【００６７】
以上説明したように、本実施形態における画像処理装置１００は、動体検知の統計情報に基づいて、高速モードの保持期間と、低速モードの保持期間とを予測する。また、画像処理装置１００は、予測された高速モードの保持期間と低速モードの保持期間とに基づいて、映像の圧縮効率を予測する。そして、画像処理装置１００は、予測された圧縮効率が目標圧縮効率よりも高い場合、圧縮効率と目標圧縮効率との差分に基づいて、過渡モードの最終フレームに充当する符号量を決定する。
このように、圧縮効率が目標圧縮効率まで低くなることを許容し、過渡モードの最終フレームの符号量を増大させる。つまり、映像の全体的な符号量が、圧縮効率が目標圧縮効率となる場合の符号量（目標符号量）を超えない範囲で、過渡モードの最終フレームの符号量を規定値よりも増大させることができる。したがって、フレームレート制御による映像の全体的な符号量の低減を維持しつつ、低速フレームレート時の画質を向上させることができる。
【００６８】
また、画像処理装置１００は、図８の期間（Ａ＋Ｂ＋Ｃ）において高速フレームレートで映像を配信した場合の第１の符号量と、期間（Ａ＋Ｂ）では高速フレームレート、期間Ｃでは低速フレームレートで映像を配信した場合の第２の符号量との比を計算する。そして、計算された値を、実際の圧縮効率として予測する。
このように、動体検知の統計情報に基づいて高速モードの保持期間（期間Ａ）および低速モードの保持期間（期間Ｃ）を予測するので、各モードの保持期間を適切に予測することができ、圧縮効率を精度良く予測することができる。したがって、過渡モードの最終フレームに充当する符号量を適切に決定することができる。
【００６９】
ここで、画像処理装置１００は、期間（Ａ＋Ｂ＋Ｃ）において圧縮効率が目標圧縮効率となる場合の映像の符号量と第２の符号量との差分を、最終フレームに充当する符号量として決定することができる。この場合、映像の全体的な符号量が目標符号量となるように、過渡モードの最終フレームに符号量を充当することができる。したがって、許容される圧縮効率の範囲で最も画質の高い量子化値を、過渡モードの最終フレームに適用することができ、より適切に低速フレームレート時の画質を向上させることができる。
【００７０】
（第四の実施形態）
次に、本発明における第四の実施形態について説明する。
この第四の実施形態は、画像を複数の領域に分割し、分割した部分領域ごとにフレームレートを制御するようにしたものである。
本実施形態では、各部分領域において動体の検知頻度が異なる場合に、部分領域ごとに画像の符号量を低減もしくは０にすることにより各領域の実効的なフレームレートを制御し、符号量の削減を図ることができる。また、本実施形態では、上述した第三の実施形態と同様に、部分領域の低速モード時の画質を向上させるために、実際の圧縮効率と目標圧縮効率との差分に応じて、過渡モードの最終フレームに符号量を充当する。
【００７１】
各部分領域にて画像の符号量を低減もしくは０にすることは、例えばＨ．２６４のスキップマクロブロックを強制的に挿入することで達成することができる。なお、画面内の領域分割は、予め定められていてもよい。例えば図１０に示すように、画像４００を４つの領域に分割することができる。
この画像４００において、領域Ａおよび領域Ｂは、背景画像となる領域であり、動体の出現率が低いものとする。また、領域Ｃは、交差点を含む領域であり、動体の出現率が高く、領域Ｄは、領域Ｃに比べて動体の出現率が低いものとする。この場合、領域Ａおよび領域Ｂには、低速モードが設定され、例えば実効的にフレームレートが０．０１ｆｐｓに設定される。また、領域Ｃおよび領域Ｄには、高速モードが設定される。例えば領域Ｃでは、フレームレートが３０ｆｐｓに設定され、領域Ｄでは、フレームレートが１５ｆｐｓに設定される。
【００７２】
本実施形態における画像処理装置の構成は、第三の実施形態における画像処理装置と同様であり、図１に示す画像処理装置１００と同様となる。だたし、圧縮制御部１０５における処理が第三の実施形態とは異なる。したがって、以下、第三の実施形態とは処理の異なる部分を中心に説明する。
【００７３】
図１１は、本実施形態における圧縮制御部１０５の構成の一例を示すブロック図である。圧縮制御部１０５は、領域別量子化値毎予測符号量テーブル更新部１０５ａ´と、領域別予測フレームレート計算部１０５ｂ´と、予測符号量計算部１０５ｃ´と、圧縮率計算部１０５ｄ´と、を備える。さらに、圧縮制御部１０５は、領域別画質重み設定部１０５ｆと、量子化値決定部１０５ｅ´と、を備える。
領域別量子化値毎予測符号量テーブル更新部１０５ａ´、領域別予測フレームレート計算部１０５ｂ´、予測符号量計算部１０５ｃ´および圧縮率計算部１０５ｄ´の処理は、領域の違い以外は、図７に示す各ブロック１０５ａ〜１０５ｄと同等である。また、量子化値決定部１０５ｅ´の処理は、領域の違い以外は、図７に示す量子化値決定部１０５ｅと同等である。
【００７４】
領域別画質重み設定部１０５ｆは、圧縮率計算部１０５ｄ´において算出された実際の圧縮効率と予め定められた目標圧縮効率を比較する。そして、実際の圧縮効率の方が高い場合には、その差分に応じた符号量を過渡モードの最終フレームに割り当て、高速モード時の符号量と合算した符号量を算出する。
その際、同時に過渡モードになる領域が存在する場合には、これらの領域に均等に符号量を割り当ててもよいし、各領域に割り当てる符号量に重みを付けてもよい。例えば、各領域の過去３０フレーム分の符号量の分散をそれぞれ算出し、符号量の分散に反比例した符号量を割り当てるように重みを設定してもよい。つまり、上記重みは、符号量の分散の逆数の比に基づいて設定することができる。
【００７５】
以上説明したように、本実施形態における画像処理装置１００は、フレームを複数の領域に分割した部分領域ごとにフレームレートを決定する。そして、画像処理装置１００は、部分領域ごとに決定されたフレームレートで映像を配信する場合、部分領域にスキップマクロブロックを挿入することで、部分領域ごとに疑似的にフレームレートを制御する。これにより、各領域のフレームレートを実効的に制御することができる。
また、画像処理装置１００は、圧縮部１０２を制御して、過渡的なフレームレートで配信する部分領域のフレームのうち、最終フレームの符号量を、各部分領域の符号量の分散の逆数の比に基づいて決定する。これにより、一番分散がない領域に、より高画質となる量子化値を設定し、それぞれの領域の符号量分散差分を収束させるようにすることができる。
【００７６】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７７】
１００…画像処理装置、１０１…映像入力部、１０２…圧縮部、１０３…動体検知部、１０４…ＦＲ制御部、１０５…圧縮制御部、１０６…配信部
【図１】
2020039045.tif 000007
【図２】
2020039045.tif 000008
【図３】
2020039045.tif 000009
【図４】
2020039045.tif 000010
【図５】
2020039045.tif 000011
【図６】
2020039045.tif 000012
【図７】
2020039045.tif 000013
【図８】
2020039045.tif 000014
【図９】
2020039045.tif 000015
【図１０】
2020039045.tif 000016
【図１１】
2020039045.tif 000017