(57)【要約】  【課題】  画像データの動画像符号化と静止画像符号化とを行なう画像符号化装置において、符号化静止画像データの効率的な送信や蓄積を担保し得る静止画像符号化の処理が可能となる画像符号化装置を提供するものである。  【解決手段】  撮影手段１０１からの撮影画像に対応した画像データを動画像符号化して符号化動画像データと動き情報とを生成する動画符号化手段１０３と、前記画像データをパラメータに従って静止画像符号化して符号化静止画像データを生成する静止画符号化手段１０４と、前記動画像符号化手段１０３にて得られる動き情報に基づいて前記静止画符号化手段１０４にて用いられるべきパラメータを制御するパラメータ制御手段１０６とを有する構成となる。【選択図】  図１
2005295424.tif 000002
【特許請求の範囲】
【請求項１】
画像データを動画像符号化して符号化動画像データと動き情報とを生成する動画符号化手段と、
前記画像データをパラメータに従って静止画像符号化して符号化静止画像データを生成する静止画符号化手段と、
前記動画像符号化手段にて得られる動き情報に基づいて前記静止画符号化手段にて用いられるべきパラメータを制御するパラメータ制御手段とを有することを特徴とする画像符号化装置。
【請求項２】
前記パラメータ制御手段は、前記動き情報に基づいて前記画像データの領域を複数の部分領域に区分する領域区分手段を有し、
前記領域区分手段にて得られた複数の部分領域のそれぞれに対応した画像データ部分毎に前記パラメータを制御することを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記領域区分手段は、前記画像データの領域を前記動き情報が所定条件を満足する注目部分領域と他の領域とに区分することを特徴とする請求項２記載の画像符号化装置。
【請求項４】
画像データの解像度を変えて動画像符号化すべき第１の変換画像データと前記画像データの解像度を変えて静止画像符号化すべき第２の変換画像データとを生成する解像度変換手段と、
前記第１の変換画像データを符号化して符号化動画像データと動き情報とを生成する動画符号化手段と、
前記第２の変換画像データをパラメータに従って符号化して符号化静止画像データを生成する静止画符号化手段と、
前記動画像符号化手段にて得られる動き情報、前記第１の変換画像データの解像度及び前記第２の変換画像データの解像度に基づいて前記静止画符号化手段にて用いられるべきパラメータを制御するパラメータ制御手段とを有することを特徴とする画像符号化装置。
【請求項５】
前記パラメータ制御手段は、前記動き情報、前記第１の変換画像データの解像度及び前記第２の変換画像データの解像度に基づいて前記撮影画像の領域を複数の部分領域に区分する領域区分手段を有し、
前記領域区分手段にて得られた複数の部分領域のそれぞれに対応した画像データ部分毎に異なるように前記パラメータを制御することを特徴とする請求項４記載の画像符号化装置。
【請求項６】
前記領域区分手段は、前記画像データの領域を前記動き情報が所定条件を満足する注目部分領域と他の領域とに区分することを特徴とする請求項５記載の画像符号化装置。
【請求項７】
前記領域区分手段は、前記動き情報に基づいて前記画像データの領域を複数の仮部分領域に区分する仮領域区分手段と、
前記仮領域区分手段にて得られた各仮部分領域を前記第１の変換画像データの解像度及び前記第２の変換画像の解像度に基づいて補正して前記部分領域を設定する部分領域補正手段とを有することを特徴とする請求項５または６記載の画像符号化装置。
【請求項８】
画像データを動画像符号化して符号化動画像データと動き情報とを生成する動画符号化手段と、
前記画像データをパラメータに従って静止画像符号化して符号化静止画像データを生成する静止画符号化手段と、
前記画像データの撮影条件を取得する撮影条件取得手段と、
前記動画像符号化手段にて得られる動き情報及び前記撮影条件の変化に基づいて前記静止画符号化手段にて用いられるべきパラメータを制御するパラメータ制御手段とを有することを特徴とする画像符号化装置。
【請求項９】
前記パラメータ制御手段は、前記動き情報及び前記撮影条件の変化に基づいて前記画像データの領域を複数の部分領域に区分する領域区分手段を有し、
前記領域区分手段にて得られた複数の部分領域のそれぞれに対応した画像データ部分毎に異なるように前記パラメータを制御することを特徴とする請求項８記載の画像符号化装置。
【請求項１０】
前記領域区分手段は、前記画像データの領域を前記動き情報が所定条件を満足する注目部分領域と他の領域とに区分することを特徴とする請求項９記載の画像符号化装置。
【請求項１１】
前記領域区分手段は、前記撮影条件の変化に基づいて前記動画符号化手段からの前記動き情報を補正して補正動き情報を生成する動き情報補正手段を有し、
前記補正動き情報に基づいて前記画像データの領域を複数の部分領域に区分することを特徴とする請求項９または１０記載の画像符号化装置。
【請求項１２】
画像データを動画像符号化して符号化動画像データと動き情報とを生成する動画符号化手段と、
入力画像データをパラメータに従って静止画像符号化して符号化静止画像データを生成する静止画符号化手段と、
前記画像データの一部となる画像の切出し画像データを切出して前記入力画像データとして前記静止画符号化手段に与える画像切出し手段と、
前記動画符号化手段にて得られる前記動き情報に基づいて前記画像切出し手段にて切出されるべき画像データの画像部分を決定する切出し制御手段とを有することを特徴とする画像符号化装置。
【請求項１３】
前記切出し制御手段は、前記画像データの領域において前記動き情報が所定条件を満足する注目部分領域と他の領域のうち前記注目部分領域を前記画像切出し手段にて切出されるべき画像データの画像部分として決定することを特徴とする請求項１２記載の画像符号化装置。
【請求項１４】
前記静止画符号化手段にて用いられるパラメータを決定するパラメータ決定手段を有することを特徴とする請求項１２または１３記載の画像符号化装置。
【請求項１５】
画像データを動画像符号化して符号化動画像データと動き情報とを生成する動画符号化ステップと、
前記画像データをパラメータに従って静止画像符号化して符号化静止画像データを生成する静止画符号化ステップと、
前記動画像符号化ステップにて得られる動き情報に基づいて前記静止画符号化ステップにて用いられるべきパラメータを制御するパラメータ制御ステップとを有することを特徴とする画像符号化方法。
【請求項１６】
前記パラメータ制御ステップは、前記動き情報に基づいて前記画像データの領域を複数の部分領域に区分する領域区分ステップを有し、
前記領域区分手段にて得られた複数の部分領域のそれぞれに対応した画像データ部分毎に前記パラメータを制御することを特徴とする請求項１５記載の画像符号化方法。
【請求項１７】
画像データの解像度を変えて動画像符号化すべき第１の変換画像データと前記画像データの解像度を変えて静止画像符号化すべき第２の変換画像データとを生成する解像度変換ステップと、
前記第１の変換画像データを符号化して符号化動画像データと動き情報とを生成する動画符号化ステップと、
前記第２の変換画像データをパラメータに従って符号化して符号化静止画像データを生成する静止画符号化ステップと、
前記動画像符号化手段にて得られる動き情報、前記第１の変換画像データの解像度及び前記第２の変換画像データの解像度に基づいて前記静止画符号化手段にて用いられるべきパラメータを制御するパラメータ制御ステップとを有することを特徴とする画像符号化方法。
【請求項１８】
前記パラメータ制御ステップは、前記動き情報、前記第１の変換画像データの解像度及び前記第２の変換画像データの解像度に基づいて前記撮影画像の領域を複数の部分領域に区分する領域区分ステップを有し、
前記領域区分ステップにて得られた複数の部分領域のそれぞれに対応した画像データ部分毎に異なるように前記パラメータを制御することを特徴とする請求項１７記載の画像符号化方法。
【請求項１９】
画像データを動画像符号化して符号化動画像データと動き情報とを生成する動画符号化ステップと、
前記画像データを設定されたパラメータに従って静止画像符号化して符号化静止画像データを生成する静止画符号化ステップと、
前記画像データの撮影条件を取得する撮影条件取得ステップと、
前記動画像符号化ステップにて得られる動き情報及び前記撮影条件の変化に基づいて前記静止画符号化ステップにて用いられるべきパラメータを制御するパラメータ制御ステップとを有することを特徴とする画像符号化方法。
【請求項２０】
前記パラメータ制御ステップは、前記動き情報及び前記撮影条件の変化に基づいて前記画像データの領域を複数の部分領域に区分する領域区分ステップを有し、
前記領域区分ステップにて得られた複数の部分領域のそれぞれに対応した画像データ部分毎に異なるように前記パラメータを制御することを特徴とする請求項１９記載の画像符号化方法。
【請求項２１】
画像データを動画像符号化して符号化動画像データと動き情報とを生成する動画符号化ステップと、
入力画像データをパラメータに従って静止画像符号化して符号化静止画像データを生成する静止画符号化ステップと、
前記画像データの一部となる画像の切出し画像データを切出して前記入力画像データとして前記静止画符号化手段に与える画像切出しステップと、
前記動画符号化ステップにて得られる前記動き情報に基づいて前記画像切出しステップにて切出されるべき画像データの画像部分を決定する切出し制御ステップとを有することを特徴とする画像符号化方法。
【請求項２２】
前記切出し制御ステップは、前記画像データの領域において前記動き情報が所定条件を満足する注目部分領域と他の領域のうち前記注目部分領域を前記画像切出し手段にて切出されるべき画像データの画像部分として決定することを特徴とする請求項２１記載の画像符号化方法。
【請求項２３】
画像データを動画像符号化して符号化動画像データと動き情報とを生成する動画符号化手段から前記動き情報を取得するステップと、
静止画符号化手段が前記画像データを静止画像符号化して符号化静止画像データを生成する際に用いられるパラメータを前記動き情報に基づいて制御するパラメータ制御ステップとをコンピュータを実行させることを特徴とするプログラム。
【請求項２４】
前記パラメータ制御ステップは、前記動き情報に基づいて前記画像データの領域を複数の部分領域に区分する領域区分ステップを有し、
前記領域区分ステップにて得られた複数の部分領域のそれぞれに対応した画像データ部分毎に前記パラメータを制御するようにしたことを特徴とする請求項２３記載のプログラム。
【請求項２５】
画像データの解像度を変えて動画像符号化すべき第１の変換画像データと、前記画像データの解像度を変えて静止画像符号化すべき第２の変換画像データとを生成する解像度変換手段から提供される前記第１の変換画像データを動画像符号化して符号化動画像と動き情報とを生成する動画像符号化手段から前記動き情報を取得するステップと、
前記第１の変換画像データの解像度と前記第２の変換画像の解像度とを取得するステップと、
前記動き情報、前記第１の変換画像データの解像度及び前記第２の変換画像データの解像度に基づいて静止画符号化手段が前記第２の変換画像データを静止画像符号化する際のパラメータを制御するパラメータ制御ステップとをコンピュータに実行させることを特徴とするプログラム。
【請求項２６】
前記パラメータ制御ステップは、前記動き情報、前記第１の変換画像データの解像度及び前記第２の変換画像データの解像度に基づいて前記撮影画像の領域を複数の部分領域に区分する領域区分ステップを有し、
前記領域区分ステップにて得られた複数の部分領域のそれぞれに対応した画像データ部分毎に異なるように前記パラメータを制御するようにしたことを特徴とする請求項２５記載のプログラム。
【請求項２７】
画像データを動画像符号化して符号化動画像データと動き情報とを生成する動画符号化手段から前記動き情報を取得するステップと、
前記画像データの撮影条件を取得する撮影条件取得ステップと、
静止画符号化手段が前記画像データを静止画像符号化して符号化静止画像データを生成する際に用いられるパラメータを前記動き情報及び前記撮影条件の変化に基づいて制御するパラメータ制御ステップとをコンピュータに実行させることを特徴とするプログラム。
【請求項２８】
前記パラメータ制御ステップは、前記動き情報及び前記撮影条件の変化に基づいて前記画像データの領域を複数の部分領域に区分する領域区分ステップを有し、
前記領域区分ステップにて得られた複数の部分領域のそれぞれに対応した画像データ部分毎に異なるように前記パラメータを制御するようにしたことを特徴とする請求項２７記載のプログラム。
【請求項２９】
画像データを動画像符号化して符号化動画像データと動き情報とを生成する動画符号化手段から前記動き情報を取得するステップと、
入力画像データをパラメータに従って静止画像符号化して符号化静止画像データを生成する静止画符号化手段に対して前記画像データの一部となる画像の切出し画像データを切出して前記入力画像データとして与える画像切出し手段にて切出されるべき画像データの画像部分を前記動き情報に基づいて決定するステップとをコンピュータに実行させることを特徴とするプログラム。
【請求項３０】
前記切出し制御ステップは、前記画像データの領域において前記動き情報が所定条件を満足する注目部分領域と他の領域のうち前記注目部分領域を前記画像切出し手段にて切出されるべき画像データの画像部分として決定することを特徴とする請求項２９記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視システム等に用いられる画像符号化装置に係り、詳しくは、撮影ユニットからの撮影画像に対応した画像データから符号化動画像データ及び符号化静止画像データを生成するようにした画像符号化装置に関する。
【背景技術】
【０００２】
従来、監視領域を撮影する撮影ユニットからの撮影画像に対応した画像データから符号化動画像データ及び符号化静止画像データを生成する画像符号化装置を備え、前記画像符号化装置から前記符号化動画像データ及び符号化静止画像データをモニタ装置に送信する監視システムが提案されている（例えば、特許文献１参照）。このような監視システムでは、画像符号化装置は、撮影ユニットからの撮影画像に対応した画像データから符号化動画像データを生成する動画符号化ユニットと、前記画像データから符号化静止画像データを生成する静止画符号化ユニットとを備えている。そして、画像符号化装置は、通常、動画符号化ユニットにて生成される動画像符号化データをモニタ装置に送信しており、モニタ装置にて前記符号化動画像データに基づいた監視領域の動画像の表示がなされる。このような状態において、表示される動画像中に何らかの変化が生じた場合、モニタ装置側からの要求に応じて前記画像符号化装置は、前記符号化静止画像データを送信して、モニタ装置にて前記動画像と共に前記監視領域の静止画像の表示がなされる。
【０００３】
このような監視システムによれば、画像符号化装置にて符号化動画像データと符号化静止画像データとが独立した動画符号化ユニット及び静止画符号化ユニットにて生成されるので、モニタ装置にて画質の良好な動画像及び静止画像を得ることができる。
【特許文献１】特開２０００−１８４３６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、前述したような従来の監視システムに用いられる画像符号化装置では、再現される静止画像の品質を高く保つためには、画像データに対する静止画像符号化の程度（例えば、符号化率等により表される）をそれほど大きくできない。そのため、静止画像符号化の処理により得られる符号化静止画像データの情報量が比較的大きくなる。再現される静止画像では、撮影画像中の動き部分、即ち、監視において特に注目したい部分が高画質に保たれていれば十分であることを考慮すると、従来の画像符号化装置における静止画像符号化の処理は、符号化静止画像データの効率的な送信や蓄積を必ずしも担保し得るものではなかった。
【０００５】
本発明は、前述した従来の画像符号化装置の問題を解決するためになされたもので、画像データの動画像符号化と静止画像符号化とを行なう画像符号化装置において、符号化静止画像データの効率的な送信や蓄積を担保し得る静止画像符号化の処理が可能となる画像符号化装置を提供するものである。
【課題を解決するための手段】
【０００６】
本発明に係る画像符号化装置は、画像データを動画像符号化して符号化動画像データと動き情報とを生成する動画符号化手段と、前記画像データをパラメータに従って静止画像符号化して符号化静止画像データを生成する静止画符号化手段と、前記動画像符号化手段にて得られる動き情報に基づいて前記静止画符号化手段にて用いられるべきパラメータを制御するパラメータ制御手段とを有する構成となる。
【０００７】
このような構成により、画像データを静止画像符号化する際に用いられるべきパラメータが、前記撮影画像の動きの状態に応じて制御されることになる。これにより、撮影画像中の動きの状態に応じて画像データに対する静止画像符号化の程度を制御することができるようになる。
【０００８】
前記パラメータは、画像データの静止画像符号化の処理に用いられるものであれば、特に限定されず、前記パラメータ制御手段は、前記静止画符号化の処理に用いられる全てのパラメータを制御するものであっても、一部のパラメータを制御するものであってもよい。
【０００９】
前記画像データは、ある領域をカメラ等の撮影手段にて撮影した際に得られるものであっても、また、ＣＧ画像、アニメ画像等の人工的に生成されたものであってもよい。
【００１０】
また、本発明に係る画像符号化装置は、前記パラメータ制御手段が、前記動き情報に基づいて前記画像データの領域を複数の部分領域に区分する領域区分手段を有し、前記領域区分手段にて得られた複数の部分領域のそれぞれに対応した画像データ部分毎に前記パラメータを制御する構成とすることができる。
【００１１】
このような構成により、撮影画像中において動きの状態の異なる複数の部分領域のそれぞれに対応した画像データ部分毎に静止画像符号化の際に用いられるパラメータが制御されることとなる。これにより、前記複数の部分領域それぞれについての画像データ部分に対する静止画像符号化の程度を制御することができるようになる。
【００１２】
更に、本発明に係る画像符号化装置は、前記領域区分手段が、前記画像データの領域を前記動き情報が所定条件を満足する注目部分領域と他の領域とに区分する構成とすることができる。
【００１３】
このような構成により、動きの状態が所定状態となる注目部分領域と他の領域とでそれぞれ対応する画像データ部分を異なるパラメータにしたがって静止画像符号化することが可能となる。これにより、前記注目部分領域及びその他の領域それぞれについての画像データ部分に対する静止画像符号化の程度を変えることができるようになる。例えば、再現される静止画像において注目部分領域の画質を他の領域の画質より高くなるように注目部分領域及び他の領域それぞれについての画像データ部分に対する静止画像符号化の程度を変えることができるようになる。
【００１４】
前記所定条件は、画像符号化装置が用いられるシステムに対して求められる機能、性能等に基づいて任意に設定することができる。例えば、画像符号化装置が監視システムに用いられる場合、異常が発生したとみなしうる画像の動きの程度に基づいて前記所定条件を設定することができる。
【００１５】
本発明に係る画像符号化装置は、画像データの解像度を変えて動画像符号化すべき第１の変換画像データと前記画像データの解像度を変えて静止画像符号化すべき第２の変換画像データとを生成する解像度変換手段と、前記第１の変換画像データを符号化して符号化動画像データと動き情報とを生成する動画符号化手段と、前記第２の変換画像データをパラメータに従って符号化して符号化静止画像データを生成する静止画符号化手段と、前記動画像符号化手段にて得られる動き情報、前記第１の変換画像データの解像度及び前記第２の変換画像データの解像度に基づいて前記静止画符号化手段にて用いられるべきパラメータを制御するパラメータ制御手段とを有する構成となる。
【００１６】
このような構成により、画像データに対応して解像度変換手段から提供される第２の変換画像データを静止画符号化する際に用いられるべきパラメータが、前記画像データに対応して解像度変換手段から提供される第１の変換画像データを動画像符号化する際に得られる画像の動き情報、前記第１の変換画像データの解像度及び前記第２の変換画像データの解像度に応じて制御されることとなる。これにより、静止画像符号化すべき第２の変換画像データの解像度と動画像符号化すべき第１の変換画像データの解像度とが異なっていても、画像データ中の動きの状態に応じて第２の変換画像データに対する静止画像符号化の程度を的確に制御することができるようになる。
【００１７】
また、本発明に係る画像符号化装置は、前記パラメータ制御手段が、前記動き情報、前記第１の変換画像データの解像度及び前記第２の変換画像データの解像度に基づいて前記撮影画像の領域を複数の部分領域に区分する領域区分手段を有し、前記領域区分手段にて得られた複数の部分領域のそれぞれに対応した画像データ部分毎に異なるように前記パラメータを制御する構成とすることができる。
【００１８】
このような構成により、第１の変換画像データに対応した動画像中において動きの状態の異なる複数の部分領域のそれぞれに対応した第２の変換画像データの部分毎に静止画像符号化の際に用いられるパラメータが制御されることとなる。これにより、前記複数の部分領域それぞれについての第２の変換画像データの部分に対する静止画像符号化の程度を的確に制御することができるようになる。
【００１９】
更に、本発明に係る画像符号化装置は、前記領域区分手段が、前記画像データの領域を前記動き情報が所定条件を満足する注目部分領域と他の領域とに区分する構成とすることができる。
【００２０】
このような構成により、画像データ中において動きの状態が所定状態となる注目部分領域及び他の領域それぞれについての第２の変換画像データの部分を異なるパラメータにしたがって静止画像符号化することが可能となる。これにより、前記注目部分領域及びその他の領域それぞれについての第２の変換画像データの部分に対する静止画像符号化の程度を的確に制御することができるようになる。
【００２１】
また、本発明に係る画像符号化装置は、前記領域区分手段が、前記動き情報に基づいて前記画像データの領域を複数の仮部分領域に区分する仮領域区分手段と、前記仮領域区分手段にて得られた各仮部分領域を前記第１の変換画像データの解像度及び前記第２の変換画像の解像度に基づいて補正して前記部分領域を設定する部分領域補正手段とを有する構成とすることができる。
【００２２】
このような構成により、第１の変換画像データを動画像符号化する際に得られる動き情報に基づいて画像データの領域が複数の仮部分領域に区分され、更に、前記第１の変換画像の解像度と静止画像符号化すべき第２の変換画像の解像度とに基づいて前記各仮部分領域が補正されて部分画像領域が設定される。これにより、動画像符号化すべき第１の変換画像データの解像度と静止画像符号化すべき第２の変換画像の解像度とが異なったとしても、第２の変換画像データにて表される撮影画像の領域を、撮影画像の動きの状態に応じて複数の部分領域に区分することができるようになる。
【００２３】
本発明に係る画像符号化装置は、画像データを動画像符号化して符号化動画像データと動き情報とを生成する動画符号化手段と、前記画像データをパラメータに従って静止画像符号化して符号化静止画像データを生成する静止画符号化手段と、前記画像データの撮影条件を取得する撮影条件取得手段と、前記動画像符号化手段にて得られる動き情報及び前記撮影条件の変化に基づいて前記静止画符号化手段にて用いられるべきパラメータを制御するパラメータ制御手段とを有する構成となる。
【００２４】
このような構成により、画像データを静止画像符号化する際に用いられるべきパラメータが、動画像符号化データに基づいた動画像の動きの状態及び前記画像データの撮影条件の変化に応じて制御されることとなる。これにより、前記撮影条件が変化する場合であっても、画像データ中の動きに応じてその画像データに対する静止画像符号化の程度を制御することができるようになる。
【００２５】
前記画像データでの撮影条件は、前記画像データが取得される際のその画像データに影響を与える条件、例えば、撮影手段にて画像データが取得される場合であれば、その撮影手段にて得られる画像データに影響を与えるものであれば特に限定されず、例えば、撮影手段のパン、チルトなどの姿勢、ズーム倍率、撮影範囲の直線的な移動等に係る条件を含み得る。
【００２６】
また、本発明に係る画像符号化装置は、前記パラメータ制御手段が、前記動き情報及び前記撮影条件の変化に基づいて前記画像データの領域を複数の部分領域に区分する領域区分手段を有し、前記領域区分手段にて得られた複数の部分領域のそれぞれに対応した画像データ部分毎に異なるように前記パラメータを制御する構成とすることができる。
【００２７】
このような構成により、画像データの撮影条件の変化を考慮しつつ動画像中において動きの状態の異なる複数の部分領域のそれぞれに対応した画像データ部分毎に静止画像符号化の際に用いられるパラメータが制御されることとなる。これにより、前記複数の部分領域それぞれについての画像データ部分に対する静止画像符号化の程度をより的確に制御することができるようになる。
【００２８】
更に、本発明に係る画像符号化装置は、前記領域区分手段が、前記画像データの領域を前記動き情報が所定条件を満足する注目部分領域と他の領域とに区分する構成とすることができる。
【００２９】
このような構成により、画像データの撮影条件の変化を考慮しつつ画像データ中においてその動きの状態が所定状態となる注目部分領域と他の領域とでそれぞれ対応する画像データ部分を異なるパラメータにしたがって静止画像符号化することが可能となる。これにより、前記注目部分領域とその他の領域についての画像データ部分に対する静止画像符号化の程度をより的確に制御することができるようになる。
【００３０】
また、本発明に係る画像符号化装置は、前記領域区分手段が、前記撮影条件の変化に基づいて前記動画符号化手段からの前記動き情報を補正して補正動き情報を生成する動き情報補正手段を有し、前記補正動き情報に基づいて前記画像データの領域を複数の部分領域に区分する構成とすることができる。
【００３１】
このような構成により、画像データの撮影条件の変化が動画像に影響を与えても、前記撮影条件の変化に基づいて動画像符号化の処理の過程で得られる動き情報が補正されるので、その補正後の動き情報（補正動き情報）は、前記撮影条件の変化の影響が除去されたものとなり得る。これにより、画像データの撮影条件の変化の影響を除去した状態で撮影画像の領域を複数の部分領域に区分することができるようになる。
【００３２】
本発明に係る画像符号化装置は、画像データを動画像符号化して符号化動画像データと動き情報とを生成する動画符号化手段と、入力画像データをパラメータに従って静止画像符号化して符号化静止画像データを生成する静止画符号化手段と、前記画像データの一部となる画像の切出し画像データを切出して前記入力画像データとして前記静止画符号化手段に与える画像切出し手段と、前記動画符号化手段にて得られる前記動き情報に基づいて前記画像切出し手段にて切出されるべき画像データの画像部分を決定する切出し制御手段とを有する構成となる。
【００３３】
このような構成により、符号化動画像データに基づいた動画像の動きの状態に基づいて画像データから切出された切出し画像データについて静止画符号化がなされる。これにより、前記切出された画像部分の静止画符号化データを得ることができる。
【００３４】
動き情報に基づいた画像部分の切出しの態様については、画像符号化装置が適用されるシステムに求められる機能、仕様等に基づいて任意に決めることができる。例えば、画像符号化装置が監視システムに用いられる場合、異常が発生したとみなしうる画像の動きに対応した動き情報が得られる画像部分の画像データを切出すことができる。この場合、異常が発生したとみなしうる画像部分についての符号化静止画像データが得られることとなる。
【００３５】
また、本発明に係る画像符号化装置は、前記切出し制御手段が、前記画像データの領域において前記動き情報が所定条件を満足する注目部分領域と他の領域のうち前記注目部分領域を前記画像切出し手段にて切出されるべき画像データの画像部分として決定する構成とすることができる。
【００３６】
このような構成により、動き情報が所定条件を満足する注目部分領域に対応する画像データ部分が静止画像符号化され、その注目部分領域についての符号化静止画像データが得られる。
【００３７】
前記所定条件は、前述したように画像符号化装置が用いられるシステムに対して求められる機能、性能等に基づいて任意に設定することができる。例えば、画像符号化装置が監視システムに用いられる場合、異常が発生したとみなしうる画像の動きの程度に基づいて前記所定条件を設定することができる。
【００３８】
更に、本発明に係る画像符号化装置は、前記静止画符号化手段にて用いられるパラメータを決定するパラメータ決定手段を有する構成とすることができる。
【００３９】
このような構成により、注目部分領域に対応した入力画像データを静止画像符号化する際に用いられるパラメータを任意に設定することができるようになり、前記注目部分領域についての画像データ部分に対する静止画像符号化の程度を任意に設定することができる。
【００４０】
本発明に係る画像符号化方法は、画像データを動画像符号化して符号化動画像データと動き情報とを生成する動画符号化ステップと、前記画像データをパラメータに従って静止画像符号化して符号化静止画像データを生成する静止画符号化ステップと、前記動画像符号化ステップにて得られる動き情報に基づいて前記静止画符号化ステップにて用いられるべきパラメータを制御するパラメータ制御ステップとを有する構成となる。
【００４１】
このような構成により、画像データを静止画像符号化する際に用いられるべきパラメータが、動画像符号化データに基づいた動画像の動きの状態に応じて制御されることになる。
【００４２】
また、本発明に係る画像符号化方法は、前記パラメータ制御ステップが、前記動き情報に基づいて前記画像データの領域を複数の部分領域に区分する領域区分ステップを有し、前記領域区分手段にて得られた複数の部分領域のそれぞれに対応した画像データ部分毎に前記パラメータを制御する構成とすることができる。
【００４３】
このような構成によれば、動画像中において動きの状態の異なる複数の部分領域のそれぞれに対応した画像データ部分毎に静止画像符号化の際に用いられるパラメータが制御されることとなる。
【００４４】
本発明に係る画像符号化方法は、画像データの解像度を変えて動画像符号化すべき第１の変換画像データと、前記画像データの解像度を変えて静止画像符号化すべき第２の変換画像データとを生成する解像度変換ステップと、前記第１の変換画像データを符号化して符号化動画像データと動き情報とを生成する動画符号化ステップと、前記第２の変換画像データをパラメータに従って符号化して符号化静止画像データを生成する静止画符号化ステップと、前記動画像符号化手段にて得られる動き情報、前記第１の変換画像データの解像度及び前記第２の変換画像データの解像度に基づいて前記静止画符号化手段にて用いられるべきパラメータを制御するパラメータ制御ステップとを有する構成となる。
【００４５】
このような構成により、画像データに対応して解像度変換手段から提供される第２の変換画像データを静止画符号化する際に用いられるべきパラメータが、前記画像データに対応して解像度変換手段から提供される第１の変換画像データを動画像符号化して得られる動画像符号化データに基づいた動画の動きの状態、前記第１の変換画像データの解像度及び前記第２の変換画像データの解像度に応じて制御されることとなる。
【００４６】
また、本発明に係る画像符号化方法は、前記パラメータ制御ステップが、前記動き情報、前記第１の変換画像データの解像度及び前記第２の変換画像データの解像度に基づいて前記撮影画像の領域を複数の部分領域に区分する領域区分ステップを有し、前記領域区分ステップにて得られた複数の部分領域のそれぞれに対応した画像データ部分毎に異なるように前記パラメータを制御する構成とすることができる。
【００４７】
このような構成により、第１の変換画像データに対応した動画像中において動きの状態の異なる複数の部分領域のそれぞれに対応した第２の変換画像データの部分毎に静止画像符号化の際に用いられるパラメータが制御されることとなる。
【００４８】
本発明に係る画像符号化方法は、画像データを動画像符号化して符号化動画像データと動き情報とを生成する動画符号化ステップと、前記画像データを設定されたパラメータに従って静止画像符号化して符号化静止画像データを生成する静止画符号化ステップと、前記画像データの撮影条件を取得する撮影条件取得ステップと、前記動画像符号化ステップにて得られる動き情報及び前記撮影条件の変化に基づいて前記静止画符号化ステップにて用いられるべきパラメータを制御するパラメータ制御ステップとを有する構成となる。
【００４９】
このような構成により、画像データを静止画像符号化する際に用いられるべきパラメータが、動画像符号化データに基づいた動画像の動きの状態及び撮影手段での撮影条件の変化に応じて制御されることとなる。
【００５０】
また、本発明に係る画像符号化方法は、前記パラメータ制御ステップが、前記動き情報及び前記撮影条件の変化に基づいて前記画像データの領域を複数の部分領域に区分する領域区分ステップを有し、前記領域区分ステップにて得られた複数の部分領域のそれぞれに対応した画像データ部分毎に異なるように前記パラメータを制御する構成とすることができる。
【００５１】
このような構成により、画像データの撮影条件の変化を考慮しつつ動画像中において動きの状態の異なる複数の部分領域のそれぞれに対応した画像データ部分毎に静止画像符号化の際に用いられるパラメータが制御されることとなる。
【００５２】
本発明に係る画像符号化方法は、画像データを動画像符号化して符号化動画像データと動き情報とを生成する動画符号化ステップと、入力画像データをパラメータに従って静止画像符号化して符号化静止画像データを生成する静止画符号化ステップと、前記画像データの一部となる画像の切出し画像データを切出して前記入力画像データとして前記静止画符号化手段に与える画像切出しステップと、前記動画符号化ステップにて得られる前記動き情報に基づいて前記画像切出しステップにて切出されるべき画像データの画像部分を決定する切出し制御ステップとを有する構成となる。
【００５３】
このような構成により、画像の動きの状態に基づいて撮影画像から切出された画像部分の画像データについて静止画符号化がなされる。これにより、前記切出された画像部分の符号化静止画像データを得ることができる。
【００５４】
また、本発明に係る画像符号化方法は、前記切出し制御ステップが、前記画像データの領域において前記動き情報が所定条件を満足する注目部分領域と他の領域のうち前記注目部分領域を前記画像切出し手段にて切出されるべき画像データの画像部分として決定する構成とすることができる。
【００５５】
このような構成により、動き情報が所定条件を満足する注目部分領域に対応する画像データ部分が静止画像符号化され、その注目部分領域についての符号化静止画像データが得られる。
【００５６】
本発明に係るプログラムは、画像データを動画像符号化して符号化動画像データと動き情報とを生成する動画符号化手段から前記動き情報を取得するステップと、静止画符号化手段が前記画像データを静止画像符号化して符号化静止画像データを生成する際に用いられるパラメータを前記動き情報に基づいて制御するパラメータ制御ステップとをコンピュータを実行させる構成となる。
【００５７】
このような構成により、コンピュータは、画像データを静止画像符号化する際に用いられるべきパラメータを画像データの動きの状態に応じて制御できるようになる。
【００５８】
また、本発明に係るプログラムは、前記パラメータ制御ステップが、前記動き情報に基づいて前記画像データの領域を複数の部分領域に区分する領域区分ステップを有し、前記領域区分ステップにて得られた複数の部分領域のそれぞれに対応した画像データ部分毎に前記パラメータを制御するようにした構成となる。
【００５９】
このような構成により、コンピュータは、画像データ中において動きの状態の異なる複数の部分領域のそれぞれに対応した画像データ部分毎に静止画像符号化の際に用いられるパラメータを制御することができるようになる。
【００６０】
本発明に係るプログラムは、画像データの解像度を変えて動画像符号化すべき第１の変換画像データと、前記画像データの解像度を変えて静止画像符号化すべき第２の変換画像データとを生成する解像度変換手段から提供される前記第１の変換画像データを動画像符号化して符号化動画像と動き情報とを生成する動画像符号化手段から前記動き情報を取得するステップと、前記第１の変換画像データの解像度と前記第２の変換画像の解像度とを取得するステップと、前記動き情報、前記第１の変換画像データの解像度及び前記第２の変換画像データの解像度に基づいて静止画符号化手段が前記第２の変換画像データを静止画像符号化する際のパラメータを制御するパラメータ制御ステップとをコンピュータに実行させる構成となる。
【００６１】
このような構成により、コンピュータは、画像データに対応して解像度変換手段から提供される第２の変換画像データを静止画符号化する際に用いられるべきパラメータを、前記画像データに対応して解像度変換手段から提供される第１の変換画像データを動画像符号化して得られる動きの状態、前記第１の変換画像データの解像度及び前記第２の変換画像データの解像度に応じて制御することができるようになる。
【００６２】
また、本発明に係るプログラムは、前記パラメータ制御ステップが、前記動き情報、前記第１の変換画像データの解像度及び前記第２の変換画像データの解像度に基づいて前記撮影画像の領域を複数の部分領域に区分する領域区分ステップを有し、前記領域区分ステップにて得られた複数の部分領域のそれぞれに対応した画像データ部分毎に異なるように前記パラメータを制御するようにした構成とすることができる。
【００６３】
このような構成により、コンピュータは、第１の変換画像データに対応した画像中において動きの状態の異なる複数の部分領域のそれぞれに対応した第２の変換画像データの部分毎に静止画像符号化の際に用いられるパラメータを制御することができるようになる。
【００６４】
本発明に係るプログラムは、画像データを動画像符号化して符号化動画像データと動き情報とを生成する動画符号化手段から前記動き情報を取得するステップと、前記画像データの撮影条件を取得する撮影条件取得ステップと、
【００６５】
静止画符号化手段が前記画像データを静止画像符号化して符号化静止画像データを生成する際に用いられるパラメータを前記動き情報及び前記撮影条件の変化に基づいて制御するパラメータ制御ステップとをコンピュータに実行させる構成となる。
【００６６】
このような構成により、コンピュータは、画像データを静止画像符号化する際に用いられるべきパラメータを、画像の動きの状態及び撮影手段での撮影条件の変化に応じて制御することができるようになる。
【００６７】
また、本発明に係るプログラムは、前記パラメータ制御ステップが、前記動き情報及び前記撮影条件の変化に基づいて前記画像データの領域を複数の部分領域に区分する領域区分ステップを有し、前記領域区分ステップにて得られた複数の部分領域のそれぞれに対応した画像データ部分毎に異なるように前記パラメータを制御する構成とすることができる。
【００６８】
このような構成により、コンピュータは、画像データの撮影条件の変化を考慮しつつ画像中において動きの状態の異なる複数の部分領域のそれぞれに対応した画像データ部分毎に静止画像符号化の際に用いられるパラメータを制御することができるようになる。
【００６９】
本発明に係るプログラムは、画像データを動画像符号化して符号化動画像データと動き情報とを生成する動画符号化手段から前記動き情報を取得するステップと、入力画像データをパラメータに従って静止画像符号化して符号化静止画像データを生成する静止画符号化手段に対して前記画像データの一部となる画像の切出し画像データを切出して前記入力画像データとして与える画像切出し手段にて切出されるべき画像データの画像部分を前記動き情報に基づいて決定するステップとをコンピュータに実行させる構成となる。
【００７０】
このような構成により、コンピュータは、静止画符号化手段に対して画像の動きの状態に基づいて画像データの領域から切出された画像部分の画像データを静止画像符号化させることができるようになる。
【００７１】
また、本発明に係るプログラムは、前記切出し制御ステップが、前記画像データの領域において前記動き情報が所定条件を満足する注目部分領域と他の領域のうち前記注目部分領域を前記画像切出し手段にて切出されるべき画像データの画像部分として決定する構成とすることができる。
【００７２】
このような構成により、コンピュータは、動き情報が所定条件を満足する注目部分領域に対応する画像データ部分を静止画像符号化させることができる。
【発明の効果】
【００７３】
本発明に係る画像符号化装置によれば、画像データを静止画像符号化する際に用いられるべきパラメータが前記画像データの動きの状態に応じて制御されるので、前記画像データの領域中の動きの状態に応じてその画像データに対する静止画像符号化の程度を制御することができるようになる。このため、画像データの動画像符号化と静止画像符号化とを行なう画像符号化装置において、符号化静止画像データの効率的な送信や蓄積を担保し得るようになる。
【発明を実施するための最良の形態】
【００７４】
以下、本発明の実施の形態について、図面を用いて説明する。
【００７５】
本発明の第一の実施の形態に係る画像符号化装置は、図１に示すように構成される。
【００７６】
図１において、画像符号化装置１０は、撮影部１０１からの撮影画像に対応した画像データを入力し、前記画像データから生成される動画像符号化データ及び前記画像データから生成される静止画像符号化データを例えばモニタ装置に設けられた受信部１０８に通信回線１０７を介して送信する。撮影部１０１は、ＣＣＤまたはＣＭＯＳセンサ等からなる撮像素子と前記撮像素子から出力される撮影画像に対応した信号をデジタル画像データに変換するＡ／Ｄ変換器等を備えている。
【００７７】
画像符号化装置１０は、画像入力部１０２、動画像符号化部１０３、静止画像符号化部１０４、送信部１０５及び制御部１０６を有している。画像入力部１０２は、ＲＡＭ等のバッファを備えており、撮影部１０１からの画像データを取り込みつつその画像データを動画像符号化部１０３及び静止画像符号化部１０４に供給する。動画像符号化部１０３は、画像入力部１０２から供給される画像データを動画像符号化（例えば、ＭＰＥＧ符号化）して動画像符号化データと、前記動画像符号化に際して得られる動き情報とを出力する。前記動き情報は、撮影画像の時間的な変化を表す情報や、動画像符号化の過程で得られる情報であり、動きベクトル情報、画像データを構成する各画素の輝度値（画素値）の変化量に関する情報、符号化データのデータサイズに関する情報、イントラ符号化またはインター符号化に関する情報のいずれかまたは複数を含み得る。静止画像符号化部１０４は、画像入力部１０２から供給される画像データを設定されたパラメータに従って静止画像符号化（例えば、ＪＰＥＧ符号化）して符号化静止画像データを出力する。送信部１０５は、動画像符号化部１０３からの符号化動画像データ及び静止画像符号化部１０４からの符号化静止画像データを無線または有線の通信回線１０７を介して例えばモニタ装置に設けられた受信部１０８に送信する。
【００７８】
制御部１０６は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えており、プログラムに従ったＣＰＵの動作により、動画像符号化部１０３からの動き情報に基づいて静止画像符号化部１０４での静止画像符号化処理の制御を行なう。また、制御部１０６は、画像入力部１０２から動画像符号化部１０３及び静止画像符号化部１０４に供給されるべき画像データのフォーマットに関する情報を管理すると共に、送信部１０５でのデータ送信を制御する。
【００７９】
前述したような構成となる画像符号化装置は次のように動作する。
【００８０】
撮影部１０１は、所定領域の撮影を行なっており、その撮影画像に対応した画像データを出力している。この状態において、画像入力部１０２は撮影部１０１からの画像データを入力すると共にその画像データを順次動画像符号化部１０３及び静止画像符号化部１０４に供給する。動画像符号化部１０３は、制御部１０６による制御のもと、画像入力部１０２から順次供給される画像データを動画像符号化して符号化動画像データを送信部１０５に供給すると共に前記動画像符号化の過程で得られる動き情報を制御部１０６に供給する。静止画像符号化部１０４は、制御部１０６による制御のもと、画像入力部１０２から順次供給される画像データを静止画符号化して符号化静止画像データを送信部１０５に供給する。そして、送信部１０５が前記符号化動画像データ及び符号化静止画像データを受信部１０８に通信回線１０７を介して送信する。
【００８１】
前述したような画像符号化装置の動作過程において、制御部１０６は、図２に示す手順に従って処理を行なう。この処理は、図２に示す手順に対応したプログラムをＣＰＵが実行することによりなされる。
【００８２】
図２において、制御部１０６は、受信部１０８が設けられた例えばモニタ装置側からの送信指示の待ち状態にある（Ｓ１０１）。この状態において、制御部１０６は、前記送信指示を受信すると（Ｓ１０１でＹＥＳ）、動画像符号化部１０３に画像データの動画像符号化処理を開始させる（Ｓ１０２）。これにより、動画像符号化部１０３は画像入力部１０１から供給される撮影画像に対応した画像データを動画像符号化する。そして、制御部１０６は、前記動画像符号化処理の過程で生成される動き情報を動画像符号化部１０３から取得すると（Ｓ１０３）、制御部１０６は、前記動き情報に基づいて画像入力部１０２からの画像データにて表される撮影画像の領域において注目部分領域を特定し、その注目部分領域と他の領域とを区別する（Ｓ１０４）。例えば、異常が発生したとみなしうる画像の動きが生じた部分領域が前記注目部分領域として他の領域から区別される。
【００８３】
前記注目部分領域と他の領域との区別は次のようにして行うことができる。
【００８４】
ベクトル情報が動き情報として用いられる場合、１画面中の各ブロックのベクトル情報からベクトル長が取得され、そのベクトル長が所定基準値以上であるかそれに達しないかに基づいて注目部分領域となるブロックと他の領域となるブロックとが区別される。この場合、例えば、ベクトル長が前記所定基準値以上となるブロックが注目部分領域として特定され得る。
【００８５】
ベクトル情報の水平成分と垂直成分の分布が動き情報として用いられる場合、ベクトル情報（水平成分、垂直成分）が所定の向きであるか否かに基づいて注目部分領域となるブロックと他のブロックとを区別することができる。この場合、例えば、右に移動する画像部分のブロックを注目部分領域として特定し得る。
【００８６】
また、例えば、同一または類似の方向を指すベクトル情報を持つ隣接ブロックを連結ブロックと考え、その連結ブロックがそれぞれ持つベクトル情報の水平、垂直成分の各平均値、長さの平均値、連結ブロック面積（含有ブロック数）あるいは連結ブロックの形状等に基づいて注目部分領域を特定し得る。
【００８７】
また、１画面中における各ブロックの画素値（輝度値）の平均値の変化量が動き情報として用いられる場合、前記画素値の平均値の変化量が所定基準値以上であるかそれに達していないかに基づいて注目部分領域となるブロックと他の領域となるブロックとが区別される。この場合、例えば、前記画素値の平均値の変化量が前記所定基準値以上となるブロックが注目部分領域として特定され得る。
【００８８】
更に、１画面中における各ブロックの符号化動画像データの量が動き情報として用いられる場合、前記符号化動画像データの量が所定基準値以上であるかそれに達していないかに基づいて注目部分領域となるブロックと他の領域となるブロックとが区別される。この場合、例えば、前記符号化動画像データの量が前記所定基準値以上となるブロックが注目部分領域として特定され得る。
【００８９】
また、イントラ符号化及びインター符号化に関する情報が動き情報として用いられる場合、画像中の単位領域毎に動画像符号化においてインター符号化されるブロック数及びイントラ符号化されるブロック数が取得され、前記インター符号化されるブロック数に対するイントラ符号化されるブロック数の割合が所定基準値以上であるかそれに達していないかに基づいて注目部分領域となる単位領域と他の領域となる単位領域とが区別される。この場合、例えば、インター符号化されるブロック数に対するイントラ符号化されるブロック数の割合が前記所定基準値以上となる単位領域が注目部分領域として特定され得る。
【００９０】
更に、隣接するブロックが同一の動き情報（イントラ符号化またはインター符号化）である場合は連結ブロックとして考えて、各連結ブロックの面積（含有ブロック数）や形状により注目部分領域を特定し得る（または注目部分領域ではないと特定し得る）。
【００９１】
前述したようにして動き情報に基づいて画像入力部１０２からの画像データにて表される撮影画像の領域を注目部分領域と他の領域とに区別すると、制御部１０６は、静止画像符号化部１０４に設定すべきパラメータを決定する（Ｓ１０５）。この処理では、前記区別された注目部分画像領域及び他の領域それぞれに対するパラメータ、例えば、画像圧縮率、量子化パラメータ、ローパスフィルタの有無やそのフィルタ特性の強弱等が設定される。注目部分画像領域については比較的高画質の復元静止画が得られるように、他の領域についてはデータ量が削減されるように、前記各パラメータの値がそれぞれの領域について設定される。
【００９２】
そして、制御部１０６は、注目部分領域について決定したパラメータ及び他の領域について決定したパラメータを静止画像符号化部１０４に供給し、静止画像符号化部１０４に画像データの静止画像符号化処理を開始させる（Ｓ１０６）。これにより、静止画像符号化部１０４は、画像入力部１０２からの画像データのうち前記注目部分領域に対応する画像データ部分を前記注目部分領域に対して決定されたパラメータに従って静止画像符号化し、他の領域に対応する画像データ部分をその領域に対して決定されたパラメータに従って静止画像符号化する。そして、静止画像符号化部１０４は、前記符号化によって生成された符号化静止画像データを出力する。
【００９３】
制御部１０６は、静止画像符号化部１０４に対してパラメータを設定した後、モニタ装置側からの送信指示が継続されているか否かを判定し（Ｓ１０７）、前記送信指示が継続されている間（Ｓ１０７でＹＥＳ）、前述した処理（Ｓ１０２〜Ｓ１０６）を繰り返し実行する。
【００９４】
このような画像符号化装置によれば、撮影画像中において、例えば、異常が発生したとみなしうる画像の動きが生じた注目部分領域に対応した画像データ部分については、比較的高画質の復元静止画像が得られるようなパラメータに従って静止画像符号化がなされ、他の領域に対応した画像データ部分については、符号化の程度（例えば、符号化率）を大きくしてデータ量を削減するようなパラメータに従って静止画像符号化がなされるようになる。従って、必要な領域についての復元静止画像の画質を高く保持しつつ、静止画像符号化データの効率的な送信や蓄積を担保するような静止画像符号化が可能となる。
【００９５】
なお、前述した処理では、１画面ごとに注目部分領域を特定するようにしたが、１画面中の所定の領域単位毎に注目部分領域を特定するようにすることもできる。
【００９６】
また、前述した制御部１０６での処理（図２参照）は、受信部１０８が備えられる例えばモニタ装置側からの指示に従ってなされたが、制御部１０６が前記指示にかかわらず能動的に行なうようにしてもよい。この場合、画像符号化装置１０は符号化動画像データ及び符号化静止画像データを受信部１０８に対して能動的に送信することとなる。
【００９７】
次に、本発明の第二の実施の形態について説明する。この第二の実施の形態は、動画像符号化部１０３に提供される撮影画像に対応した画像データの解像度と静止画像符号化部１０４に提供される前記画像データの解像度とが異なる点で、前述した第一の実施の形態と異なる。
【００９８】
本発明の第二の実施の形態に係る画像符号化装置は、図３に示すように構成される。なお、図３において、図１に示す部分と同等の部分については同一の参照符号が付されている。
【００９９】
図３において、画像符号化装置１０は、第一の実施の形態（図１参照）の場合と同様に、画像入力部１０２、動画像符号化部１０３、静止画像符号化部１０４及び送信部１０５を備える他、解像度変換部２０１と、前述した第一の実施の形態における制御部１０６とは異なり、解像度変換部２０１についての制御を行い得る制御部２０２とを備えている。解像度変換部２０１は、ＲＡＭ等のバッファを備え、画像入力部１０２からの画像データ順次取り込み、その画像データの解像度を動画用の解像度に変換して第１の変換画像データを出力すると共に前記画像データの解像度を静止画用の解像度に変換して第２の変換画像データを出力する。動画像符号化部１０３は、前記第１の変換画像データを動画像符号化して符号化動画像データを生成する。静止画像符号化部１０４は、前記第２の変換画像データを静止画像符号化して符号化静止画像データを生成する。制御部２０２は、前記第１の変換画像データの解像度、前記第２の変換画像データの解像度、及び動画像符号化部１０３から供給される動き情報に基づいて静止画像符号化部１０４での静止画像符号化処理の制御を行う。
【０１００】
前述したような構成となる画像符号化装置は次のように動作する。
【０１０１】
解像度変換部２０１は、画像入力部１０２からの撮影画像に対応した画像データを入力し、前記画像データの解像度を動画用の解像度に変換して得られる第１の変換画像データを動画像符号化部１０３に供給すると共に、前記画像データの解像度を静止画用の解像度に変換して得られる第２の変換画像データを静止画像符号化部１０４に供給する。動画像符号化部１０３は、制御部２０２による制御のもと、前記第１の変換画像データを動画像符号化して符号化動画像データを送信部１０５に供給すると共に前記動画像符号化の過程で得られる動き情報を制御部２０２に供給する。静止画像符号化部１０４は、制御部２０１による制御のもと、前記第２の変換画像データを静止画像符号化して符号化静止画像を送信部１０５に供給する。そして、送信部１０５が前記符号化動画像データ及び符号化静止画像データを受信部１０８に通信回線１０７を介して送信する。
【０１０２】
前述したような画像符号化装置の動作過程において、制御部２０２は、図４に示す手順に従って処理を行う。この処理は、図４に示す手順に対応したプログラムをＣＰＵが実行することによりなされる。なお、図４において、図２に示す処理ブロックに対応する処理ブロックについては同一の参照符号が付されている。
【０１０３】
図４において、受信部１０８が設けられた例えばモニタ装置側からの送信指示の待ち状態（Ｓ１０１）にある制御部２０２は、前記送信指示を受信すると（Ｓ１０１でＹＥＳ）、動画像符号化部１０３に動画像符号化処理を開始させる（Ｓ１０２）。これにより、動画像符号化部１０３は、解像度変換部２０１から供給される前記第１の変換画像データを動画像符号化する。制御部２０２は、動画像符号化部１０３が前記第１の変換画像データを動画像符号化する過程で生成する動き情報を取得する（Ｓ１０３）と共に、解像度変換部２０１から前記第１の変換画像データの解像度と静止画像変換部１０４に供給される前記第２の変換画像データの解像度とを取得する（Ｓ２０１）。そして、制御部２０２は、前記動き情報、第１の変換画像データの解像度及び第２の変換画像データの解像度に基づいて前記第２の変換画像データにて表される前記撮影画像の領域において注目部分領域を特定し、その注目部分領域と他の領域とを区別する（Ｓ２０２）。前述した第一の実施の形態の場合と同様に、例えば、異常が発生したとみなしうる画像の動きが生じた部分領域が注目部分領域として他の領域から区別される。
【０１０４】
前記注目部分領域と他の領域との区別は次のようにして行うことができる。
【０１０５】
まず、前述した第一の実施の形態の場合と同様に、前記動き情報に基づいて第１の変換画像データにて表される前記撮影画像の領域において注目部分領域が仮部分領域として特定される。その後、第１の変換画像データの解像度と第２の変換画像データの解像度とに基づいて前記仮部分領域が補正され、前記第２の変換画像データにて表される前記撮影画像の領域において前記仮部分領域に対応した注目部分領域が特定される。具体的には、前記第１の変換画像データの解像度に基づいた前記撮影画像の垂直方向及び水平方向の画素数と前記第２の変換画像データの解像度に基づいた前記撮影画像の垂直方向及び水平方法の画素数との比率に応じた拡大または縮小により前記仮部分領域が補正され、前記第２の変換画像データにて表される前記撮影画像の領域において前記注目部分領域が特定される。
【０１０６】
このようにして第２の変換画像データにて表される前記撮影画像において注目部分領域と他の領域とが区別されると、制御部２０２は、前述した第一の実施の形態の場合と同様にして、静止画像符号化部１０４に設定すべきパラメータを決定する（Ｓ１０５）。すなわち、区分された前記注目部分領域及び他の領域それぞれに対するパラメータが、注目部分領域については比較的高画質の復元静止画が得られるように、他の領域についてはデータ量が削減されるように決定される。
【０１０７】
そして、制御部２０２は、注目部分領域について決定したパラメータ及び他の領域について決定したパラメータを静止画像符号化部１０４に供給し、静止画像符号化部１０４に画像データの静止画像符号化処理を開始させる（Ｓ１０６）。これにより、静止画像符号化部１０４は、第２の変換画像データのうち前記注目部分領域に対応する画像データ部分を前記注目部分領域に対して決定されたパラメータに従って静止画像符号化し、他の領域に対応する画像データ部分をその領域に対して決定されたパラメータに従って静止画像符号化を行なう。そして、静止画像符号化部１０４は、前記符号化によって生成された符号化静止画像データを出力する。
【０１０８】
制御部２０２は、静止画像符号化部１０４に対してパラメータを設定した後、モニタ装置側からの送信指示が継続されているか否かを判定し（Ｓ１０７）、前記送信指示が継続されている間（Ｓ１０７でＹＥＳ）、前述した処理（Ｓ１０２、Ｓ１０３、Ｓ２０１、Ｓ２０２、Ｓ１０５、Ｓ１０６）を繰り返し実行する。
【０１０９】
このような画像符号化装置によれば、動画像符号化されるべき第１の変換画像データの解像度と静止画像符号化されるべき第２の変換画像データの解像度が異なっていても、動画像符号化されるべき第１の変換画像データにて表される撮影画像において特定される、例えば、異常が発生したとみなしうる画像の動きが生じた部分領域（仮部分領域）に対応した注目部分領域を静止画像符号化されるべき第２の変換画像データにて表される撮影画像において的確に特定できるようになる。これにより、異常が発生したとみなしうる画像の動きが生じた注目部分領域に対応した第２の変換画像データの部分については、比較的高画質の復元静止画像が得られるようなパラメータに従って静止画像符号化がなされ、他の領域に対応した第２の変換画像データの部分については、符号化の程度（例えば、符号化率）を大きくして情報量を削減するようなパラメータに従って静止画像符号化がなされるようになる。従って、必要な領域についての復元静止画像の画質を高く保持しつつ、静止画像符号化データの効率的な送信や蓄積を担保するような静止画像符号化が可能となる。
【０１１０】
なお、前記第二の実施の形態に係る画像符号化装置において、前記第１の変換画像データの解像度と第２の変換画像データの解像度は同じに設定されるものであってもよい。この場合、制御部２０２での処理は、実質的に前述した第一の実施の形態の場合と同様となる。
【０１１１】
また、前記第１の変換画像データの解像度及び第２の変換画像データの解像度のいずれか一方または両方は、画像入力部１０２から供給される画像データの解像度と同じであってもよい。前記両方の解像度が前記画像データの解像度と同じである場合、画像符号化装置での動作は、実質的に前述した第一の実施の形態の場合と同様となる。
【０１１２】
次に、本発明の第三の実施の形態について説明する。この第三の実施の形態は、撮影画像に対応した画像データを出力する撮影部での撮影条件も加味して前記静止画像符号化処理におけるパラメータを制御する点で、前述した第一の実施の形態と異なる。
【０１１３】
本発明の第三の実施の形態に係る画像符号化装置は、図５に示すように構成される。なお、図５において、図１に示す部分と同等の部分については同一の参照符号が付されている。
【０１１４】
図５において、画像符号化装置１０は、第一の実施の形態（図１参照）の場合と同様に、画像入力部１０２、動画像符号化部１０３、静止画像符号化部１０４及び送信部１０５を備える他、前述した第一の実施の形態の形態における制御部１０６とは異なり、撮影部３０１での撮影条件に基づいた制御を行い得る制御部３０２を備えている。撮影部３０１は、撮影画像に対応した画像データを出力する過程で、その撮影条件、例えば、カメラ（撮像素子を含む）の上下左右方向の旋回により垂直方向及び水平方向に変化し得る、また、前記カメラのズームイン、ズームアウトに伴って拡大及び縮小し得る撮影範囲についての条件、ホワイトバランスに伴う明るさや色調等についての条件を制御部３０２に供給する。制御部３０２は、動画像符号化部１０３が画像入力部１０２からの撮影画像に対応した画像データを動画像符号化する際に生成される動き情報と撮影部３０１からの撮影条件の変化量に基づいて静止画像符号化部１０４での静止符号化処理の制御を行う。
【０１１５】
前述したような構成となる画像符号化装置は次のようにして動作する。
【０１１６】
撮影部３０１は、撮影画像に対応した画像データを順次画像入力部１０２に供給する過程でその撮影条件についての情報を制御部３０２に供給する。動画像符号化部１０３は、制御部３０２による制御のもと、画像入力部１０２からの撮影画像に対応した画像データを動画像符号化して符号化動画像データを送信部１０５に供給すると共に前記動画像符号化の過程で得られる動き情報を制御部３０２に供給する。静止画像符号化部１０４は、制御部３０２による制御のもと、前記画像データを静止画像符号化して符号化静止画像データを送信部１０５に供給する。そして、送信部１０５が前記符号化動画像データ及び符号化静止画像データを受信部１０８に通信回線１０７を介して送信する。
【０１１７】
前述したような画像符号化装置の動作過程において、制御部３０２は、図６に示す手順に従って処理を行う。この処理は、図６に示す手順に対応したプログラムをＣＰＵが実行することによりなされる。なお、図６において、図２に示す処理ブロックに対応する処理ブロックについては同一の参照符号が付されている。
【０１１８】
図６において、受信部１０８が設けられた例えばモニタ装置側からの送信指示の待ち状態（Ｓ１０１）にある制御部３０２は、前記送信指示を受信すると（Ｓ１０２でＹＥＳ）、動画像符号化部１０３に動画像符号化処理を開始させる（Ｓ１０２）。これにより、動画像符号化部１０３は、画像入力部１０２からの撮影画像に対応した画像データを動画像符号化する。制御部３０２は、動画像符号化部１０３が前記画像データを動画像符号化する過程で生成する動き情報を取得する（Ｓ１０３）と共に、撮影部３０１からの撮影条件を取得する（Ｓ３０１）。そして、制御部３０２は、前記動き情報及び取得される撮影条件の変化に基づいて前記撮影画像の領域において注目部分領域を特定し、その注目部分領域と他の領域とを区別する（Ｓ３０２）。前述した第一の実施の形態の場合と同様に、例えば、異常が発生したとみなし得る画像の動きが生じた部分領域が注目部分領域として他の領域から区別される。
【０１１９】
前記注目部分領域と他の領域との区別は次のようにして行うことができる。
【０１２０】
まず、動画像符号化部１０３からの動き情報が前記撮影条件の変化に基づいて補正される。カメラの上下左右方向の旋回により撮影条件としての撮影範囲が垂直方向及び水平方向に変化する場合、その撮影範囲の変化量（移動量）分だけ、例えば動き情報として用いられるベクトル情報を補正することができる。また、前記撮影範囲の変化量に応じて、例えば動き情報として用いられる各ブロックの符号化動画像データのデータ量を補正することができる。更に、例えば動き情報として用いられるイントラ符号化されたブロック数とインター符号化されたブロック数とに関する情報について前記撮影範囲の変化量に応じた数のイントラ符号化されたブロックをインター符号化されたブロックとして判定するように補正することができる。
【０１２１】
また、カメラのズームイン、ズームアウトに伴って撮影条件としての撮影範囲が拡大、縮小される場合、その撮影範囲の拡大率、縮小率に応じて、例えば、動き情報として用いられるベクトル情報のベクトル長を縮小、拡大するように補正することができる。更に、撮影条件としてのホワイトバランスに伴う明るさや色調が変化する場合、その明るさや色調の変化量に応じて、例えば、動き情報として用いられる各ブロックの画素値（輝度値）の平均値の変化量を補正することができる。
【０１２２】
このようにして動画像符号化部１０３からの動き情報が補正された後に、その補正後の動き情報に基づいて、前述した第一の実施の形態の場合と同様にして前記撮影画像の領域が前記注目部分領域と他の領域とに区別される。
【０１２３】
制御部３０２は、区別された注目部分領域及び他の領域のそれぞれに対して、前述した第一の実施の形態の場合と同様にして静止画像符号化部１０４に設定すべきパラメータを決定する（Ｓ１０５）。すなわち、前記注目部分領域については比較的高画質の復元静止画像が得られるように、他の領域についてはデータ量が削減されるように静止画符号化にて用いられるパラメータが決定される。
【０１２４】
そして、制御部３０２は、注目部分領域について決定したパラメータ及び他の領域について決定したパラメータを静止画像符号化部１０４に供給し、静止画像符号化部１０４に画像データの静止画像符号化処理を開始させる（Ｓ１０６）。これにより、静止画像符号化部１０４は、画像入力部１０２からの画像データのうち前記注目部分領域に対応する画像データ部分を前記注目部分領域に対して決定されたパラメータに従って静止画像符号化し、他の領域に対応する画像データ部分をその領域に対して決定されたパラメータに従って静止画像符号化を行なう。そして、静止画像符号化部１０４は、前記符号化によって生成された符号化静止画像データを出力する。
【０１２５】
制御部１０６は、静止画像符号化部１０４に対してパラメータを設定した後、モニタ装置側からの送信指示が継続されているか否かを判定し（Ｓ１０７）、前記送信指示が継続されている間（Ｓ１０７でＹＥＳ）、前述した処理（Ｓ１０２、Ｓ１０３、Ｓ３０１、Ｓ３０２、Ｓ１０５、Ｓ１０６）を繰り返し実行する。
【０１２６】
このような画像符号化装置によれば、撮影部３０１での撮影条件の変化が動画像に影響を与えても、前記撮影条件に基づいて動画像符号化の処理の過程で得られる動き情報が補正されるので、その補正後の動き情報は、前記撮影条件の変化の影響が除去されたものとなり得る。これにより、前記撮影条件が変化しても、前記補正後の動き情報に基づいて、例えば、異常が発生したとみなしうる画像の動きが発生した注目部分領域を静止画像符号化されるべき画像データにて表される撮影画像において的確に特定できるようになる。また、前述した各実施の形態の場合と同様に、異常が発生したとみなしうる画像の動きが生じた注目部分領域に対応した画像データ部分については、比較的高画質の復元静止画像が得られるようなパラメータに従って静止画像符号化がなされ、他の領域に対応した画像データ部分については、符号化の程度を大きくしてデータ量を削減するようなパラメータに従って静止画像符号化がなされるようになる。従って、必要な領域についての復元静止画像の画質を高く保持しつつ、静止画像符号化データの効率的な送信や蓄積を担保するような静止画像符号化が可能となる。
【０１２７】
なお、前述した画像符号化装置は、撮影部３０１から提供される撮影条件を取得するようにしたが、他の装置、例えば、撮影部３０１の撮影条件を制御する制御機器から前記撮影条件を取得することもできる。
【０１２８】
更に、本発明の第四の実施の形態について説明する。この第四の実施の形態は、注目部分領域についてだけ静止画像符号化する点で、前述した第一の実施の形態と異なる。
【０１２９】
本発明の第四の実施の形態に係る画像符号化装置は、図７に示すように構成される。なお、図７において、図１に示す部分と同等の部分については同一の参照符号が付されている。
【０１３０】
図７において、画像符号化装置１０は、第一の実施の形態（図１参照）の場合と同様に、画像入力部１０２、動画像符号化部１０３、静止画像符号化部１０４及び送信部１０５を備える他、切出し部４０１と、前述した第一の実施の形態における制御部１０５とは異なり、切出し部４０１についての制御を行い得る制御部４０２とを備えている。切出し部４０１は、ＲＡＭ等のバッファを備え、画像入力部１０２からの撮影画像に対応した画像データを順次取り込み、その画像データから前記撮影画像の一部に対応した画像データを静止画像符号化すべき画像データとして切り出す。動画像符号化部１０３は、画像入力部１０２からの撮影画像に対応した画像データを動画像符号化して符号化動画像データを生成する。静止画像符号化部１０４は、切出し部４０１から出力される前記撮影画像の一部に対応した画像データを静止画像符号化して符号化静止画像データを生成する。制御部４０２は、動画像符号化部１０３から供給される動き情報に基づいて切出し部４０１を制御すると共に静止画像符号化部１０４の静止画像符号化処理の制御を行う。
【０１３１】
前述したような構成となる画像符号化装置は次のようにして動作する。
【０１３２】
動画像符号化部１０３は、前述した第一の実施の形態の場合と同様に、制御部４０２による制御のもと、画像入力部１０２からの撮影画像に対応した画像データを動画像符号化して符号化動画像データを送信部１０５に供給すると共に前記動画像符号化の過程で得られる動き情報を制御部４０２に供給する。切出し部４０１は、制御部４０２による制御のもと、画像入力部１０２からの撮影画像に対応した画像データから前記撮影画像の一部となる注目部分領域に対応した画像データを切出す。静止画像符号化部１０４は、制御部４０２による制御のもと、切出し部４０１にて得られた注目部分領域に対応した画像データを静止画像符号化して符号化静止画像データを送信部１０５に供給する。そして、送信部１０５が前記撮影画像に対応した符号化動画像データ及び注目部分領域に対応した符号化静止画像データを受信部１０８に通信回線１０７を介して送信する。
【０１３３】
前述したような画像符号化装置の動作過程において、制御部４０２は、図８に示す手順に従って処理を行う。この処理は、図８に示す手順に対応したプログラムをＣＰＵが実行することによりなされる。なお、図８において、図２に示す処理ブロックに対応する処理ブロックについては同一の参照符号が付されている。
【０１３４】
図８において、受信部１０８が設けられた例えばモニタ装置側からの送信指示の待ち状態（Ｓ１０１）にある制御部４０２は、前記送信指示を受信すると（Ｓ１０１でＹＥＳ）、動画像符号化部１０３に動画像符号化処理を開始させる（Ｓ１０２）。これにより、動画像符号化部１０３は、画像入力部１０２からの撮影画像に対応した画像データを動画像符号化する。制御部４０２は、動画像符号化部１０３が前記画像データを動画像符号化する過程で生成する動き情報を取得する（Ｓ１０３）。そして、制御部４０２は、前記動き情報に基づいて、前述した第一の実施の形態と同様にして、前記画像データにて表される前記撮影画像の領域において注目部分領域を特定する（Ｓ１０４）。例えば、異常が発生したとみなしうる画像の動きが生じた部分領域が注目部分領域として特定される。
【０１３５】
次に、制御部４０２は、動画像符号化部１０３に入力される画像データの解像度情報と前記画像データにて表される撮影画像において特定された注目部分領域に関する情報に基づいて切出すべき前記注目部分領域の位置情報を生成し、その位置情報を切出し部４０１供給する（Ｓ４０１）。これにより、切出し部４０１は、前記位置情報に基づいて前記撮影画像に対応した画像データから前記注目部分領域に対応した画像データを切出し、その切出した画像データを静止画像符号化部１０４に供給する。前記位置情報を生成した後、制御部４０２は、前述した第一の実施の形態の場合と同様にして、前記注目部分領域について比較的高画質の復元静止画が得られるように、静止画像符号化部１０４が設定すべきパラメータを決定する（Ｓ４０２）。
【０１３６】
そして、制御部４０２は、前記パラメータを前記切出された注目部分領域に対応した画像データの解像度情報と共に静止画像符号化部１０４に供給し、静止画像符号化部１０４に静止画像符号化処理を開始させる（Ｓ１０６）。これにより、静止画像符号化部１０４は、切出し部４０１から供給される前記注目部分領域に対応する画像データを制御部４０２から供給されるその画像データの解像度情報及びパラメータに基づいて静止符号化する。そして、静止画像符号化部１０４は、前記符号化によって生成された前記注目部分領域についての符号化静止画像データを出力する。
【０１３７】
制御部４０２は、静止画像符号化部１０４に対してパラメータを設定した後、モニタ装置側からの送信指示が継続されているか否かを判定し（Ｓ１０７）、前記送信指示が継続されている間（Ｓ１０７でＹＥＳ）、前述した処理（Ｓ１０２〜Ｓ１０４、Ｓ４０１、Ｓ４０２、Ｓ１０６）を繰り返し実行する。
【０１３８】
このような画像符号化装置によれば、撮影画像中において、例えば、異常が発生したとみなしうる画像の動きが生じた注目部分領域についてのみ、比較的高画質の復元静止画像が得られるようなパラメータに従って静止画像符号化がなされる。従って、必要な領域についてのみ復元静止画像の画質を高く保持しつつ、静止画像符号化データの効率的な送信や蓄積を担保するような静止画像符号化が可能となる。
【０１３９】
なお、前述した画像符号化装置においては、注目部分領域の特定が前述した第一の実施の形態の場合と同様にしてなされたが、前述した第二の実施の形態の場合（動画像符号化すべき画像データの解像度と静止画像符号化すべき画像データの解像度を考慮）と同様にして前記注目部分領域を特定することも、また、前述した第三の実施の形態の場合（撮影条件の変化を考慮）と同様にして前記注目部分領域を特定することもできる。
【０１４０】
前述した第一乃至第四の形態それぞれに係る画像符号化装置では、符号化動画像データ及び符号化静止画像データを例えばモニタ装置に送信するものであったが、前記符号化動画像データ及び符号化静止画像データのいずれか一方または双方を記憶装置に蓄積させるものであってもよい。また、前記符号化動画像データ及び符号化静止画像データの送信タイミングや蓄積タイミングは任意に設定することができる。
【産業上の利用可能性】
【０１４１】
以上、説明したように、本発明に係る画像符号化装置は、撮影手段からの撮影画像に対応した画像データを静止画像符号化する際に用いられるべきパラメータを前記画像データの動画像符号化に際して得られる動き情報に応じて制御することにより、符号化静止画像データの効率的な送信や蓄積を担保し得るようになるという効果を有し、撮影ユニットからの撮影画像に対応した画像データから符号化動画像データ及び符号化静止画像データを生成するようにした画像符号化装置として有用である。
【図面の簡単な説明】
【０１４２】
【図１】本発明の第一の実施の形態に係る画像符号化装置を示すブロック図
【図２】図１に示す画像符号化装置における制御部での処理手順を示すフローチャート
【図３】本発明の第二の実施の形態に係る画像符号化装置を示すブロック図
【図４】図２に示す画像符号化装置における制御部での処理手順を示すフローチャート
【図５】本発明の第三の実施の形態に係る画像符号化装置を示すブロック図
【図６】図５に示す画像符号化装置における制御部での処理手順を示すフローチャート
【図７】本発明の第四の実施の形態に係る画像符号化装置を示すブロック図
【図８】図７に示す画像符号化装置における制御部での処理手順を示すフローチャート
【符号の説明】
【０１４３】
１０  画像符号化装置
１０１、３０１  撮影部
１０２  画像入力部
１０３  動画像符号化部
１０４  静止画像符号化部
１０５  送信部
１０６、２０２、３０２、４０２  制御部
１０７  通信回線
１０８  受信部
２０１  解像度変換部
４０１  切出し部
【図１】
2005295424.tif 000003
【図２】
2005295424.tif 000004
【図３】
2005295424.tif 000005
【図４】
2005295424.tif 000006
【図５】
2005295424.tif 000007
【図６】
2005295424.tif 000008
【図７】
2005295424.tif 000009
【図８】
2005295424.tif 000010