(57)【要約】【課題】画質を良好に保ちながらも動画像信号全体の符号量削減を可能とし、かつ、処理の簡素化を図ることができる動画像符号化装置を提供する。【解決手段】対象物検出部２は、動画像Ｓｘを構成する複数の画像（例えば、フレーム）の各々について、画像単位で特定の対象物の有無を検出する。画像符号化部１は、対象物検出部２による検出結果に応じて、画像単位で符号化特性（例えば、量子化幅）を変更する。１つの画像内で、対象物領域とそれ以外の領域とで、画質の不連続感がないようにできる。【選択図】  図１
2004236142.tif 000002
【特許請求の範囲】
【請求項１】
時系列に並んだ複数の画像から成る動画像信号を入力とし、入力された前記動画像信号の符号化を行い、符号を出力する画像符号化手段と、
前記動画像信号を構成する前記複数の画像の各々について、画像単位で特定の対象物の有無を検出する対象物検出手段と、を備え、
前記対象物検出手段による検出結果に応じて、前記画像符号化手段は、前記動画像信号を構成する前記複数の画像の各々について、画像単位で符号化特性を変更する、ことを特徴とする動画像符号化装置。
【請求項２】
前記画像符号化手段は、所定時間当たりの符号出力量に応じて、前記符号化特性を変更する、ことを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
前記対象物検出手段は、所定の閾値に基いて、前記特定の対象物の有無を検出し、
前記対象物検出手段は、所定時間当たりの符号出力量に応じて、前記所定の閾値を変更する、ことを特徴とする請求項１又は２記載の動画像符号化装置。
【請求項４】
被写体を撮像して前記動画像信号を生成し、前記画像符号化手段へ前記動画像信号を出力する撮像手段、をさらに備え、
前記対象物検出手段は、検出した前記特定の対象物についての画像内の領域情報を生成し、
前記撮像手段は、前記領域情報に基づいて、撮影条件を変更する、ことを特徴とする請求項１から３記載の動画像符号化装置。
【請求項５】
前記対象物検出手段が、前記特定の対象物を検出しなかった前記画像に対しては、前記画像符号化手段は、符号量を抑えるように前記符号化特性を変更する、ことを特徴とする請求項１から４記載の動画像符号化装置。
【請求項６】
前記画像符号化手段は、前記所定時間当たりの前記符号出力量が、所定値を超えた場合、符号量を抑えるように前記符号化特性を変更する、ことを特徴とする請求項２記載の動画像符号化装置。
【請求項７】
前記対象物検出手段は、前記所定時間当たりの前記符号出力量が、所定値を超えた場合、符号量を抑えるように前記所定の閾値を変更する、ことを特徴とする請求項３記載の動画像符号化装置。
【請求項８】
前記画像符号化手段は、
入力された前記画像に対して直交変換処理を施して、直交変換係数を出力する直交変換手段と、
前記直交変換手段が出力した前記直交変換係数に対して、量子化処理を施して、量子化係数を出力する量子化手段と、
前記量子化手段が出力した前記量子化係数に対して、符号化処理を施して、符号を出力する符号化手段と、を含み、
前記量子化手段は、前記対象物検出手段による検出結果に応じて、前記符号化特性としての量子化特性を変更する、ことを特徴とする請求項１から７記載の動画像符号化方装置。
【請求項９】
前記画像符号化手段は、
前記符号化手段が出力した前記符号を保持した後、伝送路へ送出する符号出力手段と、
前記符号出力手段が保持している前記符号の容量に基づいて、制御信号を出力するレート制御手段と、をさらに含み、
前記量子化手段は、前記対象物検出手段による検出結果、及び、前記制御信号、に基づいて、前記量子化特性を変更する、ことを特徴とする請求項８記載の動画像符号化装置。
【請求項１０】
前記画像符号化手段は、
前記符号化手段が出力した前記符号を保持した後、伝送路へ送出する符号出力手段と、
前記符号出力手段が保持している前記符号の容量に基づいて、制御信号を出力するレート制御手段と、をさらに含み、
前記対象物検出手段は、所定の閾値に基いて、前記特定の対象物の有無を検出し、
前記対象物検出手段は、前記制御信号に基づいて、前記所定の閾値を変更する、ことを特徴とする請求項８記載の動画像符号化装置。
【請求項１１】
前記画像符号化手段は、
前記符号化手段が出力した前記符号を保持した後、伝送路へ送出する符号出力手段と、
前記符号出力手段が保持している前記符号の容量に基づいて、制御信号を出力するレート制御手段と、をさらに含み、
前記量子化手段は、前記対象物検出手段による検出結果、及び、前記制御信号、に基づいて、前記量子化特性を変更し、
前記対象物検出手段は、所定の閾値に基いて、前記特定の対象物の有無を検出し、
前記対象物検出手段は、前記制御信号に基づいて、前記所定の閾値を変更する、ことを特徴とする請求項８記載の動画像符号化装置。
【請求項１２】
前記領域情報は、前記特定の対象物についての画像内の、位置、大きさ、あるいは、位置及び大きさの双方、に関する情報である、ことを特徴とする請求項４記載の動画像符号化装置。
【請求項１３】
前記特定の対象物は、人物、あるいは、人間の顔、である、ことを特徴とする請求項１から１２記載の動画像符号化装置。
【請求項１４】
複数の、請求項１記載の動画像符号化装置と、
前記複数の動画像符号化装置が出力した複数の符号を多重化して、多重化符号を生成する符号多重化手段と、
前記多重化符号を記録する記録手段と、を備える、ことを特徴とする動画像符号化システム。
【請求項１５】
複数の、請求項１記載の動画像符号化装置、を備え、
前記動画像符号化装置は、所定の伝送路へ、生成した符号を送出する、ことを特徴とする動画像符号化システム。
【請求項１６】
時系列に並んだ複数の画像から成る動画像信号を受け取って、受け取った前記動画像信号の符号化を行う符号化ステップと、
前記動画像信号を構成する前記複数の画像の各々について、画像単位で特定の対象物の有無を検出する検出ステップと、を含み、
前記符号化ステップは、
前記検出ステップによる検出結果に応じて、前記動画像信号を構成する前記複数の画像の各々について、画像単位で符号化特性を変更する変更ステップ、を含む、ことを特徴とする動画像符号化方法。
【請求項１７】
前記変更ステップでは、所定時間当たりの符号出力量に応じて、前記符号化特性を変更する、ことを特徴とする請求項１６記載の動画像符号化方法。
【請求項１８】
前記検出ステップでは、所定の閾値に基いて、前記特定の対象物の有無を検出し、
前記検出ステップは、
所定時間当たりの符号出力量に応じて、前記所定の閾値を変更するステップ、を含む、ことを特徴とする請求項１６又は１７記載の動画像符号化方法。
【請求項１９】
被写体を撮像して前記動画像信号を生成する撮像ステップ、をさらに含み、
前記検出ステップは、
検出した前記特定の対象物についての画像内の領域情報を生成するステップ、を含み、
前記撮像ステップは、
前記領域情報に基づいて、撮影条件を変更するステップ、を含む、ことを特徴とする請求項１６から１８記載の動画像符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、特定の対象物を検出して、その検出結果に基づいて符号化を行う動画像符号化装置及びその関連技術に関する。
【０００２】
【従来の技術】
図７は、従来の動画像符号化装置のブロック図である。この技術を記載した具体的文献として、特許文献１をあげることができる。さて、図７に示すように、この従来の動画像符号化装置は、画像符号化部１０００および対象物抽出部２０００、を具備する。
【０００３】
画像符号化部１０００は、入力動画像を圧縮符号化する。
対象物抽出部２０００は、入力動画像から特定の対象物を抽出する。そして、対象物抽出部２０００は、画像符号化部１０００に対して、抽出した特定の対象物の領域（以下、「対象物領域」と呼ぶ。）を示す抽出信号を与える。
【０００４】
図８は、図７の従来の動画像符号化装置の動作の説明図である。図８に示すように、フレーム画像３０００は、所定数の画素からなるブロック４０００（例えば、１６×１６画素のブロック）に分割されている。
【０００５】
また、フレーム画像３０００は、対象物５０００を含むブロックの集合である対象物領域６０００と、その他の領域と、に分類される。
【０００６】
以下、図８を例として、図７の従来の動画像符号化装置の動作を説明する。
対象物抽出部２０００は、フレーム画像３０００内の対象物５０００を抽出し、対象物５０００を含むブロックの集合である対象物領域６０００を定める。
【０００７】
このように、フレーム画像３０００のブロック単位で、対象物５０００が含まれるか否かが判断される。
【０００８】
そして、対象物抽出部２０００は、画像符号化部１０００に対して、対象物領域６０００を示す抽出信号を出力する。
【０００９】
一方、画像符号化部１０００は、符号化処理をブロック単位で行い、符号化データを出力する。
【００１０】
この際、画像符号化部１０００は、対象物抽出部２０００から入力された抽出信号が示す対象物領域６０００に含まれるブロック４０００に対しては、多くの符号量を与え、対象物領域６０００以外の領域に含まれるブロック４０００に対しては、符号量を少なくする。
【００１１】
このようにして、対象物５０００の画質を高く保ちつつ、全体の符号量を抑えることで、画質と圧縮率の両立を図っている。
【００１２】
【特許文献１】特開平７−２２２０４８号公報（第３−５頁、図１、図２）
【００１３】
【発明が解決しようとする課題】
しかしながら、上記の従来の動画像符号化装置では、対象物領域以外の領域に対して符号量を抑えるため、対象物領域以外の領域では画質が低下して、対象物領域と、対象物領域以外の領域と、の間に不連続感が生じるという問題があった。
【００１４】
さらに、対象物領域を求めるために、ブロック単位で対象物の有無を求める必要があり、処理が複雑化するという問題があった。
【００１５】
そこで、本発明は、画質を良好に保ちながらも、動画像信号全体の符号量削減を可能とし、かつ、処理の簡素化を図ることができる動画像符号化装置及びその関連技術を提供することを目的とする。
【００１６】
【課題を解決するための手段】
請求項１記載の動画像符号化装置では、時系列に並んだ複数の画像から成る動画像信号を入力とし、入力された動画像信号の符号化を行い、符号を出力する画像符号化手段と、動画像信号を構成する複数の画像の各々について、画像単位で特定の対象物の有無を検出する対象物検出手段と、を備え、対象物検出手段による検出結果に応じて、画像符号化手段は、動画像信号を構成する複数の画像の各々について、画像単位で符号化特性を変更する。
【００１７】
この構成によれば、画像（例えば、フレーム、又はフィールド等）単位で特定の対象物の有無を検出し、画像単位で符号化特性を変更する。
【００１８】
従って、１つの画像内で、対象物領域とそれ以外の領域とで、画質が異なることがなく、不連続感が生じることを防止できる。
【００１９】
その結果、画像を構成するブロック単位で特定の対象物を検出し、ブロック単位で符号化特性を変更する場合と比較して、画質を良好に保ちながらも、動画像信号全体の符号量削減が可能になる。
【００２０】
また、画像単位で、特定の対象物の有無を検出するので、画像を構成するブロック単位で特定の対象物を検出する場合と比較して、処理の簡素化を図ることができる。
【００２１】
請求項２記載の動画像符号化装置では、画像符号化手段は、所定時間当たりの符号出力量に応じて、符号化特性を変更する。
【００２２】
この構成によれば、動画像符号化装置からの符号出力を一定のレートに保つことができる。
【００２３】
請求項３記載の動画像符号化装置では、対象物検出手段は、所定の閾値に基いて、特定の対象物の有無を検出し、対象物検出手段は、所定時間当たりの符号出力量に応じて、所定の閾値を変更する。
【００２４】
この構成によれば、動画像符号化装置からの符号出力を一定のレートに保つことができる。
【００２５】
請求項４記載の動画像符号化装置では、被写体を撮像して動画像信号を生成し、画像符号化手段へ動画像信号を出力する撮像手段、をさらに備え、対象物検出手段は、検出した特定の対象物についての画像内の領域情報を生成し、撮像手段は、領域情報に基づいて、撮影条件を変更する。
【００２６】
この構成によれば、特定の対象物についての画像内の領域情報を受けて、撮影条件が変更されるため、良好な撮像画像を得ることができる。
【００２７】
請求項５記載の動画像符号化装置では、対象物検出手段が、特定の対象物を検出しなかった画像に対しては、画像符号化手段は、符号量を抑えるように符号化特性を変更する。
【００２８】
この構成によれば、特定の対象物が検出された画像の画質を良好に保ちつつ、動画像信号全体の符号量削減が可能になる。
【００２９】
請求項６記載の動画像符号化装置では、画像符号化手段は、所定時間当たりの符号出力量が、所定値を超えた場合、符号量を抑えるように符号化特性を変更する。
【００３０】
この構成によれば、動画像符号化装置からの符号出力を一定のレートに保つことができる。
【００３１】
請求項７記載の動画像符号化装置では、対象物検出手段は、所定時間当たりの符号出力量が、所定値を超えた場合、符号量を抑えるように所定の閾値を変更する。
【００３２】
この構成によれば、動画像符号化装置からの符号出力を一定のレートに保つことができる。
【００３３】
請求項８記載の動画像符号化装置では、画像符号化手段は、入力された画像に対して直交変換処理を施して、直交変換係数を出力する直交変換手段と、直交変換手段が出力した直交変換係数に対して、量子化処理を施して、量子化係数を出力する量子化手段と、量子化手段が出力した量子化係数に対して、符号化処理を施して、符号を出力する符号化手段と、を含み、量子化手段は、対象物検出手段による検出結果に応じて、符号化特性としての量子化特性を変更する。
【００３４】
この構成によれば、画像（例えば、フレーム、又はフィールド等）単位で特定の対象物の有無を検出し、画像単位で量子化特性（例えば、量子化幅）を変更する。
【００３５】
従って、１つの画像内で、対象物領域とそれ以外の領域とで、画質が異なることがなく、不連続感が生じることを防止できる。
【００３６】
その結果、画像を構成するブロック単位で特定の対象物を検出し、ブロック単位で符号化特性を変更する場合と比較して、画質を良好に保ちながらも、動画像信号全体の符号量削減が可能になる。
【００３７】
請求項９記載の動画像符号化装置では、画像符号化手段は、符号化手段が出力した符号を保持した後、伝送路へ送出する符号出力手段と、符号出力手段が保持している符号の容量に基づいて、制御信号を出力するレート制御手段と、をさらに含み、量子化手段は、対象物検出手段による検出結果、及び、制御信号、に基づいて、量子化特性を変更する。
【００３８】
この構成によれば、符号出力手段が保持している符号の容量に応じて、量子化特性が変更されるので、動画像符号化装置からの符号出力を一定のレートに保つことができる。
【００３９】
請求項１０記載の動画像符号化装置では、画像符号化手段は、符号化手段が出力した符号を保持した後、伝送路へ送出する符号出力手段と、符号出力手段が保持している符号の容量に基づいて、制御信号を出力するレート制御手段と、をさらに含み、対象物検出手段は、所定の閾値に基いて、特定の対象物の有無を検出し、対象物検出手段は、制御信号に基づいて、所定の閾値を変更する。
【００４０】
この構成によれば、符号出力手段が保持している符号の容量に応じて、対象物検出手段の所定の閾値が変更されるので、動画像符号化装置からの符号出力を一定のレートに保つことができる。
【００４１】
請求項１１記載の動画像符号化装置では、画像符号化手段は、符号化手段が出力した符号を保持した後、伝送路へ送出する符号出力手段と、符号出力手段が保持している符号の容量に基づいて、制御信号を出力するレート制御手段と、をさらに含み、量子化手段は、対象物検出手段による検出結果、及び、制御信号、に基づいて、量子化特性を変更し、対象物検出手段は、所定の閾値に基いて、特定の対象物の有無を検出し、対象物検出手段は、制御信号に基づいて、所定の閾値を変更する。
【００４２】
この構成によれば、符号出力手段が保持している符号の容量に応じて、量子化特性と対象物検出手段の所定の閾値とが変更されるので、動画像符号化装置からの符号出力を一定のレートに保つことができる。
【００４３】
請求項１２記載の動画像符号化装置では、領域情報は、特定の対象物についての画像内の、位置、大きさ、あるいは、位置及び大きさの双方、に関する情報である。
【００４４】
この構成によれば、特定の対象物についての画像内の、位置、大きさ、あるいは、位置及び大きさの双方、に関する情報を受けて、撮像手段の撮影条件（例えば、撮影方向、画角、あるいは、撮影方向及び画角）が制御される。その結果、良好な撮像画像を得ることができる。
【００４５】
請求項１３記載の動画像符号化装置では、特定の対象物は、人物、あるいは、人間の顔、である。
【００４６】
この構成によれば、画像（例えば、フレーム、又はフィールド等）単位で人物又は人間の顔の有無を検出し、画像単位で符号化特性を変更する。
【００４７】
従って、１つの画像内で、人物又は人間の顔領域とそれ以外の領域とで、画質が異なることがなく、不連続感が生じることを防止できる。
【００４８】
その結果、画像を構成するブロック単位で人物又は人間の顔を検出し、ブロック単位で符号化特性を変更する場合と比較して、画質を良好に保ちながらも、動画像信号全体の符号量削減が可能になる。
【００４９】
また、画像単位で、人物又は人間の顔の有無を検出するので、画像を構成するブロック単位で特定の対象物を検出する場合と比較して、処理の簡素化を図ることができる。
【００５０】
請求項１４記載の動画像符号化システムでは、複数の、請求項１記載の動画像符号化装置と、複数の動画像符号化装置が出力した複数の符号を多重化して、多重化符号を生成する符号多重化手段と、多重化符号を記録する記録手段と、を備える。
【００５１】
この構成によれば、多重化符号についての符号量の割当が適切に行われ、記録に要する容量を低減することができる。
【００５２】
請求項１５記載の動画像符号化システムでは、複数の、請求項１記載の動画像符号化装置、を備え、動画像符号化装置は、所定の伝送路へ、生成した符号を送出する。
【００５３】
この構成によれば、伝送路を通過する全体の符号量が抑えられ、伝送路の伝送容量を効率的に使用することができる。
【００５４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（実施の形態１）
【００５５】
図１は、本発明の実施の形態１おける動画像符号化装置のブロック図である。図１に示すように、この動画像符号化装置は、画像符号化部１および対象物検出部２、を具備する。画像符号化部１は、直交変換部１１、量子化部１２、及び、可変長符号化部１３、を含む。
【００５６】
画像符号化部１は、入力された動画像Ｓｘを高能率符号化して、符号生成を行う。具体的には、次の通りである。
【００５７】
直交変換部１１は、動画像Ｓｘに対して、直交変換処理を施し、直交変換係数を生成する。
【００５８】
量子化部１２は、直交変換部１１が生成した直交変換係数に対して、量子化処理を施して、量子化係数を生成する。
【００５９】
可変長符号化部１３は、量子化部１２が生成した量子化係数に対して、可変長符号化処理を施して、符号化データＳｙを生成する。
【００６０】
一方、対象物検出部２は、動画像Ｓｘに含まれる特定の対象物を検出して、対象物検出信号Ｓ１を出力する。
【００６１】
以下、具体例を挙げながら、実施の形態１の動画像符号化装置の動作の詳細を説明する。
【００６２】
図２は、図１の動画像符号化装置の動作の説明図である。
図２において、各フレームａ〜ｄは、時系列に入力される動画像のフレーム画像である。
【００６３】
そして、フレームｂ，ｃには、特定の対象物Ａが含まれ、フレームａ，ｄには、特定の対象物Ａが含まれていない。
【００６４】
さて、対象物検出部２は、入力動画像Ｓｘのフレームａ〜ｄ毎に特定の対象物Ａの有無を検出する。
【００６５】
対象物検出部２は、例えば、テンプレートマッチング法により、対象物Ａの有無を検出する。
【００６６】
テンプレートマッチング法とは、基準となるテンプレート画像と、特定の対象物を検出する画像と、のマッチングにより、特定の対象物を検出する方法である。
【００６７】
テンプレートマッチング法の第１の例を説明する。この例では、基準となるテンプレート画像と、特定の対象物を検出する画像と、の差分を求めて、この差分が所定の閾値を下回ったら、当該画像に特定の対象物が存在するとする。
【００６８】
テンプレートマッチング法の第２の例を説明する。この例では、基準となるテンプレート画像と、特定の対象物を検出する画像と、の類似値を求めて、この類似値が所定の閾値を超えたら、当該画像に特定の対象物が存在するとする。この場合、例えば、特開２００２−３０４６２７号公報に開示されているテンプレートマッチング法を使用できる。
【００６９】
なお、上記の例以外の周知のテンプレートマッチング法を使用できることは言うまでもないし、また、テンプレートマッチング法以外の、特定の対象物の検出を行う周知の技術を使用できることも言うまでもない。
【００７０】
さて、対象物検出部２は、対象物Ａを検出したときは、量子化部１２に対して、対象物検出信号Ｓ１を与える。
【００７１】
量子化部１２は、対象物検出信号Ｓ１を受けて、量子化特性（例えば、量子化幅）を変更し、画像符号化部１による生成符号量を変える。
【００７２】
即ち、フレームａ，ｄのように、フレーム内に対象物Ａが存在しない場合は、量子化部１２は、画像符号化部１による生成符号量を抑えることができるような、量子化特性に変更する。
【００７３】
一方、フレームｂ，ｃのように、フレーム内に対象物Ａが存在する場合は、量子化部１２は、画像符号化部１により高画質の符号化を実現できるような、量子化特性に変更する。
【００７４】
この点を、量子化特性の例として、量子化幅を挙げて説明する。
フレームａ，ｄのように、フレーム内に対象物Ａが存在しない場合は、量子化部１２は、量子化幅を大きくする。
【００７５】
これにより、フレーム内に対象物Ａが存在しない場合は、画像符号化部１による生成符号量を抑えることができる。
【００７６】
一方、フレームｂ，ｃのように、フレーム内に対象物Ａが存在する場合は、量子化部１２は、量子化幅を小さくする。これにより、フレーム内に対象物Ａが存在する場合は、画像符号化部１による発生符号量が多くなり、高画質の符号化を実現できる。
【００７７】
さて、以上のように、本実施の形態では、フレーム単位で特定の対象物の有無を検出し、画像単位で符号化特性を変更する。
【００７８】
従って、１つのフレーム内で、対象物領域とそれ以外の領域とで、画質が異なることがなく、不連続感が生じることを防止できる。
【００７９】
その結果、画像を構成するブロック単位で特定の対象物を検出し、ブロック単位で符号化特性を変更する場合と比較して、画質を良好に保ちながらも、動画像信号全体の符号量削減が可能になる。
【００８０】
また、フレーム単位で、特定の対象物の有無を検出するので、画像を構成するブロック単位で特定の対象物を検出する場合と比較して、処理の簡素化を図ることができる。
【００８１】
なお、上記では、画像符号化部１は簡易な構成で示されているが、画像符号化部１に、動き補償予測を行うための機能（例えば、符号化対象画像と予測画像との差分を求めて予測誤差画像を生成する減算部、動きベクトルを検出する動きベクトル検出部、動きベクトルと参照画像とを用いて予測画像を生成する動き補償部、量子化部１２が生成した量子化係数に対して逆量子化を施して直交変換係数を生成する逆量子化部、逆量子化部が生成した直交変換係数に対して逆直交変換を施して予測誤差画像を生成する逆直交変換部、及び、逆直交変換部が生成した予測誤差画像と動き補償部が生成した予測画像とを加算して参照画像を生成する加算部）を加えた場合でも同様の効果が得られる。
【００８２】
また、上記で、フレームとして取り扱っている画像は、これに限るものではなく、例えば、フィールド構造の画像でもよい。
【００８３】
（実施の形態２）
図３は、本発明の実施の形態２における動画像符号化装置のブロック図である。なお、図３において、図１と同様の部分については、同一の符号を付して、適宜説明を省略する。この動画像符号化装置は、例えば、送信装置として用いることができる。
【００８４】
図３に示すように、この動画像符号化装置は、画像符号化部３、及び、対象物検出部２、を具備する。
【００８５】
画像符号化部３は、直交変換部１１、量子化部１２、可変長符号化部１３、符号出力部３１、及び、レート制御部３２、を含む。
【００８６】
符号出力部３１は、可変長符号化部１３が生成する符号化データを受けて、その符号を保持するバッファとしての役割を果たす。
【００８７】
そして、符号出力部３１は、保持した符号化データを、出力信号Ｓｙとして出力する。
レート制御部３２は、画像符号化部３の出力レート（例えば、出力ビットレート）を制御する。
【００８８】
以下、動作の詳細を説明する。
レート制御部３２は、符号出力部３１から、符号出力部３１のバッファ占有率を表す信号Ｓ２受けて、バッファ占有率が所定値を超えた場合は（符号出力部３１からの出力符号量が所定の範囲を越える場合は）、量子化部１２へ制御信号Ｓ３を、対象物検出部２へ制御信号Ｓ４を出力する。
【００８９】
ここで、符号出力部３１のバッファ占有率は、符号出力部３１が保持している符号の容量を間接的に示す情報の一例である。
【００９０】
また、符号出力部３１のバッファ占有率は、符号出力部３１からの所定時間当たりの符号出力量を間接的に示す情報の一例である。
【００９１】
量子化部１２は、対象物検出信号Ｓ１に加え、さらに、制御信号Ｓ３を受けて、量子化特性を変更する。
【００９２】
具体的には、量子化部１２は、符号出力部３１のバッファ占有率が所定値を超えた場合、制御信号Ｓ３を受けて、可変長符号化部１３による発生符号量が抑制されるように、量子化特性を変更する。
【００９３】
例えば、量子化特性の例として、量子化幅を挙げると、量子化部１２は、符号出力部３１のバッファ占有率が所定値を超えた場合、制御信号Ｓ３を受けて、量子化幅を大きくする。
【００９４】
なお、対象物検出信号Ｓ１を受けたときの量子化部１２の処理は実施の形態１と同様である。
【００９５】
対象物検出部２は、制御信号Ｓ４を受けて、特定の対象物を検出する際の条件を変更する。
【００９６】
対象物検出部２が、例えば、実施の形態１で説明した第１の例によるテンプレートマッチング法を採用している場合は、対象物検出部２は、制御信号Ｓ４を受けて、所定の閾値を下げる。
【００９７】
対象物検出部２が、例えば、実施の形態１で説明した第２の例によるテンプレートマッチング法を採用している場合は、対象物検出部２は、制御信号Ｓ４を受けて、所定の閾値を上げる。
【００９８】
従って、これらの場合、特定の対象物を検出する頻度が少なくなる。このため、量子化部１２が、量子化幅（量子化特性の一例）を大きくする頻度が多くなって、可変長符号化部１３による全体としての発生符号量が抑制される。
【００９９】
以上のように、レート制御部３２は、バッファ占有率が所定値を超えた場合は（符号出力部３１からの出力符号量が所定の範囲を越える場合は）、生成符号量を抑制する役割を有する。
【０１００】
さて、以上のように、本実施の形態では、量子化部１２は、対象物検出部２からの対象物検出信号Ｓ１に加えて、レート制御部３２からの制御信号Ｓ３を受けて、量子化特性を制御する。
【０１０１】
さらに、対象物検出部２は、レート制御部１５からの制御信号Ｓ４を受けて、特定の対象物を検出する際の条件（例えば、所定の閾値）を変更する。
【０１０２】
これらのことから、画像符号化部３から出力される符号が一定のレートに保たれる。
【０１０３】
また、実施の形態２の動画像符号化装置は、実施の形態１の動画像符号化装置と同様の構成を具備しているで、実施の形態１と同様に、画質を良好に保ちながらも動画像信号全体の符号量削減を可能とし、かつ、処理の簡素化を図ることができる。
【０１０４】
なお、上記では、量子化部１２には制御信号Ｓ３を与え、対象物検出部２には制御信号Ｓ４を与えて、量子化部１２及び対象物検出部２の双方で、レート制御を行った。
【０１０５】
ただし、量子化部１２に制御信号Ｓ３を与え、量子化部１２だけで、レート制御を行ってもよいし、あるいは、対象物検出部２に制御信号Ｓ４を与えて、対象物検出部２だけで、レート制御を行ってもよい。
【０１０６】
また、上記では、画像符号化部３は簡易な構成で示されているが、画像符号化部３に、動き補償予測を行うための機能（例えば、実施の形態１で説明した、動き補償予測を行うための機能）を加えた場合でも同様の効果が得られる。
【０１０７】
（実施の形態３）
図４は、本発明の実施の形態３における動画像符号化装置のブロック図である。なお、図４において、図１と同様の部分については同一の符号を付して説明を省略する。この動画像符号化装置は、例えば、撮像装置として用いることができる。
【０１０８】
図４に示すように、この動画像符号化装置は、撮像部４、画像符号化部１、及び、対象物検出部２、を具備する。
【０１０９】
図４において、画像符号化部１及び対象物検出部２は、図１に示した実施の形態１と同様の構成である。
【０１１０】
撮像部４は、光学系（図示せず）、撮像素子（図示せず）、および信号処理回路（図示せず）などを備え、被写体を撮像して、動画像信号Ｓｘを画像符号化部１及び対象物検出部２へ出力する。
【０１１１】
さて、本実施の形態による動画像符号化装置の詳細を説明する。
対象物検出部２は、撮像部４からの動画像信号Ｓｘを受けて、画像内の特定の対象物を検出して、画像内での特定の対象物の位置及び占有面積を表す情報Ｓ５を、撮像部４に与える。
【０１１２】
ここで、画像内での特定の対象物の位置及び占有面積を表す情報Ｓ５は、画像内での特定の対象物の領域情報の一例である。
【０１１３】
撮像部４では、画像内での特定の対象物の位置及び占有面積を表す情報Ｓ５に基づいて、撮影方向及び画角が制御される。
【０１１４】
即ち、撮像部４では、特定の対象物の画像内での占有面積の情報に基いて、画像内での特定の対象物が所定の範囲に収まるように、特定の対象物が小さい場合は拡大、大きい場合は縮小するように、画角が制御され、また、画像内での特定の対象物の位置の情報に基づいて、特定の対象物が画面の中央に位置するように、撮影方向が制御される。
【０１１５】
さて、上述のように、本実施の形態では、対象物検出部２から、特定の対象物の画像内での位置（方向）及び占有面積（占有率）を受けて、撮像部４の撮影方向及び画角が制御される。その結果、良好な動画像信号Ｓｘを得ることができる。
【０１１６】
しかも、実施の形態１と同様の画像符号化部１及び対象物検出部２を具備しているため、実施の形態１と同様に、画質を良好に保ちながらも動画像信号全体の符号量削減を可能とし、かつ、処理の簡素化を図ることができる。
【０１１７】
なお、図４の画像符号化部１に代えて、図３の画像符号化部３を用いることもできる。
【０１１８】
また、上記では、特定の対象物の領域情報としての位置及び占有面積を表す情報Ｓ５に基づいて、撮影方向及び画角の双方を制御している。
【０１１９】
ただし、特定の対象物の領域情報としての位置を表す情報に基づいて、撮影方向だけを制御することもできるし、また、特定の対象物の領域情報としての占有面積を表す情報に基づいて、画角だけを制御することもできる。
【０１２０】
また、上記では、画像符号化部１は簡易な構成で示されているが、画像符号化部１に、動き補償予測を行うための機能（例えば、実施の形態１で説明した、動き補償予測を行うための機能）を加えた場合でも同様の効果が得られる。
【０１２１】
（実施の形態４）
図５は、本発明の実施の形態４における動画像符号化システムのブロック図である。この動画像符号化システムは、例えば、監視システムとして用いることができる。
【０１２２】
図５に示すように、この動画像符号化システムは、動画像符号化部Ｕ１〜Ｕｎ（ｎは２以上の自然数）、多重符号化部５、及び、記録部６、を具備する。
【０１２３】
さて、図５の動画像符号化部Ｕ１〜Ｕｎの各々として、実施の形態１の図１の動画像符号化装置を用いることができる。
【０１２４】
あるいは、図５の動画像符号化部Ｕ１〜Ｕｎの各々として、実施の形態２の図３の動画像符号化装置を用いることができる。
【０１２５】
あるいは、図５の動画像符号化部Ｕ１〜Ｕｎの各々として、実施の形態３の図４の動画像符号化装置を用いることができる。
【０１２６】
多重符号化部５は、動画像符号化部Ｕ１〜Ｕｎから出力された複数の符号Ｓｙ１〜Ｓｙｎの多重化を行い、多重化符号ＳＹを生成する。
【０１２７】
記録部６は、多重符号化部５から出力された多重化符号ＳＹを記録する。記録部６は、例えば、ハードディスクや光ディスクなどのデータ蓄積装置である。
【０１２８】
さて、本実施の形態による動画像符号化システムの詳細を説明する。
動画像符号化部Ｕ１〜Ｕｎの各々は、異なる画像の符号化を行い、異なる符号Ｓｙ１〜Ｓｙｎを、多重符号化部５に与える。
【０１２９】
この際、動画像符号化部Ｕ１〜Ｕｎの各々は、特定の対象物を検出した場合は、符号量を多く取り高画質の符号化を行い、逆に特定の対象物を検出しなかった場合は、画質を低下させても差し支えないため、符号量を抑えて符号化を行う。
【０１３０】
これにより、記録される多重化符号ＳＹには、注目する特定の対象物を含む画像に多くの符号量が与えられることになり、特定の対象物を含むフレームの画質を良好に保ちつつ、全体の符号量を極力抑制できる。
【０１３１】
このように、多重化符号ＳＹへの符号量の割当が適切に行われることにより、記録部６への記録に要する容量を低減することを可能にする。
【０１３２】
例えば、複数の動画像符号化装置Ｕ１〜Ｕｎを有する監視システムにおいて、時間当たりに必要となる記録容量を削減することができ、記録部６への記録時間を延ばすことができる。
【０１３３】
また、図５の動画像符号化部Ｕ１〜Ｕｎの各々として、実施の形態２の図３の動画像符号化装置を用いた場合は、さらに、多重化符号ＳＹの出力を一定レートに保つことができる。
【０１３４】
（実施の形態５）
図６は、本発明の実施の形態５における動画像符号復号化システムである。この動画像符号復号化システムは、例えば、通信システムとして用いることができる。
【０１３５】
図６に示すように、この動画像符号復号化システムは、動画像符号化部Ｕ１〜Ｕｎ（ｎは自然数）、及び、動画像復号化部ｕ１〜ｕｍ（ｍは自然数）、を具備する。
【０１３６】
ここで、動画像符号化部Ｕ１〜Ｕｎを包括的に表現する場合は、動画像符号化部ＵＮと表記し、動画像復号化部ｕ１〜ｕｍを包括的に表現する場合は、動画像復号化部ｕＭと表記する。
【０１３７】
また、動画像符号化部Ｕ１〜Ｕｎから出力された符号Ｓｙ１〜Ｓｙｎを包括的に表現する場合は、符号Ｓｙと表記し、動画像復号化部ｕ１〜ｕｍから出力された復号画像Ｓｘ１〜Ｓｘｍを包括的に表現する場合は、復号画像Ｓｘと表記する。
【０１３８】
ここで、例えば、動画像符号化部ＵＮは送信装置、動画像復号化部ｕＭは受信装置、として用いることができる。
【０１３９】
さて、図６の動画像符号化部ＵＮとして、実施の形態１の図１の動画像符号化装置を用いることができる。
【０１４０】
あるいは、図６の動画像符号化部ＵＮとして、実施の形態２の図３の動画像符号化装置を用いることができる。
【０１４１】
あるいは、図６の動画像符号化部ＵＮとして、実施の形態３の図４の動画像符号化装置を用いることができる。
【０１４２】
伝送路７は、動画像符号化部ＵＮから出力された符号Ｓｙを、宛先となっている動画像復号化部ｕＭに伝送する。
【０１４３】
動画像復号化部ｕＭは、動画像符号化部ＵＮから出力された符号Ｓｙを伝送路７から受信して、復号を行い復号画像Ｓｘを出力する。
【０１４４】
さて、本実施の形態による動画像符号復号化システムの詳細を説明する。
動画像符号化部Ｕ１〜Ｕｎの各々は、異なる画像の符号化を行い、生成された符号Ｓｙ１〜Ｓｙｎが、伝送路７を介して、宛先の動画像復号化部ｕ１〜ｕｍに送信され、宛先の動画像復号化部ｕ１〜ｕｍは、復号処理を施して復号画像Ｓｘ１〜Ｓｘｍを出力する。
【０１４５】
この際、動画像符号化部Ｕ１〜Ｕｎの各々は、特定の対象物を検出した場合は、符号量を多く取り高画質の符号化を行い、逆に特定の対象物を検出しなかった場合は、画質を低下させても差し支えないため、符号量を抑えて符号化を行う。
【０１４６】
これにより、伝送路７を通過する全体の符号量は抑えられ、伝送容量を効率的に使用することができる。
【０１４７】
なお、動画像符号化部Ｕ１〜Ｕｎの各々は、動画像復号化部ｕ１〜ｕｍのうち、どの動画像復号化部をも宛先とすることができることは言うまでもない。
【０１４８】
【発明の効果】
請求項１記載の動画像符号化装置では、画像（例えば、フレーム、又はフィールド等）単位で特定の対象物の有無を検出し、画像単位で符号化特性を変更する。
【０１４９】
従って、１つの画像内で、対象物領域とそれ以外の領域とで、画質が異なることがなく、不連続感が生じることを防止できる。
【０１５０】
その結果、画像を構成するブロック単位で特定の対象物を検出し、ブロック単位で符号化特性を変更する場合と比較して、画質を良好に保ちながらも、動画像信号全体の符号量削減が可能になる。
【０１５１】
また、画像単位で、特定の対象物の有無を検出するので、画像を構成するブロック単位で特定の対象物を検出する場合と比較して、処理の簡素化を図ることができる。
【０１５２】
請求項２記載の動画像符号化装置では、動画像符号化装置からの符号出力を一定のレートに保つことができる。
【０１５３】
請求項３記載の動画像符号化装置では、動画像符号化装置からの符号出力を一定のレートに保つことができる。
【０１５４】
請求項４記載の動画像符号化装置では、特定の対象物についての画像内の領域情報を受けて、撮影条件が変更されるため、良好な撮像画像を得ることができる。
【０１５５】
請求項５記載の動画像符号化装置では、特定の対象物が検出された画像の画質を良好に保ちつつ、動画像信号全体の符号量削減が可能になる。
【０１５６】
請求項６記載の動画像符号化装置では、動画像符号化装置からの符号出力を一定のレートに保つことができる。
【０１５７】
請求項７記載の動画像符号化装置では、動画像符号化装置からの符号出力を一定のレートに保つことができる。
【０１５８】
請求項８記載の動画像符号化装置では、画像（例えば、フレーム、又はフィールド等）単位で特定の対象物の有無を検出し、画像単位で量子化特性（例えば、量子化幅）を変更する。
【０１５９】
従って、１つの画像内で、対象物領域とそれ以外の領域とで、画質が異なることがなく、不連続感が生じることを防止できる。
【０１６０】
その結果、画像を構成するブロック単位で特定の対象物を検出し、ブロック単位で符号化特性を変更する場合と比較して、画質を良好に保ちながらも、動画像信号全体の符号量削減が可能になる。
【０１６１】
請求項９記載の動画像符号化装置では、符号出力手段が保持している符号の容量に応じて、量子化特性が変更されるので、動画像符号化装置からの符号出力を一定のレートに保つことができる。
【０１６２】
請求項１０記載の動画像符号化装置では、符号出力手段が保持している符号の容量に応じて、対象物検出手段の所定の閾値が変更されるので、動画像符号化装置からの符号出力を一定のレートに保つことができる。
【０１６３】
請求項１１記載の動画像符号化装置では、符号出力手段が保持している符号の容量に応じて、量子化特性と対象物検出手段の所定の閾値とが変更されるので、動画像符号化装置からの符号出力を一定のレートに保つことができる。
【０１６４】
請求項１２記載の動画像符号化装置では、特定の対象物についての画像内の、位置、大きさ、あるいは、位置及び大きさの双方、に関する情報を受けて、撮像手段の撮影条件（例えば、撮影方向、画角、あるいは、撮影方向及び画角）が制御される。その結果、良好な撮像画像を得ることができる。
【０１６５】
請求項１３記載の動画像符号化装置では、画像（例えば、フレーム、又はフィールド等）単位で人物又は人間の顔の有無を検出し、画像単位で符号化特性を変更する。
【０１６６】
従って、１つの画像内で、人物又は人間の顔領域とそれ以外の領域とで、画質が異なることがなく、不連続感が生じることを防止できる。
【０１６７】
その結果、画像を構成するブロック単位で人物又は人間の顔を検出し、ブロック単位で符号化特性を変更する場合と比較して、画質を良好に保ちながらも、動画像信号全体の符号量削減が可能になる。
【０１６８】
また、画像単位で、人物又は人間の顔の有無を検出するので、画像を構成するブロック単位で特定の対象物を検出する場合と比較して、処理の簡素化を図ることができる。
【０１６９】
請求項１４記載の動画像符号化システムでは、多重化符号についての符号量の割当が適切に行われ、記録に要する容量を低減することができる。
【０１７０】
請求項１５記載の動画像符号化システムでは、伝送路を通過する全体の符号量が抑えられ、伝送路の伝送容量を効率的に使用することができる。
【０１７１】
請求項１６記載の動画像符号化方法では、画像（例えば、フレーム、又はフィールド等）単位で特定の対象物の有無を検出し、画像単位で符号化特性を変更する。
【０１７２】
従って、１つの画像内で、対象物領域とそれ以外の領域とで、画質が異なることがなく、不連続感が生じることを防止できる。
【０１７３】
その結果、画像を構成するブロック単位で特定の対象物を検出し、ブロック単位で符号化特性を変更する場合と比較して、画質を良好に保ちながらも、動画像信号全体の符号量削減が可能になる。
【０１７４】
また、画像単位で、特定の対象物の有無を検出するので、画像を構成するブロック単位で特定の対象物を検出する場合と比較して、処理の簡素化を図ることができる。
【０１７５】
請求項１７記載の動画像符号化方法では、動画像符号化装置からの符号出力を一定のレートに保つことができる。
【０１７６】
請求項１８記載の動画像符号化方法では、動画像符号化装置からの符号出力を一定のレートに保つことができる。
【０１７７】
請求項１９記載の動画像符号化方法では、特定の対象物についての画像内の領域情報を受けて、撮影条件が変更されるため、良好な撮像画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における動画像符号化装置のブロック図
【図２】同動画像符号化装置による処理の例示図
【図３】本発明の実施の形態２における動画像符号化装置のブロック図
【図４】本発明の実施の形態３における動画像符号化装置のブロック図
【図５】本発明の実施の形態４における動画像符号化システムのブロック図
【図６】本発明の実施の形態５における動画像符号復号化システムのブロック図
【図７】従来の動画像符号化装置のブロック図
【図８】従来の動画像符号化装置による処理の説明図
【符号の説明】
１，３  画像符号化部
２  対象物検出部
４  撮像部
５  多重符号化部
６  記録部
７  伝送路
１１  直交変換部
１２  量子化部
１３  可変長符号化部
３１  符号出力部
３２  レート制御部
Ｕ１〜Ｕｎ  動画像符号化部
ｕ１〜ｕｍ  動画像復号化部
１０００  画像符号化部
２０００  対象物抽出部
３０００  フレーム画像
４０００  ブロック
５０００  特定の対象物
６０００  対象物領域
【図１】
2004236142.tif 000003
【図２】
2004236142.tif 000004
【図３】
2004236142.tif 000005
【図４】
2004236142.tif 000006
【図５】
2004236142.tif 000007
【図６】
2004236142.tif 000008
【図７】
2004236142.tif 000009
【図８】
2004236142.tif 000010