(57)【要約】【課題】ネットワーク受信端末に対して動画像を圧縮符号化する画像符号化処理装置に関し、受信端末−画像符号化処理装置間や、画像符号化処理装置内のサイズ変更処理を行うことなく、量子化パラメータで制御を行う場合に比べて、一気に符号量を制御することで、受信端末側の復号処理でのコマ落ちを防ぐことができる。【解決手段】カメラ部１０と、マスク付与回路２０７を含むカメラ信号処理部２０と、符号量制御部３０６を含む画像符号化部３０と、送信制御部４００とで構成される通信機能を有する画像符号化処理装置であって、送信制御部４００は、受信端末５００から送信されるネットワーク輻輳状況情報を符号量制御部３０６に入力し、符号量制御部３０６は、ネットワーク輻輳状況情報に応じてマスク付与回路２０７を制御し、輝度・色差信号生成部から出力される映像信号内のマスク面積を制御することで、画像符号化部３０から出力される画像符号量を制御することを特徴とする。【選択図】図１
2009284149.tif 000002
【特許請求の範囲】
【請求項１】
カメラ部と、マスク付与回路を含むカメラ信号処理部と、符号量制御部を含む画像符号化部と、送信制御部とで構成される通信機能を有する画像符号化処理装置であって、
前記送信制御部は、受信端末から送信されるネットワーク輻輳状況情報を前記符号量制御部に入力し、
前記符号量制御部は、前記ネットワーク輻輳状況情報に応じて前記マスク付与回路を制御し、輝度・色差信号生成部から出力される映像信号内のマスク面積を制御することで、前記画像符号化部から出力される画像符号量を制御することを特徴とする画像符号化処理装置。
【請求項２】
前記マスク付与回路にて付与するマスクは、画像の端部に位置し、ネットワーク輻輳量の増大に伴ってマスク幅を大きくすることを特徴とする請求項１記載の画像符号化処理装置。
【請求項３】
前記カメラ信号処理部は、前記マスク付与回路に隣接してリサイズ回路をさらに含み、
前記リサイズ回路は、マスク面積の増加に伴って画像サイズを縮小し、
前記マスク付与回路は、リサイズされた画像を中央に配置するとともに、画像の余白部に対してマスクを付与することを特徴とする請求項１記載の画像符号化処理装置。
【請求項４】
前記画像符号化部は、注目点検出部をさらに含み、
前記マスク付与回路は、前記画像の端部に位置したマスクを、画像の中心から前記注目点検出部にて検出した注目点までのズレ量分だけずらし、注目点以外の箇所をマスクすることを特徴とする請求項２記載の画像符号化処理装置。
【請求項５】
前記カメラ部と、前記マスク付与回路を含む前記カメラ信号処理部と、前記符号量制御部を含む前記画像符号化部と、前記送信制御部とが含まれる半導体部品で構成される請求項２の特徴を含む画像符号化処理装置。
【請求項６】
前記カメラ部と、前記リサイズ回路ならびに前記マスク付与回路を含む前記カメラ信号処理部と、前記符号量制御部を含む前記画像符号化部と、前記送信制御部とが含まれる半導体部品で構成される請求項３の特徴を含む画像符号化処理装置。
【請求項７】
前記カメラ部と、前記マスク付与回路を含む前記カメラ信号処理部と、前記注目点検出部ならびに前記符号量制御部を含む前記画像符号化部と、前記送信制御部とが含まれる半導体部品で構成される請求項４の特徴を含む画像符号化処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワーク受信端末に対して、動画像を圧縮符号化する画像符号化処理装置に関するものであり、特に、民生用ネットワークカメラや監視カメラ等で必要とされる画像符号化処理装置に関するものである。
【背景技術】
【０００２】
最近の情報技術の革新は目覚しく、インターネット等のネットワークが急速に普及してきている。誰もが手軽に使えるインターネット等を使用すれば、撮像装置の遠隔制御を極めて汎用性の高いシステムとして構築でき、大きな広がりが見込めるものとなっている。
【０００３】
最近、複数の利用者がネットワークを介し、１つもしくは複数の撮像装置を共用し、それぞれ自分の観点から操って各自の希望する画像を応答性高くリアルタイムに入手するニーズが高まっている。例えば、防犯サービス会社等の複数の利用者が必要とする情報は同じではなく、各自別々の情報をリアルタイムで入手する必要がある。
【０００４】
この際、撮像装置からリアルタイムで画像を端末装置に転送するには、応答性が問題になり、応答時間が極めて重要になる。特に転送時間は、通信経路の通信レートによって大きく影響される。インターネット等では一日におけるトラフィック変動が大きく、この不確定要素のため大きく遅延してしまう。さらに、動画像を観察したい場合においても、画像データ量とネットワークの容量との関係により、フレームレートが変動し、場合によっては、静止画に近いような画像しか得られない場合がある。
【０００５】
このように、インターネット等を介してリアルタイムに撮像を行う撮像装置においては、アクセスしてから希望の画像を得るまでに相当の時間がかかり、この間に別の利用者からアクセスが集中し、さらに画像を得るまでの時間がかかってしまうという問題があった。
【０００６】
これらの要求を満たすため、ネットワークを介して利用者がアクセスしたときに、撮像装置からの迅速な画像転送を確保し、動画における良好な送出フレームレートを確保することができ、また、各種処理や制御を行う際にその処理や制御に影響を与えないようにすることができ、さらに、撮像装置における画像の蓄積数を確実に確保することを目的とした画像通信装置の発明が提案されている（特許文献１参照）。
【０００７】
その発明では、被写体を撮像して画像信号を出力する撮像部と、画像信号に対して符号化のための前処理を行って画像データを出力する画像信号符号化前処理部と、画像データに対して圧縮処理を行って画像符号化データを出力する符号化部を有する画像信号符号化部と、画像符号化データをネットワークに送出するネットワークインターフェース部と、画像信号符号化部およびネットワークインターフェース部の制御を行う制御部とを有する画像通信装置であって、制御部は、画像信号符号化部からネットワークインターフェース部へ出力される画像符号化データ量が所定データ量を越えないように、画像信号符号化前処理部または画像信号符号化部のいずれかにおいて、画像信号または画像符号化データに対して最適化処理を施した後にネットワークへ送出する構成をとっている。
【０００８】
具体的な構成と画像符号量の制御は、図１１に示すとおりである。
【０００９】
撮像装置１０００と、撮像装置１０００からの画像信号に対して符号化のための前処理を行って画像データを出力する画像信号符号化前処理部１００１と、ＤＴＣ処理部１００２と量子化部１００３と画像データに対して圧縮処理を行って画像符号化データを出力する符号化部１００４とを有する画像信号符号化部１００５と、ネットワークインターフェース部１００６と、全体を制御する制御部１００７とを有する画像通信装置であって、制御部１００７は、画像信号符号化部１００５からネットワークインターフェース部１００６へ出力される画像符号化データ量が所定データ量を越えないように、画像信号または画像符号化データに対して最適化処理を施した後にネットワーク１００８を介して受信端末１００９へ送出する。
【００１０】
画像信号符号化前処理部１００１では、サブサンプリング部で入力する画像信号を離散化して標本化し、前記サブサンプリング部のサブサンプリングの比率を変化させて前記画像符号化データ量を制御することを特徴としている。
【特許文献１】特開２００３−２５０１５６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
図１１に示した画像通信装置の処理構成では、モーションJPEGのような画像１フレーム毎の画像ヘッダ情報にサイズ情報が存在する場合はネットワーク輻輳状況に応じて画像サイズを、受信端末１００９に対して特に手続きなしで、即時にサイズ変更しても受信側でサイズ変更を感知し復号化することができる。
【００１２】
しかし、動画像符号化処理がMPEG符号化などの、画像サイズ情報が各フレームのヘッダファイルに無く、動画像符号の先頭のヘッダ情報にのみある形式である場合は、受信端末１００９側との手続きなしにサイズ変更を行うと、受信端末１００９側では動画符号化ヘッダ情報の画像サイズで復号化を行うため、画像変更を行った箇所から正常に動画像を復号できなくなるという問題が生じる。
【００１３】
そこで、サイズ変更を行う場合は、例えば、図１２のように、ソフトウェア統合部（APL層）を介して撮像装置内部や受信端末に対してサイズ変更手続きを経て画像サイズを制御する必要があり、この処理はサイズ変更が発生する毎に必要となる。
【００１４】
そのため、サブサンプリングにより画像サイズを大小させることで符号量を制御すると、画像サイズを変更させるたびに、受信端末につながる配信先に対して、ネットワークを介しての画像サイズの変更手続きや、撮像装置内部でのサイズ変更処理が必要になり、結果として処理時間がかかることになるという問題が生じる。
【００１５】
本発明の画像符号化処理装置は、カメラ−ネットワーク受信端末間のネットワーク帯域が混雑してきた場合に、サイズ変更手続きなしに符号量を減らし、量子化パラメータで制御を行う場合に比べて、一気に符号量を制御することで、受信端末側の復号処理でコマ落ちさせないことを目的とする。
【課題を解決するための手段】
【００１６】
本発明の画像符号化処理装置は、カメラ部と、マスク付与回路を含むカメラ信号処理部と、符号量制御部を含む画像符号化部と、送信制御部とで構成される通信機能を有する画像符号化処理装置であって、前記送信制御部は、受信端末から送信されるネットワーク輻輳状況情報を前記符号量制御部に入力し、前記符号量制御部は、前記ネットワーク輻輳状況情報に応じて前記マスク付与回路を制御し、輝度・色差信号生成部から出力される映像信号内のマスク面積を制御することで、前記画像符号化部から出力される画像符号量を制御することを特徴とする。
【００１７】
前記マスク付与回路にて付与するマスクは、例えば、画像の端部に位置し、ネットワーク輻輳量の増大に伴ってマスク幅を大きくする。
【００１８】
なお、前記カメラ部と、前記マスク付与回路を含む前記カメラ信号処理部と、前記符号量制御部を含む前記画像符号化部と、前記送信制御部とを含む半導体部品で構成される。
【００１９】
好ましくは、前記カメラ信号処理部は、前記マスク付与回路に隣接してリサイズ回路をさらに含み、前記リサイズ回路は、マスク面積の増加に伴って画像サイズを縮小し、前記マスク付与回路は、リサイズされた画像を中央に配置するとともに、画像の余白部に対してマスクを付与する。
【００２０】
なお、前記カメラ部と、前記リサイズ回路ならびに前記マスク付与回路を含む前記カメラ信号処理部と、前記符号量制御部を含む前記画像符号化部と、前記送信制御部とを含む半導体部品で構成される。
【００２１】
好ましくは、前記画像符号化部は、注目点検出部をさらに含み、前記マスク付与回路は、前記画像の端部に位置したマスクを、画像の中心から前記注目点検出部にて検出した注目点までのズレ量分だけずらし、注目点以外の箇所をマスクする。
【００２２】
なお、前記カメラ部と、前記マスク付与回路を含む前記カメラ信号処理部と、前記注目点検出部ならびに前記符号量制御部を含む前記画像符号化部と、前記送信制御部とを含む半導体部品で構成される。
【００２３】
本発明の画像符号化処理装置によると、受信端末から送信されるネットワーク輻輳状況情報を符号量制御部に入力し、ネットワーク輻輳状況情報に応じてマスク面積を制御し、出力される画像符号量を制御するので、受信端末−画像符号化処理装置間や、画像符号化処理装置内のサイズ変更処理が不要となり、処理時間をかけることなく一気に符号量を制御することで、受信端末側の復号処理でのコマ落ちを防ぐことができる。
【発明の効果】
【００２４】
本発明の画像符号化処理装置によると、ネットワークの混雑度合いに応じて、１フレーム内に付加するマスク面積を制御することで、受信端末−画像符号化処理装置間や、画像符号化処理装置内のサイズ変更処理を行うことなく、量子化パラメータで制御を行う場合に比べて、一気に符号量を制御することで、受信端末側の復号処理でのコマ落ちを防ぐことができるという効果が得られる。
【発明を実施するための最良の形態】
【００２５】
（第１の実施形態）
本発明の第１の実施形態に係る画像符号化処理装置について図１ないし図３に基づいて説明する。
【００２６】
図１は画像符号化処理装置のブロック図、図２は符号量制御部のマスク付与幅を示すグラフ、図３はマスク付与回路の入力信号と出力信号を示す図である。
【００２７】
図１において、１０はカメラ部、２０はカメラ信号処理部、３０は画像符号化部、４０はネットワークインターフェース部である。
【００２８】
カメラ部１０は、固体撮像素子１００、レンズ１０１、レンズ駆動部１０２で構成されている。
【００２９】
カメラ信号処理部２０は、２重サンプリング回路２００、信号増幅回路２０１、A/D変換回路２０２、輝度信号生成回路２０３、色差信号生成回路２０４、輪郭強調回路２０５、リサイズ回路２０６、マスク付与回路２０７、信号出力回路２０８で構成されている。
【００３０】
画像符号化部３０は、入力画像メモリ３００、動きベクトル検出部３０１、動き探索用バッファ３０２、予測誤差画像生成部３０３、ＤＣＴ処理部３０４、量子化処理部３０５、符号量制御部３０６、可変長符号化処理部３０７、逆量子化処理部３０８、逆DCT処理部３０９、参照画像生成部３１０、参照画像格納部３１１で構成されている。
【００３１】
ネットワークインターフェース部４０は、送信制御部４００で構成されている。
【００３２】
ネットワークインターフェース部４０は、ネットワーク６００を介して受信端末５００に接続されている。
【００３３】
カメラ部１０の固体撮像素子１００は、駆動信号発生回路が生成した水平同期信号、垂直同期信号、電子シャッター信号等の駆動信号により、固体撮像素子内部のフォトダイオード各部（画像としては画素に相当）から順次電化信号を読み出し、出力電圧としてアナログ信号をカメラ信号処理部２０の２重サンプリング回路２００に出力する。
【００３４】
２重サンプリング回路２００は、前記画素信号に相当する信号を検出し、信号増幅回路２０１に出力する。
【００３５】
信号増幅回路２０１は、前記画素信号のレベルを増幅し、A/D変換回路２０２に出力する。
【００３６】
A/D変換回路２０２は、前記アナログ信号である画素信号をデジタル信号に変換し輝度信号生成回路２０３、色差信号生成回路２０４へ出力する。
【００３７】
輝度信号生成回路２０３は入力した信号からＲＧＢを識別し輝度信号を生成し、色差信号生成回路２０４は同様に色差信号を生成し、その各信号を輪郭強調回路２０５へ出力する。
【００３８】
輪郭強調回路２０５は、輝度信号生成回路２０３から出力された輝度信号からハイパスフィルタなどを用いて輪郭成分（エッジ成分）を検出し、その成分に対して輪郭強調制御回路から出力された輪郭強調ゲインを乗じ輝度信号に加算することで、画像内の輪郭部を強調する。輪郭強調された信号は、リサイズ回路２０６へ出力される。
【００３９】
リサイズ回路２０６は、輝度信号生成回路２０３、色差信号生成処理２０４から出力される輝度信号および色差信号に対して、間引き処理や補間処理を施し、ユーザの要望のサイズかつ倍率、場合によっては、切り出し開始位置の輝度信号および色差信号を、マスク付与回路２０７へ出力する。
【００４０】
信号（同時）出力回路２０８は、入力された輝度・色差信号を画像符号化部３０が対応している入力形式やタイミングで輝度・色差信号を出力する。
【００４１】
カメラ信号処理部２０から出力された輝度・色差信号は、画像符号化部３０で、マクロブロック（画素ブロック）と呼ばれる矩形領域の複数の画素データ単位で符号化処理が行われる。また、上記符号化処理では、符号量を削減するために、いわゆるフレーム間予測符号化が行われる。すなわち、処理対象フレーム内の処理対象マクロブロックと先行する参照フレーム内の参照マクロブロックとの各画素データの差分に対して符号化処理が行われる。ただし、最初のフレームに関しては参照フレームがないので、いわゆるフレーム内符号化が行われる。静止画の場合は、フレーム内符号化処理のみで実現することができる。
【００４２】
まず、画像符号化部３０内の入力画像メモリ３００に輝度・色差信号が入力される。
【００４３】
入力画像メモリ３００は、カメラ信号処理部２０から出力される輝度信号および色差信号を一旦保持するものである。
【００４４】
予測誤差画像生成部３０３は、２つ目以降のフレームの符号化が行われる場合に、入力画像メモリ３００から例えば動きベクトル検出部３０１を介して入力される処理対象マクロブロックの各画素の画素データと、動き探索用バッファ３０２から入力される参照マクロブロックの各画素の画素データとの差分を求めて、予測誤差画像データを生成するものである。上記参照マクロブロックは、参照フレームにおける上記処理対象マクロブロックに対応する位置から、後述するように動きベクトル検出部３０１によって求められた動きベクトルだけずれた位置のマクロブロックである。
【００４５】
ＤＣＴ処理部３０４および量子化処理部３０５は、入力画像メモリ３００から入力される画像データ（１フレーム目の場合）、または予測誤差画像生成部３０３から入力される予測誤差画像データ（２フレーム目以降の場合）に対して、空間周波数成分への変換および量子化処理を行うものである。
【００４６】
上記ＤＣＴ処理の結果に対し量子化処理を行う際の量子化の程度は、後述する符号量制御部３０６が出力する量子化パラメータにより決定し、この値が小さくなるほど再生画像の画質が精細になり、大きくなるほど画質が粗くなる。また、ＤＣＴ処理後の各周波数成分に対して周波数成分ごとに対応した量子化パラメータで量子化処理が行われる。
【００４７】
符号量制御部３０６は、符号量制御部３０６が通常行っている可変長符号化処理部３０７から出力される符号量等に応じて決定した量子化パラメータと、輪郭強調回路２０５から出力された輪郭強調ゲインに応じて決定した後述する係数によって、量子化処理部３０５へ出力する量子化パラメータを決定し出力する。量子化パラメータをどのように決定するかは後述する。
【００４８】
量子化処理部３０５から出力される画像データは、可変長符号化処理部３０７および逆量子化処理部３０８に入力される。
【００４９】
可変長符号化処理部３０７は、可変長符号化処理、すなわち冗長な情報が除去されて、より情報量の削減された符号化データを生成するものである。この符号化データは、ネットワークインターフェース部４０に出力される。
【００５０】
逆量子化処理部３０８および逆ＤＣＴ処理部３０９は、量子化処理部３０５から出力される画像データに対して、逆量子化処理および逆ＤＣＴ処理を行うものである。
【００５１】
参照画像生成部３１０は、１フレーム目について逆ＤＣＴ処理部３０９から出力される画像データはそのまま出力する一方、２フレーム目以降について逆ＤＣＴ処理部３０９から出力されるのは予測誤差画像データなので、動き探索用バッファ３０２に保持されている先行する参照フレームの画像データと加算し、現フレームの画像データに戻して出力するものである。
【００５２】
参照画像格納部３１１は、上記参照画像生成部３１０から出力される画像データを次のフレームの処理についての参照フレームの画像データとして格納するものである。この格納は、各処理対象マクロブロックの位置に対応する領域に行われる。
【００５３】
動き探索用バッファ３０２は、参照画像格納部３１１に格納されている画像データを、上記予測誤差画像生成部３０３による予測誤差画像データ生成のために保持するものである。
【００５４】
動きベクトル検出部３０１は、予測符号化による情報量の低減効果が大きくなるような参照マクロブロックを求めるようになっている。すなわち、処理対象マクロブロックの各画素の画素データと、参照フレーム内のマクロブロックの各画素の画素データとの差分の合計値を求めて、その合計値があらかじめ設定された所定の閾値以下、または最小となるような参照マクロブロックを求め、これと処理対象マクロブロックとの相対位置関係を示す動きベクトルを求めるようになっている。なお、特に限定はされないが、例えば上記動きベクトルは輝度データに基づいて行われ、得られた動きベクトルは、輝度データおよび色差データの予測誤差画像を生成する際に共通に用いられる。
【００５５】
画像符号化部３０より出力された動画像符号は、ネットワークインターフェース部４０に送出される。
【００５６】
ネットワークインターフェース部４０内の送信制御部４００は、画像符号化部３０より出力された符号をネットワーク伝送に適した形態に変換し、ネットワーク６００に送出する。
【００５７】
動画像符号は、ネットワーク６００を介して受信端末５００に送信される。
【００５８】
また、ネットワークプロトコル等によって受信端末５００から送出されるネットワーク輻輳状況情報を送信制御部４００で受信し、その情報を符号量制御部３０６へ出力する。
【００５９】
符号量制御部３０６は、ネットワーク輻輳状況情報を入力し、輻輳量に対するマスク付与幅を演算する。マスク付与幅の演算は、例えば、図２のように、輻輳量の増加に伴いマスク付与幅が増加するような制御を行う。なお、図２のグラフにおいて、横軸はネットワーク輻輳量、縦軸はマスク付与幅を示す。ただし、ネットワーク輻輳量とマスク付与幅の関係は、図２のような直線の関係とは限らない。輻輳量が少ない範囲で大きく符号量の制御を行いたい場合はネットワーク輻輳量をｘ軸とした無理関数を使用することになる。また、輻輳量が大きい範囲で大きく符号量の制御を行いたい場合はネットワーク輻輳量をｘ軸とした二次曲線を使用することになる。
【００６０】
マスク付与幅の演算結果は、マスク付与回路２０７に出力する。
【００６１】
マスク付与回路２０７は、リサイズ回路２０６より出力される動画像符号化処理開始時に設定されたサイズの輝度・色差データの画像信号に対し、符号量制御部３０６から出力されたマスク付与幅Ａに従い、上端、下端からはＡライン分、左端、右端からはＡ画素分、マスクを付与する。
【００６２】
なお、画像符号化処理装置は、カメラ部１０と、マスク付与回路２０７を含むカメラ信号処理部２０と、符号量制御部３０６を含む画像符号化部３０と、送信制御部４００とが含まれる半導体部品で構成されている。
【００６３】
このように構成された画像符号化処理装置によると、受信端末５００から送信されるネットワーク輻輳状況情報を符号量制御部３０６に入力し、ネットワーク輻輳状況情報に応じて、画像の端部に位置するマスクの幅をネットワーク輻輳量の増大に伴って大きくなるように制御し、画像符号化部から出力される画像符号量を制御するので、受信端末−画像符号化処理装置間や画像符号化処理装置内のサイズ変更処理が不要となり、処理時間をかけることなく一気に符号量を制御することで、受信端末側の復号処理でのコマ落ちを防ぐことができる。
【００６４】
なお、第１の実施形態は、マスク付与回路２０７と符号量制御部３０６と送信制御部４００が上記の関係になっていることが特徴であり、それ以外の部分は上記第１の実施形態の例に限定されるものではなく、また、処理の順序も限定されるものではない。
【００６５】
（第２の実施形態）
本発明の第２の実施形態に係る画像符号化処理装置について図４ないし図７に基づいて説明する。
【００６６】
図４は画像符号化処理装置のブロック図、図５は符号量制御部のピッチ値を示すグラフ、図６はマスク付与回路の入力信号と出力信号を示す図である。
【００６７】
第２の実施形態は、第１の実施形態における符号量制御部３０６がリサイズ回路２０６の制御を行うことを特徴とするものである。なお、図４において図１と同一部分は同一符号を付してその説明を省略する。
【００６８】
符号量制御部３０６は、送信制御部４００からネットワーク輻輳状況情報を入力し、輻輳量に応じて出力サイズを決定し、その所望のサイズを出力するように、リサイズ回路２０６の現在の入力信号内容を保持するようにピッチ値を制御する。例えば、図５のように、輻輳量の増加に伴いピッチ値が増加するような制御を行う。なお、図５のグラフにおいて、横軸はネットワーク輻輳量、縦軸はピッチ値を示す。ただし、ネットワーク輻輳量とピッチ値の関係は、図のような直線の関係とは限らない。
【００６９】
ピッチ値とは、ある画像を拡大縮小するために使用する値で、元画像を構成する画素間隔からどの間隔でサンプリングを行うかを意味する値である。ピッチ値は、元画像の画素間隔を１とする。元画像に対してリサイズを行う場合は、開始位置とピッチ値を用いて行う。図７に１次元（例えば水平ライン）に対して、開始位置とピッチ値を用いたサンプリング方法を示す。開始位置とピッチ値は少数を含む値になるため、離散データとして構成されている元画像では、画素が存在しない位置をサンプリングすることになる場合もある。その場合は、例えばそのサンプリング点を挟む２つの画素値が線形に変化していると考えて、画素値を決定する（画素補間処理）。よって、ピッチ値は１より大きい場合は縮小された画像（間引き率を増やした画像）、ピッチ値が１より小さい場合は拡大された画像が出力されることになる。また、開始位置が０でピッチ値が１の場合は、リサイズ結果としては元画像が出力される。図７の例では、開始位置＝0.5、ピッチ値＝1.5とした場合であり、ピッチ値が１の元画像を、開始位置を0.5としてピッチ値が1.5でサンプリングすることで、縮小されたリサイズ画像が得られる。
【００７０】
本実施形態で利用するリサイズ処理は縮小処理のみであり、ピッチ値は１以上の値を使用するため、図５における直線と縦軸との交点は１となる。ネットワーク輻輳状況情報に基づきマスク幅が決定され、そのマスクの内側の端が元画像の端に接するようなサイズになるように、ピッチ値を符号量制御部３０６が演算し設定する。
【００７１】
符号量制御部３０６がリサイズ回路２０６に対して、例えばピッチ値と出力サイズを出力し、リサイズ回路２０６から出力する輝度・色差データのデータサイズを変更する。マスク付加回路２０７に対してもリサイズ回路２０６が出力するサイズを同時に出力する。すなわち、符号量制御部３０６が、ネットワークのデータ量（輻輳量）に応じてマスク面積・幅を制御し、動画像１フレーム分の符号量を制御することで、ネットワーク上の輻輳量を制御する。
【００７２】
マスク付与回路２０７は、リサイズ回路２０６から出力された輝度・色差データを、動画像符号化処理開始時に設定された符号処理サイズに対して、中央に配置し、その中央に配置されたリサイズ回路２０６の出力から、画像の上端、下端、左端、右端までの余白部に対してマスクを付与する。例えば、符号処理サイズ内のリサイズ回路出力信号の配置位置は、下記の式を満たすようにＡ，Ｂを制御する。
【００７３】
Ｂ＝(符号処理水平サイズ−リサイズ出力水平サイズ)／２
Ａ＝(符号処理垂直サイズ−リサイズ出力垂直サイズ)／２
なお、画像符号化処理装置は、カメラ部１０と、リサイズ回路２０６ならびにマスク付与回路２０７を含むカメラ信号処理部２０と、符号量制御部３０６を含む画像符号化部３０と、送信制御部４００とが含まれる半導体部品で構成されている。
【００７４】
このように構成された画像符号化処理装置によると、受信端末５００から送信されるネットワーク輻輳状況情報を符号量制御部３０６に入力し、輻輳量に応じて出力サイズを決定し、その所望のサイズを出力するように、リサイズ回路２０６の現在の入力信号内容を保持するようにピッチ値を制御し、リサイズ回路２０６から出力された輝度・色差データを、動画像符号化処理開始時に設定された符号処理サイズに対して、中央に配置し、その中央に配置されたリサイズ回路２０６の出力から、画像の上端、下端、左端、右端までの余白部に対してマスクを付与し、画像符号化部から出力される画像符号量を制御するので、受信端末−画像符号化処理装置間や画像符号化処理装置内のサイズ変更処理が不要となり、処理時間をかけることなく一気に符号量を制御することで、受信端末側の復号処理でのコマ落ちを防ぐことができる。
【００７５】
なお、第２の実施形態は、マスク付与回路２０７とリサイズ回路２０６と符号量制御部３０６と送信制御部４００が上記の関係になっていることが特徴であり、それ以外の部分は上記第２の実施形態の例に限定されるものではなく、また、処理の順序も限定されるものではない。
【００７６】
また、リサイズ処理も、ピッチの概念に基づいた処理に限らず、パラメータを与えることで入力画像に対し、拡大・縮小した画像を出力する機能を特徴とする処理を意味する。
【００７７】
（第３の実施形態）
本発明の第３の実施形態に係る画像符号化処理装置について図８ないし図１０に基づいて説明する。
【００７８】
図８は画像符号化処理装置のブロック図、図９は符号量制御部のマスク付与幅を示すグラフ、図１０はマスク付与回路の入力信号と出力信号を示す図である。
【００７９】
第３の実施形態は、第１の実施形態における符号量制御部３０６が注目点検出部３１２の検出結果を入力して、マスク付与回路２０７の制御を行うことを特徴とするものである。なお、図８において図１と同一部分は同一符号を付してその説明を省略する。
【００８０】
符号量制御部３０６は、送信制御部４００からネットワーク輻輳状況情報と注目点検出部３１２の検出結果が入力され、輻輳量に対するマスク付与幅を演算する。注目点検出部３１２が検出する注目点とは、例えば、顔検出位置であったり、動作するものの位置であったりし、顔検出位置の場合は現在デジタルスチルカメラに通常搭載されている顔検出回路、動作するものの位置の場合は動物体を検出する回路が注目点検出部３１２に相当する。
【００８１】
ネットワーク輻輳状況に対するマスク付与幅は、一旦、第１の実施形態の場合と同様の方法で決定する。すなわち、図８に示すように、輻輳量の増加に伴いマスク付与幅が増加するような制御を行って、マスク付与幅Ａを決定する。
【００８２】
注目点検出部３１２の注目点の出力結果は、例えば図９のように、符号画像領域（サイズ）に対して中央の位置からのズレ量（ａ，ｂ）として検出されるものとする。なお、図９の例では、水平右方向が正、垂直下方向が正であり、ａ，ｂの値はそれぞれ負となる。
【００８３】
符号量制御部３０６は、注目点検出部３１２より入力したズレ量を元に、下記のマスク幅をマスク付与回路２０７に出力する。
【００８４】
マスク付与回路２０７は、リサイズ回路２０６より出力される動画像符号化処理開始時に設定されたサイズの輝度・色差データの画像信号に対し、符号量制御部３０６から出力されたマスク付加幅に従い、上端、下端からは指定ライン分、左端、右端からは指定画素分、マスクを付加する。
【００８５】
上端：Ａ＋ｂ
下端：Ａ−ｂ
右端：Ａ−ａ
左端：Ａ＋ａ
ただし、上記結果が負の数の場合は０とする。
【００８６】
なお、画像符号化処理装置は、カメラ部１０と、マスク付与回路２０７を含むカメラ信号処理部２０と、注目点検出部３１２ならびに符号量制御部３０６を含む画像符号化部３０と、送信制御部４００とが含まれる半導体部品で構成されている。
【００８７】
このように構成された画像符号化処理装置によると、第１の実施形態の効果に加え、画像中の注目点にマスクがかからないように設定されるので、画像符号化部から出力される画像符号量を制御した場合に、ユーザが希望する画像中の注目点がマスクで隠れてしまうのを防ぐことができる。
【００８８】
なお、第３の実施形態は、マスク付与回路２０７と注目点検出部３１２と符号化制御部３０６と送信制御部４００が上記の関係になっていることが特徴であり、それ以外の部分は上記第３の実施形態の例に限定されるものではなく、また、処理の順序も限定されるものではない。
【産業上の利用可能性】
【００８９】
本発明の画像符号化処理装置は、利用者がインターネット等のネットワークを介して撮像部を遠隔操作しながら被写体を撮像するとともに、撮像して得られた動画像を圧縮符号化して受信端末に送出する機能を備えた民生用ネットワークカメラや監視カメラ等に適用可能である。
【図面の簡単な説明】
【００９０】
【図１】本発明の第１の実施形態に係る画像符号化処理装置のブロック図
【図２】本発明の第１の実施形態に係る符号量制御部のマスク付与幅を示すグラフ
【図３】本発明の第１の実施形態に係るマスク付与回路の入力信号と出力信号を示す図
【図４】本発明の第２の実施形態に係る画像符号化処理装置のブロック図
【図５】本発明の第２の実施形態に係る符号量制御部のピッチ値を示すグラフ
【図６】本発明の第２の実施形態に係るマスク付与回路の入力信号と出力信号を示す図
【図７】本発明の第２の実施形態に係るリサイズ処理における開始位置とピッチ値の説明図
【図８】本発明の第３の実施形態に係る画像符号化処理装置のブロック図
【図９】本発明の第３の実施形態に係る符号量制御部のマスク付与幅を示すグラフ
【図１０】本発明の第３の実施形態に係るマスク付与回路の入力信号と出力信号を示す図
【図１１】従来例に係る画像通信装置のブロック図
【図１２】従来例に係る画像サイズ変更時の手続きの様子を示す図
【符号の説明】
【００９１】
１０  カメラ部
１００  固体撮像素子
１０２  レンズ駆動部
１０１  レンズ
２０  カメラ信号処理部
２００  ２重サンプリング回路
２０１  信号増幅回路
２０２  A/D変換回路
２０３  輝度信号生成回路
２０４  色差信号生成回路
２０５  輪郭強調回路
２０６  リサイズ回路
２０７  マスク付与回路
２０８  信号出力回路
３０  画像符号化部
３００  入力画像メモリ
３０１  動きベクトル検出部
３０２  動き探索用バッファ
３０３  予測誤差画像生成部
３０４  ＤＣＴ処理部
３０５  量子化処理部
３０６  符号量制御部
３０７  可変長符号化処理部
３０８  逆量子化処理部
３０９  逆DCT処理部
３１０  参照画像生成部
３１１  参照画像格納部
３１２  注目点検出部
４０  ネットワークインターフェース部
４００  送信制御部
５００  受信端末
６００  ネットワーク
【図１】
2009284149.tif 000003
【図２】
2009284149.tif 000004
【図３】
2009284149.tif 000005
【図４】
2009284149.tif 000006
【図５】
2009284149.tif 000007
【図６】
2009284149.tif 000008
【図７】
2009284149.tif 000009
【図８】
2009284149.tif 000010
【図９】
2009284149.tif 000011
【図１０】
2009284149.tif 000012
【図１１】
2009284149.tif 000013
【図１２】
2009284149.tif 000014