(57)【要約】【課題】  画像フォーマットを拡張する必要なく、また複雑な機構を用いることもせず、動きベクトルを用いたインターフレーム画像符号化を効率的に行う。【解決手段】  デジタル画像信号に含まれる画像情報を解析するとともに、前記画像情報に対応した各種センサおよびステータス情報を含む状態信号を解析し、前記デジタル画像信号に対し動き検出を伴うフレーム間符号化処理を行う際の動きベクトル検出処理の判断要素とするよう構成したことを特徴とする。【選択図】  図１
2005167932.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像信号に含まれる画像情報を解析するとともに、前記画像情報に対応した各種センサおよびステータス情報を含む状態信号を解析し、前記デジタル画像信号に対し動き検出を伴うフレーム間符号化処理を行う際の動きベクトル検出処理の判断要素とするように構成したことを特徴とする画像符号化装置。
【請求項２】
前記状態信号として、前記画像情報に対応した音声信号を用いることを特徴とした請求項１記載の画像符号化装置。
【請求項３】
デジタル画像信号を出力する撮像手段と、
上記デジタル画像信号に対応した状態信号を出力する状態信号検出手段と、
上記状態信号検出手段の出力する状態信号を解析する状態信号解析手段と、
上記状態信号解析手段における解析結果をもとにデジタル画像信号を符号化する画像信号符号化手段とにより構成され、
上記画像信号符号化手段が、上記状態信号解析手段における解析結果をフレーム間符号化処理の動きベクトル検出処理に用いることを特徴とする画像符号化装置。
【請求項４】
前記状態信号として、音声信号を用いることを特徴とした請求項３記載の画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像の圧縮符号化装置に係り、特に、フレーム間画像符号化方式の動画像圧縮符号化装置に関する。
【背景技術】
【０００２】
動画像を高い圧縮率で符号化する符号化アルゴリズムとして、画像信号の各フレーム間の差分を求め符号化するフレーム間画像符号化方式がある。
【０００３】
動画像符号化の標準規格であるMPEGでは動きベクトルの概念が用いられ、更なる符号化効率の向上に寄与している。これは、動き予測・動き補償を行い画像信号中の動体を動きベクトルと画像の差分値で表現することで効率的に符号化を行うことができる。
【０００４】
前述した画像符号化処理に関して、符号量の遷移やフレーム間の画像差分の計算のみで符号化するのではなく、他の情報を符号化のパラメータに用いる方式が提案されている。例えば特許文献１では、各種センサにて撮影シーンを判断し、シーンに応じた符号化を行うことが開示されている。また特許文献２には、音声信号を解析することによりシーンおよびシーンチェンジを判別し符号化パラメータを適応的に変えることが開示されている。しかしながらこの2件において動きベクトル検出の方法は記されていない。動きベクトル検出処理における手法として、特許文献３においては、カメラのズーミングなどの情報を用いて動きベクトルを補正する方法が開示されているが、カメラ部の制御処理パラメータに限定されている。また、特許文献４では、撮影情報パラメータを動き補償を含めたフレーム間符号化方式に適用する方式が開示されているが、既存の動画像フォーマットに対する拡張が必要となる。
【特許文献１】特開2001-238177号公報
【特許文献２】特開2003-87788号公報
【特許文献３】特開平7-107466号公報
【特許文献４】特開平7-162853号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
画像フォーマットを拡張する必要なく、また複雑な機構を用いることもせず、動きベクトルを用いたインターフレーム画像符号化を効率的に行う。
【課題を解決するための手段】
【０００６】
本願の請求項1に記載した画像符号化装置は、デジタル画像信号に含まれる画像情報を解析するとともに、前記画像情報に対応した各種センサ信号およびステータス情報を解析し、前記デジタル画像信号に対し動き検出を伴うフレーム間符号化処理を行う際の動きベクトル検出処理の判断要素とするよう構成することを特徴とする。
【０００７】
本願の請求項3に記載した画像符号化装置は、デジタル画像信号を出力する撮像手段と、上記デジタル画像信号に対応した状態信号を出力する状態信号検出手段と、上記状態信号検出手段の出力する状態信号を解析する状態信号解析手段と、上記状態信号解析手段における解析結果をもとにデジタル画像信号を符号化する画像信号符号化手段により構成され、上記画像信号符号化手段が、上記状態信号解析手段における解析結果をフレーム間符号化処理の動きベクトル検出処理に用いるよう構成することを特徴とする。
【発明の効果】
【０００８】
本願の請求項1および3に記載した発明によれば、画像信号を符号化圧縮処理する際、画像信号に付帯する情報を補助的に用い、フレーム間符号化処理における動きベクトル探索処理の実行判断および探索範囲等を適切に決定することが可能である。
【発明を実施するための最良の形態】
【０００９】
図１は本発明の特徴を最もよく表す図面であり、同図において101は撮影対象を撮影しアナログ画像信号を出力するカメラ、102は入力された画像信号をデジタル画像信号として出力する撮像回路、104はカメラ自身およびその周辺の状態を検知するセンサ、105はセンサの状態信号を抽出するセンサ情報抽出回路、106はセンサ情報を解析しフレーム間符号化パラメータを出力するセンサ情報解析回路、103はデジタル画像信号をフレーム間符号化パラメータを利用して符号化し、符号化ストリームを出力する画像信号符号化回路、107は符号化ストリームを記録するストリーム記録回路である。
【実施例１】
【００１０】
図２は、カメラ回路201およびマイクロフォン204を備え、画像および音声を圧縮符号化し、マルチプレクサ208により画像・音声それぞれの圧縮符号化ストリームを多重化した後ストリーム記録回路209に記録する動画撮影記録装置である。音声信号解析回路206はマイクロフォン204からの音声信号の強弱判別、および音声スペクトルを用意してあるパターンとマッチングさせることにより画像信号の特性を判断し、解析情報を画像信号符号化回路203に送出する。画像信号符号化回路203では撮像回路202から入力された画像信号の特性および音声信号の解析情報に基づいて、現フレームにおいて動きベクトル探索をするかどうかの判断、動きベクトルの探索範囲、動きベクトル探索処理打ち切り指標パラメータ等を決定する。また、本例の動画撮影記録装置がマイクロフォン204において2チャンネルないしそれ以上の音声信号を入力可能であれば、音声信号解析回路206により各チャンネルの音声信号の位相差、音圧レベル等から動体の進行方向および接近速度を推定することが可能であり、この解析情報をもとに画像信号符号化回路203で動きベクトル検出処理を行う。
【実施例２】
【００１１】
図３は、画像信号および音声信号の含まれる放送信号を受信し、画像信号および音声信号をそれぞれ撮像回路303、音声信号検出回路305に出力するチューナ302の接続された、画像および音声を圧縮符号化し、マルチプレクサ308により画像・音声それぞれの圧縮符号化ストリームを多重化した後ストリーム記録回路309に記録する動画受信記録装置である。画像信号符号化回路304では実施例1と同様に、画像信号の特性および音声信号の解析情報に基づいて、動きベクトル探索処理の各パラメータを決定する。また、チューナ302から送出される画像信号は実施例1でのカメラ部201からの画像信号と違い、場面に連続性がなく突然切り替わる場合が想定される。このような場合では動きベクトル検出処理および画像の差分符号化の効率が悪く、フレーム間画像符号化ではなくフレーム内画像符号化処理を行うべきである。本例の動画受信記録装置では一般に用いられている画像信号によるフレーム間/フレーム内符号化処理の判断を、画像信号だけでなく音声信号解析回路306からの解析情報パラメータも用いて行う。例えば、音楽のプロモーションビデオのような、画像の変化が激しく、かつ音楽と同期しているような場合、音声信号の音圧レベルの変化が大きい場合、画像のフレーム間の変化も大きいと判断し、動きベクトル探索処理を行わずフレーム内符号化処理に切り替える際の判断指標として音声信号の解析情報を用いる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る画像符号化回路を説明する図である。
【図２】実施例１の動画撮影記録装置を説明する図である。
【図３】実施例２の動画受信記録装置を説明する図である。
【符号の説明】
【００１３】
101  カメラ
102  撮像回路
103  画像信号符号化回路
104  状態センサ
105  センサ情報抽出回路
106  センサ情報解析回路
107  ストリーム記録回路
201  カメラ
202  撮像回路
203  画像信号符号化回路
204  マイクロフォン
205  音声信号抽出回路
206  音声信号解析回路
207  音声信号符号化回路
208  マルチプレクサ
209  ストリーム記録回路
302  チューナ
303  撮像回路
304  画像信号符号化回路
305  音声信号抽出回路
306  音声信号解析回路
307  音声信号符号化回路
308  マルチプレクサ
309  ストリーム記録回路
【図１】
2005167932.tif 000003
【図２】
2005167932.tif 000004
【図３】
2005167932.tif 000005