(57)【要約】【課題】ユーザが指定した領域を圧縮率を低く圧縮することで主観的画質を向上させる動画像処理装置において、ユーザーが指定した領域を被写体の移動や手ぶれ等に応じて自動的に追尾可能とする。【解決手段】撮像デバイス１０からの画像は動き補償型動画像符号化回路１３を経て符号化データ１７となる。符号化の際に、高画質で符号化する領域は重要領域情報１９として重要領域選択回路１４から動き補償型動画像符号化回路１３に通知され、重要領域として指定された領域における圧縮率を小さく、その他の領域における圧縮率を大きく設定して圧縮される。重要領域はマウス等のポインティングデバイス１２と回路１３からの動きベクトル情報とにより重要領域選択回路１４にて決定される。この重要領域は回路１３に入力されると共に表示画像合成部１５に入力され、入力画像と重ね合わされ表示デバイス１１に表示される。【選択図】      図１
2004187023.tif 000002
【特許請求の範囲】
【請求項１】
動画像フレームを予め指定された重要領域と非重要領域に分割し、前記重要領域と前記非重要領域で異なる圧縮パラメータで圧縮する動き補償型動画像符号化回路を備えた動画像符号化装置であって、
前記動き補償型動画像符号化回路から出力される動きベクトル情報に基づいて前記重要領域の補正を行って、この補正された重要領域情報を前記動き補償型動画像符号化回路へ出力する重要領域選択手段を含むことを特徴とする動画像符号化装置。
【請求項２】
前記重要領域を指定するための入力手段を更に含み、前記重要領域選択手段は、前記動きベクトル情報の他に、前記入力手段からの入力情報に基づき前記重要領域の補正を行うようにしたことを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
前記重要領域選択手段は、
前記入力手段からの入力情報の変化量を検出して重要領域位置ユーザー補正ベクトルとする変化ベクトル検出回路と、
前記動きベクトル情報から重要領域内の動きベクトルを選択する選択回路と、
前記選択回路で選択された動きベクトルを平均化し重要領域位置自動補正ベクトルとする平均化回路と、
前記重要領域位置ユーザー補正ベクトルと前記重要領域位置自動補正ベクトルを加算し、この加算結果を用いて前記重要領域情報を補正する手段とを有することを特徴とする請求項２記載の動画像符号化装置。
【請求項４】
前記平均化回路は、前記重要領域中の動きベクトルの中で、前記重要領域の中心部での動きベクトルに重みをつけた加重平均を計算することを特徴とする請求項３記載の動画像符号化装置。
【請求項５】
前記平均化回路は、前記重要領域中の動きベクトルを時刻の異なるフレームに渡って平均化することを特徴とする請求項３記載の動画像符号化装置。
【請求項６】
送信されてきた動画像に対する動き補償型動画像復号化回路を含む動画像復号化装置であって、
前記送信されてきた動画像フレームにおける重要領域を指示するための入力手段と、
前記動き補償型動画像復号化回路から出力される動きベクトル情報に基づき前記重要領域の補正を行って、この補正された重要領域情報を出力する重要領域選択手段と、
送信側の動画像符号化装置に対して前記補正された重要領域情報を通知する手段と含むことを特徴とする動画像復号化装置。
【請求項７】
前記重要領域選択手段は、前記動きベクトル情報の他に、前記入力手段からの入力情報に基づき前記重要領域の補正を行うようにしたことを特徴とする請求項６記載の動画像復号化装置。
【請求項８】
前記重要領域選択手段は、
前記入力手段からの入力情報の変化量を検出して重要領域位置ユーザー補正ベクトルとする変化ベクトル検出回路と、
前記動きベクトル情報から重要領域内の動きベクトルを選択する選択回路と、
前記選択回路で選択された動きベクトルを平均化し重要領域位置自動補正ベクトルとする平均化回路と、
前記重要領域位置ユーザー補正ベクトルと前記重要領域位置自動補正ベクトルを加算し、この加算結果を用いて前記重要領域情報を補正する手段とを有することを特徴とする請求項７載の動画像復号化装置。
【請求項９】
前記平均化回路は、前記重要領域中の動きベクトルの中で、前記重要領域の中心部での動きベクトルに重みをつけた加重平均を計算することを特徴とする請求項８記載の動画像復号化装置。
【請求項１０】
前記平均化回路は、前記重要領域中の動きベクトルを時刻の異なるフレームに渡って平均化することを特徴とする請求項８記載の動画像復号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は動画像符号化装置及び動画像復号化装置に関し、特に画像の特定領域を高品質に録画、伝送することが可能な動画像処理装置に関するものである。
【０００２】
【従来の技術】
テレビ電話や携帯端末での動画録画においては、ＭＰＥＧ−４等の動画像圧縮方式を用いた情報の圧縮が広く行われている。しかしながら、伝送路やファイルの容量が小さい場合には、十分な画質が得られないという問題がある。この問題を少しでも改善するために、画像フレームをユーザにとって重要な領域と重要でない領域とに分割し、重要な領域は圧縮率を低く、重要でない領域は圧縮率を高くすることで、主観的画質を向上させる方式がある。特許文献１では、自動的に重要な領域を検出する方式が開示されており、また特許文献２には、重要な領域をユーザーが指定する方式が開示されている。
【０００３】
【特許文献１】
特開平８−１３０７３９号公報（第３頁〜第４頁、図１〜図３）
【特許文献２】
特開平９−１３０７６７号公報（第３頁〜第６頁、図１〜図８）
【０００４】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載のような自動的に重要な領域を検出する方式では、ユーザーが意図しない領域が検出される等といった誤検出の問題があり、検出精度を高めようと検出方式を複雑にすると実現コストが上がってしまうという問題がある。また、特許文献２に記載のようなユーザーが指定する方式では、手ぶれの激しい携帯端末での使用時に、意図した対象物が設定した領域からはみ出てしまうという問題があった。
【０００５】
本発明は上記従来の問題点を解決するためになされたものであって、その目的とするところは、ユーザーが指定した領域を圧縮率を低く圧縮することで主観的画質を向上させる動画像処理において、低演算量で、ユーザーが指定した領域を被写体の移動や手ぶれなどに応じて自動的に追尾することが可能な動画符号化装置及び動画像復号化装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明によれば、動画像フレームを予め指定された重要領域と非重要領域に分割し、前記重要領域と前記非重要領域で異なる圧縮パラメータで圧縮する動き補償型動画像符号化回路を備えた動画像符号化装置であって、前記動き補償型動画像符号化回路から出力される動きベクトル情報に基づいて前記重要領域の補正を行って、この補正された重要領域情報を前記動き補償型動画像符号化回路へ出力する重要領域選択手段を含むことを特徴とする動画像符号化装置が得られる。
【０００７】
そして、前記重要領域を指定するための入力手段を更に含み、前記重要領域選択手段は、前記動きベクトル情報の他に、前記入力手段からの入力情報に基づき前記重要領域の補正を行うようにしたことを特徴とする。また、前記重要領域選択手段は、前記入力手段からの入力情報の変化量を検出して重要領域位置ユーザー補正ベクトルとする変化ベクトル検出回路と、前記動きベクトル情報から重要領域内の動きベクトルを選択する選択回路と、前記選択回路で選択された動きベクトルを平均化し重要領域位置自動補正ベクトルとする平均化回路と、前記重要領域位置ユーザー補正ベクトルと前記重要領域位置自動補正ベクトルを加算し、この加算結果を用いて前記重要領域情報を補正する手段とを有することを特徴とする。
【０００８】
また、本発明によれば、送信されてきた動画像に対する動き補償型動画像復号化回路を含む動画像復号化装置であって、前記送信されてきた動画像フレームにおける重要領域を指示するための入力手段と、前記動き補償型動画像復号化回路から出力される動きベクトル情報に基づき前記重要領域の補正を行って、この補正された重要領域情報を出力する重要領域選択手段と、送信側の動画像符号化装置に対して前記補正された重要領域情報を通知する手段と含むことを特徴とする動画像復号化装置が得られる。
【０００９】
そして、前記重要領域選択手段は、前記動きベクトル情報の他に、前記入力手段からの入力情報に基づき前記重要領域の補正を行うようにしたことを特徴とする。また、前記重要領域選択手段は、前記入力手段からの入力情報の変化量を検出して重要領域位置ユーザー補正ベクトルとする変化ベクトル検出回路と、前記動きベクトル情報から重要領域内の動きベクトルを選択する選択回路と、前記選択回路で選択された動きベクトルを平均化し重要領域位置自動補正ベクトルとする平均化回路と、前記重要領域位置ユーザー補正ベクトルと前記重要領域位置自動補正ベクトルを加算し、この加算結果を用いて前記重要領域情報を補正する手段とを有することを特徴とする。
【００１０】
本発明の作用を述べる。ユーザーが指定する重要領域を、動き補償型動画像符号化回路、あるいは動き補償型動画像復号化回路が出力する動きベクトル情報を利用し自動補正することにより、低演算量でユーザーが指定した重要領域を被写体の移動や手ぶれなどに応じて自動的に追尾するようにしている。
【００１１】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して詳細に説明する。図１は本発明の一実施の形態を示すブロック図である。カメラ等の撮像デバイス１０から出力される入力画像１６が動き補償型動画像符号化回路１３にて符号化され、符号化データ１７に変換される。この符号化の際に、高画質で符号化する領域は、重要領域情報１９として、重要領域選択回路１４から動き補償型動画像符号化回路１３に通知される。
【００１２】
動き補償型動画像符号化回路１３では、重要領域と非重要領域とで、異なる圧縮パラメータにより圧縮される。すなわち、重要領域として指定された領域における圧縮率を小さく、その他の領域における圧縮率を大きく設定して圧縮動作を実行する。圧縮率を変化させる手段として、量子化ステップサイズの調整、あるいはノイズ除去フィルタによる高周波成分除去の強弱調整等を行う。
【００１３】
重要領域は、基本的には、マウス等のポインティングデバイス１２を用いたユーザーによる操作によって、重要領域選択回路１４にて決定されるが、被写体の移動や手ぶれなどによる重要領域の補正もポインティングデバイス１２と補償型動画像符号化回路１３が出力する動きベクトル情報１８とを用いて、重要領域選択回路１４にて行われる。こうして決定されかつ補正された重要領域情報１９は、動き補償型動画像符号化回路１３に入力されると共に、表示画像合成部１５に入力され、入力画像１６と重ね合わされて表示画像２０となり、表示デバイス１１に表示される。
【００１４】
図３に入力画像の例を、図４に入力画像と重要領域を示す枠を重ね合わせた表示画像の例を、それぞれ示している。
【００１５】
重要領域選択回路１４の詳細について、図２を参照しつつ説明する。動き補償型動画像符号化回路１３が出力する動きベクトル情報１８から、選択回路４０は重要領域中の動きベクトルのみを選択する。平均化回路４１は、選択された動きベクトルを平均化し、重要領域位置自動補正ベクトル３３とする。ユーザーが操作するポインティングデバイス１２の入力は、変化ベクトル検出回路４２へ入力されて変化ベクトルが検出され、重要領域位置ユーザー補正ベクトル４６とされる。なお、メモリ４５に格納される重要領域位置の初期情報は、ユーザーが予めポインティングデバイス１２を用いて指定した情報であるものとする。
【００１６】
そして、加算器４３にて重要領域位置自動補正ベクトル３３と重要領域位置ユーザー補正ベクトル４６とが加算され、更に重要領域位置記憶メモリ４５に記憶された現在の重要領域位置と、加算器４４にて加算されることにより、重要領域情報１９が更新されるようになっている。
【００１７】
図５と図６は、選択回路４０および平均化回路４１の動作を説明する図である。動き補償動画像符号化回路１３は画像フレームを８×８画素や１６×１６画素等のブロックに分割し、それぞれのブロックに対して動きベクトルを算出し、動きベクトル情報１８として選択回路４０に出力する。選択回路４０は、ブロックを重要領域を含むブロック（重要ブロック３０）と、重要領域を含まないブロック（非重要ブロック３１）とに分け、重要ブロック３０に対応する動きベクトルのみを平均化回路４１に選択的に出力する。平均化回路４１では、入力された重要ブロック３０の動きベクトルを平均化して重要領域位置自動補正ベクトル３３とする。
【００１８】
上記実施例では、重要領域の補正を動きベクトル情報１８により自動補正すると共に、ユーザーのポインティングデバイス１２を用いた重要領域位置ユーザー補正ベクトル４６によっても補正するようにしているが、動きベクトル情報１８によってのみ自動補正するようにしても良い。この動きベクトル情報１８によってのみ自動補正する場合には、十分な補正ができない場合があり、よってユーザーによる手動補正を行うことで、より確実に重要領域の手振れなどによる補正が可能となるものである。
【００１９】
次に、本発明の第２の実施の形態について説明する。この第２の実施の形態においては、ＴＶ（テレビ）電話などのような対向通信において、受信側から送信側へ重要領域を指定し、送信側の符号化回路において指定された重要領域における圧縮率を小さくする構成となっている。図７はこの第２の実施の形態を示すブロック図であり、図１と同等部分は同一符号により示されている。
【００２０】
図示せぬ送信側端末が送信する符号化データ５０を動き補償型動画像復号化回路５１が復号し、復号化画像５２を表示画像合成部１５に出力すると同時に、動きベクトル情報１８を重要領域選択回路１４に出力する。重要領域選択回路１４は、動きベクトル情報１８とポインティングデバイス１２からの情報とから、重要領域情報１９を決定して表示画像合成部１５に出力すると同時に、送信側端末へ出力する。表示画像合成部１５は、復号化画像５２と重要領域情報１９を合成し、表示画像２０を作成して表示デバイス１１に表示する。
【００２１】
送信側端末は、受信側端末から通知される重要領域情報１９を基に第１の実施の形態と同様な符号化制御を実施する。
【００２２】
本実施例においても、先の実施例と同様に、重要領域の補正を動きベクトル情報１８とポインティングデバイス１２によるユーザー入力情報とにより補正しているが、動きベクトル情報１８のみを用いても良いものである。
【００２３】
次に、本発明における第３の実施の形態について説明する。この第３の実施の形態おいては、図２における平均化回路４１は、選択回路４０が出力する動きベクトルの中で、重要領域の中心部での動きベクトルに重みをつけた加重平均を計算する。これにより、重要領域の自動追尾の安定性を向上させる効果を得ることができる。
【００２４】
次に、本発明における第４の実施の形態について説明する。この第４の実施の形態においては、図２における平均化回路４１は、平均化、あるいは加重平均化された重要領域内の動きベクトルを、時刻の異なるフレーム間でさらに平均化、あるいは加重平均化する。これにより、重要領域の自動追尾の安定性を向上させる効果を得ることができる。
【００２５】
【発明の効果】
以上説明したように、本発明によれば、ユーザーが指定した領域を圧縮率を低く圧縮することによって主観的画質を向上させる動画像処理装置において、動き補償型動画像符号化回路、あるいは動き補償型動画像復号化回路が出力する動きベクトル情報を利用し、重要領域を自動補正することにより、低演算量で、ユーザーが指定した重要領域を被写体の移動や手ぶれなどに応じて自動的に追尾が可能となるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態における動画像符号化装置を示すブロック図である。
【図２】図１、図７の重要領域選択回路１４の具体例のブロック図である。
【図３】図１の入力画像１６の例である。
【図４】図１、図７の表示画像２０の例である。
【図５】図１、図７の選択回路４０の動作を説明する図である。
【図６】図１、図７の平均化回路４１の動作を説明する図である。
【図７】本発明の第２の実施の形態における動画像復号化装置を示すブロック図である。
【符号の説明】
１０  撮像デバイス
１１  表示デバイス
１２  ポインティングデバイス
１３  動き補償型動画像符号化回路
１４  重要領域選択回路
１５  表示画像合成部
２０  表示画像
２１  重要領域
３０  重要ブロック
３１  非重要ブロック
４０  選択回路
４１  平均化回路
４２  変化ベクトル検出回路
４３，４４  加算器
４５  重要領域位置記憶メモリ
５１  動き補償型動画像復号化回路
【図１】
2004187023.tif 000003
【図２】
2004187023.tif 000004
【図３】
2004187023.tif 000005
【図４】
2004187023.tif 000006
【図５】
2004187023.tif 000007
【図６】
2004187023.tif 000008
【図７】
2004187023.tif 000009