(57)【要約】【課題】ＭＰＥＧ２及び４同時記録において、ＭＰＥＧ４の画質向上を実現できる符号化装置を提供する。【解決手段】同時刻の入力画像を第１と第２の符号化装置でそれぞれ符号化ストリームを出力する画像符号化装置において、第１の符号化装置の量子化係数、量子化値、発生符号量又は画像内（Ｉｎｔｒａ）・画像間（Ｉｎｔｅｒ）判定結果等の符号化情報を用いて、第２の符号化装置が符号化を行う。【選択図】  図１
2004343576.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像情報を第１のレート又は第１の解像度で符号化する第１の符号化手段と該入力された画像情報を上記第１のレートよりも低い第２のレート又は上記第１の解像度よりも低い第２の解像度で符号化する第２の符号化手段とを備え、
上記第２の符号化手段は画像情報を符号化する際に、該画像情報に対応する第１の符号化手段における画像情報の符号化情報を用いて符号化し、該第１の符号化手段と該第２の符号化手段にてそれぞれ符号化した画像情報を出力することを特徴とする符号化装置。
【請求項２】
請求項１記載の符号化装置において、
前記第２の符号化手段は、前記第１の符号化手段が画像情報を符号化するタイミングより所定時間だけ遅延して対応する画像情報を符号化することを特徴とする符号化装置。
【請求項３】
請求項１又は２記載いずれか１項記載の符号化装置において、
前記符号化情報は、量子化係数であることを特徴とする符号化装置。
【請求項４】
請求項１乃至３のいずれか１項記載の符号化装置において、
前記符号化情報は、前記第１の符号化手段における画像情報のマクロブロックの画像内符号化又は画像間符号化の切り替え情報であることを特徴とする符号化装置。
【請求項５】
第１の画像情報を入力する画像情報入力部、画像内符号化又は画像間符号化の切り替え判定を行う第１の判定部、量子化を行う第１の量子化部、及び情報量制御を行う第１の情報量制御部を有し、該画像情報入力部から入力された第１の画像情報を第１のレート又は第１の解像度で符号化する第１の符号化手段と、
上記第１の画像情報のスケーリングを行い第２の画像情報を作成するスケーラ部、該第２の画像情報の画像内符号化又は画像間符号化の切り替え判定を行う第２の判定部、該第２の画像情報の量子化を行う第２の量子化部、パラメータを用いて該第２の画像情報の情報量制御を行う第２の情報量制御部を有し、該第２の画像情報を上記第１のレートよりも低い第２のレート又は上記第１の解像度よりも低い第２の解像度で符号化する第２の符号化手段と、
上記第２の符号化手段では、上記第２の画像情報を符号化する際には、上記第２の情報量制御部が、上記第１の判定部の画像内符号化又は画像間符号化の切り替え情報又は上記第１の情報量制御部での情報量制御に用いたパラメータを参照し、上記第２の判定部は上記第１の判定部での画像内符号化又は画像間符号化の切り替え情報を参照し、該参照したパラメータに所定の変化がある場合には、上記第２の情報量制御部は、該変化に応じた情報量の制御を行い、第２の画像情報を符号化し、該第１の符号化手段と該第２の符号化手段にてそれぞれ符号化した第１及び第２の画像情報を出力することを特徴とする符号化装置。
【請求項６】
請求項５記載の符号化装置において、
前記パラメータは、前記第１の符号化手段において符号化の際に発生した発生符号量又は前記第１の量子化部での量子化係数若しくは量子化値であり、
前記第２の情報量制御部は、該パラメータが所定の値を超えて変化した場合には、該変化に応じて、該第２の符号手段における量子化値又は量子化係数を増加させ、発生符号量又はフレームレートを下げるように制御する事を特徴とする符号化装置。
【請求項７】
請求項１乃至６のいずれか１項記載の符号化装置において、
前記第１の符号化手段はＭＰＥＧ２符号化手段であり、前記第２の符号化手段はＭＰＥＧ４符号化手段である事を特徴とする符号化装置。
【請求項８】
入力された画像情報を第１のレート又は第１の解像度で符号化する第１の符号化手段と上記第１のレートよりも低い第２のレート又は上記第１の解像度よりも低い第２の解像度で符号化する第２の符号化手段を用いた符号化方法において、
上記第１の符号化手段を用いて画像情報を符号化するステップと、
上記第２の符号化手段を用いて画像情報を符号化する際に、該画像情報に対応する第１の符号化手段における画像情報の符号化情報を用いて符号化するステップと、
該第１の符号化手段と該第２の符号化手段にてそれぞれ符号化した第１及び第２の画像情報を出力するステップとを有することを特徴とする符号化方法。
【請求項９】
撮影した画像情報を記録媒体に記録可能なビデオカメラ装置において、
撮影した画像情報を第１のレート又は第１の解像度で符号化する第１の符号化手段と、
該撮影した画像情報を上記第１のレートよりも低い第２のレート又は上記第１の解像度よりも低い第２の解像度デ符号化する第２の符号化手段と、
画像情報を記録する記録手段と、
画像情報を外部へ転送する転送手段とを備え、
上記第２の符号化手段は画像情報を符号化する際に、該画像情報に対応する第１の符号化手段における画像情報の符号化情報を用いて符号化し、
上記記録手段は上記第１の符号化手段により符号化された画像情報を記録し、
上記転送手段は上記第２の符号化手段により符号化された画像情報を外部へ転送することを特徴とするビデオカメラ装置。
【請求項１０】
請求項８記載の符号化方法において、
前記第１の符号化手段はＭＰＥＧ２符号化手段であり、前記第２の符号化手段はＭＰＥＧ４符号化手段である事を特徴とする符号化方法。
【請求項１１】
請求項９記載のビデオカメラ装置において、
前記第１の符号化手段はＭＰＥＧ２符号化手段であり、前記第２の符号化手段はＭＰＥＧ４符号化手段である事を特徴とするビデオカメラ装置。
【請求項１２】
デジタル信号を外部から入力する入力手段と、
入力されたデジタル信号を第１のレート又は第１の解像度で符号化する第１の符号化手段と、
該入力されたデジタル信号を上記第１のレートよりも低い第２のレート又は上記第１の解像度よりも低い第２の解像度で符号化する第２の符号化手段と、
デジタル信号を外部へ出力する出力手段とを備え、
上記第２の符号化手段はデジタル信号を符号化する際に、該デジタル信号に対応する第１の符号化手段におけるデジタル信号の符号化情報を用いて符号化し、
上記出力手段は上記第１の符号化手段により符号化されたデジタル信号を記録媒体に出力し、上記第２の符号化手段により符号化されたデジタル信号を通信端末へ出力することを特徴とするデジタル信号入出力装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像情報を符号化する符号化装置及びこれを用いたビデオカメラ装置に関する。
【０００２】
【従来の技術】
高レート・高解像度を目的とした動画像圧縮方式として、例えばＭＰＥＧ２＿Ｖｉｄｅｏ（ＩＳＯ／ＩＥＣ１３８１８−２）がある。また、低レート・低解像度を目的とした動画像圧縮方式として例えばＭＰＥＧ４＿Ｖｉｄｅｏ（ＩＳＯ／ＩＥＣ１４４９６−２）がある。
【０００３】
ここで、ＭＰＥＧ２ストリームをＭＰＥＧ４ストリームにトランスコードする際にＭＰＥＧ２を復号する際のサイド情報（総符号量など）を用いてＭＰＥＧ４のレートコントロールを行う手法が提案されている（特許文献１）。
【０００４】
一方、高解像度の映像信号のフレームを符号化するにあたって、低解像度の映像信号を利用する手法が提案されている（特許文献２）。
【０００５】
【特許文献１】特開２０００−３１２３６３号公報
【特許文献２】特開平１１−１３６６８３号公報
【０００６】
【発明が解決しようとする課題】
上記特許文献１に開示されているトランスコードでは、出力が１系統であり、高解像度・高レートの画像情報と低解像度・低レートの画像情報を同時出力及び同時記録することはできない。
【０００７】
上記特許文献２に開示されている低解像度の映像信号をより有効に利用して、高解像度の画像情報を符号化する手段では、低解像度・低レートの画像情報の画質の向上を図ることはできない。
【０００８】
本発明の目的は、画像情報を高画質で出力できる符号化装置、これを用いたビデオカメラ装置及び符号化方法を提供することにある。
【０００９】
【課題を解決するための手段】
前記目的は特許請求の範囲の記載の発明によって達成される。
【００１０】
【発明の実施の形態】
以下本実施例を、図面を用いて説明する。
【００１１】
図１は本発明に係る符号化装置の実施形態を示すブロック図である。同時刻の入力画像を第１の符号化装置１と第２符号化装置２でそれぞれ符号化する際に、第１の符号化装置の発生符号量に関する情報、量子化値に関する情報、画像内（Ｉｎｔｒａ）・画像間（Ｉｎｔｅｒ）判定結果を用いて、第２の符号化装置が符号化を行う。
【００１２】
図２は本発明に係る符号化装置の実施形態を示すブロック図である。ＭＰＥＧ２記録は、カメラ部１０より入力されたアナログ信号を、画像入力部によりデジタル画像形式に変換を行い記録ＲＡＭ部９０に保存する。ＭＣ部（動き補償部）３０は符号化単位毎に動き補償を行う為に必要な画像を読み出し、動き補償を行う。Ｊｕｄｇｅ部（Ｉｎｔｒａ／Ｉｎｔｅｒ判定部）８０でＩｎｔｒａ／Ｉｎｔｅｒ符号化の切り替え判定を行い、ＤＣＴ部（離散コサイン変換部）４０でＤＣＴ変換を行い、Ｑ部（量子化部）５０で量子化を行い、Ｒａｔｅ部（情報量制御部）７０で情報量制御を行い、ＶＬＣ部（可変長符号化部）６０でＭＰＥＧ２の符号語への変換を行い、ＭＰＥＧ２のストリームを生成する。また、Ｑ部、ＤＣＴ部、ＭＣ部によりローカルデコードした復号画像を記録ＲＡＭ部に保存し、次フレームの動き補償に用いる。
【００１３】
ＭＰＥＧ４記録は、画像入力部によりデジタル化された動画像データを、Ｓｃａｌｅｒ部（画像解像度変換部）１００によりＭＰＥＧ４の対象画像サイズにスケーリングを行い、記録ＲＡＭ部に保存する、この記録ＲＡＭより動画像データを読み出し、ＭＰＥＧ２同様にＭＣ部１２０、Ｊｕｄｇｅ部１１０、ＤＣＴ部１３０、Ｑ部１４０、Ｒａｔｅ部１５０、ＶＬＣ部１６０にて動画像圧縮を行い、ＭＰＥＧ４のストリームを作成する。またＭＰＥＧ２同様なローカルデコードを行い、復号画像を記録ＲＡＭに保存する。
【００１４】
この際、ＭＰＥＧ２のＪｕｄｇｅ部のＩｎｔｒａ／Ｉｎｔｅｒ切り替え情報と、Ｒａｔｅ部でのレートコントロールに用いるＱ値、発生符号量等の情報をＭＰＥＧ４のＲａｔｅ部で参照できるようになっている。また、Ｉｎｔｅｒ／Ｉｎｔｅｒ切り替え情報に関してはＭＰＥＧ４のＪｕｄｇｅ部でも参照できるようになっている。
【００１５】
ＭＰＥＧ４部では、このＭＰＥＧ２の情報を元に、適宜量子化値やフレームレートを最適化する事が可能となる。具体的には、ＭＰＥＧ２の入力画像毎の発生符号量と量子化値の平均値、各マクロブロックのＩｎｔｒａ／Ｉｎｔｅｒ符号化の切り替え状況、量子化係数を監視する。これらの係数に急激な変化のある画像では、シーンチェンジであると仮定してＭＰＥＧ４での量子化値を増加させやすくする処理、各マクロブロックの符号化においてＩｎｔｒａ符号化を選びやすくする処理、その画像自体をＩｎｔｒａ符号化にする処理、画像自体の符号化を行わない画像の間引きの処理等を行う。また、画像内でも、ＭＰＥＧ２の各量子化値や、Ｉｎｔｒａ／Ｉｎｔｅｒ符号化の切り替え状況を監視して、画像内の符号化の難易度を見極め、それに応じた量子化値や、Ｉｎｔｒａ／Ｉｎｔｅｒ符号化の切り替えの制御を行う。ＭＰＥＧ２の符号化情報を用いて、ＭＰＥＧ４の符号化を行うことにより、急激なシーンチェンジによる画質の劣化を抑制し、ＭＰＥＧ４の画像を高画質化することを可能とする。
次に図３に、ＭＰＥＧ２とＭＰＥＧ４の符号化を行う際の符号化タイミングを示す。
【００１６】
ＭＰＥＧ２とＭＰＥＧ４は上記の符号化動作を行い、入力された画像の符号化を行っていくが、ＭＰＥＧ４はスケーリング後の入力画像を記録ＲＡＭに保存し、ＭＰＥＧ２の画像符号化と遅延させて符号化を行う事により、ＭＰＥＧ２の符号化情報を利用する事が容易になる。
【００１７】
次に図４に、本画像符号化装置を用いたビデオカメラ装置を示す。カメラ部５００により、アナログ画像をデジタル画像に変換し、画像符号化部５２０によりＭＰＥＧ２やＭＰＥＧ４の画像符号化を行う。音声は、マイク部５１０によりアナログ音声を入力し、デジタル音声に変換して、音声符号化部５３０で音声符号化を行う。ＭＵＸ部５４０で音声と画像データの多重を行い、ＭＰＥＧのストリームとして、記録媒体５５０に保存する。システムコントロール部５７０は各部のコントロールを行う。画像表示部５６０は画像を表示する形式（例：ＮＴＳＣ）等の変換を行う。画像転送部５８０は、ＭＰＥＧ４で記録したデータを、携帯等に転送する際の制御を行う。ユーザの選択により適宜ＭＰＥＧ２とＭＰＥＧ４の同時エンコードを行う。そしてＭＰＥＧ２ストリームは記録媒体に記録し、ＭＰＥＧ４ストリームは出力モニタでの再生・携帯等への転送を行う。本実施例のビデオカメラ装置を監視カメラシステム等に用いることで、ＭＰＥＧ２で符号化したデータを記録媒体に記録すると共に、ＭＰＥＧ４で符号化したデータを通信端末等に転送し、撮影画像に変化があった場合（例えば犯人等をカメラ装置が捉えた場合）等には高画質の画像を提供することができる。尚、撮影画像の変化が大きい場合（発生符号量等の符号化情報の変化が大きい場合）には通信端末側でアラーム音や光等により何らかの方法でユーザに報知するようにしてもよい。
【００１８】
次に、図５に、本画像符号化装置を用いたデジタル信号入出力装置を及びこれを用いたシステム構成図を示す。既に説明したブロックの説明は省略する。ここで、点線で示した部分がデジタル信号入出力装置となる。ここで、出力部６１０は通信端末７１０、記録媒体７３０又は画面表示手段７２０等へ画像情報を転送する。尚、ここで記録媒体７３０及び画像表示手段７２０は外部にあるが、デジタル信号入出力装置の内部に設けても良い。また、ここで、入力部６００が接続される装置はカメラ装置７００に限るものではない。
【００１９】
【発明の効果】
本発明によれば、画像情報を高画質で出力することができる。
【図面の簡単な説明】
【図１】ＭＰＥＧ２／４同時記録の簡易ブロック図
【図２】ＭＰＥＧ２／４同時記録のブロック図
【図３】ＭＰＥＧ２／４同時記録のタイミング図
【図４】ビデオカメラ装置のブロック図
【図５】デジタル信号入出力装置のブロック図
【符号の説明】
１・・・第１の符号化装置
２・・・第２の符号化装置
２０・・・画像入力部
３０・・・ＭＣ部
４０・・・ＤＣＴ部
５０・・・Ｑ部
６０・・・ＶＬＣ部
７０・・・Ｒａｔｅ部
８０・・・Ｊｕｄｇｅ部
９０・・・記録ＲＡＭ部
１００・・・Ｓｃａｌｅｒ部
１１０・・・Ｊｕｄｇｅ部
１２０・・・ＭＣ部
１３０・・・ＤＣＴ部
１４０・・・Ｑ部
１５０・・・Ｒａｔｅ部
１６０・・・ＶＬＣ部
【図１】
2004343576.tif 000003
【図２】
2004343576.tif 000004
【図３】
2004343576.tif 000005
【図４】
2004343576.tif 000006
【図５】
2004343576.tif 000007