(57)【特許請求の範囲】
【請求項１】
入力ディジタル画像データの符号化を行い第１の符号列を生成する第１の圧縮符号化手段（１３）と、
前記入力ディジタル画像データに対して間引処理を施して伝送画素数を削減し、符号化を行い、第２の符号列を生成する第２の符号生成手段（１１，１３）と、
前記第１の符号列または前記第２の符号列の生成を前記符号化を行う画像数を単位として選択する選択手段（１２）と、
前記選択手段（１２）の選択モードに関する情報を符号化して、前記符号列の所定の位置に挿入するモード情報付加手段（１４，１５）とを備え、
前記モード情報付加手段（１４，１５）は、前記符号化を行う画像数単位毎に少なくとも一度は符号化した前記選択モードに関する情報を挿入する、
ことを特徴とする動画像符号化装置。
【請求項２】
入力ディジタル画像データに対して間引を行い伝送画素数を削減する間引手段（１１）と、
前記入力ディジタル画像データと前記間引手段（１１）の出力である画素数の少ない画像データのいずれかを符号化を行う画像数を単位として選択する選択手段（１２）と、
この選択手段（１２）の出力を符号化する符号化手段（１３）と、
前記選択手段（１２）の選択モードに関する情報を符号化して、前記符号列の所定の位置に挿入するモード情報付加手段（１４，１５）とを備え、
前記モード情報付加手段（１４，１５）は、前記符号化を行う画像数単位毎に少なくとも一度は符号化した前記選択モードに関する情報を挿入する、
ことを特徴とする動画像符号化装置。
【請求項３】
前記間引手段とはサブサンプリングによる間引処理であることを特徴とする請求項１または請求項２に記載の動画像符号化装置。
【請求項４】
前記間引手段とは時間方向でのコマ落としによる間引処理であることを特徴とする請求項１または請求項２に記載の動画像符号化装置。
【請求項５】
入力ディジタル画像データの符号化を行い第１の符号列を生成する第１の符号化モードと、前記入力ディジタル画像データに対して間引処理を施して伝送画素数を削減し、符号化を行い、第２の符号列を生成する第２の符号モードの少なくとも２つの異なるモードに対応した符号列と、当該符号列に対し前記符号化を行う画像数単位毎に少なくとも一度挿入されたモードに関する情報を入力とし、動画像を再生する動画像復号装置において、
前記符号列から画像データを復元し第１の再生画像とする第１の再生手段（２１）と、
前記符号列から画像データを復元し、復元画像データに補間処理を施し第２の再生画像とする第２の生成手段（２１，２２）と、
前記画像数単位毎に、前記モードに関する情報に従って前記第１の再生画像または前記第２の再生画像のいずれかを選択して出力する選択手段（２３）と
を備えることを特徴とする動画像復号装置。
【請求項６】
入力ディジタル画像データの符号化を行い第１の符号列を生成する第１の符号化モードと、前記入力ディジタル画像データに対して間引処理を施して伝送画素数を削減し、符号化を行い、第２の符号列を生成する第２の符号モードの少なくとも２つの異なるモードに対応した符号列と、当該符号列に対し前記符号化を行う画像数単位毎に少なくとも一度挿入されたモードに関する情報を入力とし、動画像を再生する動画像復号装置において、
前記符号列から画像データを復元する復号手段（２１）と、
この復元された画像データを入力として補間処理を行う補間手段（２２）と、
前記画像数単位毎に、前記モードに関する情報に従って前記復号手段（２１）の出力または前記補間手段（２２）の出力のいずれかを選択して出力する選択手段（２３）と
を備えることを特徴とする動画像復号装置。
【請求項７】
符号列に符号化され挿入された前記モードに関する情報を分離して復号するモード情報分離手段（２４）を備えることを特徴とする請求項５または請求項６に記載の動画像復号装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像の圧縮符号化及び復号に関する。
【０００２】
【従来の技術】
動画像の圧縮符号化としては、周知のMPEG(ISO/IEC11172(MPEG1)、ISO/IEC13818(MPEG2))に代表される如く、DCT(DiscreteCosineTransform)及び量子化を用いて圧縮符号化が行われている。
ところで、人間の視覚特性は、高周波側に対して鈍感である。
【０００３】
このため、例えば、MPEG1では、入力画像データの高周波成分を半分にして、 大幅に画質をぼやかした後に、画素を間引くことにより、データ量を効率的に削減している。
【０００４】
そして復号側では復号して得られた画像データを内挿補間し、画像を復元している。この方法では、水平方向の周波数成分が半分に減衰するため、画質は劣化するが、圧縮効率の割りには画質劣化の程度は小さい。
【０００５】
【発明が解決しようとする課題】
このように、圧縮効率と画質レベルとは、相反する。
本発明は、このような問題に鑑みて為されたものであって、間引き処理により画像の圧縮効率を向上させるとともに、これを、選択設定可能とするものである。
【０００６】
【課題を解決するための手段】
本発明は、入力ディジタル画像データの符号化を行い第１の符号列を生成する第１の圧縮符号化手段（１３）と、前記入力ディジタル画像データに対して間引処理を施して伝送画素数を削減し、符号化を行い、第２の符号列を生成する第２の符号生成手段（１１，１３）と、前記第１の符号列または前記第２の符号列の生成を前記符号化を行う画像数を単位として選択する選択手段（１２）と、前記選択手段（１２）の選択モードに関する情報を符号化して、前記符号列の所定の位置に挿入するモード情報付加手段（１４，１５）とを備え、前記モード情報付加手段（１４，１５）は、前記符号化を行う画像数単位毎に少なくとも一度は符号化した前記選択モードに関する情報を挿入する、ことを特徴とする。
【０００７】
本発明は、入力ディジタル画像データに対して間引を行い伝送画素数を削減する間引手段（１１）と、前記入力ディジタル画像データと前記間引手段（１１）の出力である画素数の少ない画像データのいずれかを符号化を行う画像数を単位として選択する選択手段（１２）と、この選択手段（１２）の出力を符号化する符号化手段（１３）と、前記選択手段（１２）の選択モードに関する情報を符号化して、前記符号列の所定の位置に挿入するモード情報付加手段（１４，１５）とを備え、前記モード情報付加手段（１４，１５）は、前記符号化を行う画像数単位毎に少なくとも一度は符号化した前記選択モードに関する情報を挿入する、ことを特徴とする。
【０００８】
本発明は、前記間引手段とはサブサンプリングによる間引処理であることを特徴とする。
本発明は、前記間引手段とは時間方向でのコマ落としによる間引処理であることを特徴とする。
【０００９】
本発明は、入力ディジタル画像データの符号化を行い第１の符号列を生成する第１の符号化モードと、前記入力ディジタル画像データに対して間引処理を施して伝送画素数を削減し、符号化を行い、第２の符号列を生成する第２の符号モードの少なくとも２つの異なるモードに対応した符号列と、当該符号列に対し前記符号化を行う画像数単位毎に少なくとも一度挿入されたモードに関する情報を入力とし、動画像を再生する動画像復号装置において、前記符号列から画像データを復元し第１の再生画像とする第１の再生手段（２１）と、前記符号列から画像データを復元し、復元画像データに補間処理を施し第２の再生画像とする第２の生成手段（２１，２２）と、前記画像数単位毎に、前記モードに関する情報に従って前記第１の再生画像または前記第２の再生画像のいずれかを選択して出力する選択手段（２３）とを備えることを特徴とする。
【００１０】
本発明は、入力ディジタル画像データの符号化を行い第１の符号列を生成する第１の符号化モードと、前記入力ディジタル画像データに対して間引処理を施して伝送画素数を削減し、符号化を行い、第２の符号列を生成する第２の符号モードの少なくとも２つの異なるモードに対応した符号列と、当該符号列に対し前記符号化を行う画像数単位毎に少なくとも一度挿入されたモードに関する情報を入力とし、動画像を再生する動画像復号装置において、前記符号列から画像データを復元する復号手段（２１）と、この復元された画像データを入力として補間処理を行う補間手段（２２）と、前記画像数単位毎に、前記モードに関する情報に従って前記復号手段（２１）の出力または前記補間手段（２２）の出力のいずれかを選択して出力する選択手段（２３）とを備えることを特徴とする。
【００１１】
本発明は、符号列に符号化され挿入された前記モードを示す情報を分離して復号するモード情報分離手段（２４）を備えることを特徴とする。
［作用］
本発明では、２つのモード（通常モードと高圧縮モード）備え、このモードに応じて、符号化時の間引き処理の有無、及び、復号時の補間処理の有無を制御する。
【００１２】
【実施の形態】
図１を参照しつつ、本発明の第１実施例を説明する。
図１は、動画像符号化装置の構成図である。
１１は、間引手段である。この間引手段１１は、間引処理によって伝送画素を削減する。なお、必要に応じて間引による折り返しなどの妨害を除去することを目的とした帯域制限フィルタを備えている。
【００１３】
１２は、選択手段である。選択手段１２は、入力画像データ又は、入力画像データを間引いた伝送画素データを選択的に出力する。この選択手段１２は、圧縮モードに応じて切り換え制御される。圧縮モードが、通常モードである時には入力画像データを出力する。圧縮モードが、高圧縮モードである時には間引手段１１により伝送画素数が削減された画像データを出力する。
【００１４】
１３は、圧縮符号化手段である。圧縮符号化手段１３は、選択手段１２によって選択された画像データを入力として、符号化を行い符号化列を出力する。この圧縮符号化手段１３は、ディタル動画像を予め定められたデータ量に圧縮して符号化列を生成する。例えば、MPEG、MPEG2、Motion JPEG,H261などの直交変換と 量子化による圧縮符号化方式や、直交変換を用いず、直接画素値を画素値のダイナミックレンジに対応して量子化ステップを変化させて符号量を削減するといった量子化による圧縮符号化手段などの、符号化後の符号量を削減して一定の伝送レートの符号列を作成する符号化でも良い。
【００１５】
つまり、圧縮符号化手段１３は、入力した画像データに対し、入力したデータ量より少ない所定のデータ量でかつ復号可能な符号列を出力する。
尚、圧縮符号化手段１３は、入力ディジタル画像データの符号化を行い第１の符号列を生成する第１の圧縮符号化手段（１３）を形成している。
また、間引手段１１と選択手段１３は、入力ディジタル画像データに対して間引処理を施して伝送画素数を削減し、符号化を行い、第２の符号列を生成する第２の符号生成手段（１１，１３）を形成している。
【００１６】
選択手段１２は、この第１の符号列または第２の符号列の生成を選択している。
まず、間引手段１１の間引処理について、説明する。
間引手段１１は、前述の如く、間引処理によって伝送画素を削減する手段であって、間引により発生する折り返し歪を除去する帯域制限フィルタを備えている。
【００１７】
間引処理は、例えば、図７に示すようなフィールド内サブサンプリングによる間引方法がある。
フィールドＦ１、Ｆ２、Ｆ３は時間的に連続する３つのフィールドを、ブロックＢ１、Ｂ２、Ｂ３はフィールドＦ１、Ｆ２、Ｆ３の空間的に同一位置の領域から（３×３）の領域を切り出したもので、「×」は間引による非伝送画素を示している。
【００１８】
各フィールド毎に５の目格子状の同一パターンで伝送画素を１／２に削減することが可能であり、再生時に補間することで比較的高い解像度を持つ再生画像が得られる。
図８は、別の間引パターンの例である。
インタレース方式の画像（現行のＴＶ放送、ＮＴＳＣ、ＰＡＬなど）では２つのフィールド（奇フィールドと偶フィールド）の垂直位置が異なるため、２フィールドによって構成されたフレーム面において５の目格子状のサブサンプリングによる間引を行う例である。
【００１９】
フィールドＧ１、Ｇ２、Ｇ３、Ｇ４は、時間的に連続する４つのフィールドを示す。
また、ブロックＣ１は、連続する２つのフィールドＧ１、Ｇ２から、ブロックＣ２は連続する２つのフィールドＧ３、Ｇ４から構成される各フレームから空間的に同一位置の（３×３）の領域を切り出したもので、偶フィールドにおける伝送画素を□として示している。また、奇フィールドにおける伝送画素を○として示している。また、非伝送画素を×として示している。
【００２０】
このように各フレーム毎に５の目格子状の同一パターンで伝送画素を１／２に削減する。
また、例えばＭＰＥＧ２のようなインタレース信号をフレーム単位で符号化する手法を備える方式では、間引を行った同一の画面単位で符号化が行うことが可能となり、間引による画質劣化が少ない。
【００２１】
図９は、フレーム単位でのサブサンプルによる間引の例である。
フレーム単位で伝送画素の位相を交互に設定することで、４フィールドで全ての位置の画素を伝送することを可能としている。
４フィールドによる内挿補間により再生を行えば静止領域での解像度が優れるが動画領域ではボケが生じる。
【００２２】
以上、サブサンプリングによる間引手法について説明した。尚、本願は、いづれの間引手段にも限定するものではなく、水平または垂直方向でのサンプリング周波数の変更による伝送画素の削減、コマ落とし等の時間方向での伝送画素の削減など、伝送画素数の削減を目的としたあらゆる間引手段を用いることが可能である。
【００２３】
また、上記説明では、間引き処理により、伝送画素が１／２に削減されると記したが、画素の削減比率を限定するものではない。つまり、間引によって伝送画素数を減少させるものであればいかなる比率であってもよい。
【００２４】
図１の動作を説明する。
入力画像データは、間引手段１１に入力され間引処理で伝送画素を例えば1/2 に削減される。
選択手段１２は、外部より指定された圧縮モードに従って、入力画像データまたは前記間引手段１１の出力である伝送画素数の少ない画像データのいずれかを選択出力する。つまり、選択手段１２は、圧縮モードが通常モード時には入力画像データを選択出力する。選択手段１２は、圧縮モードが高圧縮モード時には前記間引手段１１による伝送画素数が削減された画像データを選択して出力する。
【００２５】
圧縮符号化手段１３は、選択手段１２によって選択された画像データを入力とし、圧縮モードに従って所定のデータ量になるよう制御を行い符号列を出力する。この時、高圧縮モードでは通常モードの1/2あるいは1/3と言った少ないデータ量になるように制御する。
再生画質が良好な間引手段を用いれば、劣化の少ない高圧縮モードが可能となる。
【００２６】
図２を参照しつつ、本発明の第２実施例を説明する。
図２は、動画像符号化装置である。
図２において、図１と同一部分には同一符号を付して重複説明を省略する。
この第２実施例は、図１の第１実施例に対して、モード情報符号化手段１４と付加手段１５を加えたものである。
【００２７】
モード情報符号化手段１４は、前記圧縮モードに対応した特定の符号列を発生させる。
付加手段１５は、前記モード情報符号化手段１４からの符号列を、圧縮符号化手段１３の出力の特定位置に挿入する。
付加手段１５は、例えば、圧縮符号化手段１３をMPEG1またはMPEG2による符号化であるとすれば、各種ヘッダ情報の中に存在するユーザデータ領域内に圧縮モードを示す付加符号を挿入している。また、MPEG２などの複数の画像を一つのグループ（ＧＯＰ）として符号化をおこなう圧縮符号化方式においては、ＧＯＰ単位での再生が補償できる点から、圧縮モードの切換の最小単位はＧＯＰ単位とし、少なくとも１ＧＯＰに一度は前記圧縮モードを示す付加符号を挿入する。
【００２８】
尚、モード情報符号化手段１４と付加手段１５とは、選択手段（１２）の選択モードを符号化して、前記符号列の所定の位置に挿入するモード情報付加手段（１４，１５）を形成している。
このように、第２実施例では、圧縮モードを示す符号列を画像データの符号列内に付加している。
【００２９】
尚、通常モードにおける圧縮モードを示す符号は挿入しても挿入しなくとも問題とならないため、高圧縮モード時のみ高圧縮モードである旨を示す符号を付加することも例外ではない。
また、MPEG2を例として圧縮モードの切換え単位を上述したが、再生可能な単 位であればいかなる時に圧縮モードを切り換えてもかまわない。
【００３０】
更に、MPEG2を例として圧縮モードを示す符号列を挿入する位置及び周期に関 して上述したが、分離可能でかつ再生に支障のない位置及び周期であればいかなる位置及び周期であっても良い。
【００３１】
図３を参照しつつ、本発明の第３実施例を説明する。
図３は、動画像復号装置の構成図である。
この第３実施例は、第１実施例で符号化されたデータを元の動画に戻す装置である。
２１は、復号手段である。復号手段２１は入力された符号列から、伝送画素データを生成する。
【００３２】
２２は、補間手段である。補間手段２２は、圧縮モードが高圧縮モードであれば非伝送画素データを補間処理によって算出し、所定の位置に配置する。これによって、通常モードにおける復号手段２１の出力と同一画面サイズをもつ画像データとなる。
２３は、出力選択手段である。出力選択手段２３は、同時に与えられる圧縮モードにしたがって、通常モードでは復号手段２１の出力を選択して再生画像データとして出力する。又、高圧縮モードでは補間手段２２の出力を選択して再生画像データとして出力する。
【００３３】
尚、この第３実施例では、出力選択手段２３を補間手段２２の後段に設けた。しかし、例えば、通常モードでは入力信号をそのまま通過させ、高圧縮モード時には補間を行う補間手段を利用すれば、この出力選択手段２３と補間手段２２とを一体とできる。
この第３実施例の復号手段２１は、入力された符号列から画像データを復元し第１の再生画像とする第１の再生手段（２１）を形成している。
【００３４】
復号手段２１と補間手段２２とは、入力された符号列から画像データを復元し、この復元画像データに補間処理を施し第２の再生画像とする第２の生成手段（２１，２２）を形成している。
そして、出力選択手段２３は、モードに従って前記第１の再生画像または前記第２の再生画像のいずれかを選択して出力する選択手段（２３）を形成している。
【００３５】
図４を参照しつつ、本発明の第４実施例を説明する。
図４は、動画像復号装置の構成図である。
この第４実施例は、第２実施例で符号化されたデータを元の動画に戻す装置である。
この第４実施例では、圧縮モードを示す符号列を画像データの符号列内に付加した符号列を復号する。
【００３６】
つまり、この第４実施例では、第３実施例の動画像符号化装置に符号分離手段２４を更に備える。
符号分離手段２４は、入力された符号列の中から圧縮モードを示す符号列を分離し、圧縮モード信号を必要とする全てのブロックに分配する。
【００３７】
図５を参照しつつ、本発明の第５実施例を説明する。
図５は、動画像記録装置の構成図である。
この第５実施例は、第１実施例の動画像符号装置を用いて動画像記録装置を構成している。
ここでは、圧縮モードが動画像を録画する記録時間に関係するため記録モードと呼ぶ。
【００３８】
即ち、前記通常モードが標準モードに対応する。そして、前記高圧縮モードが長時間記録モードに対応する。
動画像符号化装置３０から出力された符号列は、多重手段３１において記録モード信号を多重されると同時に、記録媒体３３にて適した信号フォーマットに変換される。
【００３９】
そして、録媒体書き込み手段３２を介して記録媒体３３に書き込まれる。
多重手段３１における録画モード信号との多重は画像データの符号列の特定の位置に挿入されるものではなく、記録媒体３３に記録する信号形式に従って指示された場所に多重されるものである。
尚、記録媒体において各データに対する記録モードを記録して管理するためのデータ領域が存在するような記録媒体であれば、同一の記録媒体の前記データ領域にモード情報を記録するようにしてもよい。
【００４０】
図６を参照しつつ、本発明の第６実施例を説明する。
図５は、動画像記録装置の構成図である。
この第６実施例は、第２実施例の動画像符号装置を用いて動画像記録装置を構成している。
録画モード信号は、すでに符号化され動画像復号装置３４の出力である符号列の中に挿入されている。
【００４１】
従って、記録媒体書き込み手段３５が符号列を記録媒体に適した信号フォーマットに変換した後、記録媒体３３に書き込む。
【００４２】
【発明の効果】
本発明によれば、符号化時に、モードに応じて間引き処理を選択的に行うことが可能となるので、圧縮率を高め、且つ、画質の劣化の少ない符号化の利便性が高まる。また、この様にして符号化された符号列を的確に復号することが出来る。
【００４３】
【図面の簡単な説明】
【図１】本発明の第１実施例の動画像符号化装置の構成図である。
【図２】第２実施例の動画像符号化装置の構成図である。
【図３】第３実施例の動画像復号装置の構成図である。
【図４】第４実施例の動画像復号装置の構成図である。
【図５】第５実施例を示す図である。
【図６】第６実施例を示す図である。
【図７】間引手段を説明するための図である。
【図８】間引手段を説明するための図である。
【図９】間引手段を説明するための図である。
【符号の説明】
１１  間引手段、
１２  選択手段、
１３  圧縮符号化手段（符号化手段）、
１４  モード情報符号化手段（モード情報付加手段）、
１５  付加手段（モード情報付加手段）、
２１  復号手段、
２２  補間手段、
２３  出力選択手段（選択手段）、
２４  符号分離手段（モード情報分離手段）、、
３０  動画像符号化装置、
３１  多重手段、
３２  記録媒体書き込み手段、
３３  記録媒体、
３４  動画像符号化装置、
３５  記録媒体書き込み手段。
【図１】
0003540447.tif 000002
【図２】
0003540447.tif 000003
【図３】
0003540447.tif 000004
【図４】
0003540447.tif 000005
【図５】
0003540447.tif 000006
【図６】
0003540447.tif 000007
【図７】
0003540447.tif 000008
【図８】
0003540447.tif 000009
【図９】
0003540447.tif 000010