(57)【要約】【課題】ＨＤＴＶ画像より多い画素数を有する高解像度動画像であっても良好な画質を効率的に得ることのできる動画像符号化及び復号化装置装置を提供する。【解決手段】ＨＤＴＶ画像より多い（ＱＨＤＴＶ）画素数を有する画像入力部１５から供給された元画像を必要な数のＨＤＴＶ画像に画面分割部１２において、元画像の近傍画素に必要なＨＤＴＶ画像の数と同じ数でマスクをかけサンプリングし圧縮するためのＨＤＴＶ画像１３ａ，１３ｂ，１３ｃ，１３ｄを得た後、ＭＰＥＧエンコーダ１４及びＭＰＥＧデコーダ２４にて符号化及び復号化を行うことにより画面分割により生じる画面内の境界線の影響を無くし、ＨＤＴＶ画像より多い画素数を有する高解像度動画像であっても良好な画質を効率的に得ることができる。【選択図】　　　図１
2004120499.tif 000002
【特許請求の範囲】
【請求項１】
ＨＤＴＶより多い画素数を有する元画像を複数のＨＤＴＶ画像に画面分割し、前記画面分割したＨＤＴＶ画像をＨＤＴＶ画像単位でＭＰＥＧ符号化及び復号化して元画像を得るようにした動画像符号化及び復号化装置であって、
前記ＨＤＴＶ画像より多い画素数を有する元画像の画素に、前記画面分割する画面数と同数の画素単位でマスクをかけサンプリングして画面分割を行い、符号化するためのＨＤＴＶ画像に前記元画像を分割する画面分割手段と、
前記画面分割手段によって得られた複数のＨＤＴＶ画像をＭＰＥＧ符号化するＭＰＥＧ符号化手段と、
前記符号化された複数のＭＰＥＧ符号化信号をＨＤＴＶ画像に復号化するＭＰＥＧ復号化手段と、
前記復号化された複数のＨＤＴＶ画像を前記サンプリングとは逆のサンプリングを行い、一画像である元画像に再合成する画面再合成手段と
を有することを特徴とする動画像符号化及び復号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像符号化及び復号化装置装置に係り、特に高解像度動画像を得るために撮像画像を分割し、ＭＰＥＧ処理をする動画像符号化及び復号化装置に関する。
【０００２】
【従来の技術】
従来ＨＤＴＶ画像より多い画素数を有する撮像素子を用いた撮像装置においては、撮像素子より得られた周波数の高いアナログ信号のまま各種信号処理を行うことは困難であり、また前記周波数の高いアナログ信号をＡ／Ｄ変換して得られた並列デジタル信号を演算するには高い駆動周波数が必要であった。更には、ＨＤＴＶ画像より多い画素数を扱う装置は標準化も行われておらず専用のＬＳＩ等の製作が必要となっていた。
【０００３】
従って、従来ＨＤＴＶ画像より多い画素数を取り扱う場合、画面分割を行い何組かのＨＤＴＶ画像とすることで撮像素子、Ａ／Ｄ変換、各種画像処理回路は低い周波数で駆動し、標準化されている機能はＨＤＴＶ画像用の周波数を用いＨＤＴＶ用の装置を用いることで、高解像度であっても良好な画質を効率的に得るようにしている。
また、画像伝送に関してもＳＤＩ規格（ＳＤＩ：シリアルディジタルインターフェース）の伝送路を画素数に合わせ複数系統用いるようにしている（いずれも例えば、特許文献１参照。）。
【０００４】
【特許文献１】
特開２００２−１３５６６２公報（第３−７頁、第２図）
【０００５】
ＨＤＴＶ画像より多い画素数例えば、ＨＤＴＶの４倍の情報量を持つＱＨＤＴＶ（３８４０×２１６０画素）の動画像を伝送するには、ＨＤ−ＳＤＩを４系統必要とし、その情報量は１．４８５Ｇｂｐｓ×４となり、記録または伝送するのに高速大容量の記録再生装置や伝送装置が必要である。
通常このような情報量を効率よく削減するために圧縮技術が利用され、最も一般的な動画像圧縮方式のＭＰＥＧ符号化が使われる。しかし、ＭＰＥＧで規定している画像サイズは最大でＨＤＴＶなので、それを上回る動画像を符号化するにはやはり何組かのＨＤＴＶサイズに変更してＭＰＥＧエンコーダを複数台用いて符号化することになる。ＱＨＤＴＶの場合は、４台必要である。このように圧縮を利用することで容量が小さく、速度が遅い記録再生装置や、狭い帯域や低いビットレートの伝送路でも取り扱うことが可能となる。
【０００６】
【発明が解決しようとする課題】
ところで、従来の方法では、ＭＰＥＧエンコーダ装置に入力する画像データを、田の字型や、縦割あるいは横割の短冊型に分割して符号化可能としている。
しかしながら、従来の田の字型や、縦割あるいは横割の短冊型の分割方式では、画面の中に画像の結合部分が存在し、伝送エラーや復号化エラーなどデコーダ側の問題により、それぞれ符号化した画像どうしのつなぎ目がわかってしまうという問題があった。
【０００７】
また、一般的なＨＤＴＶを符号化できるＭＰＥＧエンコーダでは、当然ＨＤＴＶサイズの表示装置で鑑賞することを目的としているため、主に中心部分にビットを割り当て、上下左右の映像エリアにビットを割り当てないようにして、圧縮効率を上げていたりする装置もあるので、エラーなどが無くても分割した画像のつなぎ目部分がビットを割り当てない部分にあたるため、つなぎ目が目立ってしまうという問題があった。
【０００８】
本発明は、以上の点に鑑みなされたもので、ＨＤＴＶ画像より多い画素数を有する撮像素子を用いた撮像装置から供給される画像、複数のＨＤＴＶカメラから供給される画像等の複数組のＨＤＴＶ動画像を圧縮し伝送した後、又は記録再生装置を介した後元の画像に復元し出力するため、元画像から必要な数のＨＤＴＶ画像に画面分割をする際、元画像の近傍画素に必要な数と同じ数でマスクをかけサンプリングし圧縮するためのＨＤＴＶ画像を得た後、ＭＰＥＧ符号化を行うことにより画面分割により生じる画面内の境界線の影響を無くし、高解像度であっても良好な画質を効率的に得ることのできる動画像符号化及び復号化装置装置を提供する。
【０００９】
【課題を解決するための手段】
本発明は、上記課題を解決するために、以下に記載の手段よりなる。
すなわち、
ＨＤＴＶより多い画素数を有する元画像を複数のＨＤＴＶ画像に画面分割し、前記画面分割したＨＤＴＶ画像をＨＤＴＶ画像単位でＭＰＥＧ符号化及び復号化して元画像を得るようにした動画像符号化及び復号化装置であって、
前記ＨＤＴＶ画像より多い画素数を有する元画像の画素に、前記画面分割する画面数と同数の画素単位でマスクをかけサンプリングして画面分割を行い、符号化するためのＨＤＴＶ画像に前記元画像を分割する画面分割手段と、
前記画面分割手段によって得られた複数のＨＤＴＶ画像をＭＰＥＧ符号化するＭＰＥＧ符号化手段と、
前記符号化された複数のＭＰＥＧ符号化信号をＨＤＴＶ画像に復号化するＭＰＥＧ復号化手段と、
前記復号化された複数のＨＤＴＶ画像を前記サンプリングとは逆のサンプリングを行い、一画像である元画像に再合成する画面再合成手段と
を有することを特徴とする動画像符号化及び復号化装置。
【００１０】
【発明の実施の形態】
以下、本発明の動画像符号化及び復号化装置の発明の実施の形態につき、好ましい実施例により説明する。
図１は、本実施例に適用される動画像符号化及び復号化装置の概略ブロック図を示したもので、入力画像がＱＨＤＴＶ（３８４０×２１６０画素）の場合を説明する。同図において、符号１５は従来技術を用いたＱＨＤＴＶ画像入力部であり、ＱＨＤＴＶ撮像素子を用いた高解像度カメラを用いても、ＨＤＴＶカメラを４台用いてもよい。
前述のようにＱＨＤＴＶ画像入力部１５では、図２（ＱＨＤＴＶ　Ｍ）に示すＱＨＤＴＶ画像が田の字型に分割され、同図（ＨＤＴＶ　Ａ），（ＨＤＴＶ　Ｂ），（ＨＤＴＶ　Ｃ），（ＨＤＴＶ　Ｄ）に示すように４分割され処理される。それぞれ座標を付しているように、ＱＨＤＴＶ画像の左上がＡ、右上がＢ、左下がＣ、右下がＤとした。なお、説明のためにそれぞれの画像は、一部分のみ示している。
このように田の字型に４分割されたＨＤＴＶ画像が、４系統のＨＤ−ＳＤＩに変換されて動画像符号化装置１０に供給される。
【００１１】
動画像符号化装置１０についてさらに詳細に説明する。ＱＨＤＴＶ画像入力部１５より供給された４系統のＨＤ−ＳＤＩは、画面合成部１１にて４組のＨＤＴＶ画像に変換された後、一旦元画像であるＱＨＤＴＶ画像に復元される。図４（ａ）の左部を用いて復元の動作を説明する。ＨＤ−ＳＤＩＨＤＴＶ変換部１０４にてＨＤ−ＳＤＩよりＨＤＴＶ画像に変換された画像を、ＨＤＴＶ　Ａメモリ１０３ａ，ＨＤＴＶ　Ｂメモリ１０３ｂ，ＨＤＴＶ　Ｃメモリ１０３ｃ，ＨＤＴＶＤメモリ１０３ｄに書き込む。それぞれのＨＤＴＶメモリ読み出し時にＱＨＤＴＶ画像の同期に合わせ、上半分部分はＨＤＴＶ　Ａメモリ１０３ａ，ＨＤＴＶＢメモリ１０３ｂを交互に、下半分部分はＨＤＴＶ　Ｃメモリ１０３ｃ，ＨＤＴＶ　Ｄメモリ１０３ｄを交互に読み出しＱＨＤＴＶ画像元画像としてＱＨＤＴＶメモリ１０１に書き込むようにする。これらメモリの制御は、図示しないメモリ制御部により行うようにする。
【００１２】
次に、図３を用いて画面分割部１２における２×２の画素ブロックによるサンプリングについて説明する。同図（ＱＨＤＴＶ　Ｓ）は、画面合成部１１にて復元された元画像であるＱＨＤＴＶ画像を示しており、ＱＨＤＴＶ画像の場合ＨＤＴＶ画像の４倍の画素数であるので、（ＱＨＤＴＶ　Ｓ）に示すような２×２の４画素ブロックで構成するマスクをかける。その後、マスクした画素が互いに隣接しないよう▲１▼部分の画素で（ＨＤＴＶ　Ａ´）を、▲２▼部分の画素で（ＨＤＴＶＢ´）を、▲３▼部分の画素で（ＨＤＴＶ　Ｃ´）を、▲４▼部分の画素で（ＨＤＴＶＤ´）を得るようにサンプリングすることでＨＤＴＶ４画像を得るようにしている。なお、説明のためにそれぞれの画像は、一部分のみ示している。
【００１３】
サンプリングの処理につき図４（ａ）の右部を用いてさらに詳しく説明する。図３（ＱＨＤＴＶ　Ｓ）状態にデータが格納されているＱＨＤＴＶメモリ１０１からデータを読み出す際、１ライン目をＨＤＴＶ　Ａ´メモリ１０２ａ，ＨＤＴＶ　Ｂ´メモリ１０２ｂに書きこみ、２ライン目をＨＤＴＶ　Ｃ´メモリ１０２ｃ，ＨＤＴＶ　Ｄ´メモリ１０２ｄに書き込むようにする。３ライン目以降同様の操作を繰り返しに交互に書き込む。このようにそれぞれのメモリを、図示しないメモリ制御部にて制御することにより、（ＨＤＴＶ　Ａ´），（ＨＤＴＶＢ´），（ＨＤＴＶ　Ｃ´），（ＨＤＴＶ　Ｄ´）のＨＤＴＶ４画像を得るようにしている。
【００１４】
この再構成したＨＤＴＶ画像を図１のブロック図上に１３ａ，１３ｂ，１３ｃ，１３ｄとして示す。これら再構成したＨＤＴＶ画像を４台のＨＤＴＶＭＰＥＧエンコーダ１４にそれぞれ入力し、ＭＰＥＧ符号化を行なう。符号化されたデータは従来同様に記録装置や復号化装置へとＤＶＢ−ＡＳＩ（Ｄｉｇｉｔａｌ　Ｖｉｄｅｏ　Ｂｒｏａｄｃａｓｔｉｎｇ−Ａｓｙｎｃｈｒｏｎｏｕｓ　Ｓｅｒｉａｌ　Ｉｎｔｅｒｆａｃｅ）で規定されているＭＰＥＧ−ＴＳ伝送（トランスポートストリーム）によって供給される。
【００１５】
図１のブロック図では、説明を分かりやすくするために画面合成部１１にてＱＨＤＴＶ画像に復元する例を示したが、画像処理周波数をＨＤＴＶ画像の周波数にして既存の装置を用いようという本発明の目的から、画面分割部１２において図４（ｂ）に示すように田の字に分割された４組のＨＤＴＶ画像から、ＳＷ１１０を介し（ＨＤＴＶ　Ａ´），（ＨＤＴＶ　Ｂ´），（ＨＤＴＶ　Ｃ´），（ＨＤＴＶ　Ｄ´）のＨＤＴＶ４画像を得た後、ＨＤＴＶＭＰＥＧエンコーダ１４に供給するサンプリング構成にしてもよい。
このように２×２の４画素ブロックで構成するマスクをかけサンプリングし分割することで、画面のつなぎ目を分散することができ、また画面の中心部分にビットを割り当てるようにしたＭＰＥＧエンコーダを複数組み合わせた場合においても、元画像であるＱＨＤＴＶ画像の中心部分にビットを割り当てるように構成することができる。
【００１６】
次に、動画像復号化装置２０について説明する。前述の動画像符号化装置１０により圧縮されたデータが４系統のＴＳ伝送により４台のデコーダ装置２４にそれぞれ入力され伸張復号化され、分割画面２３ａ，２３ｂ，２３ｃ，２３ｄが得られる。伸張復号化されたデータは図３で示した（ＨＤＴＶ　Ａ´），（ＨＤＴＶ　Ｂ´），（ＨＤＴＶ　Ｃ´），（ＨＤＴＶ　Ｄ´）で示した分割されたＨＤＴＶ４画像である。このような状態で入力された分割画面を符号化で説明した画素分割とは逆の手順すなわち、図４とは逆の手順により元画像である一枚のＱＨＤＴＶ画像状態に画面再合成部２２にて画面再合成を行う。
【００１７】
その後元画像表示画面分割部２１で、画面再合成部２２と同様に符号化時とは逆の手順にて、元画像が分割されていた田の字型に図２で示したＨＤＴＶ画像として４分割し、ＨＤ−ＳＤＩ４系統として伝送しＱＨＤＴＶ外部表示部２５に供給する。画像表示部２５としての入力は従来どおりＨＤ−ＳＤＩとするため、画像表示部２５の変更は必要としない。
前述の説明同様、一旦元画像であるＱＨＤＴＶ画像を形成せずに、伸張復号化されたＨＤＴＶ４画像から直接、画像表示部２５に供給する４系統のＨＤ−ＳＤＩ信号を得る構成としてもよいのはもちろんである。
【００１８】
次に図５は、別実施例で符号化部と復号化部との間にデジタルＶＴＲを介した構成の概略ブロックを示す。同図に示すように、動画像符号化装置１０と動画像復号化装置２０との間にＭＰＥＧ−ＴＳインターフェースを有するデジタルＶＴＲ３０ａ，３０ｂ，３０ｃ，３０ｄをそれぞれＭＰＥＧ符号化したＨＤＴＶ画像に対応させ同期運転を行う構成とする。このようにすれば、リアルタイムの高解像度画像伝送システムのみならず、既存のＭＰＥＧ−ＴＳ伝送を入出力に持つＶＴＲにＨＤＴＶより多い高解像度動画を記録再生できる構成とすることができる。
【００１９】
また、図６、図７は別実施例で図６に符号化部に画像入力部を取り込んだ構成の概略ブロック図を、図７に復号化部に画像表示部を取り込んだ構成の概略ブロック図を示す。
図６に示す符号化部に画像入力部を取り込んだ構成の動画像符号化装置４０においては、ＱＨＤＴＶ撮像部４１で得られた画像を画面分割部４２に直接供給するようにすることで、画像入力部からＨＤ−ＳＤＩに変換し伝送する部分と一旦サンプリングするためにＱＨＤＴＶ画像に合成する部分とを省略することができるので、より効率的に画像の符号化が行える。復号化部は前述の実施例と同様の構成としている。
【００２０】
図７に示す復号化部に画像表示部を取り込んだ構成の動画像復号化装置５０においては、ＭＰＥＧデコーダ２４にて復号化した分割ＨＤＴＶ画像を画面再合成部５２で元画像の並びに画素をもどしＱＨＤＴＶディスプレイ部５１に直接供給するようにすることで、復号化した画像を外部表示部に伝送するための元画面表示画面分割部とＨＤ−ＳＤＩに変換し伝送する部分とを省略することができるので、より効率的に画像の復号化が行える。符号化部は前述の実施例と同様の構成としている。
【００２１】
なお、符号化部分に図６に示す符号化部に画像入力部を取り込んだ構成の動画像符号化装置を、復号化部分に図７に示す復号化部に画像表示部を取り込んだ構成の動画像復号化装置を用いた動画像符号化及び復号化装置としてももちろんよい。
【００２２】
前述の実施例では、ＱＨＤＴＶ画素数の画像の処理に沿って説明したが、入力される画像がＨＤＴＶより多い画素数であり、幾組みかのＨＤＴＶ画像に画面分割され処理する画像であればどのような画素数の画像にも用いることができる。その場合分割する画面数と同じ数の画素ブロックで構成するマスクをかけ、お互いに隣接しない画素をサンプリングし処理する複数組のＨＤＴＶ画像を得るように構成してやればよい。
【００２３】
【発明の効果】
以上説明したように本発明の動画像符号化及び復号化装置によれば、ＨＤＴＶ画像以上の画素数を有する画像を元画像から必要な数のＨＤＴＶ画像に画面分割する際、元画像の近傍画素に必要なＨＤＴＶ画像の数と同じ数でマスクをかけサンプリングし圧縮するためのＨＤＴＶ画像を得た後、ＭＰＥＧ符号化及び復号化を行うことにより画面分割により生じる画面内の境界線の影響を無くし、ＨＤＴＶ画像より多い画素数を有する高解像度動画像であっても良好な画質を効率的に得ることのできる動画像符号化及び復号化装置装置を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施例に適用される動画像符号化及び復号化装置の概略ブロック図である。
【図２】本発明の実施例に適用されるＱＨＤＴＶ画像を示す一例の図である。
【図３】本発明の実施例に適用される動画像符号化及び復号化装置に用いる画素ブロックで構成するマスクを示す一例の図である。
【図４】入力画像を符号化するための複数組のＨＤＴＶ画像にサンプリングするための概略ブロック図の一例である。
【図５】本発明の他の実施例に適用される動画像符号化及び復号化装置であり、動画像符号化装置と復号化装置との間に記録再生装置を介した概略ブロック図である。
【図６】本発明の他の実施例に適用される動画像符号化及び復号化装置の概略ブロック図である。
【図７】本発明の他の実施例に適用される動画像符号化及び復号化装置の概略ブロック図である。
【符号の説明】
１０，４０…動画像符号化装置
２０，５０…動画像復号化装置
１１…画面合成部
１２，４２…画面分割部
１４…ＭＰＥＧエンコーダ
１５…画像入力部
２２，５２…画像合成部
２４…ＭＰＥＧデコーダ
２５…画像表示部
３０ａ，３０ｂ，３０ｃ，３０ｄ…デジタルＶＴＲ
４１…ＱＨＤＴＶ撮像部
５１…ＱＨＤＴＶディスプレイ部
１０１…ＱＨＤＴＶメモリ
１０２ａ、１０２ｂ、１０２ｃ、１０２ｄ、１０３ａ，１０３ｂ，１０３ｃ，１０ｄ…ＨＤＴＶメモリ
１１０…ＳＷ
１０４…ＨＤ−ＳＤＩ　ＨＤＴＶ変換部
【図１】
2004120499.tif 000003
【図２】
2004120499.tif 000004
【図３】
2004120499.tif 000005
【図４】
2004120499.tif 000006
【図５】
2004120499.tif 000007
【図６】
2004120499.tif 000008
【図７】
2004120499.tif 000009