(57)【要約】【課題】複数系統の画像を符号化する画像符号化装置を小型化する。【解決手段】画像符号化装置（１０）は、画像縮小部（１１）と、符号化部（１２）と、境界制御部（１３）とを備えている。画像縮小部（１１）は、複数系統の画像のそれぞれについて縮小画像を生成する。符号化部（１２）は、画像縮小部（１１）によって生成された各系統の縮小画像を１フレームに合成した合成画像を入力し、これを符号化して符号化画像データを出力する。画像縮小部（１１）および符号化部（１２）は、境界制御部（１３）から、合成画像における異系統画像の境界に係る情報を受け、この情報に基づいて、異系統画像の画素が互いに混ざらないようにして、それぞれ、原画像のフィルタ処理および動き補償予測を行う。【選択図】図１
2005318170.tif 000002
【特許請求の範囲】
【請求項１】
複数系統の画像を符号化する画像符号化装置であって、
前記複数系統の画像のそれぞれについて縮小画像を生成する画像縮小部と、
前記画像縮小部によって生成された各系統の縮小画像を１フレームに合成した合成画像を入力し、当該合成画像を符号化する符号化部とを備えた
ことを特徴とする画像符号化装置。
【請求項２】
請求項１に記載の画像符号化装置において、
前記画像縮小部は、前記複数系統の画像のそれぞれについてデータを間引きして縮小画像を生成する
ことを特徴とする画像符号化装置。
【請求項３】
請求項１に記載の画像符号化装置において、
前記複数系統の画像は、内部または外部に設けられたフレームメモリに一時的に格納されるものであり、
前記合成画像における異系統画像の境界に係る情報を出力する境界制御部を備え、
前記画像縮小部は、前記フレームメモリから各系統の画像を読み出し、当該読み出した画像における互いに隣接する複数の画素の成分の重み付け加算を行って前記各系統の縮小画像の画素の成分を算出するものであり、かつ、前記境界制御部から前記異系統画像の境界に係る情報を受け、当該情報に基づいて、異系統画像に属する画素の成分を除外して前記重み付け加算を行う
ことを特徴とする画像符号化装置。
【請求項４】
請求項１に記載の画像符号化装置において、
前記合成画像における異系統画像の境界に係る情報を出力する境界制御部を備え、
前記符号化部は、前記合成画像について動き補償予測を行うものであり、かつ、前記境界制御部から前記異系統画像の境界に係る情報を受け、当該情報に基づいて、動き補償予測に係る探索範囲から異系統画像に属する部分を除外して動き補償予測を行う
ことを特徴とする画像符号化装置。
【請求項５】
請求項１に記載の画像符号化装置において、
前記画像縮小部は、前記複数系統のそれぞれに対応して設けられ、生成した縮小画像を、内部または外部に設けられたフレームメモリに出力するものであり、
前記フレームメモリは、前記画像縮小部から出力された縮小画像を、１フレームに相当する記憶領域に連続的に格納する
ことを特徴とする画像符号化装置。
【請求項６】
請求項１に記載の画像符号化装置において、
前記画像縮小部は、前記複数系統の画像のそれぞれについて水平方向に縮小した縮小画像を生成するものであり、
前記合成画像は、前記画像縮小部によって生成された縮小画像を水平方向に配列したものであり、
前記符号化部は、前記合成画像における異系統画像の境界に、当該境界を示す水平位置情報を付加する
ことを特徴とする画像符号化装置。
【請求項７】
符号化画像データを復号して画像を出力する画像復号装置であって、
前記符号化画像データは、複数系統の画像のそれぞれを縮小した縮小画像が１フレームに合成された合成画像を符号化したものであり、
出力すべき画像の系統を示す出力選択信号を受け、前記合成画像に含まれる複数系統の画像の中から、前記出力選択信号によって示された系統の画像を選択して出力する
ことを特徴とする画像復号装置。
【請求項８】
請求項７に記載の画像復号装置において、
前記符号化画像データを復号して前記合成画像を得る復号部と、
前記出力選択信号を受け、前記復号部によって得られた合成画像に含まれる前記複数系統の縮小画像のうち、前記出力選択信号によって示された系統の縮小画像を選択する画像選択部と、
前記画像選択部によって選択された縮小画像を元の大きさに拡大する画像拡大部とを備え、
前記画像拡大部によって元の大きさに拡大された画像を出力する
ことを特徴とする画像復号装置。
【請求項９】
請求項７に記載の画像復号装置において、
前記出力選択信号を受け、前記符号化画像データから、前記出力選択信号によって示された系統の符号化画像データを抽出する抽出部と、
前記抽出部によって抽出された符号化画像データを復号して前記出力選択信号によって示された系統の縮小画像を得る復号部と、
前記復号部によって得られた縮小画像を元の大きさに拡大する画像拡大部とを備え、
前記画像拡大部によって元の大きさに拡大された画像を出力する
ことを特徴とする画像復号装置。
【請求項１０】
請求項９に記載の画像復号装置において、
前記合成画像を形成する縮小画像は、それぞれ、垂直方向に縮小されたものであり、
前記抽出部は、前記符号化画像データに含まれる垂直位置情報を参照し、当該情報に基づいて、前記符号化画像データに含まれる各系統の縮小画像を切り分ける
ことを特徴とする画像復号装置。
【請求項１１】
請求項９に記載の画像復号装置において、
前記合成画像を形成する縮小画像は、それぞれ、水平方向に縮小されたものであり、
前記抽出部は、前記符号化画像データに含まれる水平位置情報を参照し、当該情報に基づいて、前記符号化画像データに含まれる各系統の縮小画像を切り分ける
ことを特徴とする画像復号装置。
【請求項１２】
請求項９に記載の画像復号装置において、
前記合成画像を形成する縮小画像は、それぞれ、水平方向に縮小されたものであり、
前記合成画像は、前記縮小画像を水平方向に配列したものであり、
前記符号化画像データは、前記合成画像における異系統画像の境界に、当該境界を示す水平位置情報が付加されたものであり、
前記抽出部は、前記符号化画像データに付加された前記水平位置情報を目印として、前記符号化画像データに含まれる各系統の縮小画像を切り分ける
ことを特徴とする画像復号装置。
【請求項１３】
複数系統の画像を符号化する画像符号化装置と、前記画像符号化装置によって生成された符号化画像データを復号して画像を出力する画像復号装置とを備えた画像符復号装置であって、
前記画像符号化装置は、
前記複数系統の画像のそれぞれについて縮小画像を生成する画像縮小部と、
前記画像縮小部によって生成された各系統の縮小画像を１フレームに合成した合成画像を入力し、当該合成画像を符号化する符号化部とを有するものであり、
前記画像復号装置は、
出力すべき画像の系統を示す出力選択信号を受け、前記合成画像に含まれる複数系統の画像の中から、前記出力選択信号によって示された系統の画像を選択して出力するものである
ことを特徴とする画像符復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル動画像データの圧縮伸長を行う符復号技術に関し、特に、複数系統の画像の圧縮伸長を行う符復号技術に関するものである。
【背景技術】
【０００２】
一般に、画像符号化装置は、１系統の画像、たとえば、テレビジョン放送における一の受信チャンネルの画像について符号化処理を行う。このような画像符号化装置に関して、部品点数を削減して装置を小型化することは普遍の課題である。
【０００３】
より少ない部品点数で構成される画像符号化装置として、画像入力部と、動き探索部と、画素数値演算部と、可変長符号化部と、符号出力部と、フレームメモリと、フレームメモリに接続されるフレームメモリ制御部と、符号量制御などを行う制御プロセッサと、ホストインターフェースとを備え、フレーム間画像予測符号化を実行する装置がある（たとえば、特許文献１参照）。この画像符号化装置では、画像入力部、動き探索部および画素数値演算部などの処理部全体に対する制御プロセッサを一つにまとめることによって装置の小型化を実現している。また、複数のメモリＬＳＩを各処理部に配することなく、一つの外付けメモリに共通にアクセスできるようにすることによって、装置全体としての部品点数を削減している。
【特許文献１】特許第２８８８２８８号明細書（第４−５頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の画像符号化装置は１系統の画像を符号化するものであるため、複数系統の画像を符号化する場合には、複数の画像符号化装置を用いる必要がある。しかし、画像符号化装置を複数個用いると、システム全体としての規模が大きくなることは明らかである。この問題は、比較的部品点数が少ない上記の画像符号化装置を用いた場合であっても解消されるものではない。
【０００５】
また、複数の画像符号化装置で、一つのフレームメモリを共有する場合、一つの記録媒体に記録する場合、または、１本の通信網にデータ供給を行う場合には、複数の画像符号化装置からなるシステムの制御装置、たとえば、システム全体の符号量を制御するための上位の符号量制御部などが別途必要になる。しかし、これは、システム規模の増大を招く要因となることは明らかである。
【０００６】
上記問題に鑑み、本発明は、複数系統の画像を符号化する画像符号化装置の小型化を課題とする。また、そのような画像符号化装置によって生成された符号化画像データを復号して画像を出力する画像復号装置、およびこれら画像符号化および画像復号の両機能を備えた画像符復号装置の提供を課題とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明が講じた手段は、複数系統の画像を符号化する画像符号化装置として、これら複数系統の画像のそれぞれについて縮小画像を生成する画像縮小部と、この画像縮小部によって生成された各系統の縮小画像を１フレームに合成した合成画像を入力し、この合成画像を符号化する符号化部とを備えたものとする。
【０００８】
これによると、複数系統の画像のそれぞれが縮小され、合成されて合成画像となる。そして、この合成画像について符号化処理が行われる。したがって、１個の符号化部で複数系統の画像の符号化が行われ、画像符号化装置は複数の符号化部を有する必要がない。
【０００９】
具体的には、画像縮小部は、前記複数系統の画像のそれぞれについてデータを間引きして縮小画像を生成するものである。
【００１０】
また、具体的には、複数系統の画像は、内部または外部に設けられたフレームメモリに一時的に格納されるものであり、画像符号化装置は、合成画像における異系統画像の境界に係る情報を出力する境界制御部を備えている。そして、画像縮小部は、フレームメモリから各系統の画像を読み出し、この読み出した画像における互いに隣接する複数の画素の成分の重み付け加算を行って各系統の縮小画像の画素の成分を算出するものであり、かつ、境界制御部から異系統画像の境界に係る情報を受け、この情報に基づいて、異系統画像に属する画素の成分を除外して前記重み付け加算を行う。
【００１１】
また、具体的には、画像符号化装置は、合成画像における異系統画像の境界に係る情報を出力する境界制御部を備えている。そして、符号化部は、合成画像について動き補償予測を行うものであり、かつ、境界制御部から異系統画像の境界に係る情報を受け、この情報に基づいて、動き補償予測に係る探索範囲から異系統画像に属する部分を除外して動き補償予測を行う。
【００１２】
また、具体的には、画像縮小部は、複数系統のそれぞれに対応して設けられ、生成した縮小画像を、内部または外部に設けられたフレームメモリに出力する。そして、フレームメモリは、画像縮小部から出力された縮小画像を、１フレームに相当する記憶領域に連続的に格納する。
【００１３】
また、具体的には、画像縮小部は、複数系統の画像のそれぞれについて水平方向に縮小した縮小画像を生成する。合成画像は、画像縮小部によって生成された縮小画像を水平方向に配列したものである。そして、符号化部は、合成画像における異系統画像の境界に、この境界を示す水平位置情報を付加する。
【００１４】
一方、本発明が講じた手段は、複数系統の画像のそれぞれを縮小した縮小画像が１フレームに合成された合成画像を符号化した符号化画像データを復号して画像を出力する画像復号装置として、出力すべき画像の系統を示す出力選択信号を受け、合成画像に含まれる複数系統の画像の中から、出力選択信号によって示された系統の画像を選択して出力するものとする。
【００１５】
これによると、複数系統の画像が合成された符号化画像データから、任意の系統の画像が選択され、出力される。
【００１６】
具体的には、画像復号装置は、符号化画像データを復号して合成画像を得る復号部と、出力選択信号を受け、復号部によって得られた合成画像に含まれる複数系統の縮小画像のうち、出力選択信号によって示された系統の縮小画像を選択する画像選択部と、画像選択部によって選択された縮小画像を元の大きさに拡大する画像拡大部とを備え、画像拡大部によって元の大きさに拡大された画像を出力する。
【００１７】
また、具体的には、画像復号装置は、出力選択信号を受け、符号化画像データから、出力選択信号によって示された系統の符号化画像データを抽出する抽出部と、抽出部によって抽出された符号化画像データを復号して出力選択信号によって示された系統の縮小画像を得る復号部と、復号部によって得られた縮小画像を元の大きさに拡大する画像拡大部とを備え、画像拡大部によって元の大きさに拡大された画像を出力する。
【００１８】
より具体的には、合成画像を形成する縮小画像は、それぞれ、垂直方向に縮小されており、抽出部は、符号化画像データに含まれる垂直位置情報を参照し、この情報に基づいて、符号化画像データに含まれる各系統の縮小画像を切り分ける。
【００１９】
また、より具体的には、合成画像を形成する縮小画像は、それぞれ、水平方向に縮小されており、抽出部は、符号化画像データに含まれる水平位置情報を参照し、この情報に基づいて、符号化画像データに含まれる各系統の縮小画像を切り分ける。
【００２０】
また、より具体的には、合成画像を形成する縮小画像は、それぞれ、水平方向に縮小されており、合成画像は、縮小画像を水平方向に配列したものであり、符号化画像データは、合成画像における異系統画像の境界に、境界を示す水平位置情報が付加されたものである。そして、抽出部は、符号化画像データに付加された水平位置情報を目印として、符号化画像データに含まれる各系統の縮小画像を切り分ける。
【００２１】
そして、本発明が講じた手段は、複数系統の画像を符号化する画像符号化装置と、画像符号化装置によって生成された符号化画像データを復号して画像を出力する画像復号装置とを備えた画像符復号装置であって、画像符号化装置は、複数系統の画像のそれぞれについて縮小画像を生成する画像縮小部と、画像縮小部によって生成された各系統の縮小画像を１フレームに合成した合成画像を入力し、この合成画像を符号化する符号化部とを有するものとする。また、画像復号装置は、出力すべき画像の系統を示す出力選択信号を受け、合成画像に含まれる複数系統の画像の中から、出力選択信号によって示された系統の画像を選択して出力するものとする。
【００２２】
これによると、複数系統の画像のそれぞれが縮小され、合成されて合成画像となる。そして、この合成画像について符号化処理が行われる。したがって、１個の符号化部で複数系統の画像の符号化が行われ、画像符号化装置は複数の符号化部を有する必要がない。また、複数系統の画像が合成された符号化画像データから、任意の系統の画像が選択され、出力される。
【発明の効果】
【００２３】
以上説明したように、本発明によると、複数系統の画像を符号化する画像符号化装置が比較的小さな規模で実現される。また、複数系統の画像が含まれる符号化画像データからの所望の系統の画像も容易である。これにより、画像符号化装置、さらには、画像復号装置を含めた画像符復号装置のコストが低減される。
【発明を実施するための最良の形態】
【００２４】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
【００２５】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像符復号装置の構成を示す。本実施形態に係る画像符復号装置は、画像符号化装置１０および画像復号装置２０を備えている。画像符号化装置１０は、バス３０を通じて、フレームメモリ４０に格納された画像を読み込み、読み込んだ画像を符号化して符号化画像データを出力する。一方、画像復号装置２０は、符号化画像データを入力し、入力した符号化画像データを復号して画像を出力する。画像符号化装置１０から出力された符号化画像データは、図示していないストレージ装置などに蓄積される。また、画像復号装置２０は、ストレージ装置などから符号化画像データを入力する。以下、画像符号化装置１０および画像復号装置２０の順に説明する。
【００２６】
画像符号化装置１０は、画像縮小部１１と、符号化部１２と、境界制御部１３とを備えている。画像縮小部１１は、フレームメモリ４０に一時的に格納された複数系統の画像を順に読み出し、各画像についてフィルタ処理を施してフレームサイズを小さくした縮小画像を生成する。そして、これら縮小画像を１フレームに合成した合成画像を出力する。図２は、２系統の画像の合成過程を示す。図２（ａ）は、フレームメモリ４０に格納された原サイズの画像１および画像２を示す。画像縮小部１１は、フレームメモリ４０から原サイズの画像１および画像２を順に読み出し、それぞれの垂直方向のサイズを半分にして縮小画像を生成する。図２（ｂ）は、垂直方向のサイズが半分にされた画像１および画像２を示す。そして、これら縮小画像を垂直方向に配列することによって１フレームサイズの合成画像が形成される。図２（ｃ）は、画像縮小部１１から出力される合成画像を示す。
【００２７】
次に、画像縮小部１１によるフィルタ処理について図３を参照しながら説明する。通常、フィルタ処理は、ある画素の値、たとえば、Ｙ成分を算出する場合、その画素およびその周辺の複数の画素の値に係数を乗じた値を加算（重み付け加算）することによって行う。図３（ａ）は、画像１における画素ｃのフィルタ処理について示している。画素ｃのフィルタ処理では、画素ａ、ｂ、ｃ、ｄおよびｅが重み付け加算の対象となる。画素ｃのフィルタ処理結果である画素ｃ´は、たとえば、次式に従って算出される。
ｃ´＝（ａ＋２ｂ＋３ｃ＋２ｄ＋ｅ）／９
上記のフィルタ処理の例は、重み付け加算の対象となる画素がすべて同じ系統の画像（図３の例では画像１）に属するものである。一方、重み付け加算の対象となる画素に異系統の画像に属するものが含まれる場合には、次のようにしてフィルタ処理を行う。図３（ｂ）は、画像１における画素ｄのフィルタ処理について示している。画素ｄのフィルタ処理では、画素ｂ、ｃ、ｄ、ｅおよびＡが重み付け加算の対象となる。ここで、画素Ａは異系統の画像である画像２に属する。このような場合、画像縮小部１１は、画素Ａの成分を除外して重み付け加算を行う。画素Ａの代わりとして、フレーム端の画素を繰り返し用いるいわゆるコピー手法に基づいて画素ｅを用いるか、または、フレーム端で画素を折り返して用いるいわゆるミラー手法に基づいて画像ｄを用いるとよい。コピー手法に基づいた場合、画素ｄのフィルタ処理結果である画素ｄ´は、たとえば、次式に従って算出される。
ｄ´＝（ｂ＋２ｃ＋３ｄ＋２ｅ＋ｅ）／９
なお、画像縮小部１１は、境界制御部１３から異系統画像の境界に係る情報を受ける。そして、この情報に基づいて、画素を重み付け加算の対象から除外するか否かを判断する。
【００２８】
画像縮小部１１は、通常のフレームサイズの合成画像を出力するが、この合成画像は複数系統の画像を含んでいる。したがって、異系統画像の境界部分について、異系統画像に属する画素の成分を除外してフィルタ処理を行うことによって、各系統の縮小画像のフレーム端において画質劣化が生じることがない。なお、異系統画像の境界部分だけではなく、合成画像のフレーム端についても同様のフィルタ処理を行うとよい。
【００２９】
次に、符号化部１２について説明する。符号化部１２は、画像縮小部１１から出力された合成画像を符号化し、符号化画像データを出力する。符号化部１２は、符号化処理の際、動き補償予測を行う。符号化部１２による動き補償予測について図４を参照しながら説明する。動き補償予測は、マクロブロック１０１について探索フレーム１０２の範囲内で類似したマクロブロックを検出し、マクロブロック１０１の動きベクトルを符号化することによって行う。動きベクトルの終点がフレームから外れてしまう場合には、通常、そのような動きベクトルを動き補償予測から除外するか、または、フレーム境界の画素をコピーして探索フレーム１０２の範囲を拡張する。同様に、探索フレーム１０２が異系統画像の境界を跨がる場合、符号化部１２は、探索フレーム１０２から異系統画像に属する部分を除外して動き補償予測を行う。図４に示した例では、マクロブロック１０１は画像１に属しており、探索フレーム１０２における画像２に属する部分１０３が探索範囲から除外される。
【００３０】
符号化部１２は、境界制御部１３から異系統画像の境界に係る情報を受ける。そして、当該情報に基づいて、動き補償予測に係る探索範囲から除外すべき部分を判断する。探索範囲から異系統画像に属する部分を除外せずに動き補償予測を行った場合、たとえば、図４において画像２に属する部分１０３を含めてマクロブロック１０１について動き補償予測を行った場合、画像１のみを復号する際に、所望の画素がフレームメモリ４０に存在しない、または、指定したアドレスに存在しない可能性が高くなり、画質劣化が生じてしまうおそれがある。これに対して、上述したように探索範囲から異系統画像に属する部分を除外して動き補償予測を行うことによって、復号時に画質劣化が生じることがない。
【００３１】
以上、本実施形態に係る画像符号化装置１０によると、複数系統の画像がそれぞれ縮小されて合成画像が生成される。これにより、画像符号化装置において特に大きな回路面積を占める符号化部を複数個設ける必要がなくなり、また、複数の画像符号化装置でシステムを構成する場合に必要となる上位の符号量制御部を設ける必要がなくなるため、回路面積が大幅に低減される。また、合成画像は１フレームサイズの画像であるから、既存の一般的な符号化部を符号化部１２として用いることができる。
【００３２】
次に、画像復号装置２０について詳細に説明する。画像復号装置２０は、復号部２１と、画像選択部２２と、画像拡大部２３とを備えている。復号部２１は、符号化画像データを復号する。この符号化画像データは、符号化部１２によって生成され、図示していないストレージ装置などに蓄積されたものである。すなわち、この符号化画像データは複数系統の縮小画像を合成した合成画像を符号化したものである。復号部２１は、符号化画像データを復号し、その結果得られた合成画像をバス３０を経由してフレームメモリ４０に書き込む。画像選択部２２は、出力すべき画像の系統を示す出力選択信号を受け、フレームメモリ４０に格納された合成画像から、出力選択信号によって示された系統の画像を選択する。そして、選択した画像をフレームメモリ４０から画像拡大部２３に転送する。転送された画像は縮小画像である。画像拡大部２３は、この縮小画像を元の大きさに拡大して出力する。具体的には、縮小画像が垂直方向に半分にされたものである場合、画像拡大部２３は、縮小画像を垂直方向に倍の大きさに戻し、通常の１フレームサイズの画像を出力する。
【００３３】
以上、本実施形態に係る画像復号装置２０によると、複数系統の画像が合成された合成画像の符号化データから、任意の系統の画像が復元される。これにより、復号部を複数個設ける必要がなくなり、画像復号装置２０は比較的小さな規模で実現される。また、符号化画像データは、１フレームサイズの合成画像を符号化したものであるから、復号部２１として、既存の一般的なものを用いることができる。
【００３４】
なお、上記説明では、画像を垂直方向に縮小して得られた縮小画像を垂直方向に配列して合成画像が形成されているが、本発明はこれに限定されるものではない。画像を水平方向に縮小して得られた縮小画像を水平方向に配列して合成画像を形成するようにしてもよい。
【００３５】
また、上述した画像縮小部１１によるフィルタ処理は、重み付け加算以外にも、単に原画像のデータを間引きするようにしてもよい。
【００３６】
（第２の実施形態）
図５は、本発明の第２の実施形態に係る画像符復号装置の構成を示す。本実施形態に係る画像符復号装置は、画像符号化装置１０Ａおよび画像復号装置２０Ａを備えている。画像符号化装置１０Ａは、バス３０を通じて、フレームメモリ４０に格納された画像を読み込み、読み込んだ画像を符号化して符号化画像データを出力する。一方、画像復号装置２０Ａは、符号化画像データを入力し、入力した符号化画像データを復号して画像を出力する。画像符号化装置１０Ａから出力された符号化画像データは、図示していないストレージ装置などに蓄積される。また、画像復号装置２０Ａは、ストレージ装置などから符号化画像データを入力する。以下、画像符号化装置１０Ａおよび画像復号装置２０Ａの順に説明する。
【００３７】
画像符号化装置１０Ａは、画像縮小部１１ａおよび１１ｂと、符号化部１２と、境界制御部１３とを備えている。画像縮小部１１ａおよび１１ｂは、それぞれ、画像１および画像２を入力し、縮小画像を生成する。生成された縮小画像はバス３０を経由してフレームメモリ４０に格納される。画像縮小部１１ａおよび１１ｂによるフィルタ処理として、第１の実施形態で説明した重み付け加算を行うようにしてもよいし、また、単に原画像のデータを間引きするようにしてもよい。符号化部１２および境界制御部１３については、第１の実施形態で説明したとおりである。
【００３８】
以上、本実施形態に係る画像符号化装置１０Ａによると、複数系統の画像が画像縮小部１１ａおよび１１ｂによってそれぞれ縮小され、縮小画像がフレームメモリ４０に格納される。第１の実施形態に係るフレームメモリ４０は、原サイズの画像１および画像２をフレームメモリ４０を格納する必要があるのに対して、本実施形態に係るフレームメモリ４０は、縮小サイズの画像１および画像２を格納すればよいため、第１の実施形態よりもフレームメモリ４０の記憶容量が小さくて済む。
【００３９】
次に、画像復号装置２０Ａについて詳細に説明する。画像復号装置２０Ａは、抽出部２４と、復号部２１Ａと、画像拡大部２３とを備えている。抽出部２４は、符号化画像データに含まれる垂直位置情報または水平位置情報を参照し、この情報に基づいて、出力選択信号によって示される系統の画像に係る符号化データを抽出する。これについては後ほど詳細に説明する。復号部２１Ａは、抽出部２４から出力された抽出符号化データを復号し、画像復号装置２０Ａが入力した符号化画像データに含まれた縮小画像を出力する。画像拡大部２３については、第１の実施形態で説明したとおりである。
【００４０】
以下、抽出部２４によるデータ抽出の例をいくつか示す。なお、説明の便宜のため、符号化画像データは、２系統の画像のそれぞれ（画像１および画像２）の縮小画像を１フレームに合成した合成画像を符号化したものとし、符号化方式はＭＰＥＧ２（Moving Picture Experts Group 2）であるとする。
【００４１】
データ抽出例の説明の前に、ＭＰＥＧ２による符号化画像データに含まれる垂直位置情報および水平位置情報について説明する。図６は、ＭＰＥＧ２による符号化画像データを示す。ＭＰＥＧ２による符号化画像データは、スライス２０１を単位として構成される。スライス２０１は、３２ビット長のＳＳＣ（slice start code）２０２、各種付加情報、および水平方向に配列された１個以上のマクロブロック２０３から構成される。ＳＳＣ２０２は、８ビット長のＳＶＰ（slice vertical position）を含む。また、マクロブロック２０３は、ＭＡＩ（macroblock address increment）、各種付加情報、および８×８の画素ブロックの各Ｙ，ＣｂおよびＣｒ成分のデータから構成される。
【００４２】
（データ抽出例１）
図７は、ＳＶＰを用いたデータ抽出例を示す。ＳＶＰは、スライスの垂直位置を示し、フレーム最上段のスライスを“１”としてフレームの下方向に１ずつ増加する。フレームの垂直方向のサイズが４８０ピクセルの場合、フレーム最下段のスライスのＳＶＰは“３０”となる。図７に示された合成画像において、画像１および画像２はいずれも垂直方向に縮小されており、垂直方向のサイズはいずれも２４０ピクセルである。したがって、画像１に対応するＳＶＰは“１”から“１５”までであり、画像２に対応するＳＶＰは“１６”から“３０”までである。
【００４３】
出力選択信号によって画像１の系統を出力すべきことが示されている場合、抽出部２４は、ＳＶＰが“１”から“１５”であるスライスに対応する符号化データを抽出して出力する。一方、出力選択信号によって画像２の系統を出力すべきことが示されている場合、抽出部２４は、ＳＶＰが“１６”から“３０”であるスライスに対応する符号化データを抽出する。そして、各ＳＶＰから１５を減算し、減算後のＳＶＰを符号化データに埋め込み直してから、符号化データを出力する。
【００４４】
（データ抽出例２）
図８は、ＭＡＩを用いたデータ抽出例を示す。ＭＡＩは、マクロブロックの水平位置の増分を表し、通常はすべて“１”である。図８に示された合成画像において、画像１および画像２はいずれも水平方向に縮小されており、水平方向のサイズはいずれも３５２ピクセルである。したがって、ＭＡＩを画像左から右方向に累積加算した場合、画像１に対応する累積加算値は“１”から“２２”までであり、画像２に対応する累積加算値は“２３”から“４４”までである。
【００４５】
出力選択信号によって画像１の系統を出力すべきことが示されている場合、抽出部２４は、ＭＡＩの累積加算値が“１”から“２２”であるマクロブロックに対応する符号化データを抽出して出力する。一方、出力選択信号によって画像２の系統を出力すべきことが示されている場合、抽出部２４は、ＭＡＩの累積加算値が“２３”から“４４”であるマクロブロックに対応する符号化データを抽出して出力する。
【００４６】
（データ抽出例３）
図９は、ＳＳＣを用いたデータ抽出例を示す。ＳＳＣは、スライスの先頭部分に付加される。すなわち、ＳＳＣは、通常、フレーム左端のマクロブロックの先頭に付加される。しかし、これはフレーム全体が１系統の画像からなることを前提としたものである。本例では１フレームに複数系統の画像が合成された合成画像を扱うため、各系統の画像左端のマクロブロックの先頭にＳＳＣを付加する。なお、このＳＳＣを付加する処理は、本実施形態に係る画像符号化装置１０Ａにおける符号化部１２が行う。符号化部１２は、境界制御部１３から得た境界情報に基づいて各系統の画像境界を把握し、ＳＳＣを各系統の画像左端のマクロブロックの先頭に付加する。
【００４７】
図９に示された合成画像において、画像１および画像２はいずれも水平方向に縮小されており、水平方向のサイズはいずれも３５２ピクセルである。画像１および画像２のそれぞれの左端のマクロブロックの先頭にはＳＳＣが付加されている。この場合、合成画像を通常の１フレームの画像として取り扱うことができるように、画像２の左端のマクロブロックに含まれるＭＡＩは“２３”にしておく必要がある。
【００４８】
出力選択信号によって画像１の系統を出力すべきことが示されている場合、抽出部２４は、符号化画像データの中からＳＳＣを検出し、これを目印として画像１に対応する符号化データを抽出して出力する。一方、出力選択信号によって画像２の系統を出力すべきことが示されている場合、抽出部２４は、符号化画像データの中からＳＳＣを検出し、これを目印として画像２に対応する符号化データを抽出して出力する。なお、このとき、画像２の左端のマクロブロックに含まれるＭＡＩを“２３”から“１”に変更する必要がある。
【００４９】
ＭＰＥＧ２の符号化画像データは、ＳＳＣごとにbyteアライメントされるため、符号化画像データにおいてＳＳＣの検出は比較的容易である。したがって、本例に係る抽出部２４の処理負荷は他の２例よりも軽く、より高速なデータ抽出処理が可能である。
【００５０】
以上、本実施形態に係る画像復号装置２０Ａによると、復号部２１Ａは、抽出部２４によって抽出された符号化データを復号すればよいため、復号処理に係る負荷が軽減される。したがって、復号部２１Ａの消費電力は、第１の実施形態に係る復号部２１よりも小さくなる。
【００５１】
なお、第１および第２の実施形態に係る画像符号化装置１０および１０Ａは、いずれも、２系統の画像を符号化するものとしているが、本発明はこれに限定されない。３系統以上の画像を符号化する場合にも本発明の画像符号化装置が適用可能である。また、フレームメモリ４０は、画像符号化装置１０および１０Ａの外部に設けられているものとしたが、内部に設けてもよい。また、本発明は、ＭＰＥＧ２以外の符号化方式についても適用可能である。
【産業上の利用可能性】
【００５２】
以上のように、本発明に係る画像符復号装置は、複数系統の画像の符号化および復号ができ、２チャンネル同時録画を行うＤＶＤ（Digital Versatile Disc）レコーダなどとして有用である。
【図面の簡単な説明】
【００５３】
【図１】本発明の第１の実施形態に係る画像符復号装置の構成図である。
【図２】２系統の画像の合成過程を示した図である。
【図３】本発明の第１の実施形態に係る画像縮小部によるフィルタ処理の説明図である。
【図４】本発明の第１の実施形態に係る符号化部による動き補償予測の説明図である。
【図５】本発明の第２の実施形態に係る画像符復号装置の構成図である。
【図６】ＭＰＥＧ２による符号化画像データを示した図である。
【図７】slice vertical positonを用いたデータ抽出例を示した図である。
【図８】macro block incrementを用いたデータ抽出例を示した図である。
【図９】slice start codeを用いたデータ抽出例を示した図である。
【符号の説明】
【００５４】
１０，１０Ａ  画像符号化装置
１１，１１ａ，１１ｂ  画像縮小部
１２  符号化部
１３  境界制御部
２０，２０Ａ  画像復号装置
２１，２１Ａ  復号部
２２  画像選択部
２３  画像拡大部
２４  抽出部
４０  フレームメモリ
【図１】
2005318170.tif 000003
【図２】
2005318170.tif 000004
【図３】
2005318170.tif 000005
【図４】
2005318170.tif 000006
【図５】
2005318170.tif 000007
【図６】
2005318170.tif 000008
【図７】
2005318170.tif 000009
【図８】
2005318170.tif 000010
【図９】
2005318170.tif 000011