(57)【要約】【課題】複数フレームの画像符号化の際の圧縮効率を向上させる。【解決手段】画像分割部１０１が原画像蓄積メモリ１０６に蓄積されている複数フレームの２次元画像を１次元画像に分割し，画像配置部１０２が分割された画像の画像配置を配置パターンに従って入れ替え，画像結合部１０３が分割された画像を結合パターンに従って結合して結合画像蓄積メモリ１０４に蓄積する。値符号化部１０５は，結合画像を２次元画像符号化し，画像配置指定符号化部１０８は，画像情報の配置パターンを符号化し，フレーム番号符号化部１１０は，結合した順序を示すフレーム番号を符号化する。これらを多重化して符号化データとする。【選択図】図３
2005057662.tif 000002
【特許請求の範囲】
【請求項１】
各画素でＭ値の値を取りうるＮ次元画像情報を，Ｋフレーム符号化する画像符号化方法であって，
各フレームの画像情報を第ｉ番目の次元（ｉは１からＮまでのいずれか）に沿って（Ｎ−１）次元の画像情報に分割する画像分割ステップと，
複数の（Ｎ−１）次元の画像情報を，所定の結合順序または選択された結合順序に従い，前記第ｉ番目の次元に沿って結合する画像結合ステップと，
前記画像結合ステップで結合して得られるＮ次元のＭ値画像情報を符号化する値符号化ステップと，
前記値符号化ステップで符号化した符号化データ，またはその符号化データと前記結合順序を示す情報を符号化した符号化データとを出力するステップと，
を実行することを特徴とする画像符号化方法。
【請求項２】
各画素でＭ値の値を取りうるＮ次元画像情報（第ｉ番目の次元の成分はｎi 個）を，Ｋフレーム符号化する画像符号化方法であって，
各フレームの画像情報を第ｉ番目の次元（ｉは１からＮまでのいずれか）に沿って，第ｉ番目の次元の成分の数がｎi よりも少ないＮ次元の画像情報に分割する画像分割ステップと，
前記画像分割ステップで分割して得られる，複数のＮ次元の画像情報を，所定の結合順序または選択された結合順序に従い，前記第ｉ番目の次元に沿って結合する画像結合ステップと，
前記画像結合ステップで結合して得られるＮ次元のＭ値画像情報を符号化する値符号化ステップと，
前記値符号化ステップで符号化した符号化データ，またはその符号化データと前記結合順序を示す情報を符号化した符号化データとを出力するステップと，
を実行することを特徴とする画像符号化方法。
【請求項３】
請求項１または請求項２に記載の画像符号化方法において，
前記画像分割ステップで分割して得られる画像情報の，第ｊ次元（ｊとｉは異なる）の画像配置を入れ替える画像配置ステップと，
画像を入れ替える配置を指定する配置パラメータを設定する画像配置指定ステップと，
配置パラメータを符号化し，出力する符号化データとする画像配置指定符号化ステップと，
を実行することを特徴とする画像符号化方法。
【請求項４】
請求項３に記載の画像符号化方法において，
前記値符号化ステップで得られる符号化データ量を求める符号量計測ステップを実行し，
前記画像配置指定ステップで指定する配置パラメータを変更して，少なくとも前記画像結合ステップと前記値符号化ステップと前記符号量計測ステップとを繰り返して実行し，配置パラメータを決定する
ことを特徴とする画像符号化方法。
【請求項５】
請求項１，請求項２または請求項３に記載の画像符号化方法において，
前記画像結合ステップで結合する画像情報の結合パターンを指定するフレーム結合パターン指定ステップと，
前記値符号化ステップで得られる符号化データ量を求める符号量計測ステップとを実行し，
前記フレーム結合パターン指定ステップで指定する結合パターンを変更して，少なくとも前記画像結合ステップと前記値符号化ステップと前記符号量計測ステップとを繰り返して実行し，画像情報の結合パターンを決定する
ことを特徴とする画像符号化方法。
【請求項６】
請求項１，請求項２または請求項３に記載の画像符号化方法において，
画像を分割または結合する次元を示す値ｉを指定する分割次元指定ステップと，
画像を分割または結合する次元を示す値ｉを符号化し，出力する符号化データとする分割次元符号化ステップと，
前記値符号化ステップで得られる符号化データ量を求める符号量計測ステップとを実行し，
前記分割次元指定ステップで指定する値ｉを変更して，少なくとも前記画像分割ステップと前記画像結合ステップと前記値符号化ステップと前記符号量計測ステップとを繰り返して実行し，値ｉを決定する
ことを特徴とする画像符号化方法。
【請求項７】
各画素でＭ値の値を取りうるＮ次元画像情報を，Ｋフレーム復号する画像復号方法であって，
Ｎ次元のＭ値画像情報を復号する値復号ステップと，
前記値復号ステップで得られる画像情報を第ｉ番目の次元（ｉは１からＮまでのいずれか）に沿って（Ｎ−１）次元の画像情報に分割する画像分割ステップと，
所定の結合順序または符号化データに含まれる結合順序を示す情報を復号して得られたフレーム番号の順番に従って，前記画像分割ステップで得られる（Ｎ−１）次元の画像情報を前記第ｉ番目の次元に沿って結合する画像結合ステップと，
を実行することを特徴とする画像復号方法。
【請求項８】
各画素でＭ値の値を取りうるＮ次元画像情報を，Ｋフレーム復号する画像復号方法であって，
Ｎ次元のＭ値画像情報を復号する値復号ステップと，
画像を分割または結合する次元を示す値ｉを復号する分割次元復号ステップと，
前記値復号ステップで得られる画像情報を第ｉ番目の次元に沿って（Ｎ−１）次元の画像情報に分割する画像分割ステップと，
所定の結合順序または符号化データに含まれる結合順序を示す情報を復号して得られたフレーム番号の順番に従って，前記画像分割ステップで得られる（Ｎ−１）次元の画像情報を前記第ｉ番目の次元に沿って結合する画像結合ステップと，
を実行することを特徴とする画像復号方法。
【請求項９】
各画素でＭ値の値を取りうるＮ次元画像情報（第ｉ番目の次元の成分はｎi 個）を，Ｋフレーム復号する画像復号方法であって，
Ｎ次元のＭ値画像情報を復号する値復号ステップと，
前記値復号ステップで得られる画像情報を第ｉ番目の次元（ｉは１からＮまでのいずれか）に沿って，第ｉ番目の次元の成分の数がｎi よりも少ないＮ次元の画像情報に分割する画像分割ステップと，
所定の結合順序または符号化データに含まれる結合順序を示す情報を復号して得られたフレーム番号の順番に従って，前記画像分割ステップで得られる画像情報を前記第ｉ番目の次元に沿って結合する画像結合ステップと，
を実行することを特徴とする画像復号方法。
【請求項１０】
各画素でＭ値の値を取りうるＮ次元画像情報（第１次元の成分はｎi 個）を，Ｋフレーム復号する画像復号方法であって，
Ｎ次元のＭ値画像情報を復号する値復号ステップと，
画像を分割または結合する次元を示す値ｉを復号する分割次元復号ステップと，
前記値復号ステップで得られる画像情報を第ｉ番目の次元（ｉは１からＮまでのいずれか）に沿って，第ｉ番目の次元の成分の数がｎi よりも少ないＮ次元の画像情報に分割する画像分割ステップと，
所定の結合順序または符号化データに含まれる結合順序を示す情報を復号して得られたフレーム番号の順番に従って，前記画像分割ステップで得られる画像情報を前記第ｉ番目の次元に沿って結合する画像結合ステップと，
を実行することを特徴とする画像復号方法。
【請求項１１】
各画素でＭ値の値を取りうるＮ次元画像情報を，Ｋフレーム符号化する画像符号化装置であって，
各フレームの画像情報を第ｉ番目の次元（ｉは１からＮまでのいずれか）に沿って（Ｎ−１）次元の画像情報に分割する画像分割部と，
複数の（Ｎ−１）次元の画像情報を，所定の結合順序または選択された結合順序に従い，前記第ｉ番目の次元に沿って結合する画像結合部と，
前記画像結合部で結合して得られるＮ次元のＭ値画像情報を符号化する値符号化部とを備え，
前記値符号化部で符号化した符号化データ，またはその符号化データと前記結合順序を示す情報を符号化した符号化データとを符号化結果とする
ことを特徴とする画像符号化装置。
【請求項１２】
各画索でＭ値の値を取りうるＮ次元画像情報（第ｉ番目の次元の成分はｎi 個）を，Ｋフレーム符号化する画像符号化装置であって，
各フレームの画像情報を第ｉ番目の次元（ｉは１からＮまでのいずれか）に沿って，第ｉ番目の次元の成分の数がｎi よりも少ないＮ次元の画像情報に分割する画像分割部と，
前記画像分割部で分割して得られる，複数のＮ次元の画像情報を，所定の結合順序または選択された結合順序に従い，前記第ｉ番目の次元に沿って結合する画像結合部と，
前記画像結合部で結合して得られるＮ次元のＭ値画像情報を符号化する値符号化部とを備え，
前記値符号化部で符号化した符号化データ，またはその符号化データと前記結合順序を示す情報を符号化した符号化データとを符号化結果とする
ことを特徴とする画像符号化装置。
【請求項１３】
各画素でＭ値の値を取りうるＮ次元画像情報を，Ｋフレーム復号する画像復号装置であって，
Ｎ次元のＭ値画像情報を復号する値復号部と，
前記値復号部で得られる画像情報を第ｉ番目の次元（ｉは１からＮまでのいずれか）に沿って，（Ｎ−１）次元の画像情報に分割する画像分割部と，
所定の結合順序または符号化データに含まれる結合順序を示す情報を復号して得られたフレーム番号の順番に従って，前記画像分割部で得られる（Ｎ−１）次元の画像情報を前記第ｉ番目の次元に沿って結合する画像結合部と，
を備えることを特徴とする画像復号装置。
【請求項１４】
各画素でＭ値の値を取りうるＮ次元画像情報（第ｉ番目の次元の成分はｎi 個）を，Ｋフレーム復号する画像復号装置であって，
Ｎ次元のＭ値画像情報を復号する値復号部と，
前記値復号部で得られる画像情報を第ｉ番目の次元（ｉは１からＮまでのいずれか）に沿って，第ｉ番目の次元の成分の数がｎi よりも少ないＮ次元の画像情報に分割する画像分割部と，
所定の結合順序または符号化データに含まれる結合順序を示す情報を復号して得られたフレーム番号の順番に従って，前記画像分割部で得られるＮ次元の画像情報を前記第ｉ番目の次元に沿って結合する画像結合部と，
を備えることを特徴とする画像復号装置。
【請求項１５】
請求項１から請求項６までのいずれか１項に記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラム。
【請求項１６】
請求項７から請求項１０までのいずれか１項に記載の画像復号方法をコンピュータに実行させるための画像復号プログラム。
【請求項１７】
請求項１から請求項６までのいずれか１項に記載の画像符号化方法をコンピュータに実行させるためのプログラムを記録した画像符号化プログラム記録媒体。
【請求項１８】
請求項７から請求項１０までのいずれか１項に記載の画像復号方法をコンピュータに実行させるためのプログラムを記録した画像復号プログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，画像符号化／復号技術に関し，特に，符号化対象画像が複数フレームある場合の符号化の圧縮効率を向上させることが可能な画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，それらのプログラムおよびそれらのプログラム記録媒体に関するものである。
【背景技術】
【０００２】
動画像に対するフレーム間予測符号化方法は，特に不可逆符号化について従来から大いに研究されている。フレーム間予測符号化では，過去に符号化したフレームの復号画像を蓄積しておき，この復号画像と原画像との差分を符号化対象とする。このため，最初に符号化するフレームはフレーム間予測符号化を使用せずにフレーム内符号化しておき，第２フレーム以後でフレーム間予測符号化を適用する。
【０００３】
他方，動画像の適当なフレームから復号できるようにするのは有効である。これをランダムアクセスと呼ぶ。第２フレーム以後でランダムアクセスを可能にするためには，ランダムアクセスしたいフレームでフレーム内符号化を適用する。
【０００４】
なお，静止画像やフレーム間予測符号化等の動画像に関するディジタル画像圧縮の一般的な技術については，下記の非特許文献１に記載されている。
【非特許文献１】安田浩，渡辺裕，「ディジタル画像圧縮の基礎」，日経ＢＰ出版センター，1996年１月発行
【発明の開示】
【発明が解決しようとする課題】
【０００５】
フレーム内符号化フレームでは，フレーム内の情報のみ使用するため従来の静止画像の符号化と同じである。従ってフレーム間予測符号化を適用可能なフレームよりも圧縮効率が低下する問題がある。特にランダムアクセスを可能とするフレームを多くするほど圧縮効率が低下してしまう。
【０００６】
本発明は，上記従来技術の問題点を解決し，動き補償などのフレーム間予測符号化を用いない場合にも，画像符号化の圧縮効率を向上させることが可能な画像符号化技術，画像復号技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
以上の課題を解決するため，第１の発明は，各画素でＭ値の値を取りうるＮ次元画像情報を，Ｋフレーム符号化する画像符号化方法であって，各フレームの画像情報を第ｉ次元（ｉは１からＮまでのいずれか）に沿って（Ｎ−１）次元の画像情報に分割する画像分割ステップと，複数の（Ｎ−１）次元の画像情報を前記第ｉ次元に沿って結合する画像結合ステップと，画像結合ステップで結合する対象である（Ｎ−１）次元の画像情報が，どのフレームに属していたのかを示すフレーム番号を，画像結合ステップで結合した順序で符号化するフレーム番号符号化ステップと，画像結合ステップで結合して得られるＮ次元のＭ値画像情報を符号化する値符号化ステップと，を実行することを特徴とする。画像を結合する順序があらかじめ定まっている場合には，前記フレーム番号符号化ステップを省略して実施することも可能である。
【０００８】
第２の発明は，各画素でＭ値の値を取りうるＮ次元画像情報（第ｉ次元の成分はｎi 個）を，Ｋフレーム符号化する画像符号化方法であって，各フレームの画像情報を第ｉ次元（ｉは１からＮまでのいずれか）に沿って，第ｉ次元の成分の数がｎi よりも少ないＮ次元の画像情報に分割する画像分割ステップと，画像分割ステップで分割して得られる，複数のＮ次元の画像情報を前記第ｉ次元に沿って結合する画像結合ステップと，画像結合ステップで結合する対象であるＮ次元の画像情報が，どのフレームに属していたのかを示すフレーム番号を，画像結合ステップで結合した順序で符号化するフレーム番号符号化ステップと，画像結合ステップで結合して得られるＮ次元のＭ値画像情報を符号化する値符号化ステップと，を実行することを特徴とする。第２の発明においても，画像を結合する順序があらかじめ定まっている場合には，前記フレーム番号符号化ステップを省略して実施することも可能である。
【０００９】
第３の発明は，第１の発明または第２の発明の画像符号化方法であって，画像分割ステップで分割して得られる画像情報の，第ｊ次元（ｊとｉは異なる）の画像配置を入れ替える画像配置ステップと，画像を入れ替える配置を指定する配置パラメータを設定する画像配置指定ステップと，配置パラメータを符号化する画像配置指定符号化ステップと，を実行することを特徴とする。
【００１０】
第４の発明は，第３の発明の画像符号化方法であって，値符号化ステップで得られる符号化データ量を求める符号量計測ステップを実行し，画像配置指定ステップで指定する配置パラメータを変更して，少なくとも画像結合ステップと値符号化ステップと符号量計測ステップを繰り返して実行し，配置パラメータを決定することを特徴とする。
【００１１】
第５の発明は，第１の発明または第２の発明または第３の発明の画像符号化方法であって，画像結合ステップで結合する画像情報の結合パターンを指定するフレーム結合パターン指定ステップと，値符号化ステップで得られる符号化データ量を求める符号量計測ステップと，を実行し，フレーム結合パターン指定ステップで指定する結合パターンを変更して，少なくとも画像結合ステップと値符号化ステップと符号量計測ステップを繰り返して実行し，画像情報の結合パターンを決定することを特徴とする。
【００１２】
第６の発明は，第１の発明または第２の発明または第３の発明の画像符号化方法であって，画像を分割または結合する次元を示す値ｉを指定する分割次元指定ステップと，画像を分割または結合する次元を示す値ｉを符号化する分割次元符号化ステップと，値符号化ステップで得られる符号化データ量を求める符号量計測ステップと，を実行し，分割次元指定ステップで指定する値ｉを変更して，少なくとも画像分割ステップと画像結合ステップと値符号化ステップと符号量計測ステップを繰り返して実行し，値ｉを決定することを特徴とする。
【００１３】
第１の発明によれば，各フレームの画像情報を一旦分割して，複数フレーム分をまとめて，１フレーム分の画像情報を構成し，画像情報を符号化することができる。この発明では，Ｎ次元の画像情報を一旦（Ｎ−１）次元の画像情報に分割することが特徴である。
【００１４】
例えば，縦Ａ画素で横Ｂ画素の２次元画像情報をＫフレーム符号化する場合には，各フレームを縦方向にＡ個に分割して，Ａ個の横Ｂ画素の１次元画像情報を作成する。これをＫフレーム分まとめて，すなわちＫ×Ａ個の１次元画像情報を縦方向に結合すると，縦Ｋ×Ａ画素で横Ｂ画素の２次元画像情報を構成できる。これを２次元画像符号化する。
【００１５】
２次元画像符号化では，一般的に現画素または領域の画像情報を，周囲の画素または領域の画像情報から予測して予測残差を符号化する。したがって，本発明により，符号化対象フレームの最初のフレームにおける画像情報について，既に２番目以後のフレームの画像情報が符号化されている場合には，その画像情報から予測することができ，圧縮効率を向上することができる。なお，値符号化ステップでは画像情報を可逆符号化してもよいし，不可逆符号化してもよい。
【００１６】
第２の発明によれば，第１の発明と同様に，各フレームの画像情報を一旦分割して，複数フレーム分をまとめて，１フレーム分の画像情報を構成し，画像情報を符号化することができる。
【００１７】
ただし，第１の発明とは異なり，Ｎ次元の画像情報を分割して，分割する方向の次元の成分数が少ないＮ次元の画像情報に分割することが特徴である。例えば，縦Ａ画素で横Ｂ画素の２次元画像情報をＫフレーム符号化する場合で，各フレームを縦方向にＡ／２個に分割する場合には，Ａ／２個の縦２画素で横Ｂ画素の２次元画像情報を作成する。
【００１８】
これをＫフレーム分まとめて，すなわちＫ×（Ａ／２）個の２次元画像情報を縦方向に結合すると，縦Ｋ×Ａ画素で横Ｂ画素の２次元画像情報を構成できる。これを２次元画像符号化する。
【００１９】
このようにすれば，第１の発明と同様に，符号化対象フレームの最初のフレームも，２番目以後のフレームの画像情報から予測することができ，圧縮効率を向上することができる。ただし，分割して得られる画像情報の分割する方向の次元の成分数は２以上であるため，第１の発明よりも画像を分離する際の画素数が大きくなる。
【００２０】
逆にフレーム番号符号化ステップで符号化するフレーム番号の数が少なくなり，フレーム番号に関する符号量を低減することができる。なお，値符号化ステップでは画像情報を可逆符号化してもよいし，不可逆符号化してもよい。
【００２１】
第３の発明によれば，第１の発明または第２の発明において，画像分割ステップで分割した画像情報の配置を入れ替えることが可能である。例えば，縦Ａ画素で横Ｂ画素の２次元画像情報をＫフレーム符号化する場合で，各フレームを縦方向にＡ／２個に分割する場合には，縦２画素で横Ｂ画素の２次元画像情報に分割される。
【００２２】
この画像情報を縦ではない方向，すなわち横方向に沿って画像情報を入れ替える。例えば，横方向で第１番目の画像情報を第２番目の画像情報に入れ替え，第ｐ番目の画像情報を第ｐ＋１番目に入れ替え，最後の第Ｂ番目の画像情報を第１番目に入れ替える。これにより，既に結合した画像情報との境界部分における圧縮効率を向上することができる。
【００２３】
第４の発明によれば，第３の発明において，符号量が最小になるまで，分割した画像情報を入れ替える配置位置を変更して，画像情報を作成し符号化することを繰り返すことにより，最も符号量が小さい配置パターンを決定することができる。
【００２４】
なお，符号量計測ステップで求める値符号化ステップでの発生符号量を最小にするように配置パターンを決定してもよいし，配置パターンの符号量も加えた合計を最小にするように配置パターンを決定してもよい。
【００２５】
第５の発明によれば，第１の発明または第２の発明または第３の発明において，符号量が最小になるまで，各フレームの画像情報の結合する順序を変更して，画像情報を作成し符号化することを繰り返すことにより，最も符号量が小さい結合パターンを決定することができる。
【００２６】
なお，符号量計測ステップで求める値符号化ステップでの発生符号量を最小にするように結合パターンを決定してもよいし，フレーム番号の符号量も加えた合計を最小にするように結合パターンを決定してもよい。
【００２７】
第６の発明によれば，第１の発明または第２の発明または第３の発明において，符号量が最小になるまで，各フレームの画像情報の分割および結合する次元を変更して，画像情報を作成し符号化することを繰り返すことにより，最も符号量が小さくなる，分割および結合する次元を決定することができる。例えば，２次元画像情報を１次元画像情報に分割する場合には，縦方向に分割した後に結合した場合と，横方向に分割した後に結合した場合とで，発生符号量を比較し，発生符号量の小さくなるほうで分割，結合を行う。
【００２８】
なお，符号量計測ステップで求める値符号化ステップでの発生符号量を最小にするように分割および結合する次元を決定してもよいし，分割および結合する次元の符号量も加えた合計を最小にするように分割および結合する次元を決定してもよい。
【発明の効果】
【００２９】
本発明によれば，符号化対象画像が複数フレームある場合に，最初のフレームの画像情報も，２番目以後のフレームの画像情報から予測することができ，圧縮効率を向上することができる。
【発明を実施するための最良の形態】
【００３０】
図面を用いて本発明の実施の形態を説明する。図１は，本発明の実施の形態の概要を説明する図である。ｃビットで表現された縦ａ横ｂ画素の２次元画像をｋフレーム符号化する場合の例を示す。
【００３１】
図１の例では，第１フレームから第ｋフレームまでのｋ個のフレームの２次元画像情報を，それぞれ縦方向にａ個の横ｂ画素からなる１次元画像情報に分割し，分割した１次元画像情報を，各フレームの先頭から順番に結合している。結合した結果は，縦がｋ×ａ画素，横がｂ画素の２次元画像情報となる。この２次元画像情報をＪＰＥＧその他の２次元画像符号化方式を用いて符号化する。これによって，個々のフレームを分割・結合しないで符号化したときよりも，圧縮効率を高めることができる。
【００３２】
特に，分割した１次元画像情報を結合する順番を変えて符号化を試み，発生符号量を計測して，発生符号量が小さくなるような結合の順番を決めることにより，さらに高い圧縮効率を得ることが可能になる。また，分割したｂ画素からなる１次元画像情報における画素の内部配置を，結合前にいくつかの配置パターンに従って変更し，各配置パターンごとの発生符号量を計測して，発生符号量が小さくなるような最適な画素の配置パターンを決めて符号化を行うことにより，さらに高い圧縮効率を得ることが可能になる。
【００３３】
また，各フレームを縦方向に分割する代わりに，横方向に分割して，それを所定の結合順序またはいくつかの結合パターンから選択した発生符号量が小さくなる結合順序で結合してもよい。この場合には，縦がａ画素，横がｋ×ｂ画素の２次元画像情報を２次元画像符号化することになる。縦方向に分割して結合した場合と，横方向に分割して結合した場合との発生符号量を比較し，発生符号量が小さくなる分割方向（分割次元）を選択すると，さらに好適である。
【００３４】
図２は，本発明の実施の形態の処理概要を示すフローチャートである。まず，符号化対象のｋ個のフレームの画像を入力し，蓄積する（ステップＳ１）。次に，分割する次元（分割方向）が可変の場合には，分割する次元を決める（ステップＳ２）。すなわち，２次元画像の例では，縦方向に分割するか横方向に分割するかを決める。この例では，縦方向（縦の次元に沿って横１列ずつ）に分割することが決まっているものとする。分割する次元は，ユーザに指定させてもよいし，縦，横方向の両方の分割についてそれぞれ符号化を行い，最終的に発生符号量が小さくなるほうを採用するようにしてもよい。
【００３５】
次に，分割し結合するフレーム番号を所定の結合パターンに従って決定する（ステップＳ３）。結合パターンが複数定められている場合には，以降の処理を各結合パターンごとに行い，最終的に発生符号量を計測して発生符号量の最も小さくなる結合パターンを採用する。
【００３６】
分割し結合するフレーム番号が決定したならば，そのフレーム番号のフレームから横（または縦）１次元の画像情報を読み込む（ステップＳ４）。次に，所定の配置パターンに従って１次元の画像情報内の画素の配置替えを行う（ステップＳ５）。この処理は，省略してもよい。また，複数の配置パターンについて発生符号量の比較を行い，最終的に発生符号量の最も小さくなる配置パターンを採用するようにしてもよい。
【００３７】
読み込んだ１次元画像情報またはそれを配置替えした結果を，結合画像蓄積メモリに蓄積する。以上のステップＳ３〜Ｓ６の処理を，ｋ個のフレームの全画像情報が終了するまで繰り返す（ステップＳ７）。
【００３８】
全画像情報の分割および結合が終了したならば，結合画像蓄積メモリに蓄積された２次元画像情報を２次元画像符号化する（ステップＳ８）。また，配置パターンが可変である場合には，採用した配置パターンの符号化を行い，また，結合する順番が可変の場合には，結合した順番のフレーム番号情報を符号化する。また，横方向に分割するか，縦方向に分割するかを発生符号量によって可変にしている場合には，その分割次元情報を符号化する。これらの符号化データを，２次元画像符号化した結果の符号化データと多重化して出力する（ステップＳ９）。以上の処理を符号化対象のデータが終了するまで繰り返す（ステップＳ１０）。
【００３９】
図３は，本発明の実施の形態に係る画像符号化装置の構成例を示す。この画像符号化装１は，各フレームの２次元画像情報を縦方向または横方向に１次元画像に分割し，１次元画像内の画素配置の入れ替えや，結合パターンの入れ替えを行い，最も符号量が小さい場合のロスレス符号化データを得るものとする。
【００４０】
画像符号化装置１は，原画像を蓄積する原画像蓄積メモリ１０６と，画像を１次元画像に分割する画像分割部１０１と，１次元画像の画像配置を入れ替える画像配置部１０２と，１次元画像を結合して２次元画像を作成する画像結合部１０３と，結合画像を蓄積する結合画像蓄積メモリ１０４と，結合画像を２次元画像符号化する値符号化部１０５と，画像分割部１０１で２次元画像を分割する方向を指定する分割次元指定部１１１と，分割する方向を指定する情報を符号化する分割次元符号化部１１２と，画像配置部１０２で入れ替えるパターンを示す配置パターンを指定する画像配置指定部１０７と，配置パターンを符号化する画像配置指定符号化部１０８と，１次元画像を結合するフレームの順序を指定するフレーム結合パターン指定部１０９と，フレーム番号を符号化するフレーム番号符号化部１１０と，値符号化部１０５と分割次元符号化部１１２と画像配置指定符号化部１０８とフレーム番号符号化部１１０からの符号化データを多重化する多重化部１１３と，値符号化部１０５と分割次元符号化部１１２と画像配置指定符号化部１０８とフレーム番号符号化部１１０からの符号化データの合計を計算し記憶する符号量計測部１１４とを備える。
【００４１】
原画像蓄積メモリ１０６では，Ｍ１からＭｋまでのｋフレーム分の画像蓄積メモリを備え，符号化対象の画像情報が蓄積されているものとする。画像分割部１０１は，原画像蓄積メモリ１０６に蓄積してある画像を読み込み，各フレームについて，読み込んだ最終メモリ位置を記憶しておくものとする。
【００４２】
値符号化部１０５では，２次元画像をＪＰＥＧ−ＬＳを用いて２次元画像符号化する。分割次元符号化部１１２では，分割する次元を示す情報を１ビット固定長で符号化する。縦方向を０とし，横方向を１とする。
【００４３】
画像配置指定部１０７では，予めＬ種類の配置パターンを用意しておき，順次指定するものとする。画像配置指定符号化部１０８では，予め各配置パターンに対応した可変長符号を設定しておき，配置パラメータを可変長符号化する。
【００４４】
Ｌ種類の配置パターンの例を図４に示す。図４において，Ｐi （Ｐi ＝Ｐ１，Ｐ２，…，Ｐb ）は画素位置ｉの画像情報を示しており，例えば，配置パターン１では，画像情報は横方向に，Ｐ２，Ｐ３，Ｐ４，Ｐ５，…，Ｐb ，Ｐ１の順に配置され，配置パターン２では，Ｐb ，Ｐ１，Ｐ２，Ｐ３，…，Ｐb-2 ，Ｐb-1 の順に配置され，配置パターン３では，Ｐ３，Ｐ４，Ｐ５，Ｐ６，…，Ｐ１，Ｐ２の順に配置され，配置パターン４では，Ｐb-1 ，Ｐb ，Ｐ１，Ｐ２，…，Ｐb-3 ，Ｐb-2 の順に配置される。
【００４５】
各配置パターンに対応して設定される可変長符号語の例を図５に示す。図５に示すように，例えば，配置パターン１の場合は符号「１」に，配置パターン２の場合は符号「００１」に，配置パターン３の場合は符号「０１１」に，配置パターン４の場合は符号「００００１」に，配置パターン５の場合は符号「０００１１」に，配置パターン６の場合は符号「０１００１」に，それぞれ配置パターン情報が可変長符号化される。
【００４６】
フレーム結合パターン指定部１０９は，図６のフローに従って結合するフレーム番号を設定するものとする。図６は，第ｉ番目の結合パターンにおける第ｊ番目に結合するフレーム番号ＦＮ（ｊ）の決定フロー（全ｋフレーム）を示している。
【００４７】
図６に示すように，第１番目の結合であるかを判断し（ステップＳ１００），第１番目の結合である場合にはＦＮ（ｊ）＝１とし，第１番目の結合でない場合にはＦＮ（ｊ−１）＋（ｉ−１）＜＝ｋであるかを判断する（ステップＳ１０２）。ＦＮ（ｊ−１）＋（ｉ−１）＜＝ｋである場合にはＦＮ（ｊ）＝ＦＮ（ｊ−１）＋（ｉ−１）とし（ステップＳ１０３），ＦＮ（ｊ−１）＋（ｉ−１）＜＝ｋでない場合にはＦＮ（ｊ）＝（過去（ｊ−１）回で選択されたフレーム番号以外で，最小の正の整数）とする（ステップＳ１０４）。
【００４８】
例えばｋ＝５である場合に，第１番目（ｉ＝１）の結合パターンは，ＦＮ（１）＝１，ＦＮ（２）＝１，ＦＮ（３）＝１，ＦＮ（４）＝１，……，ＦＮ（ａ＋１）＝２，ＦＮ（ａ＋２）＝２，……であり，第１フレームの分割された１次元画像情報がすべて結合された後に，第２フレームの分割された１次元画像情報が結合されていく。
【００４９】
第２番目（ｉ＝２）の結合パターンは，ＦＮ（１）＝１，ＦＮ（２）＝２，ＦＮ（３）＝３，ＦＮ（４）＝４，ＦＮ（５）＝５，ＦＮ（６）＝１，ＦＮ（７）＝２，……であり，フレーム番号の順番に，分割された１次元画像情報が結合されていく。図１に示した分割・結合の例は，この結合パターンを採用した場合の例である。
【００５０】
また，第３番目（ｉ＝３）の結合パターンは，ＦＮ（１）＝１，ＦＮ（２）＝３，ＦＮ（３）＝５，ＦＮ（４）＝２，ＦＮ（５）＝４，ＦＮ（６）＝１，ＦＮ（７）＝３，……であり，フレーム番号が１つおきの順番で，分割し結合する１次元画像情報のフレームが決定される。
【００５１】
フレーム番号符号化部１１０では，直前に結合したフレーム番号と現フレームのフレーム番号との差分を可変長符号化する。このフレーム番号の差分を可変長符号化する場合の可変長符号語の例を図７に示す。
【００５２】
図７に示すように，例えば，フレーム番号の差分が０の場合，フレーム番号を示す符号は「１」であり，フレーム番号の差分が＋１の場合，フレーム番号を示す符号は「００１」であり，フレーム番号の差分が−１の場合，フレーム番号を示す符号は「０１１」であり，フレーム番号の差分が＋２の場合，フレーム番号を示す符号は「００００１」であり，フレーム番号の差分が−２の場合，フレーム番号を示す符号は「０００１１」であり，フレーム番号の差分が＋３の場合，フレーム番号を示す符号は「０１００１」である。
【００５３】
このような前提で画像情報を次のように符号化する。まず分割次元指定部１１１は，分割する次元を縦方向に指定する（ステップ１−１）。フレーム結合パターン指定部１０９は，図６のフローに従って分割して結合するための，縦方向を分割する次元とした第１番目のフレーム結合パターンにおける第１番目のフレーム番号Ｆ（１，１，１）を決定する（ステップ１−２）。ここで，Ｆ（ｘ，ｙ，ｚ）は，分割する方向がｘ番目の次元であり，ｙ番目の結合パターンにおけるｚ番目のフレーム番号であることを示す。
【００５４】
画像分割部１０１は，原画像蓄積メモリ１０６に蓄積されている，フレーム結合パターン指定部１０９で指定されるフレーム番号の画像情報から，横１次元の画像情報を読み込む（ステップ１−３）。
【００５５】
画像配置指定部１０７は，配置パターンを決定して指定する（ステップ１−４）。画像配置部１０２は，画像配置指定部１０７で指定された画像配置となるように，１次元の画像情報の配置を替える（ステップ１−５）。
【００５６】
画像結合部１０３は，画像配置部１０２で配置を替えた１次元画像情報を結合画像蓄積メモリ１０４に蓄積する（ステップ１−６）。ここで指定された配置パターンをＣ（１，１，１）と記すこととする。ここで，Ｃ（ｘ，ｙ，ｚ）の添字ｘ，ｙ，ｚは，分割し結合するフレーム番号を示すＦ（ｘ，ｙ，ｚ）の添字ｘ，ｙ，ｚに対応する。
【００５７】
続いて，フレーム結合パターン指定部１０９は，図６のフローに従って分割して結合するための，縦方向を分割する次元とした第１番目のフレーム結合パターンにおける第２番目のフレーム番号Ｆ（１，１，２）を決定する（ステップ２−１）。
【００５８】
画像分割部１０１は，原画像蓄積メモリ１０６に蓄積されている，フレーム結合パターン指定部１０９で指定されるフレーム番号の画像情報から，横１次元の画像情報を読み込む（ステップ２−２）。画像配置指定部１０７は，配置パターンを決定して指定する（ステップ２−３）。
【００５９】
画像配置部１０２は，画像配置指定部１０７で指定された画像配置となるように，１次元の画像情報の配置を替える（ステップ２−４）。画像結合部１０３は，画像配置部１０２で配置を替えた１次元画像情報を，第１番目のフレーム番号の画像情報の後に結合するように，結合画像蓄積メモリ１０４に蓄積する（ステップ２−５）。
【００６０】
値符号化部１０５は，結合画像蓄積メモリ１０４に蓄積された２次元画像情報を符号化し，画像配置指定符号化部１０８は，配置パターンを符号化し，フレーム番号符号化部１１０は，フレーム番号を符号化し，分割次元符号化部１１２は，分割する次元の情報（縦方向）を符号化する（ステップ２−６）。
【００６１】
多重化部１１３は，これらの符号化データを多重化する（ステップ２−７）。符号量計測部１１４は，多重化部１１３で多重化した符号化データの符号量を計測して，符号量を記憶しておく（ステップ２−８）。
【００６２】
次に，画像配置指定部１０７は，配置パターンを変更して，上記ステップ２−３からステップ２−８までを繰り返す。ここでステップ２−５では，画像結合部１０３は，画像配置部１０２で配置を替えた１次元画像情報を，第１番目のフレーム番号の画像情報の後に結合するように，結合画像蓄積メモリ１０４に蓄積する。
【００６３】
全ての配置パターンについて，ステップ２−３からステップ２−８までを繰り返した後で，符号量計測部１１４に記憶した符号量を比較して，最も符号量の小さい配置パターンを求める（ステップ３）。ここで求められた配置パターンをＣ（１，１，２）と記すこととする。
【００６４】
同様にしてステップ２−３からステップ２−８までを繰り返し，縦方向を分割する次元とした第１番目のフレーム結合パターンにおける，第ｉ番目のフレーム番号Ｆ（１，１，ｉ）から分割される横１次元の画像情報の配置パターンＣ（１，１，ｉ）を求める（ステップ３）。ここでステップ２−５では，画像結合部１０３は，画像配置部１０２で配置を替えた１次元画像情報を，第ｉ−１番目のフレーム番号の画像情報の後に結合するように，結合画像蓄積メモリ１０４に蓄積する。
【００６５】
各第ｉ番目のフレーム番号Ｆ（１，１，ｉ）から分割される横１次元の画像情報に対して，ステップ３で求められる配置パターンＣ（１，１，ｉ）を画像配置指定部１０７は記憶する（ステップ４）。また，配置パターンＣ（１，１，ｉ）の時に符号量計測部１１４で計測される符号量を，符号量計測部１１４は記憶する（ステップ５）。
【００６６】
ステップ１−２に戻り，フレーム結合パターン指定部１０９は，図６のフローに従って分割して結合するための，縦方向を分割する次元とした第２番目のフレーム結合パターンにおける第１番目のフレーム番号Ｆ（１，２，１）を決定する。
【００６７】
ステップ１−３からステップ１−６までを実行し，ステップ２−１からステップ２−８までを繰り返し実行することにより，縦方向を分割する次元とした第２番目のフレーム結合パターンにおける第ｉ番目のフレーム番号Ｆ（１，２，ｉ）から分割される画像情報に対して，配置パターンＣ（１，２，ｉ）を求める（ステップ３）。
【００６８】
この配置パターンを画像配置指定部１０７は記憶する（ステップ４）。また配置パターンＣ（１，２，ｉ）の時に符号量計測部１１４で計測される符号量を，符号量計測部１１４は記憶する（ステップ５）。
【００６９】
フレーム結合パターンを変更しながら，上記のステップ１−２からステップ５までの処理を繰り返すことにより，縦方向を分割する次元とした，第ｊ番目のフレーム結合パターンにおける第ｉ番目のフレーム番号Ｆ（１，ｊ，ｉ）から分割される画像情報に対して，配置パターンＣ（１，ｊ，ｉ）を求める。
【００７０】
なおステップ４では，画像配置指定部１０７は，配置パターンＣ（１，ｊ，ｉ）を記憶し，またステップ５では，配置パターンＣ（１，ｊ，ｉ）の時に符号量計測部１１４で計測される符号量を，符号量計測部１１４は記憶する。
【００７１】
全てのフレーム結合パターンで，ステップ１−２からステップ５までを繰り返した後で，符号量計測部１１４に記憶した符号量を比較して，最も符号量の小さいフレーム結合パターンと配置パターンを求める（ステップ６）。
【００７２】
第ｐ番目のフレーム結合パターンで最も符号量が小さいとする。このときの第ｉ番目のフレーム番号はＦ（１，ｐ，ｉ）であり，配置パターンはＣ（１，ｐ，ｉ）となる。フレーム結合パターン指定部１０９はフレーム番号Ｆ（１，ｐ，ｉ）を記憶しておく。
【００７３】
ステップ１−１に戻り，分割次元指定部１１１は，分割する次元を横方向に指定する。全てのフレーム結合パターンで，ステップ１−２からステップ５までを繰り返した後で，符号量計測部１１４に記憶した符号量を比較して，最も符号量の小さいフレーム結合パターンと配置パターンを求める（ステップ６）。
【００７４】
第ｑ番目のフレーム結合パターンで最も符号量が小さいとする。このときの第ｉ番目のフレーム番号をＦ（２，ｑ，ｉ），配置パターンをＣ（２，ｑ，ｉ）とする。
【００７５】
次に，縦方向に分割し第ｉ番目のフレーム番号がＦ（１，ｐ，ｉ）であり配置パターンがＣ（１，ｐ，ｉ）となる場合の符号量と，横方向に分割し第ｉ番目のフレーム番号がＦ（２，ｑ，ｉ）であり配置パターンがＣ（２，ｑ，ｉ）となる場合の符号量を比較して，符号量の小さい方の分割次元を求める（ステップ６）。
【００７６】
ステップ６で求めた分割次元とフレーム番号と配置パターンに従って，ステップ１−１からステップ２−７までを実行し，多重化部１１３で多重化された符号化データを出力する。このようにしてｋフレームの２次元画像情報を符号化する。
【００７７】
次に復号装置の説明を行う。図８に装置概要を示す。画像復号装置２は，符号化データを画像情報符号化データとフレーム番号符号化データと分割次元符号化データと配置パターン符号化データに分離する分離部２１２と，画像情報符号化データを復号して２次元画像を得る値復号部２０１と，値復号部２０１で得られる画像を蓄積する結合画像蓄積メモリ２０２と，画像を１次元画像に分割する画像分割部２０３と，１次元画像の画像配置を入れ替える画像配置部２０４と，１次元画像を結合して２次元画像を作成する画像結合部２０５と，復号画像を蓄積する復号画像蓄積メモリ２１１と，分割する方向を指定する情報を復号する分割次元復号部２０６と，画像分割部２０３で２次元画像を分割する方向を指定する分割次元指定部２０７と，配置パターンを復号する画像配置指定復号部２０８と，画像配置部２０４で入れ替えるパターンを示す配置パターンを指定する画像配置指定部２０９と，フレーム番号を復号するフレーム番号復号部２１０とを備える。
【００７８】
復号画像蓄積メモリ２１１では，Ｍ１からＭｋまでのｋフレーム分の画像蓄積メモリを備えるものとする。画像分割部２０３は，結合画像蓄積メモリ２０２に蓄積してある画像を読み込み，各フレームについて，読み込んだ最終メモリ位置を記憶しておくものとする。
【００７９】
値復号部２０１では，２次元画像をＪＰＥＧ−ＬＳを用いて２次元画像復号する。分割次元復号部２０６では，分割する次元を示す情報を１ビット固定長復号する。縦方向を０とし，横方向を１とする。
【００８０】
画像配置指定復号部２０８では，配置パターンを復号するが，その配置パターンと可変長符号は，それぞれ図４に示す配置パターンと図５に示す可変長符号と同じものにする。フレーム番号復号部２１０では，直前に結合したフレーム番号と現フレームのフレーム番号との差分を可変長復号する。可変長符号語の例は図７と同じものにする。
【００８１】
このような前提で画像復号装置は，上記画像符号化装置１で符号化された符号化データを次のように復号する。まず分離部２１２は，符号化データを画像情報符号化データとフレーム番号符号化データと分割次元符号化データと配置パターン符号化データとに分離する。値復号部２０１は，画像情報符号化データを復号して２次元画像情報を結合画像蓄積メモリ２０２に蓄積する。
【００８２】
分割次元復号部２０６は，分割次元符号化データを復号する。分割次元指定部２０７は，画像分割部２０３が画像情報を分割する次元を指定する。続いて，画像分割部２０３は，指定された次元方向に結合画像蓄積メモリ２０２に蓄積されている画像情報を分割しながら１次元画像情報を読み込む。
【００８３】
画像配置指定復号部２０８は，配置パターンを復号する。画像配置指定部２０９は，画像配置部２０４が画像を入れ替える配置パターンを指定する。画像配置部２０４は，配置パターンに従って１次元画像情報の配置を入れ替える。
【００８４】
フレーム番号復号部２１０は，フレーム番号を復号する。画像結合部２０５は，復号画像蓄積メモリ２１１のうちで，フレーム番号で指定されるフレームのメモリに，画像配置部２０４で配置を入れ替えた１次元画像情報を蓄積する。
【００８５】
以上の，画像分割部２０３が１次元画像情報を読み込み，画像結合部２０５が１次元画像情報を蓄積するまでの処理を，画像分割部２０３が結合画像蓄積メモリ２０２に蓄積されている画像情報をすべて読み込むまで繰り返し実行する。このようにしてｋフレームの２次元画像情報を復号して得る。
【００８６】
本実施の形態では，画像を分割する次元を画像符号化装置１で決定し符号化したが，予め設定しておいてもよい。この場合には，画像符号化装置１に分割次元指定部１１１と分割次元符号化部１１２を備えず，画像復号装置２に分割次元復号部２０６と分割次元指定部２０７を備えない。
【００８７】
本実施の形態では，画像の配置を配置パターンに従って入れ替えたが入れ替えない構成にしてもよい。この場合には，画像符号化装置１に画像配置部１０２と画像配置指定部１０７と画像配置指定符号化部１０８を備えず，画像復号装置２に画像配置部２０４と画像配置指定部２０９と画像配置指定復号部２０８を備えない。
【００８８】
また，本実施の形態では，配置パターンを図４のようにしたが，この配置パターンに限らない。また可変長符号語も図５に示すものに限らない。また可変長符号化の代わりに算術符号化を用いてもよい。
【００８９】
本実施の形態では，画像の結合順序の候補を，図６に従って決定したが，これに限らない。また結合順序を予め設定してもよい。予め設定する場合には，フレーム番号を符号化する必要がないため，画像符号化装置１にフレーム番号符号化部１１０を備えず，画像復号装置２にフレーム番号復号部２１０を備えない。
【００９０】
また，本実施の形態では，フレーム番号の差分の可変長符号語を図７のようにしたが，これに限らない。またフレーム番号の差分ではなく，フレーム番号を可変長符号化してもよい。また可変長符号化の代わりに算術符号化を用いてもよい。このフレーム番号の符号化データは，復号側で結合の順番が分かるものであればよく，結合パターンの番号を符号化したものを，フレーム番号の符号化データとして用いることもできる。
【００９１】
本実施の形態では，分割次元方向に次元数を減らすように分割したが，次元数を変更しないように分割してもよい。例えば画像分割部１０１で，縦ａ画素横ｂ画素の２次元画像情報を縦ａ画素横２画素の２次元画像情報に分割してもよい。
【００９２】
本実施の形態では，原画像蓄積メモリ１０６の画像蓄積メモリに蓄積されている縦ａ横ｂ画素の２次元画像情報を画像分割部１０１で分割したが，画像蓄積メモリに蓄積されている縦ａ横ｂ画素の２次元画像情報のうち，特定の画像領域の画像情報を分割してもよい。例えばａとｂが１６の倍数の場合には，複数の縦横１６画素の領域によって２次元画像情報が構成される。画像分割部１０１は，この領域の画像情報を分割する。そして領域毎に，分割次元や配置パターンやフレーム結合順序を変更してもよい。
【００９３】
本実施の形態では，２次元画像情報をｋフレームまとめて符号化する方法を示したが，次元数が２次元以上の，Ｎ次元画像情報をｋフレームまとめて符号化してもよい。この場合には，画像符号化装置１の原画像蓄積メモリ１０６と結合画像蓄積メモリ１０４，そして画像復号装置２の復号画像蓄積メモリ２１１と結合画像蓄積メモリ２０２には，Ｎ次元画像情報が蓄積される。
【００９４】
以上の画像符号化および復号の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【００９５】
【図１】本発明の実施の形態の概要を説明する図である。
【図２】本発明の実施の形態の処理概要を示すフローチャートである。
【図３】画像符号化装置の構成例を示す図である。
【図４】配置パターンの例を示す図である。
【図５】配置パターンの可変長符号語の例を示す図である。
【図６】第１番目の結合パターンにおける第ｊ番目に結合するフレーム番号ＦＮ（ｊ）の決定フローを示す図である。
【図７】フレーム番号の差分の可変長符号語の例を示す図である。
【図８】画像復号装置の構成例を示す図である。
【符号の説明】
【００９６】
１  画像符号化装置
２  画像復号装置
１０１，２０３  画像分割部
１０２，２０４  画像配置部
１０３，２０５  画像結合部
１０４，２０２  結合画像蓄積メモリ
１０５  値符号化部
１０６  原画像蓄積メモリ
１０７，２０９  画像配置指定部
１０８  画像配置指定符号化部
１０９  フレーム結合パターン指定部
１１０  フレーム番号符号化部
１１１，２０７  分割次元指定部
１１２  分割次元符号化部
１１３  多重化部
１１４  符号量計測部
２０１  値復号部
２０６  分割次元復号部
２０８  画像配置指定復号部
２１０  フレーム番号復号部
２１１  復号画像蓄積メモリ
２１２  分離部
【図１】
2005057662.tif 000003
【図２】
2005057662.tif 000004
【図３】
2005057662.tif 000005
【図４】
2005057662.tif 000006
【図５】
2005057662.tif 000007
【図６】
2005057662.tif 000008
【図７】
2005057662.tif 000009
【図８】
2005057662.tif 000010