(57)【特許請求の範囲】
【請求項１】
画像記録時における符号生成過程でブロック画像単位の可変長符号間に可変長符号の区切れを識別するための識別コードを挿入してビットストリームを生成し、
記録画像の再生時には、前記識別コードを用いて、スケーリング対象ブロックの可変長符号と前記スケーリング対象ブロックの周囲に存在する１つあるいは複数の参照ブロックの可変長符号をビットストリームから適宜抽出し、
前記抽出された可変長符号を逐次復号することにより、前記スケーリング対象ブロックと前記参照ブロックに対応する画像データを生成し、
前記生成された画像データを水平および垂直方向に複数ブロック単位で一時的に記憶し、
前記記憶された画像データに対して水平スケーリングを施し、垂直方向に複数ブロック単位で一時的に記憶し、
前記記憶された水平スケーリング後の画像データに対して垂直スケーリングを施し、画像データのスケーリングを行うことを特徴とする画像記録再生方法。
【請求項２】
請求項１記載の画像記録再生方法を用いた画像記録再生装置であって、
水平および垂直方向に複数ブロックで構成され、前記スケーリング対象ブロックと前記スケーリング対象ブロックの周囲に存在する１つあるいは複数の参照ブロックのブロック画像とを一時的に記憶する２次元ブロックメモリと、
垂直方向に複数ブロックで構成され、前記２次元ブロックメモリのブロック画像に対して前記水平スケーリングが施された結果を一時的に記憶する垂直ブロックメモリとを備えたことを特徴とする画像記録再生装置。
【請求項３】
画像記録時における符号生成過程でブロック画像単位の可変長符号間に可変長符号の区切れを識別するための識別コードを挿入してビットストリームを生成し、
記録画像の再生時には、前記識別コードを用いて、ブロック画像のスケーリングに最小限必要となるスケーリング対象ブロックの可変長符号と前記スケーリング対象ブロックの周囲に存在する１つあるいは複数の参照ブロックの可変長符号をビットストリームから垂直方向に１ブロック単位で適宜抽出し、
前記抽出された可変長符号を逐次復号することにより垂直方向に１ブロック分の画像データを生成し（ａ）、
前記ステップ（ａ）で生成された画像データを水平方向に複数ブロックかつ垂直方向に１ブロック単位で一時的に記憶し（ｂ）、
前記ステップ（ｂ）で記憶された画像データに対して水平スケーリングを施して、垂直方向に１ブロック単位で一時的に記憶し（ｃ）、
前記スケーリング対象ブロックおよび前記参照ブロックの画像データすべてに対して、前記ステップ（ｂ）と前記ステップ（ｃ）を繰り返し行い、垂直スケーリングに必要となるすべての水平スケーリング後の画像データを生成し（ｄ）、
前記ステップ（ｄ）で生成された画像データを垂直方向に１ブロック単位で一時的に記憶し（ｅ）、
前記ステップ（ｅ）で記憶された画像データに対して垂直スケーリングを施して、画像データのスケーリングを行うことを特徴とする画像記録再生方法。
【請求項４】
請求項３記載の画像記録再生方法を用いた画像記録再生装置であって、
前記スケーリング対象ブロックと前記スケーリング対象ブロックの周囲に存在する１つあるいは複数の参照ブロックのブロック画像を垂直方向に１ブロック単位で時分割に復号した結果を一時的に記憶する水平ブロックメモリと、
前記水平ブロックメモリのブロック画像に対して水平スケーリングが施された結果を一時的に記憶する垂直ブロックメモリとを備えたことを特徴とする画像記録再生装置。
【請求項５】
記録時において生成される可変長符号をバイト単位でカウントし、
可変長符号のカウント値に基づいて、１つあるいは複数のブロック画像ごとに可変長符号の先頭アドレスを記憶し、
再生時における可変長符号の前記抽出ステップで、前記先頭アドレスを用いることを特徴とする請求項１または３記載の画像記録再生方法。
【請求項６】
請求項５記載の画像記録再生方法を用いた画像記録再生装置であって、
記録時において生成される可変長符号をバイト単位でカウントするストリームカウンタと、
可変長符号のカウント値に基づいて、１つあるいは複数のブロック画像ごとに可変長符号の先頭アドレスを記憶するストリームアドレス記憶部とを備えたことを特徴とする画像記録再生装置。
【請求項７】
画像記録時における符号生成過程で複数のブロック画像から構成されるブロックライン単位の可変長符号間に可変長符号の区切れを識別するための識別コードを挿入してビットストリームを生成し、
記録画像の再生時には、識別コードを用いて、スケーリング対象ブロックラインの可変長符号と前記スケーリング対象ブロックラインの上下に存在する１つあるいは複数の参照ブロックラインの可変長符号をビットストリームから複数抽出し、
複数抽出された可変長符号の中から、水平スケーリングの対象となるブロック画像の可変長符号を適宜選択して復号するとともに、選択されないブロック画像の可変長符号を一時的に保持することを特徴とする画像記録再生方法。
【請求項８】
請求項７記載の画像記録再生方法を用いた画像記録再生装置であって、
メモリ空間上に存在する複数の可変長符号のアドレスを一時的に保持、更新し、かつ水平スケーリングの対象となるブロックの可変長符号のアドレスを選択出力するアドレス保持選択部と、
メモリ空間上に存在する複数の可変長符号を一時的に保持し、かつ水平スケーリングの対象となるブロックの可変長符号を選択出力するストリーム保持選択部とを備えたことを特徴とする画像記録再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を記録し、記録された画像を表示デバイスに再生する画像記録再生方法および装置に関する。
【０００２】
【従来の技術】
近年、ディジタルスチルカメラ（以下、ＤＳＣと略称する）やディジタルビデオカメラ（以下、ＤＶＣと略称する）に代表される画像入力機器においては、ＣＣＤの画素数増加に伴って高画質記録が可能となってきている。特に３００万画素、４００万画素対応のＤＳＣにおいては、画像サイズでいえば水平２０４８画素×垂直１５３６ライン、水平２２４０画素×垂直１６８０ラインといった高解像度の画像入力が可能である。これらの高解像度を有する画像は、ＪＰＥＧやＭＰＥＧに代表される画像圧縮技術を用いて圧縮し記録メディアに記録される。また、記録された画像を本体付属の液晶表示装置に表示させ、画像の確認などを行うことが可能である。
【０００３】
しかし、液晶表示装置やＴＶあるいはＰＣモニターなどの表示デバイスは、表示する解像度に限界があり、例えば上記画像のような高解像度を有する記録画像を低解像度の表示デバイスに表示するために、画像を縮小して表示を行う。逆に、記録画像の解像度が表示デバイスの解像度よりも低ければ、画像を拡大して全面表示を行うといったような機能を有する。つまり、上記機器においては、記録画像を表示デバイスの解像度に適して表示するために、記録画像の拡大／縮小といったスケーリング機能を有している。
【０００４】
以下、画像の記録および再生について詳細に説明する。
【０００５】
図１４は、従来の画像記録再生装置の構成例を示すブロックである。図１４において、画像記録再生装置１０１は、画像を入力する画像入力端子２と、入力された画像を一時的に記憶させる入力フレームメモリ３と、入力フレームメモリ３の制御を行う入力メモリ制御部４と、画像圧縮処理または伸張処理を行う圧縮伸張処理部５と、圧縮されたビットストリームを一時的に記憶するワークメモリ６と、ワークメモリ６に対する書き込み／読み出しの制御を行うワークメモリ制御部７と、ワークメモリ６上の画像を記録するための記録メディア８と、圧縮伸張処理部５により伸張（復号化）された画像に対し、水平方向にスケーリングを行う水平スケーラ１０と、水平スケーリングされたライン単位の画像を一時的に保持するラインメモリ１２０と、ラインメモリ１２０の制御を行うラインメモリ制御部１２１と、ラインメモリ１２０から垂直方向に複数ラインの画像を読出し、垂直方向にスケーリングを行う垂直スケーラ１３と、垂直スケーリングされた画像データを記憶する出力フレームメモリ１４と、出力フレームメモリ１４に対する書き込み／読み出しを制御する出力メモリ制御部１５と、出力フレームメモリ１４から読み出された画像データを出力する画像出力端子１６とで構成される。
【０００６】
次に、画像記録再生装置１０１において、入力画像を記録メディア８に記録し、記録メディア８に記録された圧縮画像に対してスケーリングを行い再生するフローについて具体的に説明する。
【０００７】
＜画像記録時＞
図１５は、画像入力端子２から入力される画像を分割したブロック画像を示す模式図である。図１５において、入力画像は、水平方向Ｘ画素、垂直方向Ｙ画素の画像サイズで入力され、入力メモリ制御部４は、入力フレームメモリ３上に入力画像を一時的に記憶するよう書き込み制御する。また、入力メモリ制御部４は、記憶された入力画像を水平方向にＭ画素、垂直方向にＮ画素で構成されるブロック単位の画像に分割し、分割された（ｍ×ｎ）個のブロック画像（ただし、ｍ＝Ｘ／Ｍ，ｎ＝Ｙ／Ｎ）をＢ0,0，…，Ｂm-1,0，Ｂ0,1，…，Ｂm-1,1，…，Ｂ0,n-1，…，Ｂm-1,n-1の順に読み出すよう入力フレームメモリ３を制御し、読み出されたブロック画像は圧縮伸張処理部５へ入力される。圧縮伸張処理部５は、入力フレームメモリ３から入力されるブロック画像を順次符号化し、図１６に示すようなビットストリームを生成する。このビットストリームは、ブロック単位の画像毎に可変長符号が連続して生成される。生成されたビットストリーム（圧縮データ）は、ワークメモリ制御部７による制御の下でワークメモリ６に書き込まれ、その後、記録メディア８へ転送される。
【０００８】
＜画像再生時＞
次に、記録メディアに記録されたビットストリームを再生する処理について、図１７を用いて説明する。記録メディアから読み出されたビットストリームは、ワークメモリ制御部７による制御の下で、一時的にワークメモリ６に書き込まれる。次に、ビットストリームは、ワークメモリ６から圧縮伸張処理部５にビットストリームの先頭から順次出力され、図１７に示すように、ブロック単位の画像がＢ0,0，Ｂ1,0，…，Ｂm-1,0，Ｂ0,1，Ｂ1,1，…，Ｂm-2,n-1，Ｂm-1,n-1の順に復号化（伸張）され、水平スケーラ１０に入力される。水平スケーラ１０においては、水平方向にスケーリング（拡大／縮小）が施される。
【０００９】
図１８は、水平方向に４タップのフィルタを用いて、画像を１／ＫH（ここでは、ＫH＝２）に縮小する様子を示した模式図であり、水平方向に縮小された画素がそれぞれ、ラインメモリ制御部１２１による書き込み制御の下でラインメモリ１２０に書き込まれる。ラインメモリ１２０は、例えば、図１８に示すような（Ｘ／ＫH）×Ｎライン分の容量を有したメモリがＬ個で構成され、Ｎラインで構成されるブロックラインごとに、バンクを切り替えて書き換え制御する。Ｌ個のメモリを必要とする理由は、後段の垂直スケーラ１３により垂直方向のスケーリングを行う際に、参照画素がブロック境界を跨る場合があるためである。スケーリングの対象画素を生成する場合に、必要となる参照画素がブロック境界を跨がない場合は、Ｌ個のメモリを特に用意する必要はない。
【００１０】
ラインメモリ１２０に書き込まれた画像データは、ラインメモリ制御部１２１による読み出し制御の下で、垂直スケーラ１３に転送され、垂直方向のスケーリングが施される。図１９は、垂直方向に４タップのフィルタを用いて、画像を１／ＫV（ここでは、ＫV＝２）に縮小する様子を示した模式図であり、図１９に示すように、垂直方向に縮小された画素は、出力メモリ制御部１５による制御の下で、フレームメモリ１４に書き込まれる。
【００１１】
以上のようにして、記録画像の水平／垂直スケーリングが行われ、出力フレームメモリ１４に書き込まれる。出力フレームメモリ１４に書き込まれたスケーリング後の画像データは、出力メモリ制御部１５による読み出し制御の下で、画像出力端子１６へ出力される。
【００１２】
【発明が解決しようとする課題】
上述のように、従来の画像記録再生装置および画像記録再生方法では、記録メディアに記録された圧縮画像をスケーリングして再生する場合、符号化時に決定されたブロック順に符号化されたビットストリームを、ビットストリームの先頭から順にブロック単位で復号化を行うため、垂直方向のスケーリングを行う際に、水平方向にスケーリングした結果を複数ライン分だけ一時的に記憶させておくための大容量のラインメモリが必要となり、コスト面での問題があった。
【００１３】
特に、スケーリングにおけるフィルタのタップ数により参照ラインが垂直方向におけるブロック境界を跨る場合などは、スケーリングの対象ラインの属するブロックラインだけでなく、対象ブロックの上下複数ブロックラインに渡って同時に記憶させておく必要があるため、ラインメモリの容量が更に大きくなり、コスト面での深刻な問題となっていた。
【００１４】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、スケーリングに必要なラインメモリの容量を低減し、コスト削減を図った画像記録再生装置および方法を提供することにある。
【００１５】
【課題を解決するための手段】
前記の目的を達成するため、本発明に係る第１の画像記録再生方法は、画像記録時における符号生成過程でブロック画像単位の可変長符号間に可変長符号の区切れを識別するための識別コードを挿入してビットストリームを生成し、記録画像の再生時には、識別コードを用いて、スケーリング対象ブロックの周囲に存在する１つあるいは複数の参照ブロックの可変長符号をビットストリームから適宜抽出し、抽出された可変長符号を逐次復号することにより、スケーリング対象ブロックと参照ブロックに対応する画像データを生成し、生成された画像データのスケーリングを行うことを特徴とする。
【００１７】
前記の目的を達成するため、本発明に係る第１の画像記録再生装置は、第２の画像記録再生方法を用いた画像記録再生装置であって、水平および垂直方向に複数ブロックで構成され、スケーリング対象ブロックと参照ブロックのブロック画像とを一時的に記憶する２次元ブロックメモリと、垂直方向に複数ブロックで構成され、２次元ブロックメモリのブロック画像に対して水平スケーリングが施された結果を一時的に記憶する垂直ブロックメモリとを備えたことを特徴とする。
【００１８】
上記の構成によれば、記録時に識別ビットを挿入して記録させ、再生時には識別コードを用いてスケーリング対象ブロックとその周囲参照ブロックの可変長符号を検出し、スケーリングに必要な可変長符号のみ逐次復号化することで、従来のような大容量なラインメモリを必要とせず、コスト的に大幅な改善が実現できる。
【００１９】
前記の目的を達成するため、本発明に係る第２の画像記録再生方法は、画像記録時における符号生成過程でブロック画像単位の可変長符号間に可変長符号の区切れを識別するための識別コードを挿入してビットストリームを生成し、記録画像の再生時には、識別コードを用いて、ブロック画像のスケーリングに最小限必要となるスケーリング対象ブロックの可変長符号とスケーリング対象ブロックの周囲に存在する１つあるいは複数の参照ブロックの可変長符号をビットストリームから垂直方向に１ブロック単位で適宜抽出し、抽出された可変長符号を逐次復号することにより垂直方向に１ブロック分の画像データを生成し（ａ）、ステップ（ａ）で生成された画像データを水平方向に複数ブロックかつ垂直方向に１ブロック単位で一時的に記憶し（ｂ）、ステップ（ｂ）で記憶された画像データに対して水平スケーリングを施して、垂直方向に１ブロック単位で一時的に記憶し（ｃ）、スケーリング対象ブロックおよび参照ブロックの画像データすべてに対して、ステップ（ｂ）とステップ（ｃ）を繰り返し行い、垂直スケーリングに必要となるすべての水平スケーリング後の画像データを生成し（ｄ）、ステップ（ｄ）で生成された画像データを垂直方向に１ブロック単位で一時的に記憶し（ｅ）、ステップ（ｅ）で記憶された画像データに対して垂直スケーリングを施して、画像データのスケーリングを行うことを特徴とする。
【００２０】
前記の目的を達成するため、本発明に係る第２の画像記録再生装置は、第３の画像記録再生方法を用いた画像記録再生装置であって、スケーリング対象ブロックと前記スケーリング対象ブロックの周囲に存在する１つあるいは複数の参照ブロックのブロック画像を垂直方向に１ブロック単位で時分割に復号した結果を一時的に記憶する水平ブロックメモリと、水平ブロックメモリのブロック画像に対して水平スケーリングが施された結果を一時的に記憶する垂直ブロックメモリとを備えたことを特徴とする。
【００２１】
この構成によれば、水平スケーリングを垂直方向に１ブロック単位で時分割処理することで、更に復号結果を一時的に記憶させておくブロックメモリの容量を削減することが可能になる。
【００２２】
第２および第３の画像記録再生方法において、記録時において生成される可変長符号をバイト単位でカウントし、可変長符号のカウント値に基づいて、１つあるいは複数のブロック画像ごとに可変長符号の先頭アドレスを記憶し、再生時における可変長符号の抽出ステップで、先頭アドレスを用いることが好ましい。
【００２３】
前記の目的を達成するため、本発明に係る第３の画像記録再生装置は、第２または第３の画像記録再生方法を用いた画像記録再生装置であって、記録時において生成される可変長符号をバイト単位でカウントするストリームカウンタと、可変長符号のカウント値に基づいて、１つあるいは複数のブロック画像ごとに可変長符号の先頭アドレスを記憶するストリームアドレス記憶部とを備えたことを特徴とする。
【００２４】
この構成によれば、画像記録時におけるストリームをバイト単位でカウントし、１ブロック単位あるいは複数ブロック単位でストリームの先頭アドレスを記憶することで、画像再生時においてスケーリング対象ブロックとその周囲参照ブロックの可変長符号を検出する際の負荷が低減され、画像再生時におけるパフォーマンスを向上させることが可能になる。
【００２５】
前記の目的を達成するため、本発明に係る第３の画像記録再生方法は、画像記録時における符号生成過程で複数のブロック画像から構成されるブロックライン単位の可変長符号間に可変長符号の区切れを識別するための識別コードを挿入してビットストリームを生成し、記録画像の再生時には、識別コードを用いて、スケーリング対象ブロックラインの可変長符号とスケーリング対象ブロックラインの上下に存在する１つあるいは複数の参照ブロックラインの可変長符号をビットストリームから複数抽出し、複数抽出された可変長符号の中から、水平スケーリングの対象となるブロック画像の可変長符号を適宜選択して復号するとともに、選択されないブロック画像の可変長符号を一時的に保持することを特徴とする。
【００２６】
前記の目的を達成するため、本発明に係る第４の画像記録再生装置は、第４の画像記録再生方法を用いた画像記録再生装置であって、メモリ空間上に存在する複数の可変長符号のアドレスを一時的に保持、更新し、かつ水平スケーリングの対象となるブロックの可変長符号のアドレスを選択出力するアドレス保持選択部と、メモリ空間上に存在する複数の可変長符号を一時的に保持し、かつ水平スケーリングの対象となるブロックの可変長符号を選択出力するストリーム保持選択部とを備えたことを特徴とする。
【００２７】
この構成によれば、画像記録時に挿入する識別コードをブロック単位ではなくラインブロック単位とすることで、識別コード量が大幅に削減され、符号化効率を向上させることが可能になる。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００２９】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像記録再生装置１の一構成例を示すブロック図である。図１において、従来例と同じ要素については、同一の符号を付して説明を省略する。
【００３０】
本実施形態の画像記録再生装置が従来例と大きく異なる点は、画像記録（圧縮）時にはブロック画像ごとの可変長符号間に識別コード（ＩＣ）を挿入して符号化を行ってビットストリームを生成し、画像再生時には記録メディア８からワークメモリ６に転送されたビットストリームの中から識別コードＩＣを識別して、水平／垂直方向のスケーリングに必要となる可変長符号のみを逐次取り出し、ワークメモリ制御部７を通じて圧縮伸張処理部５にデータ転送させる制御を行うプロセッサ１７と、圧縮伸張処理部５によって復号化（伸張）されたブロック単位の画像データを一時的に保持する２次元ブロックメモリ９と、水平スケーラ１０によりブロック単位で水平方向にスケーリングされた画像を一時的に保持する垂直ブロックメモリ１１とを備えている点にある。
【００３１】
以下、画像記録時の動作と画像再生時の動作について、図３の画像記録再生フローを用いて具体的に説明する。
【００３２】
画像記録時は、入力フレームメモリ３から圧縮伸張処理部５にブロック画像が転送され符号化処理が行われる。従来の符号化の過程と異なる点は、図２に示すように、ブロック画像の可変長符号ごとに識別コードＩＣを挿入する点である。例えばＪＰＥＧの場合、ブロック画像の可変長符号ごとにリスタートマーカというコードを挿入することができる。ビットストリーム中におけるリスタートマーカの位置はビットストリームのバイト境界を跨ぐことはないので、プロセッサ１７は、ビットストリームのバイト境界を検索すれば、容易にリスタートマーカを検出することができる。リスタートマーカの検出ができれば、その直後に続くブロック画像の可変長符号を容易に取り出すことが可能である。以上のようにして、ブロック画像の可変長符号ごとに識別コードを挿入したビットストリームを生成（エンコード）し、記録メディア８に記録する（Ｓ３０１）。
【００３３】
画像再生時は、従来と同様にして、記録メディア８から一時的にワークメモリ６にビットストリームを転送する。次に、プロセッサ１７は、ワークメモリ６上にあるビットストリームの中から識別コードを検索して、水平／垂直方向のスケーリングに必要なブロック画像の可変長符号のみを抽出し、ワークメモリ６から圧縮伸張処理部５に転送するようワークメモリ制御部７を制御する。
【００３４】
図４は、上記動作の一例を具体的に示す２次元ブロックメモリ９内のブロック画像の模式図である。図４において、Ｂα,βは水平／垂直方向のスケーリング対象ブロックであり、対象ブロック周辺のＢα-1,β-1，Ｂα,β-1，Ｂα+1,β-1，Ｂα-1,β，Ｂα+1,β，Ｂα-1,β+1，Ｂα,β+1，Ｂα+1,β+1はスケーリングに必要となる参照画素の属するブロック（参照範囲ＲＡ）である。
【００３５】
プロセッサ１７は、識別コードの挿入されたビットストリームから識別コードを利用して、スケーリング対象ブロックと、その周辺の参照ブロックの可変長符号を抽出する。プロセッサ１７は、ワークメモリ制御部７に対して、図４に示す９ブロックの可変長符号のワークメモリ６上におけるアドレスを通知し、ワークメモリ制御部７は、ワークメモリ６から圧縮伸張処理部５に可変長符号を転送するよう、ワークメモリ６を制御する。圧縮伸張処理部５により復号化（伸張）されたブロック画像は、後段の２次元ブロックメモリ９に出力される。ブロックメモリ制御部１２は、２次元ブロックメモリ９に対して書き込み制御を行い、図４に示すように、復号化されたブロック画像が一時的に２次元ブロックメモリ９に保持される（Ｓ３０２）。
【００３６】
２次元ブロックメモリ９は、対象ブロック（M×N）以外にスケーリングのタップ数により決定される周辺参照ブロック数にも依存するが、図４のように参照ブロック数が周辺８ブロックの場合、（M×N×９）画素の容量を持つ小容量のメモリで構成すればよい。
【００３７】
次に、ブロックメモリ制御部１２は２次元ブロックメモリ９を読み出し制御し、２次元ブロックメモリ９からブロック画像が読み出され、水平スケーラ１０に出力される。水平スケーラ１０においては、スケーリング対象ブロックＢα,βとその上下の参照ブロックＢα,β-1，Ｂα,β+1の水平スケーリングが行われ、スケーリング後の画像データＢ'α,β，Ｂ'α,β-1，Ｂ'α,β+1が後段の垂直ブロックメモリ１１に書き込まれる（Ｓ３０３）。
【００３８】
垂直ブロックメモリ１１は、水平スケーリングの拡大／縮小率（１／ＫH）に依存してその容量は決定されるが、図４に示すような場合は、（Ｍ／ＫH）×Ｎ×３の容量を持つ小容量のメモリで構成すればよい（図５を参照）。
【００３９】
次に、ブロックメモリ制御部１２は垂直ブロックメモリ１１を読み出し制御し、垂直ブロックメモリ１１から水平方向のスケーリング後の画像データが読み出され、垂直方向のスケーリングが行われる。以上のようにして、対象ブロックの水平／垂直方向のスケーリングが行われた結果、出力メモリ制御部１５による制御の下で、出力フレームメモリ１４にスケーリング後の画像データＢ''α,βが書き込まれる（Ｓ３０４）。
【００４０】
上記ステップＳ３０２からＳ０４の処理を行うことにより、対象ブロックＢα,βのスケーリングが完了する。
【００４１】
次に、水平方向の最終ブロックかどうかをチェックし（Ｓ３０５）、水平方向の最終ブロックであれば、後述のステップＳ３０７へ進む。
【００４２】
水平方向の最終ブロックでなければ、その右隣のブロックＢα+1,βのスケーリングを行う。スケーリング対象ブロックがＢα+1,βの場合は、参照ブロックとして必要となるブロックは、Ｂα,β-1，Ｂα,β，Ｂα,β+1，Ｂα+1,β-1，Ｂα+1,β+1，Ｂα+2,β-1，Ｂα+2,β，Ｂα+2,β+1となるが、直前のブロックＢα,βのスケーリング時にすでに２次元ブロックメモリには、Ｂα,β-1，Ｂα,β，Ｂα,β+1，Ｂα+1,β-1，Ｂα+1,β，Ｂα+1,β+1の６ブロックのブロック画像が保持されているため、ステップＳ３０１で新たに可変長符号を復号するブロックはＢα+2,β-1，Ｂα+2,β，Ｂα+2,β+1の３ブロックだけでよく、参照ブロックとして必要ないＢα-1,β-1，Ｂα-1,β，Ｂα-1,β+1の領域を書き換えることで、ブロックＢα+1,β-1，Ｂα+1,β，Ｂα+1,β+1の水平スケーリングを行うことが可能となる。以後、ステップＳ３０３、ステップＳ３０４も同様にして、対象ブロックＢα+1,βのスケーリングが行われる（Ｓ３０６）。
【００４３】
ステップＳ３０５において、水平方向の最終ブロックと判断された場合は、画像の最終ブロックかどうかがチェックされる（Ｓ３０７）。画像の最終ブロックでない場合は、次のスケーリング対象ブロックが垂直方向に移動するため、２次元ブロックメモリ９内のすべてのブロック画像データを書き換える必要があるため、ステップＳ３０２へ戻る。
【００４４】
以上のように、本実施形態によれば、水平／垂直方向のスケーリング対象となるブロック画像とその周辺の参照ブロック画像の可変長符号のみを逐次復号し、水平スケーリング完了直後に垂直スケーリングを行うようにしたため、従来のように水平スケーリング後の画像データを一時的に複数ライン分保持しておく必要がなく、大容量のラインメモリを必要とせず、非常に小容量のブロックメモリで画像記録再生装置を実現することが可能となる。
【００４５】
（第２の実施形態）
図６は、本発明の第２の実施形態に係る画像記録再生装置２０１の一構成例を示すブロック図である。本実施形態が第１の実施形態と大きく異なる点は、２次元ブロックメモリ９に代えて、１次元の水平ブロックメモリ２０９を備えている点にある。また、第１の実施形態では、スケーリング対象ブロックと周辺参照ブロックの水平スケーリングを、垂直方向に複数ブロック分並列処理するよう制御しているが、本実施形態においては、水平スケーリングを、垂直方向に１ブロック分しか行わず、水平スケーリング対象のブロック画像データ量を減少させることにより、よりメモリ容量を少なくすることを意図している。
【００４６】
以下、本装置における画像記録再生方法について、図８の画像記録再生フローを用いて説明する。
【００４７】
まず、第１の実施形態と同様にして、識別コードを挿入して符号化を行い、ビットストリームを生成し、記録メディア８に記録する（Ｓ３０１）。
【００４８】
画像再生時は、第１の実施形態と同様にして、記録メディア８から一時的にワークメモリ６にビットストリームを転送する。次に、プロセッサ１７は、ワークメモリ６上にあるビットストリームの中から識別コードを検索して、まず水平／垂直方向のスケーリングに必要なブロック画像のうち、垂直方向１ブロック分の可変長符号のみを抽出し、ワークメモリ６から圧縮伸張処理部５に転送するようワークメモリ制御部７を制御する。
【００４９】
図７は、上記動作の一例を具体的に示す水平ブロックメモリ２０９および垂直ブロックメモリ１１内のブロック画像を示す模式図である。図７において、Ｂα,βは水平／垂直方向のスケーリング対象ブロックである。プロセッサ１７は、まず対象ブロックＢα,βの上段３ブロックＢα-1,β-1，Ｂα,β-1，Ｂα+1,β-1の可変長符号を、識別コードの挿入されたビットストリームから、識別コードを利用して抽出する。プロセッサ１７は、ワークメモリ制御部７に対して、上記３ブロックの可変長符号のワークメモリ６上におけるアドレスを通知し、ワークメモリ制御部７は、ワークメモリ６から圧縮伸張処理部５に可変長符号を転送するよう、ワークメモリ６を制御する。圧縮伸張処理部５により復号化（伸張）されたブロック画像は、後段の水平ブロックメモリ２０９に出力される。ブロックメモリ制御部１２は、水平ブロックメモリ２０９に対して書き込み制御を行い、図７に示すように、復号化されたブロック画像が一時的に水平ブロックメモリ７に保持される（Ｓ８０２）。
【００５０】
水平ブロックメモリ２０９は、対象ブロック（M×N）以外に水平スケーリングのタップ数により決定される周辺参照ブロック数にも依存するが、図７のように参照ブロック数が左右２ブロックの場合、（M×N×３）の容量を持つ小容量のメモリで構成すればよい。つまり、水平ブロックメモリ２０９は、第１の実施形態の２次元ブロックメモリ９よりも更に小容量のメモリで構成することが可能である。
【００５１】
次に、ブロックメモリ制御部１２は水平ブロックメモリ２０９を読み出し制御し、水平ブロックメモリ２０９からブロック画像が読み出され、水平スケーラ１０に出力される。水平スケーラ１０においては、垂直方向に１ブロック分の水平スケーリングが行われ、スケーリング後の画像データが後段の垂直ブロックメモリ１１に書き込まれる（Ｓ８０３）。
【００５２】
垂直ブロックメモリ１１は、第１の実施形態と同一の容量を持つ小容量のメモリで構成すればよい。
【００５３】
水平／垂直スケーリングの対象ブロックと周囲参照ブロックすべての水平スケーリングが完了するまで、ステップＳ８０２およびステップＳ８０３の処理を繰り返し行う（Ｓ８０８）。
【００５４】
対象ブロックと周囲参照ブロックすべての水平スケーリングが完了すれば、ブロックメモリ制御部１２は垂直ブロックメモリ１１を読み出し制御し、垂直ブロックメモリ１１から水平スケーリング後の画像データが読み出され、垂直方向のスケーリングが行われる。
【００５５】
以上のようにして、対象ブロックの水平／垂直方向のスケーリングが行われた結果、出力メモリ制御部１５による制御の下で、出力フレームメモリ１４にスケーリング後の画像データＢ''α,βが書き込まれる（Ｓ３０４）。
【００５６】
以後、全対象ブロックのスケーリングが完了するまで、ステップＳ８０２からステップＳ３０４までの処理を繰り返し行う（Ｓ３０７）。
【００５７】
以上のように、本実施形態によれば、水平／垂直スケーリングの対象となるブロック画像と、その周辺参照ブロック画像の可変長符号のうち垂直方向に１ブロック分ずつ復号し、垂直方向１ブロック分の水平スケーリングを逐次行うようにしたため、水平スケーリング前の画像データを一時的に保持しておくためのブロックメモリ容量を第１の実施形態に比べて低減することができる。これよりコスト面で有利となる。ただし、水平スケーリング前のブロック画像を保持しておくための水平ブロックメモリが、垂直方向に１ブロック分しかないため、水平／垂直スケーリング対象ブロックが変更されると、対象ブロックおよび周辺参照ブロックの可変長符号をビットストリーム中から逐次検出し、すべての処理を行う必要が発生するため、処理の高速性の面では第１の実施形態よりも劣る。
【００５８】
（第３の実施形態）
図９は、本発明の第３の実施形態に係る画像記録再生装置３０１の一構成例を示すブロック図である。本実施形態が第１の実施形態と大きく異なる点は、圧縮伸張処理部５により生成されるビットストリームのバイト数をカウントするストリームカウンタ３３０と、ストリームカウンタ３３０から出力されるバイト単位のカウント値をブロックライン単位で記憶するストリームアドレス記憶部３３１とを備えている点にある。本実施形態においては、画像再生時におけるビットストリーム検索を容易にすることを意図している。
【００５９】
すなわち、画像再生時に、プロセッサ１７は、ビットストリームから識別コードを利用してスケーリング対象ブロックとその周辺参照ブロックの可変長符号を検索する際に、ビットストリームのバイト境界に位置する識別コードを検索する必要があるが、所望の可変長符号が検出できるまでビットストリーム内を検索する必要があり、ビットストリーム量が多くなればなる程その負荷は大きくなり、処理全体の高速性に影響を及ぼす。
【００６０】
そこで、本実施形態においては、このビットストリーム内検索の負荷を軽減するため、画像記録時に生成されるビットストリームをバイト単位でカウントし、ビットストリーム内における１つ、あるいは複数ブロック単位でストリームアドレス記憶部３３１に先頭アドレスを記憶させ、プロセッサ１７は、画像再生時に、このブロック単位ごとの先頭アドレスをストリームアドレス記憶部３３１から読み出すことにより、ビットストリーム内を検索すべき範囲を限定できるようにしたものである。
【００６１】
以下、本装置における画像記録再生方法について説明する。
【００６２】
まず、第１の実施形態と同様にして、識別コードを挿入して符号化を行い、ビットストリームを生成する。この時、圧縮伸張処理部５から出力されるビットストリームのバイト数をストリームカウンタ３３０においてカウントする。ストリームカウンタ３３０は、１つ、あるいは複数ブロック単位でカウントしたバイト数をストリームアドレス記憶部３３１へ書き込む。
【００６３】
図１０は、ブロックライン単位の可変長符号の先頭アドレスをストリームアドレス記憶部３３１へ書き込んだ場合を示す模式図である。図１０において、１ブロックライン目の先頭アドレスがＣ１、２ブロックライン目の先頭アドレスがＣ２、３ブロックライン目の先頭アドレスがＣ３といった具合である。
【００６４】
以上のように、ストリームアドレス記憶部３３１を設けたことにより、画像再生時に、プロセッサ１７は、このストリームアドレス記憶部３３１から先頭アドレスを読み出すことにより、ビットストリーム内からスケーリング対象ブロックとその周辺参照ブロックの可変長符号を検索する範囲を特定することができ、効率良く処理を行うことができる。
【００６５】
なお、図１０では、複数ブロックで構成されるブロックラインごとにストリームアドレス記憶部３３１に先頭アドレスを記憶させているが、別に１ブロック単位で記憶させても良く、また不特定数のブロック単位で記憶させても構わない。ただし、１ブロック単位で記憶させる場合などは、記憶させる先頭アドレスの数が多くなり、ストリームアドレス記憶部３３１の容量を大きく取らなければならないので注意が必要である。
【００６６】
（第４の実施形態）
図１１は、本発明の第４の実施形態に係る画像記録再生装置４０１の一構成例を示すブロック図である。本実施形態が第１の実施形態と大きく異なる点は、ワークメモリ制御部７より生成されるワークメモリアドレスを一時的に保持し、かつ複数のアドレスの中から１つを選択するアドレス保持選択部４４０と、ワークメモリ６から出力されるビットストリームを一時的に複数保持し、複数のビットストリームから１つを選択するストリーム保持選択部４４１とを備えている点にある。また、第１の実施形態では、画像記録時においてブロック単位で識別コードを挿入する必要があったが、このアドレス保持選択部４４０とストリーム保持選択部４４１とを備えることにより、図１２に示すように、ブロックライン単位で識別コードＩＣを挿入すればよく、識別コード量が少なくなり、ビットストリーム量への影響も抑えることが可能となる。
【００６７】
以下、本装置における画像記録再生方法について、図１３の画像再生フローを用いて説明する。図１３は、スケーリング対象ブロックの上下１ブロックが垂直参照ブロックとして必要となる場合の処理を示す図である。
【００６８】
まず、プロセッサ１７は、ビットストリームから識別コードを検索して、スケーリング対象ブロックと垂直スケーリング時に必要となる上下参照ブロックの可変長符号の先頭を検出し、ワークメモリ６上のアドレスをワークメモリ制御部７へ通知する。ワークメモリ制御部７は、アドレス保持選択部４４０に対して、対象ブロックと上下参照ブロックの複数のアドレスを出力し、アドレス保持選択部４４０は複数のアドレスを初期化保持する（Ｓ１３０１）。
【００６９】
次に、アドレス保持選択部４４０は、ワークメモリ６に対して上段ブロックの先頭アドレスを選択出力し、ワークメモリ６から上段ブロックの可変長符号が読み出され、圧縮伸張処理部５へ供給される（Ｓ１３０２）。
【００７０】
圧縮伸張処理部５において、上段ブロックの可変長符号が復号され、２次元ブロックメモリ９へ書き込まれる（Ｓ１３０３）。
【００７１】
上段ブロックの復号結果が２次元ブロックメモリ９に書き込まれた後、上段ブロックのワークメモリ６上におけるビットストリームアドレスは、アドレス保持選択部４４０において一時的に保持され、ワークメモリ６から読み出された上段ブロックの可変長符号は、ストリーム保持選択部４４１において一時的に保持される（Ｓ１３０４）。
【００７２】
次に、アドレス保持選択部４４０は、ワークメモリ６に対して中段ブロックの先頭アドレスを選択出力し、ワークメモリ６から中段ブロックの可変長符号が読み出され、圧縮伸張処理部５へ供給される（Ｓ１３０５）。
【００７３】
圧縮伸張処理部５において、中段ブロックの可変長符号が復号され、２次元ブロックメモリ９へ書き込まれる（Ｓ１３０６）。
【００７４】
中段ブロックの復号結果が２次元ブロックメモリ９に書き込まれた後、中段ブロックのワークメモリ６上におけるビットストリームアドレスは、アドレス保持選択部４４０において一時的に保持され、ワークメモリ６から読み出された中段ブロックの可変長符号は、ストリーム保持選択部４４１において一時的に保持される（Ｓ１３０７）。
【００７５】
次に、アドレス保持選択部４４０は、ワークメモリ６に対して下段ブロックの先頭アドレスを選択出力し、ワークメモリ６から下段ブロックの可変長符号が読み出され、圧縮伸張処理部５へ供給される（Ｓ１３０８）。
【００７６】
圧縮伸張処理部５において、下段ブロックの可変長符号が復号され、２次元ブロックメモリ９へ書き込まれる（Ｓ１３０９）。
【００７７】
下段ブロックの復号結果が２次元ブロックメモリ９に書き込まれた後、下段ブロックのワークメモリ６上におけるビットストリームアドレスは、アドレス保持選択部４４０において一時的に保持され、ワークメモリ６から読み出された下段ブロックの可変長符号は、ストリーム保持選択部４４１において一時的に保持される（Ｓ１３１０）。
【００７８】
上記ステップＳ１３０２からステップＳ１３１０により、２次元ブロックメモリ９に書き込まれた画像データに対して水平スケーリングが行われ、垂直ブロックメモリ１１に書き込まれる（Ｓ１３１１）。
【００７９】
次に、垂直ブロックメモリ１１から水平スケーリング後の画像データが読み出され、垂直スケーリングが行われ、出力フレームメモリ１４への書き込みが行われる（Ｓ１３１２）。
【００８０】
上記ステップＳ１３０２からステップＳ１３１２までの処理が行われた結果、対象ブロックの水平／垂直スケーリングが完了する。
【００８１】
対象ブロックが右隣のブロックに移動した場合は、ステップＳ１３０２、ステップＳ１３０５、ステップＳ１３０８において、一時的にアドレス保持選択部４４０で保持されたブロックのアドレスがそれぞれ選択され、かつ一時的にストリーム選択保持部４４１で保持されたブロックの可変長符号がそれぞれ選択され、順次処理が継続して行われる。なお、ワークメモリ６上におけるアドレスは順次更新されて、選択される（Ｓ１３１３）。
【００８２】
上記処理を繰り返し行い、スケーリング対象ブロックが水平方向の最終ブロックとなった場合は、対象ブロックを垂直方向に移動させる必要があるため、ステップＳ１３０１に戻り、再度ビットストリームから新たな対象ブロックとその上下参照ブロックの先頭アドレスを検出して、ステップＳ１３０２からステップＳ１３１３の処理を繰り返し行う（Ｓ１３１４）。
【００８３】
以上のように、アドレス保持選択部４４０とストリーム保持選択部４４１とを設けたことにより、画像記録時における識別コード量を大幅に削減することが可能となり、より符号化効率を高めることが可能となる。また、アドレス保持選択部４４０は、ワークメモリ制御部７から供給されるアドレスを一時的に保持するホールド回路と、複数の保持されたアドレスから１つを選択するセレクタを用いて、容易かつ小回路規模で構成でき、ストリーム保持選択回路４４１も同様に、ワークメモリ６から供給される可変長符号を一時的に保持するホールド回路と、複数の保持された可変長符号から１つを選択するセレクタを用いて、容易かつ小回路規模で実現可能である。
【００８４】
【発明の効果】
以上説明したように、本発明によれば、以下に列記する効果を奏する。
【００８５】
（１）記録時に識別ビットを挿入して記録させ、再生時には識別コードを用いてスケーリング対象ブロックとその周囲参照ブロックの可変長符号を検出し、スケーリングに必要な可変長符号のみ逐次復号化することで、従来のような大容量なラインメモリを必要とせず、コスト的に大幅な改善が実現できる。
【００８６】
（２）水平スケーリングを垂直方向に１ブロック単位で時分割処理することで、更に復号結果を一時的に記憶させておくブロックメモリの容量を削減することが可能になる。
【００８７】
（３）画像記録時におけるストリームをバイト単位でカウントし、１ブロック単位あるいは複数ブロック単位でストリームの先頭アドレスを記憶することで、画像再生時においてスケーリング対象ブロックとその周囲参照ブロックの可変長符号を検出する際の負荷が低減され、画像再生時におけるパフォーマンスを向上させることが可能になる。
【００８８】
（４）画像記録時に挿入する識別コードをブロック単位ではなくラインブロック単位とすることで、識別コード量が大幅に削減され、符号化効率を向上させることが可能になる。
【図面の簡単な説明】
【図１】  本発明の第１の実施形態に係る画像記録再生装置の一構成例を示すブロック図
【図２】  第１の実施形態における記録時のビットストリームを示す模式図
【図３】  第１の実施形態における画像記録再生方法を示すフローチャート
【図４】  第１の実施形態における９内のブロック画像の模式図
【図５】  第１の実施形態における水平／垂直スケーリングを示す模式図
【図６】  本発明の第２の実施形態に係る画像記録再生装置の一構成例を示すブロック図
【図７】  第２の実施形態における水平／垂直スケーリングを示す模式図
【図８】  第２の実施形態における画像記録再生方法を示すフローチャート
【図９】  本発明の第３の実施形態に係る画像記録再生装置の一構成例を示すブロック図
【図１０】第３の実施形態におけるストリームカウンタ３３０とストリームアドレス記憶部３３１を説明するための図
【図１１】  本発明の第４の実施形態に係る画像記録再生装置の一構成例を示すブロック図
【図１２】  第４の実施形態における記録時のビットストリームを示す模式図
【図１３】  第４の実施形態における画像再生方法を示すフローチャート
【図１４】  従来の画像記録再生装置の構成例を示すブロック図
【図１５】  図１４の画像入力端子２から入力される画像を分割したブロック画像を示す模式図
【図１６】  従来の記録時のビットストリームを示す図
【図１７】  従来の画像再生方法を示すフローチャート
【図１８】  従来の水平スケーリングの様子を示す模式図
【図１９】  従来の垂直スケーリングの様子を示す模式図
【符号の説明】
１，１０１，２０１，３０１，４０１  画像記録再生装置
２  画像入力端子
３  入力フレームメモリ
４  入力メモリ制御部
５  圧縮伸張処理部
６  ワークメモリ
７  ワークメモリ制御部
８  記録メディア
９  ２次元ブロックメモリ
１０  水平スケーラ
１１  垂直ブロックメモリ
１２  ブロックメモリ制御部
１３  垂直スケーラ
１４  出力フレームメモリ
１５  出力メモリ制御部
１６  画像出力端子
１７  プロセッサ
２０９  水平ブロックメモリ
３３０  ストリームカウンタ
３３１  ストリームアドレス記憶部
４４０  アドレス保持選択部
４４１  ストリーム保持選択部
【図１】
0003853639.tif 000002
【図２】
0003853639.tif 000003
【図３】
0003853639.tif 000004
【図４】
0003853639.tif 000005
【図５】
0003853639.tif 000006
【図６】
0003853639.tif 000007
【図７】
0003853639.tif 000008
【図８】
0003853639.tif 000009
【図９】
0003853639.tif 000010
【図１０】
0003853639.tif 000011
【図１１】
0003853639.tif 000012
【図１２】
0003853639.tif 000013
【図１３】
0003853639.tif 000014
【図１４】
0003853639.tif 000015
【図１５】
0003853639.tif 000016
【図１６】
0003853639.tif 000017
【図１７】
0003853639.tif 000018
【図１８】
0003853639.tif 000019
【図１９】
0003853639.tif 000020