(57)【要約】  符号化対象原画像を符号化して原画像符号化ストリームを生成すると同時に、動き補償予測に使用する局部復号画像を生成し、当該局部復号画像と符号化対象原画像の差分画像を取得し、差分画像を符号化して差分画像の符号化ストリームを生成し、生成された原画像と差分画像の両符号化ストリームを蓄積用メモリに記録しておき、再生時に、蓄積用メモリから読み出した上記の両符号化ストリームのそれぞれを復号して得られたそれぞれの画像を加算して加算画像を生成する。【特許請求の範囲】
【請求項１】
符号化対象原画像を所定の符号化方式に従って符号化して蓄積用メモリに記録しておき、当該蓄積用メモリから読み出した符号化ストリームを用途に応じた形にして出力する画像符号化記録読出装置において、
符号化対象原画像を符号化して原画像符号化ストリームを生成すると同時に、当該符号化対象原画像から動き補償予測に使用する局部復号画像を生成し、当該局部復号画像と前記符号化対象原画像の差分画像を取得し、得られた差分画像を符号化して差分画像符号化ストリームを生成し、生成された原画像符号化ストリームと差分画像ストリームを前記蓄積用メモリに記録する画像符号化手段と、
前記蓄積用メモリから読み出した前記原画像符号化ストリームと前記差分画像符号化ストリームのそれぞれを復号して原画復号画像と差分復号画像を生成した後、両復号画像を加算して加算画像を生成する画像復号手段とを備えたことを特徴とする画像符号化記録読出装置。
【請求項２】
画像符号化手段は、
符号化対象原画像を符号化して原画像符号化ストリームを生成して蓄積用メモリに記録すると共に、符号化時の動き補償予測に使用する局部復号画像を表示順に出力する第１の符号化部と、
前記符号化対象原画像を所定量遅延させる遅延用フレームメモリと、
この遅延用フレームメモリからの符号化対象原画像と前記第１の符号化部から出力された局部復号画像とから差分画像を得る差分部と、
前記差分画像を符号化して差分画像符号化ストリームを生成して前記蓄積用メモリに記録する第２の符号化部を有し、
画像復号手段は、
前記蓄積用メモリから原画像符号化ストリームを読み出して復号する第１の復号部と、
前記蓄積用メモリから差分画像符号化ストリームを読み出して復号する第２の復号部と、
前記第１の復号部で復号された原画復号画像と前記第２の復号部で復号された差分復号画像を加算して加算画像を生成する加算部を有したことを特徴とする請求項１記載の画像符号化記録読出装置。
【請求項３】
画像符号化手段の構成により、リアルタイムＶＢＲ動作によって符号化を行うリアルタイムＶＢＲ画像符号化手段を形成し、
画像復号手段の構成に加え、加算部で生成される加算画像を符号化して加算画像符号化ストリームを生成する第３の符号化部を有して非リアルタイムＶＢＲ画像符号化手段を形成したことを特徴とする請求項２記載の画像符号化記録読出装置。
【請求項４】
第３の符号化部は、第１の符号化部により符号化対象原画像を符号化したときの平均符号化レート以下の符号化レートで加算画像を符号化する場合には、リアルタイムＶＢＲ画像符号化手段による符号化時に得られた補助情報から決定された時間方向のすべてのフレームに割り当てる目標情報量に基づいて符号化を行うことを特徴とする請求項３記載の画像符号化記録読出装置。
【請求項５】
第１の符号化部と第３の符号化部は、一つの符号化部で共用することを特徴とする請求項３記載の画像符号化記録読出装置。
【請求項６】
蓄積用メモリに記録された差分画像符号化ストリームは、当該蓄積用メモリの残量に応じて消去されることを特徴とする請求項１記載の画像符号化記録読出装置。
【請求項７】
差分画像の符号化は、蓄積用メモリの残量に応じて差分画像符号化ストリームを生成しないようにしたことを特徴とする請求項１記載の画像符号化記録読出装置。
【請求項８】
画像復号手段は、原画像符号化ストリームが蓄積用メモリに蓄積されているが対応する差分画像符号化ストリームが当該蓄積用メモリに蓄積されていないときには、蓄積されている原画像符号化ストリームのみを復号して原画復号画像を生成し、加算画像の代わりに当該原画復号画像のみを出力することを特徴とする請求項１記載の画像符号化記録読出装置。
【請求項９】
蓄積用メモリに記録してある番組の情報を知らせる画面において、差分画像符号化ストリームが当該蓄積用メモリに蓄積されている番組に対しては、高画質の再生出力が可能である旨の表示を行い、一方、差分画像符号化ストリームが前記蓄積用メモリに蓄積されていない番組に対しては、通常の画質の再生出力のみが可能である旨の表示を行うことを特徴とする請求項１記載の画像符号化記録読出装置。
【請求項１０】
使用者に知らせる記録可能な蓄積用メモリの残量は、当該蓄積用メモリの総容量から原画像符号化ストリームの蓄積量のみを除した容量としたことを特徴とする請求項１記載の画像符号化記録読出装置。
【請求項１１】
差分画像の符号化は、差分画像の各フレームの絶対値和に基づいて決定した各フレームに割り当てる情報量に基づいて行われることを特徴とする請求項１記載の画像符号化記録読出装置。
【請求項１２】
差分画像の符号化は、符号化対象原画像を符号化したときの各フレームの量子化スケールの平均値に基づいて決定した差分画像の各フレームに割り当てる情報量に基づいて行われることを特徴とする請求項１記載の画像符号化記録読出装置。
【請求項１３】
差分画像の符号化は、番組のジャンル情報に基づいて決定された差分画像の各フレームに割り当てる情報量に基づいて行われることを特徴とする請求項１記載の画像符号化記録読出装置。
【請求項１４】
差分画像の符号化は、差分値の有効ビット数を削減する代わりに、符号化を行う所定のビット数で表現できる範囲を超えた差分値を、所定のビット数で表現できる最大値あるいは最小値で置き換えて行われることを特徴とする請求項１記載の画像符号化記録読出装置。
【請求項１５】
差分画像の符号化時に、符号化を行う所定のビット数で表現できる範囲を超えた差分値の個数をフレーム単位に集計し、当該差分値の個数が或る所定の閾値よりも大きい場合にはビットシフトを行い、当該差分値の個数が前記所定の閾値よりも小さい場合にはビットシフトを行わずに所定のビット数で表現できる最大値あるいは最小値で置き換えることを特徴とする請求項１記載の画像符号化記録読出装置。
【請求項１６】
蓄積用メモリ対して並列に非リアルタイムＶＢＲ画像符号化手段を複数個設け、当該蓄積用メモリに蓄積された原画像と差分画像の符号化ストリームの復号、それぞれ復号された復号画像の加算および加算画像の符号化の処理を時分割で、または画面内で分割して行うようにしたことを特徴とする請求項３記載の画像符号化記録読出装置。
【請求項１７】
符号化対象原画像を所定の符号化方式に従って符号化して蓄積用メモリに記録し、前記蓄積用メモリから読み出した符号化ストリームを用途に応じた形にして出力する画像符号化記録読出装置において、
一つの符号化対象原画像を複数の符号化部で異なる符号化モードでそれぞれ符号化し、そのうちの一つの符号化部で生成された原画像符号化ストリームのみを前記蓄積用メモリに記録し、同時に使用された各符号化モード、前記複数の符号化部のそれぞれの符号化動作により得られたフレーム単位の総発生情報量、動きベクトル情報量からなる符号化情報を前記蓄積用メモリに記録するリアルタイムＶＢＲ画像符号化手段と、
前記蓄積用メモリに記録された原画像符号化ストリームを復号部で復号し、生成された原画復号画像に対し、前記一つの符号化部と同タイプの符号化部により、前記符号化情報から選択された符号化モードで、かつ前記符号化情報に基づいて予め決められた目標情報量を時間方向すべてのフレームに割り当てて再符号化を行い、生成された原画像符号化ストリームを出力する非リアルタイムＶＢＲ画像符号化手段を備えたことを特徴とする画像符号化記録読出装置。
【請求項１８】
リアルタイムＶＢＲ画像符号化手段において、生成した原画像符号化ストリームを蓄積用メモリに記録しない複数の符号化部の符号化モードは、すべてのフレームに対して、固定で同一の量子化スケールで符号化を行うものであることを特徴とする請求項１７記載の画像符号化記録読出装置。
【請求項１９】
リアルタイムＶＢＲ画像符号化手段において、生成した原画像符号化ストリームを蓄積用メモリに記録しない複数の符号化部における符号化モードは、Ｐピクチャの間隔をそれぞれ異なった固定値により符号化を行うものであることを特徴とする請求項１７記載の画像符号化記録読出装置。
【請求項２０】
非リアルタイムＶＢＲ画像符号化手段の動作前に、生成した原画像符号化ストリームを蓄積用メモリに記録しないリアルタイムＶＢＲ画像符号化手段の複数の符号化部の各符号化モード間の所定のフレームごとの発生情報量を比較して前記所定のフレーム単位の発生情報量が少ない方のＰピクチャの間隔を選択し、かつ、前記Ｐピクチャの間隔が選択されたときの符号化モードにおける総発生情報量を前記蓄積用メモリから取得してこの総発生情報量に基づいて画像全体の各フレームに割り振る目標情報量を決定し、
前記非リアルタイムＶＢＲ画像符号化手段の符号化部は、前記所定のフレーム単位ごとに前記発生情報量が少ない方のＰピクチャの間隔に、かつ対応する符号化モードで切り替え、前記目標情報量が割り振られたフレーム対して再符号化を行うことを特徴とする請求項１９記載の画像符号化記録読出装置。
【請求項２１】
符号化対象原画像を所定の符号化方式に従って符号化して蓄積用メモリに記録しておき、当該蓄積用メモリから読み出した符号化ストリームを用途に応じた形にして出力する画像符号化記録読出装置において、
一つの符号化対象原画像に対してそれぞれ異なる画像フォーマットと異なる符号化レートで少なくとも一対の符号化を行ってそれぞれ原画像符号化ストリームを生成し、生成された各原画像符号化ストリームを前記蓄積用メモリに記録しておき、前記蓄積用メモリに記録した複数の原画像符号化ストリームの中から用途に応じた画像フォーマットと符号化レートの原画像符号化ストリームを選択して出力することを特徴とする画像符号化記録読出装置。
【請求項２２】
一対の符号化の一方は、使用者が設定した記録時間モード、画像フォーマットで行って原画像符号化ストリームを生成し、前記一対の符号化の他方は、前記一方の符号化よりも高画質、高解像度なモードで行って前記一方の符号化よりも高画質な原画像符号化ストリームを生成することを特徴とする請求項２１記載の画像符号化記録読出装置。
【請求項２３】
蓄積用メモリに記録された高画質な原画像符号化ストリームは、当該蓄積用メモリの残量に応じて消去されることを特徴とする請求項２２記載の画像符号化記録読出装置。
【請求項２４】
蓄積用メモリに記録された高画質な原画像符号化ストリームは、当該蓄積用メモリの残量に応じて生成されないことを特徴とする請求項２２記載の画像符号化記録読出装置。
【請求項２５】
高画質な原画像符号化ストリームが蓄積用メモリに蓄積されていないときには、蓄積されている使用者が設定した記録時間モード、画像フォーマットの原画像符号化ストリームを、前記高画質な原画像符号化ストリームの代わりに選択し再生出力とすることを特徴とする請求項２２記載の画像符号化記録読出装置。
【請求項２６】
蓄積用メモリに記録してある番組の情報を知らせる画面において、高画質な原画像符号化ストリームが蓄積用メモリに蓄積されている番組に対しては、高画質の再生出力が可能である旨の表示を行い、一方、高画質な原画像符号化ストリームが前記蓄積用メモリに蓄積されていない番組に対しては、通常の画質の再生出力のみが可能である旨の表示を行うことを特徴とする請求項２２記載の画像符号化記録読出装置。
【請求項２７】
使用者に知らせる記録可能な蓄積用メモリの残量は、当該蓄積用メモリの総容量から使用者が設定した記録時間モード、画像フォーマットの原画像符号化ストリームの蓄積量のみを除した容量としたことを特徴とする請求項２２記載の画像符号化記録読出装置。
【請求項２８】
一対の符号化の他方はそれぞれ数フレーム分の遅延を設けて符号化を行い、先に符号化を実施した一方の符号化から得られたフレームの符号化情報を、数フレーム分後に実施した符号化で使用するようにしたことを特徴とする請求項２１記載の画像符号化記録読出装置。
【請求項２９】
符号化対象原画像を所定の符号化方式に従って符号化して蓄積用メモリに記録しておき、当該蓄積用メモリから読み出した符号化ストリームを用途に応じた形にして出力する画像符号化記録読出装置において、
一つの符号化対象原画像に対して、同一の画像フォーマットと同一の符号化レートで、かつＰピクチャ間隔、量子化マトリクスなどの符号化パラメータについてはそれぞれ異なったものを使用して複数の符号化を行い、得られた各原画像符号化ストリームを前記蓄積用メモリに記録し、
前記蓄積用メモリに記録された複数の原画像符号化ストリームについて平均量子化スケールまたは原画像とのＳ／Ｎ比を比較し、最も画質がよいと判定された原画像符号化ストリーム以外の原画像符号化ストリームを前記蓄積用メモリから消去し、
前記蓄積用メモリに記録されている最も画質がよいと判定された原画像符号化ストリームを読み出して復号し原画復号画像を生成することを特徴とする画像符号化記録読出装置。
【請求項３０】
画像符号化手段は、
１フレーム期間内に複数フレームの符号化を行う機能を有し、符号化対象原画像が入力された場合には当該符号化対象原画像を符号化して原画像符号化ストリームを生成して蓄積用メモリに記録すると共に、符号化時の動き補償予測に使用する局部復号画像を表示順に出力し、また、差分画像が入力された場合に当該差分画像を符号化して差分画像符号化ストリームを生成して前記蓄積用メモリに記録する符号化部と、
符号化対象原画像が入力された場合に当該符号化対象原画像を所定量遅延させる遅延用フレームメモリと、
この遅延用フレームメモリからの符号化対象原画像と前記符号化部からの局部復号画像から差分画像を得る差分部と、
前記差分部で得られた差分画像を複数フレーム分保持する第１のフレームメモリと、
符号化対象原画像と前記第１のフレームメモリで保持されていた差分画像を前記１フレーム期間内に交互に選択して前記符号化部と前記遅延用フレームメモリへ入力するセレクタとを有し、
画像復号手段は、
１フレーム期間内に複数フレームの復号を行う機能を有し、前記蓄積用メモリから交互に読み出される原画像符号化ストリームと差分画像ストリームをそれぞれ復号する復号部と、
前記復号部で復号された原画復号画像を数フレーム分保持する第２のフレームメモリと、
前記第２のフレームメモリで保持されていた原画復号画像に前記復号部で復号された差分復号画像を加算して加算画像を生成する加算部とを有したことを特徴とする請求項１記載の画像符号化記録読出装置。
【請求項３１】
符号化対象原画像が入力された場合に当該符号化対象原画像を複数フレーム分保持するフレームメモリと、
符号化対象原画像と前記フレームメモリからの当該符号化対象原画像に対応する保持画像を前記１フレーム期間内に交互に選択して出力するセレクタと、
１フレーム期間内に複数フレームの符号化を行う機能を有し、前記セレクタから符号化対象原画像が入力された場合には当該符号化対象原画像に対して使用者が設定した記録時間モード、画像フォーマットで符号化を行って原画像符号化ストリームを生成して蓄積用メモリに記録すると共に、前記セレクタから対応する保持画像が入力された場合には当該保持画像に対して高画質、高解像度なモードで符号化を行って高画質な原画像符号化ストリームを生成して前記蓄積用メモリに記録する符号化部と、
前記蓄積用メモリから読み出される原画像符号化ストリームまたは高画質の原画像符号化ストリームを復号して対応した原画復号画像を生成する復号部とを備えたことを特徴とする請求項２２記載の画像符号化記録読出装置。
【請求項３２】
符号化対象原画像を所定の符号化方式に従って符号化して蓄積用メモリに記録しておき、当該蓄積用メモリから読み出した符号化ストリームを用途に応じた形にして出力する画像符号化記録読出装置において、
一つの符号化対象原画像に対して使用者が設定した画像フォーマットと符号化平均レートで符号化すると共に、使用者が設定した画像フォーマットよりも高精細な画像フォーマットまたは使用者が設定した符号化平均レートよりも高いレートで符号化を行い、得られた各原画像符号化ストリームを前記蓄積用メモリに記録しておき、
当該装置が使用者の意思に基づいた記録および再生の動作を行っていない状態にあるときに、前記蓄積用メモリから読み出した高い符号化平均レートで符号化を行った原画像符号化ストリームを復号し、
復号により生成された原画復号画像に対して、前記使用者が設定した符号化平均レートで、かつ初回の符号化を行ったときのフレームの情報に基づいて各フレームへの最適な情報量配分を行って再符号化し、
再符号化で生成された原画像符号化ストリームを前記蓄積用メモリに記録し、
前記蓄積用メモリに記録されている、前記一つの符号化対象原画像に関する原画像符号化ストリームの中で、画質が良いと判定された符号化ストリームのみを残し、画質が悪いと判定された原画像符号化ストリームを全て消去し、
再生時には、前記蓄積用メモリに記録されている当該画質が良いと判定された符号化ストリームを読み出すことを特徴とする画像符号化記録読出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば放送番組の画像データを符号化して記録しておき、その記録された符号化ストリームを用途に応じた符号化レートで出力する画像符号化記録読出装置に関するものである。
【背景技術】
【０００２】
画像や音声を含むコンテンツデータは、製作すると一旦所定のメモリに記録しておき、要求があった場合に読み出して利用するという方法が一般に行われている。メモリに記録する際には、符号化してコンテンツデータの情報量を圧縮し、かつメモリの入出力レートを低くするようにしている。このように記録蓄積したコンテンツの符号化データの用途としては、ＤＶＤなどの別の記録媒体への記録、放送、あるいは伝送路を介したストリーム配信などがある。したがって、一つのコンテンツデータを複数の用途に対応できるようにしておく要求がある。そのための画像符号化記録読出装置では、メモリから読み出した符号化データに対して、各用途に応じた伝送レートを与えるようにしておく必要がある。【０００３】
このような要求に応えた従来の画像符号化記録読出装置として、プログラム情報（コンテンツデータ）を、複数の符号化部により、符号化レート、符号化モード、あるいは画像フォーマットがそれぞれ異なるように符号化を行い、各符号化データを蓄積用メモリに記録しておき、例えばストリーム配信などの出力要求があった場合に、そのときの回線の伝送レートに最も適した符号化データを選択し出力するようにしたものが特許文献１に開示されている。また、この装置では、符号化データの符号化レートが回線の伝送レートよりも低い場合には、出力レート調整部を付加してダミーデータを挿入し、回線の伝送レートと同じレートに増加させた出力を選択できるようにしている。さらに、この装置の他の例では、蓄積用メモリから読み出した符号化データを復号部を用いて復号し、追加した符号化部により元の符号化レートよりも低いレートで再度符号化した出力を選択できるようにしている。【０００４】
また、放送番組の画像を扱う画像符号化記録読出装置では、一度に符号化記録できる番組（コンテンツ）は通常１番組だけであるが、２番組を同時に符号化記録できるようにしたものもある。このような２番組を同時に記録する装置では、２つの符号化部を用いて、同時にそれぞれ異なる番組を符号化して符号化ストリームを生成し、それらを共に同一蓄積用メモリに記録しておく。そして、外部の記録用ディスクに記録する場合には、蓄積用メモリの符号化ストリームのいずれかをそのまま転送するか、あるいは蓄積用メモリに記録した符号化ストリームを復号し、さらに低いレートで再度符号化してから記録するという処理が行われている。したがって、１番組しか録画しない場合には、１つの符号化部しか使用せず、残りの符号化部は不使用状態におかれることになる。【０００５】
【特許文献１】特開平９−７４５５９号公報（図１、図２）
【０００６】
従来の画像符号化記録読出装置は、以上のように構成されているが、再度符号化を行うときに用途に応じた画質改善のための機能を有しておらず、また、複数番組を同時に記録できる画像符号化記録読出装置においては、１番組しか録画しないときには、他の符号化部が使用されず効率の悪い構成になっているなどの問題があった。【０００７】
この発明は、上記問題点を解決するためになされたもので、一つの番組の画像を符号化して符号化ストリームの形にして蓄積しておき、再生時に符号化ストリームを読み出して使用する場合に、出力とするデータに対して、用途に応じた符号化レートを与えると共に、高画質化または画質維持を図ることを可能にする画像符号化記録読出装置を得ることを目的とする。
【発明の開示】
【０００８】
この発明に係る画像符号化記録読出装置は、符号化対象原画像を所定の符号化方式に従って符号化して蓄積用メモリに記録しておき、当該蓄積用メモリから読み出した符号化ストリームを用途に応じた形にして出力する画像符号化記録読出装置において、符号化対象原画像を符号化して原画像符号化ストリームを生成すると同時に、当該符号化対象原画像から動き補償予測に使用する局部復号画像を生成し、当該局部復号画像と符号化対象原画像の差分画像を取得し、得られた差分画像を符号化して差分画像符号化ストリームを生成し、生成された原画像符号化ストリームと差分画像ストリームを蓄積用メモリに記録する画像符号化手段と、蓄積用メモリから読み出した上記の原画像符号化ストリームと差分画像符号化ストリームのそれぞれを復号して原画復号画像と差分復号画像を生成した後、原画復号画像に差分復号画像を加算して加算画像を生成する画像復号手段とを備えたものである。
【０００９】
このことによって、入力された原画像の符号化時に、原画像の差分画像を生成して符号化し、生成された両画像の符号化ストリームを共に記録しておき、再生時に、復号して得られる差分復号画像で原画復号画像の情報量を補うようにしたので、その出力の画像は高画質に維持される。また、複数番組を同時に記録する構成の画像符号化記録読出装置にこの発明を適用した場合、１番組しか録画しないときに本来不使用状態におかれる符号化部や復号部を有効利用することができる効果もある。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１による画像符号化記録読出装置の構成を示すブロック図である。
【図２】この発明の実施の形態１に係る第１の符号化部の構成例を示すブロック図である。
【図３】この発明の実施の形態１に係る差分部による差分画像の生成動作を表す説明図である。
【図４】この発明の実施の形態１に係る符号化部が行う差分画像符号化時のビット幅削減例を示す説明図である。
【図５】この発明の実施の形態１に係る符号化情報量を削減のための判定動作について示す説明図である。
【図６】この発明の実施の形態１に係る差分画像無効区間の符号化の例を示す説明図である。
【図７】リアルタイムＶＢＲ制御時の実際の情報量と画質の関係を示す説明図である。
【図８】この発明の実施の形態１に係る非リアルタイムＶＢＲ制御時の画質の向上を示す説明図である。
【図９】この発明の実施の形態１に係る差分画像の差分値を部分的に「０」にするフレーム例を示す説明図である。
【図１０】この発明の実施の形態２による画像符号化記録読出装置の構成を示すブロック図である。
【図１１】この発明の実施の形態２に係るフレームの発生情報量について示す説明図である。
【図１２】この発明の実施の形態３による画像符号化記録読出装置の構成を示すブロック図である。
【図１３】この発明の実施の形態４による画像符号化記録読出装置の構成を示すブロック図である。
【図１４】この発明の実施の形態４に係る蓄積用メモリの残量の状態推移を示す説明図である。
【図１５】この発明の実施の形態４に係る蓄積用メモリに記録してある番組情報の画面例を示す説明図である。
【図１６】この発明の実施の形態４に係る差分画像の符号化の方法例を示す説明図である。
【図１７】この発明の実施の形態４に係る差分画像の符号化時の各フレームに割り当てる情報量の例を示す説明図である。
【図１８】孤立点や人物の顔などが存在する差分画像のフレーム例を示す説明図である。
【図１９】原画像の符号化と差分画像の符号化の符号化ブロック境界の関係を示す説明図である。
【図２０】この発明の実施の形態５による画像符号化記録読出装置の構成を示すブロック図である。
【図２１】この発明の実施の形態６による画像符号化記録読出装置の構成を示すブロック図である。
【図２２】この発明の実施の形態６に係る１フレーム期間内に処理される符号化フレームおよび復号フレームを示す説明図である。
【図２３】この発明の実施の形態７による画像符号化記録読出装置の構成を示すブロック図である。
【図２４】この発明の実施の形態８による画像符号化記録読出装置の構成を示すブロック図である。
【発明を実施するための最良の形態】
【００１１】
以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
以下に説明する各実施の形態で示される画像符号化記録読出装置を複数の機能部分の構成で示しているが、これら各部の機能の多くは、マイクロプロセッサを使用してソフトウェアで処理できるものである。
実施の形態１．
図１はこの発明の実施の形態１による画像符号化記録読出装置の構成を示すブロック図である。図１の画像符号化記録読出装置は、同時に入力される異なる画像のコンテンツデータを符号化して符号化ストリームを生成し、それらを共に同一蓄積用メモリに記録しておき、蓄積用メモリから選択したいずれかの符号化ストリームを外部の記録用ディスクに記録するための構成を備えている。しかし、この実施の形態１では、その画像符号化記録読出装置に適用し、一つの番組のみの記録と読み出し処理に焦点を当てた説明を行うものとする。
この画像符号化記録読出装置は、リアルタイムＶＢＲ（Variable Bit Rate；可変ビットレート）画像符号化部（画像符号化手段）２、非リアルタイムＶＢＲ画像符号化部３、制御部４および蓄積用メモリ５を備えている。この画像符号化記録読出装置へは、画像コンテンツデータとして、原画像データ（以下、原画像とする）か、あるいは原画像を符号化圧縮した符号化ストリームのいずれかの信号形式で入力されるものとする。この装置からの出力は、符号化ストリーム（以下、加算画像符号化ストリームとする）であり、例として取り外し可能な外部ディスク１９への記録に用いられる。【００１２】
リアルタイムＶＢＲ画像符号化部２の構成において、復号部６，７は、画像符号化記録読出装置への入力がそれぞれ符号化ストリームの場合にそれぞれを復号する手段である。セレクタ８，９は、復号部６，７による復号画像か、原画像かを選択する手段である。符号化部（第１の符号部）１０は、入力画像（原画像１または復号部６からの復号画像であるが、これらを以下、符号化対象原画像とする。）に対して符号化を行い符号化ストリーム（以下、原画像符号化ストリームとする）を生成する手段である。また、この符号化部１０は、図２で後述するように、動き補償予測に使用するための局部復号画像を表示順に出力する機能を有している。遅延用フレームメモリ１２は、差分部１３へ与えられる符号化部１０からの局部復号画像と時間的なフレーム位置を合わせるための遅延量を符号化対象原画像に与える手段である。差分部１３は、遅延された符号化対象原画像と符号化部１０からの局部復号画像との差分をとり、その差分画像を生成する手段である。セレクタ１４は、生成された差分画像とセレクタ９からの別のチャネルの符号化対象原画像を選択する手段である。符号化部（第２の符号化部）１１は、通常符号化部１０とは異なる別のチャネルの符号化対象原画像に対して符号化を行う手段であるが、この発明では、差分部１３で生成された差分画像を符号化して差分画像符号化ストリームを生成する手段でもある。【００１３】
制御部４は、後述のように、画像符号化記録読出装置の各部から動作結果の情報を補助情報として取得し、また、各部のモードを設定する手段である。蓄積用メモリ５は、この発明では、原画像と差分画像の各符号化ストリームおよび制御部４が各部から取得した補助情報を記録し読み出すための記憶手段である。
非リアルタイムＶＢＲ画像符号化部３の構成において、復号部１５，１６と符号化部１８のそれぞれは、リアルタイムＶＢＲ画像符号化部２の復号部６，７と符号化部１０と同一物とすることができる。復号部（第１の復号部）１５は、蓄積用メモリ５から原画像符号化ストリームを読み出して復号する手段である。復号部（第２の復号部）１６は、蓄積用メモリ５から差分画像符号化ストリームを読み出して復号する手段である。復号加算部１７は、復号部１５，１６でそれぞれ復号された原復号画像に差分復号画像を加算して加算画像を生成する手段である。符号化部（第３の符号化部）１８は、加算画像を符号化して加算画像符号化ストリームを生成し、外部ディスク１９へ出力する手段である。【００１４】
この実施の形態１の符号化部（第１の符号化部）１０は、動き補償予測に使用するための局部復号画像を出力する機能を有しているが、ＭＰＥＧ−２の符号化方式を適用した例を図２に示す。
図２において、入力された画像の数フレーム分がメモリ２０で保持される。メモリ２０からは符号化を行うためのフレームが読み出される。この読み出しは符号化ブロック（ＭＰＥＧ−２の場合はマクロブロックと称す）単位に行われ、動き補償予測部３２により、フレームメモリ３３に保持されている参照画像を基に、読み出したフレームに対する動き補償予測を行う。イントラ／インター判定部３１において、動き補償予測された結果と入力符号化ブロックとを比較してイントラ（フレーム内）符号化か、インター（フレーム間）符号化かの判定を行う。符号化対象ピクチャがＩピクチャの場合はイントラ符号化を選択する。セレクタ２２では、イントラ／インター符号化の判定結果に基づいて、差分部２１でフレーム間差分された画像か、メモリ２０からの入力符号化ブロックそのものかを選択する。セレクタ２２の出力は、ＤＣＴ（Discrete Cosine Transform）演算部２３でＤＣＴ係数に変換された後、量子化部２４で量子化される。【００１５】
量子化部２４で量子化された結果は、可変長符号化部２５で可変長符号に変換されて得られた符号化ストリームがバッファ２６で一時的に保持される。バッファ２６からは符号化ストリームが出力される。また、量子化された結果に対しては、逆量子化部２７で逆量子化処理が行われた後、逆ＤＣＴ演算部２８で逆ＤＣＴ演算が行われる。セレクタ３０は、イントラ／インター判定部３１の判定結果に基づいて、逆ＤＣＴ演算部２８の出力か、フレーム加算部２９で行われたフレーム間の加算結果かを選択する。セレクタ３０の出力は、フレームメモリ３３で保持され、次の符号化フレームの動き補償予測の参照画像として使用される。また、フレームメモリ３３に保持された局部復号画像は、この実施の形態１に係る局部復号画像として表示順に出力される。【００１６】
次に、図１の画像符号化記録読出装置に戻り、その動作について説明する。
ここでは、放送されている番組などの中から１番組のみを取り込んで処理し、外部ディスク１９に記録する場合について述べる。画像符号化記録読出装置の概略動作としては、最初、当該１番組の画像に対して１度目のＶＢＲ符号化をリアルタイムで行って蓄積用メモリ５に記録する。次に蓄積用メモリ５から読み出した符号化ストリームを外部ディスク１９に記録する場合、その符号化ストリームを復号してから２度目のＶＢＲ符号化を非リアルタイムで行い、その際、外部ディスク１９に記録する符号化ストリームの平均符号化レートが同じ場合、あるいは外部ディスク１９に記録する符号化ストリームの平均符号化レートの方が小さい場合に、その記録する符号化ストリームの画質を向上させる。【００１７】
１番組のみの場合の画像符号化記録読出装置の入力として、アナログ放送の場合にはアナログからデジタルに変換された原画像１が、またデジタル放送の場合には符号化された符号化ストリーム１（符号化レート：Ｒ０）が入力されるものとする。符号化ストリーム１が入力された場合には、復号部６によって復号画像が生成される。原画像１と復号画像の選択はセレクタ８により行われる。この入力例の場合、セレクタ８からの出力画像（符号化対象原画像）のみが、図上太線で表示される流れで符号化処理される。セレクタ８からの符号化対象画像は、符号化部１０と遅延用フレームメモリ１２に入力される。符号化部１０に入力された符号化対象原画像は、平均レートＲ１（＜Ｒ０）でＶＢＲ符号化され、原画像符号化ストリームとなって蓄積用メモリ５に記録される。また、符号化部１０からは、図２で説明したように、動き補償予測に使用する局部復号画像が差分部１３に出力される。【００１８】
一方、遅延用フレームメモリ１２に入力された符号化対象画像は局部復号画像と位相調整される。差分部１３では、図３に示すように、位相が合わされた符号化対象画像と符号化部１０の局部復号画像との差分画像が生成され、セレクタ１４を経由して符号化部１１に入力される。符号化部１１では、差分画像の符号化を行い、生成した差分画像符号化ストリームを蓄積用メモリ５に記録する。これら一連の符号化動作に伴い、制御部４は、各部の処理結果の情報を取得し、補助情報として蓄積用メモリ５に記録し、用途に応じた補助情報を読み出して画像符号化記録読出装置の各部の制御に用いるよう動作する。この補助情報としては、具体的に、符号化ストリーム１が入力された場合に復号部６で復号を行うときに得られるフレーム単位の量子化スケール平均値、総発生情報量および動きベクトル情報量などのパラメータがある。また、符号化対象原画像を符号化部１０で符号化するときに得られるフレーム単位の量子化スケール平均値、総発生情報量、動きベクトル情報量、および局部復号画像と符号化対象原画像との差分画像の画素値の絶対値和などのパラメータがある。また、差分画像を符号化部１１で符号化するときに得られるフレーム単位の量子化スケール平均値、総発生情報量および動きベクトル情報量などのパラメータがある。これらの各パラメータは、非リアルタイムＶＢＲ画像符号化部３で符号化を行うときに時間方向のすべてのフレームの目標情報量を予め決定するのに使用される。【００１９】
ここで、符号化部１１の符号化時の動作例について述べる。
符号化部１１で生成される差分画像符号化ストリームも蓄積用メモリ５で記録保持されるので、差分画像符号化ストリームの容量は小さければ小さいほどよい。差分画像のビット幅（有効ビット数）は９ビットであるが、ＭＰＥＧ−２などの規定では符号化を行う画素のビット幅は８ビットと決められているので、８ビットに変換する必要がある。そこで、符号化部１１では、この８ビットに変換するときに、図４に示すように、有効ビット数を、例えば下位４ビットを切り捨てる。このように有効ビット数を削減することにより、ダイナミックレンジが小さくなり符号量も減少させることができる。【００２０】
また、差分画像の符号化情報量を削減する方法として、図５に示すように、閾値を設定して判定を行ってから差分画像を符号化するようにしてもよい。符号化部１１では、制御部４で取得した符号化部１０からのフレームごとの平均量子化スケールまたは差分部１３からの画素間の差分絶対値和が閾値よりも大きい場合には有効、小さい場合には無効とするように、各フレームの差分画像が符号化対象として有効か無効かの判定を行う。符号化部１１では、ここで有効と判定されたフレームに対してのみ差分画像の符号化を実施する。なお、この場合には、非リアルタイムＶＢＲ画像符号化部３において対応した制御が必要となるため、符号化したフレームの識別子（フレーム番号）を差分画像の符号化を実施した符号化ストリームと組みにして蓄積用メモリ５に記録しておく必要がある。制御の煩雑さを考慮した場合には、すべてのフレームに対して符号化を行うことが望ましい。
さらに、上記判定を行う方法の変形として、符号化部１１が、有効と判定されたフレームに対してはそのまま差分画像の符号化を実施し、一方、無効と判定されたフレームに対しては、差分画像すべての画素値を「０」にしてから符号化を実施するようにしてもよい。なお、この場合にはフレーム識別番号は付与する必要はない。また、無効と判定されたことにより画素値を「０」にしたフレームの符号化を行う場合には、図６に示すように、すべてのフレームを前方向予測のＰピクチャで符号化し、動きベクトルも強制的に「０」に、ＤＣＴ係数もすべて強制的に「０」にするようにしてもよい。このようにすることで、無効フレームに対する情報量を大幅に削減することができる。加えて、有効／無効の判定基準とする閾値を随時変更することで、差分画像の符号化情報量を変更できるようにしてもよい。【００２１】
ここで、差分画像の符号化ストリームを蓄積用メモリ５に記録して用いることによる作用効果について述べる。
この実施の形態１では、画像符号化記録読出装置に入力された画像に対して、所定の平均レートでリアルタイムＶＢＲ符号化を行い、符号化ストリームを蓄積用メモリ５に記録するようにしている。リアルタイムで符号化を行うときには、時間的に先においてどのような画像が入力されてくるか不明なため、符号化時点におけるそれまでに発生した情報量の平均レートとの差異や入力画像の符号化難易度に応じて、その入力画像で発生させる情報量を決定する。そのため、所定の平均レートで時間方向に画像全体（フレーム）に渡って平均的に一定の画質を保つために必要な情報量が必ずしも与えられるわけではなく、リアルタイムＶＢＲ制御により実際に与えられる情報量は、通常図７（ａ）に示すような曲線になると考えられる。このとき、相対的な画質は図７（ｂ）で示すような曲線になると考えられる。すなわち、一定の画質を保つのに必要な情報量以上の情報量が割り振られたフレームに対しては、画質は一定以上の画質を保つが、割り振られなかったフレームに対しては、極端に画質が劣化するものと考えられる。また、このときの差分部１３より得られる差分絶対値和は図７（ｂ）に示すような曲線を描くことが想定される。【００２２】
一方、非リアルタイムで符号化を行う場合には、時間的に後から入力される画像の情報についても蓄積用メモリ５に予め蓄積した補助情報から得ることができるため、時間方向の画像全体（フレーム）に渡って平均的に一定の画質を得るための情報量を各フレームに割り当てることができるはずである。この実施の形態１では、リアルタイムＶＢＲ画像符号化部２の符号化部１０により、符号化対象原画像に対して１回目の符号化を実施して記録しておき、次に非リアルタイムＶＢＲ画像符号化部３において、その記録された原画像符号化ストリームを復号した画像に対して、１回目のときの符号化レート以下で２回目の符号化が実施されることを想定している。しかし、ここで両符号化が同じ平均レートであると仮定した場合、１回目の符号化において極端に劣化したフレームに対して、２回目の符号化においていくら情報量を割り当てたとしても、１回目の符号化時以上の画質にすることは不可能である。そこで、図８に示すように、極端に画質が劣化したフレームに対しては、復号部１５による復号画像に復号部１６からの差分復号画像を加算して画質劣化をある程度緩和しておいてから２回目の符号化を行うようにすれば、そのフレームの画質を１回目の符号化の画質よりも向上させることができることが解る。また、１回目の符号化において必要以上の情報量を割り当てたことで、平均以上に画質が良くなったフレームに対しては、２回目の符号化において、必要とされる情報量のみを割り振るようにすれば、平均的な画質になることが解る。このような方法に従って符号化することで、極端な画質劣化の画像を削減し、時間方向の画像全体に渡って平均的に画質を向上させることができるようになる。【００２３】
次に、以上の方法を実現させる非リアルタイムＶＢＲ画像符号化部３の動作について説明する。なお、復号部１５，１６および符号化部１８は、リアルタイムＶＢＲ画像符号化部２で使用している復号部６，７および符号化部１０とそれぞれ同じタイプであり、リアルタイムＶＢＲ画像符号化部２の非動作時に非リアルタイムＶＢＲ画像符号化部３を動作させることになるので、共用にすることができる。
復号部１５は、先にリアルタイムＶＢＲ画像符号化部２の符号化部１０により生成され記録されている原画像符号化ストリームを、蓄積用メモリ５から読み出して復号する。同様に、復号部１６は、リアルタイムＶＢＲ画像符号化部２の符号化部１１により生成され記録されている差分画像符号化ストリームを、蓄積用メモリ５より読み出して復号する。次に、復号部１５で復号された原画復号画像と復号部１６で復号された差分復号画像は復号加算部１７によりフレーム加算される。加算を行うときには、差分画像のビット位置を元に戻した上で行う。【００２４】
次に、復号加算部１７で得られた加算画像に対して、符号化部１８により２回目のＶＢＲ符号化が行われる。このときの平均符号化レートＲ２は、１回目の平均符号化レートＲ１以下である。リアルタイムＶＢＲ画像符号化時にすべてのフレームの符号化結果を補助情報として蓄積用メモリ５に記録しているので、非リアルタイムＶＢＲ符号化時には、制御部４は、これらの補助情報の時間方向の画像全体の分まで使用して、各フレームに割り当てる目標情報量を決定する。したがって、符号化部１８はこの目標情報量に基づいて加算画像の符号化を行う。また、制御部４は、リアルタイムＶＢＲ符号化時に、差分画像の符号化情報量の削減のために符号化を行うと判定されたフレームに対してのみ差分画像を符号化部１１で符号化している場合、符号化を行ったフレームに対するフレーム識別子を蓄積用メモリ５から読み出し、その識別子に対応するフレームの差分復号画像のみを加算するよう復号加算部１７を制御する。符号化部１８において、２回目のＶＢＲ符号化が行われた結果の加算画像符号化ストリームは平均レートＲ２（≦Ｒ１）となって外部ディスク１９に出力され記録される。
以上のように２回目のＶＢＲ符号化を行うことにより、蓄積用メモリ５に記録された符号化ストリームの画質よりも、外部ディスク１９に記録する符号化ストリームの画質の方が時間全体を通して平均的に高画質、あるいは同等の画質で低レートにすることができる。【００２５】
前に、差分画像の符号化情報量を削減する方法の例について幾つか説明してきたが、ここでさらに別の例を追加する。符号化部１１において、図９に示すように、差分画像のフレーム内における画素間の差分画素値の絶対値がある閾値より小さいことを検出した場合、あるいは差分画像のフレーム内中に在る顔など、見る人の目が注視する領域以外に在る差分画素値を検出した場合に、それら対応する差分画素値を強制的に「０」にしてから差分画像の符号化を行うようにしてもよい。また別の例として、符号化部１１において、差分画像を符号化するときに、その画像フォーマット（画像サイズ）を変換して符号化対象画像よりも小さな画像にしてから符号化を行い、復号部１６で、蓄積メモリ５から読み出した差分画像符号化ストリームを復号したときに、差分復号画像の画像サイズを元の大きさに戻してから復号加算部１７で加算するようにしてもよい。
なお、ここでは符号化方式の例としてＭＰＥＧ−２を適用した場合について説明してきたが、この発明は、これ以外にも、Ｈ．２６１、ＭＰＥＧ−１、ＭＰＥＧ−４、Ｈ．２６４についても適用可能である。また、フレーム間の差分、加算は符号化対象原画像と原画復号画像の画素に対して実施するので、符号化部１０と符号化部１１には、必ずしも同じ符号化方式を用いる必要はない。
また、図１において、蓄積用メモリ５に対して並列に非リアルタイムＶＢＲ画像符号化部３の構成を複数個設け、原画像と差分画像の符号化ストリームの復号、それぞれ復号された復号画像の加算および加算画像の符号化の処理を時分割で、または画面内で分割して行うようにしてもよい。この場合、高速で復号、再符号化できるため、処理時間の短縮化を図ることができる。【００２６】
以上のように、実施の形態１によれば、リアルタイムＶＢＲ画像符号化処理において、符号化対象画像を符号化して原画像符号化ストリームを生成すると同時に、当該符号化対象画像から動き補償予測に使用する局部復号画像を生成し、この局部復号画像と符号化対象画像の差分画像を取得し、得られた差分画像を符号化して差分画像符号化ストリームを生成し、生成された原画像符号化ストリームと差分画像を共に蓄積用メモリに記録するようにし、非リアルタイムＶＢＲ画像符号化処理において、蓄積用メモリから読み出した符号化対象画像と差分画像の両符号化ストリームのそれぞれを復号した後、両復号画像を加算し、得られた加算画像を符号化して画像符号化ストリームを生成するようにしている。したがって、再符号化により生成された画像符号化ストリームの画像を高画質に維持できる効果が得られる。また、図１に示したような複数番組を同時に記録する構成の画像符号化記録読出装置に適用した場合、１番組しか録画しないときに本来不使用状態におかれる符号化部や復号部を有効利用することができる。【００２７】
実施の形態２．
図１０はこの発明の実施の形態２による画像符号化記録読出装置の構成を示すブロック図である。
画像符号化記録読出装置は、リアルタイムＶＢＲ画像符号化部４１、非リアルタイムＶＢＲ画像符号化部４２、制御部４３および蓄積用メモリ４４を備えている。
リアルタイムＶＢＲ画像符号化部４１の構成において、復号部４５，４６，４７は、画像符号化記録読出装置への入力が符号化ストリームの場合にそれぞれを復号する手段である。セレクタ４８，４９，５０は、復号部４５，４６，４７によって復号された復号画像か原画像かを選択する手段である。セレクタ５１，５２は、セレクタ４８の出力か、セレクタ４９あるいは５０の出力かを選択する手段である。符号化部５３，５４，５５は、同時に入力される符号化対象原画像に対して異なる符号化モードで符号化を行う手段である。【００２８】
一方、非リアルタイムＶＢＲ画像符号化部４２の構成において、復号部５６と符号化部５７は、リアルタイムＶＢＲ画像符号化部４１の復号部４５と符号化部５３とそれぞれ同じタイプであり、リアルタイムＶＢＲ画像符号化部４１の非動作時に非リアルタイムＶＢＲ画像符号化部４２を動作させることになるので、同じもので共用することができる。
制御部４３は、画像符号化記録読出装置の各部にモードを設定し、また、各部の処理動作に伴う情報を取得する手段である。蓄積用メモリ４４は、符号化したストリーム、ならびに制御部４３が各部から取得した情報を記録し、それらを読み出すための記憶手段である。外部ディスク５８は、符号化部５７で生成された符号化ストリームを記録するための取り外し可能な記録媒体である。【００２９】
次に、動作について説明する。
ここでは、放送されている１番組のみを外部のディスク５８に記録する場合において、内部の蓄積用メモリ４４に記録する符号化ストリームよりも低い符号化レートで外部ディスク５８に記録する符号化ストリームに対して、できる限り画質劣化を生じさせないようにする方法について説明する。
１番組の画像のみを符号化し記録するものとすると、セレクタ４８は、入力された符号化ストリームを復号部４５で復号した復号画像か、あるいはデジタルの原画像かを符号化対象原画像として選択する。図１０の太線で示すように、セレクタ４８からの符号化対象原画像は、直接符号化部５３に入力されると同時に、セレクタ５１，５２を介して他の符号化部５４，５５にも入力される。符号化部５３は、設定された平均レートＲ１（＜Ｒ０）になるように可変レートの画像符号化を行い、生成した原画像符号化ストリームを蓄積用メモリ４４に記録する。また、符号化部５４，５５は、互いに異なり、かつ符号化部５３とも異なる符号化モードで符号化対象原画像の符号化を行うが、生成された原画像符号化ストリームは蓄積用メモリ４４に記録されない。【００３０】
符号化モードとしては、例えば量子化スケールを、両者ともすべてのフレームに対して固定で同一の値にするが、符号化部５４では、Ｐピクチャの間隔（Ｍ値）を「３」にし、両方向予測のＢピクチャを使用した符号化を実施（これを、符号化モード１とする）し、一方、符号化部５５では、Ｐピクチャの間隔（Ｍ値）を「１」、すなわち、Ｂピクチャを使用しない符号化を実施（これを、符号化モード２とする）するというものである。
符号化部５４，５５の各符号化モードの設定は制御部４３で符号化時に行われる。また、制御部４３は、これらの設定した各符号化モードと、符号化部５３，５４，５５から取得した符号化時のフレーム全体の総発生情報量および動きベクトル情報量等を、符号化情報として蓄積用メモリ４４に記録する。【００３１】
ここで、生成した原画像符号化ストリームを蓄積用メモリ４４に記録しなかった符号化部５４，５５の符号化時のフレームの発生情報量と後述する符号化部５７の動作で使用する目標情報量の関係を図１１により説明する。
図１１（ａ）の上段はＭ値を「３」とする符号化部５４によるフレーム単位の情報発生量を表し、図１１（ａ）の下段はＭ値を「１」とする符号化部５５によるフレーム単位の情報発生量を表す。この例では、両符号化部における発生情報量の３フレームごとの和をそれぞれ求め、対応する両者の間で少ない方の和を選択し、図１１（ｂ）に示すように符号化部５７のＭ値を決定する。符号化部５７は、このように求められた各Ｍ値に付随するフレームの発生情報量を基に符号化を行う際に、画像全体において各フレームに割り振る目標情報量を求める。【００３２】
非リアルタイムＶＢＲ画像符号化部４２の動作において、復号部５６は、先に符号化部５３により生成され記録された原画像符号化ストリームを蓄積用メモリ４４から読み出して復号し、原画復号画像を得る。復号部５６からの原画復号画像は、符号化部５７において、符号化部５３による符号化時より低い平均符号化レートＲ２（≦Ｒ１）で符号化される。このとき、制御部４３は、符号化部５４の符号化モード１と符号化部５５の符号化モード２との間の発生情報量を所定のフレーム単位（この例の場合、３フレーム）で比較し、この所定のフレーム単位ごとの発生情報量が少ない方のＭ値を符号化部５７での符号化に適用する。また、制御部４３では、蓄積用メモリ４４に記録された符号化情報の中の総発生情報量および動きベクトル情報量、すなわち時間方向すべてのフレームの情報を使用する。この場合、制御部４３は、符号化部５７で符号化する画像全体について予め、上記発生情報量が少ない方のＭ値に上記所定のフレーム単位ごとに切り替えたときの符号化モードでの総発生情報量に基づいて、すべてのフレームに割り振る目標情報量を決定する。符号化部５７は、この目標情報量が割り振られた各フレームに対して符号化を行い、生成された符号化ストリームを外部ディスク５８に出力して記録する。【００３３】
以上のようこの実施の形態２によれば、リアルタイムＶＢＲ画像符号部において、一つの符号化対象原画像を複数の符号化部で異なる符号化モードでそれぞれ符号化し、そのうちの一つの符号化部で生成された原画像符号化ストリームのみを蓄積用メモリに記録し、同時に使用された各符号化モード、複数の符号化部のそれぞれの符号化動作により得られたフレーム単位の総発生情報量、動きベクトル情報量からなる符号化情報を前記蓄積用メモリに記録し、非リアルタイムＶＢＲ画像符号化において、蓄積用メモリに記録された原画像符号化ストリームを復号部で復号し、生成された原画復号画像に対し、上記一つの符号化部と同タイプの符号化部により、符号化情報から選択された符号化モードで、かつ符号化情報に基づいて予め決められた目標情報量を時間方向すべてのフレームに割り当てて再符号化を行い、生成された原画像符号化ストリームを出力するようにしたことで、１回目の符号化時よりも低い平均符号化レートで再符号化するときにも、最適なモード（この例の場合ではＭ値）を決定することにより、画質劣化を最小限に抑えることが可能となる。なお、この例における符号化部５３，５４，５５は同じ符号化方式である必要がある。【００３４】
実施の形態３．
図１２はこの発明の実施の形態３による画像符号化記録読出装置の構成を示すブロック図である。
画像符号化記録読出装置は、復号部６１，６２，６３、セレクタ６４〜６８，７４、符号化部６９，７０，７１、制御部７２および蓄積用メモリ７３を備えている。復号部６１，６２，６３は、画像符号化記録読出装置への入力が符号化ストリームの場合に復号する手段である。セレクタ６４，６５，６６は、復号部６１，６２，６３による復号画像か原画像かを選択する手段である。セレクタ６７は、セレクタ６４の出力か、セレクタ６５の出力かを選択する手段である。また、セレクタ６８は、セレクタ６４の出力か、セレクタ６６の出力かを選択する手段である。符号化部６９，７０，７１は、入力された一つの符号化対象原画像に対して所定の符号化方式に従って符号化を行い、それぞれの原画像符号化ストリームを生成する手段である。制御部７２は、画像符号化記録読出装置の各部にモードを設定し、また、各部からの情報を取得する手段である。蓄積用メモリ７３は、各原画像符号化ストリーム、ならびに制御部７２が各部から取得した情報を記録し、読み出すための記憶手段である。セレクタ７４は、蓄積用メモリ７３に記録された複数の原画像符号化ストリームからどの符号化ストリームを読み出すかを選択する手段である。【００３５】
次に、動作について説明する。
１番組の画像を符号化するものとすると、入力された符号化ストリームを復号部６１で復号した復号画像か、あるいはデジタルの原画像がセレクタ６４で選択される。セレクタ６４の出力（符号化対象原画像）は、図１２の太線で示すように、符号化部６９に入力されると同時に、セレクタ６７，６８を介して符号化部７０，７１にも入力される。符号化部６９，７０，７１は、制御部７２によって設定されたそれぞれのモードにより一つの符号化対象原画像に対して符号化を行い、生成したそれぞれの原画像符号化ストリームを蓄積用メモリ７３に記録する。このときの符号化はリアルタイムＶＢＲ画像符号化である。なお、各符号化部に設定するモードとしては、例えば符号化部６９に対しては、画像フォーマット（画像サイズ）Ａ、平均レートＲ１で、符号化部７０に対しては、画像フォーマットＢ、平均レートＲ２で、符号化部７１に対しては、画像フォーマットＣ、平均レートＲ３で符号化するように設定することである。
次に、外部ディスク７５に記録する場合、外部のディスク７５の残りの容量やユーザからの設定などにより、３種類の符号化ストリームの中から最適なもの、あるいは要求設定されたものをセレクタ７４で選択して記録する。【００３６】
上記符号化を行う動作時において、符号化部６９，７０，７１の間において、符号化するフレームに対して、数フレーム分の遅延を設けるようにしてもよい。例えば、あるフレームを符号化する場合に、符号化部６９が符号化を実施した数フレーム後に、符号化部７０で符号化を行い、さらに数フレーム後に符号化部７１で符号化を行うようにする。そして、この場合、符号化部７０が符号化部６９の符号化結果を、また、符号化部７１が符号化部６９と７０の符号化結果を使用するようにする。このことにより、例えばＲ１、Ｒ２、Ｒ３の順番で平均レートが低くなっていく場合においても、一番低いレートＲ３で符号化する符号化部７１は、符号化部６９，７０の符号化結果を使用することができるため、各フレームへの情報量の配分、モードの選択などにおいて最適化を図ることができ、低いレートにおいても極端な画質劣化を防止することができる。
また、画像符号化記録読出装置に入力される画像が符号化ストリームである場合には、復号部６１から得られる復号情報を使用することで、符号化部６９，７０，７１のそれぞれにおいて符号化される各フレームへの情報量配分をリアルタイムＶＢＲ符号化の範囲内で最適化することができる。【００３７】
以上のように、この実施の形態３によれば、一つの番組の画像（符号化対象原画像）に対してそれぞれ異なる画像フォーマットと異なる符号化レートで少なくとも一対の符号化を行ってそれぞれ原画像符号化ストリームを生成し、生成された各原画像符号化ストリームを蓄積用メモリに記録しておき、蓄積用メモリに記録した複数の原画像符号化ストリームの中から用途に応じた画像フォーマットと符号化レートの原画像符号化ストリームを選択して出力するようにしたので、画質が維持された原画像符号化ストリームと高画質な原画像符号化ストリームを選択して使用することが可能となる。また、外部ディスク７５に記録する際には非リアルタイムで再度符号化を行うよりも高速で処理することができる。【００３８】
実施の形態４．
図１３はこの発明の実施の形態４による画像符号化記録読出装置の構成を示すブロック図である。図において、上記実施の形態１の図１と同じ機能部分には同一符号を付して示す。
この画像符号化記録読出装置は、画像符号化部（画像符号化手段）８０、画像復号部（画像復号手段）８１、制御部８２および蓄積用メモリ８３を備えている。画像符号化部８０は、実施の形態１の図１に示したリアルタイムＶＢＲ画像符号化部２と同じ構成を持つ。蓄積用メモリ８３は、実施の形態１の図１に示した蓄積用メモリ５と同様なタイプの記憶手段であるが、後述するように、データの蓄積管理に特徴が与えられている。画像復号部８１は、実施の形態１の図１に示したリアルタイムＶＢＲ画像符号化部２から符号化部１８を除いた構成を持ち、復号加算部１７で得られる加算画像をモニタ９６に与えて再生画像を得るようにしたものである。
したがって、実施の形態１で述べてきた動作や特徴は、この実施の形態４の同じ構成によっても同様に得ることができる。また、逆に、この実施の形態４で述べる特徴も実施の形態１に適用可能になると考えられる。【００３９】
次に、動作について概略説明する。
画像符号化部８０は、実施の形態１におけるリアルタイムＶＢＲ画像符号化部２と一般的には同じ動作を行う。すなわち、符号化部（第１の符号化部）１０は符号化対象原画像の符号化を行って原画像符号化ストリームを生成する。また、符号化部１０で生成された局部復号画像と符号化対象原画像との差分画像を差分部１３で取得し、符号化部（第２の符号化部）１１でこの差分画像の符号化を行って差分画像符号化ストリームを生成する。原画像と差分画像の両符号化ストリームは蓄積用メモリ８３に蓄積される。一方、画像復号部８１は、実施の形態１における非リアルタイムＶＢＲ画像符号化部３における復号加算部１７までと一般的には同じ動作を行う。すなわち、復号部（第１の復号部）１５は、蓄積用メモリ８３から読み出した原画像符号化ストリームを復号し原画復号画像を生成する。また、読み出した差分画像符号化ストリームを復号部（第２の復号部）１６で復号し差分復号画像を生成する。生成された原画復号画像と差分復号画像は復号加算部１７で加算され、その加算画像はモニタ９６に出力して表示される。
この差分復号画像は、符号化部１０で符号化対象原画像を符号化した結果の符号化歪を符号化部１１で符号化して復号部１６で復号したものであるので、原画復号画像に加算されると、加算画像は符号化前の符号化対象原画像に近くなる。すなわち、差分復号画像を加算せず、原画復号画像をそのまま再生したときよりも、高画質な再生が可能となる。【００４０】
この実施の形態４においては、上記動作に加えて、次に述べるように差分画像符号化ストリームの取り扱いに特徴が与えられる。
蓄積用メモリ８３に蓄積された差分画像符号化ストリームは、蓄積用メモリ８３の記録可能な残量に応じて以下のように適宜消去される。蓄積用メモリ８３の残量の状態推移について図１４に示す。図において、状態１は蓄積用メモリ８３に何も記録されていない状態を表し、Ａはその総容量を示す。状態２は数番組分が記録された状態を表す。このとき、Ｂは原画像符号化ストリームの蓄積量、Ｃは差分画像符号化ストリームの蓄積量である。しかし、使用者に知らせる記録可能な領域の残量としては、総容量から原画像符号化ストリームの蓄積量のみを除した容量、すなわち状態２の場合、ＡからＢのみを除いた容量である。次の状態３は、多数の番組が記録され、残量がかなり少なくなってきた状態を表す。この状態では、差分画像符号化ストリームの中で、Ｄで表す容量が消去される。その結果、状態４のように差分画像符号化ストリームの容量（円柱の斜線の部分）が減少し、記録可能な容量（円柱の白色の部分）が増加する。また、蓄積用メモリ８３の記録可能な残量が状態４で示されるような場合には、新たに記録する番組に対して、原画像符号化ストリームのみを蓄積し、第２の符号化部において差分画像符号化ストリームは生成されない。それ以降は、記録可能な容量に応じて、差分画像符号化ストリームは適宜消去される。最終的には、原画像符号化ストリームのみが総容量Ａ分記録されることになる。【００４１】
消去を行う差分画像符号化ストリームの順番は、差分画像符号化ストリームの容量の大きさ、番組を記録した日からの経過時間、符号化対象原画像を符号化したときの記録時間のモード、符号化対象原画像ならびに差分画像を符号化したときの平均量子化スケール値、前回再生したときからの経過時間、再生回数、番組のジャンル、差分画像を使用したときのＳ／Ｎ比の向上率などに基づいて決定することになる。例えば、ある容量の差分画像符号化ストリームを消去する場合に、容量の大きいものから順番に消していく方法を用いたとすれば、消去されるストリームの個数は少なくて済むことになる。また、符号化対象原画像を符号化したときの記録時間のモードがより高画質なモードから差分画像符号化ストリームを消去するようにした場合は、差分復号画像を加算しないことによる劣化の仕方が小さいものから消去することになる。再生回数、前回再生したときからの経過時間などによる場合、その番組の視聴頻度がわかり、したがって視聴頻度の低い番組の差分画像符号化ストリームから消去していくようにすればよい。また、消去を行う差分画像符号化ストリームの順番は、使用者により決定される順番としてもよい。【００４２】
以上説明したように、差分画像符号化ストリームは、あくまで高画質な再生を行うための補助的な符号化ストリームであるため、蓄積用メモリ８３の残量が少なくなってきた場合などにおいて適宜消去するように扱われる。このことは、使用者に知らせる記録可能な領域の残量として、総容量から原画像符号化ストリームの容量のみを除いた容量としても問題がないことを意味する。また、差分画像符号化ストリームが消去されても原画像符号化ストリームは残っているため、通常の画質の再生は問題なく行える。すなわち、蓄積用メモリ８３に差分画像符号化ストリームが存在しているときには、原画像符号化ストリームを復号・再生するときに、同時に差分画像符号化ストリームの復号を行い、その差分復号画像を原画復号画像に加算することにより、高画質な再生を行う。一方、原画像符号化ストリームが蓄積用メモリ８３に蓄積されているが、対応する差分画像符号化ストリームが蓄積されていない場合には、復号部１５で原画像符号化ストリームのみを復号し、加算画像の代わりに出力して再生する。これは、使用者が自分で指定した記録モードにおける通常の画質の再生であるため、差分画像ストリームがないことによる使用者の不利益にはならない。以上説明した動作を行うために、原画像符号化ストリームと差分画像符号化ストリームは番組単位で一緒に管理を行う。【００４３】
また、以下に示すことからも番組ごとに一緒に管理を行う必要がある。例えば、蓄積用メモリに蓄積されている原画像符号化ストリームに対して編集・消去を行ったときには、連動してこれに対応する差分画像符号化ストリームに対しても、同様に編集・消去を行わなくてはいけない。このとき、差分画像ストリームに対して、符号化のモードなどの理由により、編集ができない場合には、差分画像符号化ストリームを消去する。
さらに、図１５に示すように、蓄積用メモリに記録してある番組情報を使用者に知らせる画面において、再生画質の内容を表示するようにしてもよい。すなわち、記録した番組についての差分画像符号化ストリームが蓄積されている場合には、高画質な再生出力が可能である旨の表示（○印）を行い、一方、差分画像符号化ストリームがない場合には、通常の画質のみの再生出力が可能である旨の表示（×印）を行うようにする。【００４４】
符号化部１１で差分画像符号化ストリームを生成するときには、符号化対象原画像の符号化劣化の目立つ箇所に対して符号化歪が小さくなるように符号化することが重要である。図１６に符号化対象原画像を符号化したときと、ピクチャの符号化タイプを変えて符号化を行う方法を示す。例えばＭＰＥＧ−２のように、画面内符号化を行うＩピクチャ、片方向の画面間予測を行うＰピクチャ、両方向の画面間予測を行うＢピクチャでは、生じる符号化歪や知覚できる雑音などの種類も異なる。そのため、符号化対象原画像と差分画像の各フレームを同じ符号化タイプで符号化を行った場合、同じような雑音が発生し、符号化対象原画像の雑音が低減されない可能性がある。これを防止するためには、符号化対象原画像と差分画像の各フレームにおいて異なった符号化タイプにより、符号化を行うようにすればよい。また、符号化タイプ以外にも、差分画像の符号化において最適になるように量子化マトリクスを符号化対象原画像の符号化時とは異なったものにしてもよい。【００４５】
図１７に差分画像符号化時の各フレームに割り当てる情報量の例を示す。図１７（ａ）は、符号化部１０が符号化対象原画像を符号化したときの各フレームの量子化スケール平均値、または符号化対象原画像と局部復号画像の差分画像の絶対値和の変化を表している。この量子化スケール平均値または差分画像の絶対値和が所定閾値に対する変動幅に応じた変化情報量を求める。そして、図１７（ｂ）に示すように、その変化情報量を、所定値を基準として増減する値にして、符号化部１１で差分画像の符号化を行うときの各フレームに割り当てる情報量とする。ＭＰＥＧ−２の符号化においては、量子化スケール値が大きいほど、画質が悪くなる。また、差分画像は符号化対象原画像と局部復号画像の差分であるため、差分画像の画素の絶対値和はほぼＳ／Ｎ比に相当する。すなわち、差分絶対値和が大きいことは、Ｓ／Ｎ比が低いことと等価であり、画質が悪いことを意味する。したがって、符号化対象原画像の量子化スケール平均値、または差分絶対値和が大きいフレームは画質が悪いと考えられ、差分画像を符号化するときに、そのフレームに対しては多くの情報量を割り当てる。このことにより、画像復号部８１において原画復号画像に差分復号画像を加算したときの加算画像、すなわち再生画像の画質が大きく向上する。【００４６】
番組のジャンルにおいて、例えばスポーツ、コンサートなどの番組の画像では、ドラマ番組などに比べ、動きの変化が速く、また、照明による場面の明るさの変化も激しいことが多い。このような画像は、フレーム間の相関が低いため、符号化効率が悪い画像となる。この問題を解決するためには、ジャンルごとによる符号化劣化の差を小さくできればよい。そこで、番組のジャンルに応じて差分画像の各フレームに割り当てる情報量を決定し、この情報量により符号化部１１が差分画像の符号化を行うようにする。このことにより、画像復号部８１において、原画復号画像に差分復号画像を加算したときの加算画像、すなわち再生画像のジャンルの違いによって生じる画質の差を小さくすることができる。【００４７】
差分画像の符号化時に、フレームの量子化スケール平均値が大きい場合には差分画像自体の歪が大きくなり、画像復号部８１において、このような差分画像に対応する差分復号画像を原画復号画像と加算すると、本来存在しなかった雑音を生じさせてしまうことになる。そこで、復号加算部１７における差分復号画像と原画復号画像の加算処理において、差分画像のフレームの平均量子化値が、或る決められた閾値または原画像の符号化時のフレームの平均量子化スケール値と比較して大きい場合のフレームに対しては、原画復号画像と加算を行わないようにする。このことにより、上記雑音成分の発生を防止することができる。【００４８】
符号化部１０で符号化対象原画像を符号化したときに、周囲の画素と相関が非常に少ない孤立点と呼ばれる画素が差分画像に生じる場合がある。この孤立点は、もともと符号化対象原画像内に存在していたか、あるいは当該原画像の符号化により生じる雑音成分と考えられるが、比較的平坦な部分に発生することが多い。このような孤立点や雑音をそのまま符号化すると符号化効率が低下することになる。また、差分画像には、人物の顔などの視聴者の目が注視しやすい領域がある。これら孤立点や人物の顔などが存在する差分画像のフレームを図１８に例示する。そこで、第２の符号化部では、孤立点や雑音などの視覚的に有効でない信号成分についてはフィルタ処理により取り除いてから、差分画像の符号化を行うようにする。また、視聴者が注視するような領域については多くの情報量を割り当てて差分画像の符号化を行うようにする。差分画像において人物の顔などを検出することは困難であるので、人物の顔などの存在の有無や画面内の位置に関する情報は符号化対象原画像を符号化したときの情報を他符号化部より転送して使用すればよい。【００４９】
画像符号化部８０において、符号化対象原画像を符号化するときと差分画像を符号化するときの符号化ブロックの境界の関係を図１９に示す。図１９に示すように、差分画像を符号化するときには、符号化対象原画像の符号化ブロック境界と境界の位置を水平方向に数画素、垂直方向に数ラインずらして、すなわち、符号化ブロックの境界が重ならないようにして符号化を行う。フレームをブロックに分割して行う符号化では、符号化を行うことによりブロック歪と言われるブロック状に見える雑音が生じる場合がある。差分画像の符号化を行うときに、ブロック境界をずらすことにより、原画像の符号化により生じたブロック境界における歪を打ち消すことができる。図１９では水平方向の画素数、垂直方向のライン数とも原画像と差分画像で同じになるようにして符号化するようにしているが、差分画像の方の画素数、ライン数を増やすことにより、原画像をすべて内部に包含することもできる。この場合や図１９において、原画像の領域外の差分画像の部分は黒や灰色などの固定値に設定する。【００５０】
ＭＰＥＧ−２などの符号化では８ビットの画素値を符号化対象にしているが、原画像と局部復号画像の差分をとった差分画像の画素値は９ビットになる。また、差分画像符号化ストリームの情報量を削減するために、９ビットの画素値をシフトすることにより８ビット以下にする方法について実施の形態１の図４において説明した。しかし、原画像と局部復号画像の差分値であるため、そのほとんどの画素は８ビットで表される範囲内であると考えられる。したがって、そのようなビットシフトを行う代わりに、以下の（１）、（２）式に示すように、画素値に対してリミット処理を行うようにする。
Ｓ  ＞  Ｐｍａｘ  のとき  Ｓ  ＝  Ｐｍａｘ          （１）
Ｓ  ＜  Ｐｍｉｎ  のとき  Ｓ  ＝  Ｐｍｉｎ          （２）
ただし、Ｓを画素差分値、Ｐｍａｘを８ビットで表される最大値あるいは符号化規格で規定されている最大値、Ｐｍｉｎを８ビットで表される最小値あるいは符号化規格で規定されている最小値とする。【００５１】
また、リミット処理を行う前に（１）式または（２）式に該当する画素数をフレーム内で算出し、その個数が予め決めた閾値よりも多い場合には、そのフレームの画素に対して、ビットシフト処理を行い、一方、閾値以下の場合には、リミット処理を行うようにすることも可能である。このとき、そのフレームがビットシフト処理を行ったものか、リミット処理を行ったものか、さらにビットシフト処理を行った場合には、そのシフトした量を蓄積用メモリ８３でフレーム番号とともに保持するか、差分画像のフレーム単位のユーザデータに多重しておく必要がある。画像復号部８１における復号・加算時には、この保持または多重した情報を基に逆方向のビットシフトを行ってから加算を行えばよい。【００５２】
画像復号部８１において、原画像符号化ストリームを復号して得た原画復号画像と差分画像符号化ストリームを復号して得た差分復号画像を加算するときには、同一のフレームでなくてはいけない。そのためには、各符号化ストリームのＧＯＰヘッダのタイムコードを一致させておき、各フレームのピクチャヘッダに多重されているテンポラルレファレンスを使用する方法を用いて、フレームの同期合わせを行って原画復号画像と差分復号画像を加算する。また、ユーザデータに同期信号を多重しておく方法、またはＤＶＤレコーダ規格で規定されているＶＯＢＵ（Video Object Unit）に同期情報を多重しておく方法を用いてフレームの同期をとって、原画像復号画像と差分復号画像を加算するようにしてもよい。【００５３】
なお、上記実施の形態１においても説明したように、ここでは符号化方式の例としてＭＰＥＧ−２を適用した場合について説明してきたが、この発明は、これ以外にも、Ｈ．２６１、ＭＰＥＧ−１、ＭＰＥＧ−４、Ｈ．２６４についても適用可能である。また、フレーム間の差分、加算は符号化対象原画像と原画復号画像の画素に対して実施するので、符号化部１０と符号化部１１には、必ずしも同じ符号化方式を用いる必要はない。
また、差分画像符号化ストリームの管理や消去方法は、現行のＤＶＤレコーダなどで行っている原画像の符号化ストリームの管理や消去の方法を適用することで実現可能である。【００５４】
以上のように、この実施の形態４によれば、画像符号化部において、符号化対象原画像を符号化して原画像符号化ストリームを生成すると同時に、当該符号化対象原画像から動き補償予測に使用する局部復号画像を生成し、当該局部復号画像と符号化対象原画像の差分画像を取得し、得られた差分画像を符号化して差分画像符号化ストリームを生成し、生成された原画像符号化ストリームと差分画像ストリームを蓄積用メモリに記録し、画像復号部において、蓄積用メモリから読み出した原画像符号化ストリームと差分画像符号化ストリームのそれぞれを復号して原画復号画像と差分復号画像を生成した後、差分復号画像を原画復号画像に加算して加算画像を生成するようにしたことで、その出力の画像を高画質に維持することができる。また、蓄積用メモリの本来使用されていなかった、空いている領域を使用することにより、通常の画質以上の高画質な再生を行えるようにしているので、蓄積用メモリを有効活用することができる。【００５５】
さらに、高画質化のために用いる差分画像符号化ストリームは蓄積用メモリの記録可能な領域の残量に応じて適宜消去されるようにした場合、差分画像符号化ストリームの蓄積が原因で、原画像符号化ストリームを本来記録できる時間より短い時間しか記録できなくなるということはない。すなわち、使用者は蓄積用メモリの最初の記録時間のすべてを原画像符号化ストリームに使用することができる。また、差分画像符号化ストリームが消去されたとしても、使用者が自分で設定した記録モードの原画像符号化ストリームは蓄積用メモリに残っているため、使用者が設定した本来の画質の再生を行うことが可能であり、使用者の不利益につながることもない。
さらにまた、差分画像符号化ストリームが蓄積用メモリに存在しているときには、上記実施の形態１で示したように、小容量の外部ディスクに記録するために再符号化を行うときには、原画復号画像に差分復号画像を加算した加算画像に対して符号化を行うことで、低レートにおける画質劣化を最小限に抑えることができる。【００５６】
実施の形態５．
図２０はこの発明の実施の形態５による画像符号化記録読出装置の構成を示すブロック図である。図において、上記実施の形態３の図１２と同じ機能部分には同一符号を付して示す。
この画像符号化記録読出装置は、図１２の構成に対して、復号部１１４を備えている。復号部１１４は、蓄積用メモリ７３に蓄積された、一つの符号化対象原画像を符号化して得られた複数の原画像符号化ストリームの中からセレクタ７４によって選択されたものを復号し、原画復号画像を得る手段である。その原画復号画像は、モニタ１１５に与えられ表示されるようにした点で実施の形態３の構成と異なっている。したがって、復号部１１４を除いた各部の動作に関しては実施の形態３で述べたものと同様である。また、復号部１１４前の構成から得られるこの実施の形態５の特徴も、上記実施の形態３にも適用可能となる。【００５７】
この実施の形態５における複数の符号化部を使用した符号化対象原画像の符号化方法について説明する。
使用者が或る１番組のみを蓄積用メモリ７３に記録するときには、符号化部６９により、使用者の設定した記録時間モード（符号化平均レート）でその番組の符号化対象原画像に対して符号化を行う。例えば、使用者が４時間記録モード（ＤＶＤディスク片面４．７ギガバイトに約４時間記録できるモード：ＤＶＤレコーダのカタログではＬＰモードとも言う）で記録すると設定した場合には、符号化部６９はこのモードにより符号化を行い、生成した原画像符号化ストリームを蓄積用メモリ７３に蓄積する。また、このとき、セレクタ６７はセレクタ６４の出力を選択し符号化部７０に与え、同様にセレクタ６８もセレクタ６４の出力を符号化部７１に与える。符号化部７０は、同じ番組の符号化対象原画像に対して、使用者が設定した上記記録モードよりも高画質な記録モード、例えば２時間記録モード（ＳＰモードとも言う）、あるいは４時間記録モードよりも平均符号化レートが高く、カタログなどには記載されていない他のモードで符号化を行い、生成した原画像符号化ストリームを蓄積用メモリ７３に蓄積する。この場合、符号化部７０で生成された原画像符号化ストリームは、符号化部６９によるものよりも高画質な原画像符号化ストリームである。また、同様にして符号化部７１も、同じ番組の符号化対象原画像に対して符号化部６９，７０とは異なる記録モードで符号化を行い、生成された高画質な原画像符号化ストリームを蓄積用メモリ７３に蓄積する。【００５８】
この実施の形態５において、符号化部７０，７１で生成された高画質な原画像符号化ストリームに対する取り扱いは上記実施の形態４で説明した差分画像符号化ストリームに対する方法と同様な方法で行われる。
蓄積用メモリ７３に蓄積された高画質な原画像符号化ストリームは、蓄積用メモリ７３の記録可能な領域の残量に応じて、適宜消去されることになる。すなわち、高画質な原画像符号化ストリームは、なくても構わない、あくまで補助的なストリームとして扱われる。使用者が上記記録してある番組を再生するときに、高画質な原画像符号化ストリームが蓄積用メモリ７３に存在する場合には、その符号化ストリームを復号部１１４により復号し、生成された原画復号画像をモニタ１１５に与えて表示する。一方、高画質な原画像符号化ストリームが蓄積用メモリ７３に存在しない場合には、使用者が指定した記録モードの原画像符号化ストリームを復号部１１４により復号し、その原画復号画像をモニタ１１５に与えて表示することになる。【００５９】
高画質な原画像符号化ストリームの消去の方法、使用者が指定した記録モードの原画像符号化ストリームとの管理方法、および使用者に記録してある番組情報を知らせる画面における高画質再生の可否の情報表示などは、上記実施の形態４で説明した差分画像符号化ストリームの場合と同様である。ただし、この実施の形態５における高画質な原画像符号化ストリームは、差分画像符号化ストリームと違って、それ自体が符号化対象原画像を符号化したものであるため、復号するだけでそのまま表示することができる。したがって、上記実施の形態４における差分画像符号化ストリームの場合のように原画復号画像と加算する処理はないため、再生系は１つの復号部１１４だけでよい。また、フレーム単位の同期を合わせる仕組みも必要がない。【００６０】
また、上記実施の形態４で説明したように、符号化を行う動作時に、符号化部６９，７０，７１の間において、符号化するフレームに対して、数フレーム分の遅延を行うようにしてもよい。例えば、或るフレームを符号化する場合に、符号化部６９が符号化を実施した数フレーム後に、符号化部７０で符号化を行い、さらに数フレーム後に符号化部７１で符号化を行うようにする。そして、この場合、符号化部７０が符号化部６９の符号化結果を、また、符号化部７１が符号化部６９と７０の符号化結果を使用するようにする。具体的には、使用者が設定した記録モードで符号化部６９が符号化を行った数フレーム後に、高画質な記録モードでの符号化を符号化部７０が行うことで、各フレームへの情報量の配分、モードの選択などにおいて最適化を図ることができ、さらなる高画質化を図ることができる。【００６１】
実際問題としては、使用者が設定した記録モードの原画像符号化ストリームと高画質な原画像符号化ストリームの関係において、原画像符号化ストリームの重要度、符号化の平均レート、高画質な符号化ストリームが消去された場合の観点から考慮した場合、使用者が設定した記録モードの原画像符号化ストリームの画質を向上させることの方が利点は大きい。そのためには、先に符号化部６９により高画質な記録モードで符号化を行い、その数フレーム後に、符号化部７０で使用者が設定した記録モードでの符号化を行い、その際、先に符号化を実施した符号化部６９から得られたフレームの符号化情報を使用するようにしておく。このことにより、各フレームへの情報量の配分、モードの選択などにおいて最適化を図ることができ、低いレートにおいても極端な画質劣化を防止することができる。【００６２】
また、この実施の形態５における構成を使用して、使用者が設定した同じ記録モードで同じ番組に対して複数の符号化部６９，７０，７１で符号化を行うようにしてもよい。この場合、符号化部６９，７０，７１それぞれは、一つの符号化対象原画像に対して、同一の画像フォーマット、かつ同一の符号化レートで、Ｐピクチャの間隔、量子化マトリクスなどの符号化パラメータについてそれぞれ異なったものを使用して符号化を行うようにし、生成した原画像符号化ストリームを蓄積用メモリ７３に記録する。番組全体の符号化が終了した時点において、それぞれの符号化部に量子化スケールの平均値やＳ／Ｎ比を演算する機構が備わっている場合には、蓄積用メモリ７３に記録した原画像符号化ストリームについて量子化スケールの平均値または原画像のＳ／Ｎ比を比較し、最も画質がよいと判定された原画像符号化ストリームのみを残し、それ以外の原画像符号化ストリームについては蓄積用メモリ７３から消去するようにしてもよい。このようにすることで、使用者が設定した同じ記録モードで符号化した場合において、最適な画質の原画像符号化ストリームを使用できるようになる。【００６３】
以上のように、この実施の形態５によれば、一つの符号化対象画像に対して、使用者が設定した記録時間モード、画像フォーマットで符号化を行って原画像符号化ストリームを生成し、また、同じ符号化対象画像に対して、上記符号化よりも高画質、高解像度なモードで行って上記符号化よりも高画質な原画像符号化ストリームを生成し、各原画像符号化ストリームを蓄積用メモリに記録するようにしたことで、蓄積用メモリの本来使用されていなかった、空いている領域を高画質の原画像符号化ストリームの蓄積に使用することにより、使用者が設定した記録モードの画質以上の高画質な再生を行うことができると同時に、蓄積用メモリを有効活用することができる。また、高画質な原画像符号化ストリームは蓄積用メモリの記録可能な領域の残量に応じて、適宜消去されるため、高画質な原画像符号化ストリームのために、本来記録できる時間より短い時間しか記録できなくなるということはなく、蓄積用メモリの最初の記録時間すべてを使用者が設定した記録モードの原画像符号化ストリーム記録に使用することができる。また、高画質な原画像符号化ストリームが消去されたとしても、使用者が自分で設定した記録モードの原画像符号化ストリームは残っているため、使用者が設定した本来の画質の再生は行うことが可能であり、使用者の不利益とはならない。
また、高画質な原画像符号化ストリームが蓄積用メモリに存在しているときには、上記実施の形態１で示したように、小容量の外部ディスクに記録するために再符号化を行うときに、高画質な原画像符号化ストリームを復号し、この原画復号画像に対して符号化を行えば、低レートにおける画質劣化を最小限に抑えることができる。【００６４】
実施の形態６．
図２１はこの発明の実施の形態６による画像符号化記録読出装置の構成を示すブロック図である。この画像符号化記録読出装置は、画像符号化部１２０、画像復号部１２１、制御部１２２および蓄積用メモリ１２３を備えている。
画像符号化部１２０の構成において、復号部１２４は、画像符号化記録読出装置への入力が符号化ストリームの場合にそれを復号する手段である。セレクタ１２５は、復号部１２４によって復号された復号画像か別に入力される原画像を符号化対象原画像として選択し、また、この選択された符号化対象原画像かフレームメモリ（第１のフレームメモリ）１２９からの差分画像を選択する手段である。符号化部１２６は、入力される符号化対象原画像に対して符号化を行う手段である。また、符号化部１２６は、実施の形態１の図１で示した符号化部１０と同様に、動き補償予測に使用するための局部復号画像を表示順に出力する機能を有している。遅延用フレームメモリ１２７は、差分部１２８へ与えられる符号化部１２６からの局部復号画像と時間的なフレーム位置を合わせるための遅延量を入力画像に与える手段である。差分部１２８は、遅延された符号化対象原画像と符号化部１２６からの局部復号画像との差分をとり、その差分画像を生成する手段である。フレームメモリ１２９は、差分部１２８によって生成された差分画像を数フレーム分保持する手段である。【００６５】
制御部１２２は、画像符号化記録読出装置の各部から動作結果の情報を補助情報として取得し、また、各部のモードを設定する手段である。蓄積用メモリ１２３は、この発明では、原画像と差分画像それぞれの符号化ストリームおよび制御部１２２が各部から取得した補助情報を記録し読み出すための記憶手段である。
画像復号部１２１の構成において、復号部１３０は、画像符号化部１２０の復号部１２４と同一物とすることができる。復号部１３０は、蓄積用メモリ１２３から原画像符号化ストリームならびに差分画像符号化ストリームを読み出して復号する手段である。フレームメモリ（第２のフレームメモリ）１３１は、復号部１３０により復号された原画復号画像を数フレーム分、保持しておく手段である。復号加算部１３２は、復号部１３０で復号された差分復号画像をフレームメモリ１３１からの原画復号画像に加算して、その加算画像をモニタ１３３に与えて表示させる手段である。【００６６】
次に動作について説明する。
原画像符号化ストリームと差分画像符号化ストリームをそれぞれ生成して蓄積用メモリ１２３に記録すること、さらに、再生するときに、蓄積用メモリ１２３から原画像符号化ストリームと差分画像符号化ストリームを読み出してそれぞれ復号し、復号された原画復号像と差分復号画像を加算して表示するという動作は上記実施の形態４で説明した動作とほぼ同様である。しかし、上記実施の形態４においては、複数の符号化部、復号部を使用して上記動作を行っていたが、この実施の形態６の場合には、符号化部、復号部をそれぞれ１個で使用して行う点が異なる。【００６７】
符号化部１２６には、１フレーム期間内に複数フレームの符号化を行えるものが使用される。また、復号部１３０には、１フレーム期間内に複数フレームの復号が行えるものが使用される。１フレーム期間内に処理される符号化フレームおよび復号フレームの関係を図２２に示す。符号化部１２６では、図２２に示すように、例えば第Ｎフレームを符号化するときに、１フレーム期間の前半に符号化対象原画像に対して符号化を行い、後半に差分画像に対して符号化を行う。前半に行った符号化により生成された原画像符号化ストリームは蓄積用メモリ１２３に記録され、符号化部１２６において符号化対象原画像を符号化するときに同時に生成された局部復号画像が表示順に出力される。差分部１２８では、この出力された局部復号画像と遅延用フレームメモリ１２７によりフレーム位相合わせが行われた符号化対象原画像とから差分画像を生成する。この差分画像はフレームメモリ１２９で数フレーム分保持される。【００６８】
次に、上記１フレーム期間の後半において、フレームメモリ１２９から差分画像が読み出され、セレクタ１２５を経由して符号化部１２６に与えられる。符号化部１２６では、この差分画像に対して符号化を行い、生成された差分画像符号化ストリームを蓄積用メモリ１２３に記録する。これらの動作において、１フレーム期間の前半と後半に分けて符号化部１２６に入力する画像（符号化対象原画像または差分画像）を切り替えるためのセレクタ１２５の制御、そのタイミングに同期してフレームメモリ１２９から差分画像を出力させる制御、および蓄積用メモリ１２３に原画像符号化ストリームと差分画像符号化ストリームを個別に記録するための制御は制御部１２２で行われる。【００６９】
復号部１３０では、１フレーム期間の前半に、蓄積用メモリ１２３から読み出した原画像符号化ストリームを復号して原画復号像を生成する。生成された原画復号像は、後半に生成される差分復号画像と加算のための遅延合わせを行うために、フレームメモリ１３１で保持される。また、復号部１３０では、１フレーム期間の後半において蓄積用メモリ１２３から読み出した差分画像符号化ストリームを復号して差分復号画像を生成する。生成された差分復号画像は、先に生成され遅延された原画復号画像に復号加算部１３２で加算され、得られた加算画像はモニタ１３３に与えられて表示される。これらの動作において、１フレーム期間の前半と後半にそれぞれ原画像符号化ストリームと差分画像符号化ストリームを蓄積用メモリ１２３から読み出すための制御、および復号生成された差分復号画像と加算を行うために原画復号画像をフレームメモリ１３１から読み出すための制御は制御部１２２で行われる。【００７０】
この実施の形態６における差分画像符号化ストリームに対しても、上記実施の形態４において説明したと同じ方法が適用できる。すなわち、
以下に述べる特徴を持たせることができる。
蓄積用メモリ１２３に記録された差分画像符号化ストリームを、当該蓄積用メモリ１２３の残量に応じて消去するようにしてもよい。
符号化部１２６は、蓄積用メモリ１２３の残量に応じて差分画像符号化ストリームを生成しないようにしてもよい。
蓄積用メモリ１２３に原画像符号化ストリームが蓄積されているが、対応する差分画像符号化ストリームが蓄積されていないときには、復号部１３０は蓄積されている原画像符号化ストリームのみを復号して、画像復号部１２１は加算画像の代わりに、復号された原画復号画像のみを画像復号部１２１の再生出力とするようにしてもよい。
蓄積用メモリ１２３に蓄積される原画像符号化ストリームと差分画像符号化ストリームは、番組ごとに一緒に管理されるものとする。
蓄積用メモリ１２３に記録してある番組の情報を知らせる画面において、差分画像符号化ストリームが蓄積用メモリ１２３に蓄積されている番組に対しては、高画質の再生出力が可能である旨の表示を行い、一方、差分画像符号化ストリームが前記蓄積用メモリに蓄積されていない番組に対しては、通常の画質の再生出力のみが可能である旨の表示を行うようにしてもよい。
使用者に知らせる記録可能な蓄積用メモリ１２３の残量は、当該蓄積用メモリ１２３の総容量から原画像符号化ストリームの蓄積量のみを除した容量とする。
蓄積用メモリ１２３の残量に応じて消去される差分画像符号化ストリームの消去の順番は、差分画像符号化ストリームの容量の大きさ、記録した日付、差分画像と対をなす原画像の記録時間のモード、符号化対象原画像ならびに差分画像を符号化したときの平均量子化スケール値、前回再生したときからの経過時間、再生回数、番組のジャンルまたは差分画像を使用したときのＳ／Ｎ比の向上率を表す情報に基づいて決定されるか、あるいはユーザの選択により決定されるようにする。
蓄積用メモリ１２３に蓄積されている差分画像符号化ストリームは、対応する原画像符号化ストリームが編集・消去される場合には、連動して編集・消去され、このとき当該差分画像ストリームの編集が不可能な場合には消去されるようにする。【００７１】
符号化部１２６は、符号化対象原画像を符号化するときと異なる符号化のモードで差分画像を符号化するようにしてもよい。この場合、差分画像を符号化するモードは、ピクチャの符号化タイプ、Ｐピクチャの間隔、量子化スケール値または量子化マトリクスとする。
符号化部１２６は、符号化対象原画像を符号化したときとは画面内の符号化の開始位置を変えて差分画像を符号化するようにしてもよい。
符号化部１２６は、差分画像の各フレームの絶対値和に基づいて決定した各フレームに割り当てる情報量により差分画像を符号化するようにしてもよい。
符号化部１２６は、符号化対象原画像を符号化したときの各フレームの量子化スケールの平均値に基づいて決定した差分画像の各フレームに割り当てる情報量により差分画像を符号化するようにしてもよい。
符号化部１２６は、番組のジャンル情報に基づいて決定された差分画像の各フレームに割り当てる情報量により差分画像を符号化するようにしてもよい。
符号化部１２６は、差分値の有効ビット数を削減してから差分画像を符号化するようにしてもよい。また、差分値の有効ビット数を削減する代わりに、符号化を行う所定のビット数で表現できる範囲を超えた差分値を、所定のビット数で表現できる最大値あるいは最小値で置き換えて差分画像を符号化するようにしてもよい。
符号化部１２６は、差分画像を符号化するときに、符号化を行う所定のビット数で表現できる範囲を超えた差分値の個数をフレーム単位に集計し、当該差分値の個数が或る所定の閾値よりも大きい場合にはビットシフトを行い、当該差分値の個数が前記所定の閾値よりも小さい場合にはビットシフトを行わずに所定のビット数で表現できる最大値あるいは最小値で置き換えて行うようにしてもよい。【００７２】
符号化部１２６は、差分値に対してビットシフトを行ったフレームか、あるいは所定のビット数で表現できる最大値もしくは最小値で置き換えたフレームかを示す補助情報を蓄積用メモリ１２３に記憶するか、または当該補助情報を差分画像符号化ストリームのユーザデータに多重するようにしてもよい。
符号化部１２６は、符号化対象原画像の符号化を行ったときに生じる視聴者の目が注視するフレーム内の領域の情報を基に割り当てたフレーム内の情報量により差分画像を符号化するようにしてもよい。
符号化部１２６は、視覚的に有効でない孤立点や雑音などの信号成分をフィルタ処理により除去してから、差分画像を符号化するようにしてもよい。
符号化部１２６は、差分画像を符号化するときに、符号化対象原画像の符号化ブロック境界と境界の位置を水平方向に数画素、垂直方向に数ラインずらした符号化ブロックに対して符号化を行うようにしてもよい。
復号加算部１３２は、符号化時の差分画像のフレームの量子化スケール平均値が、予め決めた閾値または符号化対象原画像の同一フレームに対して符号化を行ったときのフレームの量子化スケール平均値よりも大きい場合には、原画復号画像に差分復号画像を加算しないようにしてもよい。
復号加算部１３２は、原画像符号化ストリームと差分画像符号化ストリームのＧＯＰヘッダに一致させて記載されるタイムコード、ユーザデータに多重される同期信号、またはＤＶＤレコーダ規格で規定されているＶＯＢＵに記述される同期用の信号に基づいてフレームの同期をとって原画像復号画像と差分復号画像を加算する。【００７３】
以上のように、この実施の形態６によれば、１フレーム期間内に複数フレームの符号化を行う機能を有し、符号化対象原画像が入力された場合には当該符号化対象原画像を符号化して原画像符号化ストリームを生成して蓄積用メモリに記録すると共に、符号化時の動き補償予測に使用する局部復号画像を表示順に出力し、また、差分画像が入力された場合に当該差分画像を符号化して差分画像符号化ストリームを生成して前記蓄積用メモリに記録する符号化部と、符号化対象原画像が入力された場合に当該符号化対象原画像を所定量遅延させる遅延用フレームメモリと、この遅延用フレームメモリからの符号化対象原画像と前記符号化部からの局部復号画像から差分画像を得る差分部と、得られた差分画像を複数フレーム分保持する第１のフレームメモリと、符号化対象原画像と第１のフレームメモリで保持されていた差分画像を１フレーム期間内に交互に選択して符号化部と遅延用フレームメモリへ入力するセレクタと、１フレーム期間内に複数フレームの復号を行う機能を有し、蓄積用メモリから交互に読み出される原画像符号化ストリームと差分画像ストリームをそれぞれ復号する復号部と、復号部で復号された原画復号画像を数フレーム分保持する第２のフレームメモリと、第２のフレームメモリで保持されていた原画復号画像に復号部で復号された差分復号画像を加算して加算画像を生成する加算部で構成している。したがって、符号化部、復号部がそれぞれ一つの場合においても、原画像の符号化・復号ならびに差分画像の符号化・復号が可能であり、実施の形態１あるいは実施の形態４と同様に画質の維持を図ることができる。
なお、この実施の形態６に示す符号化部、復号部の機能を、マイクロプロセッサを使用したソフトウェアで行う場合、マイクロプロセッサの処理能力、その時点における負荷状態に応じて、差分画像符号化ストリームの生成、あるいは差分画像符号化ストリームの復号を行うか、行わないかについて適応的に決定する制御を行うことも考慮できる。【００７４】
実施の形態７．
図２３はこの発明の実施の形態７による画像符号化記録読出装置の構成を示すブロック図である。
図２３において、復号部２２４は、画像符号化記録読出装置への入力が符号化ストリームの場合にそれを復号する手段である。セレクタ２２５は、復号部２２４によって復号された復号画像か、別に入力される原画像を符号化対象原画像として選択し、また、この選択された符号化対象原画像か、フレームメモリ２２９からの保持画像を選択する手段である。符号化部２２６は、１フレーム期間内に複数フレームの符号化を行う機能を有しており、入力される符号化対象原画像に対して符号化を行う手段である。フレームメモリ２２９は、符号化対象原画像が入力された場合に当該符号化対象原画像を複数フレーム分保持する手段である。【００７５】
制御部２２２は、画像符号化記録読出装置の各部から動作結果の情報を補助情報として取得し、また、各部のモードを設定する手段である。蓄積用メモリ２２３は、この発明では、複数の原画像符号化ストリームおよび制御部２２２が各部から取得した補助情報を記録し読み出すための記憶手段である。セレクタ２２１は、蓄積用メモリ２２３に記録された複数の原画像符号化ストリームからどの符号化ストリームを読み出すかを選択する手段である。復号部２３０は、蓄積用メモリ２２３から読み出された原画像符号化ストリーム復号し、生成された原画復号画像をモニタ２３３に与えて表示させる手段である。【００７６】
次に動作について説明する。
この画像符号化記録読出装置は、一つの番組に関する符号化対象原画像から複数の原画像符号化ストリームを生成して蓄積用メモリ２２３に蓄積し、再生するときに、用途に応じた原画像符号化ストリームを蓄積用メモリ２２３から読み出して復号するという動作は上記実施の形態３および実施の形態５で説明した動作とほぼ同様である。しかし、この実施の形態３および実施の形態５の場合には、複数の原画像符号化ストリームを生成するために、複数の符号化部を使用して上記動作を行っていたが、この実施の形態７の場合には、符号化部１個を使用して行う点に特徴がある。
符号化部２２６には、１フレーム期間内に複数フレームの符号化が行えるものが使用される。この１フレーム期間内に複数フレームの符号化を行う動作については、上記実施の形態６の図２２で説明したようになる。ただし、この実施の形態７の場合は、１フレーム期間の前半に符号化対象原画像に対して符号化を行い、後半にフレームメモリ２２９から読み出した上記符号化対象原画像に対応した保持画像に対して符号化を行うことになる。【００７７】
符号化部２２６は、１フレーム期間の前半に入力される符号化対象原画像に対して符号化を行い、生成した原画像符号化ストリームを蓄積用メモリ２２３に記録する。この場合の符号化は、使用者が設定した記録時間モード（符号化平均レート）、画像フォーマットで行われる。また、このとき同じ符号化対象原画像はフレームメモリ２２９に与えられ数フレーム分保持される。次に、上記１フレーム期間の後半において、フレームメモリ２２９で保持していた符号化対象原画像（これを、保持画像とする）が読み出され、セレクタ２２５を経由して符号化部２２６に与えられる。符号化部２２６では、この保持画像に対して符号化を行い、生成した原画像符号化ストリームを蓄積用メモリ２２３に記録する。この場合の保持画像に対する符号化は、１フレーム期間の前半に符号化対象原画像に対して行ったものよりも高画質、高解像度なモードで行われる。したがって、高画質な原画像符号化ストリームが生成され、記録されることになる。これらの符号化動作において、１フレーム期間の前半と後半に分けて符号化部２２６に入力する画像（符号化対象原画像または保持画像）を切り替えるためのセレクタ２２５の制御、そのタイミングに同期してフレームメモリ２２９から保持画像を出力させる制御、および蓄積用メモリ２２３に原画像符号化ストリームと高画質な原画像符号化ストリームを個別に記録するための制御は制御部２２２で行われる。【００７８】
再生時において、セレクタ２２１により、原画像符号化ストリームまたは高画質の原画像符号化ストリームが蓄積用メモリ２２３から読み出されると、復号部２３０では、その原画像符号化ストリームまたは高画質の原画像符号化ストリームを復号して対応した原画復号画像を生成する。得られた原画復号像はモニタ２３３に与えられて表示される。【００７９】
この実施の形態７における高画質な原画像符号化ストリームに対しても、上記実施の形態５において説明したと同じ方法が適用できる。すなわち、以下に述べる特徴を持たせることができる。
蓄積用メモリ２２３に記録された高画質な原画像符号化ストリームは、当該蓄積用メモリ２２３の残量に応じて消去されるようにしてもよい。
蓄積用メモリ２２３に記録された高画質な原画像符号化ストリームは、当該蓄積用メモリの残量に応じて生成されないようにしてもよい。
高画質な原画像符号化ストリームが蓄積用メモリ２２３に蓄積されていないときには、蓄積されている使用者が設定した記録時間モード（符号化平均レート）、画像フォーマットの原画像符号化ストリームを、当該高画質な原画像符号化ストリームの代わりに選択し再生出力とするようにしてもよい。
使用者が設定した記録時間モード（符号化平均レート）、画像フォーマットの原画像符号化ストリームと高画質な原画像符号化ストリームは、番組ごとに一緒に管理されるようにする。
蓄積用メモリ２２３に記録してある番組の情報を知らせる画面において、高画質な原画像符号化ストリームが蓄積用メモリ２２３に蓄積されている番組に対しては、高画質の再生出力が可能である旨の表示を行い、一方、高画質な原画像符号化ストリームが蓄積用メモリ２２３に蓄積されていない番組に対しては、通常の画質の再生出力のみが可能である旨の表示を行うようにしてもよい。
使用者に知らせる記録可能な蓄積用メモリ２２３の残量は、当該蓄積用メモリ２２３の総容量から使用者が設定した記録時間モード（符号化平均レート）、画像フォーマットの原画像符号化ストリームの蓄積量のみを除した容量とする。【００８０】
蓄積用メモリ２２３の残量に応じて消去される高画質な原画像符号化ストリームの消去の順番は、高画質な原画像符号化ストリームの容量、記録した日付、使用者が設定した記録時間モード、画像フォーマット、前回再生したときからの経過時間、再生回数、番組のジャンルまたは高画質な原画像符号化ストリームを復号、再生したときのＳ／Ｎ比の向上率を表す情報に基づいて決定されるか、あるいはユーザの選択により決定されるようにする。
蓄積用メモリ２２３に蓄積されている高画質な原画像符号化ストリームは、対応する、使用者が設定した記録時間モード（符号化平均レート）、画像フォーマットの原画像符号化ストリームが編集・消去される場合には、連動して編集・消去され、このとき当該高画質な原画像符号化ストリームの編集が不可能な場合には消去されるようにしてもよい。
一対の符号化の他方はそれぞれ数フレーム分の遅延を設けて符号化を行い、先に符号化を実施した一方の符号化から得られたフレームの符号化情報を、数フレーム分後に実施した符号化で使用するようにしてもよい。【００８１】
以上のように、この実施の形態７によれば、符号化対象原画像が入力された場合に当該符号化対象原画像を複数フレーム分保持するフレームメモリと、符号化対象原画像とフレームメモリからの当該符号化対象原画像に対応する保持画像を前記１フレーム期間内に交互に選択して出力するセレクタと、１フレーム期間内に複数フレームの符号化を行う機能を有し、セレクタから符号化対象原画像が入力された場合には当該符号化対象原画像に対して使用者が設定した記録時間モード、画像フォーマットで符号化を行って原画像符号化ストリームを生成して蓄積用メモリに記録すると共に、セレクタから対応する保持画像が入力された場合には当該保持画像に対して高画質、高解像度なモードで符号化を行って高画質な原画像符号化ストリームを生成して蓄積用メモリに記録する符号化部と、蓄積用メモリから読み出される原画像符号化ストリームまたは高画質の原画像符号化ストリームを復号して対応した原画復号画像を生成する復号部を備えている。したがって、符号化部が一つの場合においても、原画像に対する符号化により異なる画質の原画像符号化ストリームを複数生成することが可能であり、実施の形態５と同様な効果を奏する。
なお、この実施の形態７の説明例では、１フレーム期間内に複数フレームの符号化を行う符号化部として、２フレームの符号化により２つの異なる画質の原画像符号化ストリームを生成することについて示してきたが、１フレーム期間内に３以上のフレームの符号化を行うようにしてもよい。そうすれば、２以上の高画質の原画像符号化ストリームを得ることが可能となる。【００８２】
実施の形態８．
図２４はこの発明の実施の形態８による画像符号化記録読出装置の構成を示すブロック図である。
画像符号化記録読出装置は、リアルタイム画像符号化部１４０、非リアルタイム画像符号化部１４１、制御部１４２および蓄積用メモリ１４３を備えている。リアルタイム画像符号化部１４０を構成する各部で、実施の形態３における図１２に示したものと同じ機能部は同一の符号を付して示す。また、非リアルタイム画像符号化部１４１を構成する各部で、実施の形態２における図１０に示したもの同じ機能部にも同一の符号を付して示す。
制御部１４２は、画像符号化記録読出装置の各部にモードを設定し、また、各部の処理動作に伴う情報を取得する手段である。蓄積用メモリ１４３は、原画像符号化ストリーム、ならびに制御部１４２が各部から取得した情報を記録し、それらを読み出すための記憶手段である。外部ディスク５８は、符号化部５７で生成された符号化ストリームを記録するための取り外し可能な記録媒体である。
この実施の形態８では、符号化部５７で生成された符号化ストリームを外部ディスク５８に記録するだけでなく、蓄積用メモリ１４３にも記録できるようにした構成となっている点に特徴がある。【００８３】
この実施の形態８では、次のような機能を与えることができる。
使用者が或る番組を記録しようとしたときに、使用者が設定した画像フォーマット、記録時間モード（符号化平均レート）で符号化、記録する以外に、使用者が設定した画像フォーマットよりも高精細な画像フォーマット、あるいは使用者が設定した符号化平均レートよりも高いレートにおいても符号化して記録を行う。また、画像符号化記録読出装置は、使用者の意思に基づいた記録および再生の動作を行っていない状態（外観上で不使用状態におかれていること）において、高精細、高レートな原画像符号化ストリームの復号を行い、リアルタイム符号化時に取得、記録しておいた符号化情報を使用して非リアルタイムで復号された画像に対して再符号化を行う。この時の再符号化においては、リアルタイム符号化時に使用者が設定したと同じ画像フォーマット、符号化平均レートで符号化を実施する。生成された原画像符号化ストリームは再度、蓄積用メモリ１４３に記録される。【００８４】
上記の再符号化が終了した時点で、リアルタイム符号化時に使用者が設定したモードでの符号化情報と再符号化を行ったときの符号化情報を比較して、画質的に勝っていると判定された原画像符号化ストリームのみを蓄積用メモリ１４３に残し、画質的に劣っていると判定された方の原画像符号化ストリーム、ならびに使用者の設定よりも高精細、高レートなモードで符号化して得た原画像符号化ストリームを蓄積用メモリ１４３から消去する。【００８５】
次に、具体的な動作について説明する。
リアルタイム符号化時において、使用者が画像フォーマットＡ、符号化平均レートＲ１で符号化するように設定したとする。このとき、符号化部６９において、画像フォーマットＡ、符号化平均レートＲ１で符号化を行い、原画像符号化ストリームを生成して蓄積用メモリ１４３に記録する。同時に符号化部７０において、画像フォーマットＡ、符号化平均レートＲ２（＞Ｒ１）で符号化を行い、原画像符号化ストリームを生成し、蓄積用メモリ１４３に記録する。
次に、画像符号化記録読出装置が使用者の意思に基づいた記録および再生の動作を行っていない状態にあるとき、非リアルタイム画像符号化部１４１では、蓄積用メモリ１４３から符号化平均レートＲ２で符号化を行った原画像符号化ストリームを読み出し、復号部５６で復号する。復号により生成された原画復号画像に対して符号化部５７により符号化平均レートＲ１で符号化を行う。リアルタイムで符号化を行ったときに記録したすべてのフレームの情報を蓄積用メモリ１４３から読み出し、符号化部５７は各フレームへの最適な情報量配分を行って符号化し、生成した原画像符号化ストリームを、再度、蓄積用メモリ１４３に記録する。これにより、蓄積用メモリ１４３に記録されている原画像符号化ストリームは、リアルタイム符号化時にそれぞれ符号化を行って得た符号化平均レートＲ１と符号化平均レートＲ２の各原画像符号化ストリームと、今回の非リアルタイム符号化時に符号化を行って得た符号化平均レートＲ１の原画像符号化ストリームとなる。【００８６】
次に、蓄積用メモリ１４３に記録されているリアルタイム、非リアルタイムでそれぞれ符号化を行った符号化平均レートＲ１の原画像符号化ストリームの中で、画質が良いと判定された符号化ストリームのみを残し、画質が悪いと判定された符号化平均レートＲ１の原画像符号化ストリームと符号化平均レートＲ２の原画像符号化ストリームを消去する。この場合の画質を判定する符号化情報としては、符号化を行ったときのフレーム単位の量子化スケール値の平均値などを用いる。
なお、リアルタイム符号化時の画像フォーマットが異なる場合（例えば、Ｂ）には、符号化部５７で符号化するときに、使用者が設定した画像フォーマット（この例では、Ａ）に変換してから符号化を行う。【００８７】
以上のように、この実施の形態８によれば、一つの符号化対象原画像に対して使用者が設定した画像フォーマットと符号化平均レートで符号化すると共に、使用者が設定した画像フォーマットよりも高精細な画像フォーマットまたは使用者が設定した符号化平均レートよりも高いレートで符号化を行い、得られた各原画像符号化ストリームを蓄積用メモリに記録しておき、当該装置が使用者の意思に基づいた記録および再生の動作を行っていない状態にあるときに、蓄積用メモリから読み出した高い符号化平均レートで符号化を行った原画像符号化ストリームに対して復号し、復号により生成された原画復号画像に対して、使用者が設定した符号化平均レートで、かつ初回の符号化を行ったときのフレームの情報に基づいて各フレームへの最適な情報量配分を行って再符号化し、再符号化で生成された原画像符号化ストリームを蓄積用メモリに記録し、蓄積用メモリに記録されている、一つの符号化対象原画像に関する原画像符号化ストリームの中で、画質が良いと判定された符号化ストリームのみを残し、画質が悪いと判定された原画像符号化ストリームを全て消去し、再生時には、蓄積用メモリに記録されている当該画質が良いと判定された符号化ストリームを読み出すように構成しているので、再生時には画質のよい符号化ストリームを使用者に提供することが可能となる。
【産業上の利用可能性】
【００８８】
以上のように、この発明に係る画像符号化記録読出装置は、画像を符号化して記録し、再生するときに、記録時の原画像と同等か、より高画質の画像を提供することができるので、同時録画などの機能を与えるために複数の符号化部を搭載するＤＶＤレコーダに適用して、複数の符号部を組み合わせることにより再生出力の高画質化を図ることに適している。
【図１】
2006100820.tif 000002
【図２】
2006100820.tif 000003
【図３】
2006100820.tif 000004
【図４】
2006100820.tif 000005
【図５】
2006100820.tif 000006
【図６】
2006100820.tif 000007
【図７】
2006100820.tif 000008
【図８】
2006100820.tif 000009
【図９】
2006100820.tif 000010
【図１０】
2006100820.tif 000011
【図１１】
2006100820.tif 000012
【図１２】
2006100820.tif 000013
【図１３】
2006100820.tif 000014
【図１４】
2006100820.tif 000015
【図１５】
2006100820.tif 000016
【図１６】
2006100820.tif 000017
【図１７】
2006100820.tif 000018
【図１８】
2006100820.tif 000019
【図１９】
2006100820.tif 000020
【図２０】
2006100820.tif 000021
【図２１】
2006100820.tif 000022
【図２２】
2006100820.tif 000023
【図２３】
2006100820.tif 000024
【図２４】
2006100820.tif 000025
【国際調査報告】
2006100820.tif 000026
2006100820.tif 000027