(57)【特許請求の範囲】
【請求項１】
原画像データに対して少なくとも直交変換及び量子化処理を施すことによって、該原画像データを符号化する符号化手段であって、前記原画像データに含まれる画像と、既に符号化され復号化された画像との間で動き補償予測を行う動き補償予測部を有する符号化手段と、
前記符号化手段によって生成された符号化後の画像データに対して少なくとも逆量子化処理及び逆直交変換を施すことによって、前記符号化後の画像データを復号し、前記動き補償予測部で使用されるローカルデコード画像を生成する復号化手段と、
前記原画像データに含まれる原画像が前記復号化手段によって前記ローカルデコード画像として生成されるまでに前記原画像から遅れる時間分を調整するために少なくとも前記原画像データを遅延させる遅延手段と、
前記遅延手段によってタイミングが調整された前記原画像データと前記ローカルデコード画像のデータとを入力し、各画像が同一画面上に並べて表示されるように合成する合成手段と、
前記合成手段によって合成された画像データを表示部に供給する供給手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記符号化手段によって行われる量子化処理における量子化ステップを可変設定するモードと、固定設定するモードとを選択可能な選択手段を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
被写体を撮像して前記原画像データを発生する撮像手段と、
前記撮像手段で発生した原画像データを前記符号化手段及び前記復号化手段を動作させて画像処理した前記符号化後の画像データを記録媒体に記録する記録手段と、
を更に備えることを特徴とする請求項１又は２に記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば、画像の記録及び再生機能を有し、特に、ビューファインダ等の表示部にて画像表示を行なう機能を有する装置やシステムに用いられる画像処理装置に関するものである。
【０００２】
【従来の技術】
従来より例えば、被写体を撮影し、それにより得られた動画像を記録し再生するカメラ一体型記録再生装置としては、ディジタルビデオカメラ（ＤＶＣ）等がよく知られている。
このＤＶＣには、撮影中の画像をリアルタイムに表示するためのビューファインダが設けられているのが一般的であり、これにより、ユーザは、ビューファインダに表示されている画像を確認しながら、撮影を行なうことができる。
【０００３】
また、上述のＤＶＣにも代表されるように、撮影等によって得られた画像データをディジタル化して記録するディジタル画像記録装置では、記録対象となる画像データ（入力画像）のデータ量削減のために、入力画像データをエンコーダで符号化して圧縮してから記録するようになされている。このとき、様々な圧縮方式が用いられるが、高能率な圧縮方式としては、静止画におけるＪＰＥＧ方式や、動画におけるＭＰＥＧ方式等が標準方式としてよく用いられる。
【０００４】
【発明が解決しようとする課題】
しかしながら、入力画像（原画像）を圧縮してから記録した場合、その再生画像は、原画像に比べ、画質劣化が生じてしまう。
このため、例えば、上述したようなＤＶＣにより撮影を行なった場合、撮影中にビューファインダに表示される画像（原画像）は順次圧縮され記録されるが、その後該記録画像を再生すると、ユーザにとって、撮影時にビューファインダで確認したときのイメージと、再生したときのイメージとの間に、大きな画質の差が生じてしまう場合がある。これは、ユーザに不満を与えかねない。
特に、記録画像の圧縮率を可変設定できるＤＶＣもあるが、このようなＤＶＣにおいて、例えば、圧縮率を上げ、記録時間を優先させる設定を行なって撮影を行なうと、ユーザがイメージしていた画質とは異なる低画質の状態で記録されてしまう場合がある等、上記の問題は顕著に現れる。
【０００５】
そこで、本発明は、上記の欠点を除去するために成されたもので、ユーザが所望する状態の画像を確実に且つ容易に記録することができる画像処理装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
斯かる目的下において、本発明では、例えば、カメラ一体型記録再生装置での撮影モード時に、既に再生画像と同等の画質表示を行い、これをユーザーに確認させることで、再生時の画質を把握できるように構成する。すなわち、圧縮処理によって生じる画質の劣化を確認するために、入力画像（原画像）を一旦符号化し、さらに復号化して、これを表示部で表示する。
【０００７】
具体的には、符号化方式としてＭＰＥＧを採用したカメラ一体型記録再生装置に関しては、撮影モード時において、撮影して得られた画像をカメラ信号処理部で画像処理した後、これをＭＰＥＧエンコーダで符号化して記録媒体に記録する動作と併行して、該ＭＰＥＧエンコーダで符号化した画像データを、ＭＰＥＧエンコーダの処理過程に存在する復号処理機能を用いて復号して表示部に表示する。このときの表示形態としては、カメラからの入力画像（原画像）と、該原画像を符号化して復号した画像とを選択的に、又は合成して表示する。
また、エンコーダとデコーダの両方を個別に具備するカメラ一体型記録再生装置に関しては、撮影モード時において、撮影して得られた画像をカメラ信号処理部で画像処理した後、これをエンコーダで符号化して記録媒体に記録する動作と併行して、該エンコーダで符号化した画像を記録処理の前段階で別経路で取得し、この取得した符号化後画像をデコーダで複号して、表示部に表示する。このときの表示形態としては、カメラからの入力画像（原画像）と、該原画像を符号化して復号した画像とを選択的に、又は合成して表示する。
【０００８】
すなわち、第１の発明は、原画像データに対して少なくとも直交変換及び量子化処理を施すことによって、該原画像データを符号化する符号化手段であって、前記原画像データに含まれる画像と、既に符号化され復号化された画像との間で動き補償予測を行う動き補償予測部を有する符号化手段と、前記符号化手段によって生成された符号化後の画像データに対して少なくとも逆量子化処理及び逆直交変換を施すことによって、前記符号化後の画像データを復号し、前記動き補償予測部で使用されるローカルデコード画像を生成する復号化手段と、前記原画像データに含まれる原画像が前記復号化手段によって前記ローカルデコード画像として生成されるまでに前記原画像から遅れる時間分を調整するために少なくとも前記原画像データを遅延させる遅延手段と、前記遅延手段によってタイミングが調整された前記原画像データと前記ローカルデコード画像のデータとを入力し、各画像が同一画面上に並べて表示されるように合成する合成手段と、前記合成手段によって合成された画像データを表示部に供給する供給手段と、を備えることを特徴とする。
【００１１】
第２の発明は、上記第１の発明において、前記符号化手段によって行われる量子化処理における量子化ステップを可変設定するモードと、固定設定するモードとを選択可能な選択手段を更に備えることを特徴とする。
【００１２】
第３の発明は、上記第１又は第２の発明において、被写体を撮像して前記原画像データを発生する撮像手段と、前記撮像手段で発生した原画像データを前記符号化手段及び前記復号化手段を動作させて画像処理した前記符号化後の画像データを記録媒体に記録する記録手段と、を更に備えることを特徴とする。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００３４】
（第１の実施の形態）
本発明は、例えば、図１に示すような画像記録部１００を有する画像記録再生装置に適用される。
本実施の形態における画像記録部１００は、特に、入力画像を圧縮して記録する際に、その記録画像を再生したときの画像とほぼ同一の画質で記録画像の画質を確認できるようになされている。
【００３５】
ここで、図２は、一般的な画像記録再生装置の画像記録部５００を示したものである。
上記図１及び図２に示すように、本実施の形態における画像記録部１００は、一般的な画像記録部５００の構成に加えて、時間優先等のために圧縮率を変化させながら画像記録を行うモード（以下、「圧縮率可変モード」と言う）と、画質を優先して画像記録を行うモード（以下、「画質優先モード」と言う）とを切り替えるための固定量子化テーブル１１９及びスイッチ１１８を備えると共に、原画像と、該原画像を圧縮した後に復号した画像（後述する「ローカルデコード画像」）とを切り替えて画面表示するためのスイッチ１２０、ディジタル／アナログ変換器（Ｄ／Ａコンバータ）１２１、表示部１２２、及び表示画像外部出力端子１２３を備える構成としている。
【００３６】
尚、上記図１の画像記録部１００では、上記図２の一般的な画像記録部５００の構成と異なる構成部を点線で示す。また、ここで用いる圧縮方式としては、例えば、ＭＰＥＧ方式としている。
【００３７】
すなわち、本実施の形態における画像記録部１００は、上記図１に示すように、レンズやＣＣＤ等のカメラ部を含む撮像系１０１、Ａ／Ｄコンバータ１０２、カメラ信号処理回路１０３、画面並替回路１０４、スイッチ１０５、減算器１０６、ＤＣＴ（直交変換）回路１０７、量子化回路１０８、可変長符号化回路１０９、逆量子化回路１１０、ＩＤＣＴ（逆直交変換）回路１１１、加算器１１２、動き補償予測回路１１３、スイッチ１１４、バッファ１１５、レート制御回路１１６、及び記録媒体１１７に加えて、固定量子化テーブル１１９、スイッチ１１８、スイッチ１２０、ディジタル／アナログ変換器（Ｄ／Ａコンバータ）１２１、表示部１２２、表示画像外部出力端子１２３、及びメモリ１２４を備える構成としている。
そして、スイッチ１０５、１１４、１１８、及び１２０と、レート制御回路１１６と、可変長符号化回路１０９とをはじめとする各構成部の動作は、図示していないシステムコントローラによって制御されるようになされている。すなわち、このシステムコントローラは、装置全体の動作制御を司るものであり、図示していない操作部からの必要に応じたユーザからの指示によっても、装置全体の動作制御を行うようになされている。
以下、本実施の形態における画像記録部１００について具体的に説明する。
【００３８】
［画像符号化から記録までの一連の動作］
【００３９】
撮像系１０１にて撮像して得られた画像信号は、Ａ／Ｄコンバータ１０２によりディジタル変換されて、カメラ信号処理回路１０３に対して入力される。
【００４０】
カメラ信号処理回路１０３は、入力画像データに基づいて補正値を決定し、その補正値に従って補正した入力画像データを、色差データと輝度データに分離して１フレーム単位で画面並替回路１０４に供給する。
【００４１】
画面並替回路１０４は、複数フレームの画像データを記憶できるメモリ（図示せず）を備えており、このメモリへ、カメラ信号処理回路１０３からの１フレーム単位の画像データを、フレーム順を入れ替えて記憶して、その順で出力する。
【００４２】
具体的には例えば、図３に示すように、画面並替回路１０４には、第１フレーム、第２フレーム、第３フレーム、・・・の順に、画像データが入力される。そして、画面並替回路１０４は、入力された画像データのフレーム順を入れ替えて（画面の並び替え）、第３フレーム、第１フレーム、第２フレーム、・・・の順に、画像データを出力する。
このような画面並替回路１０４での画面の並び替えは、図４に示すような、イントラ符号化及びインター符号化を行なうために必要な処理である。
上記の”イントラ符号化”とは、フレーム内の画像データのみで符号化するものであり、上記図４に示すＩピクチャを生成するための符号化である。一方、上記の”インター符号化”とは、フレーム間予測も含めて符号化するものであり、上記図４に示すＰ及びＢピクチャを生成するための符号化である。
【００４３】
以下、イントラ符号化の場合と、インター符号化の場合とで分けて、画像並替回路１０４からの動作を説明する。
【００４４】
イントラ符号化の場合、画面並替回路１０４の後段に設けられたスイッチ１０５は、Ａ側（画面並替回路１０４からのデータを出力とする端子側）に切り替わる。
これにより、画面並替回路１０４にて画面の並び替えが行われた画像データは、スイッチ１０５を介して、ＤＣＴ回路１０７に対して入力される。
【００４５】
ＤＣＴ回路１０７は、入力された画像データを直交変換して量子化回路１０８へ供給する。
量子化回路１０８は、ＤＣＴ回路１０７からの直交変換後の画像データを量子化して、量子化後の画像データを、逆量子化回路１１０及び可変長符号化回路１０９へそれぞれ供給する。
【００４６】
逆量子化回路１１０は、量子化回路１０８からの量子化後の画像データを逆量子化して、量子化前の画像データ（直交変換後の画像データ）を復元し、それをＩＤＣＴ回路１１１へ供給する。
ＩＤＣＴ回路１１１は、逆量子化回路１１０からの画像データを逆直交変換して、直交変換前の画像データを復元する。
【００４７】
このとき、スイッチ１１４はＯＦＦ状態となっており、すなわちスイッチ１１４の出力先の加算器１１２は機能していない状態であるため、ＩＤＣＴ回路１１１にて得られた画像データは、そのまま動き補償予測回路１１３に供給される。
【００４８】
ここで、画面並替回路１０４にて画面の並び替えが行われた画像データは、動き補償予測回路１１３にも供給されている。
このため、動き補償予測回路１１３には、画面並替回路１０４の出力と、ＩＤＣＴ回路１１１の出力とが供給された状態にある。
【００４９】
動き補償予測回路１１３は、画面並替回路１０４からの画像データと、ＩＤＣＴ回路１１１からの画像データとから、次のインター符号化のための予測画像データを生成する。
【００５０】
可変長符号化回路１０９は、量子化回路１０８からの量子化後の画像データを可変長符号化して、可変長符号化後の画像データをバッファ１１５に供給する。
このバッファ１１５内の画像データは、記録媒体１１７に記録される。
【００５１】
一方、インター符号化の場合、画面並替回路１０４の後段に設けられたスイッチ１０５は、Ｂ側（後述する減算器１０６からのデータを出力とする端子側）に切り替わる。
これにより、減算器１０６において、画面並替回路１０４にて画面の並び替えが行われた画像データと、上述した動き補償予測回路１１３にて得られた予測画像データとの減算が行われ、この減算結果、すなわち時間軸方向の冗長度が落とされた画像データが、スイッチ１０５を介してＤＣＴ回路１０７へ供給される。
【００５２】
ＤＣＴ回路１０７は、減算器１０６にて時間軸方向の冗長度が落とされた画像データを直交変換して量子化回路１０８へ供給する。
量子化回路１０８は、ＤＣＴ回路１０７からの直交変換後の画像データを量子化して、量子化後の画像データを、逆量子化回路１１０及び可変長符号化回路１０９へそれぞれ供給する。
【００５３】
逆量子化回路１１０は、量子化回路１０８からの量子化後の画像データを逆量子化して、量子化前の画像データ（直交変換後の画像データ）を復元し、それをＩＤＣＴ回路１１１へ供給する。
ＩＤＣＴ回路１１１は、逆量子化回路１１０からの画像データを逆直交変換して、直交変換前の画像データを復元する。
【００５４】
このとき、スイッチ１１４がＯＦＦ状態となることで、すなわちスイッチ１１４の出力先の加算器１１２が機能していない状態となることで、ＩＤＣＴ回路１１１にて得られた画像データは、そのまま動き補償予測回路１１３に供給される。また、画面並替回路１０４にて画面の並び替えが行われた画像データは、動き補償予測回路１１３にも供給されている。
このような状態において、動き補償予測回路１１３は、画面並替回路１０４からの画像データと、ＩＤＣＴ回路１１１からの画像データとから、次のインター符号化のための予測画像データを生成する。
【００５５】
また、スイッチ１１４がＯＮ状態となることで、すなわちスイッチ１１４の出力先の加算器１１２が機能した状態となることで、加算器１１２では、動き補償予測回路１１３にて生成された予測画像データと、ＩＤＣＴ回路１１１にて得られた画像データとの加算が行われる。この加算器１１２での加算結果は、復号画像データとして、次の符号化のために、動き補償予測回路１１３に供給される。
【００５６】
動き補償予測回路１１３は、加算器１１２からの復号画像データと、画面並替回路１０４からの画像データとから、次のインター符号化のための予測画像データを生成すると共に、動きベクトルを検出する。
【００５７】
可変長符号化回路１０９は、動き補償予測回路１１３にて検出された動きベクトルに基づいて、量子化回路１０８からの量子化後の画像データを可変長符号化して、可変長符号化後の画像データをバッファ１１５に供給する。
このバッファ１１５内の画像データは、記録媒体１１７に記録される。
【００５８】
［バッファ１１５の記録レートに従った量子化制御］
【００５９】
一般に（上記図２参照）、レート制御回路１１６は、バッファ１１５の容量を認識し、その容量が目標容量より少ない場合には、次の量子化が粗く行われるように量子化回路１０８を制御し、その容量が目標容量若しくはそれ以上の場合には、予め初期値として与えられている通常の量子化を行うように、量子化回路１０８を制御することで、バッファ１１５の記録レートを１ピクチャ間にほぼ一定にする。
このとき、入力画像の動きが速かったり、色の帯域が広い場合は、レート制御回路１１６での記録レートを一定に保つための制御により、量子化回路１０８での量子化が粗く行われることになる。
【００６０】
そこで、ここでのレート制御回路１１６による量子化回路１０８の制御は（上記図１参照）、スイッチ１１８を介して行われるようになされている。
【００６１】
具体的には、まず、スイッチ１１８は、圧縮率可変モード（時間優先等のために圧縮率を変化させながら画像記録を行うモード）と、画質優先モード（画質を優先して画像記録を行うモード）との何れかのモードが設定されているかによって、Ａ側（固定量子化テーブル１１９側）と、Ｂ側（レート制御回路１１６側）との何れの出力を量子化回路１０８に与えるかを切り替えるようになされている。
【００６２】
例えば、圧縮率可変モードに設定されている場合、スイッチ１１８は、Ｂ側に切り替えられる。
これにより、レート制御回路１１６は、バッファ１１５の容量を認識し、その容量が目標容量より少ない場合には、次の量子化が粗く行われるように量子化回路１０８を制御し、その容量が目標容量若しくはそれ以上の場合には、予め初期値として与えられている通常の量子化を行うように、量子化回路１０８を制御することで、バッファ１１５の記録レートを１ピクチャ間にほぼ一定となるような制御を行う。この結果、目標時間に従って、画像データの符号化が行われ、記録媒体１１７への画像データの記録が行われることになる。このとき、目標時間を長くすることは可能であるが、この場合の圧縮率は必然的に高まる。
【００６３】
一方、画質優先モードに設定されている場合、スイッチ１１８は、Ａ側に切り替えられる。
これにより、量子化回路１０８は、レート制御回路１１６からの上述した圧縮率可変モードにおける制御に従った量子化を行うのではなく、固定量子化テーブル１１９の情報を用いた量子化を行う。すなわち、量子化回路１０８は、固定量子化テーブル１１９から量子化テーブルを読み込み、それに基づいた量子化を行うことで、処理対象の画像データの画質を一定に保つようにする。
固定量子化テーブル１１９には、例えば、イントラ符号化用と、それ以外のフレーム符号化用との２つの量子化テーブルがあり、量子化回路１０８は、これらの量子化テーブルを適宜切り替えて用いる。
このような画質優先モードでは、入力画像の動きが速かったり、色の帯域が広い場合には、記録レートは高くなるが、画質に変化のない符号化が実現できる。また、入力画像の動きが遅かったり、色の帯域が狭い場合には、記録レートは低くなる。
【００６４】
［記録画像を確認可能とする構成］
【００６５】
本実施の形態の最も特徴とする構成は、上述したように、入力画像を圧縮して記録する際に、その記録画像を再生したときの画像とほぼ同一の画質で記録画像の画質を確認できる構成にある。
このため、画像記録部１００は、次のように動作する。
【００６６】
まず、上述したＩＤＣＴ回路１１１の出力、すなわち入力画像がＤＣＴ回路１０７及び量子化回路１０８により圧縮され、その圧縮後の画像（圧縮後画像）が逆量子化回路１１０、ＩＤＣＴ回路１１１、及び加算器１１２により復号された画像（局部復号画像）は、メモリ１２４、スイッチ１２０、及びＤ／Ａコンバータ１２１を順次介して、表示部１２２に供給されるようになされている。
尚、メモリ１２４は、ブロック化された画像をフレーム画像とするために用いられる。
【００６７】
このように、ＤＣＴ回路１０７及び量子化回路１０８により圧縮画像を、ＤＣＴ回路１０７及び量子化回路１０８にそれぞれ対応した逆量子化回路１１０、ＩＤＣＴ回路１１１、及び加算器１１２により復号して、再び視認できる画像に戻された状態の画像を取得することで、圧縮→伸張（符号化→復号化）された画像、すなわち記録画像の再生画像（以下、「ローカルデコード画像」と言う）とほぼ同一な画質で、記録画像の画質の確認を行うことができる。
【００６８】
また、ここでは、カメラ信号処理回路１０３の出力（原画像）もスイッチ１２０及びＤ／Ａコンバータ１２１を順次介して、表示部１２２に供給されるようになされている。
これにより、ローカルデコード画像と、原画像とを表示部１２２にて比較することができる。
【００６９】
上記の構成をさらに具体的に説明すると、カメラ信号処理回路１０３の出力（原画像）と、加算器１１２の出力（ローカルデコード画像）とは、スイッチ１２０に供給される。
スイッチ１２０は、上述したシステムコントローラからの制御に従って、カメラ信号処理回路１０３の出力（原画像）と、加算器１１２の出力（ローカルデコード画像）とを選択的に出力する。
スイッチ１２０から出力された画像（ディジタル的な画像）は、Ｄ／Ａコンバータ１２１によりアナログ化され、画像信号に戻され、表示部１２２により表示される。これにより、ユーザは、記録画像を、該記録画像の再生画像の画質とほぼ同一の画質で確認することができる。
このとき、スイッチ１２０により選択された画像は、表示画像外部出力端子１２３（ディジタルインターフェース：ＤＩＦ等の端子）から外部出力される。これにより、その画像のテータ送信も可能となり、高精細モニタ等の外部装置での表示も可能となる。
【００７０】
上述のような、表示部１２２でのローカルデコード画像の表示は、例えば、撮影モードにおける撮影画像の記録中や、記録スタンバイ時に、実行可能なようになされている。
また、ユーザが、表示部１２２によりローカルデコード画像（記録画像）の画質を確認した後、図示していない操作部により、圧縮率可変モード又は画質優先モードの再設定を行うことで、所望する圧縮率に変更ことも可能である。この場合、この指示に従って、レート制御回路１１６は、上述したような量子化制御を再度実行する。
【００７１】
上述のように、本実施の形態では、ＭＰＥＧエンコーダの機能からローカルデコード画像を取得し、これを表示部１２２にて表示するように構成したので、回路構成を複雑にすることなく、記録画像を、該記録画像の再生画像の画質とほぼ同一の画質で確認することができる。
【００７２】
（第２の実施の形態）
上述した第１の実施の形態では、原画像と、ローカルデコード画像とを切り替えて、表示部１２２により表示するように構成したが、本実施の形態では、原画像と、ローカルデコード画像とを合成した合成画像を、表示部１２２により表示する。
このため、本実施の形態における画像記録部１００は、図５に示すように、上述した第１の実施の形態における画像記録部１００のスイッチ１２０の代わりに（上記図１参照）、画像合成回路１２５を設けると共に、原画像を所定時間遅延させるためのＦＩＦＯメモリ１２４を設けた構成としている。
尚、上記図５の画像記録部１００において、上記図１の画像記録部と同様に動作する箇所には同じ符号を付し、その詳細な説明は省略する。
【００７３】
上記図５に示すような本実施の形態における画像記録部１００では、カメラ信号処理回路１０３の出力（原画像）が、ＦＩＦＯ回路１２４に供給される。
ＦＩＦＯ回路１２４は、カメラ信号処理回路１０３の出力（原画像）を、所定時間遅延してから画像合成回路１２５に供給する。これは、加算器１１２から画像合成回路１２５に供給されるローカルデコード画像が、撮影された以降、各回路での画像処理に要した時間分だけ、原画像より遅れるためである。これにより、原画像と、ローカルデコード画像とタイミングがとられて、画像合成回路１２５での画像合成が行われることになる。
尚、ＦＩＦＯ回路１２４は、本実施の形態での必須構成ではなく、ＦＩＦＯ回路１２４を設けないように構成しても問題はない。
【００７４】
画像合成回路１２５は、ＦＩＦＯ回路１２４を介した原画像と、加算器１１２からのローカルデコード画像とを合成して合成画像を生成する。
画像合成回路１２５にて得られた合成画像は、Ｄ／Ａコンバータ１２１を介して表示部１２２に供給され、表示部１２２にて表示される。
【００７５】
図６及び図７は、表示部１２２での表示画面、すなわち画像合成回路１２５にて生成される合成画像の一例を示したものである。
上記図６は、原画像とローカルデコード画像を、それぞれ所定のサイズまで間引いて合成し、記録画質確認モードとして、原画像とローカルデコード画像を合わせて表示して比較できるような合成画像を生成した場合の一例である。
上記図７は、原画像を通常サイズで表示しつつ、その画面（大画面）上の小画面に、間引き処理したローカルデコード画像（記録画像）を合成した場合の一例である。尚、大画面にローカルデコード画像を表示し、その小画面に原画像を表示するようにしてもよい。  このような合成画像が表示部１２２に表示されることで、ユーザは、記録画像の画質を、原画像の画質と容易に比較して確認することができる。
【００７６】
（第３の実施の形態）
上述した第１及び第２の実施の形態では、符号化方式としてＭＰＥＧ方式を用いた画像記録再生装置に本発明を適用し、ＭＰＥＧエンコーダの機能からローカルデコード画像を取得して表示するようにしたが、本実施の形態では、符号化方式として任意の方式を用い、エンコーダ及びデコーダが個別に設けられた画像記録再生装置に本発明を適用して、入力画像を圧縮して記録する際に、その記録画像を再生したときの画像とほぼ同一の画質で記録画像の画質を確認できる構成を実現する。
【００７７】
このため、本実施の形態における画像記録再生装置の画像記録部を、例えば、図８に示すような構成とする。
すなわち、本実施の形態における画像記録部２００は、レンズやＣＣＤ等を含む撮像系２０１、Ａ／Ｄコンバータ２０２、カメラ信号処理回路２０３、所定の圧縮方式を用いて原画像の符号化を行なうエンコーダ２０４、符号化後の画像に対して記録処理を行う記録処理回路２０５、記録媒体２０６、記録画像の再生処理を行なう再生処理回路２０７、エンコーダ２０４での圧縮方式に対応する復号方式で画像の復号化を行なうデコーダ２０８、スイッチ２０９，Ｄ／Ａコンバータ２１０、液晶ディスプレイ等の表示部２１１、表示画像外部出力端子２１２、装置全体の動作制御を司るシステムコントローラ２１３、及び操作指示入力部２１４を備えている。
以下、本実施の形態における画像記録部２００について具体的に説明する。
【００７８】
［画像符号化から記録までの一連の動作］
【００７９】
先ず、撮像系２０１にて撮影して得られた画像信号は、Ａ／Ｄコンバータ２０２によりデジタル化され、カメラ信号処理回路２０３に供給される。
カメラ信号処理回路２０３は、Ａ／Ｄコンバータ２０２からの画像データの輝度や色の調整処理等を行う。このカメラ信号処理回路２０３での処理後の画像データは、エンコーダ２０４に供給される。
【００８０】
エンコーダ２０４は、カメラ信号処理回路２０３からの画像データを、所定の圧緒方式のアルゴリズムに基づいて符号化する。ここでの圧縮方式としては、例えば、家庭用ディジタルビデオでの帯域圧緒方式として採用されているＤＶ圧縮方式、その他ＪＰＥＧ等の標準的な画像圧縮方式、又は装置固有の画像圧縮方式等、どのような圧縮方式にも採用可能である。
エンコーダ２０４にて圧縮された画像データは、記録処理回路２０５に供給される。
【００８１】
記録処理回路２０５は、エンコーダ２０４からの画像データを、記録に適したフォーマットへ変換（フォーマット変換）した後、それを図示していない記録用ヘッドを用いて、ディスク状記録媒体等の記録媒体２０６の所定領域に記録する。
【００８２】
上述のようにして記録媒体２０６へ記録された画像を再生する場合、記録媒体２０６の記録画像は、図示していない再生用ヘッドにより読み取られる。この読み取られた記録画像データは、再生処理回路２０７へ供給される。
再生処理回路２０７は、上記再生ヘッドにより読み取られた記録画像データに対して、記録処理回路２０５でのフォーマット変換前のデータに戻す変換処理を行う。この処理後の画像データは、デコーダ２０８に供給される。
【００８３】
デコーダ２０８は、再生処理回路２０７からの画像データ、すなわち圧縮状態の画像データを、エンコーダ２０４での圧縮方式に対応した方式で、伸張する。このようにして伸張された画像データは、後述するスイッチ２０９及びＤ／Ａコンバータ２１０を順次介して、表示部２１１にて表示される。
また、Ｄ／Ａコンバータ２１０から出力される画像データは、表示画像外部出力２１２にも供給されるようになされており、これにより、その画像のテータ送信も可能となり、高精細モニタ等の外部装置での表示も可能となる。
【００８４】
［記録画像を確認可能とする構成］
【００８５】
本実施の形態の最も特徴とする構成は、上述した第１及び第２の実施の形態と同様に、入力画像を圧縮して記録する際に、その記録画像を再生したときの画像とほぼ同一の画質で記録画像の画質を確認できる構成にある。
このため、画像記録部２００は、次のような構成及び動作を実行するようになされている。
【００８６】
まず、原画像と、圧縮→伸張（符号化→復号化）された画像（ローカルデコード画像）との画質比較を実現するために、画像記録部２００では、エンコーダ２０４とデコーダ２０８を直結する。これにより、エンコーダ２０４にて得られた圧縮後の画像データは、記録処理回路２０５に供給されると同時に、デコーダ２０８にも供給される。デコーダ２０８は、エンコーダ２０１からの画像データを伸張する。
このように、画像記録部２００では、エンコーダ２０４とデコーダ２０８を直結することで、圧縮された画像データをすぐさま伸張して、ローカルデコード画像を取得する。このローカルデコード画像（記録画像の再生画像とほぼ同一な画質の画像）は、原画像と並行してリアルタイムに取得される。
【００８７】
上述のようにして得られたローカルデコード画像は、スイッチ２０９に供給される。
【００８８】
スイッチ２０９は、システムコントローラ２１３からの制御に従って、カメラ信号処理回路２０３の出力（原画像）と、デコーダ２０８の出力（ローカルデコード画像）とを選択的に出力する。
スイッチ２０９から出力された画像（ディジタル的な画像）は、Ｄ／Ａコンバータ２１０によりアナログ化され、画像信号に戻され、表示部２１１により表示される。これにより、ユーザは、記録画像を、該記録画像の再生画像の画質とほぼ同一の画質で確認することができる。
【００８９】
上述のような、表示部２１１でのローカルデコード画像の表示は、例えば、撮影モードにおける撮影画像の記録中や、記録スタンバイ時に、実行可能なようになされている。
【００９０】
上述のような構成によっても、記録画像を、該記録画像の再生画像の画質とほぼ同一の画質で確認することができる。すなわち、本発明は、ＭＰＥＧ方式を用いた画像記録再生装置に限らず、任意の符号化方式を用いたあらゆる画像記録再生装置に適用可能である。
【００９１】
尚、上述した第３の実施の形態において、スイッチ２０９の代わりに、第２の実施の形態での画像合成回路１２５のような構成を設けるようにしてもよい。これにより、原画像とローカルデコード画像を合成した合成画像を表示部２１１に表示することができ、ユーザは、原画像の画質と、記録画像の画質とを容易に比較することができる。
【００９２】
また、上述した第３の実施の形態において、エンコーダ２０４（及びそれに対応するデコーダ２０８）を、操作部２１４によりユーザから指定された圧縮率に従った可変長符号化方式を用いる構成（符号化レート制御可能な構成）とすることで、第１及び第２の実施の形態と同様に、ユーザが、表示部２１１によりローカルデコード画像（記録画像）の画質を確認した後、操作部２１４により、圧縮率可変モード又は画質優先モードの再設定を行うことで、所望する圧縮率に変更ことも可能である。この場合、システムコントローラ２１３は、操作部２１４からの指示に従って、エンコーダ２０４での圧縮率を制御する。
【００９３】
また、本発明の目的は、上述した各実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が各実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
また、コンピュータが読みだしたプログラムコードを実行することにより、各実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって各実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００９４】
【発明の効果】
以上説明したように、本発明では、原画像と、原画像を符号化した後に復元した画像とを、並べて表示するように構成したので、原画像の符号化前後の画質比較を行うことができる。
【００９５】
よって、本発明によれば、ユーザが所望する状態の画像を確実に且つ容易に記録することができる。
【図面の簡単な説明】
【図１】第１の実施の形態において、本発明を適用した画像記録再生装置の画像記録部の構成を示すブロック図である。
【図２】上記画像記録部にて用いる符号化方式（ＭＰＥＧ方式）を説明するための図である。
【図３】上記第１の実施の形態における画像記録部の画像並替回路での処理を説明するための図である。
【図４】上記符号化順序を説明するための図である。
【図５】第２の実施の形態における上記画像記録部の構成を示すブロック図である。
【図６】上記画像記録部の表示部での表示画面の一例（例１）を説明するための図である。
【図７】上記画像記録部の表示部での表示画面の一例（例２）を説明するための図である。
【図８】第３の実施の形態において、本発明を適用した画像記録再生装置の画像記録部の構成を示すブロック図である。
【符号の説明】
１００  画像記録部
１０１  撮像系
１０２  Ａ／Ｄコンバータ
１０３  カメラ信号処理回路
１０４  画像並替回路
１０５  スイッチ
１０６  減算器
１０７  ＤＣＴ回路
１０８  量子化回路
１０９  可変長符号化回路
１１０  逆量子化回路
１１１  ＩＤＣＴ回路
１１２  加算器
１１３  動き補償予測回路
１１４  スイッチ
１１５  バッファ
１１６  レート制御回路
１１７  記録媒体
１１８  スイッチ
１１９  固定量子化テーブル
１２０  スイッチ
１２１  Ｄ／Ａコンバータ
１２２  表示部
１２３  表示画像外部出力端子
１２４  メモリ
【図１】
0004280363.tif 000002
【図２】
0004280363.tif 000003
【図３】
0004280363.tif 000004
【図４】
0004280363.tif 000005
【図５】
0004280363.tif 000006
【図６】
0004280363.tif 000007
【図７】
0004280363.tif 000008
【図８】
0004280363.tif 000009