(57)【要約】【課題】  高画質、低ビットレート画像を記録する【解決手段】  第一のエンコーダにより低ビットレート圧縮画像データを第一の記録メディアに記録すると同時に、第一のエンコーダのレート制御情報をＣＰＵに蓄積し、第二のエンコーダにより高ビットレート圧縮画像を第二の記録メディアに記録する。該第二の高ビットレート圧縮画像データを伸長し、上記蓄積しておいた第一のエンコーダのレート制御情報を用いて、高ビットレート圧縮画像データを伸長した画像データを該第一のエンコーダにより再びエンコードして、画質劣化部分の画像データのみを上記再びエンコードした圧縮画像データに置き換え、記録メディアに記録する。【選択図】  図３
2008160494.tif 000002
【特許請求の範囲】
【請求項１】
センサからデジタル映像信号を生成する撮像部と、
画像圧縮を行う第一および第二のエンコーダと、
上記第一および第二のエンコーダ出力を第一および第二の記録メディアに記録する第一および第二の記録部と、
上記第一のエンコーダで圧縮する際のレート制御情報蓄積部と、
を具備する撮像装置であって、
第一のエンコーダで生成した圧縮データを上記レート制御情報に応じて第二のエンコーダで生成した圧縮データに置き換えることを特徴とする撮像装置。
【請求項２】
センサからデジタル映像信号を生成する撮像部と、
画像圧縮を行うエンコーダと、
画像圧縮と画像伸長を動作切り替えにより選択可能なコーデックと、
上記エンコーダ出力と上記コーデックでのエンコード出力を第一および第二の記録メディアに記録する第一および第二の記録部と、
上記エンコーダで圧縮する際のレート制御情報蓄積部と、
を具備する撮像装置であって、
上記コーデックで生成した圧縮データを該コーデックをデコードに切り替え伸長した後、上記レート制御情報に応じて該エンコーダで再度圧縮生成したデータを、上記レート制御情報に応じて上記エンコーダ出力データに置き換えて記録することを特徴とする撮像装置。
【請求項３】
請求項２において、
サイズ変換部を備え、上記コーデックから生成したＨＤ画像を圧縮伸長した画像を該サイズ変換部によりＳＤサイズに変換した後、上記レート制御情報に応じて該エンコーダで再度圧縮生成したデータを、上記レート制御情報に応じて上記エンコーダ出力データに置き換えて記録することを特徴とする撮像装置。
【請求項４】
センサからデジタル映像信号を生成する撮像部と、
画像圧縮を行うエンコーダと、
画像伸長を行うデコーダと、
上記エンコーダ出力を第一および第二の記録メディアに記録する第一および第二の記録部と、
上記エンコーダで圧縮する際のレート制御情報蓄積部と、
を具備する撮像装置であって、
上記エンコーダでは時分割でビットレートの異なる２つの圧縮データを生成し、該２つの圧縮データの内ビットレートの低い圧縮を行う際のレート制御情報を蓄積し、該２つの圧縮データのビットレートの高い圧縮データを上記デコーダにより伸長した後、上記レート制御情報に応じて該エンコーダで再度圧縮生成したデータを、上記レート制御情報に応じて上記ビットレートの低い圧縮データに置き換えて記録することを特徴とする撮像装置。
【請求項５】
センサからデジタル映像信号を生成する撮像部と、
画像圧縮を行う第一および第二のエンコーダと、
画像伸長を行うデコーダと、
上記エンコーダ出力を第一および第二の記録メディアに記録する第一および第二の記録部と、
上記第一のエンコーダで圧縮する際のレート制御情報蓄積部と、
を具備する撮像装置であって、
上記第一のエンコーダでは時分割でビットレートの異なる２つの圧縮データを生成し、該２つの圧縮データの内ビットレートの低い圧縮を行う際のレート制御情報を蓄積し、該２つの圧縮データのビットレートの高い圧縮データを上記デコーダにより伸長した後、上記レート制御情報に応じて上記第二のエンコーダで再度圧縮生成したデータを、上記レート制御情報に応じて上記ビットレートの低い圧縮データに置き換えて記録することを特徴とする撮像装置。
【請求項６】
センサからデジタル映像信号を生成する撮像部と、
画像圧縮および画像伸長を行うコーデックと、
上記コーデック出力を第一および第二の記録メディアに記録する第一および第二の記録部と、
上記コーデックで圧縮する際のレート制御情報蓄積部と、
を具備する撮像装置であって、
上記コーデックでは時分割でビットレートの異なる２つの圧縮データを生成し、該２つの圧縮データの内ビットレートの低い圧縮を行う際のレート制御情報を蓄積し、上記コーデックを時分割で伸長、圧縮を切り替えて動作させることにより、該２つの圧縮データのビットレートの高い圧縮データを上記コーデックで伸長した後、上記レート制御情報に応じて上記コーデックで再度圧縮生成したデータを、上記レート制御情報に応じて上記ビットレートの低い圧縮データに置き換えて記録することを特徴とする撮像装置。
【請求項７】
請求項２乃至請求項６のいずれかにおいて、
ユーザからの情報入力手段を備え、上記レート制御情報の代わりに上記ユーザからの情報に応じて、上記コーデックで再度圧縮生成したデータを、上記ビットレートの低い圧縮データに置き換えて記録することを特徴とする撮像装置。
【請求項８】
センサからデジタル映像信号を生成する撮像部と、
該撮像部で生成されたデジタル映像信号を第一のビットレートで画像圧縮を行う第一のエンコーダと、
該撮像部で生成されたデジタル映像信号を該第一のビットレートよりも高いビットレートで画像圧縮を行う第二のエンコーダと、
上記第一および第二のエンコーダ出力を第一および第二の記録メディアに記録する第一および第二の記録部と、
ユーザからの情報に応じて、第一のエンコーダで生成され第一の記録メディアに記録された圧縮データの一部または全部を、第二のエンコーダで生成され第二の記録メディアに記録された圧縮データの対応部分で置き換えるように制御する制御部と、
を備えることを特徴とする撮像装置。
【請求項９】
請求項８において、
前記撮像部はHDサイズのデジタル映像信号を出力し、
前記第一のエンコーダはデジタル映像信号をＨＤサイズからＳＤサイズに変換してＳＤサイズで画像圧縮を行い、
前記第二のエンコーダはデジタル映像信号をＨＤサイズで画像圧縮を行い、
前記制御部は、前記置き換える対応部分をＨＤサイズからＳＤサイズに変換して置き換えること、
を特徴とする撮像装置。
【請求項１０】
請求項８または９において、
前記第一のエンコーダはＭＰＥＧ２方式の画像圧縮を行い、
前記第二のエンコーダはＨ．２６４方式の画像圧縮を行い、
前記第一の記録メディアはＤＶＤであり、
前記第二の記録メディアはハードディスクであること、
を特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録再生機能を備えた撮像装置に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、例えば、特開平０８−０４６９５９号公報（特許文献１）、特開２００５−１５１１７３号公報（特許文献２）、特開２００６−２４５８６７号公報（特許文献３）、特開平１０−１９１２５５号公報（特許文献４）、特開２００６−２３７８４６号公報（特許文献５）がある。それぞれ、次のように記載されている（要約参照）。
【０００３】
特開平０８−０４６９５９号公報には、「［目的］動画像の符号化データを高品位化するための作業の効率改善を図る。［構成］共通の動画像をそれぞれ同時に圧縮符号化して、それぞれ同一符号量の参照画像を生成すると共に、それぞれ異なる符号量の非参照画像を生成する複数の符号器２、３、４、及び各符号器２、３、４で得た符号化データの中から任意に選択された符号化データを画像グループの単位で結合し、これを最終出力ストリームとしてデータ蓄積媒体９に蓄積する合成部８を備える。動画像の圧縮符号化を見掛け上一回行うだけでよくなり、人の介入を要する作業は各符号器２、３、４で得た符号化データの中から任意の符号化データを選択する作業だけとなり、作業効率の改善を実現できる。」と記載されている。
【０００４】
特開２００５−１５１１７３号公報には、「［課題］同一の動画像コンテンツを高ビットレートで符号化して第１の記録部に記録すると同時に、低ビットレートで符号化して第２の記録部に記録した場合、両者を連携して再生する方法を実現する。［解決手段］復号部１０４が第１の記録部１０２に記録された符号化データを再生し、これに続いて再生を停止すると、管理部１０５は、最後に再生されたパケットの次にあるパケットのタイムスタンプを再生開始点として符号化データのヘッダに書き込む。同時に、この時の時刻が再生開始点の更新時刻としてヘッダに書き込まれる。管理部１０５は次に、第２の記録部１０３に記録された符号化データの再生開始点と再生開始点の更新時刻を、第１の記録部１０２に同期させる働きをする。」と記載されている。
【０００５】
特開２００６−２４５８６７号公報には、「［課題］記録済みの映像信号を極力再圧縮せずに、ユーザが記憶容量をコントロール可能な映像記録再生装置を提供する。［解決手段］映像信号をそれぞれ異なるビットレートでエンコードして記録媒体に記録する２以上のエンコーダと、記録媒体に記録中または記録終了後に、いずれかのエンコーダを介して記録された映像データを削除する手段とを備える。」と記載されている。
【０００６】
特開平１０−１９１２５５号公報には、「［課題］本発明は、記録再生装置に関し、簡易な構成でデータの破損によつて生じる出力の乱れを未然に防止し得るようにする。［解決手段］入力データを第１のビツトレート及び第１のビツトレートに比して低いビツトレートの第２のビツトレートで圧縮符号化して記録媒体（５）に記録するようにしたことにより、再生時、第１のビツトレートで圧縮符号化されたデータが破損された場合は、第２のビツトレートで圧縮符号化されたデータを伸長復号化して出力し得、データの破損によつて生じる出力の乱れを未然に防止し得る。かくするにつき簡易な構成でデータの破損によつて生じる出力の乱れを未然に防止し得る。」と記載されている。
【０００７】
特開２００６−２３７８４６号公報には、「［課題］記録メディアに応じた最適な符号量制御が可能な装置を提供する。［解決手段］動画像データを入力する入力手段と、前記動画像データを符号化する符号化手段と、前記符号化手段により出力された符号化動画像データを第１の記録媒体に記録する第１の記録手段と、前記符号化手段により出力された符号化動画像データを第２の記録媒体に記録する第２の記録手段と、前記第１の記録媒体と前記第２の記録媒体のうち一方を選択して前記符号化動画像データを記録させる選択手段と、前記符号化手段により出力される符号化動画像データの発生符号量を制御する符号量制御手段と、前記選択手段の選択結果に応じて前記符号量制御手段による制御手順を変更する変更手段とを備える。」と記載されている。
【０００８】
【特許文献１】特開平０８−０４６９５９号公報
【特許文献２】特開２００５−１５１１７３号公報
【特許文献３】特開２００６−２４５８６７号公報
【特許文献４】特開平１０−１９１２５５号公報
【特許文献５】特開２００６−２３７８４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
画像圧縮し、記録する方法として、２パスエンコードが知られている。この２パスエンコードでは、一度エンコードをした後、その際のエンコードで得られたレート制御情報等を基に、再度エンコードし、画質向上する手法である。
【００１０】
しかしながら、従来の技術では、圧縮する元画像データを保持しなければならず、大掛かりな装置を必要とする。そのため、携帯して用いることが多く、小型化が求められるカメラでは、２パスエンコードは用いられにくい。
【００１１】
他方、近年の画像圧縮においては、高ビットレートの画像と低ビットレートの画像を同時に記録することも可能となってきている。この場合、低ビットレートの画像にとっては、圧縮する元画像データを保持しなくとも、高ビットレートの画像を用いることで、２パスエンコードを実現することができる。
【００１２】
そこで、複数のメディアを利用し、低ビットレートであっても高画質の記録をすることができ、かつ、簡単な構成の撮像装置が望まれる。
【００１３】
本発明の目的は、撮像装置の高画質化である。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、その一例として、高ビットレートの画像と低ビットレートの画像を同時に記録し、高ビットレートの画像から低ビットレートの画像へ置き換え、もしくは高ビットレートの画像を再エンコードして高画質の低ビットレート画像を生成、記録するようにする。
【００１５】
本発明の詳細は、特許請求の範囲に記載のとおりである。
【発明の効果】
【００１６】
本発明によると、撮像装置の高画質化が実現される。一例として、低ビットレートで高画質画像を記録することができ、メディアへの記録容量を削減することができ、より高画質で記録時間を長くすることができる。
【００１７】
なお、上記した以外の本発明の課題、構成、効果は、実施形態の中で説明される。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施形態を図面により説明する。
【実施例１】
【００１９】
図１は本発明による撮像装置の一実施形態を示すブロック図であって、１はレンズ、２はセンサ、３はカメラ信号処理、４は該１、２、３を総称した撮像部、５は第一の画像圧縮用エンコーダ１、６は第二の画像圧縮用エンコーダ２、７はメモリ制御部、８は画像データ格納用メモリ、９はCPU、５０はレート制御情報保持部、５１は画質劣化判定部、１０はストリーム制御部、１１は第一の記録メディア1、１２は第二の記録メディア２、１３はバッファメモリである。例えば、第一の記録メディア１は光ディスク（例えば、ＤＶＤ）を、第二の記録メディア２はハードディスクを用いることができるが、これに限定されない。また、例えば、第一の画像圧縮用エンコーダ１はＭＰＥＧ２方式の画像圧縮を、第二の画像圧縮用エンコーダ２はＨ．２６４方式の画像圧縮を用いることができるが、これに限定されない。
【００２０】
同図において、撮像部４から出力されるデジタル画像データはメモリ制御部７を介してメモリ８に格納される。該格納されたデジタル画像データは所定のタイミングでメモリ８より読み出し、第一のエンコーダ５と第二のエンコーダ６それぞれに供給する。第一のエンコーダ５の出力は低ビットレートで画像圧縮され、ストリーム制御部１０に入力し、一旦バッファ１３に格納去れた後、第一の記録メディア１１に書き込む。それと同時に、第二のエンコーダ６の出力は高ビットレートで画像圧縮され、第一のエンコーダ出力と同様にストリーム制御部１０から一旦バッファ１３に格納した後、第二の記録メディア１２に記録する。CPU９は上記第一のエンコーダ５から、発生符号量を制御するためのレート制御情報として、レート制御情報保持部５０に記憶し、該レート制御情報から画質劣化位置を画質劣化判定部５１により判定し、該画質劣化位置を記憶する。次に、記録終了後について説明する。第一の記録メディアに記録された圧縮画像データと第二の記録メディアに記録された圧縮画像データを同時にストリーム制御部１０に読み出し、上記検出した画質劣化位置でない場合は、第一の記録メディアに記録された圧縮画像データをそのまま再度第一の記録メディア１１に書き戻し、上記画質劣化した画像位置の場合は、第二の記録メディアから読み出した圧縮画像データに置き換えて第一の記録メディア１１に記録する。これにより、第一に記録メディア１１に記録された低ビットレート画像の画質劣化部が高ビットレートの画像に置き換わり高画質な画像を記録することができる。なお、上記置き換えは例えばGOP（Group Of Picture）単位とすることにより、より高画質な画像を得ることができる。この様子を図２に示す。図２において、画像入力はそれぞれI_picture、P_picture、B_pictureとしてエンコードし、一般的に１５枚程度の画像データをGOPとする。このGOP単位で画質劣化の大きいGOPを高画質の圧縮データに置き換える。図２の例では、GOP2-Lが高画質なGOP2-Hに置き換わり、記録メディアに書き込むことができる。GOP単位での画質劣化の判断は、Qパラメータ情報から行う。Qパラメータ情報が所定の値を逸脱した場合は動きの激しい画像、もしくは高周波成分の多い細かい絵柄等であり、画質が劣化していると判断すればよい。
【００２１】
ところで、一般的にはQパラメータ情報はマクロブロック（１６×１６画素）単位での量子化係数を意味し、量子化係数が大きいほど、量子化ステップが荒くなり画質劣化が大きくなる。Qパラメータ情報はマクロブロック単位の情報のため、画質劣化の判断にはPicture毎の平均値、あるいはGOPでの平均値を用いる等により行えば情報量を少なくすることが可能である。
【００２２】
なお、図２のGOP構成では、B0、B1で示すB_pictureは、前のGOPのP12を予測画像として生成することが可能であるが、本実施例では、GOP単位でのデータ置き換えを行うため、同一GOP内のI2を予測画像としたクローズドGOPとしてエンコードすることが望ましい。
【００２３】
本実施例では、第二のエンコーダ６の出力を記録メディア１１に全圧縮画像データを記録することにより実現したが、上記検出した画質劣化位置情報に対応した画像データのみを記録し、上記第一のエンコーダ５により記録された圧縮画像データの置き換え位置の時だけ、記録メディア１１出力を読み出し、該出力で置き換えるよう構成することも可能である。また、記録メディア１０には低ビットレートデータ、記録メディア１１には高ビットレートデータを記録することにより説明したが、入れ替えて記録してもよいことは言うまでもない。
【実施例２】
【００２４】
図３は第２の実施形態を示すもので、図１で示した第１の実施形態との相違点は第二のエンコーダ６をコーデック１４に置き換えた点で、第１の実施形態と同一機能部分には同一記号を付し、その説明を省略する。
【００２５】
本実施例において、第一、第二の記録メディアに記録するところまでは、第１の実施形態と同様であり、記録するまでの説明は省略し、記録データを読み出すところから説明する。なお、レート制御情報としては、Qパラメータ情報とスタッフィング情報を記憶しレート制御情報保持部５０に、また、画質劣化位置については、レート制御情報保持部に格納された情報から、画質劣化判定部５１により検出し、保持する。次に記録後の動作を説明する。第一のメディア１１、第二のメディア１２から、同時に記録されたデータを読み出し、第二の記録メディアから読み出された圧縮画像データはストリーム制御部１０を介しコーデック１４に供給される。ストリーム制御部１０では、バッファ１３によりバッファリングを行い、データ出力タイミングを制御する。次に、該コーデック１４では圧縮画像データを伸長し、復号画像データを生成する。該画像データはメモリ制御部７を介してメモリ８に記憶され、所定のタイミングで第一のエンコーダ５に読み出す。第一のエンコーダでは記録時に検出された画質劣化位置の画像データを保持していたレート制御情報に基づき再エンコードし、画質改善を行う。該再エンコードデータをストリーム制御部１０に供給し、第一に記録メディアから読み出した圧縮ストリームに置き換える。これにより、第１の実施形態と同様、低ビットレートでかつ高画質な画像を記録することができる。
【００２６】
次に、再エンコードする際の画質改善について説明する。再エンコード時の画質改善は記憶しておいたレート制御情報を基づいて行う。例えば、GOP単位内での各PictureのQパラメータ値の平均値が高いPictureに対して再エンコード時での符号量割り当て量を増やし、また、Qパラメータ値の平均値が低いPicture、あるいはスタッフィング量の多いPictureに対しては符号量割り当てを少なくすることでより高画質な圧縮画像を得ることができる。また、マクロブロック毎あるいは、複数マクロブロック毎にQパラメータ値を参照し、マクロブロック、あるいは複数マクロブロック毎に符号量割り当てを行えばさらに高画質な圧縮画像を記録することができる。なお、本実施例ではスタッフィング情報を記録時に記憶することにより説明したが、再エンコード前でのデコード時に記憶することも可能である。
【００２７】
以上、本実施例によれば、第１の実施形態のようにビットレートが上がることなく、低ビットレートを保ったまま、高画質な画像を記録することが可能である。
【実施例３】
【００２８】
図４は第３の実施形態を示すもので、図３で示した第２の実施形態との相違点はサイズ変換部１５を備えた点で、第２の実施形態と同一機能部分には同一記号を付し、その説明を省略する。
【００２９】
本実施例において、第一の記録メディアに記録するところは第２の実施形態と同様で、低ビットレートかつSDサイズ（例えば720×480）の画像を記録し、また、画質劣化位置情報およびレート制御情報をCPUに蓄積する。これに対し第二の記録メディアにはHDサイズの圧縮画像データを記録する。該第二の記録メディアから読み出されたデータはストリーム制御部１２を介してコーデック１４に入力され、HDサイズ（例えば1920×1080）の画像として、メモリ制御部６を介しメモリ７に記憶される。次に所定のタイミングでメモリ７より読み出されたHDサイズの映像データはサイズ変換部１５によりSDサイズへダウンコンバートする。第一のエンコーダでは記録時に検出された画質劣化位置の画像データを保持していたレート制御情報に基づき上記SDサイズへダウンコンバートした映像信号を再エンコードし、画質改善を行う。該再エンコードデータをストリーム制御部１０に供給し、第一に記録メディアから読み出した圧縮ストリームに置き換える。本実施例においても、再エンコード時の動作については、図３の実施例と同様であり、説明は省略する。
【００３０】
これにより、本実施例では、第２の実施形態と同様、低ビットレートな画像を記録することが可能である。
【実施例４】
【００３１】
図５は第４の実施形態を示すもので、図３に示す実施形態との相違点は、第二のエンコーダ６をデコーダ１６で構成した点で、その他は図３に示す実施形態と同様であり、同一機能部分には同一記号を付し、その説明を省略する。
【００３２】
本実施例では、第一のエンコーダ５を時分割で低ビットレートと高ビットレートそれぞれの圧縮画像を生成し、それぞれ第一の記録メディア１１、第二の記録メディア１２に記録する。記録タイミングの一例を図６を用いて説明する。撮像部４から入力したデジタル画像信号はメモリ制御部６を介してメモリ７に記憶する。図６において、あるタイミングの入力画像を番号を付し０、１、２---とした場合、Iピクチャとしてエンコードする２の画像データがメモリ７に記憶された次のフレームからエンコードを開始する。この際、エンコーダ５では低ビットレートの圧縮画像として、S２Aの画像を出力し、ストリーム制御部１０を介して第一のメディア１０に記録すると同時に、CPU９へレート制御情報から検出した画質劣化位置情報、レート制御情報を蓄積する。その後、高ビットレート圧縮画像として、S2Bを出力し、ストリーム制御回路１０を介し第二の記録メディアに記録する。その後、それぞれの記録メディアから圧縮画像データを読み出し、高ビットレート画像をデコーダ１６で伸長し、メモリ７へ記録する。その後、図３、図4に示す実施形態と同様にメモリ７から読み出した伸長画像から、レート制御情報に基づき低ビットレート画像を再エンコードすることにより生成し、第一の記録メディア１１への記録する。本実施例では、図３、図４の実施例のコーデック１４がデコーダ１６となるため、回路規模を小さくできる特徴がある。
【００３３】
以上、本実施例によれば、高画質な低ビットレート画像の記録を少ない回路規模により実現することができる。
【実施例５】
【００３４】
図７は第５の実施形態を示すもので、第一、第二の２つのエンコーダ５、６と、デコーダ１６から構成したもので、他の実施形態と、同一機能部分には同一記号を付し、その説明は省略する。
【００３５】
本実施例において、第一のエンコーダ５は第４の実施形態と同様、時分割で、高ビットレート画像と低ビットレート画像を生成し、それぞれ第一、第二の記録メディア１１、１２に記録する。その際低ビットレート画像のレート制御情報をCPU9に同時に記録する動作、および再エンコードにより高画質低ビットレート圧縮画像の生成する動作は第２、第３、第４の実施形態と同様である。
【００３６】
図８は本実施例の動作を説明する図で、１つのＧＯＰを記録し終わると、高ビットレート画像データと低ビットレート画像データを同時に読み出し、高ビットレート画像データをデコーダ１６で伸長しメモリに蓄えた後、第二のエンコーダ６により、蓄積しておいた、低ビットレート画像生成時のレート制御情報に基づき再度圧縮し、低ビットレート、高画質な圧縮画像データを生成し、ストリーム制御部１０に供給する。これと同時に、記録メディア１１に記録した低ビットレート圧縮データをストリーム制御部に供給する。ここで、画質劣化部の該低ビットレート圧縮データを上記、再度圧縮した低ビットレートに置き換え、第二の記録メディア１２に記録する。
【００３７】
以上説明したように、本実施例によれば、高画質低ビットレート圧縮画像を記録することができるとともに、記録後、高画質変換動作を行うことなく記録することができる。
【実施例６】
【００３８】
図９は第６の実施形態を示すもので、第五の実施形態における記録メディアを記録メディア１１の一つで構成した点以外は第六の実施形態と同様であり、同一機能部分には同一記号を付し、その説明は省略する。
【００３９】
本実施例では、記録メディアを記録メディア１１の一つで構成し、第一のエンコーダ５は第４の実施形態と同様、時分割で、高ビットレート画像と低ビットレート画像を生成し記録メディア１１に記録する。その際低ビットレート画像のレート制御情報をCPU9に同時に記録する動作、および再エンコードにより高画質低ビットレート圧縮画像の生成する動作は第２、第３、第４、第５の実施形態と同様である。本実施例における記録メディア１１は、２つの圧縮ストリームを同時に記録、また、記録後の再エンコードでの高画質低ビットレート圧縮画像の生成時の同時読み出しと、２つのストリームを扱う必要があるため、高速動作が要求される。また、容量的にも２つの圧縮ストリームを記録するため、大容量が必要である。
【００４０】
本実施例によれば、一個の記録メディアにより構成できるので、小形で高画質低ビットレート圧縮画像を記録することができる。
【実施例７】
【００４１】
図１０は第７の実施形態を示すもので、エンコード、デコード機能をコーデック１４一個のみで構成した点以外は他の実施形態と同様であり、同一機能部分には同一記号を付し、その説明は省略する。
【００４２】
本実施例では、低ビットレートと高ビットレートの圧縮画像を時分割でコーデック１４で生成し、低ビットレート画像のレート制御情報をCPU9に同時に記録すると同時に、それぞれ記録メディア１１、１２に記録する。その後、記録された圧縮ストリームの読み出しは他の実施例と同様であるが、再エンコードの際には、コーデック１４では、デコードとエンコードを時分割にて行う。図１１は本実施例の動作を説明する図で、低ビットレートの圧縮画像データおよび高ビットレート圧縮画像データをそれぞれ、S0A---、S0B---と生成し、記録する。次に記録メディア１２から読み出された該高ビットレート圧縮画像データはストリーム制御部１０を介してコーデック１４に供給される。コーデック１４では、図１１の再エンコード時の動作に示すように、D0B---で示すデコード動作と、S0---で示す再エンコード動作を時分割で行う。蓄積しておいた低ビットレート画像生成時のレート制御情報に基づく再エンコード動作については、他の実施例と同様の動作を行うので、説明は省略する。
【００４３】
以上説明したように、本実施例によれば、圧縮伸長をコーデック１４のみで行うことができるので、回路規模が小さく、低コストで高画質低ビットレート圧縮画像を記録することができる。
【実施例８】
【００４４】
図１２は第８の実施形態を示すもので、画質劣化の判断をユーザが行うよう構成した実施例である。本実施例は図３に示す実施例に画質劣化部分をユーザが指定できるよう、スイッチ１７を備えた点以外、図3の実施例と同様の動作を行うので、同一機能部分には同一記号を付し、その説明は省略する。
【００４５】
本実施例において、レート制御情報としてQパラメータ情報とスタッフィング情報を記憶すること、および第一、第二の記録メディアに記録するところまでは、図３の実施例と同様であるが、画質劣化位置はユーザが位置を指定するので、保持する必要はない。記録した後、ユーザは低ビットレート画像の再生を行い、モニタ等で見ながら画質劣化が激しいと判断すると、スイッチ１７をONすることにより、CPUは画質劣化位置情報として保持する。ユーザが再生を終了すると、上記画質劣化位置情報に基づいて、高ビットレート圧縮画像データを伸長、該伸長データから、高画質低ビットレート圧縮画像データを生成する。本高画質低ビットレート圧縮画像データの生成については、図３と同様の動作により行うので、説明は省略する。なお、再エンコードによる画質改善動作はGOP単位で行うので、ユーザが画質劣化と判断した画像を含むGOPはすべて再エンコードすればよい。
【００４６】
本実施例によれば、ユーザが画質確認を行った後、その部分について画質改善動作を行うことができるので、ユーザの満足度の高い圧縮画像を生成できる。また、本実施例のように、ユーザが画質劣化位置を指定する構成を図３の実施例から実現したが、本発明の他の実施例を用いて実現することが可能であることはいうまでもない。
【実施例９】
【００４７】
図１３は第９の実施形態を示すもので、図３に示す実施例に音声処理を加えたもので、図３の実施例と同一機能部分には同一記号を付し、その説明は省略する。まず、本実施例での記録について説明する。マイク３０より音声信号が入力し、音声処理部３２で適性レベルのデジタル音声データとした後、音声コーデック３３により圧縮音声データを生成し
ストリーム制御部２０に供給する。一方、映像データについては、図３で説明したように、高ビットレート圧縮画像データ、低ビットレート圧縮画像データが生成され、音声信号と同様に、ストリーム制御部２０に供給される。ストリーム制御部２０に供給された２つの圧縮画像データと音声圧縮データは、図１４に示すストリーム制御部２０の詳細図に示す、MUX/DEMUX部２１、２２にそれぞれ供給され、映像、音声を含むシステムストリームが生成される。該生成された２つのシステムストリームは記録メディア１１、１２にそれぞれ記録される。その際、バッファ１３によりバッファリングし、システムストリームの生成タイミングおよび記録タイミングを調整する。次に、再エンコード動作により説明する。上記記録メディア１１、１２から上記２つのシステムストリームを読み出し、バッファ１３によりタイミングを調整しながら、それぞれMUX/DEMUX部２１、２２により音声圧縮データと画像圧縮データに分離される。この時、音声データはバッファ１３に保持しておく。分離後、高ビットレートの圧縮画像データをデコード、低ビットレート画像のレート制御情報に基づいて再エンコードするところは図３の説明と同様である。該再エンコードされた画質改善された圧縮画像データは、再度、ストリーム制御部２０に供給され、
MUX/DEMUX部２１により上記保持しておいた音声圧縮データと上記圧縮画像データからシステムストリームを生成して、記録メディア１１に記録する。なお、映像、音声の再生では、上記２つのシステムストリームのいずれかの音声を出力するため、切り替え部２３を設けている。
【００４８】
以上、本実施例によれば、低ビットレート高画質圧縮画像データをを圧縮音声データとともに圧縮規格にのっとり一つのストリームとして記録することができる。
【００４９】
なお、本実施例では圧縮音声データは１つのみ生成することにより説明したが、画像データと同様に２つの圧縮データを使用してもよい。その際、音声コーデックを２つ準備してもよいが、音声コーデック３３を時分割で動作させると、ハードを増やすことなく実現できる。また、本実施例では、低ビットレート圧縮画像データ、高ビットレート圧縮画像データそれぞれに対してシステムストリームとして一旦記録する構成としたが、たとえば、低ビットレート圧縮画像データのみをシステムストリームとして記録し、高ビットレート圧縮画像データは画像データのみを記録することによりMUX/DEMUX部２２、音声切り替え部２３を省略した構成とすることも可能である。
【００５０】
なお、圧縮伸長の方式については、MPEG-1、MPEG-2、MPEG-4、H.264等の動画圧縮規格があるが、特に圧縮方式にこだわるものではなく、本発明のいずれの実施例においても有効であることについても言うまでもない。
【００５１】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
【図面の簡単な説明】
【００５２】
【図１】本発明による撮像装置の第１の実施例を示すブロック図である。
【図２】図１における撮像装置の動作を模式的に示す図である。
【図３】本発明による撮像装置の第２の実施例を示すブロック図である。
【図４】本発明による撮像装置の第３の実施例を示すブロック図である。
【図５】本発明による撮像装置の第４の実施例を示すブロック図である。
【図６】図５における撮像装置の動作を模式的に示す図である。
【図７】本発明による撮像装置の第５の実施例を示すブロック図である。
【図８】図７における撮像装置の動作を模式的に示す図である。
【図９】本発明による撮像装置の第６の実施例を示すブロック図である。
【図１０】本発明による撮像装置の第７の実施例を示すブロック図である。
【図１１】図１０における撮像装置の動作を模式的に示す図である。
【図１２】本発明による撮像装置の第８の実施例を示すブロック図である。
【図１３】本発明による撮像装置の第９の実施例を示すブロック図である。
【図１４】図１３のストリーム制御部を説明するブロック図である。
【符号の説明】
【００５３】
１  レンズ
２  センサ
３  カメラ信号処理部
４  撮像部
５  第一のエンコーダ
６  第二のエンコーダ
７  メモリ制御部
８  メモリ
９  ＣＰＵ
１０  ストリーム制御部
１１  第一の記録メディア
１２  第二の記録メディア
１３  バッファ
１４  コーデック
１５  サイズ変換部
１６  デコーダ
１７  スイッチ
２０  ストリーム制御部
２１  MUX/DEMUX部
２２  MUX/DEMUX部
２３  切り替え部
３０  マイク
３１  スピーカ
３２  音声処理部
３３  音声コーデック
５０  レート制御情報保持部
５１  画質劣化判定部
【図１】
2008160494.tif 000003
【図２】
2008160494.tif 000004
【図３】
2008160494.tif 000005
【図４】
2008160494.tif 000006
【図５】
2008160494.tif 000007
【図６】
2008160494.tif 000008
【図７】
2008160494.tif 000009
【図８】
2008160494.tif 000010
【図９】
2008160494.tif 000011
【図１０】
2008160494.tif 000012
【図１１】
2008160494.tif 000013
【図１２】
2008160494.tif 000014
【図１３】
2008160494.tif 000015
【図１４】
2008160494.tif 000016