(57)【要約】【課題】画像データをプリプロセス回路の前後にフィードバックして画像処理を行うことにより付加価値の高い画像記録装置を提供する。【解決手段】フォーマット変換回路４１は、エンコーダ２６の出力データをＣＣＤからの入力データのデータ形式にフォーマット変換して選択回路４２に出力する。選択回路４２は、ＣＣＤからの入力データとフォーマット変換回路４１からのデータとのいずれか一方を選択してプリプロセス回路２２に出力する。選択回路４２において、フォーマット変換回路４１からのデータがプリプロセス回路２２の入力データとして選択され、エンコーダ２６の出力データをフィードバックすることにより、撮像システムが擬似的に構築される。【選択図】      図１
2005151158.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子からの入力データをバッファメモリに転送するとともに、該データから制御情報を検出するプリプロセス回路と、
前記バッファメモリからデータを取り込んで画像処理を施す画像処理回路と、
前記画像処理回路における画像処理後の画像データが入力され、その画像データに基づいて表示装置に映像を表示させる映像出力回路と
を備え、前記画像データを外部装置に記録する画像記録装置であって、
前記映像出力回路が出力するデータを前記入力データのデータ形式にフォーマット変換して出力するフォーマット変換回路と、
前記撮像素子からのデータと前記フォーマット変換回路からのデータとが入力され、該各データのいずれか一方を選択して前記プリプロセス回路に出力する選択回路と
を備えたことを特徴とする画像記録装置。
【請求項２】
撮像素子からの入力データをバッファメモリに転送するとともに、該データから制御情報を検出するプリプロセス回路と、
前記バッファメモリからデータを取り込んで画像処理を施す画像処理回路と、
前記画像処理回路における画像処理後の画像データが入力され、その画像データに基づいて表示装置に映像を表示させる映像出力回路と、
画像データを圧縮伸長するための圧縮伸長回路と
を備え、前記圧縮伸長回路で圧縮した画像データを外部装置に記録する画像記録装置であって、
前記プリプロセス回路から出力される画像データと前記圧縮伸長回路から出力される画像データとが入力され、該各データのいずれか一方を選択して前記バッファメモリに出力する選択回路を備え、
前記圧縮伸長回路は、前記バッファメモリから映像出力回路に入力される画像データを取り込み、その画像データを圧縮する回路であり、伸長した画像データを前記選択回路に供給することを特徴とする画像記録装置。
【請求項３】
撮像素子からの入力データをバッファメモリに転送するとともに、該データから制御情報を検出するプリプロセス回路と、
前記バッファメモリからデータを取り込んで画像処理を施す画像処理回路と、
前記画像処理回路における画像処理後の画像データが入力され、その画像データに基づいて表示装置に映像を表示させる映像出力回路と、
画像データを圧縮伸長するための圧縮伸長回路と
を備え、前記圧縮伸長回路で圧縮した画像データを外部装置に記録する画像記録装置であって、
前記撮像素子からの入力データと前記圧縮伸長回路から出力される画像データとが入力され、該各データのいずれか一方を選択して前記プリプロセス回路に出力する選択回路と
を備え、
前記圧縮伸長回路は、前記映像出力回路に入力される画像データを取り込み、その画像データを圧縮する回路であり、伸長した画像データを前記選択回路に供給することを特徴とする画像記録装置。
【請求項４】
前記映像出力回路が出力するデータを前記入力データのデータ形式にフォーマット変換して出力するフォーマット変換回路を備え、
前記選択回路は、そのフォーマット変換回路から出力される画像データを選択して前記プリプロセス回路に出力することを特徴とする請求項３に記載の画像記録装置。
【請求項５】
前記映像出力回路から出力されるデータと前記圧縮伸長回路から出力されるデータとが入力され、該各データのいずれか一方を選択して前記フォーマット変換回路に出力する選択回路を備えることを特徴とする請求項４に記載の画像記録装置。
【請求項６】
前記画像処理回路における画像処理を含む各処理を制御するＣＰＵを備え、
前記圧縮伸長回路は、入力される動画像の画像データから移動情報を検出し、その移動情報を前記ＣＰＵに通知する機能を持つことを特徴とする請求項２〜５のいずれか１項に記載の画像記録装置。
【請求項７】
前記ＣＰＵは、前記移動情報に基づいて被写体を追跡するのための処理を行うことを特徴とする請求項６に記載の画像記録装置。
【請求項８】
前記ＣＰＵは、前記移動情報に基づいて動画像の手ぶれ補正の処理を行うことを特徴とする請求項６に記載の画像記録装置。
【請求項９】
前記フォーマット変換回路は、選択信号に基づいて、３原色に対応する入力データのいずれか１つを選択して、ベイヤー配列のパターンとなるよう所定の順序で各色のデータを出力することを特徴とする請求項１又は４に記載の画像記録装置。
【請求項１０】
前記フォーマット変換回路は、輝度色差空間のデータから３原色のデータにデータ変換を行うことを特徴とする請求項９に記載の画像記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルビデオカメラやデジタルスチルカメラ等にて撮影した画像を記録する画像記録装置に関するものである。
近年、カメラやビデオカメラではデジタル化された製品が普及している。また、携帯電話においても、静止画像や動画像などのデジタル画像を撮影して記録する製品が普及している。そのデジタル画像の画像処理を効率よく行い、低コストで多機能な製品を開発することが望まれている。
【背景技術】
【０００２】
図６には、デジタルカメラなどに用いられるカラー撮像システムの従来構成を示している。この撮像システムは、大別してアナログフロントエンド（ＡＦＥ）１０とデジタルバックエンド（ＤＢＥ）２０とを含む。
【０００３】
アナログフロントエンド１０は、アナログ信号を処理するアナログ回路であって、レンズや絞りを駆動する光学系の回路１１と、撮像素子としてのＣＣＤやそのＣＣＤを動作させるためのタイミングジェネレータ（ＴＧ）からなる撮像系の回路１２とを備えている。撮像系の回路１２は、タイミングジェネレータのパルス信号に基づいて、ＣＣＤに蓄えられた電荷（アナログ信号）をデジタル信号にＡ／Ｄ変換し、そのデジタル信号を画像データとしてデジタルバックエンド２０に出力する。
【０００４】
デジタルバックエンド２０は、メモリコントローラ２１、プリプロセス回路２２、カラー処理回路２３、解像度変換回路２４、ＪＰＥＧ圧縮伸長回路２５、エンコーダ２６、インターフェース回路（Ｉ／Ｆ）２７、ＣＰＵ２８を備える。このデジタルバックエンド２０において、メモリコントローラ２１にはバッファメモリ３１（具体的にはＳＤＲＡＭ）が接続されている。メモリコントローラ２１は、バッファメモリ３１に対して画像データの書き込み／読み出しを制御する制御回路である。
【０００５】
前記アナログフロントエンド１０から出力された画像データは、デジタルバックエンド２０におけるプリプロセス回路２２に入力される。プリプロセス回路２２は、入力された画像データに対して、オート露出（ＡＥ）、オートフォーカス（ＡＦ）、オートホワイトバランス（ＡＷＢ）の前処理を行う。そして、プリプロセス回路２２において各処理が施された画像データはメモリコントローラ２１によりバッファメモリ３１に一旦格納される。また、プリプロセス回路２２は、前記各処理に際して、画質制御に必要となる明るさや色合いに関する制御情報を検出し、該情報に応じた評価値をＣＰＵ２８に出力する。
【０００６】
カラー処理回路２３は、プリプロセス回路２２の各処理後の画像データをバッファメモリ３１から取り込み、該データに対して補間処理を行うことにより、ＲＧＢ形式の画像データを生成する。
【０００７】
前記アナログフロントエンド１０のＣＣＤに設けられるカラーフィルタは、図７に示すように、ベイヤー配列のものを使用している。このカラーフィルタ１４は、ＣＣＤの１画素毎に、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のうちの特定の色成分の光のみを透過させる。ＣＣＤの各受光素子（画素）には、それぞれカラーフィルタを透過した特定の色成分の光で電荷が蓄えられる。つまり、ＣＣＤの各素子から得られる画像データは、１つの色成分に対応したデータである。そのため、カラー処理回路２３の補間処理では、ＲＧＢのうちのいずれか１つの色成分情報しかもたない各画素の画像データについて、近傍の画像の色成分情報から３つの色成分情報の補正値を算出することにより、３つの色成分情報を持つ画像データが生成される。このカラー処理回路２３で生成されたＲＧＢ又はＹＣｂＣｒ形式の画像データはバッファメモリ３１に格納される。
【０００８】
解像度変換回路２４は、バッファメモリ３１に格納されたＲＧＢ又はＹＣｂＣｒ形式の画像データを読み出し、撮影画像を拡大又は縮小するために、その画像データに対して解像度の変換処理を行う。
【０００９】
バッファメモリ３１の記憶領域に一部には、ＴＶ又はＬＣＤのモニター画面の内容を保持するための記憶領域としてＶＲＡＭ３１ａが確保されている。そのＶＲＡＭ３１ａに、解像度変換回路２４において画像表示用に解像度変換された画像データが表示データとして格納される。そして、その表示データは、メモリコントローラ２１によりエンコーダ２６に順次転送され、ビデオ出力用の信号に変換される。そのエンコーダ２６の出力信号によって、ＴＶ又はＬＣＤのモニターに画像が出力される。
【００１０】
ＪＰＥＧ圧縮伸長回路２５は、ＪＰＥＧ方式により静止画像のデータ圧縮・伸長（符号・復号）を行う。このＪＰＥＧ圧縮伸長回路２５において圧縮されたＪＰＥＧ方式のデータは、Ｉ／Ｆ２７を介して外部装置（ＰＣやＭＥＤＩＡ）に転送され記録される。
【００１１】
ＣＰＵ２８には制御プログラムを記憶したフラッシュメモリ３２が接続されており、該ＣＰＵ２８は、その制御プログラムを実行することにより撮像システムを統括的に制御する。ＣＰＵ２８は、各回路（プリプロセス回路２２、カラー処理回路２３、解像度変換回路２４、ＪＰＥＧ圧縮伸長回路２５、エンコーダ２６、Ｉ／Ｆ２７）と接続されており、所定の制御信号によって各回路の動作を制御する。
【００１２】
さらに、ＣＰＵ２８には、ＡＥやＡＷＢの処理ためのソフトウエアライブラリ２８ａが組み込まれている。ＣＰＵ２８は、そのソフトウエアライブラリ２８ａを使用してプリプロセス回路２２からの評価値Ｘ１に応じた制御値Ｙ１をプリプロセス回路２２とカラー処理回路２３に出力する。これにより、プリプロセス回路２２とカラー処理回路２３では、その制御値Ｙ１に応じた補正制御（フィードバック制御）が行われ、きめ細かい画像処理が実現される。
【００１３】
また近年の画像撮像装置（デジタルカメラなど）では、静止画像に加えて動画像も撮影できるものが実用化されている。図８には、その画像撮像装置に用いられる従来の撮像システムを示している。この撮像システムは、デジタルバックエンド２０においてＭＰＥＧ４圧縮伸長回路２９が追加される点が図６の回路構成と相違する。具体的に、ＭＰＥＧ４圧縮伸長回路２９は、動画データをバッファメモリ３１から取り込み、ＭＰＥＧ４方式により動画データの圧縮・伸長（符号・復号）を行う。つまり、ＭＰＥＧ４圧縮伸長回路２９において、動画データを圧縮することにより、ＭＰＥＧ４方式のストリームデータに符号化され、ストリームデータを伸長することにより動画データに復号化される。
【００１４】
なお、ＭＰＥＧ４圧縮伸長回路２９で符号化されたストリームデータはバッファメモリ３１に一旦格納された後、Ｉ／Ｆ２７を介して外部装置（ＰＣやＭＥＤＩＡ）に転送される。また、外部装置からＩ／Ｆ２７を介して入力されたストリームデータは、バッファメモリ３１に転送された後、ＭＰＥＧ４圧縮伸長回路２９に取り込まれて動画データに復号化される。
【００１５】
この撮像システムでは、表示データと動画データとが別々に生成され、表示データはバッファメモリ３１のＶＲＡＭ３１ａに記憶され、動画データはバッファメモリ３１におけるＶＲＡＭ３１ａとは別の記憶領域３１ｂに記憶される。従って、バッファメモリ３１としては、記憶容量が大きなメモリが用いられる。また、このシステムでは、表示データと動画データとを別々に読み出して処理するため、バス帯域も狭くなってしまう。さらに、ＭＰＥＧ４圧縮伸長回路２９とバッファメモリ３１との間には、ストリームデータと動作データとの入出力を行うためにそれぞれ専用線が設けられ、回路構成も複雑になっている。
【００１６】
因みに、特許文献１には、デジタルカメラにて撮影した画像を記録するための技術が開示されている。
【特許文献１】特開２０００−１９６９３０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１７】
従来の撮像システムにおいて、データ処理経路を構成するプリプロセス回路２２の前後に画像データをフィードバックするといった回路構成は採用されていない。勿論、上記特許文献１においても、その回路構成は開示されていない。
【００１８】
本発明は上記問題点を解決するためになされたものであって、その目的は、画像データをプリプロセス回路の前後にフィードバックして画像処理を行うといった新規な回路構成を採用することにより付加価値の高い画像記録装置を提供することにある。
【課題を解決するための手段】
【００１９】
請求項１に記載の発明によれば、フォーマット変換回路により、映像出力回路が出力するデータが入力データと同じデータ形式にフォーマット変換され、プリプロセス回路の前段に設けられた選択回路に入力される。そして、選択回路において、フォーマット変換回路からの出力データがプリプロセス回路の入力データとして選択される。この構成によれば、外部の撮像素子が接続されていない状態であっても、装置内部の映像出力回路のデータがフィードバックされることにより、擬似的に撮像システムを構築することができ、該システムの開発を容易に行うことができる。
【００２０】
請求項２に記載の発明によれば、バッファメモリから映像出力回路に入力される画像データが圧縮伸長回路に取り込まれ、該圧縮伸長回路によりその画像データが圧縮される。また、圧縮伸長回路により伸長された画像データはプリプロセス回路の後段に設けられた選択回路に入力される。そして、選択回路において、圧縮伸長回路にて伸長された画像データが選択されることにより、撮像素子からの入力データに代わって、圧縮伸長回路からの画像データがバッファメモリに格納される。この場合、映像出力回路に入力される画像データと、圧縮伸長回路で扱う画像データとが同じフォーマットとなり、各データを共通に使用できることから、バス帯域を十分に稼ぐことができる。
【００２１】
請求項３に記載の発明によれば、バッファメモリから映像出力回路に入力される画像データが圧縮伸長回路に取り込まれ、該圧縮伸長回路によりその画像データが圧縮される。また、圧縮伸長回路により伸長された画像データはプリプロセス回路の前段に設けられた選択回路に入力される。そして、選択回路において、圧縮伸長回路にて伸長された画像データが選択されることにより、撮像素子からの入力データに代わって、圧縮伸長回路からの画像データがバッファメモリに格納される。この場合も、映像出力回路に入力される画像データと、圧縮伸長回路で扱う画像データとが同じフォーマットとなり、各データを共通に使用できることから、バス帯域を十分に稼ぐことができる。
【００２２】
請求項４に記載の発明によれば、フォーマット変換回路において、映像出力回路が出力するデータが入力データと同じデータ形式にフォーマット変換され、プリプロセス回路の前段に設けられた選択回路に入力される。そして、選択回路において、フォーマット変換回路からの出力データがプリプロセス回路の入力データとして選択される。この構成によれば、外部の撮像素子が接続されていない状態であっても、装置内部の映像出力回路のデータがフィードバックされることにより、擬似的に撮像システムを構築することができ、該システムの開発を容易に行うことができる。
【００２３】
請求項５に記載の発明によれば、選択回路により、映像出力回路の出力データと圧縮伸長回路の出力データとのいずれか一方のデータが選択されてフォーマット変換回路に出力される。
【００２４】
請求項６に記載の発明によれば、圧縮伸長回路において、動画像の画像データから移動情報が検出され、その移動情報が画像処理などの各処理を制御するＣＰＵに通知される。そして、ＣＰＵによりその移動情報を用いた各種処理が実施される。
【００２５】
具体的に、ＣＰＵは、請求項７に記載の発明のように、移動情報に基づいて被写体を追跡するのための処理を実施したり、請求項８に記載の発明のように、移動情報に基づいて動画像の手ぶれ補正の処理を実施したりする。
【００２６】
請求項９に記載の発明によれば、フォーマット変換回路において、選択信号に基づいて、３原色に対応する入力データのいずれか１つが選択され、ベイヤー配列のパターンとなるよう所定の順序で各色のデータが出力される。
【００２７】
請求項１０に記載の発明によれば、フォーマット変換回路において、輝度色差空間（ＹＣｂＣｒ）のデータから３原色（ＲＧＢ）のデータにデータ変換（色空間変換）が行われる。
【発明の効果】
【００２８】
本発明によれば、プリプロセス回路の前後に画像データをフィードバックして画像処理を行うことにより付加価値の高い画像記録装置を提供することができる。
【発明を実施するための最良の形態】
【００２９】
（第１実施形態）
以下、本発明を具体化した第１実施形態を図面に従って説明する。
図１に示すように、本実施形態のデジタルバックエンド４０は、図６に示す従来例のデジタルバックエンド２０の回路構成を一部変更したものであり、同一構成部分は同一符号を付している。すなわち、デジタルバックエンド４０において、フォーマット変換回路４１と選択回路４２とを追加した点が図６の従来例と相違する。このデジタルバックエンド４０を用いることにより、アナログフロントエンド１０を接続しない状態で擬似的に撮像システムが構築される。
【００３０】
以下、従来例との相違点を中心に説明する。
すなわち、フォーマット変換回路４１は、ＬＣＤに画像を出力させるためのエンコーダ２６の出力データ（例えば、ＲＧＢの各出力信号）をベイヤー（ＢＡＹＥＲ）配列の画像データにフォーマット変換する。
【００３１】
図２に示すように、フォーマット変換回路４１には、選択回路（ＳＥＬ）４１ａが設けられ、エンコーダ２６の各色（ＲＧＢ）の出力信号が選択回路４１ａに入力される。そして、選択回路４１ａは、選択信号Ｓａ１，Ｓａ２に基づいて各入力信号のうちのいずれか１つを選択的に出力する。これにより、撮像素子（ＣＣＤ）から入力される画像データと同じベイヤー配列のパターンとなるように所定の順序で各色の画像データが選択回路４２に入力される。
【００３２】
図１に示すように、選択回路４２は、選択信号Ｓｂに基づいて、フォーマット変換回路４１からの画像データとアナログフロントエンド１０のＣＣＤからの入力データとのいずれか１つを選択してプリプロセス回路２２に出力する。具体的には、アナログフロントエンド１０を接続して撮像システムを構築する場合（通常モードの場合）、選択回路４２は、選択信号Ｓｂに基づいてＣＣＤからの入力データを選択してプリプロセス回路２２に出力する。一方、アナログフロントエンド１０を接続しないで疑似的に撮像システムを構築する場合（デバッグモードの場合）、選択回路４２は、選択信号Ｓｂに基づいてフォーマット変換回路４１の画像データを選択してプリプロセス回路２２に出力する。
【００３３】
本実施形態におけるＣＰＵ２８は、外部システム（デバッグツール）と接続され、その外部システムから初期データやデバッグデータを取り込んでバッファメモリ３１に転送する。
【００３４】
このように構成すると、アナログフロントエンド１０を接続しなくとも、それを接続した場合と同様に、ベイヤー配列の画像データをプリプロセス回路２２に供給することができる。そして、プリプロセス回路２２、カラー処理回路２３、解像度変換回路２４、ＪＰＥＧ圧縮伸長回路２５において各種処理が施されることで、表示データを生成したり、ＪＰＥＧ形式の画像データを生成したりする。つまり、アナログフロントエンド１０を接続した場合と同様のデータ処理経路で画像データの各種処理が実施されるため、該データ処理経路の動作確認やＣＰＵ２８におけるソフトウエアライブラリ２８ａの確認を行うことが可能となる。
【００３５】
なお、本実施形態のデジタルバックエンド４０は、各回路２１〜２８，４１，４２が１チップの半導体集積回路（ＬＳＩ）上に形成されており、このデジタルバックエンド４０とそれに外付けされるバッファメモリ３１及びフラッシュメモリ３２とによって画像記録装置が構成される。また、デジタルバックエンド４０におけるカラー処理回路２３、解像度変換回路２４、及びＪＰＥＧ圧縮伸長回路２５により画像処理回路が構成される。
【００３６】
次に、擬似的に構築された撮像システムの動作について説明する。
先ず、ＣＰＵ２８は、外部システムから初期データを取り込み、そのデータをバッファメモリ３１のＶＲＡＭ３１ａに表示データとして格納する。ここで、バッファメモリ３１のＶＲＡＭ３１ａに格納された表示データは、メモリコントローラ２１によりエンコーダ２６に順次転送され、該表示データに対応したＲＧＢのビデオ用の信号に変換された後、エンコーダ２６から出力される。このエンコーダ２６の出力信号によってＬＣＤのモニターに画像が出力される。また、このエンコーダ２６の出力信号はフォーマット変換回路４１に供給され、ベイヤー配列の画像データにフォーマット変換される。その変換後の画像データは、フォーマット変換回路４１から選択回路４２に供給される。そして、選択回路４２において、選択信号Ｓｂに基づきフォーマット変換回路４１の画像データが選択され、その画像データがプリプロセス回路２２に供給される。
【００３７】
プリプロセス回路２２において、入力された画像データに対してオート露出（ＡＥ）、オートフォーカス（ＡＦ）、オートホワイトバランス（ＡＷＢ）の前処理が行われた後、画像データはバッファメモリ３１に一旦格納される。またこのとき、プリプロセス回路２２において、画像データから明るさや色合いに関する制御情報が検出され、該情報に応じた評価値Ｘ１がＣＰＵ２８に出力される。
【００３８】
カラー処理回路２３には、バッファメモリ３１から画像データが入力され、該データに対して補間処理が行われる。この補間処理によりＲＧＢ形式の画像データが生成され、その画像データが表示データとしてバッファメモリ３１のＶＲＡＭ３１ａに記憶される。その表示データはエンコーダ２６に順次転送され、ビデオ出力用の信号に変換される。そのエンコーダ２６の出力信号によって、表示装置としてのＴＶ又はＬＣＤのモニターに画像が出力される。
【００３９】
このように、エンコーダ２６から出力されるデータは、フォーマット変換回路４１、選択回路４２を介して、データ処理経路を構成するプリプロセス回路２２にフィードバックされ、プリプロセス回路２２とカラー処理回路２３において各処理が行われる。
【００４０】
また、ＣＰＵ２８は、ソフトウエアライブラリ２８ａを使用してプリプロセス回路２２からの評価値Ｘ１に応じた制御値Ｙ１をプリプロセス回路２２とカラー処理回路２３とに出力する。これにより、プリプロセス回路２２とカラー処理回路２３では、その制御値Ｙ１に応じた補正制御（フィードバック制御）が行われる。
【００４１】
以上記述したように、本実施の形態によれば、以下の効果を奏する。
（１）データ処理経路を構成するプリプロセス回路２２の前段に選択回路４２を設け、フォーマット変換回路４１で変換したベイヤー配列の画像データを選択回路４２を介してフィードバックするといった新規な回路構成を採用した。この構成を採用することにより、擬似的に撮像システムを構築ことができ、デジタルバックエンド２０において、ソフトウエアライブラリ２８ａが正常に機能しているか、画像データのデータ処理経路が正常に動作しているかといったことを確認することができる。つまり、撮像システムの開発段階において、それを構成するアナログフロントエンド１０を用意できなくても、デジタルバックエンド２０の動作確認を行うことができ、システムの開発効率を向上させることができる。
【００４２】
（第２実施形態）
以下、本発明を具体化した第２実施形態を説明する。
図３に示すように、本実施形態のデジタルバックエンド５０は、図８に示す従来例のデジタルバックエンド２０の回路構成を一部変更したものであり、同一構成部分は同一符号を付している。すなわち、デジタルバックエンド５０において、選択回路５１を追加した点と、ＭＰＥＧ４圧縮伸長回路２９ａにおけるデータの入出力を変更した点が図８の従来回路と相違する。
【００４３】
このデジタルバックエンド５０において、選択回路５１はプリプロセス回路２２の後段に設けられ、選択回路５１には、そのプリプロセス回路２２の出力データが入力されるとともに、ＭＰＥＧ４圧縮伸長回路２９ａの出力データが入力される。選択回路５１は、選択信号（図示略）に基づいて、プリプロセス回路２２の出力データとＭＰＥＧ４圧縮伸長回路２９ａの出力データとのいずれか１つを選択してバッファメモリ３１に出力する。具体的には、動画像を記録する場合、選択回路５１は、プリプロセス回路２２の画像データを選択してバッファメモリ３１に出力し、動画像を再生する場合、選択回路５１は、ＭＰＥＧ４圧縮伸長回路２９ａのデータを選択してバッファメモリ３１に出力する。
【００４４】
次に、動画像を記録する場合の動作を説明する。
アナログフロントエンド１０から出力された画像データは、デジタルバックエンド５０におけるプリプロセス回路２２に入力される。プリプロセス回路２２は、入力された画像データに対して、オート露出（ＡＥ）、オートフォーカス（ＡＦ）、オートホワイトバランス（ＡＷＢ）の前処理を行う。そして、プリプロセス回路２２において各処理が施された画像データは選択回路５１を介してバッファメモリ３１に一旦格納される。カラー処理回路２３は、バッファメモリ３１から画像データを取り込み、該画像データに対して補間処理を行うことにより、ＲＧＢ形式の画像データを生成する。そして、そのＲＧＢ形式の画像データが表示データとしてバッファメモリ３１のＶＲＡＭ３１ａに格納される。このＶＲＡＭ３１ａの表示データは、エンコーダ２６に順次転送され、ビデオ出力用の信号に変換される。そのエンコーダ２６の出力信号によって、ＴＶ又はＬＣＤのモニターに画像が出力される。
【００４５】
また、ＭＰＥＧ４圧縮伸長回路２９ａは、ＶＲＡＭ３１ａからエンコーダ２６に転送される表示データを取り込み、その表示データを圧縮することにより、ＭＰＥＧ４方式のストリームデータに符号化する。つまり、本実施形態のＭＰＥＧ４圧縮伸長回路２９ａでは、符号化の対象データ（動画データ）を表示データと同じフォーマットとしており、表示データを動画データとして扱っている。そして、そのＭＰＥＧ４圧縮伸長回路２９ａにおいて符号化された動画像のストリームデータは、バッファメモリ３１に一旦格納された後、Ｉ／Ｆ２７を介して外部装置（ＰＣやＭＥＤＩＡ）に転送され記録される。
【００４６】
次に、動画像を再生する場合の動作を説明する。
外部装置（ＰＣやＭＥＤＩＡ）から入力された動画像のストリームデータは、Ｉ／Ｆ２７を介してバッファメモリ３１に転送される。その後、ＭＰＥＧ４圧縮伸長回路２９ａはそのストリームデータを取り込み、表示データに復号化した後、該データを選択回路５１に供給する。選択回路５１は、ＭＰＥＧ４圧縮伸長回路２９ａで復号化された表示データを選択して出力する。その表示データは、メモリコントローラ２１によりバッファメモリ３１のＶＲＡＭ３１ａに格納される。そして、その表示データがＶＲＡＭ３１ａからエンコーダ２６に順次転送され、エンコーダ２６の出力信号によって、ＴＶ又はＬＣＤのモニターに画像が出力される。その後、ＭＰＥＧ４圧縮伸長回路２９ａで復号化されたデータが選択回路５１を介してバッファメモリ３１のＶＲＡＭ３１ａに順次転送され、ＶＲＡＭ３１ａの表示データが更新される。そして、その表示データがエンコーダ２６に転送されることにより、表示装置のモニターに動画像が再生される。
【００４７】
以上記述したように、本実施形態によれば、以下の効果を奏する。
（１）ＭＰＥＧ４圧縮伸長回路２９ａにおいて、ＶＲＡＭ３１ａからエンコーダ２６に転送される表示データを符号化して動画像のストリームデータを生成するようにした。また、データ処理経路を構成するプリプロセス回路２２の後段に選択回路５１を設け、ＭＰＥＧ４圧縮伸長回路２９ａで復号化した表示データを選択回路５１を介してフィードバックするといった新規な回路構成を採用した。この場合、モニターに画像を出力するためにエンコーダ２６に入力される表示データと、ＭＰＥＧ４圧縮伸長回路２９ａにて扱うデータ記録用の動画データとが同じフォーマットとなり、各データを共通に使用できる。つまり、バッファメモリ３１におけるＶＲＡＭ３１ａから表示データの読み出しを１回行えば、その表示データを用いて、モニター出力と、ＭＰＥＧ４圧縮伸長回路２９ａの符号化とを行うことができるため、バッファメモリ３１のデータ入出力のためのバス帯域を十分に稼ぐことができる。また、そのデータ入出力を行うための経路（信号線の構成）を従来回路と比較して簡素化することができる。
【００４８】
（２）ＭＰＥＧ４圧縮伸長回路２９ａにおいて表示データが符号化されるため、表示装置のモニターに表示した動画像に対応する画像データ（表示データ）を確実に記録することができ、モニターに出力した動画像と記録した動画像が不一致となることがない。
【００４９】
（３）従来回路のように表示データと動画データを別々に記憶する必要がなくバッファメモリ３１の記憶容量を削減できることから、画像撮像装置の小型化や低コスト化が可能となる。
【００５０】
（第３実施形態）
以下、本発明を具体化した第３実施形態を図面に従って説明する。
図４に示すように、本実施形態のデジタルバックエンド６０は、図１に示す第１実施形態のデジタルバックエンド４０の回路構成を一部変更したものであり、同一構成部分は同一符号を付している。すなわち、デジタルバックエンド６０において、ＭＰＥＧ４圧縮伸長回路２９ｂ、選択回路（ＳＥＬ）６１、及びＯＳＤ処理回路６２を追加した点が図１のデジタルバックエンド４０と相違する。このデジタルバックエンド６０を用いることにより、アナログフロントエンド１０を接続しない状態で擬似的に撮像システムが構築される。
【００５１】
詳述すると、ＭＰＥＧ４圧縮伸長回路２９ｂは、ＶＲＡＭ３１ａからエンコーダ２６に転送される表示データを取り込み、表示データを圧縮することにより、ＭＰＥＧ４方式のストリームデータに符号化する。つまり、ＭＰＥＧ４圧縮伸長回路２９ｂでは、符号化の対象データ（動画データ）を表示データと同じフォーマットとしている。そのＭＰＥＧ４圧縮伸長回路２９ｂにおいて符号化された動画像のストリームデータは、バッファメモリ３１に一旦格納された後、Ｉ／Ｆ２７を介して外部装置（ＰＣやＭＥＤＩＡ）に転送され記録される。
【００５２】
動画像を再生する場合、外部装置（ＰＣやＭＥＤＩＡ）から入力された動画像のストリームデータは、Ｉ／Ｆ２７を介してバッファメモリ３１に転送される。ＭＰＥＧ４圧縮伸長回路２９ｂは、そのストリームデータをバッファメモリ３１から取り込み、表示データに復号化した後、該データを選択回路６１に供給する。
【００５３】
選択回路６１には、ＭＰＥＧ４圧縮伸長回路２９ｂの出力データに加えて、エンコーダ２６からの出力データが供給される。選択回路６１は、選択信号（図示略）に基づいてそれら各データのいずれか１つを選択してフォーマット変換回路４１に出力する。
【００５４】
フォーマット変換回路４１は、選択回路６１からエンコーダ２６の出力データが入力される場合、第１実施形態と同様に、選択信号Ｓａに基づいてエンコーダ２６の出力データ（例えば、ＲＧＢの各出力信号）をベイヤー（ＢＡＹＥＲ）配列の画像データにフォーマット変換した後、選択回路４２に供給する。一方、選択回路６１からＭＰＥＧ４圧縮伸長回路２９ｂからの出力データが入力される場合には、該データに対してフォーマット変換をすることなく、そのまま選択回路４２に供給する。
【００５５】
選択回路４２は、第１実施形態と同様に、選択信号Ｓｂに基づいて、フォーマット変換回路４１からの画像データとアナログフロントエンド１０のＣＣＤからの画像データとのいずれか１つを選択してプリプロセス回路２２に出力する。
【００５６】
ＯＳＤ処理回路６２は、ＣＰＵ２８から通知される制御信号に基づいて、モニター画面に日時を示す文字や電池の使用状況の示す電池マークを表示させるための表示データを生成する。また、ＯＳＤ処理回路６２は、被写体に追従する移動マークを表示させるための表示データを生成する。ＯＳＤ処理回路６２で生成された表示データはエンコーダ２６に転送され、該エンコーダ２６の出力信号によって、表示装置のモニター画面に、日時、電池マーク、移動マークが表示される。
【００５７】
次に、本実施形態の撮像システムの動作について説明する。
先ず、アナログフロントエンド１０を接続しない状態で擬似的に構築された撮像システムの動作（デバッグモードの動作）について説明する。
【００５８】
ＣＰＵ２８は、外部システムから初期データを取り込み、そのデータをバッファメモリ３１のＶＲＡＭ３１ａに表示データとして格納する。バッファメモリ３１のＶＲＡＭ３１ａに格納された表示データは、メモリコントローラ２１によりエンコーダ２６に順次転送され、該表示データに対応したＲＧＢのビデオ用の信号に変換された後、エンコーダ２６から出力される。このエンコーダ２６の出力信号によってＬＣＤのモニターに画像が出力される。
【００５９】
またこのとき、選択回路６１は、エンコーダ２６の出力信号を選択してフォーマット変換回路４１に供給する。そのフォーマット変換回路４１により、エンコーダ２６の出力信号がベイヤー配列の画像データにフォーマット変換され、その変換後の画像データが選択回路４２に供給される。そして、選択回路４２においてフォーマット変換回路４１の画像データが選択され、その画像データがプリプロセス回路２２に供給される。
【００６０】
プリプロセス回路２２において、入力された画像データに対してオート露出（ＡＥ）、オートフォーカス（ＡＦ）、オートホワイトバランス（ＡＷＢ）の前処理が行われた後、画像データはバッファメモリ３１に一旦格納される。またこのとき、プリプロセス回路２２において、画像データから明るさや色合いに関する制御情報が検出され、該情報に応じた評価値Ｘ１がＣＰＵ２８に出力される。
【００６１】
カラー処理回路２３には、バッファメモリ３１から画像データが入力され、該データに対して補間処理が行われる。この補間処理によりＲＧＢ形式の画像データが生成され、その画像データが表示データとしてバッファメモリ３１のＶＲＡＭ３１ａに記憶される。その表示データはエンコーダ２６に順次転送され、そのエンコーダ２６の出力データによって、ＴＶ又はＬＣＤのモニターに画像が出力される。
【００６２】
このように、エンコーダ２６から出力されるデータは、選択回路６１、フォーマット変換回路４１、選択回路４２を介して、データ処理経路を構成するプリプロセス回路２２にフィードバックされ、プリプロセス回路２２とカラー処理回路２３において各処理が行われる。
【００６３】
また、ＣＰＵ２８は、ソフトウエアライブラリ２８ａを使用してプリプロセス回路２２からの評価値Ｘ１に応じた制御値Ｙ１をプリプロセス回路２２とカラー処理回路２３とに出力する。これにより、プリプロセス回路２２とカラー処理回路２３では、その制御値Ｙ１に応じた補正制御（フィードバック制御）が行われる。
【００６４】
本実施形態では、第１実施形態と同様に、アナログフロントエンド１０を接続しなくても擬似的に撮像システムが構築され、デジタルバックエンド６０において、ソフトウエアライブラリ２８ａが正常に機能しているか、画像データのデータ処理経路が正常に動作しているかといったことが確認される。
【００６５】
また、本実施形態の撮像システムでは、外部装置（ＰＣやＭＥＤＩＡ）から入力される動画像のストリームデータを用いてデジタルバックエンド６０の動作確認を行うことができる。この動作確認は、動画像の再生機能を用いて行われる。
【００６６】
この動作確認を行う場合、先ず、外部装置から評価用のストリームデータがＩ／Ｆ２７を介してバッファメモリ３１に転送される。その後、ＭＰＥＧ４圧縮伸長回路２９ｂは、そのストリームデータをバッファメモリ３１から取り込み、表示データ（画像データ）に復号化した後、該データを選択回路６１に供給する。
【００６７】
選択回路６１は、ＭＰＥＧ４圧縮伸長回路２９ｂからの表示データを選択してフォーマット変換回路４１に供給し、フォーマット変換回路４１は、その表示データをそのまま（フォーマット変換を行うことなく）選択回路４２に出力する。選択回路４２は、選択信号Ｓｂに基づいて、フォーマット変換回路４１からの表示データを選択してプリプロセス回路２２に出力する。
【００６８】
プリプロセス回路２２は、その表示データをそのまま（前処理を施すことなく）バッファメモリ３１のＶＲＡＭ３１ａに格納する。その表示データはエンコーダ２６に順次転送され、そのエンコーダ２６の出力信号によって、表示装置（ＴＶ又はＬＣＤ）のモニターに画像が出力される。
【００６９】
そして、エンコーダ２６の出力信号を選択回路６１、フォーマット変換回路４１、選択回路４２を介してプリプロセス回路２２にフィードバックすることにより、デジタルバックエンド６０の動作確認が行われる。
【００７０】
本実施形態のＭＰＥＧ４圧縮伸長回路２９ｂは、ＶＲＡＭ３１ａからの表示データを動画像のストリームデータに符号化する際には、動画像の各フレームから動きベクトル（移動情報）を検出し、その移動情報を加味して各フレーム間の誤差データを符号化している。ＭＰＥＧ４圧縮伸長回路２９ｂは、その符号化に際して検出した移動情報をＣＰＵ２８に通知する。ＣＰＵ２８は、その移動情報に応じた制御信号をＯＳＤ処理回路６２に出力することにより、該ＯＳＤ処理回路６２において、移動マークを表示させるための処理が行われる。
【００７１】
具体的には、例えば、ユーザが図示しない操作部を操作することにより、モニター画面において追従対象（被写体）に移動マークを重ね合わせた後、追従モードの開始ボタンをオンする。ＣＰＵ２８は、その入力操作に基づいて、モニター画面における移動マークの初期位置（被写体）を認識し、それに応じた信号をＯＳＤ処理回路６２に出力する。その設定後に、被写体が移動する場合、ＣＰＵ２８は、それに応じた移動情報をＭＰＥＧ４圧縮伸長回路２９ｂから取得して制御信号をＯＳＤ処理回路６２に出力する。ＯＳＤ処理回路６２は、その制御信号に応じた表示データを生成し、その表示データをエンコーダ２６に転送する。そして、そのエンコーダ２６の出力信号により、モニター画面において移動する被写体に追従するよう移動マークが表示される。
【００７２】
以上記述したように、本実施形態によれば、以下の効果を奏する。
（１）動画像の記録可能なデジタルバックエンド６０において、第１実施形態と同様に、擬似的に撮像システムを構築ことができるため、撮像システムの開発段階において、それを構成するアナログフロントエンド１０を用意できなくても、デジタルバックエンド６０の動作確認を行うことができ、システムの開発効率を向上させることができる。
【００７３】
（２）本実施形態の撮像システムは、第２実施形態と同様に、モニターに画像を出力するための表示データと動画データとが共通に用いられるので、バス帯域を十分に稼ぐことができる。
【００７４】
（３）表示装置のモニター画面には、被写体を追跡する移動マークが表示されるので、ユーザは、その移動マークを確認することにより、被写体が画面中央に位置するようにカメラの向きを容易に調整することができる。
【００７５】
尚、上記各実施形態は、以下の態様で実施してもよい。
・第１実施形態におけるフォーマット変換回路４１は、エンコーダ２６から出力されるＲＧＢの３原色の出力信号をベイヤー（ＢＡＹＥＲ）配列の画像データにフォーマット変換する回路であるが、エンコーダ２６の出力信号に応じて回路構成を適宜変更できる。例えば、エンコーダ２６から出力される輝度色差空間（ＹＣｂＣｒ）の出力信号に基づいてＬＣＤが画像を出力する場合には、図５に示すフォーマット変換回路４５が用いられる。このフォーマット変換回路４５には、選択回路（ＳＥＬ）４５ａと色空間変換回路４５ｂが設けられており、エンコーダ２６の各色（ＹＣｂＣｒ）の出力信号が色空間変換回路４５ｂに入力される。この色空間変換回路４５ｂにおいて、色空間変換処理が施されることで、ＹＣｂＣｒからＲＧＢの各色に変換された各画像データが選択回路４５ａに供給される。そして、選択回路４５ａにおいて、選択信号Ｓａ１，Ｓａ２に基づいて各入力信号のうちのいずれか１つが選択的に出力されることにより、撮像素子（ＣＣＤ）から入力される画像データと同じベイヤー配列のパターンとなるように所定の順序で各色の画像データが選択回路４２に入力される。
【００７６】
・第３実施形態の撮像システムにおいて、ＣＰＵ２８は、ＭＰＥＧ４圧縮伸長回路２９ｂから取得した移動情報（動きベクトル）に基づいて手ぶれ補正を行ってもよい。具体的には、例えば、ＣＰＵ２８からプリプロセス回路２２に移動情報に応じた制御信号を通知するよう構成し、プリプロセス回路２２は、撮像素子（ＣＣＤ）から入力されてくる各画像データについて、それら画像データの取り込み位置を前記制御信号に基づいて変更する。また、ＣＰＵ２８からカラー処理回路２３や解像度変換回路２４などに移動情報に応じた制御信号を通知し、カラー処理回路２３や解像度変換回路２４などにおいて、移動情報に基づいて画像データをトリミングして各処理を行うように構成してもよい。つまり、移動情報によって画像データをトリミングすることで、手ぶれを打ち消すように各画像処理を実施する。このように手ぶれ補正を行うことにより、鮮明な画像を記録することが可能となる。
【００７７】
・上記実施形態では、アナログフロントエンド１０とデジタルバックエンド４０，５０，６０とで構成される撮像システムに具体化するものであったが、これに限定されるものではなく、アナログフロントエンドとデジタルバックエンドとの間に、デジタルフロントエンドが設けられた撮像システムに具体化してもよい。
【００７８】
・上記各実施形態において、アナログフロントエンド１０の撮像素子として、ＣＣＤ以外にＣＭＯＳなどを用いてもよい。
【図面の簡単な説明】
【００７９】
【図１】第１実施形態を示すブロック回路図である。
【図２】フォーマット変換回路を示すブロック回路図である。
【図３】第２実施形態を示すブロック回路図である。
【図４】第３実施形態を示すブロック回路図である。
【図５】別例のフォーマット変換回路を示すブロック回路図である。
【図６】第１従来例を示すブロック回路図である。
【図７】カラーフィルタの構成を示す説明図である。
【図８】第２従来例を示すブロック回路図である。
【符号の説明】
【００８０】
２２  プリプロセス回路
２３  カラー処理回路
２４  解像度変換回路
２５  ＪＰＥＧ圧縮伸長回路
２６  映像出力回路としてのエンコーダ
２８  ＣＰＵ
３１  バッファメモリ
４０，５０，６０  画像記録装置を構成するデジタルバックエンド
４１，４５  フォーマット変換回路
４２，６１  選択回路
Ｓａ，Ｓａ１，Ｓａ２  選択信号
【図１】
2005151158.tif 000003
【図２】
2005151158.tif 000004
【図３】
2005151158.tif 000005
【図４】
2005151158.tif 000006
【図５】
2005151158.tif 000007
【図６】
2005151158.tif 000008
【図７】
2005151158.tif 000009
【図８】
2005151158.tif 000010