(57)【特許請求の範囲】
【請求項１】
撮像手段により受光画像を光電変換し、該変換信号をＡ／Ｄ変換手段によりしてアナログ−デジタル変換して画像データを生成し、該画像データを主記録手段に記録するとともに、表示手段に表示させる画像撮影装置において、
前記画像データを、直接、略同時に複数のデータフォーマットに変換するデータフォーマット変換処理する画像処理手段と、
処理すべきデータフォーマットを前記画像処理手段に指示するデータ処理制御手段と、
前記画像処理手段が処理した記録保存に適した画像データを記録する第１データ保持手段と、
前記画像処理手段が処理した表示に適した画像データを記録する第２データ保持手段と各画像データを一旦保持するデータ保持手段と、を備え、
前記第１データ保持手段から、記録保存に適した画像データを読み出して記録手段に記録保存させ、前記第２データ保持手段から、表示するのに適した画像データを読み出して表示手段に表示させるように制御したことを特徴とする画像撮影装置。
【請求項２】
前記画像処理手段は、複数のデータフォーマットに変換する処理に加え、画像サイズも変換し、
前記データ保持手段は、画像サイズも含めて画像データを保持することを特徴とする請求項１に記載の画像撮影装置。
【発明の詳細な説明】
【発明の属する技術分野】
【０００１】
本発明は、撮像素子を用いて動画像を撮影する画像撮像装置に関し、特に高機能、小型、低コスト化を実現できる画像撮影装置に関する。
【０００２】
【従来の技術】
イメージセンサを用いた従来の画像撮影装置の一例を図４を用いて説明する。
図４はイメージセンサを用いた画像撮影装置のブロック図である。
１はＣＰＵ、２は表示部、３はメモリ、４はデータ処理部、５はＣＣＤやＣＭＯＳ固体撮像素子に代表されるイメージセンサ、６は光学機構を持ったカメラ機構部、７はクロック発生器、８はバッファ制御部、９はメインバッファ、２１はカメラ機構と制御系を一体化したカメラモジュールである。ここで、カメラモジュール２１は、データ処理部４、イメージセンサ５、カメラ機構部６、クロック発生器７、バッファ制御部８、メインバッファ９からなる。
【０００３】
５１はイメージセンサ制御信号、５２はフレームの先頭位置を示すフレーム信号、５３はバッファ制御信号、５４はイメージセンサ読み出しアナログ信号、５５は画像データ信号、５６はメインバッファ９が一定量貯まった際ＣＰＵ１に対し読み出し要求とメインバッファ９がオーバーフローやアンダーフローした時のエラー通知を行う為の割り込み信号である。
【０００４】
イメージセンサ５は、カメラ機構部６からの受光信号をイメージセンサ読み出しアナログ信号５４に変換し、クロック発生器７からのイメージセンサ制御信号５１を使って１画素毎に、イメージセンサ読み出しアナログ信号５４としてデータ処理部４に出力する。
データ処理部４は、１画素毎にアナログーデジタル変換を行い、デジタル化した画像データ信号５５をメインバッファ９に転送する。
【０００５】
メインバッファ９は、データ処理部４からの画像データ信号５５の取り込みとＣＰＵ１のメインバッファ９の読み出しの時間的なずれを吸収する為に適当な容量を持つ。バッファ制御部８は、メインバッファ９に一時的に保持されるデータがオーバーフロー、アンダーフローしないように監視し、且つ一定量貯まったことをＣＰＵ１に通知し、メインバッファ９の読み出し要求である割り込み信号５６を出力する。
【０００６】
ＣＰＵ１は、割り込み信号５６を受け取るとメインバッファ９に一旦蓄えられたデータを逐次メモリ３に転送し、１画面分（以下１フレームと呼ぶ）のデータを格納する。次にＣＰＵ１は、１フレーム蓄えられた画像データをメモリ３から逐次表示部２に転送する事で撮影データを表示する。以上を１フレーム毎に連続して行うことで動画表示を実現する。
【０００７】
従来のシステムでは、データ処理部４が出力する画像データ信号５５は、ＲＧＢ，ＹＵＶ等のフォーマットを切り換えることや、取り込んだ画像データサイズを任意のサイズに変更することはできる。しかし、撮影中は１フォーマット、１画像サイズしか出力しておらず、表示部２に表示するデータとメモリ３に格納するデータフォーマットおよび画像サイズを変えたい場合、工夫が必要であった。
【０００８】
それは、例えば、通常ではメモリ３にＹＵＶフォーマットでデータ量を少なく保存しておく。表示部２がＬＣＤのようにＲＧＢフォーマットにする必要がある時は、一旦メモリ３にＹＵＶフォーマットで画像データを格納し、ソフトウェア処理を用いて、ＲＧＢフォーマットに画像データを変換する。その変換した画像データを新たにメモリ３内に展開し、ＣＰＵ１がメモリ３から表示部２にデータ転送することで表示を可能としていた。
【０００９】
また、メモリ３に保存するデータの画像サイズと表示部２で表示する画像サイズが異なる場合も、上記フォーマット変換と同様である。すなわち、一旦メモリ３に格納された画像データから表示部２の画像サイズにデータサイズを合わせる場合、データ間引き処理をソフトウェアで行っている。
【００１０】
【発明が解決しようとする課題】
上述のように、従来の技術では、データ処理部４の画像データ出力は動作中１フォーマット、１画像サイズであり、一旦メモリ３に格納した画像データを表示部２のデータフォーマット、画像サイズに合わせてソフトウェアで変換する。この場合、画像サイズが大きいほどデータ量が増加し、ソフトウェアの処理時間も増加する為、大画面の高速動画撮影は困難であった。すなわち、低処理能力のＣＰＵ１やデータ転送に時間の掛かるメモリ３では大容量のデータの場合処理時間が掛かり、高フレームレートを実現できなかった。反対に、動画表示を高フレームレートに対応させる為に、高パフォーマンスのＣＰＵ１やメモリ３を使用していた為にコスト高になっていた。
【００１１】
本発明の目的は、動画時における格納データと表示データのフォーマットと画像サイズを任意に設定し出力できる機能を持つことで高速動画撮影を既存の低コストなシステムで実現することができる画像撮影装置を提供することにある。
【００１２】
【課題を解決するための手段】
上記目的を達成する為に、本発明は、撮像手段により受光画像を光電変換し、該変換信号をＡ／Ｄ変換手段によりしてアナログ−デジタル変換して画像データを生成し、該画像データを主記録手段に記録するとともに、表示手段に表示させる画像撮影装置において、
前記画像データを、直接、略同時に複数のデータフォーマットに変換するデータフォーマット変換処理する画像処理手段と、処理すべきデータフォーマットを前記画像処理手段に指示するデータ処理制御手段と、前記画像処理手段が処理した記録保存に適した画像データを記録する第１データ保持手段と、前記画像処理手段が処理した表示に適した画像データを記録する第２データ保持手段と各画像データを一旦保持するデータ保持手段と、を備え、前記第１データ保持手段から、記録保存に適した画像データを読み出して記録手段に記録保存させ、前記第２データ保持手段から、表示するのに適した画像データを読み出して表示手段に表示させるように制御したことを特徴とする。
【００１５】
また、本発明において、前記画像処理手段は、複数のデータフォーマットに変換する処理に加え、画像サイズも変換し、前記データ保持手段は、画像サイズも含めて画像データを保持することを特徴とする。
【００１６】
本発明において、前記画像処理手段は、複数のデータフォーマットに変換する処理に加え、画像サイズも変換し、前記データ保持手段は、画像サイズも含めて画像データを保持することを特徴とする。
【００１７】
【発明の実施の形態】
以下、本発明の実施形態を図面を用いて説明する。以下に説明する実施形態では、表示装置として、表示額域が水平方向１６０ドット、垂直方向１２０ラインの解像度を持つＱＱＶＧＡのカラー液晶表示装置を用い、動画撮影時の画像サイズは水平方向３２０ドット、垂直方向２４０ドットのＱＶＧＡとし、画像フォーマットを液晶表示用にＲＧＢ、保存用にＭＰＥＧ等の圧縮方式の中間フォーマットであるＹＵＶ４２０（以下ＹＵＶとする）を用いた場合を例として説明する。
【００１８】
図１は、本発明に係る画像撮影装置の一実施形態の構成を示すブロック図である。
１７および１２は本発明で特徴的な部分である。１７は２系統の画像のフォーマットとサイズを任意に選択する為のレジスタと２系統のバッファを同時に制御する為のダブルバッファ制御部（データ処理制御手段）、１２はダブルバッファ制御部１７で措定された画像フォーマットおよび画像サイズに従いデータ変換するためのフォーマット／縮小変換部（画像処理手段）、１０はメインバッファ９（第１データ保持手段）とは異なるフォーマットの画像データを一時保持する為のサブバッファ（第２データ保持手段）、１１はアナログーデジタル変換や画質補正を行うＤＳＰ（Ａ／Ｄ変換手段）、１３はプログラムを格納しているＲＯＭ、１４はメインメモリと表示メモリであるＳＲＡＭ（主記録手段）、１５はＬＣＤコントローラ（以下ＬＣＤＣとする）、１６は表示手段であるＱＱＶＧＡのＬＣＤ（以下ＬＣＤとする）、２０はカメラモジュールである。
ここで、カメラモジュール２０は、イメージセンサ５、カメラ機構部６、クロック発生器７、メインバッファ９、サブバッファ１０、ＤＳＰ１１、フォーマット／縮小変換部１２、ダブルバッファ制御部１７からなる。このようにカメラモジュールは上記の各部をモジュール化することで、システムの小型化と低コスト化を実現している。
【００１９】
また、５７はメインバッファ９へのメイン画像データ信号、５８はサブバッファ１０へのサブ画像データ信号、５９はメインバッファ９用のフォーマット／縮小切り換え信号、６０はサブバッファ１０用のフォーマット／縮小切り換え信号、６１はメインバッファ９の書き込み読み出し通知信号、６３はサブバッファ１０の書き込み読み出し通知信号である。
【００２０】
本発明装置においてＣＰＵ（制御手段）１、イメージセンサ５、カメラ機構部６、クロック発生器７は従来技術と相違点はない。ここではメインバッファ９に格納用画面のデータ（ＹＵＶ、ＱＶＧＡ）を、サブバッファ１０に表示用画面データ（ＲＧＢ、ＱＱＶＧＡ）を出力する場合を例として説明する。
【００２１】
ダブルバッファ制御部１７およびフォーマット／縮小変換部１２は本発明で特徴的なものであり、予めダブルバッファ制御部１７のレジスタにメインバッファ９とサブバッファ１０のデータフォーマットと画像サイズを夫々設定しておき、クロック発生器７からのフレーム信号５２に同期させたフォーマット／縮小切り換え信号５９，６０として出力する。フォーマット／縮小切り換え信号５９，６０を受けたフォーマット／縮小変換部１２は、この信号を元にメインバッファ９およびサブバッファ１０に出力する画像データのフォーマットおよび画像サイズを切り換え、夫々のバッファ用にメイン画像データ信号５７、サブ画像データ信号５８として出力する。
【００２２】
画像データ５７および５８を受け取ったメインバッファ９およびサブバッファ１０は、書き込みが行われた事を通知する書き込み読み出し通知信号６１，６３をダブルバッファ制御部１７に出力する。その後継続してメインバッファ９およびサブバッファ１０に画像データの転送を行い、夫々のバッファがある規定量に達するとダブルバッファ制御部１７はＣＰＵ１に対しデータ読み出し要求である割り込み信号５６を出力する。
【００２３】
ＣＰＵ１はこの割り込み要求５６によってメインバッファ９及びサブバッファ１０から画像データを読み出す。メインバッファ９およびサブバッファ１０は読み出しが行われた事を通知する書き込み読み出し通知信号６１，６３をダブルバッファ制御部１７に出力する。ＣＰＵ１はメインバッファ９から読み出したデータ（ＹＵＶ，ＱＶＧＡ）をＳＲＡＭ１４に転送し、保存データとして格納する。一方、サブバッファ１０から読み出したデータ（ＲＧＢ，ＱＱＶＧＡ）を、ＬＣＤＣ１５に転送する事でＬＣＤ１６の表示を実現する。
【００２４】
このようにメインバッファ９からＳＲＡＭ１４に保存するデータと同じ画像をフォーマットとサイズを変えてサブバッファ１０から直接ＬＣＤＣに転送する事で、ソフトウェアによるフォーマット変換に掛かる時間を短縮し、高速に動画表示をすることが可能である。
【００２５】
次に、フォーマット／縮小変換部１２の具体的な実施形態を図２を用いて説明する。本フォーマット／縮小変換部１２への画像入力フォーマットはＹＵＶとし、変換後のフォーマットをＲＧＢとして説明する。
【００２６】
３１はＲＧＢとＹＵＶのフォーマットを変換するＲＧＢ／ＹＵＶ変換回路、３２および３３は画像データフォーマット切り換え用のセレクタ、３４および３５は画像データの表示サイズを切り換えるためのデータ間引き演算器である。また、６５はフォーマット変換後画像データ、６６および６８は夫々セレクタ３２，３３のフォーマット切り換え信号、６７および６９はズームや画像を縮小する為のデータ間引き演算器用拡大縮小制御信号である。
【００２７】
ＤＳＰ１１から出力されたＹＵＶフォーマットの画像データ信号５５は、ＲＧＢ／ＹＵＶ変換回路３１においてＲＧＢに変換する。これはＹ信号、Ｕ信号、Ｖ信号夫々にある決まった定数を掛け、加算する事でＲ信号、Ｇ信号、Ｂ信号は容易に生成できる。
【００２８】
ＹＵＶフォーマットの画像データ信号５５とＲＧＢに変換されたフォーマット変換後画像データ信号６５をセレクタ３２およびセレクタ３３においてフォーマット切り替え信号６６，６８によって夫々選択し、後段のデータ間引き演算器３４，３５に転送する。
【００２９】
データ間引き演算器３４，３５は拡大縮小信号６７，６９によって元データの画面サイズから任意の範囲内を切り出すことで拡大率を変え、元画像サイズから任意の画像サイズにデータを間欠的に間引くことで縮小率を変えることができる。これらの回路は既存の回路をそのまま使用することができる。
【００３０】
次にバッファ制御部１７の具体的な実施形態を図３を用いて説明する。本実施形態では２つのバッファ制御について夫々同一構成の制御部を２回路使用する。ここではメインバッファ９の制御系ついて説明する。
【００３１】
４１は表示データフォーマットを選択する為のフォーマットセレクトレジスタ、４２は拡大縮小率および画像切出しエリアを設定する為の倍率設定レジスタ、４３および４４はフレームの切り替わりを示すフレーム信号５２に同期してフォーマット、及び倍率を変更する為の同期回路、４５はエラーフラグの格納と割り込み信号を出力する為のエラー検出レジスタ、４６はバッファのオーバーフロー・アンダーフローを検出する為のリードエラー／ライトエラー検出器、４７はバッファのリード回数をカウントする為のバッファリードカウンタ、４８はバッファライトカウンタである。また、７０はバッファリードフラグ信号、７１はバッファライトフラグ信号、７２はバッファリードカウント信号、７３はバッファライトカウント信号、７４はエラーフラグ信号である。
【００３２】
ダブルバッファ制御部１７は、本ブロックを２系統使用する事で容易に実現できる。フォーマットセレクトレジスタ４１および倍率設定レジスタ４２の設定値は、フレームの変化点で設定値を更新できるように同期回路４３，４４においてフレーム信号５２に同期させ、セレクタ３２用のフォーマット切り換え信号６６およびズームや画像を縮小する為のデータ間引き演算器用拡大縮小制御信号６７としてフォーマット／縮小変換部１２に出力する。バッファリードカウンタ４７及びバッファライトカウンタ４８は、フォーマット／縮小変換部１２からバッファへのデータ書き込みが行われたことを通知するバッファ書き込み信号７０とＣＰＵ１がバッファのデータを読み出したことを通知するバッファ読み出し信号７１を元に各々の書き込み、読み出し回数をカウントする。
【００３３】
バッファリードカウンタ４７のカウント値を示すリードカウント信号７２とバッファライトカウンタ４８のカウント値を示すライトカウント信号７３をリードエラー／ライトエラー検出器４６で監視し、両者のカウント値の差がバッファ段数以上になった場合、即ちオーバーフロー発生かアンダーフロー発生時にエラーフラグ７４をエラー検出レジスタ４５に転送する。エラーフラグ７４を受け取ったエラー検出レジスタ４５は割り込み信号５６としてＣＰＵ１に通知することで、エラー処理を行う事ができる。
【００３４】
本実施形態ではデータフォーマットをＹＵＶとＲＧＢに限定し、表示部をＱＱＶＧＡのＬＣＤ、保存データをＱＶＧＡとして説明したがデータフォーマットは、ＮＴＳＣやＰＡＬなどの中から選択できるようにすることや、表示部および保存データサイズをＶＧＡやＳＶＧＡなど他のサイズに対応することも可能である。この場合、バッファはフォーマットに対応付けて複数設け、ＣＰＵが表示部に最も適したデータを選択するようにしてもよい。
【００３５】
【発明の効果】
以上説明したように本発明によれば、データ保持手段から表示に適したフォーマットの画像データを読み出し、表示手段に送るので、従来のようにソフトウェアによりフォーマット変換を行う場合に比較し、処理時間を短縮し、高速に動画表示をすることが可能となる。
また、低処理能力の部品を用いても、高フレームレートの動画撮影をすることができ、安価な装置を実現できる。
【図面の簡単な説明】
【図１】本発明に係る画像撮影装置の一実施形態の構成を示すブロック図である。
【図２】フォーマット／縮小変換部の構成を示すブロック図である。
【図３】ダブルバッファ制御部の構成を示すブロック図である。
【図４】従来の画像撮影装置の一例を示すブロック図である。
【符号の説明】
１  ＣＰＵ
２  表示部
３  メモリ
４  データ処理部
５  イメージセンサ
６  カメラ機構部
７  クロック発生器
８  バッファ制御部
９  メインバッファ
１０  サブバッファ
１１  ＤＳＰ
１２  フォーマット／縮小変換部
１３  ＲＯＭ
１４  ＳＲＡＭ
１５  ＬＣＤＣ
１６  ＬＣＤ
１７  ダブルバッファ制御部
２０  カメラモジュール
３１  ＲＧＢ／ＹＵＶ変換回路
３２，３３  セレクタ
３４，３５  データ間引き演算器
４１  フォーマットセレクトレジスタ
４２  倍率設定レジスタ
４３，４４  同期回路
４５  エラー検出レジスタ
４６  リードエラーライトエラー検出器
４７  バッファリードカウンタ
４８  バッファライトカウンタ
５１  イメージセンサ制御信号
５２  フレーム信号
５３  バッファ制御信号
５４  イメージセンサ読み出しアナログ信号
５５  画像データ信号
５６  割り込み信号
５７  メイン画像データ信号
５８  サブ画像データ信号
５９，６０  フォーマット／拡大縮小切り替え信号
６１，６３  書き込み読み出し通知信号
６５  フォーマット変換後画像データ
６６，６８  フォーマット切り換え信号
６７，６９  拡大縮小制御信号
７０  バッファリードフラグ信号
７１  バッファライトフラグ信号
７２  バッファリードカウント信号
【図１】
0003850249.tif 000002
【図２】
0003850249.tif 000003
【図３】
0003850249.tif 000004
【図４】
0003850249.tif 000005