(57)【特許請求の範囲】
【請求項１】
撮像素子の撮像面へと入射する光束を所定画素数単位でシフトする画素ずらし手段と、
前記画素ずらし手段によってシフトされた各位置において撮像された画素データを記憶可能な画像メモリと、
前記画像メモリに、前記画素データを縦横Ｎ（Ｎは整数）倍の画素数を有する撮像素子と等価の画素データの空間的配列で記憶するとともに、記憶された前記画素データの読み出しを１フレームづつ分割して複数回で行うメモリコントローラと、を備え、
前記撮像素子は、撮像面に水平２画素及び垂直４画素単位の８画素ブロック単位で周期性を有する色フィルタを配されており、前記画素ずらし手段は前記撮像素子の撮像面へと入射する光束をプラス及びマイナス方向に２／３画素シフトするように動作し、前記メモリは画素データを少なくとも９フレーム分記憶可能であり、前記メモリコントローラは前記画像メモリに前記画素データを縦横３倍の画素数を有する撮像素子の画素データの空間的配列で記憶するとともに、記憶された画素データの読み出しを１フレームづつ分割して９回行うように構成されていることを特徴とする撮像装置。
【請求項２】
請求項１において、
さらに前記メモリより読み出された画素データに上下ライン混合の演算処理を行うことにより上下ライン混合のフィールド読み出しを可能とする加算回路と、前記加算回路より出力された上下ライン混合のフィールド読み出し画素データを処理するカメラプロセス回路とを有する画像処理部を備えたことを特徴とする撮像装置。
【請求項３】
請求項２において、
前記色フィルターは補色市松の画素配列に形成され、前記メモリコントローラは、前記撮像素子より上下ライン非混合のフレーム全画素読み出しモードで読み出された画素データを前記メモリに記憶するとともに、垂直２画素ごとのマゼンタ及びグリーンの反転を補正すべく水平方向に１画素あるいは１／３画素シフトする補正手段を備えたことを特徴とする撮像装置。
【請求項４】
請求項３において、
前記補正手段による、水平１画素または１／３画素ずらしは、マゼンタ及びグリーンのフィールド撮像時に対してのみ、且つ垂直方向画素ずらしがゼロのときにのみ行うことを特徴とする撮像装置。
【請求項５】
請求項１または２において、
前記色分解フィルタはＲＧＢベイヤーフィルタ配列であることを特徴とする撮像装置。
【請求項６】
請求項１，４または５において、
１／３画素ピッチの光学的ローパスフィルタを、撮像レンズと前記撮像素子との間に配したことを特徴とする撮像装置。
【請求項７】
請求項２または５において、
前記画像処理部は、さらに画像データ転送用バッファメモリと、外部デジタル出力インタフェースを備えていることを特徴とする撮像装置。
【請求項８】
全画素読み出しのフレーム読み出しと複数ライン混合のフィールド読み出しの可能な撮像素子と、
前記撮像素子からの複数ライン混合のフィールド読み出しで読み出された画素データを処理するカメラプロセス手段と、
前記撮像素子の撮像面へと入射する光束を所定画素数単位でシフトする画素ずらし手段と、
前記撮像素子より読み出された画素データを記憶可能な画像メモリと、
前記撮像素子より全画素読み出しのフレーム読み出しされた画素データを前記画像メモリに書き込むにあたり、縦横Ｎ（Ｎは整数）倍の画素数を有する撮像素子と等価の画素データの空間的配列で記憶するとともに、記憶された画素データの読み出しを１フレームづつ分割して複数回で行わせるメモリコントローラと、
前記メモリコントローラによって前記画像メモリより読み出された画素データに対して複数ライン混合の演算処理を行った複数ライン混合のフィールド読み出し画素データを処理するカメラプロセス手段と、を備え、
前記撮像素子は、撮像面に水平２画素及び垂直４画素単位の８画素ブロック単位で周期性を有する色フィルタを配されており、前記画素ずらし手段は前記撮像素子の撮像面へと入射する光束をプラス及びマイナス方向に２／３画素シフトするように動作し、前記メモリは画素データを少なくとも９フレーム分記憶可能であり、前記メモリコントローラは前記画像メモリへの画素データの書き込みにあたり、縦横３倍の画素数を有する撮像素子の画素データの空間的配列で記憶するとともに、記憶された画素データの読み出しを１フレームづつ分割して９回行うように構成されていることを特徴とする撮像装置。
【請求項９】
請求項８において、
前記色フィルターは補色市松の画素配列に形成され、前記メモリコントローラは、前記撮像素子より上下ライン非混合のフレーム全画素読み出しモードで読み出された画素データを前記メモリに記憶するとともに、垂直２画素ごとのマゼンタ及びグリーンの反転を補正すべく水平方向に１画素あるいは１／３画素シフトする補正手段を備えたことを特徴とする撮像装置。
【請求項１０】
請求項９において、
前記補正手段による、水平１画素または１／３画素ずらしは、マゼンタ及びグリーンのフィールド撮像時に対してのみ、且つ垂直方向画素ずらしがゼロのときにのみ行うことを特徴とする撮像装置。
【請求項１１】
請求項８または１０において、
さらに光学ローパスフィルタと、前記光学ローパスフィルタの機能をキャンセルする光学ローパスフィルタ制御手段とを備え、前記撮像素子より複数ライン混合フィールド読み出しした信号を出力する場合に光学ローパスフィルタ機能を作用させ、前記撮像素子より全画素フレーム読み出しを行う場合には、前記光学ローパスフィルタの機能をキャンセルするように構成されていることを特徴とする撮像装置。
【請求項１２】
請求項１１において、
前記光学ローパスフィルタ制御手段は、１画素ピッチの２枚の複屈折水晶板のうち、一方を回転させる手段であることを特徴とする撮像装置。
【請求項１３】
請求項１１において、
前記光学ローパスフィルタ制御手段は、１画素ピッチの光学ローパスフィルタと４／３画素ピッチの光学的ローパスフィルタを相対的に回転させる手段であることを特徴とする撮像装置。
【請求項１４】
請求項１１において、
前記撮像素子より複数ライン混合フィールド読み出しした信号を出力する場合には動画を撮像モード、光学ローパスフィルタ機能を作用させ、前記撮像素子より全画素フレーム読み出しを行う場合には静止画撮影モードとなるように構成されていることを特徴とする撮像装置。
【請求項１５】
請求項１４において、
前記撮像素子からの複数ライン混合のフィールド読み出しで読み出された画素データを処理するカメラプロセス手段と、
前記メモリコントローラによって前記画像メモリより読み出された画像データに対して複数ライン混合の演算処理を行った複数ライン混合のフィールド読み出し画素データを処理するカメラプロセス手段とは、同一のカメラプロセス回路を兼用したことを特徴とする撮像装置。
【請求項１６】
請求項８乃至１５において、
前記画像メモリより読み出した前記各フレームの画像データを格納する転送用バッファメモリを備え、該バッファメモリ内の所望のフレームの画像データのみを外部接続装置へと高速転送可能な転送手段を備えたことを特徴とする撮像装置。
【請求項１７】
請求項８乃至１６において、
前記色分解フィルタはＲＧＢベイヤーフィルタ配列であることを特徴とする撮像装置。
【請求項１８】
水平２画素及び垂直４画素単位の８画素ブロック単位で周期性を有する色フィルタを配された撮像素子と、
撮像素子の撮像面へと入射する光束を±２／３画素シフトする画素ずらし手段と、
前記撮像素子に蓄積された各画素データをデジタルデータに変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段より出力されたデジタル画素データを少なくとも９フレーム分記憶可能な画像メモリと、
前記画像メモリへの書き込みを等価的に縦横３倍の画素数を有する撮像素子と等価の画素データの空間的配置に等しくなるように画素データの配列を行うメモリコントローラと、
前記画像メモリからの読み出しデータに対して、複数ライン混合する処理を行う加算回路と、
前記加算回路より出力された複数ライン混合フィールド読み出し画素データを処理するカメラプロセス手段と、を備えたことを特徴とする撮像装置。
【請求項１９】
請求項１８において、
前記メモリコントローラは前記画像メモリより、画素データを１フレームづつ分割して９回で読み出すように構成されていることを特徴とする撮像装置。
【請求項２０】
請求項１８または１９において、
前記色フィルターは補色市松の画素配列に形成され、前記画素ずらし手段は、垂直２画素ごとのマゼンタ及びグリーンの反転を補正すべく水平方向に１画素あるいは１／３画素シフトする補正手段を備えたことを特徴とする撮像装置。
【請求項２１】
請求項２０において、
前記補正手段による、水平１画素または１／３画素ずらしは、マゼンタ及びグリーンのフィールド撮像時に対してのみ、且つ垂直方向画素ずらしがゼロのときにのみ行うことを特徴とする撮像装置。
【請求項２２】
請求項１８または１９において、
前記色分解フィルタはＲＧＢベイヤーフィルタ配列であることを特徴とする撮像装置。
【請求項２３】
請求項２０，２１または２２において、
１／３画素ピッチの光学的ローパスフィルタを、撮像レンズと前記撮像素子との間に配したことを特徴とする撮像装置。
【請求項２４】
請求項１８，１９または２２において、
さらに画像データ転送用バッファメモリと、外部デジタル出力インタフェースを備えていることを特徴とする撮像装置。
【請求項２５】
水平２画素及び垂直４画素単位の８画素ブロック単位で周期性を有する色フィルタを配された撮像素子と、
前記撮像素子より画素データを全画素フレーム読み出しする全画素フレーム読み出しモードと、前記撮像素子より画素データを複数ライン混合してフィールド読み出しするフィールド読み出しモードとで駆動可能な撮像素子駆動手段と、
撮像素子の撮像面へと入射する光束を±２／３画素シフトする画素ずらし手段と、
前記光学ローパスフィルタ手段と、
前記撮像素子に蓄積された各画素データを少なくとも９フレーム分記憶可能な画像メモリと、
前記画素ずらし手段を動作させるとともに撮像素子を前記全画素フレーム読み出しモードで駆動し、前記撮像素子より読み出された画素データを前記画像メモリへと書き込むにあたり、等価的に縦横３倍の画素数を有する撮像素子と等価の画素データの空間的配置に等しくなるように画素データの配列を行う制御手段と、
動画撮像においては前記撮像素子より読み出された複数ライン混合画像データを処理し、静止画撮像においては、前記画像メモリからの読み出された画像データに対して、複数ライン混合してフィールド読み出しデータの形式で処理するカメラプロセス手段と、を備えたことを特徴とする撮像装置。
【請求項２６】
請求項２５において、
前記制御手段は、前記画像メモリより画素データを１フレームづつ分割して９回読み出すように構成されていることを特徴とする撮像装置。
【請求項２７】
請求項２５において、
前記色フィルターは補色市松の画素配列に形成され、前記画素ずらし手段は、垂直２画素ごとのマゼンタ及びグリーンの反転を補正すべく水平方向に１画素あるいは１／３画素シフトする補正手段を備えたことを特徴とする撮像装置。
【請求項２８】
請求項２７において、
前記補正手段による、水平１画素または１／３画素ずらしは、マゼンタ及びグリーンのフィールド撮像時に対してのみ、且つ垂直方向画素ずらしがゼロのときにのみ行うことを特徴とする撮像装置。
【請求項２９】
請求項２５または２６において、
前記色分解フィルタはＲＧＢベイヤーフィルタ配列であることを特徴とする撮像装置。
【請求項３０】
請求項２５，２８または２９において、
前記光学ローパスフィルタ制御手段は、そのローパス機能をキャンセルする機能を備え、動画撮像時に前記撮像素子より複数ライン混合フィールド読み出しした信号を出力する場合に光学ローパスフィルタ機能を作用させ、静止画撮像時に前記撮像素子より全画素フレーム読み出しを行う場合には、前記光学ローパスフィルタの機能をキャンセルするように構成されていることを特徴とする撮像装置。
【請求項３１】
請求項３０において、
前記光学ローパスフィルタ制御手段は、１画素ピッチの２枚の複屈折水晶板のうち、一方を回転させる手段であることを特徴とする撮像装置。
【請求項３２】
請求項３０において、
前記光学ローパスフィルタ制御手段は、１画素ピッチの光学ローパスフィルタと４／３画素ピッチの光学的ローパスフィルタを相対的に回転させる手段であることを特徴とする撮像装置。
【請求項３３】
請求項３１または３２において、
前記撮像素子より複数ライン混合フィールド読み出しした信号を出力する場合には動画を撮像モード、光学ローパスフィルタ機能を作用させ、前記撮像素子より全画素フレーム読み出しを行う場合には静止画撮影モードとなるように構成されていることを特徴とする撮像装置。
【請求項３４】
請求項２５において、
前記カメラプロセス手段は、撮像素子からの複数ライン混合のフィールド読み出しで読み出された画素データを処理するカメラプロセス回路と、
前記メモリコントローラによって前記画像メモリより読み出された画像データに対して複数ライン混合の演算処理を行った複数ライン混合のフィールド読み出し画素データを処理するカメラプロセス回路とを別個に備えていることを特徴とする撮像装置。
【請求項３５】
請求項２５において、
前記カメラプロセス手段は、撮像素子からの複数ライン混合のフィールド読み出しで読み出された画素データを処理するカメラプロセス回路と、
前記メモリコントローラによって前記画像メモリより読み出された画像データに対して複数ライン混合の演算処理を行った複数ライン混合のフィールド読み出し画素データを処理するカメラプロセス回路とで、同一のカメラプロセス回路を兼用することを特徴とする撮像装置。
【請求項３６】
請求項２６において、
前記画像メモリより読み出した前記各フレームの画像データを格納する転送用バッファメモリを備え、該バッファメモリ内の所望のフレームの画像データのみを外部接続装置へと高速転送可能な転送手段を備えたことを特徴とする撮像装置。
【請求項３７】
請求項３６において、
前記転送手段は、外部デジタル出力インタフェースを備えていることを特徴とする撮像装置。
【請求項３８】
撮像素子の撮像面へと入射する光束を所定画素数単位でシフトして画素ずらしを行い、
前記画素ずらしによってシフトされた各位置において撮像された画素データをメモリに記憶し、
前記画像メモリへの前記画素データの書き込みを行うにあたり、縦横Ｎ倍の画素数を有する空間的配列で記憶するとともに、記憶された前記画素データの読み出しを１フレームづつ分割して複数回で行うように制御するようにし、
前記撮像素子に、撮像面に水平２画素及び垂直４画素単位の８画素ブロック単位で周期性を有する色フィルタを配された撮像素子を用い、画素ずらしをプラス及びマイナス方向に２／３画素シフトするように動作させ、前記画像メモリへの画素データの書き込みを縦横３倍の画素数を有する空間的配列で９フレーム分行うとともに、記憶された画素データの読み出しを１フレームづつ分割して９回行うようにしたことを特徴とする撮像方法。
【請求項３９】
請求項３８において、
前記メモリより読み出された画素データに上下ライン混合の演算処理を行うことにより上下ライン混合のフィールド読み出しを行ったデータに対してカメラプロセスを実行するようにしたことを特徴とする撮像方法。
【請求項４０】
請求項３８において、
前記色フィルターに補色市松の画素配列を用い、前記撮像素子より上下ライン非混合のフレーム全画素読み出しモードで読み出された画素データを前記メモリに記憶するとともに、垂直２画素ごとのマゼンタ及びグリーンの反転を補正すべく水平方向に１画素あるいは１／３画素シフトする補正を行うようにしたことを特徴とする撮像方法。
【請求項４１】
請求項４０において、
前記補正は、水平１画素または１／３画素ずらしは、マゼンタ及びグリーンのフィールド撮像時に対してのみ、且つ垂直方向画素ずらしがゼロのときにのみ行うようにしたことを特徴とする撮像方法。
【請求項４２】
請求項３８または３９において、
前記色フィルタにＲＧＢベイヤーフィルタ配列を用いたことを特徴とする撮像方法。
【請求項４３】
請求項３８，４１または４２において、
１／３画素ピッチの光学的ローパスフィルタを、撮像レンズと前記撮像素子との間に配したことを特徴とする撮像方法。
【請求項４４】
動画撮像時は、撮像素子より複数ライン混合のフィールド読み出しを行ってカメラプロセスを行い、
静止画撮像時には、前記撮像素子の撮像面へと入射する光束を所定画素数単位でシフトして画素ずらしを行うとともに、前記撮像素子より画像データを全画素読み出しでフレーム読み出しを行い、
前記撮像素子より全画素読み出しのフレーム読み出しされた画像データを前記画像メモリへと書き込むにあたり、縦横Ｎ倍の画素数を有する撮像素子の画素データと等価の空間的配列で記憶し、
画像メモリに記憶された画素データの読み出す場合には、１フレームづつ分割して複数回で行うようにし、その読み出された画像データに対して複数ライン混合の演算処理を行った複数ライン混合のフィールド読み出し画素データに対してカメラプロセスを行うようにし、
前記撮像素子に、その撮像面に水平２画素及び垂直４画素単位の８画素ブロック単位で周期性を有する色フィルタを配されたものを用い、前記画素ずらしはプラス及びマイナス方向に２／３画素シフトし、前記画像メモリへの画素データの書き込みを縦横３倍の画素数を有する空間的配列で記憶するとともに、記憶された画素データの読み出しを１フレームづつ分割して９回行うようにしたことを特徴とする撮像方法。
【請求項４５】
請求項４４において、
前記色フィルターは補色市松の画素配列に形成され、前記画素ずらしは、垂直２画素ごとのマゼンタ及びグリーンの反転を補正すべく水平方向に１画素あるいは１／３画素シフトする補正を行うことを特徴とする撮像方法。
【請求項４６】
請求項４５において、
前記水平１画素または１／３画素ずらしの補正は、マゼンタ及びグリーンのフィールド撮像時に対してのみ、且つ垂直方向画素ずらしがゼロのときにのみ行うことを特徴とする撮像方法。
【請求項４７】
請求項４５において、
光学ローパスフィルタと、前記光学ローパスフィルタの機能をキャンセルする光学ローパスフィルタ制御手段を用い、前記撮像素子より複数ライン混合フィールド読み出しした信号を出力する場合に光学ローパスフィルタ機能を作用させ、前記撮像素子より全画素フレーム読み出しを行う場合には、前記光学ローパスフィルタの機能をキャンセルするようにしたことを特徴とする撮像方法。
【請求項４８】
請求項４７において、
前記光学ローパスフィルタ制御手段は、１画素ピッチの２枚の複屈折水晶板のうち、一方を回転させる手段であることを特徴とする撮像方法。
【請求項４９】
請求項４７において、
前記光学ローパスフィルタ制御手段は、１画素ピッチの光学ローパスフィルタと４／３画素ピッチの光学的ローパスフィルタを相対的に回転させる手段であることを特徴とする撮像方法。
【請求項５０】
請求項４４，４６，４８乃至４９において、
前記色分解フィルタはＲＧＢベイヤーフィルタ配列であることを特徴とする撮像方法。
【請求項５１】
請求項３８乃至５０において、
前記撮像方法を実行するプログラムを記憶した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画素ずらしを行うことによって高画質画像を可能とした撮像装置に関する。
【０００２】
【従来の技術】
近年、パーソナルコンピュータ（以下パソコンと称す）の急速な普及に伴い、画像入力機器の必要性が高まっている。
【０００３】
パソコン用に画像入力装置として、代表的なのが、スキャナーであり、これは、基本的には紙に書かれた（印刷された）文書または、写真等の印刷物を対象としている。
【０００４】
スキャナーでは、撮像素子としてラインセンサーを使用しており、解像度的には、２００dpi(Dot/inch)から上は、１２００dpiまでと、極めて高い解像度をカバーしている。
【０００５】
解像度は、通常文書上に書かれた１０ポイントのフォントが十分に判読できるか否かが目安になっており、そのための最低の解像度は、２００dpiである。したがって、スキャナーは解像度的には、十分な性能を有している。
【０００６】
一方、ビデオ技術を用いた画像入力装置としては、ビジュアライザー（書画カメラ）があり、多数の提案及び製品化がなされている。
【０００７】
これは、照明付きの原稿台にカメラを支える支柱を設け、ビデオカメラを取り付けて原稿台上の原稿を撮影するようにしたものである。
【０００８】
ビデオビジュアライザーでは、撮像素子としてエリアセンサーを使用しており、解像度的には、ビデオカメラの解像度が限界である。ビデオカメラの解像度は、Ａ４版の原稿をフル（横置き）に撮像した場合に約６７dpiの解像力が限界である（ＮＴＳＣ方式ビデオで縦横比１対１の場合の横方向画素数は、６４０／９．５＝６７．４dpiとなる）。
【０００９】
ここでスキャナーには、スキャン時間が、長くかかること（カラーでは、１０秒から２０秒）、またスキャンが終わるまでの全体の画像を把握できないという問題がある。
【００１０】
スキャンが終わるまで全体のフレーミングがわからないという欠点を改善するためには、プレビューモードを備えたものが提案されているが、プレビューを行い、それからマウス等のポインティングデバイスで、実際のスキャン箇所を指定する必要がある等、操作が複雑である。
【００１１】
この他、スキャナーの実用上の問題点は、立体物を撮像できないことであり、用途は、自ずと文書からの入力に限定されている。
【００１２】
この点、ビデオビジュアライザーは、操作が容易で、フレーミングも容易で、文書、立体物の撮像も可能である等、スキャナーの操作性、スキャン時間の問題点を解決できる反面、解像度に問題を有している。
【００１３】
すなわちビデオビジュアライザーの解像度は、現状では、６７dpi程度しか得られず、画質上満足がいくものではないが、フレーミングに関しても、ズームレンズを有しており、原稿台上で原稿を移動し、且つズーム比を調整することにより、所望のフレーミングがモニターを見ながら、リアルタイムに実現できる特徴がある。
【００１４】
そこで、ビデオビジュアライザーの解像度を向上し、スキャナー並の解像度を得ることができれば、文書のみならず、立体物の高画質札御図が可能となる。
【００１５】
このような要望を満たす方法として、第１にビジュアライザーに使用ｓうるエリアセンサーの画素数を増加させることが考えられるが、現状ビジュアライザーで通常使用されているエリアセンサーは４５０ＴＶラインの解像力を満足する総画素数４１万画素（有効画素３８万）のエリアセンサーであり、これを近年デジタルスチルカメラ用に開発されてきた１００万画素、１３０万画素、１６０万画素の高画質センサーに代えることが考えられる。
【００１６】
しかしながらこのような高画質センサーは、一般にチップサイズが大きくなって高価となり、画素サイズを小さくして集積度を上げようとすれば、感度が低下してＳ／Ｎが劣化する等の問題を生じることになる。
【００１７】
また仮にこれらの高画質センサーを用いたとしても、その解像力は、Ａ４フルサイズを１００万画素のエリアセンサーで撮像したとして１００dpi、１３５万画素エリアセンサーで撮像したとして１３５dpi、１６０万画素で１３５dpi（アスペクト比１対１に変換後）であり、スキャナー並と呼ぶことのできる２００dpiには、程遠いものでしかない。
【００１８】
さらに既存の従来型のビジュアライザーとの上位互換を維持しようとした場合、アナログビデオ出力（例えばＮＴＳＣ方式）を持たせる必要があり、この際、画質的には、総画素数４１万画素（有効画素数３８万）の画質レベルが望まれるが、上記高画質センサーは、４１万画素のビデオレートに互換の出力モードをそのセンサーの画素配列上有しておらず、これを実現するには、スキャンレート変換回路を追加する必要性を生じ、コストアップとなる。
【００１９】
またスキャンレート変換自体も、輪郭部（エッジ）の画質を劣化（不自然なギザギザ）させる要因となることは周知の事実であり、スキャンレートが４１万画素相当に変換されたとしても、実際の４１万画素センサーの場合と比較して、エッジ部の画質劣化は避けることが出来ない。
【００２０】
そこで、撮像素子の画素数を変えずに、入射光と撮像素子の相対的位置を画素の端数（１／Ｎ）づつずらして撮像し、解像度を上げるいわゆる画素ずらしという方法がある。具体的には、撮像レンズと撮像素子との光学上の中継空間における光路内に平行平板状の光透過ガラスを配設し、該光透過ガラスを所定量回転し、本来は撮像素子の画素と画素の間の不感帯に届いていた光学画像情報を画素上に導くことにより、解像度を向上せしめるものである。
【００２１】
もちろん、この他にも画素ずらしを実現する方法として、撮像素子自体を微小量移動させる方式があるが、移動精度の確保に困難を伴い、実用性に欠ける。
【００２２】
この画素ずらしの手法によれば、撮像素子自体の画素数を増加させなくても、平行平板状のガラスの作用により、高画質の撮像を行うことが出来るため、高画質化の極めて有効な手法として、認識されている。
【００２３】
またこの画素ずらしの手法を用いれば、撮像素子にビデオ用の４１万画素のセンサーを使用することにより、容易にアナログビデオ出力を同時に得ることができる。
【００２４】
【発明が解決しようとする課題】
しかしながら、従来の画素ずらしシステムを用いて、２００dpiクラスの解像度を有するビジュアライザーを実現するためには、以下に示すような問題点がある。
【００２５】
まず最も単純に１／２画素ずらしを行う場合を考えると、解像力は最大で２倍にしかならず、A4版原稿をフルサイズ（横置き）に撮像した場合、１３５（６７×２）dpiが最大である。
【００２６】
これは紙面上の１０ポイントのフォントを入力するには不十分である上に、カラー撮像では画像メモリーが１６フレーム必要になり、コスト的にも高価なものになる。
【００２７】
またホワイトバランス等の色信号処理等を、外部接続されたパーソナルコンピュータ側で行う必要があり、処理時間が長くかかる（通常１０〜２０秒）。
【００２８】
純色フィルタ、補色フィルタにかかわらず、原色を用いるので、文書入力用に白黒信号を生成するのに演算が必要となり、パソコンでこれを実行しなければならないため、さらに処理時間を要する。
【００２９】
また解像力を上げるために、さらに画素ずらし間隔を１／３画素ずらしとした場合を考えると、解像力的には、２００dpiを達成できるが、上記の１／２画素ずらしと同様に、画像メモリーのサイズが３６フレーム分必要となり高価であるとともに、ホワイトバランス等の色信号処理をパソコン側で行うために、処理時間が長くかかる問題点を有する。
【００３０】
またいずれのシステムにおいても、画素ずらしを行うことによって得た映像信号を処理する信号処理回路は、通常のテレビジョン信号処理回路との互換がなく、その信号処理系が専用となるとともに、パソコンで処理する場合には、さらにパソコン側の処理に負担を描けることになる。
【００３１】
またビジュアライザーの機能拡張の一環として、撮像部の向きを可変として、原稿以外の被写体を動画で撮像することを可能とした装置が提案されているが、信号処理系を動画撮影時と、画素ずらし高画質静止画撮影時とで、別個に独立した信号処理系を設けなければならず、システムが大がかりで、高価になり、処理時間も長くなる等、実現が困難であった。
【００３２】
そこで、本発明の課題は、画素ずらしを行うことにより、高画質の画像取り込みを可能とする
とともに、処理効率が良く、高速で、かつメモリ効率の良い画素ずらし方法及び装置を提供することにある。
【００３３】
また本発明の課題は、画素ずらしによって取り込んだ画像データを既存のカメラプロセス回路で処理可能とすることにより、信号処理及びメモリの効率化、高速化を実現し得る画素ずらし方法及び装置を提供することにある。
【００３４】
また本発明の課題は、画素ずらしに適したローパスフィルタ制御を実現した画素ずらし方法及び装置を提供することにある。
【００３５】
【課題を解決するための手段】
このような課題を解決するために本願における請求項１に記載の発明によれば、撮像素子の撮像面へと入射する光束を所定画素数単位でシフトする画素ずらし手段と、前記画素ずらし手段によってシフトされた各位置において撮像された画素データを記憶可能な画像メモリと、前記画像メモリに、前記画素データを縦横Ｎ（Ｎは整数）倍の画素数を有する撮像素子と等価の画素データの空間的配列で記憶するとともに、記憶された前記画素データの読み出しを１フレームづつ分割して複数回で行うメモリコントローラと、を備え、前記撮像素子は、撮像面に水平２画素及び垂直４画素単位の８画素ブロック単位で周期性を有する色フィルタを配されており、前記画素ずらし手段は前記撮像素子の撮像面へと入射する光束をプラス及びマイナス方向に２／３画素シフトするように動作し、前記メモリは画素データを少なくとも９フレーム分記憶可能であり、前記メモリコントローラは前記画像メモリに前記画素データを縦横３倍の画素数を有する撮像素子の画素データの空間的配列で記憶するとともに、記憶された画素データの読み出しを１フレームづつ分割して９回行うように構成されていることを特徴とする。
【００３６】
また本願における請求項８に記載の発明によれば、全画素読み出しのフレーム読み出しと複数ライン混合のフィールド読み出しの可能な撮像素子と、前記撮像素子からの複数ライン混合のフィールド読み出しで読み出された画素データを処理するカメラプロセス手段と、前記撮像素子の撮像面へと入射する光束を所定画素数単位でシフトする画素ずらし手段と、前記撮像素子より読み出された画素データを記憶可能な画像メモリと、前記撮像素子より全画素読み出しのフレーム読み出しされた画素データを前記画像メモリに書き込むにあたり、縦横Ｎ（Ｎは整数）倍の画素数を有する撮像素子と等価の画素データの空間的配列で記憶するとともに、記憶された画素データの読み出しを１フレームづつ分割して複数回で行わせるメモリコントローラと、前記メモリコントローラによって前記画像メモリより読み出された画素データに対して複数ライン混合の演算処理を行った複数ライン混合のフィールド読み出し画素データを処理するカメラプロセス手段と、を備え、前記撮像素子は、撮像面に水平２画素及び垂直４画素単位の８画素ブロック単位で周期性を有する色フィルタを配されており、前記画素ずらし手段は前記撮像素子の撮像面へと入射する光束をプラス及びマイナス方向に２／３画素シフトするように動作し、前記メモリは画素データを少なくとも９フレーム分記憶可能であり、前記メモリコントローラは前記画像メモリへの画素データの書き込みにあたり、縦横３倍の画素数を有する撮像素子の画素データの空間的配列で記憶するとともに、記憶された画素データの読み出しを１フレームづつ分割して９回行うように構成されていることを特徴とする。
【００３７】
また、また本願における請求項１８に記載の発明によれば、水平２画素及び垂直４画素単位の８画素ブロック単位で周期性を有する色フィルタを配された撮像素子と、撮像素子の撮像面へと入射する光束を±２／３画素シフトする画素ずらし手段と、前記撮像素子に蓄積された各画素データをデジタルデータに変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段より出力されたデジタル画素データを少なくとも９フレーム分記憶可能な画像メモリと、前記画像メモリへの書き込みを等価的に縦横３倍の画素数を有する撮像素子と等価の画素データの空間的配置に等しくなるように画素データの配列を行うメモリコントローラと、前記画像メモリからの読み出しデータに対して、複数ライン混合する処理を行う加算回路と、前記加算回路より出力された複数ライン混合フィールド読み出し画素データを処理するカメラプロセス手段と、を備えたことを特徴とする。
【００３８】
また、また本願における請求項２５に記載の発明によれば、水平２画素及び垂直４画素単位の８画素ブロック単位で周期性を有する色フィルタを配された撮像素子と、前記撮像素子より画素データを全画素フレーム読み出しする全画素フレーム読み出しモードと、前記撮像素子より画素データを複数ライン混合してフィールド読み出しするフィールド読み出しモードとで駆動可能な撮像素子駆動手段と、撮像素子の撮像面へと入射する光束を±２／３画素シフトする画素ずらし手段と、前記光学ローパスフィルタ手段と、前記撮像素子に蓄積された各画素データを少なくとも９フレーム分記憶可能な画像メモリと、前記画素ずらし手段を動作させるとともに撮像素子を前記全画素フレーム読み出しモードで駆動し、前記撮像素子より読み出された画素データを前記画像メモリへと書き込むにあたり、等価的に縦横３倍の画素数を有する撮像素子と等価の画素データの空間的配置に等しくなるように画素データの配列を行う制御手段と、動画撮像においては前記撮像素子より読み出された複数ライン混合画像データを処理し、静止画撮像においては、前記画像メモリからの読み出された画像データに対して、複数ライン混合してフィールド読み出しデータの形式で処理するカメラプロセス手段と、を備えたことを特徴とする。
【００３９】
また、また本願における請求項３８に記載の発明によれば、撮像素子の撮像面へと入射する光束を所定画素数単位でシフトして画素ずらしを行い、前記画素ずらしによってシフトされた各位置において撮像された画素データをメモリに記憶し、前記画像メモリへの前記画素データの書き込みを行うにあたり、縦横Ｎ倍の画素数を有する空間的配列で記憶するとともに、記憶された前記画素データの読み出しを１フレームづつ分割して複数回で行うように制御するようにし、前記撮像素子に、撮像面に水平２画素及び垂直４画素単位の８画素ブロック単位で周期性を有する色フィルタを配された撮像素子を用い、画素ずらしをプラス及びマイナス方向に２／３画素シフトするように動作させ、前記画像メモリへの画素データの書き込みを縦横３倍の画素数を有する空間的配列で９フレーム分行うとともに、記憶された画素データの読み出しを１フレームづつ分割して９回行うようにしたことを特徴とする。
【００４０】
また、また本願における請求項４４に記載の発明によれば、動画撮像時は、撮像素子より複数ライン混合のフィールド読み出しを行ってカメラプロセスを行い、静止画撮像時には、前記撮像素子の撮像面へと入射する光束を所定画素数単位でシフトして画素ずらしを行うとともに、前記撮像素子より画像データを全画素読み出しでフレーム読み出しを行い、
前記撮像素子より全画素読み出しのフレーム読み出しされた画像データを前記画像メモリへと書き込むにあたり、縦横Ｎ倍の画素数を有する撮像素子の画素データと等価の空間的配列で記憶し、画像メモリに記憶された画素データの読み出す場合には、１フレームづつ分割して複数回で行うようにし、その読み出された画像データに対して複数ライン混合の演算処理を行った複数ライン混合のフィールド読み出し画素データに対してカメラプロセスを行うようにし、前記撮像素子に、その撮像面に水平２画素及び垂直４画素単位の８画素ブロック単位で周期性を有する色フィルタを配されたものを用い、前記画素ずらしはプラス及びマイナス方向に２／３画素シフトし、前記画像メモリへの画素データの書き込みを縦横３倍の画素数を有する空間的配列で記憶するとともに、記憶された画素データの読み出しを１フレームづつ分割して９回行うようにしたことを特徴とする。
【００９１】
【発明の実施の形態】
以下、本発明における撮像装置を、各図を参照しながら、その実施の形態について説明する。
【００９２】
水平または垂直方向に画素ずらしを行うことにより解像度を向上するものは、種々提案されているが、まず本発明の実施の形態の説明に入る前に、画素ずらしの基本原理及び基本動作について説明する。
【００９３】
撮像素子の撮像面側には、カラーフィルタが配されており、そのカラーフィルタの画素配列としては、「ＲＧＢベイヤー配列」、「補色市松配列」と称される色配列が主流であり、これらのカラーフィルタを施した撮像素子を用いて１／２画素ずらしを行って解像力を向上した場合を例にして説明する。
【００９４】
図２５はＲＧＢベイヤー配列のカラーフィルタの色配列を、図２６は補色市松配列をそれぞれ示すものであり、これらのフィルタは単板固体撮像素子の各画素上に各々のフィルターの各セルが１対１に対応して形成されている。
【００９５】
図２７は図２５に示す１６画素からなるＲＧＢベイヤー配列において、画素ずらしを行う際の移動方向及び移動量を示す図であり、これら１６画素の配列に対して、仮に定められた基準位置（図２５のＲＧＢベイヤー配列では、たとえば左上端のＲを基準位置とする）から、Ｘ方向（水平方向）及びＹ方向（垂直方向）に１／２画素ずつシフトする場合の相対移動位置を表している。
【００９６】
すなわち図２７は、１６画素からなるパターンが、４つのブロックに分けられ、それぞれのブロック内において、１／２画素ずらしが行われる様子を個々に示したものである。各ブロック内における数字は、画素ずらしの移動方向及び順序を示している。
【００９７】
同図において、左上のブロックについて見ると、（１）は１６画素の配列の基準位置、（２）はＹ方向に１／２画素、（３）はＸ方向に１／２画素、（４）はＸ、Ｙ両方向に１／２画素シフトすることをそれぞれ示している。
【００９８】
すなわち（１）〜（４）で示す画素ずらしは、基準位置１に対して画素を水平、垂直方向にそれぞれ１／２画素ずらして画像を取り込む動作を示すものである。
【００９９】
また左下のブロックは、基準位置（１）より、Ｙ方向すなわち垂直方向に１画素シフトした位置５を基準として、（６），（７），（８）というように、Ｙ方向，Ｘ方向，ＸＹ両方向に１／２画素ずらしを行ったときの移動位置を示している。
【０１００】
また右上のブロックにおける（９）〜（１２）で示す画素ずらしは、基準位置１より、Ｘ方向すなわち水平方向に１画素シフトした位置（９）を基準として、（１０），（１１），（１２）というように、Ｙ方向，Ｘ方向，ＸＹ両方向に１／２画素ずらしを行ったときの移動位置を示している。
【０１０１】
また右下のブロックにおける（１３）〜（１６）で示す画素ずらしは、基準位置（１）より、Ｘ及びＹ方向すなわち水平及び垂直方向に１画素シフトした位置（１３）を基準として、（１４），（１５），（１６）というように、Ｙ方向，Ｘ方向，ＸＹ両方向に１／２画素ずらしを行ったときの移動位置を示している。
【０１０２】
このようにして、基準位置よりＹ方向、Ｘ方向、ＸＹ両方向に１画素シフトした４つのブロック内において、１／２画素単位で画素ずらしを行い、結果として、もとの１画素に対して、各々別色の色信号を得ることができる。これらの対応関係を図２８に示している。
【０１０３】
図２８の（ａ），（ｂ），（ｃ），（ｄ）は、上記のように１６画素について４ブロックづつの１／２画素ずらしを行った結果、撮像された画素データを示すものである。同図（ａ）の４つの太線で分割されたブロックは、図２７の太線で分割された左上ブロック（４画素分）に相当する。
【０１０４】
そして、図２７の左上ブロックに着目し、Ｘ方向、Ｙ方向のそれぞれ（１）〜（４）のように１／２画素づつシフトし、画像を撮像すると、図２７の各１画素ごとに、４画素分の情報を得ることができる。他の画素についても同様に、１／２画素ピッチで４画素分の情報を得ることができる。
【０１０５】
図２８（ａ）は、１／２画素ピッチで画素ずらしを行い、Ｒ，Ｇ，Ｂ各画素ごとに、４画素分の情報を得ることができることを示している。
【０１０６】
図２８（ｂ）は、図２７の右上の４画素について着目し、Ｘ方向に１画素シフトした位置において、１／２画素ずらし（９）〜（１２）を行うことにより、Ｒ，Ｇ，Ｂそれぞれの画素について４画素分の情報を撮像することができることを示している。
【０１０７】
同様に、図２８（ｃ）は、図２７の左下の４画素について着目し、Ｙ方向に１画素シフトした位置において、１／２画素ずらし（５）〜（８）を行うことにより、Ｒ，Ｇ，Ｂそれぞれの画素について４画素分の情報を撮像することができることを示している。
【０１０８】
同様に、図２８（ｄ）は、図２７の右下の４画素について着目し、Ｘ，Ｙ両方向に１画素シフトした位置において、１／２画素ずらし（１３）〜（１６）を行うことにより、Ｒ，Ｇ，Ｂそれぞれの画素について４画素分の情報を撮像することができることを示している。
【０１０９】
このようにすると、たとえば図２７の基準位置（１）においては、本来Ｒ１画素分の情報しか得ることのできないところ、Ｒで４画素分、Ｇに相当する４画素分、Ｂに相当する４画素分の画像情報を得ることができる。
【０１１０】
図２９は上述のように、画素ずらしを行うことによって得たＲＧＢそれぞれの画像情報を、それぞれＲ，Ｇ，Ｂそれぞれの色信号メモリに記憶するとともに、アドレス変換を行い、各色メモリごとに色信号情報をＸ，Ｙ方向に再配置した状態を示すもので、Ｒ，Ｇ，Ｂそれぞれの色信号メモリに各色信号情報が集められ、各色ごとに一枚の画像を構成している。
【０１１１】
したがって、Ｒ，Ｇ，Ｂ各色の画素について、図２７の画素ずらし前の画素パターンに対し、Ｘ，Ｙ方向にそれぞれ２倍の解像度を得ることができるとともに、各画素位置において各色の情報を得ることができ、１６箇所（１／２画素ずらしをＸＹ方向に各２箇所で計４箇所×各色４箇所＝１６）の色情報を画素ずらしによって得ることができ、もとの撮像素子の画素数の１６倍の画像データを得ることができる。
【０１１２】
以上のような１６箇所の画素ずらし動作を行うためには、撮像光学系の光路内に挿入された平行平板の傾きを変化させ、あるいは、撮像素子を微小振動させる等の制御を行いながら、撮像素子の撮像面に入射される光束を、Ｘ方向に基準位置から０，１／２，１，３／２画素ピッチの４箇所に移動させるとともに、Ｙ方向にも同じく、０，１／２，１，３／２画素ピッチの４箇所に移動させる必要がある。この制御のシーケンスを図３２に示す。
【０１１３】
また、これらの色信号メモリから、各色ごとの画像情報を読み出して、パソコン等で容易に画像処理、編集、表示、プリント等を行うことができる。またこの色情報のまま、あるいは必要に応じてコンポジット信号に変換して他のビデオ機器、モニタ等に出力することも可能である。
【０１１４】
また図３０，３１は補色市松画素配列のカラーフィルタに対して、上述のような画素ずらしを行った場合を図示したものである。
【０１１５】
フィルタの画素配列が異なるだけで、処理自体は、上述と同様であるため、説明は省略し、結果のみ図示することにする。各画素が補色のシアン（Ｃ）、マゼンタ（Ｍ）、グリーン（Ｇ）、イエロー（Ｙ）について、それぞれ１／２画素ずらしで４画素ずつ取り込み、Ｘ，Ｙ方向それぞれについて、及びＸ，Ｙ両方向について、１画素シフトしたところで、再度１／２画素ずらしで４画素ずつ取り込むことにより、上述と同様に、もとの撮像素子の画素数の１６倍の画像データを得ることができる。
【０１１６】
また図３１は、各画素ずらしごとに撮像した画像データをアドレス変換し、色ごとにメモリ上で再配置した状態を示すものであり、シアン（Ｃ）、マゼンタ（Ｍ）、グリーン（Ｇ）、イエロー（Ｙ）の色メモリごとに、一枚の画像を構成している。
【０１１７】
したがってこれらの色信号メモリから、各色ごとの画像情報を読み出して、パソコン等で容易に画像処理、編集、表示、プリント等を行うことができる。またこの色情報のまま、あるいは必要に応じてコンポジット信号に変換して他のビデオ機器、モニタ等に出力することも可能である。
【０１１８】
またこの場合も、画素ずらしの方向は、Ｘ方向に基準位置から０，１／２，１，３／２画素ピッチの４箇所に移動させるとともに、Ｙ方向にも同じく、０，１／２，１，３／２画素ピッチの４箇所に移動させる必要がある。
【０１１９】
また上述のような１／２画素ずらし制御（ＲＧＢベイヤー又は補色市松フィルターの場合）によって得られる解像度はカラーで２倍となり、６７．４×２≒１３５dpiである。
【０１２０】
次に１／３画素ずらしを行った場合について説明する。
【０１２１】
図３３は、ＲＧＢベイヤー配列のフィルタにおけるＸ，Ｙ方向それぞれ６×６＝３６画素のブロックについて、これをＸ，Ｙ方向３×３＝９画素の４つのブロックに分割し、各分割ブロックごとに、１／３画素ピッチで２回づつＸ，Ｙ方向に画素ずらしを行う処理を示すものである。これによって３倍の解像度を得ることができる。また図３４は、これによって撮像された画素データを示すものである。
【０１２２】
図３３において、左上９画素ブロックについて、その数字１で表した画素位置を基準位置とし、１／３画素ピッチで、２回（１／３，２／３）づつ、Ｘ，Ｙ方向にそれぞれシフトし、画像の取り込みを行う。
【０１２３】
これによって得られた画像データは、図３４の（ａ）に示す。Ｒ，Ｇ，Ｂ各画素それぞれについて、Ｘ，Ｙ方向それぞれ１／３画素ピッチで画素ずらしを２回行うので、３×３＝９画素のデータを得ることができる。
【０１２４】
続いて、同図（ｃ）に示すように、基準位置（１）に対して、Ｙ方向に１画素シフトし、左下のブロックについて、同様に（１０）〜（１８）で示すように、Ｒ，Ｇ，Ｂ各画素それぞれについて、Ｘ，Ｙ方向それぞれ１／３画素ピッチで画素ずらしを２回行い、３×３＝９画素のデータを得ることができる。
【０１２５】
また同図（ｂ）に示すように、基準位置（１）に対して、Ｘ方向に１画素シフトし、右上のブロックについて、同様に（１９）〜（２７）で示すように、Ｒ，Ｇ，Ｂ各画素それぞれについて、Ｘ，Ｙ方向それぞれ１／３画素ピッチで画素ずらしを２回行い、３×３＝９画素のデータを得ることができる。
【０１２６】
さらに同図（ｄ）に示すように、基準位置１に対して、Ｘ，Ｙ方向にそれぞれ１画素シフトし、右下のブロックについて、同様に（２８）〜（３６）で示すように、Ｒ，Ｇ，Ｂ各画素それぞれについて、Ｘ，Ｙ方向それぞれ１／３画素ピッチで画素ずらしを２回行い、３×３＝９画素のデータを得ることができる。
【０１２７】
尚、（１０）〜（１８）のブロック、（１９）〜（２７）のブロック、（２８）〜（３６）のブロックをそれぞれＹ方向、Ｘ方向、Ｘ及びＹ方向に１画素シフトして撮像することによって、各画素に対して、本来なら他の色の画素の存在する位置における画素データを得ることができる。
【０１２８】
また図３５は、上記の画素ずらしによって得た色情報を、各色メモリに格納するとともに、アドレス変換を行って、各色ごとに再配置した状態の色信号配列を示すものである。
【０１２９】
同図に示すように、各画素について、Ｘ，Ｙ方向各々３倍の解像度（画素数）及び各画素位置において３倍の各色情報を得ることができる。すなわち１／３画素ずらしを各Ｘ，Ｙ方向に計９箇所行い、各色４色であるから、合計３６の色情報を画素ずらしにより得ることができるわけである。これはもとの撮像素子の画素数の３６倍のデータを得ることができるものであり、解像力としては、６７×３≒２００dpiを実現することができる。
【０１３０】
３６箇所の画素ずらしを実際に実現するためには、図３８に示すように、Ｘ方向に１／３画素ピッチで、基準位置から０，１／３，２／３，１，４／３，５／３画素分移動して６箇所でサンプリングを行い、Ｙ方向にも基準位置から０，１／３，２／３，１，４／３，５／３画素分移動して６箇所でサンプリングを行い、合計３６箇所のサンプリングを行う。これらのサンプリングを図３６に示す順に行ったときのＸ方向、Ｙ方向における画素ずらし量が図３８に示されている。
【０１３１】
尚、この場合も、前述の１／２画素ずらしのときと同様に、撮像素子はフレーム全画素読み出しモードを用いて駆動される。
【０１３２】
また図３６は、同様の１／３画素ずらしを補色市松配列の色フィルタに対して行った場合を示すものであり、図３７はその画素ずらしの結果メモリの取り込まれた画素データをアドレス変換して、各色ごとに再配置した状態の色信号配列を示すものである。
【０１３３】
この場合も上述のＲＧＢベイヤー配列における画素ずらしとアルゴリズムは同じなので、説明は省略し、図示だけとする。
【０１３４】
画素ずらしによる高画質撮像の基本原理は、以上のようになっているが、上記のシステムでは、上記の１／２画素ずらしでは、得られる解像力が最大で２倍であり、Ａ４原稿横置きフルサイズで、１３５（６７×２）dpiが最大であり、１０ポイントのフォントを入力するには不十分な解像力である。
【０１３５】
また必要とする画像メモリも、上記の１／２画素ずらしで１６フレーム分となり、高価となる。
【０１３６】
ホワイトバランス等の色処理を、たとえばパソコン側でおこなわなければならず、また純色、補色にかかわらず、原色を用いるので、文書入力用に白黒信号を生成する必要があり、演算処理時間が長くかかる（通常１０〜２０秒）。
【０１３７】
また上記の１／３画素ずらしの場合は、解像力の上では、２００dpiを達成できるが、必要な画像メモリのサイズが、３６フレーム分必要となり、高価となり、また同様にホワイトバランス等の色処理や、文書入力用の白黒信号の生成等の処理をパソコン側で行うため、処理時間が長くなる問題がある。
【０１３８】
次に本発明の特徴とする構成について、その実施の形態について説明する。本発明の実施の形態は、上記の画素ずらしシステムの改良にある。
【０１３９】
すなわち水平、垂直方向に最低１／３画素単位で画素ずらしを行い、２００dpi程度の高解像度を実現することにある。
【０１４０】
またこのような高解像度を実現するにあたり、補色市松配列のような標準的な色配列の撮像素子の使用を可能とし、偽色発生を防止することにある。
【０１４１】
また高解像度静止画撮影モードに加えて、通常のアナログビデオ出力モードを設け、静止画だけでなく、動画撮影も可能とするとともに、これらいずれのモードにおいても、効率の良いカメラプロセスを実現することにある。
【０１４２】
また高解像度静止画データのパソコンへの転送にあたり、転送に要する時間を極力短縮し、選択部のみの転送を可能とする。
【０１４３】
以下本発明における撮像装置の実施の形態について説明する。
【０１４４】
（第１の実施形態）
図１は本発明における撮像装置をビジュアライザーに適用した場合を示すブロック図である。
【０１４５】
同図において、１は撮像レンズ、２は撮像レンズ後端に配設された画素ずらし機構であり、本発明の画素ずらし手段を実現するものである。画素ずらし機構は、たとえば撮像レンズ光学系の光路内に挿入された平行平板の光軸に対する傾斜角を変更することによって、入射光束の撮像面上における入射位置をシフトし、撮像素子の画素のない画素間に入射されるべき情報の撮像を可能とし、高解像化を図ったものである。
【０１４６】
３は画素ずらし機構の後端に取り付けられ、オンチップカラーフィルタ（補色フィルターで且つ後述するような市松配列あるいはＲＧＢ原色ベイヤー配列）を備えたＣＣＤ等の撮像素子、４は相関２重サンプリング（ＣＤＳ）回路及び自動利得制御（ＡＧＣ）回路（以下ＣＤＳ／ＡＧＣ回路と称す）、５は撮像素子を駆動する撮像素子駆動回路（Ｖdrive）、６は撮像素子を駆動するための各種タイミングパルス信号を発生するタイミング発生器（TG)である。
【０１４７】
７は撮像部全体を制御する撮像部システムコントロール用のマイクロコンピュータ（以下マイコンと称す）、８は画素ずらし機構を駆動する電気回路であり、マイコン７によって制御される。
【０１４８】
また９はカメラヘッド部であり、撮像部を構成する。
【０１４９】
１０は撮像部と後段の画像処理部（後述）とを結ぶケーブル、１１は撮像素子３より出力された画像信号をデジタルデータに変換するＡ／Ｄ変換器、１２はデジタル高解像静止画データを記憶する画像メモリ、１３は画像メモリ１２の書き込み、読み出しアドレス制御を行うメモリコントローラ、１４は画像メモリ１２よりの上下２ラインの読み出しデータを加算する加算回路、１５はカラーフィルタの補色市松の画素パターンに対応する色信号より輝度信号（Ｙ）及びクロマ信号（Ｒ−Ｙ，Ｂ−Ｙ）を生成するためのカメラプロセス回路、１６は撮像素子の画面のアスペクト比を正方画素パターン１対１に変換するための水平方向スケーラ、１７はパソコンへの画像データ転送用のバッファメモリー、１８は輝度信号及び色信号からＲＧＢ信号を生成するためのＲＧＢマトリクス回路である。
【０１５０】
１９はパソコンとのデータ転送を司るインターフェース（Ｉ／Ｆ）コントローラで、この画像転送インタフェースには、高速転送の可能なＵＳＢあるいはＩＥＥＥ１３９４等が用いられている。インターフェース１９は、単独であるいはバッファメモリ１７とともに、本発明の転送手段を構成する。
【０１５１】
２０は本装置の画像処理部２２及び撮像部９を初めとしてシステム全体を制御するシステムコントロール用のマイコン（シスコン）、２１は出力形態すなわち輝度及びクロマ信号と、ＲＧＢ信号とを切り換えるスイッチ、２２は画像処理部のブロックを示すものである。したがってメモリコントローラ１３と、システムコントローラ２０とで、あるいはそれぞれ単独でも制御手段を構成する。そして以下に示す画素ずらし、撮像、撮像素子より読み出した画素データの画像メモリへの記憶、アドレス変換、転送に係わる一連の処理は、システムコントローラ２０内に配されたＲＯＭ等の記録媒体に記憶されたプログラム、あるいは外部接続されたパソコン側の記録媒体に記録されたプログラムによって実行される。
【０１５２】
本発明の撮像装置の主な構成は以上のようになっており、以下、本実の形態の動作について説明する。
【０１５３】
撮像レンズ１を介して入射する被写体（図示せず）の光学像は、画素ずらし機構に入射される。画素ずらし機構は撮像レンズ１と撮像素子３との間に配設されており、このため、撮像レンズ１には、ズームレンズを用いてズーム比を変更させても、画素ずらし機構に要求される機械的動作は、撮像レンズ１には関係せず、撮像素子３の画素ピッチのみに関連する。
【０１５４】
撮像素子３に仮に４１万画素（総画素数）１／３インチサイズのＣＣＤセンサを用いたとすると、ＣＣＤの画素ピッチは水平方向６．３５μm、垂直方向７．４μmであり、水平、垂直方向に各々４．２３μm、４．９３μm光路をシフトさせると２／３画素ずらし（１画素間隔の２／３）が実現される。
【０１５５】
画素ずらし機構２は、水平及び垂直方向に各々独立にプラス及びマイナス両方向に２／３画素分の光路のシフトすなわち画素ずらしを行う（その制御については後述）。図２にその画素ずらしの相対位置の関係を示す。
【０１５６】
同図で（１）は基準位置、（２）はＹ方向すなわち垂直方向に２／３画素ずらした位置、（３）は−２／３画素Ｙ方向にずらした位置、（４）はＸ方向すなわち水平方向に２／３画素ずらした位置、（７）は同じくＸ方向に−２／３画素ずらした位置、（５），（６），（８），（９）は、各々Ｘ方向及びＹ方向の両方に±２／３画素ずらすことによって生じる相対位置を示している。
【０１５７】
図２においては、各画素ごとの基準点（”・”で示す）は常に左上隅の位置としている。図２の様な９箇所の相対位置を有する画素ずらし（光路シフト）を図３（ａ）に示す補色市松フィルタ（Ｃ：シアン，Ｙ：イエロー，Ｇ：グリーン，Ｍ：マゼンタ）を有する撮像素子３に対して行うと、図４に示す様な各位置における画像信号を得ることができる。
【０１５８】
この処理について、さらに詳しく説明する。
【０１５９】
図４は、図３（ａ）に示す補色市松配列のカラーフィルタを用いた場合における４×４＝１６画素について、これを上下左右に２／３画素ずらししたときのサンプリングデータを概念的に示すものである。
【０１６０】
図３（ａ）に示す補色市松配列のカラーフィルタを用いた場合、たとえば図３（ａ）の配列の左上端部のＣの画素位置では、基準位置(1)では本来のＣ画素のデータが得られている。
【０１６１】
図３(ｃ)は、基準位置（１）における、Ｙ方向の各画素Ｃ，Ｇ，Ｃ，Ｍの配列を抜き出したものである。各画素を今▲１▼〜▲４▼で示し、１画素を１／３ピッチで分割して示し、図２の基準点を”・”で示す。また基準位置(Ａ)において、各画素▲１▼〜▲４▼に、それぞれ光束Ｌ１〜Ｌ４が入射しているものとする。
【０１６２】
この状態において、(２)で示すように、(１)の基準位置に対して▲１▼〜▲４▼の画素をそれぞれＹ方向に２／３画素ずらしを行うと、▲１▼〜▲４▼の画素の基準点”・”には、それぞれＬ１，Ｌ２，Ｌ３，Ｌ４が入射し、基準位置（１）の状態と同じである。
【０１６３】
一方、（３）で示すように、基準位置（１）の状態から、−Ｙ方向に２／３画素ずらしを行うと、▲２▼〜▲５▼の画素の基準点（▲５▼は、▲４▼の画素に続く画素Ｃ）”・”には、それぞれ光束Ｌ１，Ｌ２，Ｌ３，Ｌ４が入射しており、基準位置（１）と異なる色の画素Ｇ，Ｃ，Ｍ，Ｃにそれぞれ入射されていることが分かる。
【０１６４】
したがって、図３（ｃ）のＣ，Ｇ，Ｃ，Ｍの各画素▲１▼〜▲４▼に対して、２回の画素ずらしによる３回のサンプリングが行われ、それぞれ▲１▼，▲２▼，▲３▼，▲４▼のＣ，Ｇ，Ｃ，Ｍの画素それぞれについて、ＣＧＣ，ＧＣＧ，ＣＭＣ，ＭＣＭの色配列でサンプリングが行われ、画素数が３倍になっていることがわかる。
【０１６５】
図４は、上記の画素ずらしを、図３（ａ）の画素配列に対して行うようにしたものである。
【０１６６】
図４(a)は、上述のように、”１”は基準位置、”２”はＹ方向に２／３画素ずらしを行った場合を、”３”は−Ｙ方向に２／３画素ずらしを行った場合をそれぞれ示している。
【０１６７】
同図において、基準位置(1)でサンプリングされる画素データを右上がりの斜線によるハッチングで示し、基準位置(2)でサンプリングされる画素データを右下がりの斜線によるハッチングで示し、基準位置(3)でサンプリングされる画素データを横線のハッチングで示す。
【０１６８】
このような画素データ配列となることは、上述の通りであり、同図の３×３＝９画素のブロックが、図３（ａ）の画素１つに相当する。
【０１６９】
同様にして、図４（ｂ）は、図２の（４），（５），（６）の位置に±２／３画素ずらしを行うことによって得られる画素データ配列を示すものであり、同図中、移動位置（４）でサンプリングされる画素データを右上がりの斜線によるハッチングで示し、移動位置（５）でサンプリングされる画素データを右下がりの斜線によるハッチングで示し、基準位置（６）でサンプリングされる画素データを横線のハッチングで示す。
【０１７０】
図４（ｃ）は、図２の（７），（８），（９）の位置に±２／３画素ずらしを行うことによって得られる画素データ配列をそれぞれ示すものであり、同図中、移動位置（７）でサンプリングされる画素データを右上がりの斜線によるハッチングで示し、移動位置（８）でサンプリングされる画素データを右下がりの斜線によるハッチングで示し、基準位置（９）でサンプリングされる画素データを横線のハッチングで示す。
【０１７１】
以上９箇所の相対位置への移動が終了した状態では、図５に示すような画素データの空間配置による画像データを得ることができる。
【０１７２】
図３（ｂ）は、撮像素子の補色市松配列のフィルタと比較を行いやすくするために、図５の画素データ配置を書き直し、図３（ａ）とともに示したものである。
【０１７３】
図３（ａ）と図３（ｂ）とを比較すると、グリーンＧと、マゼンタＭの配置の不一致を除けば、±２／３画素ずらしの結果、画素数にして３倍の密度のデータが得られている。
【０１７４】
図６（ａ）は、図２の９箇所の各相対位置を実現するためのＸ方向，Ｙ方向の画素ずらし機構による駆動方法を示す。
【０１７５】
Ｘ，Ｙ方向各々に、０，＋２／３，−２／３画素ずらしを１フレーム毎に合計９回（９フレーム）行う。
【０１７６】
画素ずらしは、相対的な移動であり、図６（ｂ）に示すように、０，２／３，４／３画素ずらしを各々Ｘ，Ｙ方向に行っても同様の効果が得られる。
【０１７７】
ここで注目すべきは、図３（ａ）と図３（ｂ）の比較から明らかなように、グリーンＧと、マゼンタＭの配置の不一致部分をメモリ上で位置を入れ換えれば、通常の撮像素子の補色市松配列のフィルタにおける画素配列と全く同一の画素配列となり、通常のカメラプロセス回路で、画素ずらし後の信号を処理することが可能となる点である。
【０１７８】
これは動画と画素ずらしによる高画質撮像が同じシステム及び回路構成で可能となることを意味しており、これによりパソコン等の外部接続された装置側における信号処理の付加を格段に軽減することができ、高速化、メモリの効率化、回路構成の簡略化に顕著な効果を有する。
【０１７９】
尚、グリーンＧと、マゼンタＭの配置の不一致部分をメモリ上で位置を入れ換えることを行わなくても、画素ずらしのアルゴリズムを変更することによって、画素ずらしの段階で、画素データの空間配置を、完全に通常の撮像素子の補色市松配列のフィルタにおける画素配列と同一にすることができる。この方法については、後述する。
【０１８０】
一方、同じ様な９箇所の相対位置を生じる画素ずらしを補色市松フィルタ以外のたとえば原色ベイヤー配列の撮像素子に適用すると次のようになる。画素ずらしのアルゴリズムは前述の補色市松フィルタのときと同様であり、説明は省略し、結果のみ図示する。
【０１８１】
図７に原色ＲＧＢベイヤー配列を示す。図８（ａ），（ｂ），（ｃ）は、前述の補色市松配列の場合と同様に各相対位置における画素データ配列を示し、図９が９箇所の相対位置の全てへの移動が終了した場合の画素データの空間配置となる。
【０１８２】
図９を図７（ａ）のフィルタ配列に則した形に書き直して図７（ｂ）のような画素データ配置とし、図７（ａ）と比較すると、図７（ｂ）は３倍の画素密度を持ったＲＧＢベイヤー配列そのものとなっている。
【０１８３】
したがって、ＲＧＢベイヤー配列の場合は、Ｘ，Ｙ方向の±２／３画素ずらしにより得られた３倍密度の高解像静止画は、画素ずらしを行わない通常の動画と同じ画像処理すなわちカメラプロセス回路を用いることができる。
【０１８４】
すなわち通常のＮＴＳＣ等のテレビジョン信号処理回路を兼用することが出来る。
【０１８５】
次に、上述したように、補色市松の画素配列の場合も、更に画素ずらし時に、所定の相対位置の移動を追加することにより、グリーンＧ，マゼンタＭの配置の不一致を補正することができ、画素ずらし動作による画素情報の取り込み動作を終了した時点で、通常の画素配列と同じ画素配置が得られるようにする構成について説明する。
【０１８６】
図１０にその具体的方法を示す。
【０１８７】
同図に示すように、右上がりの斜線で示す画素すなわち相対位置（１），（４），（７）に関し、グリーンＧ及びマゼンタＭのラインについてのみ１／３画素（＋方向でも−方向でもよい。図１０は＋１／３の場合を示す）の水平方向（Ｘ方向）のシフトを追加し、グリーンＧ及びマゼンタＭの配列の補正を行う。
【０１８８】
この補正は、図１１に示すように、右上がり斜線で示す相対位置（１），（４），（７）に関し、グリーンＧ及びマゼンタＭのラインについて１画素（＋方向でも−方向でもよく、図１１は＋１画素の場合を示す）の水平方向（Ｘ方向）のシフトを追加しても同様である。この１／３画素または１画素のグリーンＧ，マゼンタＭラインの水平方向シフトにより、図１２に示す最終画像データ配置を得る。
【０１８９】
図１２を図１３のように書き直し、図３（ａ）と比較すると、図１２は３倍の画素密度を有した補色市松配列そのものとなる。
【０１９０】
このようにして、補色市松の場合も２／３画素ずらしに１／３画素または１画素の補正を加えることにより、画素ずらしを行わない場合すなわち通常の動画と同じカメラ信号処理を３倍密度の高解像静止画に用いることができる。
【０１９１】
したがって通常の補色フィルタを用いたカメラ信号処理回路を兼用することができ、高画質静止画撮像も通常の動画撮像も可能な撮像装置を実現することができる。
【０１９２】
図１４，図１５に実際の画素ずらし機構の駆動方法を示す。図１４は水平１／３画素ずらしによるグリーンＧ，マゼンタＭの補正の場合、図１５は１画素シフトによる補正の場合を示す。
【０１９３】
いずれの場合も相対位置が（１），（４），（７）の場合、かつＧ，Ｍラインを読み出すフィールドの場合に対してのみ水平方向に補正シフトを追加する。
【０１９４】
画素ずらしの機構自体の構成は特に限定されるものではなく、上述のように、Ｘ方向及びＹ方向の±２／３画素ずらしに対応し得るものであればよい。
【０１９５】
そして同様のＸ方向の画素ずらし機構を補正用としてもう１組追加すれば、上記Ｇ，Ｍの補正も実現できる。
【０１９６】
以上のような画素ずらし機構の動作は、システムコントロール回路２０の指令に基づきマイコン７及び画素ずらし駆動回路８により実現される。
【０１９７】
以上説明した原理に基づいて動作する画素ずらし機構により、被写体の光学像は撮像素子３上に結像する。
【０１９８】
撮像素子３は、ＴＧ６及び駆動回路５によりフレーム全画素読み出しモードにて駆動され、補色市松の場合は第１のフィールドからは、シアンＣ，イエローＹの色信号のみが出力され、また第２フィールドからはグリーンＧ，マゼンタＭの色信号のみが読み出され、出力される。
【０１９９】
撮像素子３の出力信号は、ＣＤＳ／ＡＧＣ回路４に供給され、相関２重サンプリングの後、所定レベルに増幅される。ＣＤＳ／ＡＧＣ回路４の出力は、ケーブル１０を介してＡ／Ｄ変換器１１に供給され、デジタル色信号に変換される。
【０２００】
このデジタル色信号は画素ずらしの結果、画像メモリ１２に、図１２に示す様な配列で書き込まれる。
【０２０１】
この書き込み制御は、システムコントローラ２０によってメモリコントローラ１３を制御することによって行われる。
【０２０２】
画像メモリ１２に書き込まれた画像データは、縦横（Ｘ，Ｙ）３倍の画素密度を有し、模式的には、図１６に示すように通常の場合（画素ずらしなし）と同じフレーミングすなわち画素配列で、画素密度が３倍に増加したものである。
【０２０３】
書き込み終了後、画像メモリ１２の画像データはメモリコントローラ１３により、図１７に示す９つのフレームに分割して読み出される。
【０２０４】
また１フレームごとの読み出しに際して、上下２ラインを同時に読み出し、加算回路１４により、上下２ラインの加算混合を行い、フィールド画像データに変換する。
【０２０５】
加算回路１４より出力されたフィールド画像データは、カメラプロセス回路１５に供給され、通常の補色市松配列のフィールド読み出し信号より輝度信号及びクロマ信号を生成するためのカメラ信号処理がデジタル的になされ、輝度信号及びクロマ信号が出力される。
【０２０６】
この出力デジタル信号は水平方向スケーラ１６に供給され、ここで正方画素の縦横比（アスペクト比）１対１への変換がなされる。これはパソコンのディスプレイ上に表示するために必要な変換である。
【０２０７】
もちろんはじめからアスペクト比１対１の画素サイズの撮像素子を用いれば、このスケーラは省略し得る。
【０２０８】
スケーリング後の画像データは、転送用のバッファメモリ１７に供給され、ここで、１フレーム分の蓄積を行う。
【０２０９】
このバッファメモリは、インタフェースコントローラ１９よりの制御に基づき、所定のデータを転送レートに応じて所定量読み出し、必要に応じて、ＲＧＢマトリクス回路１８を介してＲＧＢ信号に変換してから、あるいはそのままの輝度信号及びクロマ信号の形でインターフェースコントローラ１９に供給する。
【０２１０】
インタフェースコントローラ１９は、所定の転送方式によりパソコンと通信を行い、画像データの転送を行う。本実施の形態では、ＩＥＥＥ１３９４等の高速転送の可能なインタフェースを用いているが、他のＵＳＢ等でもよく、特に限定されるものではなく、パソコン側との兼ね合いで決定すればよい。
【０２１１】
１フレーム分の転送が終了し、バッファメモリー１７が空になると、２枚目のフレームが画像メモリ１２より読み出され、同様の処理を行った後、バッファメモリ１７に蓄積され、インタフェースコントローラ１９を介してパソコンに転送される。
【０２１２】
同様の動作を９フレーム全てに対して行い、高画質静止画の１枚分のパソコンへの転送を終了する。
【０２１３】
シスコン２０は、以上の動作を所定のシーケンスで各コンポーネントを制御し、実行する。
【０２１４】
一方、本発明の第１の実施形態において、撮像素子３とレンズ１との間に、光学的ローパスフィルタを配設すると、偽色信号が減少し、高画質静止画の画質がさらに向上する。
【０２１５】
図１８に光学的ローパスフィルタの特性を示す。同図において、（ａ）は水晶複屈折板を１枚挿入し、Ｘ方向（水平方向）に画素ピッチの１／３の複屈折を持たせ、水平方向に光学的ローパスフィルタ効果を持たせたものである。
【０２１６】
また同図（ｂ）は、同様の効果をＹ方向（垂直方向）に持たせたものである。
【０２１７】
同図（ｃ）は、Ｘ，Ｙの２方向の１／３ピッチ水晶複屈折板各１枚を用い、Ｘ，Ｙ２方向に光学的ローパス効果を持たせたものである。
【０２１８】
同図（ｄ）は、斜め方向の偽色信号を減らすために、Ｘ方向１／３画素ピッチ、４５°の斜め方向に√２／３ピッチの合計２枚の水晶複屈折板を配置したものである。（ａ）はＸ方向、（ｂ）はＹ方向、（ｃ）はＸ，Ｙ両方向、（ｄ）はＸ方向及び４５°の斜め方向の偽色信号の減少に効果を有する。
【０２１９】
尚、上述した本発明における画素ずらしシステムによると、撮像素子からは全画素読み出しを行って画素数を実質的に増加させた撮像素子で撮像した場合と同じ空間配置でメモリへと記憶し、メモリから読み出してカメラプロセス回路へと供給する際に上下２ラインの加算を行っているため、メモリに記憶する前に解像力の低下を生じない。
【０２２０】
たとえば、撮像素子のフィールド読み出し方法として知られているように、第１フィールドで奇数ラインを２ライン加算して読み出し、第２フィールドで偶数ラインを２ライン加算して読み出すものでは、画素ずらしを行っても、互いに重なり合った２ラインを交互に読み出すため、仮想的な画素サイズが大きくなり（３画素分）、解像力がさほど向上しない。すでに撮像素子からの読み出し時に１ラインを挟んだ２ラインを加算しながら画素をシフトしているからである。
【０２２１】
これに対して、本発明は撮像素子からは全画素読み出ししてメモリに記憶し、この段階で画素ずらしによる高画質を得、メモリから読み出す際（高画質の画素空間配置にした後）、隣接する２ラインを加算しているので、画素劣化が最小限ですむ。
【０２２２】
（第２の実施形態）
図１９は、本発明における撮像装置の第２の実施形態の構成を示すブロック図である。図１に示す第１の実施形態の構成との差異は、動画出力機能を追加し、動画及び高解像静止画両対応の撮像装置を実現したところにある。以下、図１と異なる箇所を中心に説明する。
【０２２３】
同図において、２３は図１に示すカメラプロセス回路１５と同じ機能を有するカメラプロセス回路、２４は回転機構を有する光学的ローパスフィルタ（回転位置によってローパス機能をＯＮ，ＯＦＦできる）、２５は光学的ローパスフィルタの回転機構を駆動する回転駆動回路、２６は切換スイッチである。
【０２２４】
本発明の第２の実施形態の動作は、以下の通りである。システムコントローラ２０は、初期状態では動画モードにて動作するよう、制御信号をマイコン７に供給する。
【０２２５】
マイコン７は、この制御信号に基づいて回転駆動回路２５を駆動する。回転駆動回路２５は、図２０に示すように、例えばＹ方向の水晶ローパスフィルタをモータｍｏ等で回転せしめ、図２１の（ｂ）に示すように複屈折を起こす方向が垂直（Ｙ）方向になるようにする。
【０２２６】
一方、Ｘ方向の水晶ローパスフィルタは、図２１の（ａ）に示すように、複屈折を起こす方向が水平（Ｘ）方向になるように固定されており、このため図２１（ｃ）に示すように、Ｘ，Ｙ方向各々１画素ピッチで複屈折をなす光学ローパスフィルタが実現される。こうして動画モード時における偽色信号の発生を防止することができる。
【０２２７】
マイコン７は、一方で、ＴＧ（タイミング発生器）６を制御し、撮像素子３が上下２ライン混合のフィールド読み出しモードになるようにする。
【０２２８】
これによって撮像素子３よりのフィールド読み出し画像データは、ＣＤＳ／ＡＧＣ回路４、ケーブル１０を介してＡ／Ｄ変換器１１に供給され、デジタル信号に変換された後、カメラプロセス回路２３に供給される。
【０２２９】
カメラプロセス回路は、デジタル化されたフィールド読み出し画像データを処理し、最終的にはアナログのビデオ信号を出力する。
【０２３０】
一方、デジタル化されたフィールド読み出し画像データは、切換スイッチ２６を介して（システムコントローラ２０の制御に基づく）、カメラプロセス回路１５にも供給され、カメラプロセス回路１５にて輝度信号及びクロマ信号が出力される。
【０２３１】
このデジタルの輝度信号及びクロマ信号は、水平方向スケーラ１６に供給され、縦横比（アスペクト比）１対１への変換がなされる。
【０２３２】
スケーリング後の出力は、転送用のバッファメモリ１７に供給され、１フレーム分の蓄積が行われる。バッファメモリの内容は、図１の場合と同様の手順でパソコンに転送される。そして転送が終了し、バッファメモリ１７が空になると、次のフレームが取り込まれ、同様にしてパソコンに転送される。
【０２３３】
この取り込み、転送の動作が繰り返され、パソコン上には、擬似的に動画が表示される。この疑似動画像は、高解像静止画を取り込む際に、画角を決定するためのフレーミングに最適である。
【０２３４】
この疑似動画像のフレームレートを上げるために、バッファメモリ１７には、１フィールド分のみの蓄積を行い、データ量を減少し、その分、パソコンへの転送時間を短縮することもできる。
【０２３５】
また転送に際して１／２または１／３等の間引きやＪＰＥＧ等のデータ圧縮を行って、さらにデータ量を減少させ、転送時間を短縮し、フレームレートを改善することもできる。
【０２３６】
尚、フレーミングに関しては、カメラプロセス回路２３よりのアナログビデオ信号をテレビモニタに接続して画像をモニタするようにしてもよい。
【０２３７】
このようにして、フレーミングを行った後、高解像静止画のキャプチャー（取り込み）操作が実行されると、シスコン２０は、制御信号をマイコン７に供給し、マイコン７は回転駆動回路２５を駆動し、たとえばＹ方向の水晶ローパスフィルタを回転する。
【０２３８】
この回転により、Ｙ方向の水晶ローパスフィルタは、図２１（ｄ）に示すように、複屈折を起こす方向が−Ｘ方向となる。このためＸ方向の水晶ローパスフィルターによる複屈折との間でそのローパス機能が相殺され、高解像静止画の取り込みが可能となる。
【０２３９】
一方、マイコン７は、ＴＧ６を制御し、撮像素子３を全画素フレーム読み出しモードで駆動制御させる。
【０２４０】
以下、同様に、第１の実施形態の説明にしたがい、高解像静止画が画素ずらしにより取り込まれ、パソコンへと転送される。
【０２４１】
以上述べたように、第２の実施形態によれば、高解像静止画の取り込み時に、光学ローパスフィルタの機能をキャンセルする場合について述べたが、図２２に示す水晶ローパスフィルタの構成を取ると、高解像静止画撮像時の偽色信号を減少することができる。
【０２４２】
図２２において、Ｘ方向の（ａ）は図２１と同じであるが、（ｂ）に関して４／３画素ピッチの水晶複屈折板を斜め方向に用いる。
【０２４３】
動画撮像モード時は、図２２（ｃ）に示すように動画の斜め方向の偽色信号を主に除去し、高解像静止画モード時は、図２２（ｄ）に示すように相殺後も１／３画素ピッチのＸ方向の光学的ローパス効果が残り、Ｘ方向の偽色信号が除去され、画質改善を行うことができる。
【０２４４】
図２２（ｅ）は、１／３画素ピッチのローパス効果がＹ方向に残るように、Ｘ方向、斜め方向の両方の水晶板を回転した場合である。この場合は、高解像静止画のＹ方向の偽色信号が改善される。
【０２４５】
さらに図２２（ｆ）は、１／３画素ピッチのローパス効果が斜め方向に残るように、Ｘ方向の水晶を回転した場合を示す。この場合は、高解像静止画の斜め方向の偽色信号が改善される。
【０２４６】
（第３の実施形態）
図２３は、本発明における撮像装置の第３の実施形態を示すブロック図である。図１９に示す第２の実施形態との差異は、図１９のカメラプロセス回路２３を取り外し、カメラプロセス回路１５よりアナログビデオ出力を取り出したものである。
【０２４７】
本実施例によれば、動画撮像と高解像静止画撮像とで、同一のカメラプロセス回路を兼用することができる。
【０２４８】
（第４の実施形態）
図２４は、本発明における撮像装置の第４の実施形態を示すブロック図である。
【０２４９】
同図において、２７は少なくとも９フレーム分の容量を有する画像データ転送用のバッファメモリで、９フレーム分の容量を有するので、選択箇所すなわち全画面を転送しなくても、所望の画面のみをパソコンに転送することができる。
【０２５０】
すなわちパソコン上で、動画モードでプレビュー後、高解像静止画として画像を取り込みたい箇所を矩形領域で指定する。この領域指定の方法は、例えば、パソコンディスプレイ上において、マウス等のポインタで指定することができるが、他の方法でもよい。
【０２５１】
そして指定された領域の先頭アドレスと終端アドレスを、パソコン側からインタフェースコントローラ１９を介してシスコン２０に供給する。これに応じてシスコン２０は、バッファメモリ２７を制御し、指定された領域の画像データのみをパソコン側へと転送するように動作するものである。
【０２５２】
この方式によれば、操作者は、パソコンのディスプレイ上において、動画を見ながらのフレーミング、画像の確認、高解像静止画の取り込み、編集といった一連の処理を、すべてパソコンのディスプレイ上において行うことができる。
【０２５３】
【発明の効果】
以上説明したように、本発明によれば、少ない画素ずらしで、効率よく画像の取り込みが可能となり、スキャナー並の高解像力を実現できるとともに、高速の処理が可能、かつ画像メモリを大幅に節約でき、コスト的に極めて有利である。
【０２５４】
また画素ずらし後のカメラプロセスを、フィールド画として処理できるので、既存の動画用のカメラプロセス回路（カメラプロセスＩＣ）を使用することができ、従来の長い処理時間を要するソフトウェアによる処理に比較して、極めて高速に短時間での処理が実現できる。
【０２５５】
また本発明の画素ずらしアルゴリズムによれば、従来の方式に比較して、画素ずらし回数が格段に少なくて済み（従来の１／３画素ずらしでは３６箇所必要であったが、本発明の実施形態では９箇所で済む）、メモリ効率の向上、画像取り込み及び処理の高速化が可能となるだけでなく、画素ずらしを行う機構も高速化及び簡略化できる。
【０２５６】
また本発明によれば、画素ずらし方式に適応したローパスフィルタを用いることにより、高解像静止画における偽色信号を除去し、解像度の向上に合わせた画質の改善を図ることができる。
【０２５７】
また本発明によれば、高解像静止画出力だけでなく、通常のビデオ（動画）出力を併用して設けたので、高解像静止画だけでなく、動画撮像も可能となり、撮像部を備えたカメラヘッドの姿勢を可動とすれば、通常のビデオカメラのように、人物、景色等の撮像も可能となり、テレビ会議システムにおける人物撮影用カメラ等にも使用可能である。
【０２５８】
また高解像静止画モード及び通常動画モードの両方に対応するよう光学ローパスフィルタ特性を可変できるようにしたので、いずれのモードにおいても偽色信号の発生を抑えることができる。
【０２５９】
また高解像静止画撮影モードと通常動画撮影モードとで、同一のカメラプロセス回路が使用できるため、コスト的にも、スペース的にも極めて有利になる。
【０２６０】
また画素ずらしによって取り込んだ画像を転送用バッファメモリを介して転送するようにしたので、選択部分のみの転送が可能となり、転送時間を優先する場合に有利となる。
【図面の簡単な説明】
【図１】本発明撮像装置の第１の実施形態を示すブロック図である。
【図２】２／３画素ずらしのアルゴリズムを説明するための図である。
【図３】補色市松配列の色フィルタと、画素ずらしによって高画素化された画素配列（アドレス変換後）、画素ずらし動作を示す図である。
【図４】２／３画素ずらしの動作を説明する図である。
【図５】２／３画素ずらしによって画像メモリ内に取り込まれた画素データを示す図である。
【図６】２／３画素ずらしの画素ずらし機構の制御アルゴリズムを説明するための図である。
【図７】ＲＧＢベイヤー配列の色フィルタと、画素ずらしによって高画素化された画素配列（アドレス変換後）を示す図である。
【図８】２／３画素ずらしの動作を説明する図である。
【図９】２／３画素ずらしによって画像メモリ内に取り込まれた画素データを示す図である。
【図１０】画素ずらしに伴う補正機構の動作を説明するための図である。
【図１１】画素ずらしに伴う補正機構の動作を説明するための図である。
【図１２】画素ずらし後のメモリ内の画素データの最終配置を示す図である。
【図１３】図１２の画素データにアドレス変換を行った状態を示す図である。
【図１４】１／３画素シフトによる補正動作を示す図である。
【図１５】１画素シフトによる補正動作を示す図である。
【図１６】画像メモリに記憶されている画像情報を実際の画像で示した図である。
【図１７】画像メモリからの画像転送を説明するための図である。
【図１８】光学ローパスフィルタの特性を示す図である。
【図１９】本発明撮像装置の第２の実施形態を示すブロック図である。
【図２０】光学ローパスフィルタの駆動系の構成を示す図である。
【図２１】光学ローパスフィルタの動作及び特性の変化を説明するための図である。
【図２２】光学ローパスフィルタの動作及び特性の変化を説明するための図である。
【図２３】本発明撮像装置の第３の実施形態を示すブロック図である。
【図２４】本発明撮像装置の第４の実施形態を示すブロック図である。
【図２５】画素ずらしの原理を説明するための図で、ＲＧＢベイヤー配列の色フィルタを示す図である。
【図２６】画素ずらしの原理を説明するための図で、補色市松配列の色フィルタを示す図である。
【図２７】１／２画素ずらしのアルゴリズムを説明するための図である。
【図２８】ＲＧＢベイヤー配列の色フィルタに対して１／２画素ずらしを行ったときのデータを示す図である。
【図２９】図２８のデータのアドレス変換後の画像データを示す図である。
【図３０】補色市松配列の色フィルタにおいて、１／２画素ずらしを行ったときのデータを示す図である。
【図３１】図３０のデータのアドレス変換後の画像データを示す図である。
【図３２】１／２画素ずらしの画素ずらし機構の制御アルゴリズムを説明するための図である。
【図３３】１／３画素ずらしのアルゴリズムを説明するための図である。
【図３４】ＲＧＢベイヤー配列の色フィルタに対して１／３画素ずらしを行ったときのデータを示す図である。
【図３５】図３４のデータのアドレス変換後の画像データを示す図である。
【図３６】補色市松配列の色フィルタにおいて、１／３画素ずらしを行ったときのデータを示す図である。
【図３７】図３６のデータのアドレス変換後の画像データを示す図である。
【図３８】１／３画素ずらしの画素ずらし機構の制御アルゴリズムを説明するための図である。
【符号の説明】
１  撮像レンズ
２  画素ずらし機構
３  撮像素子
７  マイコン
９  撮像部
１２  画像メモリ
１３  メモリコントローラ
１４  加算器
１５  カメラプロセス回路
１６  水平スケーラ
１７  バッファメモリ
１８  ＲＧＢマトリクス回路
１９  インタフェース（転送手段）
２０  システムコントローラ
２２  画像処理部
【図１】
0003762049.tif 000002
【図２】
0003762049.tif 000003
【図３】
0003762049.tif 000004
【図４】
0003762049.tif 000005
【図５】
0003762049.tif 000006
【図６】
0003762049.tif 000007
【図７】
0003762049.tif 000008
【図８】
0003762049.tif 000009
【図９】
0003762049.tif 000010
【図１０】
0003762049.tif 000011
【図１１】
0003762049.tif 000012
【図１２】
0003762049.tif 000013
【図１３】
0003762049.tif 000014
【図１４】
0003762049.tif 000015
【図１５】
0003762049.tif 000016
【図１６】
0003762049.tif 000017
【図１７】
0003762049.tif 000018
【図１８】
0003762049.tif 000019
【図１９】
0003762049.tif 000020
【図２０】
0003762049.tif 000021
【図２１】
0003762049.tif 000022
【図２２】
0003762049.tif 000023
【図２３】
0003762049.tif 000024
【図２４】
0003762049.tif 000025
【図２５】
0003762049.tif 000026
【図２６】
0003762049.tif 000027
【図２７】
0003762049.tif 000028
【図２８】
0003762049.tif 000029
【図２９】
0003762049.tif 000030
【図３０】
0003762049.tif 000031
【図３１】
0003762049.tif 000032
【図３２】
0003762049.tif 000033
【図３３】
0003762049.tif 000034
【図３４】
0003762049.tif 000035
【図３５】
0003762049.tif 000036
【図３６】
0003762049.tif 000037
【図３７】
0003762049.tif 000038
【図３８】
0003762049.tif 000039