(57)【要約】    【課題】  ラインスキャン方式のイメージセンサの各撮像ラインが同じ物理的露出時間を有するイメージセンサシャッタモジュール及びそのシャッタ制御方法を提供すること。    【解決手段】  シャッタ制御方法は、イメージセンサの各撮像ラインの電子式シャッタを開く第１ステップ（Ｓ４０）と、全ての前記撮像ラインの電子式シャッタが開かれた後、機械式シャッタを開く第２ステップ（Ｓ５０）と、所定の露出時間が経過した後、前記機械式シャッタを閉じる第３ステップ（Ｓ６０）と、各々の前記撮像ラインのラインイメージデータを、順に読み込む第４ステップ（Ｓ７０）とを含む。【選択図】      図４
2006081195.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサの各撮像ラインの電子式シャッタを開く第１ステップと、
全ての前記撮像ラインの電子式シャッタが開かれた後、機械式シャッタを開く第２ステップと、
所定の露出時間が経過した後、前記機械式シャッタを閉じる第３ステップと、
各々の前記撮像ラインのラインイメージデータを、順に読み込む第４ステップと
を含むことを特徴とするシャッタ制御方法。
【請求項２】
前記第１ステップが、各々の前記撮像ラインの前記電子式シャッタを所定の遅延時間間隔で順に開くステップであることを特徴とする請求項１に記載のシャッタ制御方法。
【請求項３】
前記前記第４ステップが、各々の前記撮像ラインの前記電子式シャッタをターンオンした順にターンオフして、前記ラインイメージデータを読み込むステップであることを特徴とする請求項１に記載のシャッタ制御方法。
【請求項４】
前記第１ステップの前に、直前のディスプレイモードでの前記電子式シャッタのターンオン時間である集光時間を、前記機械式シャッタの前記所定の露出時間として設定する第５ステップをさらに含むことを特徴とする請求項１に記載のシャッタ制御方法。
【請求項５】
前記第１ステップの前に、直前のイメージキャップチャー実行時に適用した前記機械式シャッタの露出時間を、前記機械式シャッタの前記所定の露出時間として設定する第６ステップをさらに含むこと特徴とする請求項１に記載のシャッタ制御方法。
【請求項６】
前記第１ステップの前に、外部で設定した露出時間を前記機械式シャッタの前記所定の露出時間として設定する第７ステップをさらに含むことを特徴とする請求項１に記載のシャッタ制御方法。
【請求項７】
前記第１ステップの前に、各々の前記撮像ラインに適用する集光時間を、前記露出時間より長く設定する第８ステップをさらに含むことを特徴とする請求項４〜請求項６の何れか１項に記載のシャッタ制御方法。
【請求項８】
全ての前記撮像ラインに適用する集光時間が、前記露出時間、最初の撮像ラインの電子式シャッタの開く時点から最後の撮像ラインの電子式シャッタの開く時点までの遅延時間、及び各撮像ラインが安定化するのに必要な時間を加算して得られる時間であることを特徴とする請求項７に記載のシャッタ制御方法。
【請求項９】
前記第１ステップの前に、ディスプレイモードからキャップチャーモードに変更し、機械式シャッタを閉じる第９ステップをさらに含むことを特徴とする請求項１に記載のシャッタ制御方法。
【請求項１０】
前記第９ステップの後、前記イメージセンサをリセットさせる第１０ステップをさらに含むことを特徴とする請求項９に記載のシャッタ制御方法。
【請求項１１】
ラインスキャン方式でイメージデータを出力し、各撮像ラインに電子式シャッタを備えるイメージセンサと、
前記イメージセンサへの光の供給を物理的に遮断するための機械式シャッタと、
前記機械式シャッタの所定の露出時間を内部設定または外部命令によって決定し、前記機械式シャッタの露出時点を前記イメージセンサの全ての前記電子式シャッタのターンオン以後の時点に決定し、前記電子式シャッタのターンオフ時点を前記機械式シャッタの遮断以後の時点に決定するシャッタ制御部と
を備えることを特徴とするイメージセンサシャッタモジュール。
【請求項１２】
前記機械式シャッタが、
前記イメージセンサを光から遮断するための遮断膜と、
前記シャッタ制御部から受信した制御信号によって、前記遮断膜を駆動させる駆動部と
を備えることを特徴とする請求項１１に記載のイメージセンサシャッタモジュール。
【請求項１３】
全ての前記電子式シャッタに適用する集光時間が、前記露出時間、最初の撮像ラインの電子式シャッタが開く時点から最後の撮像ラインの電子式シャッタが開く時点までの遅延時間、及び各々の前記撮像ラインが安定化するのに必要な時間を加算して得られる時間であることを特徴とする請求項１１に記載のイメージセンサシャッタモジュール。
【請求項１４】
直前のディスプレイモードでの集光時間を、前記機械式シャッタの前記所定の露出時間として設定することを特徴とする請求項１１〜請求項１３の何れか１項に記載のイメージセンサシャッタモジュール。
【請求項１５】
直前のイメージキャップチャー実行時に適用した前記機械式シャッタの露出時間を、前記機械式シャッタの前記所定の露出時間として設定することを特徴とする請求項１１〜請求項１３の何れか１項に記載のイメージセンサシャッタモジュール。
【請求項１６】
外部で設定された露出時間を、機械式シャッタの前記所定の露出時間として設定することを特徴とする請求項１１〜請求項１３の何れか１項に記載のイメージセンサシャッタモジュール。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ラインスキャン方式でイメージデータを出力するイメージセンサを備えるイメージセンサシャッタモジュール及びそのシャッタ制御方法に関し、特にＣＭＯＳイメージセンサシャッタモジュール及びそのシャッタ制御方法に関する。
【背景技術】
【０００２】
ＣＭＯＳイメージセンサは、ラインスキャン方式でイメージデータを処理するため、撮像のために各ラインごとに異なる時刻に駆動されなければならない。
【０００３】
図１は、従来の技術に係るイメージセンサシャッタ制御信号を示すタイミングチャートである。
【０００４】
従来の技術では、イメージセンサの各撮像ラインに電子式シャッタを備え、この電子式シャッタを開放状態にする期間（Ｉｎｔｅｇｒａｔｉｏｎ  ｔｉｍｅ：以下、集光時間と記す）を調節している。すなわち、図１に示したように、集光時間の開始時点と終了時点とを、各撮像ラインごとに所定時間の間隔を置いて、各集光時間の長さが同じになるように調節する。
【０００５】
理論的には、上記のような電子式シャッタを用いたラインスキャン方式で均質なイメージフレーム（画像データ）を得ることができるが、実際には次のような問題が発生する。
【０００６】
ラインスキャンの特性上、各ラインの電子式シャッタは順にアクティブにされなければならなので、撮像ラインごとに露出時間としての意味を持つ集光時間の開始時点と終了時点とが異なり、動いている物体を撮影する時には、撮像ラインごとに相互に異なる時刻のイメージデータが、１枚のフレームを構成してしまうので、画像が鮮明ではないという問題があった。
【０００７】
３０万画素級以下のイメージセンサでは、撮像ラインの数が少なく、最初の撮像ラインと最後の撮像ラインとは、時間的にそれほど大きな差がなく駆動されるので、画像の歪みはそれほどひどくはないが、２００万画素級以上のイメージセンサでは、撮像ラインの数が多くなり最初の撮像ラインと最後の撮像ラインとの駆動タイミングの差が大きくなり、この問題はより一層深刻となる。
【０００８】
画質を向上させるためには、機械式シャッタを適用することが好ましいが、ラインスキャン方式のイメージセンサには機械式シャッタをそのまま適用することはできなかった。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
そこで、本発明は、上記した従来のイメージセンサ及びその製造方法における問題を解決するためになされたものであって、その目的は、ラインスキャン方式のイメージセンサに対するシャッタ制御方法において、各撮像ラインが同じ露出時間で露出されるシャッタ制御方法を提供することにある。
【００１０】
また、本発明の別の目的は、ラインスキャン方式のイメージセンサに対するシャッタ制御方法において、機械式シャッタを適用するシャッタ制御方法を提供することにある。
【００１１】
また、本発明のさらに別の目的は、ラインスキャン方式のイメージセンサを用いて高品質の画像を得ることができ、バンディングノイズを除去できるシャッタ制御方法を提供することにある。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明のシャッタ制御方法は、イメージセンサの各撮像ラインの電子式シャッタを開く第１ステップ（Ｓ４０）と、全ての前記撮像ラインの電子式シャッタが開かれた後、機械式シャッタを開く第２ステップ（Ｓ５０）と、所定の露出時間が経過した後、機械式シャッタを閉じる第３ステップ（Ｓ６０）と、各々の前記撮像ラインのラインイメージデータを、順に読み込む第４ステップ（Ｓ７０）とを含むことを特徴としている。
【００１３】
また、本発明のイメージセンサシャッタモジュールは、ラインスキャン方式でイメージデータを出力し、各撮像ラインに電子式シャッタを備えるイメージセンサと、前記イメージセンサへの光の供給を物理的に遮断するための機械式シャッタと、前記機械式シャッタの所定の露出時間を内部設定または外部命令によって決定し、前記機械式シャッタの露出時点を前記イメージセンサの全ての前記電子式シャッタのターンオン以後の時点に決定し、前記電子式シャッタのターンオフ時点を前記機械式シャッタの遮断以後の時点に決定するシャッタ制御部とを備えることを特徴としている。
【発明の効果】
【００１４】
本発明のシャッタ制御方法によれば、ラインスキャン方式のイメージセンサにも機械式シャッタを用いることができるようになる。機械式シャッタの使用は、撮影画像の品質を高め、バンディングノイズを除去できるという効果を奏する。
【００１５】
本発明の効果が理解されるよう、最近のＣＭＯＳイメージセンサを用いたデジタルカメラ（以下、単にカメラとも記す）、または携帯電話のカメラの撮像（以下、イメージキャップチャーとも記す）の過程を以下に説明する。ユーザがカメラを起動させると、初期設定の集光時間（本明細書では、電子式シャッタの露出時間を「集光時間」とする）だけ電子式シャッタが順に開かれ、その後閉じることを繰り返し、イメージセンサによって感知された信号が映像に変換され、カメラに装備されたＬＣＤディスプレイに表示される（カメラのディスプレイモード）。フィードバック方式では、ＬＣＤディスプレイに表示される画像データに所定のアルゴリズムを適用し、最適の集光時間を決定して撮像に反映する。
【００１６】
ＬＣＤディスプレイに撮影した映像を表示中にユーザがシャッタを押すと、カメラは静止画像をキャプチャーするために、イメージセンサの出力イメージデータ解像度を最大解像度（またはユーザ設定解像度）に高め、イメージセンサをリフレッシュした後、所定のイメージキャップチャー動作を行う（カメラのキャップチャーモード）。この時、集光時間は直前のディスプレイモードで適用した集光時間をそのまま反映するのが一般的な自動調節方式である。
【００１７】
ところが、一般にカメラでは、ＣＭＯＳイメージセンサの撮影解像度が、装備されたＬＣＤディスプレイの解像度よりも数倍〜数十倍高い。したがって、ＬＣＤディスプレイに表示するために、イメージセンサで、ＬＣＤディスプレイ解像度を満足するだけのピクセルデータを読み込むが、この程度の低い解像度では、スキャンラインなどのキャップチャー時間の間隔による画像の歪みは微々たるものである。したがって、ディスプレイモードでは、機械式シャッタは常に開けていて制御の意味がなくて、キャップチャーモードでの機械式シャッタの採用及びそのシャッタ制御方法に本発明の特徴がある。
【発明を実施するための最良の形態】
【００１８】
以下、本発明のもっとも好ましい実施の形態を添付する図面を参照して説明する。
【００１９】
図２は、本発明の実施の形態に係るイメージセンサシャッタモジュールのシャッタ制御信号を示すタイミングチャートである。図２を参照して、以下図３と図４とを説明する。
【００２０】
図３は、本発明の実施の形態に係るイメージセンサシャッタモジュールの構成図である。
【００２１】
図３に示したように、本実施の形態に係るイメージセンサシャッタモジュールは、ラインスキャン方式でイメージデータを出力し、各撮像ラインに電子式シャッタを備えるイメージセンサ１０と、イメージセンサ１０への光の供給を物理的に遮断するための機械式シャッタ（３２、３４）と、機械式シャッタの露出時間を内部設定または外部命令によって決定し、機械式シャッタの露出タイミングをイメージセンサ１０の全ての電子式シャッタのターンオン以後に決定し、機械式シャッタの露出時間よりも長い電子式シャッタの集光時間を決定するシャッタ制御部２０とを備えることを特徴とする。機械式シャッタは、遮断膜３２と、遮断膜３２を駆動させる駆動部３４とから構成されている。
【００２２】
ラインスキャン方式のＣＭＯＳイメージセンサでは、従来は電子式シャッタだけを用いて、機械式シャッタは使用されなかった。本実施の形態に係るイメージセンサシャッタモジュールは、ラインスキャン方式のＣＭＯＳイメージセンサと機械式シャッタとを用いる。本発明によに係るＣＭＯＳイメージセンサは、機械式シャッタの信号を生成する。機械式シャッタのラインスキャン方式への適用は、シャッタ制御部２０によってなされる。
【００２３】
シャッタ制御部２０は、機械式シャッタを用いてＣＭＯＳイメージセンサの内部設定に基づき機械式シャッタを制御する。自動集光調節機能によって設定された集光時間は、機械式シャッタの露出時間として使用される。シャッタ制御部２０は、電子式シャッタを全てターンオンさせた後、機械式シャッタ（３２、３４）を開き、機械式シャッタを閉じた後、電子式シャッタをターンオフさせる。すなわち、常に露出時間は、集光時間内に含まれ、集光時間が露出時間よりも長い関係にある。
【００２４】
機械式シャッタは、イメージセンサ１０を遮るための遮断膜３２と、遮断膜３２を駆動させる駆動部３４とから構成され、駆動部３４はシャッタ制御部２０によって制御される。
【００２５】
図４は、各撮像ラインが同じ集光時間を有するように適用した本実施の形態に係るシャッタ制御方法において、機械式シャッタが閉じる時までの処理を示すフローチャートである。図４に示したフローチャートにおいて、機械式シャッタは、全ての電子式シャッタがターンオンした後に開き、機械式シャッタが閉じた後、電子式シャッタが順にターンオフする。
【００２６】
以下、本発明に係るシャッタ制御方法に関して具体的に説明する。
【００２７】
本発明に係るシャッタ制御方法は、カメラにおいて、ステップＳ２０〜Ｓ７０で示されたイメージキャップチャー動作（以下、単にキャプチャーとも記す）を行う。ステップＳ２０において、ＣＭＯＳイメージセンサのイメージ信号プロセッサ（以下、単にプロセッサとも記す）のＡＥ（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ）による機械式シャッタの露出時間を格納する。この格納された値は、後のキャプチャー時に機械式シャッタの露出時間として用いられる。
【００２８】
機械式シャッタが開かれている期間である露出時間の設定に関して、ディスプレイモードでユーザがシャッタを押して最初にキャップチャーする場合には、直前のディスプレイモードでの電子式シャッタの集光時間を露出時間として設定する。すなわち、自動調節方式では、ディスプレイモードで各フレーム全体の明るさなどを演算して、電子式シャッタの集光時間をリアルタイムに調節する。しかし、本発明ではＣＭＯＳイメージセンサのプロセッサの集光時間を機械式シャッタの露出時間として用いる。
【００２９】
連続撮影が可能な機器の場合、連続撮影時には最初のイメージキャプチャーでは上記した方式で露出時間を設定し、連続するイメージキャプチャー以前のイメージキャプチャー時に用いた露出時間を、そのまま現在のイメージキャプチャー時の露出時間として設定する。
【００３０】
上記のような露出時間の設定方法は、携帯電話に装備されたカメラなどの比較的簡単な構造に用いられる方法であり、複雑なデジタルカメラの場合、ディスプレイモードを介さずに直ちにキャプチャーモードで写真撮影が可能であり、そのためには、別に装備された光センサのデータから最適の露出時間を直ちに計算する露出時間演算モジュールを備えていなければならない。もちろん、露出時間用演算モジュールを備えた場合、ステップＳ２０において、露出時間には露出時間用演算モジュールが指定した時間が用いられる。
【００３１】
次いで、ステップＳ２５において、機械式シャッタを制御する制御信号ＳＩＧＮＡＬによって機械式シャッタを閉じる。
【００３２】
次いで、ステップＳ３０において、各撮像ラインの電子式シャッタをターンオンさせる期間である集光時間を設定する。各撮像ラインのラインイメージデータが均一な特性を有するためには、露出時間及び集光時間のそれぞれが全ての各撮像ラインに対して同じ値であるようにすることが好ましい。ラインスキャンの特性上、各撮像ラインの集光時間が完了時点は順に差を有するので、全ての撮像ラインに同じ集光時間を適用する場合、集光時間のスタート時点も順に差を有しなければならず、最初の撮像ラインの集光時間の開始点から最後の撮像ラインの集光時間の開始点までターンオン遅延時間が存在することになる。図２に示したように、全ての撮像ラインに適用する集光時間には、露出時間Ｔｍｏ及びターンオン遅延時間Ｔｄが含まれなければならず、さらに電子式シャッタのターンオン直後に、画素が安定するまでの安定化遅延時間Ｔｓをさらに追加して最終的に適用する集光時間（＝Ｔｍｏ＋Ｔｄ＋Ｔｓ）を決定する。
【００３３】
次いで、ステップＳ４０において、各撮像ラインの電子式シャッタを順に開いて集光を行う。最初の撮像ライン（例えば、一番上のライン）の電子式シャッタをまずターンオンさせ、所定の遅延時間の後に撮像ラインをターンオンさせ、最後の撮像ライン（例えば、一番下ライン）までの電子式シャッタを全てターンオンさせる。ターンオンされる各電子式シャッタは、同じ集光時間をカウントするように形成され得るが、カウントせずに以下のように機械式シャッタの閉じた時点を利用するのが容易である。
【００３４】
ステップＳ４０において、全ての撮像ラインの電子式シャッタを同時にターンオンするように具現できる可能性もある。感光データの値は、露出時間に比例するが、露出時間前に電子式シャッタがターンオンされている期間を減らす上記の実現方法が好ましいが、現在、大部分のＣＭＯＳイメージセンサでは、各撮像ラインの電子式シャッタを順にターンオンするようになっていて、その方法を適用する場合には変更される部分が多くなる。
【００３５】
ステップＳ４０を行った後、ステップＳ４５において、最後の撮像ラインの電子式シャッタの開放が開始されたか否かを判断し、最後の撮像ラインの電子式シャッタの開放が開始されるまで、ステップＳ４０に戻る。ステップＳ５０に移行し最後の撮像ラインの電子式シャッタの開放が開始され、全ての電子式シャッタがターンオンすると、ステップＳ５０において、制御信号ＳＩＧＮＡＬを制御して機械式シャッタを開き、設定された露出時間をカウントし始める。次に、ステップＳ５５において、設定された露出時間が経過したか否かを判断し、露出時間が経過すると、ステップＳ６０において、機械式シャッタを閉じる。
【００３６】
機械式シャッタが閉じられると、ステップＳ７０において、各撮像ラインの電子式シャッタをターンオンした順にターンオフし、ラインイメージデータを読み込む過程（すなわち、ラインスキャン）を行う。各電子式シャッタをターンオフする時、ステップＳ４０でターンオンする時に使用した所定の遅延時間と同じ遅延時間を使用する。
【００３７】
１つのフレームのイメージデータを伝送する時点を表すＶＳＹＮＣ信号は、最初の撮像ラインの電子式シャッタがターンオフされる時点に発生し、最初の撮像ラインのラインイメージデータの伝送は、ＶＳＹＮＣ信号のアクティブ期間の間遅延（図２の第１ラインのＤｅｌａｙ）された後に行われることが好ましい。各撮像ラインのイメージデータは、ライン毎に対応するＨＳＹＮＣ信号のアクティブ期間の間に伝送されることが好ましい。
【００３８】
図２に示したように、全ての撮像ラインが同じ長さの集光時間（Ｉｎｔｅｇｒａｔｉｏｎ  Ｔｉｍｅ）Ｔｄ＋Ｔｓ＋Ｔｍｏを有することが分かる。同じ露出時間に全てのピクセルが露光されるため、全ての撮像ラインは同じ時点で映像情報を取得することができる。機械式シャッタが閉じられた状態で電子式シャッタがターンオンされている期間は、各撮像ラインで異なるが、この期間が異なっていても、画像の品質には影響を与えない。
【００３９】
上記の説明では、ＣＭＯＳイメージセンサの出力が、各撮像ラインに１つずつ出力される場合を説明した。しかし、ＣＭＯＳイメージセンサの解像度が高まるにしたがって、１つの経路に出力するには伝送速度の問題があり、イメージセンサの上下に出力パスを形成して２つの経路に同時に伝送する技術も用いられている。さらに高い解像度では、それ以上の数の経路に並列伝送を行うこともある。これらのような場合にも、本発明を同様に適用することが可能である。その場合には、図２に示したように、集光時間の期間が重なる撮像ラインが存在するので、集光時間の算出に必要なターンオン遅延時間の基準として異なる値を使用すればよい。
【００４０】
本発明は、上記した実施の形態に限定されるものではなく、本発明の技術的思想から逸脱しない範囲内で多様に変更が可能であり、それらも本発明の技術的範囲に属する。
【図面の簡単な説明】
【００４１】
【図１】従来の技術に係るイメージセンサシャッタ制御信号を示すタイミングチャートである。
【図２】本発明に係るイメージセンサシャッタ制御信号を示すタイミングチャートである。
【図３】本発明に係るシャッタモジュールの概略構成を示す図である。
【図４】本発明に係るイメージセンサシャッタ制御方法のうち、機械式シャッタによる露出方法を示すフローチャートである。
【符号の説明】
【００４２】
１０      イメージセンサ
２０      シャッタ制御部
３２      遮断膜
３４      遮断膜の駆動部
【図１】
2006081195.tif 000003
【図２】
2006081195.tif 000004
【図３】
2006081195.tif 000005
【図４】
2006081195.tif 000006