(57)【要約】【課題】動画像の記録中でも、動画像に影響を与えることなく、スミアの無い静止画像の記録を行うことができ、また、消費電力を削減することがきる撮像装置を提供する。【解決手段】撮像装置は、撮像素子から読み出される画素信号からフレーム単位で画像を生成して動画及び静止画を記録する処理手段と、撮像素子から読み出される画素信号に基づいて画像のスミアの有無を判断する手段（ステップＳ２０４）と、画素から垂直転送路に信号を読み出す前に、該転送路に蓄積された電荷を掃き出す手段（ステップＳ２０７）と、動画記録中に静止画記録が開始され、かつ画像にスミアがある場合に、他のフレームの画像を記録中の動画像に挿入してフレーム補完する手段（ステップＳ２０９）とを備える。処理手段は、動画記録中に静止画記録が開始され、かつ画像にスミアがある場合に、電荷を掃き出して得られた画素信号から静止画を生成する（ステップＳ２０８）。【選択図】図２
2010206610.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を光電変換して電気信号に変換する複数の画素、及び該画素から読み出した信号を垂直方向に転送する転送路を有する撮像素子と、
該撮像素子から読み出される画素の信号からフレーム単位で画像を生成して記録部に動画像及び静止画像を記録する画像処理手段と、
前記撮像素子から読み出される画素の信号に基づいて、画像にスミアが有るか無いかを判断する検出手段と、
前記画素から前記転送路に信号を読み出す前に、該転送路に蓄積された電荷を掃き出す掃き出し手段と、
動画像の記録中に静止画像の記録が開始され、かつ前記検出手段により画像にスミアがあると判断された場合に、他のフレームの画像を前記記録中の動画像に挿入してフレーム補完を行う補完手段と、を備え、
前記画像処理手段は、動画像の記録中に静止画像の記録が開始され、かつ前記検出手段により画像にスミアがあると判断された場合に、前記掃き出し手段により電荷を掃き出して得られた画素の信号から静止画像を生成する、ことを特徴とする撮像装置。
【請求項２】
前記撮像素子の有効画素領域外の画素へ入射する光を遮光する遮光部により黒レベルを出力するオプティカルブラックを水平方向に少なくとも１ライン分有し、前記検出手段は、該オプティカルブラックの出力が閾値以上の場合に、画像にスミアが有りと判断する、ことを特徴とする請求項に１記載の撮像装置。
【請求項３】
前記掃き出し手段により電荷を掃き出して得られた画素の信号から生成される前記静止画像の前又は後のフレームの動画像からスミア成分を抜き出す手段と、該抜き出されたスミア成分を前記静止画像に合成して画像を生成する合成手段とを備え、
前記補完手段は、前記合成手段により生成された画像を前記記録中の動画像に挿入してフレーム補完を行う、ことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記検出手段によりスミアが検出された画素信号の水平方向及び垂直方向の位置を検出して記憶する手段を備え、前記合成手段は、前記画素信号の水平方向及び垂直方向の位置と前記静止画像に合成するスミア成分の位置とが合うように画像を生成する、ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
被写体像を光電変換して電気信号に変換する複数の画素、及び該画素から読み出した信号を垂直方向に転送する転送路を有する撮像素子を備える撮像装置の制御方法であって、
該撮像素子から読み出される画素の信号からフレーム単位で画像を生成して記録部に動画像及び静止画像を記録する画像処理ステップと、
前記撮像素子から読み出される画素の信号に基づいて、画像にスミアが有るか無いかを判断する検出ステップと、
前記画素から前記転送路に信号を読み出す前に、該転送路に蓄積された電荷を掃き出す掃き出しステップと、
動画像の記録中に静止画像の記録が開始され、かつ前記検出ステップで画像にスミアがあると判断された場合に、他のフレームの画像を前記記録中の動画像に挿入してフレーム補完を行う補完ステップと、を備え、
前記画像処理ステップは、動画像の記録中に静止画像の記録が開始され、かつ前記検出ステップで画像にスミアがあると判断された場合に、前記掃き出しステップで電荷を掃き出して得られた画素の信号から静止画像を生成する、ことを特徴とする撮像装置の制御方法。
【請求項６】
被写体像を光電変換して電気信号に変換する複数の画素、及び該画素から読み出した信号を垂直方向に転送する転送路を有する撮像素子を備える撮像装置を制御するプログラムであって、
該撮像素子から読み出される画素の信号からフレーム単位で画像を生成して記録部に動画像及び静止画像を記録する画像処理ステップと、
前記撮像素子から読み出される画素の信号に基づいて、画像にスミアが有るか無いかを判断する検出ステップと、
前記画素から前記転送路に信号を読み出す前に、該転送路に蓄積された電荷を掃き出す掃き出しステップと、
動画像の記録中に静止画像の記録が開始され、かつ前記検出ステップで画像にスミアがあると判断された場合に、他のフレームの画像を前記記録中の動画像に挿入してフレーム補完を行う補完ステップと、をコンピュータに実行させ、
前記画像処理ステップは、動画像の記録中に静止画像の記録が開始され、かつ前記検出ステップで画像にスミアがあると判断された場合に、前記掃き出しステップで電荷を掃き出して得られた画素の信号から静止画像を生成する、ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、デジタルカメラやデジタルビデオカメラ等の撮像装置、撮像装置の制御方法、及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラ等の撮像装置では、ＣＣＤセンサ等の電荷転送型の撮像素子が多く用いられているが、電荷転送型の撮像素子は、その固有の現象としてスミアの発生が挙げられる。
【０００３】
スミアとは、撮像する画像に輝度の高い被写体があると、画素の電荷を転送する垂直転送路に電荷が漏れこみ、垂直方向に縞状の帯が高い輝度で現れる現象をいう。
【０００４】
このようなスミア対策として、静止画像の記録のみを行うモードに関しては、メカニカルシャッタを閉じた後に垂直転送部を通常の転送速度より高速に駆動させて電荷を高速で掃き出し、その後、信号電荷を読み出し、スミアのない静止画像の記録を行っている。なお、動画像に関しては、画像の連続性からメカニカルシャッタを閉じる事ができないので、スミアのある画像が記録される。
【０００５】
また、動画像の記録中に同一の撮像素子からの画像で静止画像の記録を行う機能を有する撮像装置が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平０８−２０５０２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、動画像の記録中に静止画像の記録を行う撮像装置では、スミア発生時に静止画像の記録を行うと、撮像素子の電荷の高速掃き出し動作を行わない限りスミアのある静止画像が記録されてしまう。一方、撮像素子の電荷の高速掃き出し動作によるスミアの除去を行う為には、メカニカルシャッタを作動させなければならず、静止画像と同時に記録中である動画像が黒画像となってしまう。
【０００８】
そこで、本発明は、動画像の記録中でも、該動画像に影響を与えることなく、スミアの無い静止画像の記録を行うことができ、また、消費電力を削減することがきる撮像装置、撮像装置の制御方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の撮像装置は、被写体像を光電変換して電気信号に変換する複数の画素、及び該画素から読み出した信号を垂直方向に転送する転送路を有する撮像素子と、該撮像素子から読み出される画素の信号からフレーム単位で画像を生成して記録部に動画像及び静止画像を記録する画像処理手段と、前記撮像素子から読み出される画素の信号に基づいて、画像にスミアが有るか無いかを判断する検出手段と、前記画素から前記転送路に信号を読み出す前に、該転送路に蓄積された電荷を掃き出す掃き出し手段と、動画像の記録中に静止画像の記録が開始され、かつ前記検出手段により画像にスミアがあると判断された場合に、他のフレームの画像を前記記録中の動画像に挿入してフレーム補完を行う補完手段と、を備え、前記画像処理手段は、動画像の記録中に静止画像の記録が開始され、かつ前記検出手段により画像にスミアがあると判断された場合に、前記掃き出し手段により電荷を掃き出して得られた画素の信号から静止画像を生成する、ことを特徴とする。
【００１０】
本発明の撮像装置の制御方法は、被写体像を光電変換して電気信号に変換する複数の画素、及び該画素から読み出した信号を垂直方向に転送する転送路を有する撮像素子を備える撮像装置の制御方法であって、該撮像素子から読み出される画素の信号からフレーム単位で画像を生成して記録部に動画像及び静止画像を記録する画像処理ステップと、前記撮像素子から読み出される画素の信号に基づいて、画像にスミアが有るか無いかを判断する検出ステップと、前記画素から前記転送路に信号を読み出す前に、該転送路に蓄積された電荷を掃き出す掃き出しステップと、動画像の記録中に静止画像の記録が開始され、かつ前記検出ステップで画像にスミアがあると判断された場合に、他のフレームの画像を前記記録中の動画像に挿入してフレーム補完を行う補完ステップと、を備え、前記画像処理ステップは、動画像の記録中に静止画像の記録が開始され、かつ前記検出ステップで画像にスミアがあると判断された場合に、前記掃き出しステップで電荷を掃き出して得られた画素の信号から静止画像を生成する、ことを特徴とする。
【００１１】
本発明のプログラムは、被写体像を光電変換して電気信号に変換する複数の画素、及び該画素から読み出した信号を垂直方向に転送する転送路を有する撮像素子を備える撮像装置を制御するプログラムであって、該撮像素子から読み出される画素の信号からフレーム単位で画像を生成して記録部に動画像及び静止画像を記録する画像処理ステップと、前記撮像素子から読み出される画素の信号に基づいて、画像にスミアが有るか無いかを判断する検出ステップと、前記画素から前記転送路に信号を読み出す前に、該転送路に蓄積された電荷を掃き出す掃き出しステップと、動画像の記録中に静止画像の記録が開始され、かつ前記検出ステップで画像にスミアがあると判断された場合に、他のフレームの画像を前記記録中の動画像に挿入してフレーム補完を行う補完ステップと、をコンピュータに実行させ、前記画像処理ステップは、動画像の記録中に静止画像の記録が開始され、かつ前記検出ステップで画像にスミアがあると判断された場合に、前記掃き出しステップで電荷を掃き出して得られた画素の信号から静止画像を生成する、ことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、動画像の記録中でも、該動画像に影響を与えることなく、スミアの無い静止画像の記録を行うことができ、また、消費電力を削減することがきる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態である撮像装置を説明するためのブロック図である。
【図２】撮像装置の動作例について説明するためのフローチャート図である。
【図３】撮像素子の概略構成を説明するためのブロック図である。
【図４】スミア検出部におけるスミアの検出時の、撮像素子からの画像信号の読み出し動作を説明するためのタイミングチャート図である。
【図５】図２のステップＳ２０６でのＣＰＵによる制御例を説明するためのタイミングチャート図である。
【図６】本発明の第２の実施形態である撮像装置を説明するための図であり、（ａ）はスミア有りと判断された場合の動画のイメージ図、（ｂ）はスミア有りと判断された場合の静止画のイメージ図である。
【図７】スミア検出部においてスミアが有りとされた場合の撮像素子からの静止画の画像信号の読み出し動作を説明するためのタイミングチャート図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態を図面を参照して説明する。
【００１５】
（第１の実施形態）
図１は、本発明の第１の実施形態である撮像装置を説明するためのブロック図である。
【００１６】
図１において、レンズ群１００は、被写体像の光量の収束、及び被写体像の焦点を合わせるためのＡＦ機構、ズーム機構が組み込まれている。絞り部１０１は、被写体像の光量を制御してＡＥ（自動露出制御）を行い、また、スミア成分である不要電荷の掃き出し動作時に、撮像素子１０２を遮光する為のメカニカルシャッタを兼ねる。
【００１７】
撮像素子１０２は、本実施形態では、ＣＣＤセンサで構成され、レンズ群１００を通過した被写体像を光電変換して電気信号に変換する。ＡＦＥ１０３は、撮像素子１０２から出力された電気信号から信号レベルを取り出す為のＣＤＳ及びアナログ画素信号をデジタル信号に変換するＡ／Ｄ変換部を含む信号処理部である。
【００１８】
ＴＧ（タイミングジェネレータ）１０４は、ＣＰＵ１０８の制御により、撮像素子１０２に対して垂直転送パルス（Ｖパルス）や水平転送パルス（Ｈパルス）、電荷を掃き棄てる電子シャッタ等の駆動パルスを発生する。
【００１９】
画像処理部１０５は、ＡＦＥ１０３から出力されるデジタル画像信号に対して画像処理を施し、動画記録のＤＶフォーマット及び静止画記録のＪＰＥＧ等のフォーマットに変換して、記録部１０７に出力する。また、画像処理部１０５には、撮像素子１０２から読み出される画像信号を解析してスポット光などの光の漏れこみに起因する垂直方向の縞状帯であるスミアの有無を検出するスミア検出部１０６が設けられている。なお、スミア検出部１０６については、後述する。
【００２０】
記録部１０７は、ＤＶフォーマットを記録するテープ及びＪＰＥＧフォーマットを記録する為のメモリカード等で構成される。ＣＰＵ１０８は、撮像装置全体の制御を司る。
【００２１】
次に、図２〜図５を参照して、本実施形態の撮像装置の動作例について説明する。なお、図２での各処理は、撮像装置の不図示のＲＯＭ等に記憶されたプログラムがＲＡＭにロードされて、ＣＰＵ１０８により実行される。
【００２２】
図２において、ステップＳ２０１では、ＣＰＵ１０８は、カメラ撮影モードに入ると、ＴＧ１０４及びＡＦＥ１０３の初期設定を行うと共に撮像素子１０２からの画像信号の読み出し動作を開始する。
【００２３】
具体的には、ＣＰＵ１０８は、まず、ＴＧ１０４に対して撮像素子１０２から画像信号を読み出すためのＶパルスのタイミング設定、電子シャッタのタイミング設定及びＨパルスのタイミング設定等の必要なレジスタ設定を行う。
【００２４】
Ｖパルスは、撮像素子１０２のフォトダイオードに蓄積された電荷を、垂直同期時間（フレーム時間：１／６０秒）毎に垂直転送路に移動し、水平同期時間毎に垂直転送路から水平転送路に随時転送するパルス信号である。垂直転送路及び水平転送路については、後述する。Ｈパルスは、撮像素子１０２の水平転送路に転送された電荷を１画素ずつＡＦＥ１０３に出力する為のパルス信号である。Ｖパルス及びＨパルスは、共にＴＧ１０４から撮像素子１０２に出力される。
【００２５】
また、ＣＰＵ１０８は、ＡＦＥ１０３に対してＡ／Ｄ変換のタイミング設定、ゲイン設定等のデータを設定する。
【００２６】
以上の各初期設定が終了すると、ＣＰＵ１０８の制御により、ＴＧ１０４から撮像素子１０２へ制御信号が出力され、撮像素子１０２からの画像信号の読み出し動作が開始される。
【００２７】
レンズ群１００及び絞り部１０１を通過した被写体光は、ＴＧ１０４に設定された電子シャッタタイミングにより決定される露光時間の間、撮像素子１０２に露光される。
【００２８】
そして、撮像素子１０２は、ＣＰＵ１０８の制御によりＴＧ１０４から出力されるＶパルス及びＨパルスにより駆動され、１フレーム分の画像信号を１画素ずつＡＦＥ１０３へ出力する。ＡＦＥ１０３へ出力された画像信号は、ＣＰＵ１０８により制御されるＡＦＥ１０３で、相関二重サンプリング回路（不図示）で輝度レベルが検波され、ゲイン設定部で所望のゲインレベルでアンプされ、Ａ／Ｄ変換部でアナログ信号からデジタル信号に変換される。
【００２９】
ＡＦＥ１０３でＡ／Ｄ変換された画像信号は、画像処理部１０５に転送され、画像処理部１０５は、ＣＰＵ１０８の制御により、画像信号に対してホワイトバランス調整、ノイズリダクション、輪郭強調補正等を行い、不図示の表示部に表示する。
【００３０】
また、ＣＰＵ１０８は、画像処理部１０５で処理される画像データの１フレームの輝度レベルを検波し、適正な露出となる様にアイリス部、電子シャッタ、ＡＦＥ１０３内のゲインを設定し、露出制御を行う。さらに、ＣＰＵ１０８は、画像処理部１０５で処理される画像データの被写体のエッジ部分を検出し、検出情報に基づきレンズ群１０１のＡＦ機構を制御して、最適なＡＦ制御を常時行う。
【００３１】
また、ＣＰＵ１０８は、不図示の動画記録ボタンが押下されると、画像処理部１０５で処理される画像データをフィールド単位で各画像フォーマット形式に変換し、記録部１０７に記録する。
【００３２】
次に、ステップＳ２０２では、ＣＰＵ１０８は、静止画像の撮影及び記録を行う為の不図示のシャッタボタンが押下されたか否かを判断し、押下されたと判断した場合は、ステップＳ２０３に進む。
【００３３】
ステップＳ２０３では、ＣＰＵ１０８は、動画像を記録部１０７に記録中であるか否かを判断し、動画像の記録中である場合は、ステップＳ２０４に進み、動画像の記録中でない場合は、ステップＳ２０５に進む。
【００３４】
ステップＳ２０５では、ＣＰＵ１０８は、ＴＧ１０４を制御して、通常の静止画像の信号読み出しを行うための駆動パルスを撮像素子１０２に出力し、静止画像の生成処理及び記録部１０７への記録処理を実行して、ステップＳ２０２に戻る。
【００３５】
一方、ステップＳ２０４では、ＣＰＵ１０８は、撮像素子１０２から読み出される画像信号を画像処理部１０５のスミア検出部１０６で解析し、スミアの有無を検出する。
【００３６】
ここで、図３を参照して、スミア検出部１０６での具体的なスミアの有無の検出方法について説明する。
【００３７】
図３は、撮像素子１０２の概略構成を説明するための図である。
【００３８】
図３に示すように、撮像素子１０２は、補色系のカラーフィルタ（Ｃｙ：シアン、Ｍｇ：マゼンダ、Ｇ：グリーン、Ｙｅ：イエロー）で構成されるフォトダイオード３００を備える。
【００３９】
フォトダイオード３００は、カラーフィルタで覆われた被写体光を電荷に変換する光電変換素子であり、列方向及び行方向に複数配置されて、一つのフォトダイオード３００が一画素に相当する。
【００４０】
垂直転送路３０１は、フォトダイオード３００に蓄積された電荷をフレーム単位毎の露光時間経過後にフォトダイオード３００から移動させて保持する為のものであり、水平同期単位で電荷をライン単位で移動させる。
【００４１】
Ｖパルス３０２は、ＴＧ１０４から出力される駆動パルスであり、φＶ１〜φＶ４で構成されて、フォトダイオード３００からの垂直転送路３０１への電荷移動（読出し転送）及び水平転送路３０３への１ライン単位での電荷移動（垂直転送）を行う。
【００４２】
水平転送路３０３は、垂直転送路３０１の電荷を１ライン毎に移動、保持し、１画素の電荷単位でＡＦＥ１０３へ出力する。
【００４３】
Ｈパルス３０４は、ＴＧ１０４から出力される駆動パルスであり、φＨ１及びφＨ２で構成されて、水平転送路３０３の電荷移動を制御する。
【００４４】
遮光部３０５は、撮像素子１０２の出力の黒レベルであるＯＢ（オプティカルブラック）３０６を構成する為、有効画素領域外で水平方向に少なくとも１ライン分有して（本実施形態では下位２ライン分）、フォトダイオード３００に入射する光を遮断する。
【００４５】
図４は、スミア検出部１０６におけるスミアの検出時の、撮像素子１０２からの画像信号の読み出し動作を説明するためのタイミングチャート図である。
【００４６】
図４において、ＴＧ１０４から電子シャッタ用の駆動パルス４００を出力すると、撮像素子１０２の全画素のフォトダイオード３００の電荷がリセットされ、露光が開始される。
【００４７】
次に、ＴＧ１０４からＶパルス（φＶ１〜φＶ４）４０１（読み出しパルス）を出力して、撮像素子１０２の全画素のフォトダイオード３００に蓄積された電荷を図３の垂直転送路３０１に移動させる。なお、電子シャッタ用の駆動パルス４００が出力されてから、Ｖパルス４０１が出力されるまでの期間４０２が露光時間となる。
【００４８】
更に、ＴＧ１０４からＶパルス４０３が出力されると、撮像素子１０２の図３の垂直転送路３０１内のＯＢ１ラインの電荷が水平転送路３０３に移動し、各ラインの電荷は１ライン分下の方向に移動する。
【００４９】
そして、ＴＧ１０４からＨパルス（φＨ１〜φＨ２）４０４が出力されると、撮像素子１０２の水平転送路３０３内の電荷が１画素ずつ水平方向に移動し、最終段のアンプにより信号電荷から信号電圧に変換される。
【００５０】
以上の様な転送を行うことで、図４に示すように、ＯＢ１ラインの左から、１−ＯＢ１、１−ＯＢ２、…１−ＯＢｎの信号が画像処理部１０５に随時出力される。
【００５１】
また、ＴＧ１０４から次のＨパルスが出力されると、ＯＢ２ラインの左から、２−ＯＢ１、２−ＯＢ２、…２−ＯＢｎの信号が画像処理部１０５に随時出力される。更に、有効画素領域である１−Ｙ１、１−Ｙ２、１−Ｙ３、…１−Ｙｎの信号が画像処理部１０５に随時出力される。
【００５２】
画像処理部１０５内のスミア検出部１０６では、ＡＦＥ１０３から出力されるＯＢ出力をスミア基準レベルＳｄ１と随時比較する。
【００５３】
スミアは、非常に強い光がフォトダイオード３００に照射されると、電荷がその画素に対応する垂直転送路３０１に漏れる現象であるので、スミアが発生している場合には、垂直転送を繰り返す事でＯＢ領域の垂直転送路３０１にもスミア成分が伝播する。
【００５４】
従って、水平方向ｘ番目のフォトダイオード３００からスミア発生している場合には、通常は黒レベルが出力される１−ＯＢｘ、２−ＯＢｘ（ｘは水平方向の順番を示す）の電荷がスミア成分を持っている事になる。スミア検出部１０６は、ＯＢ出力がスミア基準レベルＳｄ１以上（閾値以上）であるときは、スミア有りと判断し、ＯＢ出力がスミア基準レベルＳｄ１未満であるときは、スミア無しと判断する。
【００５５】
なお、スミア基準レベルＳｄ１は、実験等で決められた実際にスミアがあるときにＯＢ部に伝播される電荷のスレッシュレベルであり、予めＣＰＵ１０８に記録されている。
【００５６】
続いて、有効画素領域の１ライン目の画素信号を１−Ｙ１、１−Ｙ２、１−Ｙ３・・・１−Ｙｎと読み出し、引き続き２ライン目以降の画素信号を読み出す。
【００５７】
図２に戻って、ステップＳ２０４において、ＣＰＵ１０８は、撮像素子１０２から読み出される画像信号を以上のようにしてスミア検出部１０６で解析し、スミア有りの場合は、ステップＳ２０６に進み、スミア無しの場合は、ステップＳ２０５に進む。
【００５８】
ステップＳ２０５では、ＣＰＵ１０８は、スミアが発生していないので、動画像と同じ画像データから静止画像を生成すると共に、生成した静止画像を記録部１０７に記録してステップＳ２０２に戻る。
【００５９】
一方、ステップＳ２０６では、ＣＰＵ１０８は、スミアが発生しているので、不図示のメカニカルシャッタを閉じる。
【００６０】
図５は、ステップＳ２０６でのＣＰＵ１０８による制御例を説明するためのタイミングチャート図である。
【００６１】
図５において、ＣＰＵ１０８は、ＴＧ１０４から電子シャッタ用の駆動パルス５００を出力して、撮像素子１０２のフォトダイオード３００の電荷をリセットし、露光を開始する。
【００６２】
次に、ＣＰＵ１０８は、ＴＧ１０４からＶパルス５０１を出力して、撮像素子１０２の垂直転送路３０１への電荷移動を行い、随時画素データを読み出し、動画１データを読み出す。
【００６３】
次に、ＣＰＵ１０８は、ＴＧ１０４から電子シャッタ用の駆動パルス５０２を出力して、撮像素子１０２のフォトダイオード３００の電荷をリセットし、静止画用画像データの露光を開始する。
【００６４】
更に、ＣＰＵ１０８は、ＴＧ１０４からメカニカルシャッタのコントロールパルス５０３を出力して、アイリス部を閉じ、フォトダイオード３００への光量入射を遮断する。なお、静止画撮影時の露光時間は、コントロールパルス５０２の出力後、アイリス部が閉じるまでの期間５０４となる。
【００６５】
図２に戻って、ステップＳ２０７では、ＣＰＵ１０８は、垂直転送路３０１の電荷の高速掃き出しを行う事で垂直転送路３０１内の電荷を除去し、ステップＳ２０８に進む。
【００６６】
高速掃き出しは、アイリス部を閉じている期間に、Ｖパルス５０５（図５）を制御して垂直転送及び水平転送を高速に行う事で、垂直転送路３０１内の余分な電荷を撮像素子１０２の出力部より掃き出す制御である。
【００６７】
ステップＳ２０８では、ＣＰＵ１０８は、スミア成分の除去後にＴＧ１０４からＶパルス５０６（図５）を出力して、スミアの無い静止画用の画像データの読み出しを行う。そして、ＣＰＵ１０８は、読み出したスミア成分の無い画像データから静止画像を生成するとともに、生成した静止画像を記録部１０７に記録する。
【００６８】
次に、ステップＳ２０９では、ＣＰＵ１０８は、動画像の補間処理を行い、ステップＳ２０２に戻る。具体的には、図５を参照して、静止画像用の画像データを読み出している間は、アイリス部を閉じている為に２フレーム分の動画データが存在しない事になる。従って、記録部１０７に記録する動画記録データとして、補完データ１に前のフレームの動画１を挿入し、補完データ２に後のフレームの動画２を挿入して動画記録データとし、フレーム補完を行う。なお、補完データは、動画１及び動画２を比較し、合成する事で生成してもよい。
【００６９】
以上説明したように、本実施形態では、動画像の記録中に静止画像の記録を行う場合に、画像のスミア成分の有無を検出する。そして、画像にスミアが有る場合には、メカニカルシャッタを閉じて撮像素子１０２の電荷の高速掃き出しを行い、高速掃き出し後に、他のフレームの動画像で記録中の動画像のフレーム補完を行う。これにより、動画像の記録中でも、記録中の動画像に影響を与えることなく、スミアの無い静止画像の記録を行うことができる。
【００７０】
また、画像にスミアが無い場合には、撮像素子１０２の電荷の高速掃き出し及びメカニカルシャッタの閉じ制御を行わないので、余分な電力を削減する事が可能となる。
【００７１】
（第２の実施形態）
次に、図６及び図７等を参照して、本発明の第２の実施形態である撮像装置について説明する。なお、上記第１の実施形態に対して重複又は相当する部分については図及び符号を流用して説明する。
【００７２】
本実施形態の撮像装置では、図２のステップＳ２０１〜ステップＳ２０５までは、ＣＰＵ１０８は、上記第１の実施形態と同様の処理を実行する。
【００７３】
そして、ＣＰＵ１０８は、ステップＳ２０４でスミア有りと判断した場合は、次の処理を実行する。
【００７４】
図６（ａ）はスミア有りと判断された場合の動画のイメージ図、図６（ｂ）はスミア有りと判断された場合の静止画のイメージ図である。
【００７５】
ＣＰＵ１０８は、ステップＳ２０４でスミア有りと判断した場合は、ＯＢ出力がスミア基準レベルＳｄ以上となる水平方向の位置（図６（ａ）のＤｓｘ）を検出し、スミアが発生している水平方向の位置を不図示のメモリに記憶する。
【００７６】
また、ＣＰＵ１０８は、有効画素領域の画素信号の読み出し時にスミアが発生しているＤｓｘ行の画素レベルを検波してスミア起点レベルＳｌと比較し、Ｄｓｘ行の画素レベルがスミア起点レベルＳｌ以上となる垂直方向の位置を不図示のメモリに記憶する。
【００７７】
なお、スミア起点レベルＳｌは、実際に有効画素に強い光が入射された時にスミアが発生する時の起点スレッシュであり、予め実験等で決められてＣＰＵ１０８に記録されている。また、有効画素がスミア起点レベルＳｌ以上となるスミアの起点位置は、図６（ａ）の位置Ｄｓｙとなり、スミア発生の起点の位置となる。
【００７８】
以上の様に、本実施形態では、図６（ａ）の動画１データよりスミアの有無を判別し、スミア有りの場合は、スミアの発生位置であるＤｓｘ及びＤｓｙを不図示のメモリに記憶する。
【００７９】
図７は、スミア検出部１０６においてスミアが有りとされた場合の撮像素子１０２からの静止画の画像信号の読み出し動作を説明するためのタイミングチャート図である。
【００８０】
まず、ＣＰＵ１０８は、ＴＧ１０４から電子シャッタ用の駆動パルスを出力して、撮像素子１０２のフォトダイオード３００の電荷をリセットし、静止画用画像データの露光を開始する。
【００８１】
更に、ＣＰＵ１０８は、所定の露光時間の経過後、ＴＧ１０４からメカニカルシャッタのコントロールパルスを出力して、アイリス部を閉じ、フォトダイオード３００への光量入射を遮断する（図２のステップＳ２０６に相当）。
【００８２】
ここで、本実施形態では、ＣＰＵ１０８は、垂直転送路３０１の電荷の高速掃き出しを行わず、ＯＢの読出しを行う。この時点では、高速掃き出しはまだ行っていないので、垂直転送路３０１にはスミア成分が存在する。
【００８３】
次に、ＣＰＵ１０８は、ＯＢ出力を検波し、動画のスミア判別時と同様に、スミア基準レベルＳｄ以上となる水平方向の位置（図６（ｂ）のＩｓｘ）を検出し、スミアが発生している水平方向の位置を不図示のメモリに記憶する。
【００８４】
また、ＣＰＵ１０８は、ＯＢレベルを読み出した後に、高速掃き出し用のＶパルスを出力し、垂直転送路３０１の電荷の高速掃き出しを行ってスミア成分を除去する。
【００８５】
更に、ＣＰＵ１０８は、動画の読み出し時と同様に、スミアが発生しているＩｓｘ行の画素レベルを随時検波してスミア起点レベルＳｌと比較する。そして、ＣＰＵ１０８は、Ｉｓｘ行の画素レベルがスミア起点レベルＳｌ以上となる垂直方向の位置（図６（ｂ）のＩｓｙ）を不図示のメモリに記憶する。
【００８６】
次に、ＣＰＵ１０８は、スミア成分の除去後にＴＧ１０４からＶパルス（不図示）を出力して、スミアの無い静止画用の画像データの読み出しを行う。そして、ＣＰＵ１０８は、読み出したスミア成分の無い画像データから静止画像を生成するとともに、生成した静止画像を記録部１０７に記録する（図２のステップＳ２０８に相当）。
【００８７】
次に、ＣＰＵ１０８は、動画像の補間処理を行う（図２のステップＳ２０９に相当）。
【００８８】
具体的には、ＣＰＵ１０８は、図６（ａ）の動画１データからスミアが発生しているＤｓｘ行の画像を抜き出し、さらに図６（ｂ）の静止画データのＩｓｘ行の画像を抜き出し、不図示のメモリに記憶する。
【００８９】
そして、ＣＰＵ１０８は、スミア起点位置のＤｓｙとＩｓｙとを比較し、Ｄｓｙ＝Ｉｓｙであれば、動画１データから抜き出した画像データから、静止画の抜き出した画像データの各対応する垂直位置の画素データの差分を取り、不図示のメモリに記憶する。
【００９０】
一方、ＣＰＵ１０８は、Ｄｓｙ≠Ｉｓｙであれば、Ｄｓｙ＝Ｉｓｙとなる様に、静止画データを垂直方向にずらし、同様に差分を取り、不図示のメモリに記憶する。
【００９１】
この差分データは、動画１データのスミア領域とその領域に対応するスミアの無い画像領域との差分をとるので、有効画素上のスミア成分のみのスミア画素データとなる。動画１データと静止画データで被写体が動いても、スミア起点位置により画像位置を合わせているので、スミア成分のみを算出する事が可能となる。
【００９２】
そして、ＣＰＵ１０８は、算出したスミア画素データを、スミアの無い静止画データにスミア起点位置を合わせて加算し、図５の動画記録データの補完データ１及び補完データ２として動画記録を行う。
【００９３】
以上説明したように、本実施形態では、静止画像にスミア成分を合成して動画記録データの補完データとして記録する事で、同時記録時の動画記録データをより滑らかな被写体の動きで記録する事が可能となる。その他の構成及び作用効果は、上記第１の実施形態と同様である。
【００９４】
なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。
【００９５】
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。
【００９６】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９７】
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。
【００９８】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００９９】
更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。
【符号の説明】
【０１００】
１００  レンズ群
１０１  絞り部
１０２  撮像素子
１０３  ＡＦＥ
１０４  ＴＧ
１０５  画像処理部
１０６  スミア検出部
１０７  記録部
１０８  ＣＰＵ
３００  フォトダイオード
３０１  垂直転送路
３０３  水平転送路
【図１】
2010206610.tif 000003
【図２】
2010206610.tif 000004
【図３】
2010206610.tif 000005
【図４】
2010206610.tif 000006
【図５】
2010206610.tif 000007
【図６】
2010206610.tif 000008
【図７】
2010206610.tif 000009