(57)【要約】【課題】従来の撮像装置の回路規模を増大させることなく、撮影された動画に現れる点滅輝点の輝度レベルを軽減する。【解決手段】本発明による撮像装置は、被写体が撮影される動画を構成する第１フレーム画像と後の第２フレーム画像とを、複数の画素信号のうちの近傍の画素信号どうしの加算値に基づいて生成する加算モードと、近傍の画素信号どうしの加算値に基づかずに複数の画素信号に基づいて生成する非加算モードとのうちのいずれか１つのモードに応じて生成するフレーム画像生成手段と、フレーム画像生成手段によって第１フレーム画像が生成される際に用いられる複数の画素信号に基づき、被写体の輝度に関する輝度情報を取得する輝度情報取得手段と、第２フレーム画像が生成される際のいずれか１つのモードを、輝度情報に基づいて決定するモード決定手段とを有する。【選択図】図３
2015061260.tif 000002
【特許請求の範囲】
【請求項１】
被写体が撮影される動画を構成する第１フレーム画像と前記第１フレーム画像よりも後の第２フレーム画像との各フレーム画像を、複数の画素信号のうちの近傍の画素信号どうしの加算値に基づいて生成する加算モードと、前記近傍の画素信号どうしの加算値に基づかずに前記複数の画素信号に基づいて生成する非加算モードとのうちのいずれか１つのモードに応じて生成するフレーム画像生成手段と、
前記フレーム画像生成手段によって前記第１フレーム画像が生成される際に用いられる前記複数の画素信号に基づき、前記被写体の輝度に関する輝度情報を取得する輝度情報取得手段と、
前記第２フレーム画像が生成される際の前記いずれか１つのモードを、前記輝度情報に基づいて決定するモード決定手段とを備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記モード決定手段は、前記輝度が第１レベルよりも大きいとき、前記非加算モードを決定し、前記輝度が第１レベル以下のとき、前記加算モードを決定することを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記加算モードは、前記近傍の画素信号どうしの加算として第１範囲内に含まれる複数の画素信号が加算される第１加算モードと、前記近傍の画素信号どうしの加算として前記第１範囲よりも加算画素数が多い第２範囲内に含まれる複数の画素信号が加算される第２加算モードとを含み、
前記モード決定手段は、前記輝度が前記第１レベル以下であって、かつ第２レベルよりも大きいときには前記第１加算モードを決定し、前記輝度が前記第２レベル以下のときには前記第２加算モードを決定することを特徴とする撮像装置。
【請求項４】
請求項２または３に記載の撮像装置において、
所定値以上の輝度レベルの画素信号を有する輝点が前記第１フレーム画像中で占める割合が大きくなるほど、前記第１レベルが大きくなることを特徴とする撮像装置。
【請求項５】
請求項１〜４に記載の撮像装置において、
前記第２フレーム画像が生成される際に用いられる前記複数の画素信号が生成されるときの撮影感度を、前記輝度情報に応じて決定する撮影感度決定手段をさらに備え、
前記モード決定手段は、前記いずれか１つのモードを、前記輝度情報に応じて決定される前記撮影感度に基づいて決定することを特徴とする撮像装置。
【請求項６】
請求項１〜５に記載の撮像装置において、
前記加算モードでは、撮像素子に前記近傍の画素信号どうしを加算させて前記加算値を出力させるとともに、前記非加算モードでは、前記撮像素子に前記加算値を出力させずに前記複数の画素信号を出力させるように、前記撮像素子を制御する画素信号出力制御手段をさらに備え、
前記フレーム画像生成手段は、前記加算モードでは、前記画素信号出力制御手段が前記撮像素子に出力させた前記加算値に基づいて前記各フレーム画像を生成し、前記非加算モードでは、前記画素信号出力制御手段が前記撮像素子に出力させた前記複数の画素信号に基づいて前記各フレーム画像を生成することを特徴とする撮像装置。
【請求項７】
請求項１〜５に記載の撮像装置において、
前記加算モードでは、撮像素子によって出力された前記複数の画素信号のうちの前記近傍の画素信号どうしを加算して前記加算値を算出するとともに、前記非加算モードでは、前記加算値を算出しない加算値算出手段をさらに備え、
前記フレーム画像生成手段は、前記加算モードでは、前記加算値算出手段によって算出された前記加算値に基づいて前記各フレーム画像を生成し、前記非加算モードでは、前記撮像素子によって出力された前記複数の画素信号に基づいて前記各フレーム画像を生成することを特徴とする撮像装置。
【請求項８】
被写体が撮影される動画を構成する複数のフレーム画像のうちの第１フレーム画像が生成される際に用いられる複数の画素信号に基づき、前記被写体の輝度に関する輝度情報を取得する輝度情報取得処理と、
前記複数のフレーム画像のうちの前記第１フレーム画像よりも後の第２フレーム画像が、複数の画素信号のうちの近傍の画素信号どうしの加算値に基づいて生成される加算モードと、前記第２フレーム画像が、前記加算値に基づかずに前記複数の画素信号に基づいて生成される非加算モードとのうちのいずれか１つのモードを、前記輝度情報に基づいて決定するモード決定処理と、
前記いずれか１つのモードに応じて、前記第２フレーム画像を生成するフレーム画像生成処理とを、コンピュータに実行させることを特徴とする撮像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置および撮像処理プログラムに関する。
【背景技術】
【０００２】
全画素出力を用いた動画を撮影可能なカメラシステムが増えている。撮像素子の画素数が高くなっていくにつれて画素の縮小化が進み、ＲＴＳノイズ（点滅輝点）が顕著に現れるようになってきている。暗いシーンでの動画撮影において、ＡＥ制御（自動露出制御）によってＩＳＯ感度がアップすると、点滅輝点が強調されてしまう。上限ＩＳＯ感度を制限すると、動画の各フレーム画像は全体的に暗くなってしまう。露光時間を長くすると、フレームレートが低下し、ライブビュー画面表示が遅くなる。
【０００３】
特許文献１に開示されている欠陥画素補正装置においては、現フレームと、時間的に連続している遅延フレームとがフレームメモリに格納され、それらのフレームにおいて対応する画素の出力が比較される。比較された結果、現フレーム中のある画素の出力が異常出力であると判断された場合に、遅延フレーム内の正常画素の出力と入れ換わる。現フレーム中のある画素の出力が正常と判断された場合は、その画素出力がそのまま出力される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−３１１８３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示されている欠陥画素補正装置を動画を撮影可能な撮像装置に適用すると、動画記録用記憶装置とは別に、フレームレートに追従した高速な書き込み処理および読み出し処理が可能なフレームメモリが必要となるため、回路規模とコストとが増大する。
【課題を解決するための手段】
【０００６】
（１）本発明による撮像装置は、被写体が撮影される動画を構成する第１フレーム画像と第１フレーム画像よりも後の第２フレーム画像との各フレーム画像を、複数の画素信号のうちの近傍の画素信号どうしの加算値に基づいて生成する加算モードと、近傍の画素信号どうしの加算値に基づかずに複数の画素信号に基づいて生成する非加算モードとのうちのいずれか１つのモードに応じて生成するフレーム画像生成手段と、フレーム画像生成手段によって第１フレーム画像が生成される際に用いられる複数の画素信号に基づき、被写体の輝度に関する輝度情報を取得する輝度情報取得手段と、第２フレーム画像が生成される際のいずれか１つのモードを、輝度情報に基づいて決定するモード決定手段とを備えることを特徴とする。
（２）本発明による撮像処理プログラムは、被写体が撮影される動画を構成する複数のフレーム画像のうちの第１フレーム画像が生成される際に用いられる複数の画素信号に基づき、被写体の輝度に関する輝度情報を取得する輝度情報取得処理と、複数のフレーム画像のうちの第１フレーム画像よりも後の第２フレーム画像が、複数の画素信号のうちの近傍の画素信号どうしの加算値に基づいて生成される加算モードと、第２フレーム画像が、加算値に基づかずに複数の画素信号に基づいて生成される非加算モードとのうちのいずれか１つのモードを、輝度情報に基づいて決定するモード決定処理と、いずれか１つのモードに応じて、第２フレーム画像を生成するフレーム画像生成処理とを、コンピュータに実行させることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、従来の撮像装置の回路規模を増大させることなく、撮影された動画に現れる点滅輝点の輝度レベルを軽減することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施の形態における撮像装置の構成を示す図である。
【図２】本発明の一実施の形態における撮像処理を示すフローチャートである。
【図３】輝度情報に基づいて画素加算モードＭ１と全画素出力非加算モードＭ０とのうちのいずれか１つのモードを決定するモード決定処理の一例を説明するための図である。
【図４】輝度レベルに基づいて決定される画素加算モードＭ１における画素加算処理例を示す図である。
【図５】さらに２種類の画素加算モードＭ１が追加された変形例（１）における画素加算処理例を示す図である。
【図６】変形例（２）における撮像装置の構成を示す図である。
【図７】変形例（２）における撮像処理を示すフローチャートである。
【図８】変形例（２）におけるモード決定処理を説明するための図である。
【図９】変形例（３）における、フレーム画像中で輝点が占める割合に応じた輝度レベルに基づいて行われるモード決定処理を説明するための図である。
【図１０】変形例（４）における撮像装置の構成を示す図である。
【図１１】変形例（４）における撮像処理を示すフローチャートである。
【図１２】本発明による撮像装置が撮像処理を実行するためのコンピュータプログラム製品の提供形態を示す図である。
【発明を実施するための形態】
【０００９】
図１は、本発明の一実施の形態における撮像装置１００の構成を示す図である。撮像装置１００は、制御装置１１０と撮像素子１２０と表示装置１３０と記憶装置１４０とを有する。撮像素子１２０には、不図示の光学系を介して被写体から到来する被写体光を受光して画素信号を出力する複数の画素が２次元的に配置されている。撮像素子１２０に配置される複数の画素は、例えばＢａｙｅｒ配列に従って配置される複数のＧ（緑）画素、複数のＲ（赤）画素および複数のＢ（青）画素を含む。複数のＧ画素は、被写体光のＧ（緑色）成分を受光してＧ成分の画素信号を出力する。複数のＲ画素は、被写体光のＲ（赤色）成分を受光してＲ成分の画素信号を出力する。複数のＢ画素は、被写体光のＢ（青色）成分を受光してＢ成分の画素信号を出力する。
【００１０】
制御装置１１０は、撮像処理プログラムを実行するコンピュータである。制御装置１１０は、その撮像処理プログラムを実行することによって、図２にフローチャートで示す撮像処理を行う。画素信号出力制御部１１１０、画素信号取得部１１２０、輝度情報取得部１１３０、モード決定部１１４０、およびフレーム画像生成部１１５０を機能的に有する。画素信号出力制御部１１１０、画素信号取得部１１２０、輝度情報取得部１１３０、モード決定部１１４０、およびフレーム画像生成部１１５０は、それぞれ、後述する図２に示す撮像処理のステップに対応する。
【００１１】
その後述する図２に示す撮像処理を通じて生成された複数のフレーム画像は、その複数のフレーム画像を生成したフレーム画像生成部１１５０によって、動画として表示装置１３０に表示される。撮影者等による不図示の操作部材を介した記録指示が制御装置１１０に入力された場合には、その複数のフレーム画像は、フレーム画像生成部１１５０によって、動画として記憶装置１４０に記録される。
【００１２】
図２は、本発明の一実施の形態における撮像処理を示すフローチャートであり、この撮像処理は制御装置１１０が予め記憶しているコンピュータプログラムを実行することによって行われる。この撮像処理によって、複数のフレーム画像が所定のフレームレートで時系列的に生成される。このようにして生成された時系列的な複数のフレーム画像が、被写体が撮影される動画を構成する。すなわち、その被写体の動画が撮影される。
【００１３】
この撮像処理が開始されると、ステップＳ２１０において、制御装置１１０内の画素信号取得部１１２０は、撮像素子１２０から画素信号を取得する。その取得される画素信号は、後述するステップＳ２５０で行われるフレーム画像生成に用いられる画素信号であり、後述するステップＳ２４０で行われる撮像素子制御に従って撮像素子１２０が出力する加算されていない画素信号または加算された画素信号である。
【００１４】
ステップＳ２１０における処理が終了すると、ステップＳ２２０、Ｓ２３０およびＳ２４０における処理と、ステップＳ２５０における処理とが並列に行われる。
【００１５】
ステップＳ２２０において、制御装置１１０内の輝度情報取得部１１３０は、ステップＳ２１０で取得された画素信号に基づいて、被写体の輝度情報を取得する。輝度情報取得部１１３０は、ステップＳ２１０で取得された画素信号すべてを用いて、あるいは主要被写体像が結像されていることが推定される領域付近の画素信号を用いて、公知の輝度情報演算処理により輝度情報を取得する。
【００１６】
ステップＳ２３０において、制御装置１１０内のモード決定部１１４０は、後続のフレーム画像が生成される際の、後述する画素加算モードＭ１と全画素出力非加算モードＭ０とのうちのいずれか１つのモードを、ステップＳ２２０で取得された輝度情報に基づいて決定する。モード決定部１１４０は、図４を用いて後述するように、輝度が所定の輝度レベル以下のときには画素加算モードＭ１を決定し、輝度が所定の輝度レベルよりも大きいときには全画素出力非加算モードＭ０を決定する。
【００１７】
ステップＳ２４０において、制御装置１１０内の画素信号出力制御部１１１０は、ステップＳ２３０で決定されたモードに応じた後続のフレーム画像生成に用いられる複数の画素信号が撮像素子１２０によって出力されるように、撮像素子１２０を制御する。この画素信号出力制御部１１１０による撮像素子制御に従って、撮像素子１２０は、後続のフレーム画像生成に用いられる複数の画素信号として、加算されていない画素信号または加算された画素信号を、画素信号取得部１１２０へ出力する。
【００１８】
ステップＳ２５０において、制御装置１１０内のフレーム画像生成部１１５０は、ステップＳ２１０で取得された画素信号に基づいてフレーム画像を生成する。画素加算モードＭ１において、ステップＳ２１０で取得された画素信号は、撮像素子１２０に配置された複数の画素の画素信号のうちの近傍の画素信号どうしが加算された加算値として撮像素子１２０から出力される画素信号である。画素加算モードＭ１において、フレーム画像生成部１１５０は、その加算値に基づいてフレーム画像を生成する。全画素出力非加算モードＭ０において、ステップＳ２１０で取得された画素信号は、撮像素子１２０に配置された複数の画素の画素信号のうちの近傍の画素信号どうしが加算されずに撮像素子１２０から出力される画素信号である。全画素出力非加算モードＭ０において、フレーム画像生成部１１５０は、近傍の画素信号どうしの加算値に基づかずに撮像素子１２０から出力される複数の画素信号に基づいてフレーム画像を生成する。このようにして生成されたフレーム画像が、フレーム画像生成部１１５０によって、次々と表示装置１３０に表示される。
【００１９】
ステップＳ２６０において、制御装置１１０は、動画撮影終了が指示されたか否かを判定する。例えば撮影者によって不図示の操作部材を介して動画撮影終了が指示されるまでは否定判定されて、本撮像処理はステップＳ２１０に戻る。動画撮影終了が指示されると、肯定判定されて、本撮像処理はステップＳ２７０およびＳ２８０へ進み、最終フレーム画像が生成される。
【００２０】
ステップＳ２７０において、制御装置１１０内の画素信号取得部１１２０は、撮像素子１２０から画素信号を取得する。その取得される画素信号は、ステップＳ２４０で行われた撮像素子制御に従って撮像素子１２０が出力した加算されていない画素信号または加算された画素信号である。
【００２１】
ステップＳ２８０において、制御装置１１０内のフレーム画像生成部１１５０は、ステップＳ２７０で取得された画素信号に基づいて最終フレーム画像を生成する。画素加算モードＭ１において、フレーム画像生成部１１５０は、撮像素子１２０に配置された複数の画素の画素信号のうちの近傍の画素信号どうしが加算された加算値に基づいて最終フレーム画像を生成する。全画素出力非加算モードＭ０において、フレーム画像生成部１１５０は、近傍の画素信号どうしの加算値に基づかずに撮像素子１２０から出力される複数の画素信号に基づいて最終フレーム画像を生成する。ステップＳ２８０における処理が終了すると、本撮像処理は終了する。このようにして生成された複数のフレーム画像で構成される動画が、フレーム画像生成部１１５０によって、動画として記憶装置１４０に記録される。
【００２２】
図３は、図２のステップＳ２３０において、輝度情報に基づいて画素加算モードＭ１と全画素出力非加算モードＭ０とのうちのいずれか１つのモードを、制御装置１１０内のモード決定部１１４０が決定するモード決定処理の一例を説明するための図である。図３に示す例では、動画撮影開始から終了までにフレーム画像（ｉ）、（ｉｉ）、（ｉｉｉ）および（ｉｖ）の順に４枚のフレーム画像が所定のフレームレートで生成されている。
【００２３】
動画撮影開始指示が制御装置１１０に入力されてから所定時間経過後に撮像素子１２０から出力される最初のフレーム画像（ｉ）生成用画素信号は、加算されていない画素信号である。この最初のフレーム画像（ｉ）生成用画素信号に基づいて、フレーム画像生成部１１５０によって全画素出力非加算モードＭ０でフレーム画像（ｉ）が生成される間に輝度情報取得部１１３０によって取得された輝度情報に応じて、モード決定部１１４０によるモード決定が行われる。そのモード決定で画素加算モードＭ１が決定されると、画素信号出力制御部１１１０による撮像素子制御に従って撮像素子１２０から次に出力されるフレーム画像（ｉｉ）生成用画素信号は、加算された画素信号である。
【００２４】
このフレーム画像（ｉｉ）生成用画素信号に基づいて、フレーム画像生成部１１５０によって画素加算モードＭ１でフレーム画像（ｉｉ）が生成される間に輝度情報取得部１１３０によって取得された輝度情報に応じて、モード決定部１１４０によるモード決定が行われる。被写体輝度が変化せず、そのモード決定で画素加算モードＭ１が決定されると、画素信号出力制御部１１１０による撮像素子制御に従って撮像素子１２０から次に出力されるフレーム画像（ｉｉｉ）生成用画素信号は、加算された画素信号である。
【００２５】
このフレーム画像（ｉｉｉ）生成用画素信号に基づいて、フレーム画像生成部１１５０によって画素加算モードＭ１でフレーム画像（ｉｉｉ）が生成される間に輝度情報取得部１１３０によって取得された輝度情報に応じて、モード決定部１１４０によるモード決定が行われる。被写体輝度が変化し、そのモード決定で全画素出力非加算モードＭ０が決定されると、画素信号出力制御部１１１０による撮像素子制御に従って撮像素子１２０から次に出力されるフレーム画像（ｉｖ）生成用画素信号は、加算されていない画素信号である。
【００２６】
このフレーム画像（ｉｖ）生成用画素信号に基づいて、フレーム画像生成部１１５０によって画素加算モードＭ１で最後のフレーム画像（ｉｖ）が生成される。撮像素子１２０からフレーム画像（ｉｖ）生成用画素信号が出力される前に動画撮影終了指示が制御装置１１０に入力されているため、フレーム画像生成部１１５０によって画素加算モードＭ１でフレーム画像（ｉｖ）が生成される間の、輝度情報取得部１１３０による輝度情報取得処理は行われないこととしてもよい。
【００２７】
図４は、輝度レベルに基づいて決定される画素加算モードＭ１における画素加算処理例を示す図である。図４（ａ）に示すように、輝度情報取得部１１３０によって取得された輝度情報が示す輝度が所定の輝度レベルＩ１よりも大きいとき、モード決定部１１４０は全画素出力非加算モードＭ０を決定し、輝度が所定の輝度レベルＩ１以下のとき、モード決定部１１４０は画素加算モードＭ１を決定する。全画素出力非加算モードＭ０が決定されるのは明るいシーンが撮影されたときに限られ、暗いシーンが撮影されたときは画素加算モードＭ１が決定される。暗いシーンが撮影されたことによりフレーム画像全体の輝度が暗いときにおいて例えばある画素にＲＴＳノイズ等による輝点が現れたとしても、画素加算モードＭ１では全画素出力非加算モードＭ０に比べて、そのＲＴＳノイズ等による輝点の輝度レベルを軽減することができる。これについて、図４（ｂ）および（ｃ）を用いて説明する。
【００２８】
図４（ｂ）に示す画素加算モードＭ１は、撮像素子１２０に複数のＧ画素、複数のＲ画素および複数のＢ画素がＢａｙｅｒ配列に従って配置される場合における水平２画素、垂直２画素加算の例である。全画素出力非加算モードＭ０の場合、撮像素子１２０は、複数のＧ画素、複数のＲ画素および複数のＢ画素の各画素が出力する画素信号を、加算することなくそのまま出力する。例えば、一番上の水平ラインにおいて、左から右へＲ画素とＧ画素とが交互に配列されているとすると、左から順に画素信号Ｒ１１、Ｇｒ１１、Ｒ２１およびＧｒ２１が出力される。なお、画素信号ＲはＲ画素が出力する画素信号を表し、画素信号Ｇｒは、Ｒ画素とＧ画素とが交互に配列されている水平ラインにおけるＧ画素が出力する画素信号を表す。その次の水平ラインにおいて、左から右へＧｂ画素とＢ画素とが交互に配列されているとすると、左から順に画素信号Ｇｂ１１、Ｂ１１、Ｇｂ２１およびＢ２１が出力される。なお、画素信号ＢはＢ画素が出力する画素信号を表し、画素信号Ｇｂは、Ｇ画素とＢ画素とが交互に配列されている水平ラインにおけるＧ画素が出力する画素信号を表す。同様に、その次の水平ラインにおいても、左から順に画素信号Ｒ１２、Ｇｒ１２、Ｒ２２およびＧｒ２２が出力され、一番下の水平ラインにおいても、左から順に画素信号Ｇｂ１２、Ｂ１２、Ｇｂ２２およびＢ２２が出力される。
【００２９】
画素加算モードＭ１においては、撮像素子１２０は、画素信号出力制御部１１１０による撮像素子制御に従って、図４（ｂ）に示すように近傍の画素信号どうしを加算して加算画素数で平均することによって、下式（１）〜（４）に対応する加算平均値を出力する。すなわち、Ｒ成分の画素信号Ｒ１１を基準として水平方向および垂直方向に同色の２画素信号ずつの２＊２の加算対象範囲ＡＲ１内に含まれる合計４つのＲ成分の画素信号Ｒ１１、Ｒ２１、Ｒ１２およびＲ２２が加算され、平均される。Ｇ成分の画素信号Ｇｒ１１を基準として水平方向および垂直方向に同色の２画素信号ずつの２＊２の加算対象範囲ＡＧｒ１内に含まれる合計４つのＧｒ成分の画素信号Ｇｒ１１、Ｇｒ２１、Ｇｒ１２およびＧｒ２２が加算され、平均される。Ｇ成分の画素信号Ｇｂ１１を基準として水平方向および垂直方向に同色の２画素信号ずつの２＊２の加算対象範囲ＡＧｂ１内に含まれる合計４つのＧｂ成分の画素信号Ｇｂ１１、Ｇｂ２１、Ｇｂ１２およびＧｂ２２が加算され、平均される。Ｂ成分の画素信号Ｂ１１を基準として水平方向および垂直方向に同色の２画素信号ずつの２＊２の加算対象範囲ＡＢ１内に含まれる合計４つのＢ成分の画素信号Ｂ１１、Ｂ２１、Ｂ１２およびＢ２２が加算され、平均される。
Ｒ＝（Ｒ１１＋Ｒ２１＋Ｒ１２＋Ｒ２２）／（２＊２）             （１）
Ｇｒ＝（Ｇｒ１１＋Ｇｒ２１＋Ｇｒ１２＋Ｇｒ２２）／（２＊２）   （２）
Ｇｂ＝（Ｇｂ１１＋Ｇｂ２１＋Ｇｂ１２＋Ｇｂ２２）／（２＊２）   （３）
Ｂ＝（Ｂ１１＋Ｂ２１＋Ｂ１２＋Ｂ２２）／（２＊２）             （４）
【００３０】
図４（ｂ）に示す画素加算モードＭ１によって、ＲＴＳノイズ等による輝点の輝度レベルが軽減される一例を、図４（ｃ）を用いて説明する。図４（ｂ）における画素信号Ｒ１１、Ｇｒ１１、Ｇｂ１１およびＢ１１を出力する４画素にＲＴＳノイズ等による輝点が現れたとする。全画素出力非加算モードＭ０の場合、上述したように近傍の画素信号どうしを加算することなくそのまま撮像素子１２０によって出力される画素信号Ｒ１１、Ｇｒ１１、Ｇｂ１１およびＢ１１はいずれも輝度レベル２，０００であり、その他の画素信号はいずれも輝度レベル０である。このようにして出力される複数の画素信号に基づき、近傍の画素信号どうしの加算平均値に基づかずに、フレーム画像生成部１１５０によってフレーム画像が生成される。画素加算モードＭ１においては、撮像素子１２０は、上述したように近傍の画素信号どうし、すなわち加算対象範囲ＡＲ１、ＡＧｒ１、ＡＧｂ１およびＡＢ１のそれぞれの範囲内の画素信号どうしを加算して加算画素数で平均することによって、上式（１）〜（４）に対応する加算平均値、すなわちＲ＝Ｇｒ＝Ｇｂ＝Ｂ＝５００を出力する。このようにして出力された加算平均値に基づきフレーム画像生成部１１５０によって生成されるフレーム画像において、ＲＴＳノイズ等による輝点の輝度レベルは２，０００から５００に、すなわち全画素出力非加算モードＭ０のときの輝度レベルの１／４に軽減される。
【００３１】
本実施の形態における撮像装置１００は、フレーム画像生成部１１５０と、輝度情報取得部１１３０と、モード決定部１１４０とを有する。フレーム画像生成部１１５０は、ステップＳ２５０において、被写体が撮影される動画を構成するフレーム画像（ｉ）と、フレーム画像（ｉ）よりも後のフレーム画像（ｉｉ）と、フレーム画像（ｉｉ）よりも後のフレーム画像（ｉｉｉ）と、フレーム画像（ｉｉｉ）よりも後のフレーム画像（ｉｖ）との各フレーム画像を、複数のＧ成分、Ｒ成分およびＢ成分の画素信号のうちの近傍の画素信号どうしの加算値に基づいて生成する画素加算モードＭ１と、近傍の画素信号どうしの加算値に基づかずに複数のＧ成分、Ｒ成分およびＢ成分の画素信号に基づいて生成する全画素出力非加算モードＭ０とのうちのいずれか１つのモードに応じて生成する。輝度情報取得部１１３０は、ステップＳ２２０において、フレーム画像生成部１１５０によってフレーム画像（ｉ）、（ｉｉ）および（ｉｉｉ）が生成される際に用いられる複数のＧ成分、Ｒ成分およびＢ成分の画素信号に基づき、被写体の輝度に関する輝度情報を取得する。モード決定部１１４０は、ステップＳ２３０において、フレーム画像（ｉｉ）が生成される際の画素加算モードＭ１と、フレーム画像（ｉｉｉ）が生成される際の画素加算モードＭ１と、フレーム画像（ｉｖ）が生成される際の全画素出力非加算モードＭ０とを、それぞれ、フレーム画像（ｉ）、（ｉｉ）および（ｉｉｉ）の輝度情報に基づいて決定する。これにより、従来の撮像装置の回路規模を増大させることなく、撮影された動画に現れるＲＴＳノイズ等による点滅輝点の輝度レベルを軽減することができる。
【００３２】
例えばある画素にＲＴＳノイズ等による輝点が現れると、フレーム画像全体の輝度が暗い場合に特に目立つ。本実施の形態における撮像装置１００において、モード決定部１１４０は、ステップＳ２３０において、輝度が所定の輝度レベルＩ１よりも大きいとき、全画素出力非加算モードＭ０を決定し、輝度が所定の輝度レベルＩ１以下のとき、画素加算モードＭ１を決定する。これにより、フレーム画像全体の輝度が所定の輝度レベルＩ１以下で暗いときにおいてのみ、画素加算モードＭ１が決定され、撮影された動画に現れるＲＴＳノイズ等による点滅輝点の輝度レベルを軽減することができる。一方、輝度が所定の輝度レベルＩ１よりも大きいときにおいては、点滅輝点の輝度レベルを軽減する必要性が低いため、画素加算モードＭ１が決定されなくても問題とならず、全画素出力非加算モードＭ０が決定されることにより、動画の解像度が維持される。
【００３３】
本実施の形態における撮像装置１００は、画素信号出力制御部１１１０をさらに有する。画素信号出力制御部１１１０は、画素加算モードＭ１では、撮像素子１２０に近傍の画素信号どうしを加算させて加算画素数で平均することによって得られる加算平均値を出力させるとともに、全画素出力非加算モードＭ０では、撮像素子１２０に加算平均値を出力させずに複数のＧ成分、Ｒ成分およびＢ成分の画素信号を出力させるように、撮像素子１２０を制御する。フレーム画像生成部１１５０は、画素加算モードＭ１では、画素信号出力制御部１１１０が撮像素子１２０に出力させた加算平均値に基づいて各フレーム画像を生成し、全画素出力非加算モードＭ０では、画素信号出力制御部１１１０が撮像素子１２０に出力させた複数のＧ成分、Ｒ成分およびＢ成分の画素信号に基づいて各フレーム画像を生成する。加算平均値を出力することが可能な従来の撮像素子を撮像装置１００の撮像素子１２０として用いることができるので、本発明の適用によって従来の撮像装置よりも回路規模が増大することを抑制できる。
【００３４】
上述した一実施の形態における撮像装置１００を以下のように変形してもよい。
（１）上述した実施の形態における撮像装置１００においては、図４に示すような画素加算モードＭ１を用いて画素加算処理が行われるが、他の画素加算モードＭ１を併用してもよい。図５は、さらに２種類の画素加算モードＭ１が追加された画素加算処理例を示す図である。図５（ａ）に示すように、輝度情報取得部１１３０によって取得された輝度情報が示す輝度が所定の輝度レベルＩ１以下であってかつ所定の輝度レベルＩ２よりも大きいとき、モード決定部１１４０によって決定される画素加算モードＭ１に加え、さらに２種類の画素加算モード、すなわち拡大された画素加算モードＭ２およびさらに拡大された画素加算モードＭ３が用いられる。
【００３５】
画素加算モードＭ１においては、近傍の画素信号どうしの加算として加算対象範囲ＡＲ１、ＡＧｒ１、ＡＧｂ１およびＡＢ１内のそれぞれに含まれる複数のＲ成分、Ｇ成分およびＢ成分の画素信号がそれぞれ加算される。加算対象範囲ＡＲ１、ＡＧｒ１、ＡＧｂ１およびＡＢ１は、いずれも、上述したように基準画素信号から水平方向および垂直方向に同色の２画素信号ずつの２＊２の範囲である。
【００３６】
拡大された画素加算モードＭ２においては、近傍の画素信号どうしの加算として加算対象範囲ＡＲ１、ＡＧｒ１、ＡＧｂ１およびＡＢ１よりもそれぞれ加算画素数が多い加算対象範囲ＡＲ２、ＡＧｒ２、ＡＧｂ２およびＡＢ２内のそれぞれに含まれる複数のＲ成分、Ｇ成分およびＢ成分の画素信号が加算される。加算対象範囲ＡＲ２、ＡＧｒ２、ＡＧｂ２およびＡＢ２は、例えば、基準画素信号から水平方向に同色の３画素信号および垂直方向に同色の２画素信号の３＊２の範囲である。
【００３７】
拡大された画素加算モードＭ２においては、撮像素子１２０は、画素信号出力制御部１１１０による撮像素子制御に従って、図５（ｂ）に示すように近傍の画素信号どうしを加算して加算画素数で平均することによって、下式（５）〜（８）に対応する加算平均値を出力する。すなわち、Ｒ成分の画素信号Ｒ１１を基準として水平方向に同色の３画素信号および垂直方向に同色の２画素信号の３＊２の加算対象範囲ＡＲ２内に含まれる合計６つのＲ成分の画素信号Ｒ１１、Ｒ２１、Ｒ３１、Ｒ１２、Ｒ２２およびＲ３２が加算され、平均される。Ｇ成分の画素信号Ｇｒ１１を基準として水平方向に同色の３画素信号および垂直方向に同色の２画素信号の３＊２の加算対象範囲ＡＧｒ２内に含まれる合計６つのＧｒ成分の画素信号Ｇｒ１１、Ｇｒ２１、Ｇｒ３１、Ｇｒ１２、Ｇｒ２２およびＧｒ３２が加算され、平均される。Ｇ成分の画素信号Ｇｂ１１を基準として水平方向に同色の３画素信号および垂直方向に同色の２画素信号の３＊２の加算対象範囲ＡＧｂ２内に含まれる合計６つのＧｂ成分の画素信号Ｇｂ１１、Ｇｂ２１、Ｇｂ３１、Ｇｂ１２、Ｇｂ２２およびＧｂ３２が加算され、平均される。Ｂ成分の画素信号Ｂ１１を基準として水平方向に同色の３画素信号および垂直方向に同色の２画素信号の３＊２の加算対象範囲ＡＢ２内に含まれる合計６つのＢ成分の画素信号Ｂ１１、Ｂ２１、Ｂ３１、Ｂ１２、Ｂ２２およびＢ３２が加算され、平均される。
Ｒ＝（Ｒ１１＋Ｒ２１＋Ｒ３１＋Ｒ１２＋Ｒ２２＋Ｒ３２）／（３＊２）      （５）
Ｇｒ＝（Ｇｒ１１＋Ｇｒ２１＋Ｇｒ３１＋Ｇｒ１２＋Ｇｒ２２＋Ｇｒ３２）／（３＊２）
（６）
Ｇｂ＝（Ｇｂ１１＋Ｇｂ２１＋Ｇｂ３１＋Ｇｂ１２＋Ｇｂ２２＋Ｇｂ３２）／（３＊２）
（７）
Ｂ＝（Ｂ１１＋Ｂ２１＋Ｂ３１＋Ｂ１２＋Ｂ２２＋Ｂ３２）／（３＊２）      （８）
【００３８】
さらに拡大された画素加算モードＭ３においては、近傍の画素信号どうしの加算として加算対象範囲ＡＲ２、ＡＧｒ２、ＡＧｂ２およびＡＢ２よりもそれぞれ加算画素数が多い加算対象範囲ＡＲ３、ＡＧｒ３、ＡＧｂ３およびＡＢ３内のそれぞれに含まれる複数のＲ成分、Ｇ成分およびＢ成分の画素信号が加算される。加算対象範囲ＡＲ３、ＡＧｒ３、ＡＧｂ３およびＡＢ３は、例えば、基準画素信号から水平方向および垂直方向に同色の３画素信号ずつの３＊３の範囲である。
【００３９】
さらに拡大された画素加算モードＭ３においては、撮像素子１２０は、画素信号出力制御部１１１０による撮像素子制御に従って、図５（ｃ）に示すように近傍の画素信号どうしを加算して加算画素数で平均することによって、下式（９）〜（１２）に対応する加算平均値を出力する。すなわち、Ｒ成分の画素信号Ｒ１１を基準として水平方向および垂直方向に同色の３画素信号ずつの３＊３の加算対象範囲ＡＲ３内に含まれる合計９つのＲ成分の画素信号Ｒ１１、Ｒ２１、Ｒ３１、Ｒ１２、Ｒ２２、Ｒ３２、Ｒ１３、Ｒ２３およびＲ３３が加算され、平均される。Ｇ成分の画素信号Ｇｒ１１を基準として水平方向および垂直方向に同色の３画素信号ずつの３＊３の加算対象範囲ＡＧｒ３内に含まれる合計９つのＧｒ成分の画素信号Ｇｒ１１、Ｇｒ２１、Ｇｒ３１、Ｇｒ１２、Ｇｒ２２、Ｇｒ３２、Ｇｒ１３、Ｇｒ２３およびＧｒ３３が加算され、平均される。Ｇ成分の画素信号Ｇｂ１１を基準として水平方向および垂直方向に同色の３画素信号ずつの３＊３の加算対象範囲ＡＧｂ３内に含まれる合計９つのＧｂ成分の画素信号Ｇｂ１１、Ｇｂ２１、Ｇｂ３１、Ｇｂ１２、Ｇｂ２２、Ｇｂ３２、Ｇｂ１３、Ｇｂ２３およびＧｂ３３が加算され、平均される。Ｂ成分の画素信号Ｂ１１を基準として水平方向および垂直方向に同色の３画素信号ずつの３＊３の加算対象範囲ＡＢ３内に含まれる合計９つのＢ成分の画素信号Ｂ１１、Ｂ２１、Ｂ３１、Ｂ１２、Ｂ２２、Ｂ３２、Ｂ１３、Ｂ２３およびＢ３３が加算され、平均される。
Ｒ＝（Ｒ１１＋Ｒ２１＋Ｒ３１＋Ｒ１２＋Ｒ２２＋Ｒ３２＋Ｒ１３＋Ｒ２３＋Ｒ３３）／（３＊３）                                        （９）
Ｇｒ＝（Ｇｒ１１＋Ｇｒ２１＋Ｇｒ３１＋Ｇｒ１２＋Ｇｒ２２＋Ｇｒ３２＋Ｇｒ１３＋Ｇｒ２３＋Ｇｒ３３）／（３＊３）                    （１０）
Ｇｂ＝（Ｇｂ１１＋Ｇｂ２１＋Ｇｂ３１＋Ｇｂ１２＋Ｇｂ２２＋Ｇｂ３２＋Ｇｂ１３＋Ｇｂ２３＋Ｇｂ３３）／（３＊３）                    （１１）
Ｂ＝（Ｂ１１＋Ｂ２１＋Ｂ３１＋Ｂ１２＋Ｂ２２＋Ｂ３２＋Ｂ１３＋Ｂ２３＋Ｂ３３）／（３＊３）                                        （１２）
【００４０】
輝度情報取得部１１３０によって取得された輝度情報が示す輝度が所定の輝度レベルＩ２以下であってかつ所定の輝度レベルＩ３よりも大きいとき、モード決定部１１４０は拡大された画素加算モードＭ２を決定する。輝度情報取得部１１３０によって取得された輝度情報が示す輝度が所定の輝度レベルＩ３以下のときには、モード決定部１１４０はさらに拡大された画素加算モードＭ３を決定する。
【００４１】
輝度情報取得部１１３０によって取得された輝度情報が示す輝度が小さくなるほど、フレーム画像全体が暗くなるので、もし全画素出力非加算モードであれば、例えばある画素にＲＴＳノイズ等による輝点が現れると、そのような輝点は特に目立つ。しかし、この場合、加算対象範囲が広がり、かつ加算画素数が増加するように画素加算モードが決定されるため、撮影された動画に現れるＲＴＳノイズ等による点滅輝点の輝度レベルを適切に軽減することができる。
【００４２】
（２）上述した実施の形態における撮像装置１００においては、図２のステップＳ２３０において、輝度情報に基づいて画素加算モードＭ１と全画素出力非加算モードＭ０とのうちのいずれか１つのモードを、制御装置１１０内のモード決定部１１４０が決定する。しかし、モード決定部１１４０によるモード決定は、輝度情報に基づいて決定された撮影感度に基づいて行われることとしてもよい。図６は、図１に示した制御装置１１０がさらに撮影感度決定部１１３５を有するという撮像装置１００の変形例を示す図である。図２に示す撮像処理と同様の処理を行うステップに同一の符号が付された図７に示すように、ステップＳ２２５において、制御装置１１０内の撮影感度決定部１１３５は、輝度情報取得部１１３０によってステップＳ２２０で取得された輝度情報と、制御装置１１０が予め記憶しているプログラム線図とに基づいて、次のフレーム画像が生成される際に次のステップＳ２１０で取得される複数の画素信号が生成されるときの撮影感度およびその他の撮影条件を決定する。ステップＳ２３５においては、制御装置１１０内のモード決定部１１４０が、撮影感度決定部１１３５によって決定された撮影感度に基づいて、上述した実施の形態または変形例に記載のモード決定を行う。
【００４３】
従来、撮像装置においては、通常、暗いシーンが撮影される際には、輝度情報に応じたＡＥ制御によって撮影感度に対応するＩＳＯ感度がアップする方向に設定される。例えばＩＳＯ感度がＩＳＯ８００からＩＳＯ１６００へアップされた場合、輝度レベル１，０００の点滅輝点は２倍の輝度レベル２，０００にまで増幅されてしまい、目立つ輝点となってしまう。
【００４４】
図８は、本変形例の撮像装置１００におけるＩＳＯ感度に基づくモード決定処理を行うために参照されるＩＳＯ感度とモードとの対応関係を表すテーブルの一例を示す。このテーブルの例では、ＩＳＯ８００までは全画素出力非加算モードＭ０でフレーム画像が生成され、ＩＳＯ１６００以降は、画素加算モードＭ１、拡大された画素加算モードＭ２、またはさらに拡大された画素加算モードＭ３でフレーム画像が生成される。具体的には、ＩＳＯ１６００において、モード決定部１１４０は図８に示すテーブルを参照して画素加算モードＭ１を決定する。ＩＳＯ３２００およびＩＳＯ６４００において、モード決定部１１４０は図８に示すテーブルを参照して拡大された画素加算モードＭ２を決定する。ＩＳＯ１２８００において、モード決定部１１４０は図８に示すテーブルを参照してさらに拡大された画素加算モードＭ３を決定する。すなわち、高感度側に設定されるにしたがって画素加算数が増していく制御となっている。モード決定部１１４０がこのような制御をすることで、高感度設定時でも点滅輝点のレベル上昇を抑えることが可能となる。
【００４５】
（３）上述した実施の形態および変形例においては、輝度情報取得部１１３０によって取得された輝度情報が示す輝度が所定の輝度レベルＩ１以下になったとき、モード決定部１１４０によって決定されるモードを、全画素出力非加算モードＭ０から画素加算モードＭ１に切り換える。この切り換え閾値を、フレーム画像中で輝点が占める割合に応じて変更してもよい。図９は、本変形例における、フレーム画像中で輝点が占める割合に応じて変更される輝度レベル閾値に基づいて行われるモード決定処理を説明するための図である。例えば、フレーム画像中で輝点が占める割合が値Ｒを超過したときには、次のフレーム画像生成時のモード決定部１１４０によるモード決定に用いられる切り換え閾値が、所定の輝度レベルＩ１から所定の輝度レベルＩ１よりも大きい他の所定の輝度レベルＩ０に変更される。図９に示した例に限らず、所定値以上の輝度レベルの画素信号を有する輝点がフレーム画像中で占める割合が大きくなるほど、次のフレーム画像生成時のモード決定部１１４０によるモード決定に用いられる切り換え閾値が大きくなれば、他の例でもよい。これらにより、ＲＴＳノイズ等による点滅輝点が増加した場合はフレーム画像が比較的明るいシーンを撮影して得られている段階から画素加算モードが決定されるようになり、点滅輝点の輝度レベルの軽減を優先させることができる。
【００４６】
（４）上述した実施の形態および変形例においては、ステップＳ２１０で制御装置１１０内の画素信号取得部１１２０によって取得される画素信号は、ステップＳ２４０で行われる撮像素子制御に従って撮像素子１２０が出力する加算されていない画素信号または加算された画素信号である。しかし、撮像素子１２０は、加算されていない画素信号を出力し、加算された画素信号を出力しないこととしてもよい。その場合、図１０および図１１に示す変形例における撮像装置１００が用いられる。
【００４７】
図１０に示す撮像装置１００において、図１と同一の符号が付与された部材についての説明は省略する。図１０に示す撮像装置１００は、図１と比較すると、制御装置１１０内において、画素信号出力制御部１１１０が設けられていない一方、画素信号加算値算出部１１２５が設けられている。画素信号加算値算出部１１２５は、画素加算モードにおいて、画素信号取得部１１２０によって撮像素子１２０から取得された加算されていない複数の画素信号のうちの近傍の画素信号どうしを加算することによって加算値を算出する。このようにして、画素信号加算値算出部１１２５によって算出された加算値に基づいて、フレーム画像生成部１１５０は、画素加算モードに応じたフレーム画像を生成する。
【００４８】
図１１に示す本変形例の撮像装置１００における撮像処理において、図２と同一の符号が付与されたステップについての説明は省略する。図１１に示す撮像処理は、図２と比較すると、ステップＳ２４０における撮像素子制御処理が行われない一方、ステップＳ２１０およびＳ２７０における撮像素子からの画像信号取得処理の次に、それぞれ、ステップＳ２１４およびＳ２１６ならびにステップＳ２７４およびＳ２７６における画素加算モードでの画素信号加算値算出処理が行われている。
【００４９】
ステップＳ２１０において、制御装置１１０内の画素信号取得部１１２０は、撮像素子１２０によって出力される加算されていない複数の画素信号を取得する。ステップＳ２１４において、制御装置１１０は、画素加算モードが決定されているか否かを判定する。肯定判定の場合はステップＳ２１６を経て、否定判定の場合はステップＳ２１６を経ずに、本撮像処理はステップＳ２２０およびステップＳ２５０へ移る。
【００５０】
画素加算モードの場合、ステップＳ２１６において、画素信号加算値算出部１１２５は、ステップＳ２１０において、画素信号取得部１１２０によって撮像素子１２０から取得された加算されていない複数の画素信号のうちの近傍の画素信号どうしを加算することによって加算値を算出する。ここで算出された加算値を用いて、ステップＳ２２０における輝度情報取得部１１３０による輝度情報取得処理と、ステップＳ２５０におけるフレーム画像生成部１１５０によるフレーム画像生成処理とが行われる。
【００５１】
ステップＳ２７０において、制御装置１１０内の画素信号取得部１１２０は、撮像素子１２０によって出力される加算されていない複数の画素信号を取得する。ステップＳ２７４において、制御装置１１０は、画素加算モードが決定されているか否かを判定する。肯定判定の場合はステップＳ２７６を経て、否定判定の場合はステップＳ２７６を経ずに、本撮像処理はステップＳ２８０へ移る。
【００５２】
画素加算モードの場合、ステップＳ２７６において、画素信号加算値算出部１１２５は、ステップＳ２７０において、画素信号取得部１１２０によって撮像素子１２０から取得された加算されていない複数の画素信号のうちの近傍の画素信号どうしを加算することによって加算値を算出する。ここで算出された加算値を用いて、ステップＳ２８０におけるフレーム画像生成部１１５０による最終フレーム画像のフレーム画像生成処理が行われる。複数の画素信号を出力する従来の撮像素子を撮像装置１００の撮像素子１２０として用いることができるので、本発明の適用によって従来の撮像装置よりも回路規模が増大することを抑制できる。
【００５３】
（５）上述した実施の形態および変形例において、撮像素子１２０には、複数のＧ画素、Ｒ画素およびＢ画素がＢａｙｅｒ配列に従って配置されているが、他の種類の画素が他の種類の配列に従って配置されていてもよい。例えば、Ｇ（緑）画素と３種類の補色（Ｙｅ、Ｍｇ、Ｃｙ）画素とを含む複数の色画素が配列されてもよい。あるいは、複数の色画素がハニカム配列または稠密六方格子配列に従って配置されていてもよい。
【００５４】
（６）上述した実施の形態および変形例において、制御装置１１０内の輝度情報取得部１１３０は、撮像素子１２０から取得される複数の画素信号に基づいて、被写体の輝度情報を取得する。しかし、撮像装置１００内に撮像素子１２０とは別の撮像素子が設けられている場合、輝度情報取得部１１３０は、その撮像素子１２０とは別の撮像素子から取得される複数の画素信号に基づいて、被写体の輝度情報を取得してもよい。あるいは、撮像装置１００内に測光センサが設けられている場合、輝度情報取得部１１３０は、その測光センサから被写体の輝度情報を取得してもよい。
【００５５】
（７）上述した実施の形態および変形例において、フレーム画像（ｉ）の生成に用いられる複数の画素信号に基づいて、次のフレーム画像（ｉｉ）の生成の際のモードが決定される。しかし、フレーム画像（ｉ）の生成に用いられる複数の画素信号に基づいて決定されたモードは、フレーム画像（ｉｉ）よりも後の、例えばフレーム画像（ｉｖ）の生成の際のモードであってもよい。その場合、例えばフレーム画像（ｉｉ）および（ｉｉｉ）の生成に際しては、フレーム画像（ｉ）の生成の際のモードが適用される。
【００５６】
（８）撮像装置１００の制御装置１１０が上述の実施形態および変形例の各々における撮像処理を実行するためのコンピュータプログラム製品は、図１２に示されるように、プログラム記憶媒体２０００（例えばＣＤ−ＲＯＭ）や通信ネットワーク４０００（例えばインターネット）によって伝達されるデータ信号を通じてデータ処理装置１５００（例えばＰＣ）に提供される。撮像装置１００は、そのデータ処理装置１５００から通信を介して撮像処理プログラムを読み込む。
【００５７】
データ処理装置１５００は、プログラム記憶媒体２０００を介して撮像処理プログラムの提供を受ける。あるいは、以下の供給形態で撮像処理プログラムが提供されても良い。データ処理装置１５００は通信ネットワーク４０００との接続機能を有する。サーバー３０００は撮像処理プログラムを提供するコンピュータであり、ハードディスクなどの記憶媒体に撮像処理プログラムを格納する。サーバー３０００はハードディスクから読み出した撮像処理プログラムを、データ信号として搬送波に載せ、通信ネットワーク４０００を介してデータ処理装置１５００へ転送する。以上のように、撮像処理プログラムは、プログラム記憶媒体２０００や通信ネットワーク４０００を介するデータ信号としての提供を含む種々の形態のコンピュータプログラム製品によって供給されることが好ましい。
【００５８】
上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
【符号の説明】
【００５９】
１００  撮像装置、１１０  制御装置、１２０  撮像素子、
１３０  表示装置、１４０  記憶装置、
１１１０  画素信号出力制御部、１１２０  画素信号取得部、
１１２５  画素信号加算値算出部、  １１３０  輝度情報取得部、
１１３５  撮影感度決定部、１１４０  モード決定部、１１５０  フレーム画像生成部、
１５００  データ処理装置、２０００  プログラム記憶媒体、
３０００  サーバー、４０００  通信ネットワーク
【図１】
2015061260.tif 000003
【図２】
2015061260.tif 000004
【図３】
2015061260.tif 000005
【図４】
2015061260.tif 000006
【図５】
2015061260.tif 000007
【図６】
2015061260.tif 000008
【図７】
2015061260.tif 000009
【図８】
2015061260.tif 000010
【図９】
2015061260.tif 000011
【図１０】
2015061260.tif 000012
【図１１】
2015061260.tif 000013
【図１２】
2015061260.tif 000014