(57)【要約】【課題】本発明は、ＨＤＲ画像の生成処理に求められる速度および生成処理後のＨＤＲ画像に求められる解像度を判断して、適切な画像生成処理方法を選択する画像生成装置、その制御方法、プログラムおよび撮像装置を提供することを目的とする。【解決手段】画像生成装置は、元画像の画像データが入力される入力手段と、解像度情報を取得する取得手段と、複数の光電変換素子を用いて露光時間の異なる複数回の撮像を行うことによって得られた複数の元画像から目的画像を生成する方法と、第１群の光電変換素子を用いて撮像された第１の元画像と、第２群の光電変換素子を用いて、第１の元画像の露光時間とは異なる露光時間で、第１の元画像の撮像と並行して撮像された第２の元画像と、を含む複数の元画像から目的画像を生成する方法と、のうち、いずれか１つの方法を解像度情報に基づいて選択し、目的画像を生成する生成手段と、を備えることを特徴とする。【選択図】図４
2018139348.tif 000002
【特許請求の範囲】
【請求項１】
複数の光電変換素子を有する撮像素子によって撮像された元画像に基づいて、前記元画像よりもダイナミックレンジが広い目的画像を生成する画像生成装置であって、
前記元画像の画像データが入力される入力手段と、
前記目的画像に求められる解像度に関する解像度情報を取得する取得手段と、
前記複数の光電変換素子を用いて露光時間の異なる複数回の撮像を行うことによって得られた複数の元画像から前記目的画像を生成する第１の生成方法と、
前記複数の光電変換素子のうちの一部の素子からなる第１群の光電変換素子を用いて撮像された第１の元画像と、前記複数の光電変換素子のうちの前記第１群の光電変換素子とは異なる第２群の光電変換素子を用いて、前記第１の元画像の露光時間とは異なる露光時間で、前記第１の元画像の撮像と並行して撮像された第２の元画像と、を含む複数の元画像から前記目的画像を生成する第２の生成方法と、
のうち、いずれか１つの生成方法を前記解像度情報に基づいて選択し、前記選択された生成方法によって前記目的画像を生成する生成手段と、
を備えることを特徴とする画像生成装置。
【請求項２】
前記複数の光電変換素子は前記撮像素子において２次元的に配置され、
前記第１群の光電変換素子は、前記複数の光電変換素子のうち奇数ラインに対応する光電変換素子であり、
前記第２群の光電変換素子は、前記複数の光電変換素子のうち偶数ラインに対応する光電変換素子である
ことを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記解像度情報は、前記目的画像の出力先の機器に関する情報を含む
ことを特徴とする請求項１または２に記載の画像生成装置。
【請求項４】
前記生成手段は、
前記出力先の機器がレコーダである場合は、前記第１の生成方法を選択し、
前記出力先の機器がレコーダではない場合は、前記第２の生成方法を選択する
ことを特徴とする請求項３に記載の画像生成装置。
【請求項５】
前記解像度情報は、前記出力先の機器に設定される解像度に関する情報を含み、
前記生成手段は、
前記出力先の機器に設定される解像度が閾値よりも高い場合に、前記第１の生成方法を選択し、
前記出力先の機器に設定される解像度が前記閾値以下の場合に、前記第２の生成方法を選択する
ことを特徴とする請求項３に記載の画像生成装置。
【請求項６】
前記目的画像の画像データを出力する出力手段を備え、
前記取得手段は、前記出力手段のデータの転送速度を取得し、
前記生成手段は、
前記データの転送速度が閾値より高い場合に、前記第１の生成方法を選択し、
前記データの転送速度が前記閾値以下の場合に、前記第２の生成方法を選択する
ことを特徴とする請求項１または２に記載の画像生成装置。
【請求項７】
前記取得手段は、前記入力手段に入力される前記元画像のうちに、複数で１フレームを構成する画像が含まれているか否かを判定し、
前記生成手段は、
前記取得手段が、前記元画像のうちに複数で１フレームを構成する画像が含まれていると判定した場合に、前記第２の生成方法を選択し、
前記取得手段が、前記元画像のうちに複数で１フレームを構成する画像が含まれていないと判定した場合に、前記第１の生成方法を選択する
ことを特徴とする請求項１または２に記載の画像生成装置。
【請求項８】
高画質モードおよび通常モードを含む撮像モードの中から一つの撮像モードを設定する設定手段をさらに備え、
前記生成手段は、
前記設定手段によって高画質モードが設定された場合に、前記第１の生成方法または前記第２の生成方法のいずれかによって前記目的画像を生成し、
前記設定手段によって通常モードが設定された場合に、前記複数の光電変換素子を用いた１回の撮像によって前記目的画像よりもダイナミックレンジの狭い画像を生成する第３の生成方法によって画像を生成する
ことを特徴とする請求項１から７のいずれか１項に記載の画像生成装置。
【請求項９】
請求項１から８のいずれか１項に記載の画像生成装置と、前記撮像素子と、シャッターボタンと、を備え、
前記解像度情報は、前記シャッターボタンが押下されたか否かの情報を含み、
前記生成手段は、
前記シャッターボタンが押下された場合に、前記第１の生成方法を選択し、
前記シャッターボタンが押下されない場合に、前記第２の生成方法を選択する
ことを特徴とする撮像装置。
【請求項１０】
複数の光電変換素子を有する撮像素子によって撮像された元画像に基づいて、前記元画像よりもダイナミックレンジが広い目的画像を生成する画像生成装置の制御方法であって、
前記元画像の画像データが入力される入力ステップと、
前記目的画像に求められる解像度に関する解像度情報を取得する取得ステップと、
前記複数の光電変換素子を用いて露光時間の異なる複数回の撮像を行うことによって得られた複数の元画像から前記目的画像を生成する第１の生成方法と、
前記複数の光電変換素子のうちの一部の素子からなる第１群の光電変換素子を用いて撮像された第１の元画像と、前記複数の光電変換素子のうちの前記第１群の光電変換素子とは異なる第２群の光電変換素子を用いて、前記第１の元画像の露光時間とは異なる露光時間で、前記第１の元画像の撮像と並行して撮像された第２の元画像と、を含む複数の元画像から前記目的画像を生成する第２の生成方法と、
のうち、いずれか１つの生成方法を前記解像度情報に基づいて選択し、前記選択された生成方法によって前記目的画像を生成する生成ステップと、
を有することを特徴とする画像生成装置の制御方法。
【請求項１１】
前記複数の光電変換素子は前記撮像素子において２次元的に配置され、
前記第１群の光電変換素子は、前記複数の光電変換素子のうち奇数ラインに対応する光電変換素子であり、
前記第２群の光電変換素子は、前記複数の光電変換素子のうち偶数ラインに対応する光電変換素子である
ことを特徴とする請求項１０に記載の画像生成装置の制御方法。
【請求項１２】
前記解像度情報は、前記目的画像の出力先の機器に関する情報を含む
ことを特徴とする請求項１０または１１に記載の画像生成装置の制御方法。
【請求項１３】
前記生成ステップでは、
前記出力先の機器がレコーダである場合は、前記第１の生成方法が選択され、
前記出力先の機器がレコーダではない場合は、前記第２の生成方法が選択される
ことを特徴とする請求項１２に記載の画像生成装置の制御方法。
【請求項１４】
前記解像度情報は、前記出力先の機器に設定される解像度に関する情報を含み、
前記生成ステップでは、
前記出力先の機器に設定される解像度が閾値よりも高い場合に、前記第１の生成方法が選択され、
前記出力先の機器に設定される解像度が前記閾値以下の場合に、前記第２の生成方法が選択される
ことを特徴とする請求項１２に記載の画像生成装置の制御方法。
【請求項１５】
前記目的画像の画像データを出力する出力ステップを有し、
前記取得ステップでは、前記出力ステップにおけるデータの転送速度が取得され、
前記生成ステップでは、
前記データの転送速度が閾値より高い場合に、前記第１の生成方法が選択され、
前記データの転送速度が前記閾値以下の場合に、前記第２の生成方法が選択される
ことを特徴とする請求項１０または１１に記載の画像生成装置の制御方法。
【請求項１６】
前記取得ステップでは、前記入力ステップにおいて入力される前記元画像のうちに、複数で１フレームを構成する画像が含まれているか否かが判定され、
前記生成ステップでは、
前記取得ステップにおいて、前記元画像のうちに複数で１フレームを構成する画像が含まれていると判定された場合に、前記第２の生成方法が選択され、
前記取得ステップにおいて、前記元画像のうちに複数で１フレームを構成する画像が含まれていないと判定された場合に、前記第１の生成方法が選択される
ことを特徴とする請求項１０または１１に記載の画像生成装置の制御方法。
【請求項１７】
高画質モードおよび通常モードを含む撮像モードの中から一つの撮像モードを設定する設定ステップをさらに有し、
前記生成ステップでは、
前記設定ステップにおいて高画質モードが設定された場合に、前記第１の生成方法または前記第２の生成方法のいずれかによって前記目的画像が生成され、
前記設定ステップにおいて通常モードが設定された場合に、前記複数の光電変換素子を用いた１回の撮像によって前記目的画像よりもダイナミックレンジの狭い画像を生成する第３の生成方法によって画像が生成される
ことを特徴とする請求項１０から１６のいずれか１項に記載の画像生成装置の制御方法。
【請求項１８】
請求項１０から請求項１７のいずれか１項に記載の画像生成装置の制御方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像生成装置、その制御方法、プログラムおよび撮像装置に関する。
【背景技術】
【０００２】
比較的長い露光時間で撮像した画像と比較的短い露光時間で撮像した画像の少なくとも２つの画像を合成して、画像のダイナミックレンジを広げる技術がある。この技術によって生成された画像は、ハイダイナミックレンジ合成画像と呼ばれる（以後「ＨＤＲ画像」と呼ぶ）。ＨＤＲ画像を用いることで、露光時間の過剰や不足に起因する受光量の飽和や不足による白とびや黒つぶれという現象の発生を回避することができる。
【０００３】
従来から提案されている技術でＨＤＲ画像を生成するためには、同一画角で露光時間を変えて複数回の撮像をする必要がある。このためＨＤＲ画像を生成するには、比較的長い撮影時間が必要となる。しかし、一枚の画像を生成する間に、被写体が移動や撮影装置の振動などの要因により生成される画像に不良が現れることが少なくない。いわゆる手ぶれや被写体ぶれと呼ばれるものである。
【０００４】
この課題を解決するための技術が、特許文献１に開示されている。特許文献１では、固体撮像装置に、光感度特性の異なる２つの感光画素を１組とした感光画素が２次元配列される。そして、特許文献２に開示の技術は、２つの感光画素の、感度の飽和に要する時間の違いを利用してダイナミックレンジの拡大を図っている。この様な撮像装置を用いた場合、一度の撮影、比較的短時間でＨＤＲ画像を生成することが可能となる。また特許文献２で開示された技術では、撮影条件により操作者が画質優先モードと速度優先モードを切り替えている。そして、ＨＤＲ画像を生成する際に、速度優先モードの場合は、画質優先モードより少ない枚数でＨＤＲ画像を生成することにより、手ぶれや被写体ぶれを回避することが可能となる。一方で、デジタル画像処理の高速化により、静止画像に限らず動画像でＨＤＲ画像を生成することも可能な状況になってきている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平４−２９８１７５号公報
【特許文献２】特開２０１２−１７５２７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では、光感度特性の異なる２つの感光画素を組み合わせた撮像装置を用いることにより、一度の撮像でＨＤＲ画像を生成することが可能である。しかし、出来上がったＨＤＲ画像は、１組を構成する２つの感光画素を配置する方向の解像度が半分以下になる。このようにして生成されたＨＤＲ画像は、動画像としての解像度としては十分であるが、静止画像の解像度としては不足する可能性がある。また特許文献２では、操作者が画質または撮影速度のいずれかを優先する判断を行い、操作者の判断によりＨＤＲ撮影方法の切り替えが行われる。しかし、生成されるＨＤＲ画像の画質が、動画像に適したものか、静止画像に適したものかという判断は、操作者に委ねられている。このため操作者の技能によっては適切な判断ができずに、視認される画像の種類に応じた適切な画質のＨＤＲ画像が得られない可能性がある。そこで本発明は、ＨＤＲ画像の生成処理に求められる速度および生成処理後のＨＤＲ画像に求められる解像度を判断して、適切な画像生成処理方法を選択する画像生成装置、その制御方法、プログラムおよび撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様は、
複数の光電変換素子を有する撮像素子によって撮像された元画像に基づいて、前記元画像よりもダイナミックレンジが広い目的画像を生成する画像生成装置であって、
前記元画像の画像データが入力される入力手段と、
前記目的画像に求められる解像度に関する解像度情報を取得する取得手段と、
前記複数の光電変換素子を用いて露光時間の異なる複数回の撮像を行うことによって得られた複数の元画像から前記目的画像を生成する第１の生成方法と、
前記複数の光電変換素子のうちの一部の素子からなる第１群の光電変換素子を用いて撮像された第１の元画像と、前記複数の光電変換素子のうちの前記第１群の光電変換素子とは異なる第２群の光電変換素子を用いて、前記第１の元画像の露光時間とは異なる露光時間で、前記第１の元画像の撮像と並行して撮像された第２の元画像と、を含む複数の元画像から前記目的画像を生成する第２の生成方法と、
のうち、いずれか１つの生成方法を前記解像度情報に基づいて選択し、前記選択された生成方法によって前記目的画像を生成する生成手段と、
を備えることを特徴とする画像生成装置である。
【０００８】
本発明の第２の態様は、
複数の光電変換素子を有する撮像素子によって撮像された元画像に基づいて、前記元画像よりもダイナミックレンジが広い目的画像を生成する画像生成装置の制御方法であって、
前記元画像の画像データが入力される入力ステップと、
前記目的画像に求められる解像度に関する解像度情報を取得する取得ステップと、
前記複数の光電変換素子を用いて露光時間の異なる複数回の撮像を行うことによって得られた複数の元画像から前記目的画像を生成する第１の生成方法と、
前記複数の光電変換素子のうちの一部の素子からなる第１群の光電変換素子を用いて撮像された第１の元画像と、前記複数の光電変換素子のうちの前記第１群の光電変換素子とは異なる第２群の光電変換素子を用いて、前記第１の元画像の露光時間とは異なる露光時間で、前記第１の元画像の撮像と並行して撮像された第２の元画像と、を含む複数の元画像から前記目的画像を生成する第２の生成方法と、
のうち、いずれか１つの生成方法を前記解像度情報に基づいて選択し、前記選択された生成方法によって前記目的画像を生成する生成ステップと、
を有することを特徴とする画像生成装置の制御方法である。
【０００９】
本発明の第３の態様は、本発明に係る画像生成装置の制御方法の各ステップをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１０】
本発明によれば、ＨＤＲ画像の生成処理に求められる速度および生成処理後のＨＤＲ画像に求められる解像度を判断して、適切な画像生成処理方法を選択できる。
【図面の簡単な説明】
【００１１】
【図１】実施例１に係る撮像システム構成を示す図
【図２】画像データの高速読み出しおよびＨＤＲ画像生成方法を説明する模式図
【図３】画像データの高画質読み出しおよびＨＤＲ画像生成方法を説明する模式図
【図４】実施例１に係る処理フローを示すフローチャート
【図５】実施例２に係る撮像システム構成を示す図
【図６】実施例２に係る処理フローを示すフローチャート
【図７】実施例３に係る撮像システム構成を示す図
【図８】実施例３に係る処理フローを示すフローチャート
【図９】実施例４および実施例５に係る撮像システム構成を示す図
【図１０】実施例４に係る処理フローを示すフローチャート
【図１１】実施例５に係る処理フローを示すフローチャート
【発明を実施するための形態】
【００１２】
以下に図面を参照しながら各実施例を説明する。なお、本明細書中の画像は、動画像であってもよいし、静止画像であってもよい。
＜実施例１＞
（構成）
図１Ａは、実施例１に係る撮像システムの構成を示した図である。図１Ａの撮像システムは、撮像部１０１、画像処理部１０３、シャッターボタン１０５、操作部１０７、画像表示部１０９、画像記録部１１１を備える。図１Ａの各部は別体であってもよいし、一体であってもよいし、一部が一体であってもよい。本実施例では、図１Ａに示す撮像システムは、各部が一体となった撮像装置であるとして説明を進める。撮像部１０１は、２次元的に配置された複数の光電変換素子を有する撮像素子である。具体的には、撮像部１０１にはＣＣＤイメージセンサやＣＭＯＳイメージセンサなどが用いられることが想定される。撮像部１０１は受光した光を電気信号に変換して、画像処理部１０３に送信する。なお、本実施例では後述するように、撮像部１０１は、奇数ラインの光電変換素子と偶数ラインの光電変換素子の露光時間を異ならせ、並行して２つの画像を撮像することができる。本実施例では撮像部１０１にて、上述した電気信号に基づいて画像が生成されるものとするが、画像処理部１０３で画像が生成するとしてもよい。また、本明細書では、撮像部１０１で撮像される画像を元画像とも呼称する。
【００１３】
画像処理部１０３は、撮像部１０１で撮像された元画像を合成して、ＨＤＲ画像を生成する。なお本明細書では、画像処理部１０３で生成され、画像処理部１０３から出力される画像のことを目的画像とも呼称する。ＨＤＲ画像の生成方法については後述する。シャッターボタン１０５は、操作者が撮影に関する指示をするための入力部である。シャッターボタン１０５は、例えば、操作者が録画の開始を実行する時に押下されるものであってもよいし、静止画像の撮影を実行するときに押下されるものであってもよい。
【００１４】
操作部１０７は、本実施例に係る撮像装置の撮影モードの設定を行う。例えば、本実施例に係る撮像装置は、ＨＤＲ撮影モード（高画質モード）及び通常撮影モード（通常モード）を有するものとする。操作者は、操作部１０７を用いてこれら２つの撮像モードの切り替えを行うことができる。画像表示部１０９は、画像データに基づく画像の表示を行う。画像表示部１０９が表示する画像は、画像処理部１０３で生成された目的画像であってもよいし、撮像部１０１で撮像された元画像であってもよい。画像記録部１１１は、画像データを記録する。
【００１５】
なお、図１Ａにおいて、画像処理部１０３は本実施例に係る撮像装置の構成要素の１つとしている。しかし、画像処理部１０３を、独立した画像生成装置として理解することもできる。図１Ｂは、画像処理部１０３の機能を示すブロック図である。画像処理部１０３は、入力部１５１、画像生成部１５２、出力部１５３、取得部１５４を備える。
【００１６】
入力部１５１には、元画像の画像データが入力される。取得部１５４は、目的画像に求められる解像度に関する解像度情報を取得する。解像度情報とは、例えば、シャッターボタン１０５が押下されたか否か、目的画像の出力先の機器の情報（機器の種類、機器に設定された解像度など）、画像データの転送速度、転送される画像データの種類などである。画像生成部１５２は、解像度情報に基づいて元画像の合成方法を選択し、目的画像を生成する。出力部１５３は、画像生成部１５２で生成された目的画像を、出力先の機器また
は機能部に出力する。
【００１７】
なお、図１Ｂの各機能部は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、不図示）の動作として実現される。具体的には、上述の各機能は、不揮発性メモリ（不図示）に格納されたプログラムがＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などのワークメモリ（不図示）に展開され、これをＣＰＵが実行することにより実現される。
【００１８】
（元画像の生成方法）
図２は、ＨＤＲ画像を生成する際の、撮像部１０１で撮像された元画像の高速読み出し、およびＨＤＲ画像生成方法の概要を示した模式図である。符号２０１で示される図は撮像部１０１を模式的に示す図であり、撮像部１０１上に光電変換素子が縦横２次元に配置されることを示している。本実施例で元画像を高速読出しする際、撮像部１０１の受光データは、上述した光電変換素子の奇数ラインと偶数ラインで異なる露光時間で読み出される。符号２０３で示される図は奇数ラインの光電変換素子から読み出された元画像を模式的に示した図であり、符号２０５で示される図は偶数ラインの光電変換素子から読み出された元画像を模式的に示した図である。画像処理部１０３は、奇数ライン画像データと偶数ライン画像データを合成し、出力する。これによりＨＤＲ画像２０７が生成される。
【００１９】
図３は、ＨＤＲ画像を生成する際の、撮像部１０１で撮像された元画像の高画質読み出し、およびＨＤＲ画像生成方法の概要を示した模式図である。高画質読み出しで撮像部１０１から画像データを読み出す場合に、符号２１１で示される図は、撮像部１０１の受光範囲に対応する光電変換素子から第１の露光時間で画像データが読み出されたときの元画像である。そして符号２１３で示される図は、元画像２１１の画像データの読み出しに用いられた時と同じ光電変換素子から第２の露光時間で画像データが読み出されたときの元画像である。すなわち、元画像２１１と元画像２１３を得るためには、同一の光電変換素子を用いて２回の撮像が行われる必要がある。画像処理部１０３は、異なる露光時間で撮影した元画像２１１および元画像２１３の画像データを合成し、ＨＤＲ画像２１５を生成する。
【００２０】
（ＨＤＲ画像合成フロー）
図４は、画像処理部１０３が実行する処理フローを説明したフローチャートである。本処理は、本実施例に係る撮像装置が動作中は、周期的に実行される。まずステップＳ１０１では、画像処理部１０３が、操作部１０７が操作者によってＨＤＲ撮影モードに設定されているか否かを判定する。設定がＨＤＲ撮影モードでない場合（ステップＳ１０１：ＮＯ）には、処理はステップＳ１１９に進む。例えば、本実施例に係る撮像装置がＨＤＲ撮影モードおよび通常撮影モードを有し、操作部１０７が通常撮影モードに設定されている場合、処理はステップＳ１１９に進む。設定がＨＤＲ撮影モードである場合（ステップＳ１０１：ＹＥＳ）には、処理はステップＳ１０３へ進む。
【００２１】
ステップＳ１１９では、画像処理部１０３はＨＤＲ画像合成ではない、通常の画像生成を行う。通常の画像生成とは、例えば、撮像部１０１の受光範囲に対応する光電変換素子をすべて用いた、１回の撮像で得られた元画像がそのまま目的画像として生成される処理である。ステップＳ１０１の判断分岐により、必要な場合のみＨＤＲ画像合成が行われ、ＨＤＲ画像合成に伴う不要な処理の負荷の増大が回避される。
【００２２】
ステップＳ１０３においてはシャッターボタン１０５の操作状態により、処理が分岐される。画像処理部１０３は、シャッターボタン１０５が押下されたか否かの情報を取得する。本実施例では、操作者がシャッターボタン１０５を押下すると、録画が開始されるものとする。シャッターボタン１０５が押下されていない場合（ステップＳ１０３：ＮＯ）
は、処理はステップＳ１１３に進む。シャッターボタン１０５が押下されている場合（ステップＳ１０３：ＹＥＳ）は、処理はステップＳ１０５へ進む。
【００２３】
ステップＳ１０５では、撮像部１０１からの受光データの読み出しが行われ、元画像が生成される。ステップＳ１０３でシャッターボタンが押下された場合、撮像部１０１の受光範囲全体に対応する光電変換素子が第１の露光時間で露光する。そして、光電変換素子の全ラインの受光データが読み出され、元画像が生成される。ステップＳ１０５で生成される元画像は、図３の元画像２１１に対応する。生成された元画像２１１は、撮像部１０１から画像処理部１０３へ転送される。ステップＳ１０７においても、撮像部１０１からの受光データの読み出しが行われ、元画像が生成される。ステップＳ１０７では、撮像部１０１の受光範囲全体に対応する光電変換素子が、第１の露光時間とは異なる第２の露光時間で露光する。そして、光電変換素子の全ラインの受光データが読み出され、元画像が生成される。ステップＳ１０７で生成される元画像は、図３の元画像２１３に対応する。生成された元画像２１３は、撮像部１０１から画像処理部１０３へ転送される。
【００２４】
ステップＳ１０９では、画像処理部１０３は、元画像２１１と元画像２１３を合成し、ＨＤＲ画像２１５を生成する。ステップＳ１１１では、生成されたＨＤＲ画像２１５が画像記録部１１１に転送され、記録される。
【００２５】
ステップＳ１１３では、撮像部１０１からの受光データの読み出しが行われ、元画像が生成される。ステップＳ１０３でシャッターボタンが押下されない場合、撮像部１０１の光電変換素子の奇数ラインが第１の露光時間で露光する。そして、光電変換素子の奇数ラインの受光データが読み出され、元画像が生成される。ステップＳ１１３で生成される元画像は、図２の元画像２０３に対応する。生成された元画像２０３は、撮像部１０１から画像処理部１０３へ転送される。ステップＳ１１５においても、撮像部１０１からの受光データの読み出しが行われ、元画像が生成される。ステップＳ１１５では、撮像部１０１の光電変換素子の偶数ラインが、第１の露光時間とは異なる第２の露光時間で露光する。そして、光電変換素子の偶数ラインの受光データが読み出され、元画像が生成される。ステップＳ１１５で生成される元画像は、図２の元画像２０５に対応する。生成された元画像２０５は、撮像部１０１から画像処理部１０３へ転送される。ステップＳ１１７では、画像処理部１０３は、元画像２０３と元画像２０５を合成し、ＨＤＲ画像２０７を生成する。
【００２６】
ステップＳ１２１では、ステップＳ１１７またはステップＳ１１９で生成された目的画像が画像表示部１０９に転送され、表示される。
【００２７】
ステップＳ１０５〜ステップＳ１０９のＨＤＲ画像合成処理によれば、解像度が高いＨＤＲ画像が生成される。すなわち、ステップＳ１０５〜ステップＳ１０９のＨＤＲ画像合成処理は、解像度を優先した高画質読み出しによる合成処理ととらえることができる。また、ステップＳ１１３〜ステップＳ１１７のＨＤＲ画像合成処理は、高画質読み出しに比べると解像度は低下するが、ＨＤＲ画像生成までの時間が短い高速読み出しの合成処理ととらえることができる。操作者が撮像画像の記録を意図してシャッターボタン１０５を押下した場合、自動的に高画質読み出しでＨＤＲ画像が生成され、記録される。また、シャッターボタン１０５が押下されない場合は生成されたＨＤＲ画像の表示のみが行われる。この場合、表示されるＨＤＲ画像は高速読み出しで生成された比較的解像度の低い画像となり、画像生成に係る処理負荷が軽減される。したがって本実施例によれば、ＨＤＲ画像の生成処理に求められる速度および生成処理後のＨＤＲ画像に求められる解像度を判断して、適切な画像生成処理方法を選択できる。
【００２８】
なお、シャッターボタン１０５が押下された場合に、ＨＤＲ画像が画像表示部１０９で
表示されてもよい。これによって、操作者は録画される画像を確認することができる。
【００２９】
＜実施例２＞
（構成）
図５は、実施例２の撮像システム構成を示した図である。本実施例に係る撮像システムは、撮像装置３０１、スイッチャ３０３、画像表示装置３０５およびレコーダ３０７を備える。撮像装置３０１は、撮像を行い、生成した画像データを出力先の機器に転送する。画像表示装置３０５は、入力された画像データに基づく画像を表示する。レコーダ３０７は、入力された画像データを記録する。スイッチャ３０３は、撮像装置３０１の接続先を切り替える。本実施例では、スイッチャ３０３は、撮像装置３０１を画像表示装置３０５またはレコーダ３０７のいずれか、または両方と接続し、接続状態を切り替えるものとする。なお、本撮像システムにおいて、図１Ａの画像処理部１０３は、撮像装置３０１に内蔵されているものとする。
【００３０】
（ＨＤＲ画像合成フロー）
図６は、実施例２の撮像装置３０１で実行される処理フローを示したフローチャートである。本処理は、本実施例に係る撮像システムが動作中は、周期的に実行される。ステップＳ２０１では、画像処理部１０３が、設定がＨＤＲ撮影モードであるか否かを判定する。設定がＨＤＲ撮影モードでない場合（ステップＳ２０１：ＮＯ）には、処理はステップＳ２１７に進む。設定がＨＤＲ撮影モードである場合（ステップＳ２０１：ＹＥＳ）には、処理はステップＳ２０３へ進む。ステップＳ２１７の処理は、図４のステップＳ１１９と同様なので、説明は省略する。
【００３１】
ステップＳ２０３では、画像処理部１０３が、スイッチャ３０３のデータ出力先の機器がレコーダ３０７であるか否かに関する情報を取得し、データの出力先がレコーダ３０７であるか否かを判定する。出力先の機器に関する情報は、例えば操作者によって入力される。あるいは、データ線を介して通信により接続先の機器が認識されてもよい。スイッチャ３０３のデータ出力先がレコーダ３０７であると判定された場合（ステップＳ２０３：ＹＥＳ）は、処理はステップＳ２０５へ進む。スイッチャ３０３のデータ出力先がレコーダ３０７ではないと判定された場合（ステップＳ２０３：ＮＯ）は、処理はステップＳ２１１へ進む。
【００３２】
ステップＳ２０５では、撮像部１０１からの受光データの読み出しが行われ、元画像が生成される。ステップＳ２０３でデータの出力先がレコーダ３０７であると判定された場合、撮像部１０１の受光範囲全体に対応する光電変換素子が第１の露光時間で露光する。ステップＳ２０７においても、撮像部１０１からの受光データの読み出しが行われ、元画像が生成される。ステップＳ２０７では、撮像部１０１の受光範囲全体に対応する光電変換素子が、第１の露光時間とは異なる第２の露光時間で露光する。ステップＳ２０９では、画像処理部１０３が、ステップＳ２０５で生成された元画像とステップＳ２０７で生成された元画像からＨＤＲ画像を生成する。なお、ステップＳ２０５からステップＳ２０９におけるＨＤＲ画像の生成方法は、実施例１の図３で説明した処理と同様である。
【００３３】
ステップＳ２１１では、撮像部１０１からの受光データの読み出しが行われ、元画像が生成される。ステップＳ２０３でデータ出力先の機器がレコーダではないと判定された場合、撮像部１０１の光電変換素子の奇数ラインが第１の露光時間で露光する。そして、光電変換素子の奇数ラインの受光データが読み出され、元画像が生成される。ステップＳ２１３においても、撮像部１０１からの受光データの読み出しが行われ、元画像が生成される。ステップＳ２１３では、撮像部１０１の光電変換素子の偶数ラインが、第１の露光時間とは異なる第２の露光時間で露光する。そして、光電変換素子の偶数ラインの受光データが読み出され、元画像が生成される。ステップＳ２１５では、画像処理部１０３がステ
ップＳ２１１で生成された元画像とステップＳ２１３で生成された元画像からＨＤＲ画像を生成する。なお、ステップＳ２１１からステップＳ２１５におけるＨＤＲ画像の生成方法は、実施例１の図２で説明した処理と同様である。ステップＳ２１９では、生成された目的画像の画像データは、スイッチャ３０３を介して出力先の機器に転送される。
【００３４】
本実施例によれば、ＨＤＲ画像の画像データの転送先によって、ＨＤＲ画像合成の方法が切り替わる。すなわち、解像度よりも速度が優先される転送先の装置の場合、例えば画像表示装置などでは、速度優先でＨＤＲ画像を生成する。画像データの転送先の装置が速度より解像度を優先する装置、例えば画像記録装置などでは、画質優先でＨＤＲ画像を生成することが可能となる。したがって本実施例によれば、ＨＤＲ画像の生成処理に求められる速度および生成処理後のＨＤＲ画像に求められる解像度を判断して、適切な画像生成処理方法を選択できる。
【００３５】
なお、図５の撮像システムにおいては、スイッチャ３０３の接続先は画像表示装置３０５とレコーダ３０７としたが、スイッチャ３０３にはこれ以外の機器が接続されてもよい。また、本実施例ではデータ出力先の機器がレコーダであるか否かで、ＨＤＲ画像合成の方法を切り替えたが、判断の材料となる機器はレコーダに限定されない。例えば、データ出力先の機器が画像表示装置であっても、高解像度な画像表示が可能な特定の画像表示装置であれば、ＨＤＲ画像合成方法を切り替える判断の材料としてもよい。また、レコーダや画像表示装置以外の機器であっても、高解像度を必要とする機器であれば、判断の材料としてもよい。
【００３６】
＜実施例３＞
（構成）
図７は、本実施例に係る撮像システム構成を示す図である。本実施例に係る撮像システムは、撮像装置４０１とレコーダ４０３を備える。撮像装置４０１は、撮像された元画像からＨＤＲ画像を生成し、画像データを外部の機器に出力する。レコーダ４０３は、入力された画像データを蓄積保存するための記録装置である。なお、本実施例において、図１Ａの画像処理部１０３は撮像装置４０１に内蔵されているものとする。ここで撮像装置４０１は複数の解像度の画像データを連続して出力できるものとする。出力される画像データの解像度はＵＨＤ（３８４０×２１６０）、ＦＨＤ（１９２０×１０８０）などである。
【００３７】
（ＨＤＲ画像合成フロー）
図８は、実施例３の撮像装置４０１で実行される処理フローを示したフローチャートである。図８のフローチャートの処理は、撮像システムが動作中は、周期的に実行される。ステップＳ３０１では、画像処理部１０３が、設定がＨＤＲ撮影モードであるか否かを判定する。設定がＨＤＲ撮影モードでない場合（ステップＳ３０１：ＮＯ）には、処理はステップＳ３１７に進む。設定がＨＤＲ撮影モードである場合（ステップＳ３０１：ＹＥＳ）には、処理はステップＳ３０３へ進む。ステップＳ３１７の処理は、図４のステップＳ１１９と同様なので、説明は省略する。
【００３８】
ステップＳ３０３では、画像処理部１０３が、画像データの出力先の機器に設定された解像度の情報を取得し、解像度が閾値より高いか否かを判定する。解像度の情報は、例えば操作者によって入力される。あるいは、解像度の情報は、信号線を介して通信により出力先の機器から取得されてもよい。本実施例では、解像度の閾値はＦＨＤ（１９２０×１０８０）とし、出力先の機器であるレコーダに設定される解像度が、ＦＨＤより高いか否かが判定される。出力先の機器に設定される解像度が閾値より高い場合（ステップＳ３０３：ＹＥＳ）は、処理はステップＳ３０５に進む。出力先の機器に設定される解像度が閾値以下の場合（ステップＳ３０３：ＮＯ）は、処理はステップＳ３１１に進む。
【００３９】
ステップＳ３０５では、撮像部１０１からの受光データの読み出しが行われ、元画像が生成される。ステップＳ３０３で画像データの出力先の機器に設定された解像度が閾値より高いと判定された場合、撮像部１０１の受光範囲全体に対応する光電変換素子が第１の露光時間で露光する。ステップＳ３０７においても、撮像部１０１からの受光データの読み出しが行われ、元画像が生成される。ステップＳ３０７では、撮像部１０１の受光範囲全体に対応する光電変換素子が、第１の露光時間とは異なる第２の露光時間で露光する。ステップＳ３０９では、画像処理部１０３がステップＳ３０５で生成された元画像とステップＳ３０７で生成された元画像からＨＤＲ画像を生成する。なお、ステップＳ３０５からステップＳ３０９におけるＨＤＲ画像の生成方法は、実施例１の図３で説明した処理と同様である。
【００４０】
ステップＳ３１１では、撮像部１０１からの受光データの読み出しが行われ、元画像が生成される。ステップＳ３０３で画像データの出力先の機器に設定された解像度が閾値以下であると判定された場合、撮像部１０１の光電変換素子の奇数ラインが第１の露光時間で露光する。そして、光電変換素子の奇数ラインの受光データが読み出され、元画像が生成される。ステップＳ３１３においても、撮像部１０１からの受光データの読み出しが行われ、元画像が生成される。ステップＳ３１３では、撮像部１０１の光電変換素子の偶数ラインが、第１の露光時間とは異なる第２の露光時間で露光する。そして、光電変換素子の偶数ラインの受光データが読み出され、元画像が生成される。ステップＳ３１５では、画像処理部１０３がステップＳ３１１で生成された元画像とステップＳ３１３で生成された元画像からＨＤＲ画像を生成する。なお、ステップＳ３１１からステップＳ３１５におけるＨＤＲ画像の生成方法は、実施例１の図２で説明した処理と同様である。ステップＳ３１９では、ステップＳ３０９、ステップＳ３１５またはステップＳ３１７で生成された目的画像の画像データがレコーダ４０３へ出力される。
【００４１】
本実施例では、目的画像の出力先の機器に設定される解像度によって、ＨＤＲ画像合成の方法を切り替える。これによって、必要以上の解像度で出力することによる処理負荷の増大が抑制される。また、出力先の機器に設定される解像度が低い場合、例えばＨＤＲ画像の解像度を落としてフレームレートを高くするというデータ転送が可能となる。したがって本実施例によれば、ＨＤＲ画像の生成処理に求められる速度および生成処理後のＨＤＲ画像に求められる解像度を判断して、適切な画像生成処理方法を選択できる。
【００４２】
＜実施例４＞
（構成）
図９は、本実施例に係る撮像システム構成を示す図である。本実施例に係る撮像システムは、撮像装置５０１、レコーダ５０３、画像表示装置５０５を有する。撮像装置５０１は、撮像データから元画像を生成し、画像データをレコーダ５０３に転送する。レコーダ５０３は、撮像装置５０１から転送された画像データを保存し、元画像に基づいてＨＤＲ画像を生成する。画像データの保存と合成の順番はどちらが先でもよい。本実施例では、レコーダ５０３内において、撮像装置から転送された元画像の画像データが保存され、保存された画像データを読み出されてＨＤＲ画像合成が行われるものとして、以下説明を進める。生成された目的画像の画像データは、画像表示装置に転送される。画像表示装置５０５は、レコーダ５０３から転送される画像データに基づく画像を表示する。本実施例においては、撮像装置５０１から逐次出力される画像データは、そのままのデータ形式でレコーダ５０３に保存されるものとする。レコーダ５０３から画像表示装置５０５へ出力される際には、画像データはレコーダ５０３内で画像表示装置５０５が表示可能な形式に変換されて出力される。なお、本実施例において、図１Ａの画像処理部１０３はレコーダ５０３に内蔵されているものとする。
【００４３】
（ＨＤＲ画像合成フロー）
図１０は、実施例４のレコーダ５０３で実行される処理フローを示したフローチャートである。図１０のフローチャートの処理は、撮像システムにおいてレコーダ５０３が蓄積した画像データを出力する間は、周期的に実行される。ステップＳ４０１では、画像処理部１０３が、レコーダ５０３で再生中の画像データがＨＤＲ画像データであるか否かを判定する。再生中の画像データがＨＤＲ画像データでない場合（ステップＳ４０１：ＮＯ）には、処理はステップＳ４１７に進む。再生中の画像データがＨＤＲ画像データである場合（ステップＳ４０１：ＹＥＳ）には、処理はステップＳ４０３へ進む。
【００４４】
ステップＳ４０３では、画像処理部１０３が、画像データの転送速度に関する情報を取得し、画像データの転送速度の上限値が閾値より高いか否かを判定する。画像データの転送速度に関する情報は、例えばレコーダ５０３から画像表示装置５０５へ接続されている信号線の許容伝送速度を取得し、転送速度の上限値としてもよい。また、出力部１５３は上述の信号線の許容伝送速度と、画像データの符号化などの処理負荷から転送速度の上限値を決定し、画像処理部１０３が、転送速度の上限値を出力部１５３から取得することにしてもよい。転送速度の上限値が閾値より高い場合（ステップＳ４０３：ＹＥＳ）は、処理はステップＳ４０５に進む。転送速度の上限値が閾値以下の場合（ステップＳ４０３：ＮＯ）は、処理はステップＳ４１１に進む。
【００４５】
ステップＳ４０５では、画像処理部１０３が、レコーダ５０３に保存された元画像を読み出す。画像処理部１０３は、保存されている元画像のうち、撮像装置５０１の撮像部において第１の露光時間で撮像された元画像であるＡ画像を読み出す。ステップＳ４０７では、画像処理部１０３は、撮像装置５０１の撮像部において第１の露光時間とは異なる第２の露光時間で撮像された元画像であるＢ画像を読み出す。ステップＳ４０９では、画像処理部１０３は、ステップＳ４０５で読み出されたＡ画像と、ステップＳ４０７で読み出されたＢ画像からＨＤＲ画像を生成する。ステップＳ４０５からステップＳ４０９におけるＨＤＲ画像の生成方法は、実施例１の図３で説明した処理と同様である。例えば、Ａ画像は符号２１１で示される画像に相当し、Ｂ画像は符号２１３で示される画像に相当する。
【００４６】
ステップＳ４１１では、画像処理部１０３が、レコーダ５０３に保存された元画像を読み出す。画像処理部１０３は、保存されている元画像のうち、撮像装置５０１の撮像部の奇数ラインにおいて第１の露光時間で撮像された元画像であるＣ画像を読み出す。ステップＳ４１３では、画像処理部１０３が、レコーダ５０３に保存された元画像を読み出す。画像処理部１０３は、保存されている元画像のうち、撮像装置５０１の撮像部の偶数ラインにおいて第１の露光時間とは異なる第２の露光時間で撮像された元画像であるＤ画像を読み出す。ステップＳ４１５では、画像処理部１０３は、ステップＳ４１１で読み出されたＣ画像と、ステップＳ４１３で読み出されたＤ画像からＨＤＲ画像を生成する。ステップ４１１からステップＳ４１５におけるＨＤＲ画像の生成方法は、実施例１の図２で説明した処理と同様である。例えば、Ｃ画像は符号２０３で示される画像に相当し、Ｂ画像は符号２０５で示される画像に相当する。
【００４７】
ステップＳ４１７では、撮像部１０１の受光範囲に対応する光電変換素子をすべて用いた、１回の撮像により得られた元画像であるＥ画像が読み出される。ステップＳ４１９では、ステップＳ４０９、ステップＳ４１５またはステップＳ４１７で生成された目的画像が、画像表示装置５０５に転送される。
【００４８】
本実施例により、画像データの転送速度の上限値に応じて、ＨＤＲ画像合成の方法を切り替えることができる。例えば、ＨＤＲ画像合成を行う機器と出力先の機器との間の信号線の許容伝送速度が低い場合には、解像度を落としたＨＤＲ画像が生成され、信号線への
過大な負荷による画像データの転送エラー等の問題が回避される。したがって、本実施例によれば、ＨＤＲ画像の生成処理に求められる速度および生成処理後のＨＤＲ画像に求められる解像度を判断して、適切な画像生成処理方法を選択できる。
【００４９】
なお、本実施例では、撮像装置５０１の動作については詳述しないが、ステップＳ４０１やステップＳ４０３の判断によって、撮像装置５０１の撮像モードが自動的に切り替わってもよい。例えば、ステップＳ４０３の判断がＹＥＳの場合、撮像装置５０１は自動的に撮像素子の受光範囲全体の光電変換素子を用いた撮像モードに切り替わり、Ａ画像とＢ画像を生成する。またステップＳ４０３の判断がＮＯの場合、撮像装置５０１は自動的に撮像素子の奇数ライン又は偶数ラインを用いた撮像モードに切り替わり、Ｃ画像とＤ画像を生成する。また、本実施例ではレコーダ５０３と画像表示装置５０５の間の信号線の許容伝送速度に基づいて、ＨＤＲ画像合成の方法を選択したが、撮像装置５０１とレコーダ５０３の間の信号線の許容速度に基づいてＨＤＲ画像合成の方法を選択してもよい。これによって、元画像の解像度が撮像装置５０１とレコーダ５０３の間の信号線の許容速度に応じた適切な解像度に設定される。
【００５０】
＜実施例５＞
（構成）
実施例５の撮像システム構成は、実施例４のシステム構成である図９と同じである。ただし、実施例４と異なるのは、画像処理部１０３が画像表示装置５０５に内蔵され、ＨＤＲ画像合成は画像表示装置５０５内で行われることである。図１１は、実施例５の画像表示装置５０５で実行される処理フローを示したフローチャートである。図１１のフローチャートの処理は、撮像システムにおいてレコーダ５０３が蓄積した画像データを画像表示装置５０５が受信し表示する間、周期的に実行される。
【００５１】
（ＨＤＲ画像合成フロー）
ステップＳ５０１では、画像処理部１０３が、レコーダ５０３から転送されてくる元画像の画像データがＨＤＲ画像合成用の画像データであるか否かを判定する。画像処理部１０３は、転送されてくる画像データを解析して判定してもよい。また、画像処理部１０３は、画像データに含まれるＨＤＲ画像合成用の画像データであるか否かの情報を読み取って判断してもよい。転送されてくる画像データがＨＤＲ画像合成用の画像データでない場合（ステップＳ５０１：ＮＯ）には、処理はステップＳ５１７に進む。転送されてくる画像データがＨＤＲ画像合成用の画像データである場合（ステップＳ５０１：ＹＥＳ）には、処理はステップＳ５０３へ進む。
【００５２】
ステップＳ５０３では、画像処理部１０３が、レコーダ５０３から転送される画像に複数で１フレームを構成する画像が含まれるか否かを判定する。転送される画像データに複数で１フレームを構成する画像が含まれる場合（ステップＳ５０３：ＹＥＳ）に、処理はステップＳ５０５へ進む。転送される画像データに複数で１フレームを構成する画像が含まれない場合（ステップＳ５０３：ＮＯ）に、処理はステップＳ５１１へ進む。
【００５３】
ステップＳ５０５では、画像処理部１０３が、レコーダ５０３から保存された元画像を読み出す。画像処理部１０３は、保存されている元画像のうち、撮像装置５０１の撮像部において第１の露光時間で撮像された元画像であるＡ画像を読み出す。ステップＳ５０７では、画像処理部１０３は、撮像装置５０１の撮像部において第１の露光時間とは異なる第２の露光時間で撮像された元画像であるＢ画像を読み出す。ステップＳ５０９では、画像処理部１０３は、ステップＳ５０５で読み出されたＡ画像と、ステップＳ５０７で読み出されたＢ画像からＨＤＲ画像を生成する。ステップＳ５０５からステップＳ５０９におけるＨＤＲ画像の生成方法は、実施例１の図３で説明した処理と同様である。例えば、Ａ画像は符号２１１で示される画像に相当し、Ｂ画像は符号２１３で示される画像に相当す
る。
【００５４】
ステップＳ５１１では、画像処理部１０３が、レコーダ５０３から元画像を読み出す。画像処理部１０３は、保存されている元画像のうち、撮像装置５０１の撮像部の奇数ラインにおいて第１の露光時間で撮像された元画像であるＣ画像を読み出す。ステップＳ５１３では、画像処理部１０３が、レコーダ５０３に保存された元画像を読み出す。画像処理部１０３は、保存されている元画像のうち、撮像装置５０１の撮像部の偶数ラインにおいて第１の露光時間とは異なる第２の露光時間で撮像された元画像であるＤ画像を読み出す。ステップＳ５１５では、画像処理部１０３は、ステップＳ５１１で読み出されたＣ画像と、ステップＳ５１３で読み出されたＤ画像からＨＤＲ画像を生成する。ステップ５１１からステップＳ５１５におけるＨＤＲ画像の生成方法は、実施例１の図２で説明した処理と同様である。例えば、Ｃ画像は符号２０３で示される画像に相当し、Ｂ画像は符号２０５で示される画像に相当する。
【００５５】
ステップＳ５１７では、撮像部１０１の受光範囲に対応する光電変換素子をすべて用いた、１回の撮像により得られた元画像であるＥ画像が読み出される。ステップＳ５１９では、ステップＳ５０９、ステップＳ５１５またはステップＳ５１７で生成された目的画像が、画像表示装置５０５の表示部に出力される。
【００５６】
本実施例によれば、レコーダ５０３から画像表示装置５０５へ転送される画像に、複数で１フレームを構成する画像が含まれる場合に高速読み出しのＨＤＲ画像合成が選択される。そして、複数で１フレームを構成する画像が含まれない場合に、高画質読み出しのＨＤＲ画像合成が選択される。例えば、画像表示装置５０５がこのようなＨＤＲ画像合成の方法を切り替える機能を有することが分かっている場合、撮像装置５０１やレコーダ５０３等の出力側の機器は、出力する画像データの形式によって最終的に表示されるＨＤＲ画像の解像度を指定できる。例えば、画像表示装置５０５に解像度の低い画像を表示させたい場合、あるいは画像表示装置５０５における画像合成の処理速度を速めたい場合、出力側の機器はＣ画像またはＤ画像から構成される、複数で１フレームを構成する画像を出力すればよい。したがって、本実施例によれば、ＨＤＲ画像の生成処理に求められる速度および生成処理後のＨＤＲ画像に求められる解像度を判断して、適切な画像生成処理方法を選択できる。
【００５７】
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５８】
なお、実施例１〜５はあくまで一例であり、本発明の要旨の範囲内で実施例１〜５の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１〜５の構成を適宜組み合わせて得られる構成も、本発明に含まれる。
【００５９】
なお、実施例１〜５では、高速読み出しのＨＤＲ画像合成において、撮像部の光電変換素子の奇数ラインと偶数ラインの露光時間を異ならせ、２つの元画像を生成した。しかし、光電変換素子の区分けはこの方法に限定されない。例えば、３ラインを１つの構成単位として繰り返し、１ライン目と２ライン目の光電変換素子を元画像Ａ用、３ライン目の光電変換素子を元画像Ｂ用としてもよい。また、複数の光電変換素子を３つ以上の光電変換素子群に分類し、各軍に対応する元画像を生成し、それらの元画像に基づいてＨＤＲ画像を合成してもよい。また、本実施例では光電変換素子のラインを水平方向に取ったが、垂直方向に取っても構わない。
【００６０】
なお、実施例１〜５の装置の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
【符号の説明】
【００６１】
１０１：撮像部    １０３：画像処理部    ３０１、４０１、５０１：撮像装置    １５１：入力部    １５２：画像生成部    １５４：取得部    
【図１】
2018139348.tif 000003
【図２】
2018139348.tif 000004
【図３】
2018139348.tif 000005
【図４】
2018139348.tif 000006
【図５】
2018139348.tif 000007
【図６】
2018139348.tif 000008
【図７】
2018139348.tif 000009
【図８】
2018139348.tif 000010
【図９】
2018139348.tif 000011
【図１０】
2018139348.tif 000012
【図１１】
2018139348.tif 000013