(57)【要約】【課題】  手振れの発生履歴に応じて臨機応変に１枚撮影を多重露光撮影に切り替えることによって手振れを防止する。また、フレーム周期を考慮することによって、多重露光撮影時の手振れを防止し、合成画像の画質を向上させる。【解決手段】  発明に係る画像取得装置は、絞りに対応する絞り値と、被写体の輝度とに基づいて、撮像手段の露光時間を算出する露光時間算出部と、レンズの焦点距離と、所定係数とに基づいて、所定時間を算出する所定時間算出部と、前記露光時間が、前記所定時間以上である場合、複数の被写体画像を取得し、該複数の被写体画像を合成することによって、前記被写体の合成画像を取得する多重露光撮影を行うことを決定する撮影方法決定部と、前記多重露光撮影において、前記複数の被写体画像間の動きを検出する動き検出部と、検出された動き量に基づいて、所定係数を更新する所定係数算出部とを具備することを特徴とする。【選択図】  図３
2007104029.tif 000002
【特許請求の範囲】
【請求項１】
レンズと絞りとを介して露光された撮像手段を用いて被写体画像を取得し、該被写体画像を用いて多重露光撮影を行う画像取得装置であって、
前記絞りに対応する絞り値と、前記被写体の輝度とに基づいて、前記撮像手段の露光時間を算出する露光時間算出部と、
前記レンズの焦点距離と、所定係数とに基づいて、所定時間を算出する所定時間算出部と、
前記露光時間が、前記所定時間以上である場合、複数の被写体画像を取得し、該複数の被写体画像を合成することによって、前記被写体の合成画像を取得する前記多重露光撮影を行うことを決定する撮影方法決定部と、
前記多重露光撮影において、前記複数の被写体画像間の動きを検出する動き検出部と、
検出された動き量に基づいて、所定係数を更新する所定係数算出部とを具備することを特徴とする画像取得装置。
【請求項２】
前記多重露光撮影において、前記露光時間と、前記所定時間とに基づいて、１枚の被写体画像を取得するために必要な１枚の露光時間と、前記合成画像を取得するために必要な前記複数の被写体画像の合成枚数と、前記複数の被写体画像を取得するために必要な全体撮影時間とを算出する多重露光撮影制御部を具備することを特徴とする請求項１に記載の画像取得装置。
【請求項３】
前記多重露光撮影制御部は、前記動きの補正効果を示す評価値によって、前記合成枚数の上限値を算出し、該上限値に基づいて前記合成枚数を算出することを特徴とする請求項２に記載の画像取得装置。
【請求項４】
前記多重露光撮影制御部は、前記１枚の露光時間が、フレーム周期より短い場合、前記フレーム周期に基づいて、前記全体撮影時間を算出することを特徴とする請求項２又は請求項３に記載の画像取得装置。
【請求項５】
前記多重露光撮影制御部は、前記１枚の露光時間が前記フレーム周期より短く、前記フレーム周期に基づいて算出した前記全体撮影時間が前記露光時間よりも長い場合、前記１枚の露光時間を長くし、該１枚の露光時間に基づいて、前記合成枚数と、前記全体撮影時間とを算出することを特徴とする請求項４に記載の画像取得装置。
【請求項６】
前記多重露光撮影制御部は、前記１枚の露光時間が前記フレーム周期より短く、前記フレーム周期に基づいて算出した前記全体撮影時間が前記露光時間よりも長い場合、前記露光時間を前記全体撮影時間とし、該全体撮影時間に基づいて、前記１枚の露光時間と、前記合成枚数とを算出することを特徴とする請求項４に記載の画像取得装置。
【請求項７】
コンピュータにレンズと絞りとを介して露光された撮像手段を用いて被写体画像を取得し、該被写体画像を用いて多重露光撮影を行う画像取得方法を実行させるためのプログラムであって、
前記絞りに対応する絞り値と、前記被写体の輝度とに基づいて、前記撮像手段の露光時間を算出する手順と、
前記レンズの焦点距離と、所定係数とに基づいて、所定時間を算出する手順と、
前記露光時間が、前記所定時間以上である場合、複数の被写体画像を取得し、該複数の被写体画像を合成することによって、前記被写体の合成画像を取得する前記多重露光撮影を行うことを決定する手順と、
前記多重露光撮影において、前記複数の被写体画像間の動きを検出する手順と、
検出された動き量に基づいて、所定係数を更新する手順とを具備することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体画像を取得し、該被写体画像を用いて多重露光撮影を行う画像取得装置及びプログラムに関する。
【背景技術】
【０００２】
従来、デジタルスチルカメラである画像取得装置では、撮影時の手振れを防止するために、シャッター速度を速くする、すなわち撮像手段の露光時間を短くすることが知られている。具体的には、撮影時の手振れを防止するために、露光時間は、レンズの焦点距離ｆをｆｍｍとする場合、１／ｆ秒以下であることが好ましい。
【０００３】
また、かかる画像取得装置では、適正な露光状態で被写体を撮影するために、図９（ａ）に示すように、被写体の輝度が高い場合、絞りを閉じ、かつ露光時間を短くするように制御し、被写体の輝度が低い場合、絞りを開放し、かつ露光時間を長くするように制御する。かかる場合、適正な露光状態で被写体を撮影するように制御された露光時間（以下、最適露光時間Ｔｃ）が、１／ｆ秒以上となる場合がある。
【０００４】
そこで、撮影時の手振れを防止するために、三脚を用いてカメラを固定するとか、ストロボを用いて被写体の輝度を高めるというような方策を採ることが多い。
【０００５】
しかしながら、画像取得装置のユーザは常に三脚を有しているとは限らない。また、ストロボを多用する場合、電池が消耗し易く、遠景の撮影には、ストロボの効果がなかった。
【０００６】
かかる問題を解決するために、多重露光撮影を行うことによって、手振れを防止する画像取得装置が知られている（例えば、特許文献１参照）。
【０００７】
多重露光撮影とは、最適露光時間Ｔｃよりも短い露光時間で撮影した被写体画像を複数取得し、当該複数の被写体画像を合成することによって、被写体の合成画像を取得することである。
【０００８】
かかる多重露光撮影では、図９（ｂ）に示すように、１枚の被写体画像を取得するために必要な１枚の露光時間が短いため、撮影時の手振れを防止することができる。また、かかる多重露光撮影では、１枚の露光時間が短いため、１枚の被写体画像の明るさは低下するが、複数の被写体画像を合成することによって、手振れの影響が少なく明るい合成画像を取得することができる。
【０００９】
かかる画像取得装置の動作の一例について、図１０を参照して説明する。
【００１０】
図１０に示すように、ステップＳ４０１において、画像取得装置は、絞りに対応する絞り値と、被写体の輝度とに基づいて、最適露光時間Ｔｃを算出する。
【００１１】
ステップＳ４０２において、画像取得装置は、レンズの焦点距離ｆをｆｍｍとする場合、１／ｆ秒を基準値として、１枚撮影を行うか、又は多重露光撮影を行うかを決定する。
【００１２】
具体的には、最適露光時間Ｔｃが１／ｆ秒未満である場合、画像取得装置は１枚撮影を行うことを決定し、本動作はステップＳ４０３に進む。最適露光時間Ｔｃが１／ｆ秒以上である場合、画像取得装置は多重露光撮影を行うことを決定し、本動作はステップＳ４０４に進む。
【００１３】
例えば、図１１に示すように、レンズの焦点距離ｆが３５ｍｍ換算で３０ｍｍである場合、基準値は、１／３０秒である。したがって、最適露光時間Ｔｃが１／３０秒未満である場合、１枚撮影を行うことを決定する。最適露光時間Ｔｃが１／３０秒以上である場合、多重露光撮影を行うことを決定する。
【００１４】
ステップＳ４０３において、画像取得装置は、１枚撮影を行う。
【００１５】
ここで、１枚撮影とは、最適露光時間Ｔｃで撮影した1枚の被写体画像を取得することである。
【００１６】
ステップＳ４０４において、画像取得装置は、多重露光撮影において、１枚の被写体画像を取得するために必要な１枚の露光時間Ｔ１を算出する。具体的には、１枚の露光時間Ｔ１は、最適露光時間Ｔｃの１／８以上、かつ最適露光時間Ｔｃ以下であることが好ましい。
【００１７】
ステップＳ４０５において、画像取得装置は、多重露光撮影において合成画像を取得するために必要な複数の被写体画像の合成枚数ｎを算出する。具体的には、合成枚数ｎは、「合成枚数ｎ＝最適露光時間Ｔｃ／１枚の露光時間Ｔ１」を用いて算出される。
【００１８】
ステップＳ４０６において、画像取得装置は、多重露光撮影において複数の被写体画像を取得するために必要な全体撮影時間撮像Ｔｏを算出する。具体的には、全体撮影時間Ｔｏは、「全体撮影時間Ｔｏ＝１枚の露光時間Ｔ１×合成枚数ｎ」を用いて算出され、最適露光時間Ｔｃと等しい。
【００１９】
ステップＳ４０７において、画像取得装置は、ステップＳ４０４〜ステップＳ４０６において算出した１枚の露光時間Ｔ１と合成枚数ｎと全体撮影時間Ｔｏに従って、多重露光撮影を行う。
【特許文献１】特開２０００−６９３５２号公報
【発明の開示】
【発明が解決しようとする課題】
【００２０】
従来の画像取得装置では、レンズの焦点距離ｆをｆｍｍとする場合、１／ｆ秒を基準値として、１枚撮影を行うか、又は多重露光撮影を行うかを決定するため、焦点距離ｆが等しい場合、基準値は一義的に算出される。
【００２１】
したがって、最適露光時間Ｔｃが１／ｆ秒未満の場合、従来の画像取得装置のユーザが当該最適露光時間Ｔｃにおいて手振れする確率が高い場合であっても、従来の画像取得装置は、多重露光撮影を行うことができないため、手振れを防止することができないという問題点があった。
【００２２】
また、従来の画像取得装置では、多重露光撮影において、フレーム周期を考慮していないため、１枚の撮影時間Ｔ１がフレーム周期より短い場合、全体撮影時間Ｔｏが長くなり、手振れを防止することができないという問題点があった。
【００２３】
そこで、本発明は、以上の点に鑑みてなされたもので、手振れの発生履歴に応じて臨機応変に１枚撮影を多重露光撮影に切り替えることによって手振れを防止することを可能とする画像取得装置及びプログラムを提供することを目的とする。また、本発明は、フレーム周期を考慮することによって、多重露光撮影時の手振れを防止し、合成画像の画質を向上させることを可能とする画像取得装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２４】
本発明の第１の特徴は、レンズと絞りとを介して露光された撮像手段を用いて被写体画像を取得し、該被写体画像を用いて多重露光撮影を行う画像取得装置であって、前記絞りに対応する絞り値と、前記被写体の輝度とに基づいて、前記撮像手段の露光時間を算出する露光時間算出部と、前記レンズの焦点距離と、所定係数とに基づいて、所定時間を算出する所定時間算出部と、前記露光時間が、前記所定時間以上である場合、複数の被写体画像を取得し、該複数の被写体画像を合成することによって、前記被写体の合成画像を取得する前記多重露光撮影を行うことを決定する撮影方法決定部と、前記多重露光撮影において、前記複数の被写体画像間の動きを検出する動き検出部と、検出された動き量に基づいて、所定係数を更新する所定係数算出部と具備することを要旨とする。
【００２５】
かかる特徴によれば、多重露光撮影の度に、複数の被写体画像間の動き（手振れ）に基づいて、１枚撮影を多重露光撮影に切り替える基準値（所定時間）を変更可能であるため、手振れの発生に応じて、臨機応変に１枚撮影を多重露光撮影に切り替えることができる。
【００２６】
本発明の第１の特徴において、前記多重露光撮影において、前記露光時間と、前記所定時間とに基づいて、１枚の被写体画像を取得するために必要な１枚の露光時間と、前記合成画像を取得するために必要な前記複数の被写体画像の合成枚数と、前記複数の被写体画像を取得するために必要な全体撮影時間とを算出する多重露光撮影制御部を具備するように構成されていてもよい。
【００２７】
本発明の第１の特徴において、前記多重露光撮影制御部は、前記動きの補正効果を示す評価値によって、前記合成枚数の上限値を算出し、該上限値に基づいて前記合成枚数を算出するように構成されていてもよい。
【００２８】
かかる特徴によれば、合成枚数の上限値を算出することによって、合成枚数を制限することができるため、合成枚数の増加による合成画像の画質の低下を防ぐことができる。
【００２９】
本発明の第１の特徴において、前記多重露光撮影制御部は、前記１枚の露光時間が、フレーム周期より短い場合、前記フレーム周期に基づいて、前記全体撮影時間を算出するように構成されていてもよい。
【００３０】
本発明の第１の特徴において、前記多重露光撮影制御部は、前記１枚の露光時間が前記フレーム周期より短く、前記フレーム周期に基づいて算出した前記全体撮影時間が前記露光時間よりも長い場合、前記１枚の露光時間を長くし、該１枚の露光時間に基づいて、前記合成枚数と、前記全体撮影時間とを算出する構成されていてもよい。
【００３１】
かかる特徴によれば、多重露光撮影において、１枚の露光時間がフレーム周期より短い場合であっても、１枚の露光時間が長すぎずかつ全体撮影時間を抑制するように算出されることによって、長い１枚の露光時間による手振れを防ぐことができる。
【００３２】
本発明の第１の特徴において、前記多重露光撮影制御部は、前記１枚の露光時間が前記フレーム周期より短く、前記フレーム周期に基づいて算出した前記全体撮影時間が前記露光時間よりも長い場合、前記露光時間を前記全体撮影時間とし、該全体撮影時間に基づいて、前記１枚の露光時間と、前記合成枚数とを算出するように構成されていてもよい。
【００３３】
かかる特徴によれば、多重露光撮影において、１枚の露光時間がフレーム周期より短い場合であっても、全体撮影時間を抑制することができるため、長い全体撮影時間による手振れを防ぐことができる。
【００３４】
本発明の第２の特徴において、コンピュータにレンズと絞りとを介して露光された撮像手段を用いて被写体画像を取得し、該被写体画像を用いて多重露光撮影を行う画像取得方法を実行させるためのプログラムであって、前記絞りに対応する絞り値と、前記被写体の輝度とに基づいて、前記撮像手段の露光時間を算出する手順と、前記レンズの焦点距離と、所定係数とに基づいて、所定時間を算出する手順と、前記露光時間が、前記所定時間以上である場合、複数の被写体画像を取得し、該複数の被写体画像を合成することによって、前記被写体の合成画像を取得する前記多重露光撮影を行うことを決定する手順と、前記多重露光撮影において、前記複数の被写体画像間の動きを検出する手順と、検出された動き量に基づいて、所定係数を更新する手順とを有することを要旨とする。
【発明の効果】
【００３５】
以上説明したように、本発明によれば、手振れの発生履歴に応じて臨機応変に１枚撮影を多重露光撮影に切り替えることによって手振れを防止することを可能とする画像取得装置及びプログラムを提供することができる。また、本発明によれば、フレーム周期を考慮することによって、多重露光撮影時の手振れを防止し、合成画像の画質を向上させることを可能とする画像取得装置及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【００３６】
（本実施形態に係る画像取得装置の構成）
図１乃至図３を参照して、本実施形態に係る画像取得装置の構成について説明する。
【００３７】
図１に示すように、画像取得装置１００は、レンズ１１０と、絞り１２０と、撮像手段１３０と、撮像制御部１４０と、画像処理部１５０、動き検出・合成部１６０とを具備し、多重露光撮影及び１枚撮影を行うように構成されている。
【００３８】
ここで、被写体画像とは、光電変換画像又は撮影画像のいずれであってもよい。
【００３９】
光電変換画像とは、レンズ１１０と絞り１２０とを介して露光された撮像手段１３０が、光電変換を行い、電荷を蓄積し、蓄積した電荷を読み出すことによって、生成されるものである。
【００４０】
また、撮影画像とは、光電変換画像に所定の処理を施すことによって取得されるものである。所定の処理とは、例えば、デモザイク処理や色変換や階調変換処理やＪＰＥＧ圧縮処理等である。
【００４１】
例えば、画像取得装置１００は、デジタルスチルカメラや、静止画を撮影するデジタルビデオカメラによって構成されていてもよい。
【００４２】
レンズ１１０は、被写体からの光を撮像手段１３０に露光するように構成されている。
【００４３】
絞り１２０は、撮像手段１３０における露光量を調整するように構成されている。絞り１２０の開閉の度合いは、絞り値によって示される。
【００４４】
撮像手段１３０は、ＣＣＤやＣＭＯＳ等の撮像素子を具備し、レンズ１１０と絞り１２０とを介して露光され、光電変換を行い、電荷を蓄積し、蓄積した電荷を読み出すことによって、光電変換画像を生成するように構成されている。
【００４５】
フレーム周期（フレーム周期Ｔｆ）とは、撮像手段１３０が、蓄積した電荷の読み出しを開始してから当該光電変換画像を生成完了するまでの最短期間である。
【００４６】
撮像制御部１４０は、最適露光時間算出部１４１と、手振れ限界値記憶部１４２と、撮影方法決定部１４３と、多重露光撮影制御部１４４と、手振れ限界値算出部１４５とを具備するように構成されている。
【００４７】
最適露光時間算出部１４１は、絞り１２０に対応する絞り値と、被写体の輝度とに基づいて、最適露光時間Ｔｃを算出するように構成されている。
【００４８】
また、最適露光時間算出部１４１は、絞り１２０に対応する絞り値と、被写体の輝度と、ＩＳＯ感度とに基づいて、最適露光時間Ｔｃを算出するように構成されていてもよい。
【００４９】
ここで、ＩＳＯ感度とは、国際標準化機構ＩＳＯの定める規格（ＩＳＯ写真感度規格）に換算した値に相当する感度である。ＩＳＯ感度が高い場合、最適露光時間Ｔｃが短くても適正な露光状態で撮影可能であり、手振れを防止することができる。
【００５０】
手振れ限界値記憶部１４２は、図２（ａ）に示すように、焦点距離ｆと、最適露光時間Ｔｃと、基準手振れ閾値ＣＳＴＨ０（ｆ，Ｔｃ）（後述）とを関連付けて記憶するテーブル（以下、基準手振れ閾値テーブル）を記憶するように構成されている。
【００５１】
手振れ限界値記憶部１４２は、図２（ｂ）に示すように、焦点距離ｆと、最適露光時間Ｔｃと、手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）（後述）とを関連付けて記憶するテーブル（以下、手振れ閾値テーブル）を記憶するように構成されている。
【００５２】
手振れ限界値記憶部１４２は、図２（ｃ）に示すように、焦点距離ｆと、最適露光時間Ｔｃと、手振れ係数ＣＳＬ（ｆ，Ｔｃ）（後述）とを関連付けて記憶するテーブル（以下、手振れ係数テーブル）を記憶するように構成されている。
【００５３】
手振れ限界値記憶部１４２は、図２（ｄ）に示すように、焦点距離ｆと、手振れ限界値ＴＬとを関連付けて記憶するテーブル（以下、手振れ限界値テーブル）とを記憶するように構成されている。
【００５４】
ここで、手振れ限界値ＴＬとは、１枚撮影を行うか、又は多重露光撮影を行うかを決定する基準値となる所定の時間である。
【００５５】
撮影方法決定部１４３は、最適露光時間Ｔｃが手振れ限界値ＴＬ以上である場合、多重露光撮影を行うことを決定するように構成されている。
【００５６】
撮影方法決定部１４３は、手振れ限界値記憶部１４２の手振れ限界値テーブルを参照し、被写体の撮影時に設定された焦点距離ｆに関連付けれられた手振れ限界値ＴＬを取得するように構成されている。
【００５７】
また、撮影方法決定部１４３は、最適露光時間Ｔｃが手振れ限界値ＴＬ未満である場合、１枚撮影を行うことを決定するように構成されてもよい。
【００５８】
多重露光撮影制御部１４４は、多重露光撮影において、最適露光時間Ｔｃと、手振れ限界値ＴＬとに基づいて、１枚の被写体画像を取得するために必要な１枚の露光時間Ｔ１と、合成画像を取得するために必要な複数の被写体画像の合成枚数ｎと、当該複数の被写体画像を取得するために必要な全体撮影時間Ｔｏとを算出するように構成されている。
【００５９】
また、多重露光撮影制御部１４４は、算出した１枚の露光時間Ｔ１がフレーム周期Ｔｆより短い場合、フレーム周期Ｔｆに基づいて、全体撮影時間Ｔｏを算出するように構成されていてもよい。
【００６０】
また、多重露光撮影制御部１４４は、算出した１枚の露光時間Ｔ１がフレーム周期Ｔｆより短く、フレーム周期Ｔｆに基づいて算出した全体撮影時間Ｔｏが最適露光時間Ｔｃよりも長い場合、１枚の露光時間Ｔ１を長くし、当該１枚の露光時間Ｔ１に基づいて、合成枚数ｎと、全体撮影時間Ｔｏとを算出するように構成されていてもよい。
【００６１】
また、多重露光撮影制御部１４４は、算出した１枚の露光時間Ｔ１がフレーム周期Ｔｆより短く、フレーム周期Ｔｆに基づいて算出した全体撮影時間Ｔｏが最適露光時間Ｔｃよりも長い場合、最適露光時間Ｔｃを全体撮影時間Ｔｏとし、当該全体撮影時間Ｔｏに基づいて、１枚の露光時間Ｔ１と、合成枚数ｎとを算出するように構成されていてもよい。
【００６２】
また、多重露光撮影制御部１４４は、多重露光撮影において、後述する動き検出・合成部１６０において検出された動きの補正効果を示す評価値に基づいて、合成枚数ｎを算出するように構成されていてもよい。
【００６３】
ここで、動きの補正とは、後述する動き検出・合成部１６０において検出された複数の被写体画像間の動きに基づいて、合成画像に振れが生じないように、複数の被写体画像の位置を補正することである。
【００６４】
また、動きの補正効果を示す評価値（ｋ）とは、絞り値の段階によって、動きの補正効果を示す評価値である。
【００６５】
例えば、複数の被写体画像（露光時間＝１／６４秒で撮影）を補正して合成した合成画像が、被写体画像（露光時間＝１／８秒で撮影）と同等の画質を有する場合、補正効果は、絞り３段階分である。かかる場合、ｋは３となる。
【００６６】
また、多重露光撮影制御部１４４は、多重露光撮影において、ＩＳＯ感度に基づいて、合成枚数ｎを算出するように構成されていてもよい。
【００６７】
手振れ限界値算出部１４５は、焦点距離ｆと、手振れ係数ＣＳＬ（ｆ，Ｔｃ）とに基づいて、手振れ限界値ＴＬを算出し、手振れ限界値記憶部１４２の手振れ限界値テーブルに記憶するように構成されている。
【００６８】
また、手振れ限界値算出部１４５は、多重露光撮影において、複数の被写体画像間で検出された動き量に基づいて、所定係数である手振れ係数ＣＳＬ（ｆ，Ｔｃ）を更新するように構成されている。
【００６９】
具体的には、手振れ係数ＣＳＬ（ｆ，Ｔｃ）は、手振れ限界値記憶部１４２を参照し、手振れ画素数ＣＳＰＸ（ｆ，Ｔｃ）と、基準手振れ閾値ＣＳＴＨ０（ｆ，Ｔｃ）と、手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）とに基づいて算出され、手振れ限界値記憶部１４２の手振れ係数テーブルに更新されるように構成されている。
【００７０】
ここで、手振れ画素数ＣＳＰＸ（ｆ，Ｔｃ）とは、多重露光撮影において、後述する動き検出・合成部１６０によって検出された動き量である。
【００７１】
基準手振れ閾値ＣＳＴＨ０（ｆ，Ｔｃ）とは、被写体の撮影時に設定された焦点距離ｆ、最適露光時間Ｔｃにおいて、手振れが発生したとみなされる動き量の初期値である。
【００７２】
手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）とは、被写体の撮影時に設定された焦点距離ｆ、最適露光時間Ｔｃにおいて、手振れが発生したとみなされる動き量である。
【００７３】
また、手振れ係数ＣＳＬ（ｆ，Ｔｃ）は、手振れ係数ＣＳＬ（ｆ，Ｔｃ）を変化させるための所定係数であるゲインＣＳＧＡＩＮに基づいて、更新されるように構成されていてもよい。
【００７４】
画像処理部１５０は、撮像手段１３０において取得した光電変換画像に所定の処理を施して撮影画像を取得するように構成されている。
【００７５】
具体的には、画像処理部１５０は、光電変換画像に対して、デモザイク処理や色変換や階調変換処理やＪＰＥＧ圧縮処理等を施して撮影画像を取得するように構成されている。
【００７６】
動き検出・合成部１６０は、多重露光撮影において、複数の被写体画像を合成し、合成画像を取得するように構成されている。
【００７７】
また、動き検出・合成部１６０は、多重露光撮影において、複数の被写体画像間の動きを検出し、動き量を検出するように構成されている。
【００７８】
ここで、動き量（手振れ画素数ＣＳＰＸ（ｆ，Ｔｃ））とは、複数の被写体画像間で検出された動きを画素数で示すものである。
【００７９】
例えば、動き量（手振れ画素数ＣＳＰＸ（ｆ，Ｔｃ））は、複数の被写体画像間で、水平方向の動き（画素数）と、垂直方向の動き（画素数）とを比較し、大きい方の画素数としてもよい。
【００８０】
また、動き検出・合成部１６０は、多重露光撮影において、複数の被写体間の動きを補正して、当該複数の被写体画像を合成し、合成画像を取得するように構成されていてもよい。
【００８１】
例えば、図３に示すように、動き検出・合成部１６０は、多重露光撮影において、図３（ａ）と、図３（ｂ）とに示すような被写体画像を取得し、２枚の被写体画像間の動きを補正して、２枚の被写体画像を合成し、図３（ｃ）に示すような合成画像を取得するように構成されている。
【００８２】
かかる場合、動き検出・合成部１６０は、図３（ａ）と、図３（ｂ）との動きを特徴点抽出法等の公知の手法を用いて検出する。
【００８３】
かかる場合、図３（ｃ）に示すように、図３（ａ）と、図３（ｂ）との被写体画像間において、水平方向の動きは１画素、垂直方向の動きは３画素であるため、手振れ画素数ＣＳＰＸ（ｆ，Ｔｃ）は、３画素である。
【００８４】
（本発明の一実施形態に係る画像取得装置の動作）
以下、図４乃至図６を参照して、本実施形態に係る画像取得装置の動作について説明する。
【００８５】
図４は、本実施形態において、画像取得装置１００が、１枚撮影又は多重露光撮影を行う処理のフロー図である。
【００８６】
図４に示すように、ステップＳ１０１において、最適露光時間算出部１４１は、絞り１２０に対応する絞り値と、被写体の輝度とに基づいて、最適露光時間Ｔｃを算出する。
【００８７】
ステップＳ１０２において、撮影方法決定部１４３は、手振れ限界値記憶部１４２の手振れ限界値テーブルを参照し、被写体の撮影時に設定された焦点距離ｆに関連付けれられた手振れ限界値ＴＬを取得する。
【００８８】
ステップＳ１０３において、撮影方法決定部１４３は、手振れ限界値ＴＬを基準値として、１枚撮影を行うか、又は多重露光撮影を行うかを決定する。
【００８９】
具体的には、最適露光時間Ｔｃが手振れ限界値ＴＬ未満である場合、撮影方法決定部１４３は１枚撮影を行うことを決定し、本動作はステップＳ１０４に進む。最適露光時間Ｔｃが手振れ限界値ＴＬ以上である場合、撮影方法決定部１４３は多重露光撮影を行うことを決定し、本動作はステップＳ１０５に進む。
【００９０】
ステップＳ１０４において、画像取得装置１００は、１枚撮影を行う。
【００９１】
ステップＳ１０５において、多重露光撮影制御部１４４は、多重露光撮影において、１枚の被写体画像を取得するために必要な１枚の露光時間Ｔ１を算出する。具体的には、１枚の露光時間Ｔ１は、手振れ限界値ＴＬ以下とする。
【００９２】
ステップＳ１０６において、多重露光撮影制御部１４４は、多重露光撮影において合成画像を取得するために必要な複数の被写体画像の合成枚数ｎを算出する。例えば、合成枚数ｎは、「合成枚数ｎ＝最適露光時間Ｔｃ／（１枚の露光時間Ｔ１×Ｓ）」を用いて算出される。
【００９３】
ここで、上述の式におけるＳは、ＩＳＯ感度を決定するゲイン（感度）である。ＩＳＯ感度を決定するゲインが大きくなると、ＩＳＯ感度が高くなり、上述の式では、合成枚数ｎが減少する。
【００９４】
ステップＳ１０７において、多重露光撮影制御部１４４は、合成枚数ｎと、合成枚数ｎの上限値とを比較する。
【００９５】
例えば、合成枚数ｎの上限値は、上述した補正効果を示す評価値ｋを用いて、２kとしてもよい。
【００９６】
合成枚数ｎが上限値以下である場合、本動作はステップＳ１０９に進む。合成枚数ｎが上限値より大きい場合、本動作はステップＳ１０８に進む。
【００９７】
ステップＳ１０８において、多重露光撮影制御部１４４は、合成枚数ｎ抑制処理を行い、合成枚数ｎと、１枚の露光時間Ｔ１とを再度算出する。
【００９８】
具体的には、合成枚数ｎは、「合成枚数ｎ＝２k」を用いて算出される。１枚の露光時間Ｔ１は、「１枚の露光時間Ｔ１＝最適露光時間Ｔｃ／２k」を用いて算出される。
【００９９】
ステップＳ１０９において、多重露光撮影制御部１４４は、１枚の露光時間Ｔ１と、フレーム周期Ｔｆとを比較する。
【０１００】
１枚の露光時間Ｔ１がフレーム周期Ｔｆ以上である場合、本動作はステップＳ１１０に進む。１枚の露光時間Ｔ１がフレーム周期Ｔｆ未満である場合、本動作はステップＳ１１１に進む。
【０１０１】
ステップＳ１１０において、多重露光撮影制御部１４４は、多重露光撮影において複数の被写体画像を取得するために必要な全体撮影時間Ｔｏを算出する。具体的には、全体撮影時間Ｔｏは、「全体撮影時間Ｔｏ＝１枚の露光時間Ｔ１×合成枚数ｎ」を用いて算出され、最適露光時間Ｔｃと等しい。
【０１０２】
ステップＳ１１１において、多重露光撮影制御部１４４は、フレーム周期Ｔｆに基づいて、全体撮影時間撮像Ｔｏを算出する。具体的には、全体撮影時間Ｔｏは、「全体撮影時間Ｔｏ＝フレーム周期Ｔｆ×合成枚数ｎ」を用いて算出される。
【０１０３】
ステップＳ１１２において、多重露光撮影制御部１４４は、ステップＳ１１１において算出した全体撮影時間Ｔｏと、最適露光時間Ｔｃとを比較する。
【０１０４】
全体撮影時間Ｔｏが最適露光時間Ｔｃ以下である場合、本動作はステップＳ１１４に進む。全体撮影時間Ｔｏが最適露光時間Ｔｃ未満である場合、本動作はステップＳ１１３に進む。
【０１０５】
ステップＳ１１３において、多重露光撮影制御部１４４は、全体撮影時間Ｔｏ抑制処理を行う。具体的には、以下に示す通りである。
【０１０６】
図５は、本実施形態における、全体撮影時間Ｔｏ抑制処理のフロー図である。
【０１０７】
図５に示すように、ステップＳ２０１において、多重露光撮影制御部１４４は、１枚の露光時間Ｔ１を優先して算出するか、又は全体撮影時間Ｔｏを優先して算出するかを決定する。
【０１０８】
多重露光撮影制御部１４４が１枚の露光時間Ｔ１を算出し、当該１枚の露光時間Ｔ１に基づいて合成枚数ｎと全体撮影時間Ｔｏを算出する場合、本動作はステップＳ２０２に進む。多重露光撮影制御部１４４が全体撮影時間Ｔｏを算出し、当該全体撮影時間Ｔｏに基づいて１枚の露光時間Ｔ１と合成枚数ｎとを算出する場合、本動作はステップＳ２０６に進む。
【０１０９】
ステップＳ２０２において、多重露光撮影制御部１４４は、１枚の露光時間Ｔ１を長くする。
【０１１０】
具体的には、１枚の露光時間Ｔ１は、「１枚の露光時間Ｔ１＝手振れ限界値ＴＬ×係数Ｃ」を用いて算出される。
【０１１１】
係数Ｃは、１枚の露光時間Ｔ１を長くし、全体撮影時間Ｔｏを最適露光時間Ｔｃ程度に抑制するための係数である。例えば、係数Ｃは４としてもよい。
【０１１２】
ステップＳ２０３において、多重露光撮影制御部１４４は、ステップ２０２において算出した１枚の露光時間Ｔ１と、フレーム周期Ｔｆとを比較する。
【０１１３】
１枚の露光時間Ｔ１がフレーム周期Ｔｆ以下である場合、本動作はステップＳ２０５に進む。１枚の露光時間Ｔ１がフレーム周期Ｔｆより大きい場合、本動作はステップＳ２０４に進む。
【０１１４】
ステップＳ２０４において、多重露光撮影制御部１４４は、「１枚の露光時間Ｔ１＝フレーム周期Ｔｆ」とする。
【０１１５】
ステップＳ２０５において、多重露光撮影制御部１４４は、再算出した１枚の露光時間Ｔ１に基づいて、合成枚数ｎと、全体撮影時間Ｔｏとを算出する。
【０１１６】
具体的には、合成枚数ｎは、「合成枚数ｎ＝最適露光時間Ｔｃ×１枚の露光時間Ｔ１」を用いて算出される。全体撮影時間Ｔｏは、「全体撮影時間Ｔｏ＝フレーム周期Ｔｆ×合成枚数ｎ」を用いて算出される。
【０１１７】
ステップＳ２０６において、多重露光撮影制御部１４４は、「全体撮影時間Ｔｏ＝最適露光時間Ｔｃ」とする。
【０１１８】
ステップＳ２０７において、多重露光撮影制御部１４４は、再算出した全体撮影時間Ｔｏに基づいて、１枚の露光時間Ｔ１と、合成枚数ｎとを算出する。
【０１１９】
具体的には、１枚の露光時間Ｔ１は、「１枚の露光時間Ｔ１＝フレーム周期Ｔｆ」とする。合成枚数ｎは、「合成枚数ｎ＝最適露光時間Ｔｃ／１枚の露光時間Ｔ１」を用いて算出される。
【０１２０】
図４のステップＳ１１４において、画像取得装置１００は、算出した１枚の露光時間Ｔ１と合成枚数ｎと全体撮影時間Ｔｏに従って、多重露光撮影を行う。
【０１２１】
ステップＳ１１５において、手振れ限界値算出部１４５は、手振れ限界値ＴＬ算出処理を行う。具体的には、以下に示す通りである。
【０１２２】
図６は、本実施形態において、手振れ限界値ＴＬ算出処理のフロー図である。
【０１２３】
図６に示すように、ステップＳ３０１において、手振れ限界値算出部１４５は、動き検出・合成部１６０によって検出された動き量である手振れ画素数ＣＳＰＸ（ｆ，Ｔｃ）を取得する。
【０１２４】
ステップＳ３０２において、手振れ限界値算出部１４５は、手振れ限界値記憶部１４２の基準手振れ閾値テーブルを参照し、焦点距離ｆと、最適露光時間Ｔｃとに関連付けられた基準手振れ閾値ＣＳＴＨ０（ｆ，Ｔｃ）を取得する。
【０１２５】
また、手振れ限界値算出部１４５は、手振れ限界値記憶部１４２の手振れ係数テーブルを参照し、焦点距離ｆと、最適露光時間Ｔｃとに関連付けられた手振れ係数ＣＳＬ（ｆ，Ｔｃ）を取得する。
【０１２６】
また、手振れ限界値算出部１４５は、手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）を算出し、手振れ限界値記憶部１４２の手振れ閾値テーブルに、焦点距離ｆと、最適露光時間Ｔｃと、算出した手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）とを関連付けて記憶する。
【０１２７】
具体的には、手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）は、「手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）＝基準手振れ閾値ＣＳＴＨ０（ｆ，Ｔｃ）×手振れ係数ＣＳＬ（ｆ，Ｔｃ）」を用いて算出される。
【０１２８】
ステップＳ３０３において、手振れ限界値算出部１４５は、手振れ画素数ＣＳＰＸ（ｆ，Ｔｃ）と手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）とを比較する。
【０１２９】
手振れ画素数ＣＳＰＸ（ｆ，Ｔｃ）が手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）以上である場合、本動作はステップＳ３０４に進む。手振れ画素数ＣＳＰＸ（ｆ，Ｔｃ）が手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）未満である場合、本動作はステップＳ３０５に進む。
【０１３０】
ステップＳ３０４において、手振れ限界値算出部１４５は、正数であるＣＳＧＰをゲインＣＳＧＡＩＮに設定する。
【０１３１】
ステップＳ３０５において、手振れ限界値算出部１４５は、正数であるＣＳＭＰをゲインＣＳＧＡＩＮに設定する。
【０１３２】
ここで、ゲインＣＳＧＡＩＮとは、手振れ係数ＣＳＬ（ｆ，Ｔｃ）を調整するための所定の係数である。例えば、ＣＳＧＰは、ＣＳＭＰよりも大きくなるように設定されてもよい。
【０１３３】
ステップＳ３０６において、手振れ限界値算出部１４５は、手振れ係数ＣＳＬ（ｆ，Ｔｃ）を算出し、手振れ限界値記憶部１４２の手振れ係数テーブルに、焦点距離ｆと、最適露光時間Ｔｃと、手振れ係数ＣＳＬ（ｆ，Ｔｃ）とを関連付けて更新する。
【０１３４】
具体的には、手振れ係数ＣＳＬ（ｆ，Ｔｃ）は、「手振れ係数ＣＳＬ（ｆ，Ｔｃ）＋＝ゲインＣＳＧＡＩＮ×｛手振れ画素数ＣＳＰＸ（ｆ，Ｔｃ）−手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）｝」を用いて算出される。
【０１３５】
上述の式を用いることによって、手振れ限界値算出部１４５は、手振れ係数ＣＳＬ（ｆ，Ｔｃ）を、手振れ画素数ＣＳＰＸ（ｆ，Ｔｃ）と手振れ閾値ＣＳＴＨ（ｆ，Ｔｃ）との画素数の差に応じて、増減させることができる。
【０１３６】
ここで、手振れ係数ＣＳＬ（ｆ，Ｔｃ）の初期値は、１．０である。
【０１３７】
ステップＳ３０７において、手振れ限界値算出部１４５は、手振れ限界値ＴＬを算出し、手振れ限界値記憶部１４２の手振れ限界値テーブルに、焦点距離ｆと、手振れ限界値ＴＬとを関連付けて記憶する。
【０１３８】
具体的には、手振れ限界値ＴＬは、「手振れ限界値ＴＬ＝（１／ｆ）／手振れ係数ＣＳＬ（ｆ，Ｔｃ）」を用いて算出される。
【０１３９】
次に、図６に示す手振れ限界値ＴＬ算出処理についての一例を示す。
【０１４０】
以下において、焦点距離をｆ、基準手振れ閾値をＣＳＴＨ０（ｆ，Ｔｃ）、手振れ閾値をＣＳＴＨ（ｆ，Ｔｃ）、手振れ係数をＣＳＬ（ｆ，Ｔｃ）、手振れ画素数をＣＳＰＸ（ｆ，Ｔｃ）、ゲインをＣＳＧＡＩＮとする。
【０１４１】
例えば、ｆが６０ｍｍ、Ｔｃが１／６０秒、ＣＳＴＨ０（６０，１／６０）が５画素、ＣＳＬ（６０，１／６０）が１．０、ＴＬが１／６０秒である場合、動き検出によって算出されたＣＳＰＸ（６０，１／６０）が１０画素であるとする。
【０１４２】
かかる場合、ステップＳ３０２において、ＣＳＴＨ（６０，１／６０）は、５×１．０＝５（画素）と算出される。
【０１４３】
ステップＳ３０３において、ＣＳＰＸ（６０，１／６０）＝１０はＣＳＴＨ（６０，１／６０）＝５より大きいため、ステップＳ３０４において、例えばＣＳＧＰ＝０．１がＣＳＧＡＩＮに設定される。
【０１４４】
ステップＳ３０６において、ＣＳＬ（６０，１／６０）は、１．０＋０．１×（１０−５）＝１．５と算出される。
【０１４５】
ステップＳ３０７において、ＣＳＬ（６０，１／６０）は、（１／６０）／１．５＝１／９０と算出される。
【０１４６】
この結果、ＣＳＬ（６０，１／６０）は、１．０から１．５に更新されることによって、手振れ限界値ＴＬは、１／６０（秒）から１／９０（秒）となるため、次回の撮影においては、最適露光時間Ｔｃが１／９０秒以上の場合、多重露光撮影を行う。
【０１４７】
以上の動作を繰り替えすことによって、ユーザが手振れする露光時間に手振れ限界値ＴＬが収束する。
【０１４８】
（従来の画像取得装置と本発明の一実施形態に係る画像取得装置との比較）
以下において、図７及び図８を参照して、多重露光撮影時の手振れ防止効果について、従来の画像取得装置と本発明の一実施形態に係る画像取得装置とを比較して説明する。
【０１４９】
以下において、１枚の露光時間Ｔ１は、Ｔ１−ａ（秒）、Ｔ１−ｂ（秒）、Ｔ１−ｃ（秒）、Ｔ１−ｄ（秒）とする。フレーム周期Ｔｆは、Ｔｆ（秒）とする。最適露光時間Ｔｃは、Ｔｃ（秒）とする。全体撮影時間Ｔｏは、Ｔｏ−ａ（秒）、Ｔｏ−ｂ（秒）、Ｔｏ−ｃ（秒）、Ｔｏ−ｄ（秒）とする。合成枚数ｎは、ｎ（枚）とする。
【０１５０】
図７は、従来の画像取得装置における多重露光撮影を示す図である。
【０１５１】
図７（ａ）に示すように、従来の画像取得装置では、多重露光撮影において、１枚の露光時間Ｔ１−ａがフレーム周期Ｔｆよりも短い場合、全体撮影時間Ｔｏ−ａが長くなる。
【０１５２】
かかる場合、全体撮影時間Ｔｏ−ａが最適露光時間Ｔｃと比較し非常に長くなるため、手振れが発生し易い。
【０１５３】
図７（ｂ）に示すように、従来の画像取得装置において、全体撮影時間Ｔｏ−ｂを抑制すると、１枚の露光時間Ｔ１−ｂが長くなってしまう。
【０１５４】
かかる場合、１枚の露光時間Ｔ１−ｂが長くなるため、手振れが発生し易い。
【０１５５】
図８は、本発明の一実施形態に係る画像取得装置における多重露光撮影を示す図である。
【０１５６】
本発明の一実施形態に係る画像取得装置では、多重露光撮影において１枚の露光時間Ｔ１−ｃ及び１枚の露光時間Ｔ１−ｄが、フレーム周期Ｔｆよりも短く、全体撮影時間Ｔｏ−ｃ及び全体撮影時間Ｔｏ−ｄが、最適露光時間Ｔｃよりも長い場合、以下のように全体撮影時間Ｔｏ−ｃ及び全体撮影時間Ｔｏ−ｄを抑制する。
【０１５７】
図８（ａ）に示すように、１枚の露光時間Ｔ１−ｃが優先して算出される場合、１枚の露光時間Ｔ１−ｃが長くなりすぎず、かつ全体撮影時間Ｔｏ−ｃも抑制される。
【０１５８】
かかる場合、１枚の露光時間Ｔ１−ｃが短いため、手振れを防止することができる。また、全体撮影時間Ｔｏ−ｃも図７（ａ）に示す従来の画像取得装置における全体撮影時間Ｔｏ−ａと比べて非常に短いため、手振れが発生し難い。
【０１５９】
また、図８（ｂ）に示すように、全体撮影時間Ｔｏ−ｄが優先して算出される場合、全体撮影時間Ｔｏ−ｄが最適露光時間Ｔｃと等しくなる。
【０１６０】
かかる場合、全体撮影時間Ｔｏ−ｄが抑制されているため、手振れが発生し難い。また、１枚の露光時間Ｔ１−ｄも図７（ｂ）に示す従来の画像取得装置における１枚の露光時間Ｔ１−ｂと比べて短いため、手振れが発生し難い。
【０１６１】
（本発明の一実施形態に係る画像取得装置の作用・効果）
本実施形態に係る画像取得装置によれば、多重露光撮影の度に、複数の被写体画像間の動き（手振れ）に基づいて、１枚撮影を多重露光撮影に切り替える手振れ限界値ＴＬを変更可能であるため、手振れの発生に応じて、臨機応変に１枚撮影を多重露光撮影に切り替えることができる。
【０１６２】
本実施形態に係る画像取得装置によれば、合成枚数ｎの上限値を算出することによって、合成枚数ｎを制限することができるため、合成枚数ｎの増加による合成画像の画質の低下を防ぐことができる。
【０１６３】
本実施形態に係る画像取得装置によれば、多重露光撮影において、１枚の露光時間Ｔ１がフレーム周期Ｔｆより短い場合であっても、１枚の露光時間Ｔ１が長すぎずかつ全体撮影時間Ｔｏを抑制するように算出されることによって、長い１枚の露光時間Ｔ１による手振れを防ぐことができる。
【０１６４】
本実施形態に係る画像取得装置によれば、多重露光撮影において、１枚の露光時間Ｔ１がフレーム周期Ｔｆより短い場合であっても、全体撮影時間Ｔｏを抑制することができるため、長い全体撮影時間Ｔｏによる手振れを防ぐことができる。
【０１６５】
（その他の実施形態）
本発明は上記の実施形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
【０１６６】
このように、本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【図面の簡単な説明】
【０１６７】
【図１】本発明の一実施形態に係る画像取得装置のブロック構成を示す図である。
【図２】本発明の一実施形態に係る手振れ限界値記憶部の一例である。
【図３】本発明の一実施形態に係る画像取得装置における動きの検出を説明するための図である。
【図４】本発明の一実施形態に係る画像取得装置が１枚撮影又は多重露光撮影を行う動作を示すフローチャートである。
【図５】本発明の一実施形態に係る全体撮影時間抑制処理を示すフローチャートである。
【図６】本発明の一実施形態に係る手振れ限界値算出処理を示すフローチャートである。
【図７】従来の画像取得装置における多重露光撮影を説明するための図である。
【図８】本発明の一実施形態に係る画像取得装置における多重露光撮影を説明するための図である。
【図９】従来の画像取得装置における１枚撮影及び多重露光撮影を説明するための図である。
【図１０】従来の画像取得装置が１枚撮影又は多重露光撮影を行う動作を示すフローチャートである。
【図１１】従来の画像取得装置が１枚撮影又は多重露光撮影を行う決定する基準を説明するための図である。
【符号の説明】
【０１６８】
１００…画像取得装置
１１０…レンズ
１２０…絞り
１３０…撮像手段
１４０…撮像制御部
１４１…最適露光時間算出部
１４２…手振れ限界値記憶部
１４３…撮影方法決定部
１４４…多重露光撮影制御部
１４５…手振れ限界値算出部
１５０…画像処理部
１６０…動き検出・合成部
【図１】
2007104029.tif 000003
【図２】
2007104029.tif 000004
【図３】
2007104029.tif 000005
【図４】
2007104029.tif 000006
【図５】
2007104029.tif 000007
【図６】
2007104029.tif 000008
【図７】
2007104029.tif 000009
【図８】
2007104029.tif 000010
【図９】
2007104029.tif 000011
【図１０】
2007104029.tif 000012
【図１１】
2007104029.tif 000013