(57)【特許請求の範囲】
【請求項１】
撮像系からの時系列的に連続するＭビット階調幅の画像群を、出力系のＮビット階調幅（Ｍ、Ｎは自然数でＭ≧Ｎ）の画像群に変換して後段の処理系に出力する撮像システムにおいて、
上記Ｍビット階調幅の画像群の中から、上記撮像系により単位時間あたりに撮影される画像枚数、画像サイズ、露光条件、合焦条件、ホワイトバランス条件、ズーム位置、カメラ位置の少なくとも一つの撮影条件に基づいて、上記後段の処理系に対する負荷が増加しないように、画像サイズまたはフレーム数が大きくなるに従って長い時間間隔で１枚の画像を選択する選択手段と、
上記選択手段で順次選択された画像間の特性情報の変化を検出する検出手段と、
上記検出手段での検出結果に基づいて、上記選択手段により選択された画像の階調変換曲線を算出する算出手段と、
上記検出手段での検出結果に基づいて、上記特性情報の変化が検出されたときは上記算出手段で算出された新規の階調変換曲線を用いて、上記特性情報の変化が検出されないときは現在の階調変換曲線を用いて、それぞれ上記Ｍビット階調幅の画像群を上記Ｎビット階調幅の画像群に変換する階調変換手段と、
を有することを特徴とする撮像システム。
【請求項２】
撮像系からの時系列的に連続するＭビット階調幅の画像群を、出力系のＮビット階調幅（Ｍ、Ｎは自然数でＭ≧Ｎ）の画像群に変換して後段の処理系に出力する撮像システムにおいて、
上記Ｍビット階調幅の画像群の中から、上記撮像系により単位時間あたりに撮影される画像枚数、画像サイズ、露光条件、合焦条件、ホワイトバランス条件、ズーム位置、カメラ位置の少なくとも一つの撮影条件に基づいて、上記後段の処理系に対する負荷が増加しないように、画像サイズまたはフレーム数が大きくなるに従って長い時間間隔で１枚の画像を選択する選択手段と、
上記選択手段で順次選択された画像間の特性情報の変化を検出する検出手段と、
上記検出手段での検出結果に基づいて、上記選択手段により選択された画像の階調変換曲線を選択的に算出する算出手段と、
上記選択手段で選択された画像の特性情報および当該画像に対して上記算出手段で算出された階調変換曲線を組として複数記録する記録手段と、
上記検出手段での検出結果に基づいて、上記特性情報の変化が検出されたときは上記算出手段で算出された新規の階調変換曲線、または上記記録手段に記録されている過去の階調変換曲線を用いて、上記特性情報の変化が検出されないときは現在の階調変換曲線を用いて、それぞれ上記Ｍビット階調幅の画像群を上記Ｎビット階調幅の画像群に変換する階調変換手段と、
を有することを特徴とする撮像システム。
【請求項３】
請求項１または２に記載の撮像システムにおいて、
さらに、同一被写体に対して異なる露光条件で撮像した少なくとも二枚のフレームまたはフィールド単位の画像を合成して上記Ｍビットの階調幅の画像群を生成する合成手段を有することを特徴とする撮像システム。
【請求項４】
請求項１〜３のいずれか一項に記載の撮像システムにおいて、
上記選択手段は、上記選択された画像を縮小する縮小手段を有することを特徴とする撮像システム。
【請求項５】
請求項４に記載の撮像システムにおいて、
上記縮小手段は、上記時間間隔に基づいて、単位時間あたりに処理する情報量が一定値以下となるように上記選択された画像を適用的に縮小するよう構成されていることを特徴とする撮像システム。
【請求項６】
請求項１〜５のいずれか一項に記載の撮像システムにおいて、
上記検出手段は、
上記特性情報として、上記選択手段で選択された画像の平均輝度レベルを算出する輝度算出手段と、
上記輝度算出手段で算出された順次の画像間における平均輝度レベルの変化に基づいてシーン変化の有無を判断する判断手段と、
を有することを特徴とする撮像システム。
【請求項７】
請求項１〜５のいずれか一項に記載の撮像システムにおいて、
上記検出手段は、
上記特性情報として、上記選択手段で選択された順次の２枚の画像から動きベクトルを算出する動きベクトル算出手段と、
上記動きベクトル算出手段で算出された動きベクトルに基づいてシーン変化の有無を判断する判断手段と、
を有することを特徴とする撮像システム。
【請求項８】
請求項１〜５のいずれか一項に記載の撮像システムにおいて、
上記検出手段は、
上記特性情報として、上記選択手段で選択された画像からヒストグラムを算出するヒストグラム算出手段と、
上記ヒストグラム算出手段で算出された順次の画像間におけるヒストグラムの変化に基づいてシーン変化の有無を判断する判断手段と、
を有することを特徴とする撮像システム。
【請求項９】
請求項２または３に記載の撮像システムにおいて、
上記検出手段は、
上記選択手段で選択された画像の特性情報と上記記録手段に記録されている複数の特性情報との類似度を算出する類似度算出手段と、
上記類似度算出手段で算出された類似度が所定条件を満たす場合に、当該類似する特性情報と組をなす階調変換曲線を上記記録手段から読み出す読み出し手段と、
を有することを特徴とする撮像システム。
【請求項１０】
請求項１〜５のいずれか一項に記載の撮像システムにおいて、
上記検出手段は、
上記特性情報の変化として、上記選択手段で選択された画像の露光条件または合焦条件の撮影条件を検出する撮影条件検出手段と、
上記撮影条件検出手段で検出された順次の画像間における撮影条件の変化に基づいてシーン変化の有無を判断する判断手段と、
を有することを特徴とする撮像システム。
【請求項１１】
請求項１〜１０のいずれか一項に記載の撮像システムにおいて、
上記算出手段は、
上記選択手段で選択された画像を輝度信号と色差信号とに分離する分離手段と、
上記分離手段で分離された輝度信号レベルに基づいて適正露光域を抽出する抽出手段と、
上記抽出手段で抽出された適正露光域に関する特徴量を算出する特徴量算出手段と、
上記特徴量算出手段で算出された特徴量に基づいてヒストグラムを作成するヒストグラム作成手段と、
上記ヒストグラム作成手段で作成されたヒストグラムに基づいて階調変換曲線を算出する階調変換曲線算出手段と、
を有することを特徴とする撮像システム。
【請求項１２】
請求項１〜１１のいずれか一項に記載の撮像システムにおいて、
上記算出手段は、さらに、上記検出手段で特性情報の変化が検出された場合のみ、上記算出手段で階調変換曲線を算出させるように制御する制御手段を有することを特徴とする撮像システム。
【請求項１３】
請求項２または３に記載の撮像システムにおいて、
上記記録手段は、
上記特性情報および階調変換曲線を記録する特性情報・階調変換曲線記録手段と、
上記特性情報・階調変換曲線記録手段の記録領域の残量を監視する監視手段と、
上記階調変換手段から読み出された階調変換曲線の履歴を管理する履歴管理手段と、
上記監視手段での監視結果に基づいて、上記特性情報・階調変換曲線記録手段の記録領域の残量が所定値以下となった場合に、上記履歴管理手段での履歴監視結果に基づいて、最も読み出し回数の少ない特性情報および階調変換曲線を上記特性情報・階調変換曲線記録手段から破棄する破棄手段と、
を有することを特徴とする撮像システム。
【請求項１４】
請求項１〜１３のいずれか一項に記載の撮像システムにおいて、
さらに、標準階調変換曲線を記録する標準階調変換曲線記録手段と、
電源投入時などの初期化状況を検出する初期化検出手段と、
上記初期化検出手段の出力に基づいて上記標準階調変換曲線記録手段に記録されている標準階調変換曲線を上記階調変換手段へ転送する転送手段と、
を有することを特徴とする撮像システム。
【請求項１５】
請求項１〜１３のいずれか一項に記載の撮像システムにおいて、
さらに、標準階調変換曲線を記録する標準階調変換曲線記録手段と、
上記撮像系から単位時間あたりに撮影される画像枚数、画像サイズ、露光条件、合焦条件、ホワイトバランス条件、ズーム位置、カメラ位置の少なくとも一つに基づいて撮影条件の変化を検出する撮影条件検出手段と、
上記撮影条件検出手段での検出結果に基づいて上記標準階調変換曲線記録手段に記録されている標準階調変換曲線を上記階調変換手段へ転送する転送手段と、
上記撮影条件検出手段での検出結果に基づいて上記選択手段における画像選択の時間間隔を零に設定して現時点の画像を選択させるリセット手段と、
を有することを特徴とする撮像システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を時系列的に得る撮像系の階調幅が、出力系における階調幅より広い撮像システムに係わり、階調幅を適用的に変換する階調変換曲線の更新を適切に行うことで高画質な出力画像を得る撮像システムに関するものである。
【０００２】
【従来の技術】
例えば、デジタルビデオカメラにおいては、デジタル系信号処理の桁落ちによる画質劣化を防止するため、最終的な出力画像の階調幅(通常８ビット)に対して、入力および処理系における画像の階調幅をより広く、通常１０〜１２ビット程度に設定している。この場合、出力系の階調幅に合致するように階調変換を行う必要がある。また、露光量の異なる複数枚の画像を合成することで、より階調幅の広い広ダイナミックレンジ画像を生成する手法も提案されている。この場合も、得られた広ダイナミックレンジ画像を、出力系の階調幅に合致するように階調変換する必要がある。
【０００３】
上記の階調変換を行なう方法として、従来、標準的なシーンに合わせた固定的なガンマ曲線や、ヒストグラムなどに基づく適用的な階調変換曲線により階調変換を行なったり、あるいは特開２０００−３０７８９６号公報に開示されているように、一定時間毎に画像を取り込み、その取り込んだ画像の特定領域（例えば、画像中央）の輝度統計量に基づいて階調変換を行なったりする方法が提案されている。
【０００４】
【発明が解決しようとする課題】
ところが、階調変換をガンマ変換などで固定的に行なう場合には、変化するシーンに応じて適切な階調変換を行なうことができず、また階調変換をヒストグラムなどに基づく適用的な階調変換曲線により行なう場合には、撮影時のシーン変化に合わせて、適切なタイミングで階調変換曲線を算出しないと、適切な階調変換を行なうことができないという問題がある。
【０００５】
また、上記の特開２０００−３０７８９６号公報に開示されているように、一定時間毎に画像を取り込み、その特定領域の輝度統計量に基づいて階調変換を行なう場合には、シーン変化が無く階調変換曲線を算出する必要のない場合でも算出することになるため無駄が多く、また、シーン変化が発生しても、タイミングが合わないと階調変換曲線が算出されないため、シーン変化に応じて適切な階調変換を行なうことができないという問題がある。
【０００６】
さらに、画像中央などの特定領域を設定しているため、それ以外の領域でのシーン変化の検出に対応できないという問題があると共に、定期的に階調変換曲線が更新されるため、画面の安定性を損なうという問題もある。
【０００７】
また、最近ではネットワークによる動画配信なども行われている。この場合、画像サイズやフレームレートなどが配信の条件により変化するが、上記の従来技術では、画像サイズやフレームレートの変化に対応して階調変換曲線を算出するタイミングを自動的に調整することができないため、適切な階調変換を行なうことができないという問題がある。
【０００８】
したがって、かかる点に鑑みてなされた本発明の目的は、時系列的に得られる画像の階調幅を変換する階調変換曲線を算出するタイミングを、被写体の画面位置や微小な画面変化に影響されることなく、シーン変化や撮影条件の変化に合わせて自動的に最適に調整でき、常に適切に階調変換できると共に、安定した階調変換画面が得られる撮像システムを提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成する請求項１に係る発明は、撮像系からの時系列的に連続するＭビット階調幅の画像群を、出力系のＮビット階調幅（Ｍ、Ｎは自然数でＭ≧Ｎ）の画像群に変換して後段の処理系に出力する撮像システムにおいて、
上記Ｍビット階調幅の画像群の中から、上記撮像系により単位時間あたりに撮影される画像枚数、画像サイズ、露光条件、合焦条件、ホワイトバランス条件、ズーム位置、カメラ位置の少なくとも一つの撮影条件に基づいて、上記後段の処理系に対する負荷が増加しないように、画像サイズまたはフレーム数が大きくなるに従って長い時間間隔で１枚の画像を選択する選択手段と、
上記選択手段で順次選択された画像間の特性情報の変化を検出する検出手段と、
上記検出手段での検出結果に基づいて、上記選択手段により選択された画像の階調変換曲線を算出する算出手段と、
上記検出手段での検出結果に基づいて、上記特性情報の変化が検出されたときは上記算出手段で算出された新規の階調変換曲線を用いて、上記特性情報の変化が検出されないときは現在の階調変換曲線を用いて、それぞれ上記Ｍビット階調幅の画像群を上記Ｎビット階調幅の画像群に変換する階調変換手段と、
を有することを特徴とするものである。
【００１０】
請求項１に係る発明によると、選択手段において撮影条件に基づいて適切なタイミングで画像が抽出され、その抽出された順次の画像の特性情報の変化が検出手段で検出されたときは、選択手段で抽出された画像に基づいて算出手段で階調変換曲線が算出され、その新たに算出された階調変換曲線を用いて階調変換手段によりＭビット階調幅の画像群がＮビット階調幅の画像群に変換され、検出手段で特性情報の変化が検出されないときは、階調変換手段において現在使用している階調変換曲線でＭビット階調幅の画像群がＮビット階調幅の画像群に変換されるので、無駄な計算を省いてシーン変化に合わせて自動的に適切なタイミングで階調変換曲線を設定することができ、したがってシーン変化に対して常に適切に階調変換でき、高品位で安定した階調変換画面を得ることができる。
【００１１】
請求項２に係る発明は、撮像系からの時系列的に連続するＭビット階調幅の画像群を、出力系のＮビット階調幅（Ｍ、Ｎは自然数でＭ≧Ｎ）の画像群に変換して後段の処理系に出力する撮像システムにおいて、
上記Ｍビット階調幅の画像群の中から、上記撮像系により単位時間あたりに撮影される画像枚数、画像サイズ、露光条件、合焦条件、ホワイトバランス条件、ズーム位置、カメラ位置の少なくとも一つの撮影条件に基づいて、上記後段の処理系に対する負荷が増加しないように、画像サイズまたはフレーム数が大きくなるに従って長い時間間隔で１枚の画像を選択する選択手段と、
上記選択手段で順次選択された画像間の特性情報の変化を検出する検出手段と、
上記検出手段での検出結果に基づいて、上記選択手段により選択された画像の階調変換曲線を選択的に算出する算出手段と、
上記選択手段で選択された画像の特性情報および当該画像に対して上記算出手段で算出された階調変換曲線を組として複数記録する記録手段と、
上記検出手段での検出結果に基づいて、上記特性情報の変化が検出されたときは上記算出手段で算出された新規の階調変換曲線、または上記記録手段に記録されている過去の階調変換曲線を用いて、上記特性情報の変化が検出されないときは現在の階調変換曲線を用いて、それぞれ上記Ｍビット階調幅の画像群を上記Ｎビット階調幅の画像群に変換する階調変換手段と、
を有することを特徴とするものである。
【００１２】
請求項２に係る発明によると、選択手段において撮影条件に基づいて適切なタイミングで画像が抽出され、その抽出された順次の画像の特性情報の変化が検出手段で検出され、かつ当該画像の特性情報に対応する特性情報が記録手段に記録されていないときは、選択手段で抽出された画像に基づいて算出手段で階調変換曲線が算出されて、その新たに算出された階調変換曲線とそのシーンを特徴付ける当該画像の特性情報とが組として記録手段に記録されると共に、その新たに算出された階調変換曲線を用いて階調変換手段によりＭビット階調幅の画像群がＮビット階調幅の画像群に変換される。また、検出手段で特性情報の変化が検出され、かつその特性情報に対応する特性情報が記録手段に記録されているときは、記録手段に記録されている特性情報と対応する階調変換曲線を用いて階調変換手段によりＭビット階調幅の画像群がＮビット階調幅の画像群に変換され、検出手段で特性情報の変化が検出されないときは、算出手段で階調変換曲線を算出することなく、階調変換手段において現在使用している階調変換曲線でＭビット階調幅の画像群がＮビット階調幅の画像群に変換される。したがって、シーン変化に合わせて自動的に適切なタイミングで階調変換曲線を設定することができると共に、無駄な計算を省いてシーン変化に対して迅速かつ適切に階調変換でき、高品位で安定した階調変換画面を得ることができる。
【００１３】
請求項３に係る発明は、請求項１または２に記載の撮像システムにおいて、
さらに、同一被写体に対して異なる露光条件で撮像した少なくとも二枚のフレームまたはフィールド単位の画像を合成して上記Ｍビットの階調幅の画像群を生成する合成手段を有することを特徴とするものである。
【００１４】
請求項３に係る発明によると、異なる露光の画像を合成して１枚の広ダイナミックレンジの画像を生成することで、撮像系で扱うことのできる階調幅以上の画像から階調変換を行うので、黒潰れや白飛びの少ないより高品位な画像を得ることができる。
【００１５】
しかも、請求項１，２または３に記載の撮像システムにおいては、
上記選択手段は、上記撮像系により単位時間あたりに撮影される画像枚数、画像サイズ、露光条件、合焦条件、ホワイトバランス条件、ズーム位置、カメラ位置の少なくとも一つの撮影条件に基づいて、上記後段の処理系に対する負荷が増加しないように、画像サイズまたはフレーム数が大きくなるに従って長い時間間隔を設定するので、選択手段において撮影状況に応じたタイミングで画像が選択され、シーン変化の検出能が向上する。
【００１７】
請求項４に係る発明は、請求項１〜３のいずれか一項に記載の撮像システムにおいて、
上記選択手段は、上記選択された画像を縮小する縮小手段を有することを特徴とするものである。
【００１８】
請求項４に係る発明によると、選択手段において選択した画像を縮小して出力するので、後段の処理を軽減でき、低コストのシステムを実現することができる。また、縮小する段階で画像の微小変化が吸収されるので、算出手段で算出される階調変換曲線の特性が安定し、したがってそれにより階調変換される画像が見易くなる。さらに、特定領域ではなく画像全体からシーン変化を検出することができるので、被写体の位置によらないシーン変化の検出が可能となる。
【００１９】
請求項５に係る発明は、請求項４に記載の撮像システムにおいて、
上記縮小手段は、上記時間間隔に基づいて、単位時間あたりに処理する情報量が一定値以下となるように上記選択された画像を適用的に縮小するよう構成されていることを特徴とするものである。
【００２０】
請求項５に係る発明によると、画像が選択される時間間隔に応じて単位時間あたりに処理する情報量が一定となるよう選択された画像を縮小するので、後段の処理が追随できず遅延したタイミングで階調変換が行なわれるのを防止できる。また、後段の処理が軽減されるので、低コストのシステムを実現できると共に、縮小する段階で画像の微小変化が吸収されるので、後段の算出手段において安定した階調変換曲線を算出することができる。さらに、特定領域ではなく画像全体からシーン変化を検出することができるので、被写体の位置によらないシーン変化の検出が可能となる。
【００２１】
請求項６に係る発明は、請求項１〜５のいずれか一項に記載の撮像システムにおいて、
上記検出手段は、
上記特性情報として、上記選択手段で選択された画像の平均輝度レベルを算出する輝度算出手段と、
上記輝度算出手段で算出された順次の画像間における平均輝度レベルの変化に基づいてシーン変化の有無を判断する判断手段と、
を有することを特徴とするものである。
【００２２】
請求項６に係る発明によると、選択された画像の輝度値の時系列的な変化からシーン変化を検出するので、少ない演算量および低コストな処理系でシーン変化を検出することができる。
【００２３】
請求項７に係る発明は、請求項１〜５のいずれか一項に記載の撮像システムにおいて、
上記検出手段は、
上記特性情報として、上記選択手段で選択された順次の２枚の画像から動きベクトルを算出する動きベクトル算出手段と、
上記動きベクトル算出手段で算出された動きベクトルに基づいてシーン変化の有無を判断する判断手段と、
を有することを特徴とするものである。
【００２４】
請求項７に係る発明によると、動きベクトルの時系列的な変化に基づいてシーン変化を検出するので、主要被写体に重きを置いた階調変換が可能となり、高品位な画像を得ることができる。
【００２５】
請求項８に係る発明は、請求項１〜５のいずれか一項に記載の撮像システムにおいて、
上記検出手段は、
上記特性情報として、上記選択手段で選択された画像からヒストグラムを算出するヒストグラム算出手段と、
上記ヒストグラム算出手段で算出された順次の画像間におけるヒストグラムの変化に基づいてシーン変化の有無を判断する判断手段と、
を有することを特徴とするものである。
【００２６】
請求項８に係る発明によると、ヒストグラムの時系列的な変化からシーン変化を検出するので、比較的少ない演算量および低コストな処理系でシーン変化を検出することができる。また、暗部や明部を除いた中間の階調に重きを置くことで、シーン変化の検出能を向上することができる。
【００２７】
請求項９に係る発明は、請求項２または３に記載の撮像システムにおいて、
上記検出手段は、
上記選択手段で選択された画像の特性情報と上記記録手段に記録されている複数の特性情報との類似度を算出する類似度算出手段と、
上記類似度算出手段で算出された類似度が所定条件を満たす場合に、当該類似する特性情報と組をなす階調変換曲線を上記記録手段から読み出す読み出し手段と、
を有することを特徴とするものである。
【００２８】
請求項９に係る発明によると、シーン変化が検出された場合には、記録手段に記録されている過去の特性情報との類似性を求め、類似性が高い場合にはその過去の特性情報と組をなして記録されている過去の階調変換曲線を用いて階調変換が行なわれるので、類似するシーンの場合には階調変換曲線を算出する手間を省略することが可能となり、高速処理が可能となる。
【００２９】
請求項１０に係る発明は、請求項１〜６のいずれか一項に記載の撮像システムにおいて、
上記検出手段は、
上記特性情報の変化として、上記選択手段で選択された画像の露光条件または合焦条件の撮影条件を検出する撮影条件検出手段と、
上記撮影条件検出手段で検出された順次の画像間における撮影条件の変化に基づいてシーン変化の有無を判断する判断手段と、
を有することを特徴とするものである。
【００３０】
請求項１０に係る発明によると、画像の露光条件または合焦条件の撮影条件の変化に基づいてシーン変化が検出されるので、撮影条件の変化に合わせて自動的に適切なタイミングで階調変換曲線を設定することができる。
【００３１】
請求項１１に係る発明は、請求項１〜１０のいずれか一項に記載の撮像システムにおいて、
上記算出手段は、
上記選択手段で選択された画像を輝度信号と色差信号とに分離する分離手段と、
上記分離手段で分離された輝度信号レベルに基づいて適正露光域を抽出する抽出手段と、
上記抽出手段で抽出された適正露光域に関する特徴量を算出する特徴量算出手段と、
上記特徴量算出手段で算出された特徴量に基づいてヒストグラムを作成するヒストグラム作成手段と、
上記ヒストグラム作成手段で作成されたヒストグラムに基づいて階調変換曲線を算出する階調変換曲線算出手段と、
を有することを特徴とするものである。
【００３２】
請求項１１に係る発明によると、選択手段で選択された画像の適正露光域における特徴量を表わすヒストグラムに基づいて階調変換曲線が算出されるので、平坦な背景部を除去して主要被写体に重きを置いた階調変換曲線を算出することができ、高品位な画像を得ることができる。
【００３３】
請求項１２に係る発明は、請求項１〜１１のいずれか一項に記載の撮像システムにおいて、
上記算出手段は、さらに、上記検出手段で特性情報の変化が検出された場合のみ、上記算出手段で階調変換曲線を算出させるように制御する制御手段を有することを特徴とするものである。
【００３４】
請求項１２に係る発明によると、シーン変化が検出された場合のみ、階調変換曲線が算出されるので、不必要な階調変換曲線の算出を省略でき、高速処理が可能になると共に、後段の処理の負担を軽減することができる。
【００３５】
請求項１３に係る発明は、請求項２または３に記載の撮像システムにおいて、
上記記録手段は、
上記特性情報および階調変換曲線を記録する特性情報・階調変換曲線記録手段と、
上記特性情報・階調変換曲線記録手段の記録領域の残量を監視する監視手段と、
上記階調変換手段から読み出された階調変換曲線の履歴を管理する履歴管理手段と、
上記監視手段での監視結果に基づいて、上記特性情報・階調変換曲線記録手段の記録領域の残量が所定値以下となった場合に、上記履歴管理手段での履歴監視結果に基づいて、最も読み出し回数の少ない特性情報および階調変換曲線を上記特性情報・階調変換曲線記録手段から破棄する破棄手段と、
を有することを特徴とするものである。
【００３６】
請求項１３に係る発明によると、画像の特性情報および階調変換曲線を記録する特性情報・階調変換曲線記録手段における記録領域の残量が少なくなった場合は、読み出し回数が最少の階調変換曲線およびそれに対応する特性情報から破棄されるので、シーン変化が生じた場合に、過去に使用された頻度の高いものが優先的に保存され続けることになり、高速な処理を実現することが可能となる。
【００３７】
請求項１４に係る発明は、請求項１〜１３のいずれか一項に記載の撮像システムにおいて、
さらに、標準階調変換曲線を記録する標準階調変換曲線記録手段と、
電源投入時などの初期化状況を検出する初期化検出手段と、
上記初期化検出手段の出力に基づいて上記標準階調変換曲線記録手段に記録されている標準階調変換曲線を上記階調変換手段へ転送する転送手段と、
を有することを特徴とするものである。
【００３８】
請求項１４に係る発明によると、初期化状況と判断された場合には、予め記録されている標準となる階調変換曲線が設定されるので、電源投入時などの階調変換曲線が算出されていない状況においても、階調変換が可能となる。
【００３９】
請求項１５に係る発明は、請求項１〜１３のいずれか一項に記載の撮像システムにおいて、
さらに、標準階調変換曲線を記録する標準階調変換曲線記録手段と、
上記撮像系から単位時間あたりに撮影される画像枚数、画像サイズ、露光条件、合焦条件、ホワイトバランス条件、ズーム位置、カメラ位置の少なくとも一つに基づいて撮影条件の変化を検出する撮影条件検出手段と、
上記撮影条件検出手段での検出結果に基づいて上記標準階調変換曲線記録手段に記録されている標準階調変換曲線を上記階調変換手段へ転送する転送手段と、
上記撮影条件検出手段での検出結果に基づいて上記選択手段における画像選択の時間間隔を零に設定して現時点の画像を選択させるリセット手段と、
を有することを特徴とするものである。
【００４０】
請求項１５に係る発明によると、撮影条件が変更された場合には標準的な階調変換曲線が設定されるので破綻の少ない階調変換画像を得ることができると共に、変更直後の画像で新規の階調変換曲線が算出されるので、短時間で高品位な階調変換画像を生成することができる。
【００４１】
【発明の実施の形態】
以下、本発明による撮像システムの実施の形態について、図１〜図１０を参照して説明する。
【００４２】
図１〜図６は本発明の第１実施の形態を示すもので、図１は撮像システム全体の構成を示すブロック図、図２は図１に示す選択部の一例の構成を示すブロック図、図３は選択部における時間設定用関数の説明図、図４は図１に示す検出部の一例の構成を示すブロック図、図５は図１に示す算出部の一例の構成を示すブロック図、図６は図１に示す階調変換部の一例の構成を示すブロック図である。
【００４３】
図１に示す撮像システムでは、動画等の映像を、レンズ系１００、絞り１０１、ローパスフィルタ１０２および単板式のＣＣＤ１０３を有する撮像系で撮影し、この撮像系のＣＣＤ１０３から出力されるアナログ映像信号をＡ／Ｄ変換器１０４でデジタル信号に変換して、画像用バッファ１０５を介して測光評価部１０６、合焦点検出部１０７および信号処理部１０９へそれぞれ転送する。
【００４４】
測光評価部１０６は、絞り１０１およびＣＣＤ１０３にそれぞれ接続し、合焦点検出部１０７はＡＦモータ１０８に接続する。また、信号処理部１０９は、階調変換部（階調変換手段）１１０およびＤ／Ａ変換器１１１を経てモニタやビデオレコーダなどの出力部１１２に接続すると共に、選択部（選択手段）１１３を経て検出部（検出手段）１１４および算出部（算出手段）１１５にそれぞれ接続する。また、階調変換部１１０には、算出部１１５および標準階調曲線ＲＯＭ（標準階調曲線記録手段）１１６をそれぞれ接続する。
【００４５】
上記の測光評価部１０６、合焦点検出部１０７、信号処理部１０９、階調変換部１１０、出力部１１２、選択部１１３、検出部１１４、算出部１１５は、さらにマイクロコンピュータなどの制御部１１７に接続し、制御部１１７には、さらに電源スイッチ、シャッタボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備えた外部Ｉ／Ｆ部１１８を接続する。ここで、制御部１１７は全体の動作を制御する制御手段を構成する他、初期化検出手段、撮影条件検出手段およびリセット手段も構成する。なお、図１、図２および図４〜図６において、太線の実線で示す信号ラインは映像信号ラインを示し、細線の実線で示す信号ラインは制御信号ラインを示し、破線で示す信号ラインはその他のデータラインを示している。
【００４６】
図１に示す撮像システムは、使用者が外部Ｉ／Ｆ部１１８を介して画像サイズやフレーム数などの撮影条件を指定し、その後、シャッタボタンを押すことにより撮影を開始する。この撮影開始によりＣＣＤ１０３から得られる映像信号は、Ａ／Ｄ変換器１０４でデジタル信号に変換して画像用バッファ１０５へ転送して格納する。本実施の形態では、デジタル化された信号の階調幅を例えば１２ビットとする。
【００４７】
画像用バッファ１０５へ転送された映像信号は、測光評価部１０６および合焦点検出部１０７へそれぞれ転送する。測光評価部１０６では、映像信号から画像中の輝度レベル（露光条件）を算出し、その輝度レベルに基づいて適正露光となるように絞り１０１やＣＣＤ１０３の電子シャッタ速度などを制御する。また、合焦点検出部１０７では、映像信号から画像中のエッジ強度（合焦条件）を検出し、そのエッジ強度が最大となるように、すなわち合焦画像が得られるようにＡＦモータ１０８を制御する。これら測光評価部１０６で算出された露光条件、および合焦点検出部１０７で検出された合焦条件などの撮影時の条件は、制御部１１７へ転送する。
【００４８】
信号処理部１０９では、制御部１１７の制御のもとに、画像用バッファ１０５上の単板状態の映像信号を読み込み、その映像信号に基づいて公知の補間処理、ホワイトバランス処理、強調処理などを行なって三板状態の映像信号を生成し、その生成した映像信号を選択部１１３により所定時間間隔で選択して検出部１１４へ転送する。
【００４９】
検出部１１４では、選択された映像信号（画像）から所定の特性情報を算出し、その算出した特性情報と、前回選択された画像から既に算出されている特性情報とを比較してシーン変化の有無を検出し、その結果を制御部１１７へ転送する。
【００５０】
制御部１１７では、検出部１１４からの信号に基づいて、シーン変化が検出された場合には、算出部１１５において選択部１１３で選択された画像に基づいて新たな階調変換曲線を算出して階調変換部１１０へ転送するように制御する。
【００５１】
これに対し、シーン変化が検出されなかった場合には、算出部１１５で新たな階調変換曲線を算出することなく、階調変換部１１０において現在使用している階調変換曲線の使用を継続させるように制御する。なお、電源投入時などの初期化状況を制御部１１７が検知した場合は、階調変換部１１０において標準階調曲線ＲＯＭ１１６に格納されている階調変換曲線を読み込むように制御する。
【００５２】
階調変換部１１０では、上記のようにして得られた階調変換曲線に基づいて信号処理部１０９からの信号を出力系の階調幅に整合するように変換する。本実施の形態では、出力系の階調幅を、例えば８ビットとする。この階調変換部１１０から出力されるデジタル映像信号は、Ｄ／Ａ変換器１１１でアナログの映像信号に変換して、モニタやビデオレコーダなどの出力部１１２へ出力する。
【００５３】
次に、上記の選択部１１３、検出部１１４、算出部１１５、および階調変換部１１０の各部の詳細な構成および動作について説明する。
【００５４】
図２は、選択部１１３の一例の構成を示すブロック図である。この選択部１１３は、時間設定部（時間設定手段）２００、関数用ＲＯＭ２０１、画像読み込み部２０２、縮小部（縮小手段）２０３、縮小画像用バッファ２０４を有している。時間設定部２００は、制御部１１７、関数用ＲＯＭ２０１および画像読み込み部２０２に接続し、画像読み込み部２０２は、さらに制御部１１７、信号処理部１０９および縮小部２０３に接続し、縮小部２０３は、さらに縮小画像用バッファ２０４に接続し、縮小画像用バッファ２０４は、さらに検出部１１４および算出部１１５にそれぞれ接続する。
【００５５】
時間設定部２００には、制御部１１７を経て測光評価部１０６、合焦点検出部１０７、外部Ｉ／Ｆ部１１８からの情報を転送する。時間設定部２００では、外部Ｉ／Ｆ部１１８から得られる画像サイズやフレーム数などの情報に基づいて関数用ＲＯＭ２０１に設定された関数から画像を選択する時間間隔を決定する。
【００５６】
図３は、関数用ＲＯＭ２０１に設定される時間設定用関数の一例を示すものである。この時間設定関数は、後段の処理系に対する負荷が増加しないように、画像サイズまたはフレーム数が大きくなるに従って時間間隔が長く設定されるようになっている。
【００５７】
なお、フレーム数が０の場合は静止画像撮影を意味し、この場合の時間間隔は０となり、全ての画像が選択されることになる。また、時間設定部２００は、測光評価部１０６、合焦点検出部１０７からの測光、合焦条件が急変した場合にはシーン変化が生じたと判断し、時間間隔を０に設定する。これ以外にも、ホワイトバランス、レンズのズーム位置、カメラの移動などの情報を用いてシーン変化を検出することも可能である。さらに、シーン変化量が所定値を越えて、現在の階調変換曲線では画像が破綻する可能性が高い場合には、新たな階調変換曲線の算出を待たずに標準階調曲線ＲＯＭ１１６の階調変換曲線へ切り換えることも可能である。また、上記の時間設定用関数を複数用意して、目的に応じて切り換えるなどの拡張も可能である。
【００５８】
画像読み込み部２０２は、時間設定部２００による制御に基づいて所定の時間間隔で信号処理部１０９からの信号を読み込んで縮小部２０３へ転送する。縮小部２０３は、予め定められた縮小率、例えば１／８等で画像を縮小処理し、縮小画像用バッファ２０４へ転送して格納する。なお、縮小部２０３における縮小率は、固定にする必要はなく、可変にしても良い。例えば、縮小画像サイズと選択する時間間隔とから単位時間内の情報量を求め、この情報量が一定値以下になるように縮小率を制御することも可能である。
【００５９】
縮小画像用バッファ２０４は、複数枚の縮小画像を記録できるリング状バッファで、バッファが一杯になると古い画像から上書きするように構成する。この縮小画像用バッファ２０４内の縮小画像は、検出部１１４または算出部１１５へ転送する。
【００６０】
図４は、検出部１１４の一例の構成を示すブロック図である。この検出部１１４は、輝度算出部（輝度算出手段）３００、輝度値用バッファ３０１、および判断部（判断手段）３０２を有している。輝度算出部３００は、制御部１１７および選択部１１３にそれぞれ接続すると共に、輝度値用バッファ３０１を経て判断部３０２に接続し、判断部３０２は、さらに制御部１１７に接続する。
【００６１】
輝度算出部３００は、制御部１１７による制御に基づいて選択部１１３から上記の縮小画像を取り込み、縮小画像の平均輝度値を算出する。この平均輝度値は輝度値用バッファ３０１へ転送して保存する。輝度値用バッファ３０１は、平均輝度値を記録するリング状バッファで、バッファが一杯になると、古い平均輝度値から上書きするように構成する。
【００６２】
判断部３０２は、輝度値用バッファ３０１からの平均輝度値の時系列的な変化を監視し、所定の閾値以上の変化が所定回数連続して発生した場合にシーン変化が生じたと判断する。この判断結果は、制御部１１７へ転送する。
【００６３】
図５は、算出部１１５の一例の構成を示すブロック図である。この算出部１１５は、輝度算出部（分離手段）４００、適正露光抽出部（抽出手段）４０１、エッジ抽出部（特徴量算出手段）４０２、ヒストグラム作成部（ヒストグラム作成手段）４０３、および変換曲線算出部（階調変換曲線算出手段）４０４を有している。輝度算出部４００は、制御部１１７および選択部１１３にそれぞれ接続すると共に、適正露光抽出部４０１を介してエッジ抽出部４０２に接続し、またヒストグラム作成部４０３を介して変換曲線算出部４０４に接続する。適正露光抽出部４０１は、さらに制御部１１７に接続し、ヒストグラム作成部４０３は、さらに適正露光抽出部４０１およびエッジ抽出部４０２にそれぞれ接続し、変換曲線算出部４０４は、さらに制御部１１７および階調変換部１１０にそれぞれ接続する。
【００６４】
輝度算出部４００は、制御部１１７による制御のもとに、検出部１１４でシーン変化が検出された場合に、選択部１１３からの上記の縮小画像を取り込んで、その輝度を算出する。この輝度算出部４００で算出された輝度信号は、適正露光抽出部４０１で暗部および明部に関する所定の閾値（例えば１２ビット階調なら暗部が「１２８」、明部が「３９６８」）と比較し、暗部の閾値以上で明部の閾値以下の輝度信号を適性露光域として抽出して、エッジ抽出部４０２およびヒストグラム作成部４０３へそれぞれ転送する。
【００６５】
エッジ抽出部４０２では、適正露光抽出部４０１からの輝度信号に対して公知のエッジ検出を行ない、所定の閾値以上のエッジ強度を有する画素をエッジ部として抽出し、その情報をヒストグラム作成部４０３へ転送する。
【００６６】
ヒストグラム作成部４０３では、上記の適性露光域の情報とエッジ部の情報とに基づいて、輝度算出部４００からの輝度信号の中から、適正露光域内のエッジ部における輝度信号のヒストグラムを作成して変換曲線算出部４０４へ転送する。
【００６７】
変換曲線算出部４０４では、ヒストグラム作成部４０３からのヒストグラムを累積することで階調変換曲線を求め、それを階調変換部１１０へ転送する。
【００６８】
図６は、階調変換部１１０の一例の構成を示すブロック図である。この階調変換部１１０は、Ｙ／Ｃ分離部５００、輝度信号バッファ５０１、色差信号バッファ５０２、輝度補正部５０３、階調変換曲線読み込み部（転送手段）５０４、補正輝度信号バッファ５０５、色差補正部５０６、およびＹ／Ｃ合成部５０７を有している。
【００６９】
Ｙ／Ｃ分離部５００は、信号処理部１０９に接続すると共に、輝度信号バッファ５０１および色差信号バッファ５０２にそれぞれ接続する。輝度信号バッファ５０１は、さらに色差補正部５０６に接続すると共に、輝度補正部５０３および補正輝度信号バッファ５０５を経てＹ／Ｃ合成部５０７に接続する。色差信号バッファ５０２は、さらに色差補正部５０６を経てＹ／Ｃ合成部５０７に接続する。また、補正輝度信号バッファ５０５は、さらに色差補正部５０６に接続し、Ｙ／Ｃ合成部５０７は、さらにＤ／Ａ変換器１１１に接続する。さらに、階調変換曲線読み込み部５０４は、算出部１１５および標準階調曲線ＲＯＭ１１６に接続すると共に、輝度補正部５０３に接続する。さらに、上記のＹ／Ｃ分離部５００、輝度補正部５０３、階調変換曲線読み込み部５０４、色差補正部５０６、およびＹ／Ｃ合成部５０７は制御部１１７にそれぞれ接続する。
【００７０】
信号処理部１０９からの映像信号は、Ｙ／Ｃ分離部５００で輝度信号と色差信号とに分離して、輝度信号を輝度信号バッファ５０１に、色差信号を色差信号バッファ５０２にそれぞれ格納する。また、階調変換曲線読み込み部５０４は、制御部１１７による制御のもとに、電源投入などの初期化状況が検出された場合には、標準階調曲線ＲＯＭ１１６に格納されている標準の階調変換曲線を読み込み、検出部１１４にてシーン変化が検出された場合には、算出部１１５からの新規の階調変換曲線を読み込む。
【００７１】
輝度信号バッファ５０１に格納された輝度信号は、輝度補正部５０３および色差補正部５０６にそれぞれ転送する。輝度補正部５０３では、輝度信号バッファ５０１からの輝度信号を、階調変換曲線読み込み部５０４に読み込まれた所定の階調変換曲線に基づいて出力系の階調幅、本実施の形態では８ビットに変換し、その変換した輝度信号を補正輝度信号バッファ５０５を経て、Ｙ／Ｃ合成部５０７および色差補正部５０６にそれぞれ転送する。
【００７２】
また、色差信号バッファ５０２に格納された色差信号は、色差補正部５０６へ転送する。色差補正部５０６では、輝度信号バッファ５０１および補正輝度信号バッファ５０５からの階調変換前後の輝度信号と色の存在し得る理論限界モデルとに基づいて色差信号を補正する補正係数を算出し、この算出した補正係数により色差信号バッファ５０２からの色差信号を補正して、その補正された色差信号をＹ／Ｃ合成部５０７へ転送する。
【００７３】
Ｙ／Ｃ合成部５０７では、補正輝度信号バッファ５０５からの階調変換後の輝度信号と、色差補正部５０６からの補正された色差信号とを合成し、その合成された映像信号をＤ／Ａ変換器１１１へ転送する。
【００７４】
このように、本実施の形態では、時系列的に撮像される画像に対して、選択部１１３で画像サイズやフレーム数などの撮影条件に適した時間間隔で画像を選択し、その選択された画像の特性に基づいて検出部１１４でシーン変化の有無を検出し、画像自体あるいはその測光情報や合焦情報からシーン変化が検出された場合には算出部１１５で新規の階調変換曲線を算出し、シーン変化が検出された場合には算出部１１５で新たに算出された階調変換曲線を用いて、またシーン変化が検出されない場合には現在の階調変換曲線を用いて階調変換部１１０で各画像の階調特性を変換するようにしたので、適切なタイミングで階調変換曲線を算出でき、高品位の画像を得ることができる。また、選択された画像からシーン変化を検出する際に、画像を縮小処理するようにしたので、処理系を小規模かつ低コストにできると共に、縮小処理することにより画像の微小変化が吸収されるので安定した画像を得ることができる。しかも、特定領域からではなく、画像全体からシーン変化を検出するようにしたので、被写体位置によることなくシーン変化を検出することができる。また、標準階調曲線を格納する標準階調曲線ＲＯＭ１１６を設けたので、初期化状況などにも対応することができる。
【００７５】
図７〜図１０は本発明の第２実施の形態を示すもので、図７は撮像システム全体の構成を示すブロック図、図８は図７に示す検出部の一例の構成を示すブロック図、図９は図８に示す検出部におけるヒストグラムの類似度性算出を説明するための図、図１０は図７に示す記録部の一例の構成を示すブロック図である。
【００７６】
本実施の形態の撮像システムは、第１実施の形態における撮像システムにおいて、画像用バッファ１０５に代えて第１画像用バッファ６００、第２画像用バッファ６０１および合成部（合成手段）６０２を設けると共に、検出部１１４、算出部１１５、制御部１１７、および階調変換部１１０にそれぞれ接続して記録部６０３を付加し、さらに検出部１１４を第１実施の形態とは異なる構成としたものであり、その他の構成は第１実施の形態と同様であるので、同様の作用を行なう構成要素には同一参照番号を付して、その詳細な説明は省略する。
【００７７】
図７において、第１画像用バッファ６００および第２画像用バッファ６０１は、Ａ／Ｄ変換器１０４に接続すると共に、合成部６０２を経て信号処理部１０９に接続し、第１画像用バッファ６００はさらに測光評価部１０６および合焦点検出部１０７に接続する。なお、図７、図８および図１０において、太線の実線で示す信号ラインは映像信号ラインを示し、細線の実線で示す信号ラインは制御信号ラインを示し、破線で示す信号ラインはその他のデータラインを示している。
【００７８】
図７に示す撮像システムは、使用者が外部Ｉ／Ｆ部１１８を介して画像サイズやフレーム数などの撮影条件を指定し、その後、シャッタボタンを押すことにより撮影を開始する。この撮影開始によりＣＣＤ１０３から得られる映像信号は、Ａ／Ｄ変換器１０４でデジタル信号に変換し、長時間露光用画像として第１画像用バッファ６００へ転送して格納する。本実施の形態では、デジタル化された信号の階調幅を、第１実施の形態と同様に例えば１２ビットとする。この第１画像用バッファ６００に格納された映像信号は、測光評価部１０６および合焦点検出部１０７へそれぞれ転送して、露光条件および合焦条件を算出する。
【００７９】
次に、測光評価部１０６で算出された露光条件に対して所定の露光比、例えば１／８となるような露光条件で２枚目の画像を撮影し、その映像信号をＡ／Ｄ変換器１０４でデジタル信号に変換して、短時間露光画像として第２画像用バッファ６０１へ転送して格納する。
【００８０】
合成部６０２では、第１画像用バッファ６００に格納された長時間露光画像および第２画像用バッファ６０１に格納された短時間露光用画像を順に読み込み、まず、長時間露光画像に関して所定の閾値（例えば１２ビット階調なら「３８９０」）以下の領域の信号を適性露光領域として残し、次に、適性露光領域以外の領域に対応する短時間露光画像を読み込み、その露光比を補正して（例えば短時間露光が長時間露光に対して１／８の露光比に設定されている場合には８倍に補正して）、長時間露光の適正露光領域の画像と合成する。この合成部６０２で合成した映像信号は、信号処理部１０９へ転送し、ここで第１実施の形態と同様に処理して三板状態の映像信号を生成する。
【００８１】
信号処理部１０９で生成した映像信号は、第１実施の形態と同様に、選択部１１３において所定時間間隔で選択して検出部１１４へ転送する。
【００８２】
検出部１１４では、第１実施の形態と同様に、選択された映像信号（画像）から所定の特性情報を算出して、その算出した特性情報と、前回選択された画像から既に算出されている特性情報とを比較してシーン変化の有無を検出するが、ここでシーン変化が検出された場合には、記録部６０３に記録されている過去の特性情報を参照して類似する特性情報が記録されているか否かを判断し、それらの結果を制御部１１７へ転送する。
【００８３】
制御部１１７は、検出部１１４からの信号に基づいて、シーン変化が検出され、かつ記録部６０３に類似する特性情報が存在する場合には、その類似する特性情報に対応する階調変換曲線を記録部６０３から読み込むように階調変換部１１０を制御する。また、シーン変化が検出され、かつ記録部６０３に類似する特性情報が存在しない場合には、算出部１１５において選択部１１３で選択された画像から新たな階調変換曲線を算出して階調変換部１１０へ転送するように制御すると同時に、算出部１１５で算出した新たな階調変換曲線と、検出部１１４で算出した画像の特性情報とを記録部６０３へ転送して、両者を組として保存する。
【００８４】
これに対し、シーン変化が検出されなかった場合には、第１実施の形態と同様に、算出部１１５で新たな階調変換曲線を算出することなく、現在使用している階調変換曲線の使用を継続するように階調変換部１１０を制御する。なお、電源投入時などの初期化状況を制御部１１７が検知した場合は、階調変換部１１０において標準階調曲線ＲＯＭ１１６に格納されている階調変換曲線を読み込むように制御する。
【００８５】
階調変換部１１０では、上記のようにして得られた階調変換曲線に基づいて信号処理部１０９からの信号を出力系の階調幅に整合するように変換する。本実施の形態では、出力系の階調幅を、例えば８ビットとする。この階調変換部１１０から出力されるデジタル映像信号は、Ｄ／Ａ変換器１１１でアナログの映像信号に変換して、モニタやビデオレコーダなどの出力部１１２へ出力する。
【００８６】
図８は、図７に示した検出部１１４の一例の構成を示すブロック図である。この検出部１１４は、ヒストグラム算出部（ヒストグラム算出手段）７００、ヒストグラム用バッファ７０１、判断部（判断手段）７０２、類似度算出部（類似度算出手段）７０３、および階調変換曲線指定部（読み出し手段）７０４を有している。ヒストグラム算出部７００、判断部７０２、類似度算出部７０３、および階調変換曲線指定部７０４は、制御部１１７にそれぞれ接続する。また、ヒストグラム算出部７００は、さらに選択部１１３に接続すると共に、ヒストグラム用バッファ７０１を介して、記録部６０３、判断部７０２、および類似度算出部７０３にそれぞれ接続する。判断部７０２は、さらに類似度算出部７０３に接続し、類似度算出部７０３は、さらに記録部６０３および階調変換曲線指定部７０４に接続し、階調変換曲線指定部７０４は、さらに記録部６０３に接続する。
【００８７】
図８に示す検出部１１４において、ヒストグラム算出部７００は、制御部１１７の制御に基づいて選択部１１３から縮小画像を取り込み、その縮小画像のヒストグラムを算出する。このヒストグラムは、ヒストグラム用バッファ７０１へ転送して保存する。ヒストグラム用バッファ７０１は、ヒストグラムを記録できるリング状バッファで、バッファが一杯になると、古いヒストグラムから上書きするよう構成する。
【００８８】
判断部７０２は、ヒストグラム用バッファ７０１からのヒストグラムの形状変化を監視して、所定以上の形状変化が発生し、その状況が所定回数連続した場合にシーン変化が生じたものと判断して、その判断結果を制御部１１７へ転送する。
【００８９】
ここで、シーン変化が生じたと判断された場合には、制御部１１７により類似度算出部７０３を制御して、シーン変化が生じたと判断されたヒストグラム用バッファ７０１上のヒストグラムと記録部６０３に記録されているヒストグラムとの類似度を求める。
【００９０】
図９は、この類似度算出法を説明するための図で、図９（ａ）はヒストグラム用バッファ７０１上のヒストグラムと、そのヒストグラムに対する所定の許容範囲、例えば±２０％の範囲のヒストグラムとを示しており、図９（ｂ）は記録部６０３に記録されている比較対象となる過去のヒストグラムを示しており、図９（ｃ）はある階調値に対するヒストグラム用バッファ７０１上のヒストグラムおよびその許容範囲と、記録部６０３上の比較対象となる過去のヒストグラムの値とを示している。
【００９１】
類似度算出部７０３では、記録部６０３上の過去のヒストグラムの値が許容範囲内に含まれるかを階調値を変えながら順次判断する。ここで、許容範囲内に含まれる階調値の総数が全階調値に対して所定の割合以上、例えば７０％以上の場合には、両者のヒストグラムは類似度が高いと判断し、それ以外の場合には類似度が低いと判断して、その結果を制御部１１７へ転送する。なお、上記ヒストグラムの類似度を判断する際に使用する許容範囲は、全階調で一定である必要はなく、例えば暗部や明部では広く、あるいは無視するように設定し、中間調では狭く設定することも可能である。この場合、主要被写体が存在するであろう中間調での判断基準が厳しくなり、より類似度の高い階調変換曲線が選択されることになる。
【００９２】
ここで、類似度が高いと判断された場合には、制御部１１７は階調変換曲線指定部７０４を制御して、記録部６０３から上記ヒストグラムと組になっている階調変換曲線を選択し、その情報を制御部１１７へ転送する。これに対し、記録部６０３に記録されている全ヒストグラムに対して類似度が低いと判断された場合には、制御部１１７は算出部１１５に対して新規の階調変換曲線を算出するように制御する。
【００９３】
図１０は、図７に示した記録部６０３の一例の構成を示すブロック図である。この記録部６０３は、特性記録部８００、階調変換曲線記録部８０１、監視部（監視手段）８０２、履歴管理部（履歴管理手段）８０３、および破棄制御部（破棄手段）８０４を有している。なお、特性記録部８００および階調変換曲線記録部８０１は、特性記録部・階調変換曲線記録手段を構成している。監視部８０２、履歴管理部８０３、および破棄制御部８０４は、制御部１１７にそれぞれ接続する。特性記録部８００は、検出部１１４、監視部８０２および破棄制御部８０４にそれぞれ接続し、監視部８０２は、さらに階調変換曲線記録部８０１および破棄制御部８０４にそれぞれ接続し、破棄制御部８０４は、さらに階調変換曲線記録部８０１および履歴管理部８０３に接続する。また、階調変換曲線記録部８０１は、さらに、算出部１１５、履歴管理部８０３および階調変換部１１０にそれぞれ接続する。
【００９４】
図１０に示す記録部６０３において、特性記録部８００は検出部１１４からの画像の特性情報を、階調変換曲線記録部８０１は算出部１１５からの階調変換曲線をそれぞれ組として記録する。監視部８０２は、特性記録部８００、階調変換曲線記録部８０１の残量を監視し、所定残量以下になると制御部１１７へ通知する。
【００９５】
一方、履歴管理部８０３は、階調変換曲線記録部８０１上の階調変換曲線に対して、階調変換部１１０により読み込まれた回数を履歴情報として管理する。制御部１１７は、監視部８０２からの残量が所定残量以下なった場合の通知を受けて破棄制御部８０４を起動する。破棄制御部８０４は、履歴管理部８０３からの履歴情報に基づいて、階調変換部１１０により読み込まれた回数の最も少ない階調変換曲線を選択すると共に、その階調変換曲線と組となる特性情報を選択し、それらの選択した階調変換曲線および特性情報を階調変換曲線記録部８０１および特性記録部８００からそれぞれ破棄すると共に、履歴管理部８０３の履歴情報を破棄して、残量を回復させる。
【００９６】
このように、本実施の形態では、ＣＣＤ１０３の階調幅を超える広ダイナミックレンジの画像群を得、そのシーン変化に基づいて階調変換曲線を算出するようにしたので、白飛びや黒潰れの少ない高品位の出力画像を得ることができる。また、一度算出した画像の特性情報と階調変換曲線とを組にして記録しておき、シーン変化が発生したときは、記録しておいた特性情報との類似度を判断し、類似度が高い場合には、その特性情報と対応して記録しておいた階調変換曲線を用いるようにしたので、無駄な演算を行う必要が無くなりシーン変化に対して迅速に適応することができる。さらに、特性情報および階調変換曲線を記録するにあたり、過去に使用された履歴情報から使用頻度の少ないものを優先的に消去するようにしたので、少ないメモリ量でも効率的に記録することができる。
【００９７】
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、第１実施の形態では、検出部１１４を輝度値に基づいてシーン変化の有無を検出するように構成したが、第２実施の形態のようにヒストグラムに基づいてシーン変化の有無を検出するように構成したり、あるいは図１１に示すように動きベクトルに基づいてシーン変化の有無を検出するように構成することもできる。
【００９８】
すなわち、図１１に示す検出部１１４は、第１画像バッファ３１０、第２画像バッファ３１１、動きベクトル算出部（動きベクトル算出手段）３１２、動きベクトル用バッファ３１３、および判断部（判断手段）３１４を有している。動きベクトル算出部３１２および判断部３１４は、制御部１１７にそれぞれ接続し、第１画像バッファ３１０および第２画像バッファ３１１は、選択部１１３にそれぞれ接続すると共に、動きベクトル算出部３１２にそれぞれ接続する。また、動きベクトル算出部３１２は、さらに動きベクトル用バッファ３１３を介して判断部３１４に接続する。なお、図１１において、太線の実線で示す信号ラインは映像信号ラインを示し、細線の実線で示す信号ラインは制御信号ラインを示し、破線で示す信号ラインはその他のデータラインを示している。
【００９９】
図１１に示す検出部１１４において、選択部１１３から時系列的に出力される縮小画像は、第１画像バッファ３１０および第２画像バッファ３１１に順次格納し、これら第１画像バッファ３１０および第２画像バッファ３１１に格納された時系列的に前後する２枚の縮小画像間で、動きベクトル算出部３１２において画像を所定のブロックに分割してマッチングを行なう公知の動き検出処理によりブロックごとに動きベクトルを検出し、その結果を動きベクトル用バッファ３１３へ転送して格納する。
【０１００】
判断部３１４では、動きベクトル用バッファ３１３から動きベクトル情報を読み出し、所定値以上の動きベクトルが所定数以上のブロックで検出された場合にシーン変化が生じたと判断し、その判断結果を制御部１１７へ転送する。
【０１０１】
また、このようにヒストグラムに基づいてシーン変化の有無を検出する場合には、算出部１１５においてヒストグラムに基づいて階調変換曲線を算出する際に、動きベクトルが検出されたブロックに対応する領域に重み係数を乗算して、その領域に重点的に階調幅を付与するなどの処理も可能である。
【０１０２】
さらに、検出部１１４は、上記の輝度値、ヒストグラム、あるいは動きベクトルの他にも、合焦情報の変化などを利用してシーン変化の有無を検出するよう構成することもできる。
【０１０３】
また、第２実施の形態では、長時間露光画像と、その長時間露光画像から求めた露光条件に対して所定の露光比の短時間露光画像との２枚の画像に基づいて広ダイナミックレンジの画像を生成するようにしたが、この第２実施の形態は、任意の異露光の画像群から広ダイナミックレンジの画像を生成する場合にも有効に適用することができると共に、第１実施の形態と同様に通常の一枚の画像を階調変換する場合にも有効に適用することができる。
【０１０４】
また、第２実施の形態では、検出部１１４をヒストグラムに基づいてシーン変化の有無を検出するように構成したが、第１実施の形態のように輝度値に基づいてシーン変化の有無を検出するように構成したり、図１１に示したように動きベクトルに基づいてシーン変化の有無を検出するように構成したり、あるいは合焦情報の変化などを利用してシーン変化の有無を検出するよう構成することもできる。
【図面の簡単な説明】
【図１】  本発明の第１実施の形態における撮像システムの全体の構成を示すブロック図である。
【図２】  図１に示す選択部の一例の構成を示すブロック図である。
【図３】  図２に示す選択部における時間設定用関数の説明図である。
【図４】  図１に示す検出部の一例の構成を示すブロック図である。
【図５】  図１に示す算出部の一例の構成を示すブロック図である。
【図６】  図１に示す階調変換部の一例の構成を示すブロック図である。
【図７】  本発明の第２実施の形態における撮像システムの全体の構成を示すブロック図である。
【図８】  図７に示す検出部の一例の構成を示すブロック図である。
【図９】  図８に示す検出部におけるヒストグラムの類似度性算出を説明するための図である。
【図１０】  図７に示す記録部の一例の構成を示すブロック図である。
【図１１】  検出部の変形例を示すブロック図である。
【符号の説明】
１００  レンズ系
１０１  絞り
１０２  ローパスフィルタ
１０３  ＣＣＤ
１０４  Ａ／Ｄ変換器
１０５  画像用バッファ
１０６  測光評価部
１０７  合焦点検出部
１０８  ＡＦモータ
１０９  信号処理部
１１０  階調変換部
１１１  Ｄ／Ａ変換器
１１２  出力部
１１３  選択部
１１４  検出部
１１５  算出部
１１６  標準階調曲線ＲＯＭ
１１７  制御部
１１８  外部Ｉ／Ｆ部
６００  第１画像用バッファ
６０１  第２画像用バッファ
６０２  合成部
６０３  記録部
【図１】
0004212290.tif 000002
【図２】
0004212290.tif 000003
【図３】
0004212290.tif 000004
【図４】
0004212290.tif 000005
【図５】
0004212290.tif 000006
【図６】
0004212290.tif 000007
【図７】
0004212290.tif 000008
【図８】
0004212290.tif 000009
【図９】
0004212290.tif 000010
【図１０】
0004212290.tif 000011
【図１１】
0004212290.tif 000012