(57)【特許請求の範囲】
【請求項１】
撮像系から時系列的に連続するＭbit階調幅の画像群を出力系のＮbit階調幅（Ｍ、Ｎは自然数でＭ≧Ｎ）へ変換して出力する動画撮像システムにおいて、
上記画像群中からシーン変化を検出する検出手段と、
上記検出手段でシーン変化が検出された画像から階調変換曲線を算出する算出手段と、
上記階調変換曲線を記録する記録手段と、
上記算出手段から算出された新規の階調変換曲線と上記記録手段に記録された過去の階調変換曲線を合成する変換曲線合成手段と、
上記合成手段で合成された階調変換曲線を用い上記Ｍbit階調幅の画像群をＮbit階調幅へ変換する階調変換手段と、
を有することを特徴とする動画撮像システム。
【請求項２】
さらに、同一被写体に対して異なる露光条件で撮像した少なくとも二枚以上のフレームまたはフィールド単位の画像を合成しＭbitの階調幅の画像群を生成する画像合成手段、
を有することを特徴とする請求項１に記載の動画撮像システム。
【請求項３】
上記検出手段は、
上記撮像系から単位時間あたりに撮影される画像枚数、画像サイズ、露光条件、合焦条件、ホワイトバランス条件、ズーム位置、カメラ位置の少なくとも１つに基づき上記画像群から画像を選択する時間間隔を設定する時間設定手段、
を有することを特徴とする請求項１又は２に記載の動画撮像システム。
【請求項４】
上記検出手段は、さらに
上記選択された画像を所定サイズに縮小する縮小手段と、
上記縮小された画像から平均輝度レベルを算出する輝度算出手段と、
上記平均輝度レベルの時系列的な変化に基づきシーン変化の有無を判断する判断手段と、
を有することを特徴とする請求項３に記載の動画撮像システム。
【請求項５】
上記検出手段は、さらに
上記選択された画像を所定サイズに縮小する縮小手段と、
上記縮小された画像の時系列的に前後する２枚の画像から動きベクトルを算出する動きベクトル算出手段と、
上記動きベクトル量に基づきシーン変化の有無を判断する判断手段と、
を有することを特徴とする請求項３に記載の動画撮像システム。
【請求項６】
上記算出手段は、
上記画像を輝度信号と色差信号に分離する分離手段と、
上記輝度信号レベルに基づき適正露光域を抽出する抽出手段と、
上記適正露光域に関して特徴量を算出する特徴量算出手段と、
上記特徴量に基づきヒストグラムを作成するヒストグラム作成手段と、
上記ヒストグラムに基づき階調変換曲線を算出する階調変換曲線算出手段と、を有することを特徴とする請求項１又は２に記載の動画撮像システム。
【請求項７】
上記変換曲線合成手段は、
上記算出手段から算出された新規の階調変換曲線と上記記録手段に記録された過去の階調変換曲線に複数の代表点を設定する設定手段と、
上記代表点に対して所定の重み係数に基づき上記新規の階調変換曲線と上記過去の階調変換曲線から合成値を算出する乗加算手段と、
上記乗加算手段で処理された上記代表点間を補間する補間手段と、
を有することを特徴とする請求項１又は２に記載の動画撮像システム。
【請求項８】
上記変換曲線合成手段は、さらに
上記撮像系からの撮影条件に基づき上記過去の階調変換曲線から上記新規の階調変換曲線へ切り替える遷移時間を定める遷移時間設定手段と、
上記遷移時間設定手段の遷移時間に基づき上記重み係数を制御する重み制御手段と、
を有することを特徴とする請求項７に記載の動画撮像システム。
【請求項９】
上記変換曲線合成手段は、さらに
上記補間手段で補間された階調変換曲線と上記新規の階調変換曲線のいずれか一つを選択する切替手段、
を有することを特徴とする請求項７に記載の動画撮像システム。
【請求項１０】
上記変換曲線合成手段は、さらに
上記代表点に関して上記新規の階調変換曲線と上記過去の階調変換曲線の差分値を算出する差分算出手段と、
上記差分値に基づき代表点の位置または数を調整する調整手段と、
を有することを特徴とする請求項７に記載の動画撮像システム。
【請求項１１】
さらに、
標準階調変換曲線を記録する標準階調変換曲線記録手段と、
電源投入時などの初期化状況を検出する初期化検出手段と、
上記初期化検出手段に基づき上記標準階調変換曲線を上記階調変換手段へ転送する転送手段と、
を有することを特徴とする請求項１又は２に記載の動画撮像システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を時系列的に得る撮像系の階調幅が出力系における階調幅より広い動画撮像システムに係わり、シーン変化に起因する階調変換曲線の切替えを適切に行うことで高画質な出力画像を得るようにした動画撮像システムに関する。
【０００２】
【従来の技術】
現在のデジタルビデオカメラにおいては、デジタル系信号処理の桁落ちによる画像劣化を防止するため、最終的な出力画像の階調幅（通常８bit）に対して入力および処理系における画像の階調幅をより広く設定（１０〜１２bit程度）している。この場合、出力系の階調幅に合致するよう階調変換を行う必要がある。
【０００３】
従来は、標準的なシーンにあわせた固定的なガンマ曲線やヒストグラムなどに基づく適用的な階調変換曲線により変換していた。
【０００４】
また、露光量の異なる複数枚の画像を合成することで、より階調幅の広い広ダイナミックレンジ画像を生成する手法が提案されている。この場合も得られた広ダイナミックレンジ画像を出力系の階調幅に合致するように階調変換する必要がある。
【０００５】
このような階調変換特性は撮影シーンに依存するため、シーン変化に基づき適切に切り替える必要がある。しかし、シーン変化直後に階調変換特性を切り替えると得られる画像の変化が大きく違和感を生ずる。このため、例えば特開平１１−１６４１９０号公報では追随速度という時間に基づく補間係数を乗算することで徐々に階調変換特性を切り替える方法が提示されている。また、特開２０００−３０７８９６号公報では、複数の階調変換特性を用意し、これを選択する際にヒステリシスな制御を行うことで急激な変化を緩和する例が開示されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、補間係数を乗算することで徐々に階調変換特性を切り替える方法では、階調変換特性を切り替える際に階調変換曲線全体に補間係数を乗算していた。このため、画像の階調幅（１０〜１２bit）分のデータ数（１０２４〜409６点）の補正をリアルタイムで行う必要がありハードウエア規模が大きくなる課題がある。すなわち、低コストにて違和感のない階調変換特性の変更に対応できない。
【０００７】
また、複数の階調変換特性を用意して選択時にヒステリシスな制御を行う方法は、用意された階調変換特性が現在のシーンに適合する保証がない。すなわち、任意の撮影シーンに対して高品位な画像を得ることに対応できない。
【０００８】
本発明は上記問題点に着目し、時系列的に得られた画像の階調幅を変換する階調変換曲線をシーン変化に合わせて低コストで適切に切替え可能であり、任意の撮影シーンに対して高品位な画像を生成することが可能な動画撮像システムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
第１の発明は、撮像系から時系列的に連続するＭbit階調幅の画像群を出力系のＮbit階調幅（Ｍ、Ｎは自然数でＭ≧Ｎ）へ変換して出力する動画撮像システムにおいて、上記画像群中からシーン変化を検出する検出手段と、上記検出手段でシーン変化が検出された画像から階調変換曲線を算出する算出手段と、上記階調変換曲線を記録する記録手段と、上記算出手段から算出された新規の階調変換曲線と上記記録手段に記録された過去の階調変換曲線を合成する変換曲線合成手段と、上記合成手段で合成された階調変換曲線を用い上記Ｍbit階調幅の画像群をＮbit階調幅へ変換する階調変換手段と、を有するものである。なお、検出手段は図１に示される検出部115が、算出手段は算出部116が、記録手段は記録部117が、変換曲線合成手段は変換曲線合成部118が、階調変換手段は階調変換部112がそれぞれ対応している。
【００１０】
この第１の発明の好ましい適用例は、図１に示される検出部115にて撮影された画像群からシーン変化の有無を検出し、シーン変化が検出された場合に算出部115にて階調変換曲線を算出し、算出された階調変換曲線を記録部117にて記録し、算出部115にて算出された新規の階調変換曲線と記録部117にて記録されている過去の階調変換曲線を変換曲線合成部118において合成し、合成された階調変換曲線を用いて階調変換部112にて各画像の階調変換特性の変換を行う動画撮像システムである。
【００１１】
このような第１の発明では、シーン変化が検出された場合、新たな階調変換曲線を算出し、過去の階調変換曲線と合成した階調変換曲線を用いて階調変換特性の変換を行う。これにより、シーン変化に対応して階調変換曲線を切り替える時、違和感を低減して高品位な画像が得られる。
【００１２】
第２の発明は、第１の発明の動画撮像システムにおいて、さらに、同一被写体に対して異なる露光条件で撮像した少なくとも二枚以上のフレームまたはフィールド単位の画像を合成しＭbitの階調幅の画像群を生成する画像合成手段、を有するものである。なお、画像合成手段は図１に示される合成部110が対応する。
【００１３】
この第２の発明の好ましい適用例は、図１に示されるＣＣＤ103にて異なる露光量で撮影した画像を画像用バッファ（長時間露光画像用）105、画像用バッファ（短時間露光画像用）106に保存し、これらの画像を合成部110にて合成することで広ダイナミックレンジの画像を得て、検出部115にてシーン変化が検出された場合に算出部116にて階調変換曲線を算出し、算出された階調変換曲線を記録部117にて記録し、算出部116にて算出された新規の階調変換曲線と記録部117にて記録されている過去の階調変換曲線を変換曲線合成部118にて合成し、合成された階調変換曲線を用いて階調変換部110にて各画像の階調変換特性の変換を行う撮像システムである。
【００１４】
このような第２の発明では、異露光の画像を合成して１枚の広ダイナミックレンジの画像を生成し、この画像に対してシーン変化が検出された場合、新たな階調変換曲線を算出し、過去の階調変換曲線と合成した階調変換曲線を用いて階調変換特性の変換を行う。これにより、撮像系で扱うことのできる階調幅以上の画像から階調変換を行うため、黒潰れや白飛びの少ないより高品位な画像が得られる。また、シーン変化に対応して階調変換曲線を切り替える時、違和感を低減して高品位な画像が得られる。
【００１５】
第３の発明は、第１又は第２の発明の動画撮像システムにおいて、上記検出手段は、上記撮像系から単位時間あたりに撮影される画像枚数、画像サイズ、露光条件、合焦条件、ホワイトバランス条件、ズーム位置、カメラ位置の少なくとも１つに基づき上記画像群から画像を選択する時間間隔を設定する時間設定手段、を有するものである。  なお、時間設定手段は図２に示される時間設定部部200が対応する。
【００１６】
この第３の発明の好ましい適用例は、図１に示される測光評価部107、合焦点検出部108、外部Ｉ／Ｆ部121からの情報に基づき撮影条件を推定して、図２に示される検出部115内の時間設定部200にて画像を選択する時間間隔を適用的に調整する動画撮像システムである。
【００１７】
このような第３の発明では、撮影条件に応じて画像を選択する時間間隔を自動的に変更する。これにより、撮影状況に応じたタイミングで画像が選択されるため、シーン変化の検出能が向上する。
【００１８】
第４の発明は、第３の発明の動画撮像システムにおける上記検出手段は、さらに上記選択された画像を所定サイズに縮小する縮小手段と、上記縮小された画像から平均輝度レベルを算出する輝度算出手段と、上記平均輝度レベルの時系列的な変化に基づきシーン変化の有無を判断する判断手段と、を有するものである。なお、縮小手段は図２に示される縮小部202が、輝度算出手段は図２に示される輝度算出部204が、判断手段は図２に示される判断部206が対応する。
【００１９】
この第４の発明の好ましい適用例は、図１に示される信号処理部111から画像読み込み部201にて読み込まれた画像を、図２に示される検出部115内の縮小部202にて所定サイズに縮小し、輝度算出部204にて画像の平均輝度値を算出し、判断部206にて輝度値の変化を判断することでシーン変化を検出する撮像システムである。
【００２０】
このような第４の発明では、選択された画像を所定サイズに縮小し、この縮小画像の輝度値の時系列的な変化からシーン変化を検出する。これにより、選択された画像を縮小するため以降の処理が軽減され、低コストのシステムが実現できる。また、縮小する段階で画像の微小変化が吸収されるため、算出される階調変換曲線の特性が安定し得られる画像が見やすくなる。さらに、特定領域ではなく画像全体からシーン変化の検出が可能となるため、被写体の位置によらないシーン変化の検出が可能となる。
【００２１】
第５の発明は、第３の発明の動画撮像システムにおける上記検出手段は、さらに上記選択された画像を所定サイズに縮小する縮小手段と、上記縮小された画像の時系列的に前後する２枚の画像から動きベクトルを算出する動きベクトル算出手段と、上記動きベクトル量に基づきシーン変化の有無を判断する判断手段と、を有するものである。なお、縮小手段は図３に示される縮小部202が、動きベクトル算出手段は図３に示される動きベクトル算出部210が、判断手段は図３に示される判断部206が対応する。
【００２２】
この第５の発明の好ましい適用例は、図１に示される信号処理部111から画像読み込み部201にて読み込まれた画像を、図３に示される検出部115内の縮小部202にて所定サイズに縮小し、動きベクトル算出部210にて画像内の動きベクトルを算出し、判断部206にて動きベクトルの変化を判断することでシーン変化と主要被写体位置を検出する動画撮像システムである。
【００２３】
このような第５の発明では、選択された画像を所定サイズに縮小し、この縮小画像の動きベクトルの時系列的な変化からシーン変化を検出し、さらに動きの大きさに基づき主要被写体位置を求める。これにより、選択された画像を縮小するため以降の処理が軽減され、低コストのシステムが実現できる。また、主要被写体に重きを置いた階調変換が可能となり、高品位な画像が得られる。
【００２４】
第６の発明は、第１又は第２の発明の動画撮像システムにおける上記算出手段は、上記画像を輝度信号と色差信号に分離する分離手段と、上記輝度信号レベルに基づき適正露光域を抽出する抽出手段と、上記適正露光域に関して特徴量を算出する特徴量算出手段と、上記特徴量に基づきヒストグラムを作成するヒストグラム作成手段と、上記ヒストグラムに基づき階調変換曲線を算出する階調変換曲線算出手段と、を有するものである。なお、分離手段は図４に示される輝度分離部300が、抽出手段は図４に示される適正露光抽出部301が、特徴量算出手段は図４に示されるエッジ抽出部302が、ヒストグラム作成手段は図４に示されるヒストグラム作成部303が、階調変換曲線算出手段は図４に示される階調変換曲線算出部304が対応する。
【００２５】
この第６の発明の好ましい適用例は、図１に示される検出部115から転送される画像に対して、図４に示される算出部116内の輝度分離部300にて画像から輝度信号を分離し、適正露光抽出部301にて輝度信号に基づき適正露光域を抽出し、エッジ抽出部302にて輝度信号のエッジ成分を抽出し、ヒストグラム作成部303にてエッジ部のヒストグラムを算出し、階調変換曲線算出部304にて累積ヒストグラムから階調変換曲線を得る動画撮像システムである。
【００２６】
このような第６の発明では、輝度信号からエッジ成分を抽出し、エッジ部の累積ヒストグラムから階調変換曲線を得る。これにより、平坦な背景部を除去して主要被写体に重きを置いた階調変換曲線を算出することで、高品位な画像が得られる。
【００２７】
第７の発明は、第１又は第２の発明の動画撮像システムにおける上記変換曲線合成手段は、上記算出手段から算出された新規の階調変換曲線と上記記録手段に記録された過去の階調変換曲線に複数の代表点を設定する設定手段と、上記代表点に対して所定の重み係数に基づき上記新規の階調変換曲線と上記過去の階調変換曲線から合成値を算出する乗加算手段と、上記乗加算手段で処理された上記代表点間を補間する補間手段と、を有するものである。なお、設定手段は図５に示される代表点抽出部402が、乗加算手段は図５に示される乗加算部405が、補間手段は図５に示される補間部408が対応する。
【００２８】
この第７の発明の好ましい適用例は、図１に示される算出部116および記録部117から階調変換曲線バッファ400及び401にて取り込まれた２つの階調変換曲線に対して、図５に示される変換曲線合成部118内の代表点抽出部402にて所定の代表点における値を抽出し、乗加算部405にて２つの階調変換曲線の代表点を合成し、補間部408にて代表点間を補間処理することで階調変換曲線を生成する動画撮像システムである。
【００２９】
このような第7の発明では、シーン変化後に算出された新規の階調変換曲線とシーン変化前に使用された過去の階調変換曲線から数点の代表点を抽出し、両者を合成した階調変換曲線を生成する。これにより、少ない演算量で新旧の階調変換曲線を合成することができ、高速かつ低コストな処理を実現することが可能となる。
【００３０】
第８の発明は、第７の発明の動画撮像システムにおける上記変換曲線合成手段は、さらに上記撮像系からの撮影条件に基づき上記過去の階調変換曲線から上記新規の階調変換曲線へ切り替える遷移時間を定める遷移時間設定手段と、上記遷移時間設定手段の遷移時間に基づき上記重み係数を制御する重み制御手段と、を有するものである。なお、遷移時間設定手段は図５に示される遷移時間設定部406が、重み制御手段は図５に示される重み制御部407が対応する。
【００３１】
この第８の発明の好ましい適用例は、図１に示される制御部120から転送される撮影条件に基づき、図５に示される変換曲線合成部118内の遷移時間設定部406にて新旧の階調変換曲線を切り替える遷移時間を設定し、重み制御部407にて新旧の階調変換曲線に対する重み係数を遷移時間に基づき調整する動画撮像システムである。
【００３２】
このような第８の発明では、撮影条件に基づき新旧の階調変換曲線を切り替える遷移時間を求め、この時間内で過去の階調変換曲線から新規の階調変換曲線へ切り替わるように重み係数を調整する。これにより、撮影条件に適した遷移時間で階調変換曲線が切り替わるため、違和感の少ない切り替えが可能となる。
【００３３】
第９の発明は、第７の発明の動画撮像システムにおける上記変換曲線合成手段は、さらに上記補間手段で補間された階調変換曲線と上記新規の階調変換曲線のいずれか一つを選択する切替手段、を有するものである。なお、切替手段は図５に示される切替部409が対応する。
【００３４】
この第９の発明の好ましい適用例は、図１に示される算出部116および記録部117からの２つの階調変換曲線から変換曲線合成部118にて合成した階調変換曲線または算出部116から転送された新規の階調変換曲線を切替部409にて切り替える動画撮像システムである。
【００３５】
このような第９の発明では、シーン変化に伴う階調変換曲線の切替えに関して、所定の遷移時間内は合成された階調変換曲線で、その後は新規の階調変換曲線へと切替可能とする。これにより、シーン変化に伴う階調変換曲線の切替えに関して、所定の遷移以降は合成に関する処理部を迂回することができ低消費電力化が可能となる。
【００３６】
第１０の発明は、第７の発明の動画撮像システムにおける上記変換曲線合成手段は、さらに上記代表点に関して上記新規の階調変換曲線と上記過去の階調変換曲線の差分値を算出する差分算出手段と、上記差分値に基づき代表点の位置または数を調整する調整手段と、を有するものである。なお、差分算出手段は図５に示される差分算出部403が、調整手段は図５に示される代表点調整部404が対応する。
【００３７】
この第１０の発明の好ましい適用例は、図１に示される算出部116からおよび記録部117からの２つの階調変換曲線に対し、差分算出部403にて代表点に関する両者の差分値を算出し、代表点調整部404にて差分値に基づき代表点の調整を行う動画撮像システムである。
【００３８】
このような第１０の発明では、新旧の階調変換曲線の差分値に基づき、差分値の大きい場合は代表点を密に小さい場合には粗に調整する。これにより、新旧の階調変換曲線間での差の大きい階調域は代表点を密に配置するため、より精度の高い階調変換曲線が合成でき、高品位な画像が得られる。
【００３９】
第１１の発明は、第１又は第２の発明の動画撮像システムにおいて、さらに、標準階調変換曲線を記録する標準階調変換曲線記録手段と、電源投入時などの初期化状況を検出する初期化検出手段と、上記初期化検出手段に基づき上記標準階調変換曲線を上記階調変換手段へ転送する転送手段と、を有するものである。なお、標準階調曲線記録手段は図１に示される標準階調曲線ＲＯＭ119が、初期化検出手段は図１に示される制御部120が、転送手段は図５に示される切替部409が対応する。
【００４０】
この第１１の発明の好ましい適用例は、図１に示される測光評価部107、合焦点検出部108、外部Ｉ／Ｆ部121からの情報に基づき制御部120が初期化状況を判断し、初期化状況と判断された場合に図５に示される切替部409が標準階調曲線ＲＯＭ119内に記録された標準となる階調変換曲線を読み込む動画撮像システムである。
【００４１】
このような第１１の発明では、初期化状況と判断された場合、予め記録されている標準となる階調変換曲線を読み込む。これにより、電源投入時などの階調変換曲線が算出されていない初期化状況においても、画像出力を可能とする。
【００４２】
【発明の実施の形態】
発明の実施の形態について図面を参照して説明する。
（構成）
図１は、本発明の一実施の形態の動画撮像システムの構成図である。
【００４３】
レンズ系100、絞り101、ローパスフィルタ102、単板式のＣＣＤ103を介して撮影された映像は、Ａ／Ｄ変換部104にてデジタル信号へ変換される。Ａ／Ｄ変換部104からの信号は、画像用バッファ（長時間露光画像用）105、画像用バッファ（短時間露光画像用）106を介して合成部110へ転送される。画像用バッファ105は、測光評価部107、合焦点検出部108へも接続されている。測光評価部107は絞り101、ＣＣＤ103へ、合焦点検出部108はＡＦモータ109へ接続されている。合成部110からの信号は、信号処理部111、階調変換部112、Ｄ／Ａ変換部113を経由してモニターやビデオレコーダーなどの出力部114に接続されている。
【００４４】
また、信号処理部111は、検出部115を経由して算出部116へ接続されている。算出部116は、記録部117と変換曲線合成部118へ接続しており、記録部117もまた変換曲線合成部118へ接続されている。変換曲線合成部118は階調変換部112へ接続しており、標準階調曲線ＲＯＭ119は変換曲線合成部118へ接続されている。
【００４５】
また、マイクロコンピュータなどの制御部120は、合成部110、信号処理部111、階調変換部112，出力部114、検出部115、算出部116、変換曲線合成部118と双方向に接続されている。
【００４６】
さらに、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備えた外部Ｉ／Ｆ部121も制御部120に双方向に接続されている。また、測光評価部107、合焦点検出部108も制御部120へ接続されている。
【００４７】
（作用）
図１において、信号の流れを説明する。
外部Ｉ／Ｆ部121を介して、使用者は画像サイズやフレーム数などの撮影条件を指定し、その後シャッターボタンを押すことで撮影が開始される。レンズ系100、絞り101、ローパスフィルタ102、ＣＣＤ103を介して撮影された映像信号は、Ａ／Ｄ変換部104にてデジタル信号へ変換されて画像用バッファ105（長時間露光画像）へ転送される。本実施の形態では、デジタル化された信号の階調幅を例えば１２bitとする。画像用バッファ105内の映像信号は、測光評価部107および合焦点検出部108へ転送される。
【００４８】
測光評価部107では、画像中の輝度レベルを求めて適正露光となるよう絞り101やＣＣＤ103の電子シャッター速度などを制御する。また、合焦点検出部108では画像中のエッジ強度を検出し、これが最大となるようにＡＦモータ109を制御することで合焦画像を得る。測光評価部107にて求められた露光条件と合焦点検出部108にて求められた合焦条件などの撮影時の条件は制御部120へ転送される。
【００４９】
次に、測光評価部107にて求められた露光条件に対して所定の露光比、例えば１／８となるような露光条件で２枚目の画像が撮影され、Ａ／Ｄ変換部104にてデジタル信号へ変換されて画像用バッファ106（短時間露光画像）へ転送される。
【００５０】
合成部110は、画像用バッファ105、画像用バッファ106上の長時間露光画像、短時間露光画像を順に読み込む。まず、長時間露光画像に関して、所定の閾値（例えば１２bit階調なら３８９０）以下の領域の信号を適正露光領域として残す。次に、適正露光領域以外の領域に対応する短時間露光画像を読み込み、露光比を補正して合成する。本実施の形態では、長時間露光に対して１／８となるよう設定されているため８倍に補正することになる。
【００５１】
合成後の信号は、信号処理部111へ転送され公知の補間処理、ホワイトバランス処理、強調処理などが行われた三板状態の信号を生成する。信号処理部111からの信号は、制御部120の制御に基づき所定時間間隔で検出部115へ転送される。検出部115では、転送された画像から所定の特性情報を算出し、前回選択された画像の特性と比較することでシーン変化の有無を検出する。この結果は制御部120へ転送される。
【００５２】
制御部120は、シーン変化が検出された場合に算出部116を制御し、新たな階調変換曲線を算出させる。
【００５３】
算出部116は、検出部115からシーン変化が検出された画像を読み込み、ヒストグラムに基づき階調変換曲線を算出し記録部117および変換曲線合成部118へ転送する。記録部117は１つ分の階調変換曲線を記録するもので、算出部116からの階調変換曲線が転送されると上書きされる。変換曲線合成部118は、制御部120の制御に基づき新旧の階調変換曲線から合成した階調変換曲線、算出部116からの新規の階調変換曲線、標準階調曲線ＲＯＭ119からの標準となる階調変換曲線のいずれかを階調変換部112へ転送する。
【００５４】
階調変換部112は、変換曲線合成部118から転送された階調変換曲線に基づき信号処理部111からの信号を出力系の階調幅へ整合するよう変換する。本実施の形態では、出力系の階調幅を例えば８bitとする。この後、Ｄ／Ａ変換部113にてアナログ信号に変換され、モニターやビデオレコーダーなどの出力部114へ出力される。
【００５５】
図２は、輝度からシーン変化を検出する検出部115の構成の一例を示すもので、時間設定部200と、画像読み込み部201と、縮小部202と、縮小画像用バッファ203と、輝度算出部204と、輝度値用バッファ205と、判断部206からなる。制御部120は、時間設定部200、画像読み込み部201、輝度算出部204、判断部206と双方向に接続されている。時間設定部200は、画像読み込み部201へ接続されている。信号処理部111からの信号は、画像読み込み部201、縮小部202、縮小画像用バッファ203を介して算出部116へ接続されている。
【００５６】
縮小画像用バッファ203からの信号は、輝度算出部204、輝度値用バッファ205を経由して判断部206へ接続されている。制御部120から、測光評価部107、合焦点検出部108、外部Ｉ／Ｆ部121からの情報が時間設定部200へ転送される。
【００５７】
時間設定部200では、外部Ｉ／Ｆ部121から得られる画像サイズやフレーム数などの情報を制御部120から得て、これらの情報に基づき信号処理部111からの画像を選択する時間間隔を決定する。この制御は、例えば画像サイズまたはフレーム数が大きくなるにつれて時間間隔を長くすることで、後段の処理系に対する負担が増加しないようにするものである。また、時間設定部200は測光評価部107、合焦点検出部108からの測光、合焦条件が急変した場合にはシーン変化が生じたと判断し、時間間隔を０に設定し、画像を直ちに読みとらせるよう制御する。これ以外にも、ホワイトバランス、レンズのズーム位置、カメラの移動などの情報を用いてシーン変化を検出することも可能である。
【００５８】
画像読み込み部201は、時間設定部200からの制御に基づき所定の時間間隔で信号処理部111からの信号を読み込み縮小部202へ転送する。縮小部202は、予め定められた縮小率、例えば１／８等で画像を縮小処理し、縮小画像用バッファ203へ転送する。この縮小率は固定にする必要はなく、可変にしても良い。例えば、縮小画像サイズと選択する時間間隔から単位時間内の情報量を求め、この情報量が一定値以下になるよう縮小率を制御することも可能である。縮小画像用バッファ203は複数枚の縮小画像を記録できるリング状バッファで、バッファが一杯になると古い画像から上書きされる構成になっている。縮小画像用バッファ203内の縮小画像は算出部116へ転送される。
【００５９】
一方、輝度算出部204は、制御部120の制御に基づき縮小画像用バッファ203から縮小画像を取り込み、縮小画像の平均輝度値を算出する。この輝度値は輝度値用バッファ205へ転送され保存される。輝度値用バッファ205は、輝度値を記録できるリング状バッファで、バッファが一杯になると、古い輝度値から上書きされる構成になっている。
【００６０】
判断部206は、輝度値用バッファ205から輝度値の時系列的な変化を監視し、所定の閾値以上の変化が発生し、その状況が所定回数連続した場合にシーン変化が生じたと判断する。この判断結果は、制御部120へ転送される。シーン変化は上記の輝度値に限定される必要はない。
【００６１】
例えば、図３は、動きベクトルからシーン変化を検出する検出部115の構成例を示すもので、時間設定部200と、画像読み込み部201、縮小部202、縮小画像用バッファ203と、動きベクトル算出部210と、動きベクトル用バッファ211と、判断部206からなる。制御部120は、時間設定部200、画像読み込み部201、動きベクトル算出部210、判断部206と双方向に接続されている。時間設定部200は、画像読み込み部201へ接続されている。信号処理部111からの信号は、画像読み込み部201、縮小部202、縮小画像用バッファ203を介して算出部116へ接続されている。
【００６２】
縮小画像用バッファ203からの信号は動きベクトル算出部210、動きベクトル用バッファ211を経由して判断部206へ接続されている。動きベクトル算出部210は縮小画像用バッファ203から時系列的に前後する縮小画像を読み込み、画像を所定のブロックに分割しマッチングに基づく公知の動き検出を行う。これにより、ブロックごとに動きベクトルを検出し、この結果を動きベクトル用バッファ211へ転送する。
【００６３】
判断部206は、動きベクトル用バッファ211から動きベクトル情報を読み出し、所定値以上の動きベクトルが所定数以上のブロックで検出された場合にシーン変化が生じたと判断する。この判断結果は、制御部120へ転送される。
【００６４】
また、算出部116でヒストグラムに基づき階調変換曲線を算出する際に、動きベクトルが検知されたブロックに対応する領域に重み係数を乗算することでその領域に階調幅を付与するなどの処理も可能である。
【００６５】
図４は、階調変換曲線を算出する算出部116の構成の一例を示すもので、輝度分離部300と、適正露光抽出部301と、エッジ抽出部302と、ヒストグラム作成部303と、変換曲線算出部304からなる。制御部120は、輝度分離部300、適正露光抽出部301、変換曲線算出部304と双方向に接続されている。検出部115は輝度分離部300へ、輝度分離部300は適正露光抽出部301とヒストグラム作成部303へ接続されている。適正露光抽出部301はエッジ抽出部302とヒストグラム作成部303へ接続されており、エッジ抽出部302はヒストグラム作成部303へ接続されている。ヒストグラム作成部303は変換曲線算出部304を介して記録部117および変換曲線合成部118へ接続されている。
【００６６】
制御部120は、検出部115にてシーン変化が検出された場合に、輝度分離部300を制御し検出部115から上記縮小画像を取り込ませる。輝度分離部300は、縮小画像から輝度を算出する。輝度信号は、適正露光抽出部301にて暗部と明部に関する所定の閾値（例えば１２bit階調なら暗部が１２８、明部が３９６８）と比較され、暗部の閾値以上で明部の閾値以下の輝度信号が適正領域としてエッジ抽出部302とヒストグラム作成部303へ転送される。
【００６７】
エッジ抽出部302は、公知のエッジ検出を行い、所定の閾値以上のエッジ強度を有する画素をエッジ部として抽出し、この情報をヒストグラム作成部303へ転送する。ヒストグラム作成部303は、上記適正露光域の情報とエッジ部の情報に基づき、輝度分離部300からの適正露光域の輝度信号からエッジ部のヒストグラムを作成する。
【００６８】
変換曲線算出部304は、上記ヒストグラムを累積することで階調変換曲線を求め変換曲線合成部118へ転送する。また、制御部120の制御に基づき記録部117へも階調変換曲線を転送する。記録部117は、一つ分の階調変換曲線を記録するもので、算出部116から階調変換曲線が転送されると上書きされることになる。
【００６９】
図５は、変換曲線合成部118の構成の一例を示すもので、階調変換曲線バッファ400と、階調変換曲線バッファ401と、代表点抽出部402と、差分算出部403と、代表点調整部404と、乗加算部405と、遷移時間設定部406と、重み制御部407と、補間部408と、切替部409からなる。制御部120は、代表点抽出部402、代表点調整部404、乗加算部405、遷移時間設定部406、切替部409と双方向に接続されている。 算出部116は階調変換曲線バッファ400へ、記録部117は階調変換曲線バッファ401へ接続されている。階調変換曲線バッファ400、階調変換曲線バッファ401は代表点抽出部402、乗加算部405、補間部408、切替部409を介して階調変換部112へ接続されている。
【００７０】
代表点抽出部402は、差分算出部403を介して代表点調整部404へ接続しており、代表点調整部404は代表点抽出部402へ接続されている。遷移時間設定部406は、重み制御部407を介して乗加算部405へ接続されている。標準階調曲線ＲＯＭ119および算出部116は、切替部409へ接続されている。算出部116からの階調変換曲線は階調変換曲線バッファ400へ、記録部117からの階調変換曲線は階調変換曲線バッファ401へ転送され保存される。
【００７１】
代表点抽出部402は、制御部120の制御に基づき、両者の階調変換曲線から所定間隔、例えば等間隔で設定されている階調値に対応する値を代表点として抽出し、これを差分算出部403へ転送する。差分算出部403は、両者の階調変換曲線で対応する代表点間の絶対値を算出し、これを差分値として代表点調整部404へ転送する。代表点調整部404は、上記差分値が所定の閾値以上の場合はその代表点に隣接する代表点間の中央に新たな代表点を追加する。一方、上記差分値が所定の閾値以下の場合はその代表点を削除する。なお、これらの追加および削除は階調変換曲線の始点と終点に対しては行われない。
【００７２】
図６は、差分値に基づく代表点の調整を示すものである。図６(a)のように等間隔に設定されている代表点が、同図(a)に示す新旧の階調変換曲線間の差分値に基づき、図６(b)に示すように差分値が大きい区間、すなわち階調変換が急峻な区間は密に、差分値が小さい区間、すなわち階調変換が緩やかな区間は粗に調整される。
【００７３】
代表点調整部404は、上記の調整作業が完了すると、制御部120へ通達する。制御部120は、代表点抽出部402に調整された代表点に対応する値を抽出させ、これを乗加算部405へ転送するよう制御する。また、制御部120は遷移時間設定部406へ、外部Ｉ／Ｆ部121から得られる画像サイズやフレーム数などの情報を転送する。遷移時間設定部406はこれらの情報に基づき、新旧の階調変換曲線を切り替える遷移時間を調整する。これは例えば、フレームレートや画像サイズが大きく高品位な画像を処理している場合は２〜３秒と長く、フレームレートや画像サイズが小さく低品位な画像を処理している場合は１秒程度と短くする。設定された遷移時間は、重み制御部408では、設定された遷移時間Ｔ（秒）と現在のフレームレート（フレーム数／秒）Ｆから遷移時間中に生成される画像枚数Ｎ（枚）を求める。
【００７４】
Ｎ＝ＴＦ                                                 （１）
重み係数の基本単位は１／Ｎで与えられる。この重み係数の基本単位は、乗加算部405へ転送される。
【００７５】
乗加算部405では、算出部116からの新規の階調変換曲線の代表点をＶnew、記録部117からの過去の階調変換曲線の代表点をＶoldとした場合に、下記（２）により合成された階調変換曲線の代表点Ｖを算出する。
【００７６】
Ｖ＝ｉ／Ｎ Ｖnew＋（１−ｉ／Ｎ）Ｖold  （ｉ＝０〜Ｎ）      （２）
ここで、ｉは遷移時間中に生成される画像枚数のカウント値で、（２）式に基づき合成された階調変換曲線の全代表点が求まるごとに、１ずつ加算されることになる。乗加算部405は、合成された代表点を補間部408へ転送する。補間部408は、代表点間値を公知の線形補間により生成し、合成された階調変換曲線として切替部409へ転送する。
【００７７】
図７は、上記の階調変換曲線の合成を示すものである。図７(a)に示す過去の階調変換曲線から図７(e)に示す新規の階調変換曲線へ徐々に移行していく合成された階調変換曲線を示している。過去の階調変換曲線から数点の代表点〔図６(b)参照〕を抽出し、図７(b)〜(d)に示すように折れ線近似を行いながら順次移行していく。図７のように、折れ線近似することで低コストで中間的な階調変換曲線を算出できる。
【００７８】
切替部409は、制御部120の制御に基づき、シーン変化が検出された場合は遷移時間設定部406が定めた遷移時間内は乗加算部405からの階調変換曲線を、それ以外は算出部116からの階調変換曲線を階調変換部112へ転送する。なお、電源投入時などの初期化状況を制御部120が検知した場合は、切替部409は制御部120の制御に基づき標準階調曲線ＲＯＭ119から階調変換曲線を階調変換部112へ転送する。
【００７９】
制御部120は、遷移時間が終了し新規の階調変換曲線へ切替えが完了すると、算出部116からの階調変換曲線を記録部117へ転送させ記録させる。なお、上記では代表点の間隔を差分値に基づき調整していたが、多少の精度の低下が容認される場合には、これを省略することも可能である。この場合、差分算出部403、代表点調整部404を削除でき、より低コストな構成が可能となる。また、補間部408における代表点間の補間は線形補間に限定される必要はなく、任意の補間方法を使用することができる。
【００８０】
図８は、階調変換部112の構成の一例を示すもので、Ｙ／Ｃ分離部500と、輝度信号バッファ501と、色差信号バッファ502と、輝度補正部503と、補正輝度信号バッファ504と、色差補正部505と、Ｙ／Ｃ合成部506からなる。制御部120は、Ｙ／Ｃ分離部500、輝度補正部503、色差補正部505、Ｙ／Ｃ合成部506と双方向に接続されている。信号処理部111はＹ／Ｃ分離部500へ、Ｙ／Ｃ分離部500は輝度信号バッファ501と色差信号バッファ502へ接続されている。輝度信号バッファ501は輝度補正部503と色差補正部505へ、輝度補正部503は補正輝度信号バッファ504を介してＹ／Ｃ合成部506へ接続されている。また、輝度補正部503へは変換曲線合成部118が接続されている。色差信号バッファ502は色差補正部505を介してＹ／Ｃ合成部506へ接続されている。補正輝度信号バッファ504は色差補正部505へ、Ｙ／Ｃ合成部506はＤ／Ａ変換部113へ接続されている。
【００８１】
信号処理部111からの信号は、Ｙ／Ｃ分離部500にて輝度信号と色差信号に分離され、各々輝度信号バッファ501と色差信号バッファ502に保存される。輝度信号バッファ501の輝度信号は輝度補正部503に転送され、所定の階調変換曲線で出力系の階調幅、本実施の形態では８bitへ変換される。輝度補正部503で用いられる階調変換曲線は、制御部120の制御に基づき変換曲線合成部118から読み込まれる。輝度補正部503で階調変換された輝度信号は補正輝度信号バッファ504へ転送される。
【００８２】
次に、色差補正部505は色差信号バッファ502上の色差信号を読み込み、輝度信号バッファ501からの階調変換前の輝度信号と補正輝度信号バッファ504からの階調変換後の輝度信号を受け取る。この変換前後の輝度信号と色の存在し得る理論限界モデルから、色差信号を補正する補正係数を算出し色差信号を補正する。補正された色差信号はＹ／Ｃ合成部506へ転送され、補正輝度信号バッファ504からの変換後の輝度信号と合成され、Ｄ／Ａ変換部113へ転送される。
【００８３】
上記構成により、時系列的に撮像される任意の画像に対して、シーン変化に対応する階調変換曲線の切替えを、画像サイズやフレーム数などの撮影条件に応じた遷移時間内で連続的に可変することが可能となり、違和感の少ない高品位な画像が得られる。また、処理する画像を縮小し、遷移時間内の階調変換曲線を数点の代表点から算出するため、計算量を低減でき低コストな処理系を実現できる。また、縮小処理により画像の微小変化が吸収されるため得られる画像が安定する。また、標準階調曲線を用意することで、初期化状況などでも対応可能となる。
【００８４】
なお、上記構成では同一被写体に対して異なる露光量（長時間，短時間露光）で撮影した２枚の画像から１枚の広ダイナミックレンジ画像を合成していたが、このような構成に限定される必要はない。通常の１枚撮影のシステムにも適用することができる。この１枚撮影システムの場合は、画像用バッファ106および合成部110を省略することができる。
【００８５】
【発明の効果】
以上述べたように本発明によれば、時系列的に得られた画像の階調幅を変換する階調変換曲線をシーン変化に合わせて低コストで適切に切替え可能な動画撮像システムを実現することができる。また、任意の撮影シーンに対して高品位な画像を生成する動画撮像システムを実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の動画撮像システムのブロック図。
【図２】輝度からシーン変化を検出する検出部の構成の一例を示すブロック図。
【図３】動きベクトルからシーン変化を検出する検出部の構成例を示すブロック図。
【図４】階調変換曲線を算出する算出部の構成の一例を示すブロック図。
【図５】変換曲線合成部の構成の一例を示すブロック図。
【図６】差分値に基づく代表点の調整を説明する図。
【図７】階調変換曲線の合成を説明する図。
【図８】階調変換部の構成の一例を示すブロック図。
【符号の説明】
１１０…合成部（画像合成手段）
１１２…階調変換部（階調変換手段）
１１５…検出部（検出手段）
１１６…算出部（算出手段）
１１７…記録部（記録手段）
１１８…変換曲線合成部（変換曲線合成手段）
【図１】
0004050547.tif 000002
【図２】
0004050547.tif 000003
【図３】
0004050547.tif 000004
【図４】
0004050547.tif 000005
【図５】
0004050547.tif 000006
【図６】
0004050547.tif 000007
【図７】
0004050547.tif 000008
【図８】
0004050547.tif 000009