【事件の表示】
　特許第２９７０４４０号「画像合成方法と画像合成装置」の請求項１ないし４に係る特許に対する特許異議の申立てについて、次のとおり決定する。
【結　論】
　訂正を認める。
　特許第２９７０４４０号の請求項１ないし４に係る特許を維持する。
【理　由】
［１］手続の経緯
　本件特許２９７０４４０号の発明は、平成６年１１月２９日に特許出願され、平成１１年８月２７日にその特許の設定登録がなされ、その後、溝呂木寛より特許異議の申立がなされ、取消理由通知がなされ、その指定期間内である平成１２年９月１８日に訂正請求がなされたものである。
　
［２］訂正の適否についての判断
［２−１］訂正の目的の適否、新規事項の有無及び拡張・変更の存否
　特許権者が求めている訂正の内容は、以下（ａ）のとおりである。
（ａ）請求項２を、「異なる電荷蓄積時間で撮影された画像のゲイン比は、入力レベルの一定の範囲内で頻度が最大であるレベルにおけるゲイン比、もしくは、前記入力レベルの一定の範囲内の平均値のレベルにおけるゲイン比、もしくは、前記入力レベルの一定の範囲内の中央値のレベルにおけるゲイン比として計算することを特徴とする請求項１記載の画像合成方法。」に訂正する。
　上記（ａ）の訂正事項は、明細書の段落（００２３）及び（００２６）の記載に基づいて、不明瞭な記載を明細書の記載と整合させるために訂正するものであるから、明りょうでない記載の釈明に該当するものであって、新規事項の追加に該当せず、実質的に特許請求の範囲を拡張又は変更するものではない。
［２−２］　以上のとおりであるから、上記訂正は、特許法第１２０条の４第２項及び第３項で準用する特許法第１２６条第２項ないし第４項、及び特許法等の一部を改正する法律（平成６年法律第１１６号）附則第６条第１項の規定に適合するので、当該訂正を認める。
　
［３］特許異議の申立についての判断
［３−１］申立の理由の概要
　申立人溝呂木寛は、特許２９７０４４０号に対して、甲第１号証（特開平５−１３０４９９号公報）、甲第２号証（特開平６−７０２２２号公報）、及び甲第３号証（特開平６２−１０８６７８号公報）を提出し、請求項１ないし４に係る発明についての特許は、特許法第２９条第２項の規定に違反してなされたものであり、また、請求項２に係る発明についての特許は、特許第３６条の規定に違反してなされたものであるので、特許を取り消すべきものと主張している。
［３−２］本件発明
　上記訂正請求により訂正された訂正明細書の請求項１ないし５に係る発明（以下「本件請求項１ないし５に係る発明」という。）は、その請求項に記載された事項により特定される次のとおりのものである。
「【請求項１】　異なる電荷蓄積時間で撮影された画像について、入力レベルの一定の範囲内における画像信号をもとにゲイン比を計算し、前記ゲイン比より画像信号のゲインを合わせた後、暗い部分は長い電荷蓄積時間により撮影した画像のデータを用い、明るい部分は短い電荷蓄積時間により撮影した画像のデータを用い、両者の中間では、長い電荷蓄積時間により撮影した画像と短い電荷蓄積時間により撮影した画像の重み付け和によってデータを合成することを特徴とする画像合成方法。
【請求項２】　異なる電荷蓄積時間で撮影された画像のゲイン比は、入力レベルの一定の範囲内で頻度が最大であるレベルにおけるゲイン比、もしくは、前記入力レベルの一定の範囲内の
平均値のレベルにおけるゲイン比、
前記
【請求項３】　異なる電荷蓄積時間で撮影された画像のゲイン比は、入力レベルの一定の範囲内の複数のレベルにおけるゲイン比を内挿または外挿して計算することを特徴とする請求項１記載の画像合成方法。
【請求項４】　入力画像の輝度成分、Ｒ成分、Ｇ成分のいずれかに対してゲイン比を計算する、もしくは、入力画像のＲ，Ｇ、Ｂ各成分に対して独立にゲイン比を計算することを特徴とする請求項１ないし３のいずれかに記載の画像合成方法。
【請求項５】（異議の対象外であるため略す）」
［３−３］引用刊行物記載の発明
　本件請求項１ないし４に係る発明に対して、当審が通知した取消理由で引用した刊行物１（上記甲第１号証）は、「画像信号の輝度補正装置」に関するもので、
（ａ）「電子的な画像入力装置により撮影した静止画の輝度レベルを補正するレベル補正装置において、画像信号の輝度補正装置の機能ブロックは、上記画像入力装置を介して被写体を撮影する第１の画像情報と、上記第１の画像情報と異なる露光量で撮影された第２の画像情報の少なくとも２枚撮影する撮像部１０と、上記撮像部からの上記第１の画像情報で置換補正する部分の境界輝度レベルである置換基準輝度レベルｔｈを決定する置換基準輝度レベル決定部１１と、上記第１の画像情報の置換基準輝度レベルｔｈの位置に対応する上記第２の画像情報の輝度レベルの平均値Ｙｔｈを算出する平均値算出部１２と、該平均値算出部１２からのデータに基づき置換補正演算して得られた輝度情報ｄと上記置換基準輝度レベルｔｈを境に上記第１の画像情報の輝度情報Ｙ１とを置換する輝度レベル置換部１３で構成している。」（段落００１０）、
（ｂ）「第２の画像情報において第２の画像情報の画素がカラーのＲＧＢの３成分を有している場合は、各３成分値に対してｄ／Ｙ２を乗算し」（段落００３７）、
（ｃ）「このｄ／Ｙ２の乗算により画素の輝度情報は、図９に示すように第１の画像情報の置換に用いるための第２の画像情報の輝度情報の傾きを補正している。この補正された新たな輝度情報で第１の画像情報と置換されることにより・・・・第１の画像情報においてレベル的に飽和していたＳａｔ領域を含むコントラストの低い部分の画素が第２の画像情報に基づいて補正される。」（段落００３７）と記載されている。
　同じく引用した刊行物２（上記甲第２号証）には、「画像処理装置および方法ならびにビデオ・カメラ」に関して、
（ｄ）「この発明は、明るい部分と暗い部分との輝度差の大きい被写体が視野内に含まれていた場合でも、両方の部分について見やすい画像が得られるビデオ・カメラを提供する」（段落０００３）、
（ｅ）「この発明による画像処理方法は，入力画像信号から２つの同じ第１および第２の画像信号を作成し，少なくとも上記第２の画像信号を，上記画像信号によって表わされる画像の相対的に明るい領域と相対的に暗い領域との明るさの差に応じて増幅し，上記画像の相対的に明るい領域と相対的に暗い領域との境界を見付け出し，見付け出された境界によって分けられる相対的に明るい領域については第１の画像信号を，相対的に暗い領域については第２の画像信号をそれぞれ用いて合成画像信号を作成するものである。」（段落０００９）、
（ｆ）「好ましい実施態様においては，上記合成手段は上記境界の近傍において上記第１および第２の画像信号の加重平均値を表わす画像信号を作成する手段を含んでいる。これにより，合成される画像の境界線が滑らかになり，自然な感じが実現できる。」（段落００２０）と記載され、重み付け加算について記載されている。
　同じく引用した刊行物３（上記甲第３号証）には、「電子カメラ」に関して、
（ｇ）「被写界光強度レベルが第３Ａ図のグラフ内の１からＡまでの検出に適する範囲内にある場合には、前述の第２露出時間中に得られたビデオフレームＣの画像データに対応した出力電子情報信号に対し値”１”の伝達関数を課する。」（第９頁右上欄第１２行〜第１７行）、
（ｈ）「ルックアップテーブル３６の伝達関数３６’は、長い第２露出時間の直前の、短い１／６０秒の第１露出時間中に得られたビデオフレームＢの画像データに対応する電子情報信号を、被写界光強度レベルＡおよびＢの中間においては、次第に多く伝達するようになる。」（第９頁左下欄第１４行〜第１９行）、
（ｉ）「レベルＢより高い被写界光強度レベルの場合には、第１露出時間中に得られたビデオフレームＢの画像データに対応する電子情報信号に対して値”１”の伝達関数を課する。」（第９頁右下欄第１行〜第４行）と記載され、重み付け加算について記載されている。
［３−４］対比・判断
［３−４−１］請求項１に係る発明
　本件請求項１に係る発明と、刊行物１に記載された発明と対比すると、刊行物１の「ｄ／Ｙ２」は、本件の「ゲイン比」に対応しているので、両者は、「異なる露光量で撮影された画像について、ゲイン比を計算し、前記ゲイン比より画像信号のゲインを合わせた後、暗い部分は長い電荷蓄積時間により撮影した画像のデータを用い、明るい部分は短い電荷蓄積時間により撮影した画像のデータを用いて、データを合成する画像合成方法」であるという基本的な点で共通している。
　しかしながら、本件請求項１に係る発明は、「入力レベルの一定の範囲内における画像信号をもとにゲイン比を計算し、前記ゲイン比より画像信号のゲインを合わせる」構成（以下「構成Ａ」という。）、および「両者（暗い部分と明るい部分）の中間では、長い電荷蓄積時間により撮影した画像と短い電荷蓄積時間により撮影した画像の重み付け和によってデータを合成する」構成（以下「構成Ｂ」という。）を、必須の構成要件とするのに対して、刊行物１には、上記構成ＡおよびＢが記載されていないし、示唆もない。
　また、刊行物２および３には、上記構成Ｂが記載されているものの、ゲイン比を計算することに関しては特に記載がなく、構成Ａについては何ら記載されていないし、示唆もない。
　してみると、上記構成Ａについて、いずれの刊行物にも記載されておらず、示唆もないので、本件請求項１に係る発明は刊行物１〜３に記載された発明に基づいて容易に発明をすることができたものではない。
［３−４−２］請求項２ないし４に係る発明
　本件請求項２ないし４に係る発明は、請求項１を引用するものであるので、上記［３−４−１］と同様の理由により、刊行物１〜３に記載された発明に基づいて容易に発明をすることができたものではない。
［３−５］第３６条
　本件請求項２に係る発明は、訂正請求により訂正されて上記［３−２］記載のとおりとなり、発明の詳細な説明の項の記載と整合するようになったので、特許法第３６条第４項第５項及び第６項に規定する要件を満たしている。
　
［４］むすび
　以上のとおりであるから、特許異議申立の理由及び証拠によっては、本件請求項１ないし４に係る発明の特許を取り消すことはできない。
　また、他に本件請求項１ないし４に係る発明の特許を取り消すべき理由を発見しない。
　よって、結論のとおり決定する。
【異議決定日】
平成１２年１０月１２日（２０００．１０．１２）
【訂正の要旨】
（３）訂正事項（訂正の要旨）
　本件特許発明の明細書の特許請求の範囲の請求項２
『【請求項２】　異なる電荷蓄積時間で撮影された画像のゲイン比は、入力レベルの一定の範囲内で頻度が最大であるレベルにおけるゲイン比、もしくは、前記入力レベルの一定の範囲内におけるゲイン比の平均値、もしくは中央値、もしくは、入力レベルの一定の範囲内の中央値のレベルにおけるゲイン比として計算することを特徴とする請求項１記載の画像合成方法。』
を特許法第１２０条の４第２項第１号及び第３号を目的として
『【請求項２】　異なる電荷蓄積時間で撮影された画像のゲイン比は、入力レベルの一定の範囲内で頻度が最大であるレベルにおけるゲイン比、もしくは、前記入力レベルの一定の範囲内の
平均値のレベルにおけるゲイン比、
前記
に訂正する。
（５４）【発明の名称】
画像合成方法と画像合成装置
（５７）【特許請求の範囲】
　【請求項１】　異なる電荷蓄積時間で撮影された画像について、入力レベルの一定の範囲内における画像信号をもとにゲイン比を計算し、前記ゲイン比より画像信号のゲインを合わせた後、暗い部分は長い電荷蓄積時間により撮影した画像のデータを用い、明るい部分は短い電荷蓄積時間により撮影した画像のデータを用い、両者の中間では、長い電荷蓄積時間により撮影した画像と短い電荷蓄積時間により撮影した画像の重み付け和によってデータを合成することを特徴とする画像合成方法。
　【請求項２】　異なる電荷蓄積時間で撮影された画像のゲイン比は入力レベルの一定の範囲内で頻度が最大であるレベルにおけるゲイン比、もしくは、前記入力レベルの一定の範囲内の
平均値のレベルにおけるゲイン比、
前記
　【請求項３】　異なる電荷蓄積時間で撮影された画像のゲイン比は、入力レベルの一定の範囲内の複数のレベルにおけるゲイン比を内挿または外挿して計算することを特徴とする請求項１記載の画像合成方法。
　【請求項４】入力画像の輝度成分、Ｒ成分、Ｇ成分のいずれかに対してゲイン比を計算する、もしくは、入力画像のＲ，Ｇ、Ｂ各成分に対して独立にゲイン比を計算することを特徴とする請求項１〜３のいずれかに記載の画像合成方法。
　【請求項５】電荷蓄積時間を制御できる撮像素子と、前記電荷蓄積期間の異なる２枚以上の画像のゲイン比を計算するゲイン比計算手段と、前記電荷蓄積期間の異なる２枚以上の画像の信号レベルに応じて重みを付けるレベル重み手段と、重み付けされた信号もしくは前記重み付けされた信号を標準テレビ信号の速度に変換して得られた信号のレベルを基準レベルに圧縮するレベル圧縮手段を有する画像合成装置。
【発明の詳細な説明】
　【０００１】
　【産業上の利用分野】本発明は、自然界の光強度のダイナミックレンジの高い被写体を、飽和や黒つぶれすることなく撮像合成する画像合成方法と画像合成装置に関する。
　【０００２】
　【従来の技術】従来、画像合成分野の技術としては、例えば、特開平６−１４１２２９号公報（特願平４−２８８５０８号）にみられるような、異なる露光条件（電荷蓄積期間）で撮像された画像について、電荷蓄積期間の違いをもとにした定数のゲイン比によってゲインをあわせ、合成するものがある。図１６はその構成図であり、２０１はＣＣＤ、２０２は画像を記憶するメモリ、２０３は信号レベルを定数倍する乗算手段、２０４、２０５は画像信号のレベルに応じて重みを付加するレベル重み手段、２０６は画像信号を加算する加算手段、２０７は加算手段２０６の出力信号の走査速度を１／２に変換する速度変換手段、２０８は画像信号のレベルを圧縮するレベル圧縮手段、２０９は各ブロックのタイミングを制御するタイミング制御手段である。この従来の高ダイナミックレンジ撮像装置の動作について以下に説明する。
　【０００３】ＣＣＤ２０１は通常のＴＶ走査の２倍の速度で、電荷蓄積時間の異なる（すなわち、絞りの異なる）画像信号をフィールド毎に交互に撮像する。ＣＣＤ２０１から読み出した信号のうち、電荷蓄積時間の短い信号はメモリ２０２に記録し、そして、電荷蓄積時間の長い信号が読み出されるのとほぼ同じタイミングでメモリ２０２から読み出す。メモリ２０２から読み出した信号は乗算器２０３によって定数倍され、電荷蓄積時間の異なる信号の同じ被写体の信号レベルを原理的に同レベルとする。次に、それぞれの信号に信号レベルに応じた重み（Ｌ，Ｈ）をレベル重み手段２０４、レベル重み手段２０５で付ける。そして、加算器２０６で加算することにより合成し、１枚の画像とする。合成された画像は、ＣＣＤ２０１の信号読み出しの段階で、通常の２倍の速度としているため、標準テレビ信号の走査に対応するように信号の走査速度を１／２に変換する。
　【０００４】
　【発明が解決しようとする課題】しかしながら上記のような従来の構成では、電荷蓄積時間に応じた乗算器２０３による定数倍のゲイン合わせで、正確にゲインを合わせることができず、輝度が連続的に変化する領域を撮像する際、合成された画像中で輝度の逆転や不連続が生じるという課題を有していた。すなわち、原理的には入力レベルによらず一定であるはずの電荷蓄積時間の異なる画像問のゲイン比は、素子のばらつきや量子化誤差等により、実際には図３に示すように入力レベルに対して一定の値とならない。さらに、γ補正手段を伴う撮像系によって得られた画像を合成する際には、低輝度の入力に対するγ曲線すなわち低輝度入力に対するゲインを抑制したγ補正を行う撮像系が多いため、正しいゲインあわせが行えない。その結果、重み付け加算後の画像信号は図４の様にオーバーラップ部でのつながり（連続性）が悪くなり、合成された画像の画質が劣化する。
　【０００５】本発明はかかる点に鑑み、コントラストの高い被写体に対して異なる電荷蓄積時間で撮像された画像のゲインを、画像信号のレベルに応じて正確に合わせ、撮像合成された画像の信号レベルがすべてのレンジにおいて連続になる画像を出力できる高ダイナミックレンジ撮像・合成方法およびその装置を提供することを目的とする。
　【０００６】
　【課題を解決するための手段】本発明は上記目的を達成するため、電荷蓄積時間を制御できる撮像素子と、前記電荷蓄積期間の異なる２枚以上の画像のゲイン比を計算するゲイン比計算手段と、前記電荷蓄積期間の異なる２枚以上の画像の信号レベルに応じて重みを付けるレベル重み手段と、重み付けされた信号もしくは前記重み付けされた信号を標準テレビ信号の速度に変換して得られた信号のレベルを基準レベルに圧縮するレベル圧縮手段より構成される。
　【０００７】
　【作用】本発明は前記構成により、電荷蓄積時間の異なる２枚以上の画像に対して、その信号レベルに基づいてゲイン比を計算し、乗算手段によってゲインを合わせた後、それぞれの信号レベルに応じて重み付けを行い、この重み付けした画像を加算して合成した信号もしくは更に標準テレビ信号の速度に変換して得られた高ダイナミックレンジ信号のレベルを基準レベルに圧縮し、暗い画像から明るい画像まで飽和やノイズの少ない画像を得る。
　【０００８】
　【実施例】以下、本発明の実施例について、図面を参照しながら説明する。図１は本発明の第１の実施例における高ダイナミックレンジの画像合成を実現する画像合成装置の構成を示すブロック図である。
　【０００９】図１において、１は被写体の光電変換を行う撮像素子、２は画像信号を記録するメモリ、３は電荷蓄積期間の異なる画像に対してその信号レベルに基づいてゲイン比を計算するゲイン比計算手段、４は乗算手段、５、６は画像信号のレベルに応じて重みを付加するレベル重み手段、７は信号を加算する加算手段、８は加算手段７の出力信号を標準テレビ信号の速度に変換する速度変換手段、９は速度変換手段８から出力された画像信号のレベルを圧縮するレベル圧縮手段、１０は各ブロックのタイミングを制御するタイミング制御手段、１１は画像合成部である。
　【００１０】以上のように構成された第１の実施例について、以下、その動作を説明する。まず、被写体は撮像素子（以下ＣＣＤという）１の撮像部に結像され、電気信号（電荷）に変換される。電荷量は光の強度に比例し、電荷蓄積期間に得られた電荷を電圧に変換し、電気信号として出力する構造となっている。従って電荷蓄積期間を短くすれば、光強度が強くても信号の飽和は発生せず、また電荷蓄積期間を長くすれば光強度の弱いものでも十分に大きな信号が得られる。なお、ＣＣＤは現在非常に一般的な素子であるので、その基本的動作説明は省略する。タイミング制御器１０は、まずＣＣＤ１の電荷蓄積期間（光電変換期間）を制御する。
　【００１１】図２に制御を行うタイミングを示す。図２は上から電荷蓄積期間、信号電荷読みだしタイミング、信号電荷高速転送期間、信号読みだしタイミングを示すものである。電荷蓄積期間は、期間の短いＣＳ１と期間の長いＣＬ１が順次繰り返され、ＣＳ１とＣＬ１の合計がほぼ１フィールド期間になる。ＣＣＤ１から読みだした信号のうち、ＣＳ１の電荷蓄積期間の短い信号はメモリ２に記録され、ＣＬ１の電荷蓄積時間の長い信号がＣＣＤ１から読みだされるのとほぼ同じタイミングでメモリ２から読みだされる。ゲイン比計算手段３は、一定の入力レベルの範囲内のＣＳ１の電荷蓄積期間の短い信号とＣＬ１の電荷蓄積時間の長い信号との比から、ゲイン比を計算する。ゲイン比計算手段３のブロック図の一例を図５に示す。
　【００１２】図５において、１１ａは比較器、１２はゲイン比を計算する除算器、１８ａはゲイン比テーブルヘの書き込みを制御する書き込み制御装置、１３ａはオーバラップ部のＣＬ１のレベル毎のゲイン比を記憶するゲイン比テーブルである。比較器１１ａはＣＬ１の画像信号のレベルがオーバラップ部のレベルに達していないか、オーバラップ部のレベルの範囲内か、もしくは飽和レベルに達しているかを判断し、その結果を書き込み制御装置１８ａに出力する。本実施例では、入力レベルの８０％から１００％未満の範囲をオーバーラップ部とする。比較器１１ａは、ＣＬ１の画像信号のレベルが８０％未満の場合はオーバラップ部のレベルに達していないと判断し、８０％以上１００％未満の場合はオーバラップ部のレベルの範囲内と判断し、１００％の場合は飽和していると判断する。
　【００１３】そして、ＣＬ１の画像信号のレベルがオーバーラップ部のレベルの範囲内の場合、除算器１２によってゲイン比を計算し、書き込み制御装置１８ａはＣＬ１の信号レベルに応じたゲイン比テーブル１３ａのアドレスにゲイン比の値を書き込む。また、ＣＬ１の画像信号のレベルがオーバーラップ部のレベルに達していない場合には、書き込み制御装置１８ａはゲイン比の値をゲイン比テーブルに書き込まない。後述の画像合成の際に、ＣＬ１の画像信号のレベルがオーバーラップ部のレベルに達していない画素については、ＣＬ１の画像信号のみを合成結果とするためである。そして、ＣＬ１の画像信号のレベルが飽和している時（ＣＬ１の画像信号レベルが１００％時）には、書き込み制御装置１８ａはＣＬ１の画像信号が９９％のレベル（飽和していない最大のレベル）時のゲイン比をゲイン比テーブル１３ａに書き込む。
　【００１４】ゲイン比テーブル１３ａはＣＬ１の画像信号のオーバーラップ部の各レベルについてのゲイン比を記憶し、ＣＬ１の画像信号のレベルに応じたゲイン比を出力する。ＣＬ１のレベルがオーバラップ部のレベルに達していない時は、後述するレベル重みＨがかかるため、ゲイン比の値は任意となり、また、ＣＬ１のレベルに応じてゲイン比を出力するので、１００％以上については考慮しなくてよい。図６にゲイン比計算手段３の、ＣＬ１の画像信号に対する入出力特性を示す。なお、除算器１２によるゲイン比の計算は、毎フィールド行う必要はなく、一定期間毎にリフレッシュすればよい。乗算器４は、ＣＳ１の電荷蓄積期間の短い信号にゲイン比を乗ずる。
　【００１５】次に、乗算器４の出力に対して信号レベルに対応した重みＨを、レベル重み手段６で付ける。ＣＬ１の電荷蓄積期間に対応する信号に対しても、レベル重み手段５で重みＬを付ける。それぞれの重みの特性の一例を図７に示す。図７において、横軸は入力信号のレベルであり、縦軸は信号に対する重みである。レベル重みＬは入力信号レベルの８０％までは１の重みとし、８０％から１００％まで直線的に重みの値を下げ、入力レベル１００％で重み値を０とする。これに対し、レベル重みＨは入力信号レベルの８０％までは０の重みとし、８０％から１００％まで直線的に重みの値を上げ、入力レベル１００％以上は重み値は全て１とする。
　【００１６】このようにしてダイナミックレンジの異なる画像信号に重みを付け、加算器７で加算することにより合成し、１枚の画像とする。この重み付けにより画像の状態（Ｓ／Ｎが良く、飽和のない部分）の良い部分を抽出し、ダイナミックレンジの高い画像を合成する。合成された画像は、ＣＣＤ１の信号読みだしの段階で、通常の約２倍の速度としているため、標準テレビ信号の走査に対応するように、信号の走査速度を１／２に変換する。
　【００１７】レベル圧縮手段９は、合成後の画像のレベルを０％から１００％の範囲に圧縮する。レベル圧縮の方法としては、例えば特願平６−３４５７号に示されるような、画素毎に異なるレベル変換と空間周波数によって異なるレベル変換を組み合わせたレベル圧縮を行うことにより、画像観察時に感じる主観的なコントラストを維持したレベル圧縮を行うことができる。
　【００１８】以上のように本実施例によれば、電荷蓄積期間の異なる画像の合成時に必要なゲイン合わせを、オーバーラップ部の各レベルでのゲイン比に基づいて適応的に行うことができる。また、従来の電荷蓄積期間の比によりゲイン比を固定する方法と比較して、ゲイン比を適応的に計算するため正確なゲイン合わせが可能であり、オーバーラップ部となるレベル範囲を小さくでき、Ｓ／Ｎの良い方の信号を選択して画像を合成できる。
　【００１９】なお、本実施例のレベル圧縮手段として、表示ディスプレイに十分なレベル再現能力がある場合（いわゆる黒つぶれや白とびをおこさない場合）には、線形にレベル圧縮する方法やＳ字特性を持つような他の非線形な方法を用いてもよい。
　【００２０】なお、本実施例のゲイン比計算手段３において、オーバーラップ部の各レベルについてのゲイン比をゲイン比テーブルに記憶するかわりに、数レベルのゲイン比をもとに各レベルにおけるゲイン比を計算するようにしてもよい。図８は数レベルのゲイン比をもとに各レベルにおけるゲイン比を計算するゲイン比計算手段の構成の一例を示す図である。
　【００２１】図８において、１１ｂは比較器、１２は除算器、１８ｂはゲイン比テーブルヘの書き込みを制御する書き込み制御装置、１３ｂはオーバーラップ部の数レベルにおけるゲイン比を記憶するゲイン比テーブル、１４はゲイン比テーブルのゲイン比データをもとにゲイン比を内挿、外挿してＣＬ１のレベルに応じてゲイン比を出力する内挿外挿手段である。上記構成の動作について以下説明する。
　【００２２】比較器１１ｂはＣＬ１の画像信号のレベルが、８０％、９０％、９９％の時、これを検出し異なる検出信号を書き込み制御装置１８ｂに出力する。書き込み制御装置１８ｂは、比較器１１ｂが上記各レベルを検出した時のみ、除算器１２で計算したゲイン比をゲイン比テーブル１３ｂのそれぞれのレベルに対応したアドレスに書き込む。ゲイン比テーブル１３ｂはオーバーラップ部の数レベルにおけるゲイン比を記憶し、ＣＬ１のレベルに応じて曲線補間に必要な数のゲイン比の値を出力する。内挿外挿手段１４は、ゲイン比テーブル１３ｂが出力したゲイン比の値に対して曲線補間による内挿外挿を行い、ＣＬ１のレベルに応じてゲイン比を出力する。なお、内挿外挿手段１４による補間方法として直線補間を行ってもほぼ同様の効果を得ることができる。
　【００２３】尚、第１の実施例のゲイン比計算手段３において、ゲイン比を実際に計算するＣＬ１のレベルの範囲は、オーバラップ部の範囲と同一でなくてもよく、また、オーバーラップ部の範囲内であれば、オーバーラップ部のレベル範囲の中央値、最大頻度値、平均値等のレベルでのみゲイン比を計算することにより、ゲイン比テーブルの容量を少なくしてほぼ同様の効果を得ることができる。
　【００２４】オーバーラップ部のレベル範囲の中央値は、図５のゲイン比計算部において、比較器１１ａの検出レベルをオーバーラップ部のレベル範囲の中央値（９０％）に設定することで検出できる。
　【００２５】図９はオーバラップ部の範囲内で頻度が最大のレベルにおけるゲイン比を出力するゲイン比計算手段の構成の一例を示す図である。図９において、１５ａ、１５ｂはオーバーラップ部の各レベルの頻度をカウントするカウンタ、１９ａ、１９ｂは読み出しカウンタと書き込みカウンタをフィールド周期で切り替える切り替えスイッチ、２０はオーバラップ部におけるＣＬ１の画像信号の最大頻度値を検出する最大頻度輝度検出手段、１１ｃは比較器、１２は除算器、１８ｃは書き込み制御装置、１３ｃはゲイン比テーブルである。切り替えスイッチ１９ａ、１９ｂはフィールド周期で読み出しカウンタと書き込みカウンタを切り替える。カウンタ１５ａ、１５ｂは書き込みカウンタに切り替えられる毎にリセットされ、フィールド内におけるオーバラップ部の各レベルの頻度をカウントする。最大頻度輝度検出手段２０は頻度が最大のレベルを検出する。比較器１１ｃは、ＣＬ１の画像信号が頻度最大のレベルと等しい時これを検出する。書き込み制御装置１８ｃは、ＣＬ１の画像信号が頻度最大のレベルと等しい時、除算器１２によって計算したゲイン比を、ゲイン比テーブルに書き込む。
　【００２６】図１０はオーバラップ部の範囲内での平均レベルにおけるゲイン比を出力するゲイン比計算手段の一構成例を示す図である。図１０において、１５ａ、１５ｂはオーバーラップ部の各レベルの頻度をカウントするカウンタ、１９ａ、１９ｂは読み出しカウンタと書き込みカウンタをフィールド周期で切り替える切り替えスイッチ、２１はオーバラップ部におけるＣＬ１の画像信号の平均輝度値を検出する平均輝度検出手段、１１ｃは比較器、１２は除算器、１８ｃは書き込み制御装置、１３ｃはゲイン比テーブルである。上記構成のうち、平均輝度検出手段２１以外の動作は図９に示したものと同様である。平均輝度検出手段２１はカウンタ１５ａもしくはカウンタ１５ｂがカウントした各レベルの頻度からオーバラップ部の平均レベルを計算する。
　【００２７】オーバラップ部の最大頻度レベルや平均レベルでのゲイン比を用いることによって、ゲイン比テーブルの容量を小さくでき、かつ、画像合成時のオーバラップ部でのつながり（連続性）を改善できる。
　【００２８】なお、本実施例においては、入力レベルと出力レベルの関係がリニアな撮像系の出力信号を合成する例を示したが、一般の撮像装置においては、γ補正後の信号が出力される。そのような撮像系を用いた実施例について以下説明する。
　【００２９】図１１は、本発明の第２の実施例における画像合成装置の構成を示すブロック図である。図１１において、１は被写体の光電変換を行う撮像素子、１７はγ補正手段、２は画像信号を記録するメモリ、３は電荷蓄積時間の異なる画像に対してその信号レベルに基づいてゲイン比を計算するゲイン比計算手段、４は乗算手段、５、６は画像信号のレベルに応じて重みを付加するレベル重み手段、７は信号を加算する加算手段、８は加算手段７の出力信号を標準テレビ信号の速度に変換する速度変換手段、９は速度変換手段８から出力された画像信号のレベルを圧縮するレベル圧縮手段、１０は各ブロックのタイミングを制御するタイミング制御手段、１１は画像合成部である。
　【００３０】以上のように構成された本発明の第２の実施例について、γ補正手段１７以外の動作は、本発明の第１の実施例と同様である。γ補正手段１７は（数１）および図１２に示す入出力特性を持つ。
（数１）　ＯＵＴ＝ＩＮ＾γ　（ただし　＾はべき乗を示す）
本発明の第１の実施例では、電荷蓄積時間の異なる画像を合成する際、それぞれの画像のレベルを原理的には（数２）であるとして合成を行ったが、本発明の第２の実施例では、（数３）に示す画像を合成する。
（数２）
出力レベル＝ａ１・入力レベル
出力レベル＝ａ２・入力レベル
ゲイン比＝ａ１／ａ２
（数３）
出力レベル＝（ａ１・入力レベル）＾γ
出力レベル＝（ａ２・入力レベル）＾γ
ゲイン比＝（ａ１／ａ２）＾γ
ここで、＾はべき乗を示す。γ補正後の画像を本発明の第１の実施例と同様に、例えばγ＝０．４５で入力レベルの８０％から１００％をオーバーラップ部として合成するためには、図１３に示すように、γ補正後の画像信号のレベルで９０％から１００％の範囲をオーバラップ部とすればよい。従って、レベル重みＬおよびレベル重みＨの重み分布は図１４のようになる。
　【００３１】以上のように本発明の第２の実施例によれば、γ補正後の画像についても、γ補正をしていない画像を合成するのと同様の構成で高ダイナミックレンジ画像の合成が可能となる。また、（数３）に示すゲイン比を画像データのレベルから計算するため、γの値が未知であっても、暗い領域から明るい領域までレベルの連続した高ダイナミックレンジ画像の合成が可能となる。さらに、光電変換の入出力特性が（数３）に示す光電変換特性とは異なる場合（Ｓ／Ｎを改善するために低輝度部でのゲインを抑える撮像系が多い。）においても、画像データをもとに画像データのレベル毎にゲイン比を計算するため、暗い領域から明るい領域までレベルの連続した高ダイナミックレンジ画像の合成が可能となる。
　【００３２】なお、本発明の実施例ではＦＩＴ−ＣＣＤを用いた例を示したが、電荷蓄積時間の連続性を多少犠牲にすると、ＩＬ−ＣＣＤを用いることができ、この時ＣＣＤの制御は図１５に示すようなものとなる。
　【００３３】なお、カラー画像の合成を行う場合、本発明のすべての実施例において、ゲイン比の計算は、輝度成分、Ｒ成分、Ｇ成分、のいずれかひとつについて計算し、他の成分についてもその値を用いてもよく、また、各成分についてそれぞれ計算してもよい。
　【００３４】なお、本発明の実施例ではテレビ信号の倍速で撮像した画像を合成後に速度変換する構成となっているが、時間方向の解像度を犠牲にすれば、通常の速度で撮像した画像を合成後にそのまま出力するという構成も可能であり、本発明に含まれる。
　【００３５】
　【発明の効果】以上のように本発明によれば、露光条件の異なる画像を合成する際に、画像信号のレベルに基づいた正確なゲイン合わせが可能であり、暗い領域から明るい領域までレベルの連続した高ダイナミックレンジ画像の合成が可能となる。
　【００３６】また、本発明によれば、γ補正手段の有無に関わらず同様の構成で高ダイナミックレンジ画像の合成が可能となる。
　【００３７】さらに、本発明によれば、γ補正手段のγ値が未知な場合や、γ補正手段を含む撮像系の光電変換の入出力特性が理論的な特性と多少異なる場合においても、暗い領域から明るい領域までレベルの連続した高ダイナミックレンジ画像の合成が可能となる。
　【００３８】以上のように、本発明によれば、コントラストの高い被写体に対して、撮像合成された画像の信号レベルが、すべてのレンジにおいて連続になる画像を出力することができ、その効果は大きい。
【図面の簡単な説明】
　【図１】本発明の画像合成装置の第１の実施例の構成を示すブロック図
　【図２】撮像素子の駆動タイミングの概要を示すタイミング図
　【図３】画像合成時の入力レベルとゲイン比の特性を示す図
　【図４】ゲイン比が正しくない場合の合成結果の入力レベルと出力レベルの関係図
　【図５】本発明の第１の実施例におけるゲイン計算手段の一構成例を示すブロック図
　【図６】第１の実施例におけるゲイン計算手段によって計算されるゲイン比の特性図
　【図７】第１の実施例におけるレベル重み手段の重み分布図
　【図８】第１の実施例におけるゲイン計算手段の第２の構成例を示すブロック図
　【図９】第１の実施例におけるゲイン計算手段の第３の構成例を示すブロック図
　【図１０】第１の実施例におけるゲイン計算手段の第４の構成例を示すブロック図
　【図１１】本発明の画像合成装置の第２の実施例の構成を示すブロック図
　【図１２】本発明の第２の実施例におけるγ補正手段の入出力特性図
　【図１３】本発明の第２の実施例におけるγ補正後の画像信号を示す図
　【図１４】本発明の第２の実施例におけるレベル重み手段の重み分布図
　【図１５】撮像素子の駆動タイミングの概要を示すタイミング図
　【図１６】従来の高ダイナミックレンジ撮像合成装置の構成図
　【符号の説明】
１　撮像素子
２　メモリ
３　ゲイン比計算手段
４　乗算手段
５　レベル重み手段
６　レベル重み手段
７　加算手段
８　速度変換手段
９　レベル圧縮手段
１０　タイミング制御手段