【事件の表示】
　特許第３３６８０１２号「画像データ処理装置」の請求項１ないし９に係る特許に対する特許異議の申立てについて、次のとおり決定する。
【結　論】
　訂正を認める。
　特許第３３６８０１２号の訂正された請求項１ないし３に係る特許を取り消す。
【理　由】
第１　手続の経緯
　特許第３３６８０１２号の請求項１ないし９に係る発明についての出願は、平成５年１０月２９日に出願され、平成１４年１１月８日に設定登録され、その後、特許異議申立人溝呂木寛から特許異議の申立てがなされ、取消理由通知がなされ、その指定期間内である平成１６年８月２３日に訂正請求がなされたものである。
　
第２　訂正の適否
１　訂正事項
(１) 特許請求の範囲の請求項１を「【請求項１】画像データを得るための撮像手段と、前記撮像手段によって得られた複数枚の画像データを用いてダイナミックレンジが拡大された画像データを生成するダイナミックレンジ拡大手段と、前記ダイナミックレンジが拡大された画像データのダイナミックレンジを前記出力装置の特性に応じて圧縮する処理手段とを有し、前記ダイナミックレンジが拡大された画像データのダイナミックレンジを前記出力装置の特性に応じて圧縮する操作を使用者が前記操作を要求したときに前記処理手段に行わせることを特徴とする画像データ処理装置。」と訂正する。
(２) 特許請求の範囲の請求項４を「【請求項２】前記ダイナミックレンジ拡大手段は、同一シーンにおける異なる露光量の複数枚の画像データを用いて前記ダイナミックレンジが拡大された画像データを生成することを特徴とする請求項１記載の画像データ処理装置。」と訂正する。
(３) 　特許請求の範囲の請求項６を「【請求項３】前記撮像手段は、複数の撮像素子と、撮像光の光路中にあって前記複数の撮像素子に像を分ける分光手段と、前記複数の撮像素子の露光量を変化させる露光制御手段とを有することを特徴とする請求項１記載の画像データ処理装置。」と訂正する。
(４) 特許請求の範囲の請求項２、３、５、７、８及び９を削除する。
(５) 明細書の段落番号【０００６】及び【００４１】を全文訂正明細書のとおり訂正する。
(６) 明細書の段落番号【００４２】を削除する。
　
２　訂正事項について
(１)　訂正事項(１)は、「画像データを得るための撮像手段」を追加する訂正で、訂正前の請求項３の内容を追加する訂正であり、特許請求の範囲の減縮を目的とするものである。
　「前記撮像手段によって得られた複数枚の画像データを用いてダイナミックレンジが拡大された画像データを生成するダイナミックレンジ拡大手段」を追加する訂正は、訂正前の請求項２の内容を追加する訂正であり、特許請求の範囲の減縮を目的とするものである。
　また、「出力装置へ出力する画像データのダイナミックレンジ幅を前記出力装置のダイナミックレンジ幅に合わせる処理手段」を「前記ダイナミックレンジが拡大された画像データのダイナミックレンジを前記出力装置の特性に応じて圧縮する処理手段」に変更する訂正は、「処理手段」によって行われる操作を明りょうにする訂正であり、明りょうでない記載の釈明を目的とするものである。
　さらに、「前記画像データのダイナミックレンジを変化させるための操作手段とを備えた」を「前記ダイナミックレンジが拡大された画像データのダイナミックレンジを前記出力装置の特性に応じて圧縮する操作を使用者が前記操作を要求したときに前記処理手段に行わせる」に変更する訂正は、「前記画像データのダイナミックレンジを変化させるための操作」を明りょうにする訂正であり、明りょうでない記載の釈明を目的とするものである。
　そして、これら訂正は、本件特許明細書の段落番号【００１９】等の記載に基づくものであり、新規事項の追加に該当せず、実質上特許請求の範囲を拡張し、又は変更するものではない。
　
(２)　訂正事項(２)は、訂正前の請求項４を請求項２に繰り上げるとともに請求項１に従属させる訂正であり、明りょうでない記載の釈明を目的とするものである。
　また、「ダイナミックレンジ拡大手段」を「前記ダイナミックレンジ拡大手段」に変更する訂正、並びに「同一シーンにおける異なる露光量の複数枚の画像データを合成する」を「同一シーンにおける異なる露光量の複数枚の画像データを用いて前記ダイナミックレンジが拡大された画像データを生成する」に変更する訂正は、訂正後の請求項１と訂正後の請求項２との関係を明りょうにする訂正であり、明りょうでない記載の釈明を目的とするものであり、新規事項の追加に該当せず、実質上特許請求の範囲を拡張し、又は変更するものではない。
　
(３)　訂正事項(３)は、訂正前の請求項６を請求項３に繰り上げるとともに請求項１に従属させる訂正であり、明りょうでない記載の釈明を目的とするものである。
　また、「撮像手段」を「前記撮像手段」に変更する訂正は、訂正後の請求項１と訂正後の請求項３との関係をより明りょうにする訂正であり、明りょうでない記載の釈明を目的とするものである。
　さらに、「複数の撮像素子と、撮像光の光路中にあって前記各撮像素子に像を分ける分光手段と、前記各撮像素子の露光量を変化させる露光制御手段とを備えている」を「複数の撮像素子と、撮像光の光路中にあって前記複数の撮像素子に像を分ける分光手段と、前記複数の撮像素子の露光量を変化させる露光制御手段とを有する」に変更する訂正は、「複数の撮像素子」と「分光手段」及び「露光制御手段」との関係をより明りょうにする訂正であり、特許請求の範囲の滅縮を目的とするものであり、新規事項の追加に該当せず、実質上特許請求の範囲を拡張し、又は変更するものではない。
　
(４) 訂正事項(４)は、特許請求の範囲の請求項２、３、５、７、８及び９を削除する訂正であり、特許請求の範囲の減縮を目的とするものである。
　
(５) 訂正事項(５)は、訂正事項(１)に係る訂正に伴い、特許請求の範囲の記載と発明の詳細な説明の記載との整合を図るためにした訂正であり、明りょうでない記載の釈明を目的とするものである。
　
(６)　訂正事項(６)は、訂正事項(１)ないし (５)に係る訂正に伴い、特許請求の範囲の記載と発明の詳細な説明の記載との整合を図るためにした訂正であり、明りょうでない記載の釈明を目的とするものである。
　
　そして、訂正事項(４)ないし(６)は、いずれも、新規事項の追加に該当せず、実質上特許請求の範囲を拡張し、又は変更するものではない。
　
３　むすび
　以上のとおりであるから、上記訂正は、特許法１２０条の４第３項において準用する平成６年改正法による改正前の特許法１２６条１項ただし書及び２項の規定に適合するので、当該訂正を認める。　
　
第３　異議申立についての判断
１　本件発明
　上記のとおり、訂正請求が認められたので、本件発明は次のとおりのものである。
【請求項１】「画像データを得るための撮像手段と、前記撮像手段によって得られた複数枚の画像データを用いてダイナミックレンジが拡大された画像データを生成するダイナミックレンジ拡大手段と、前記ダイナミックレンジが拡大された画像データのダイナミックレンジを前記出力装置の特性に応じて圧縮する処理手段とを有し、前記ダイナミックレンジが拡大された画像データのダイナミックレンジを前記出力装置の特性に応じて圧縮する操作を使用者が前記操作を要求したときに前記処理手段に行わせることを特徴とする画像データ処理装置。」（以下、「本件発明１」という。）
【請求項２】「前記ダイナミックレンジ拡大手段は、同一シーンにおける異なる露光量の複数枚の画像データを用いて前記ダイナミックレンジが拡大された画像データを生成することを特徴とする請求項１記載の画像データ処理装置。」（以下、「本件発明２」という。）
【請求項３】「前記撮像手段は、複数の撮像素子と、撮像光の光路中にあって前記複数の撮像素子に像を分ける分光手段と、前記複数の撮像素子の露光量を変化させる露光制御手段とを有することを特徴とする請求項１記載の画像データ処理装置。」（以下、「本件発明３」という。）
　
２　引用刊行物
(１) 取消理由通知に引用した特開平４−１９６７７６号公報（以下「刊行物１」という。）には次の事項が記載されている。
ア　「本発明は撮像装置に関わり、特に電荷結合素子（以下、ＣＣＤという）を撮像素子に用いたテレビジヨンカメラ、電子カメラなどの撮像装置に関するものである。」（公報１頁右下欄１１〜１４行）
イ　「本発明はかかる点に鑑み、信号のＳ／Ｎの劣化を少なくして信号のダイナミックレンジを広げることができる撮像装置を提供することを目的とする。」（公報２頁右上欄１４〜１７行）
ウ　「加算器４の出力信号をダイナミックレンジ制御部５に入力することにより、信号を適正な出力ピ−ク値（１００％）に入るように可変減衰させ、第３図の実線の加算器４の入出力特性を１／２にした一点鎖線の特性を得ることができる。」（公報３頁左下欄５〜１０行）
エ　「本実施例では１枚のハ−フミラ−と２つのＣＣＤを用いて、一方のＣＣＤしか電子シャッタ機能を動作させていないが、２つのＣＣＤ共に電子シャッタ機能を動作させた場合、さらには、複数のハ−フミラー、複数の電子シャッタ付ＣＣＤを用いた場合も同様の効果が得られる。」（公報３頁右下欄７〜１２行）
　
(２)　同じく、取消理由通知に引用した特開平４−２７７９７８号公報（以下「刊行物２」という。）には次の事項が記載されている。
オ　「【０００１】【産業上の利用分野】本発明は画像処理装置、特に入力のカラー画像信号を色空間上で縮小写像変換して出力する手段を有する画像処理装置に関するものである。」
カ　「【０００８】本発明によれば、入力信号を色空間上で縮小写像変換を行う事により、入力信号の色空間上での広がりが、プリンタの色再現範囲を越えている場合でも、各色の階調を損なう事なく良好な出力画像を得ることができる。」
キ　「【００１７】【他の実施例】尚、Ｌ軸方向，ａｂ空間での入力信号の縮小写像変換において、その縮小の度合を使用者が外から入力する事により自由に変えることができる。」
　
３　本件発明１について
(１)　刊行物１に記載された発明は、ダイナミックレンジを広げることができる撮像装置を提供することを目的とし、１枚のハーフミラーと２つのＣＣＤを用いていることから、複数枚の画像データを得ていることが理解できる。
　そして、「信号を適正な出力ピ−ク値（１００％）に入るように可変減衰させ、第３図の実線の加算器４の入出力特性を１／２にした一点鎖線の特性を得ることができる」（前掲ウ）ことから出力装置の特性に応じて圧縮する処理手段を備えているといえる。
　
(２)　以上を踏まえ、本件発明１と刊行物１に記載された発明とを対比すると、次の一致点、相違点を有する。
　
【一致点】「画像データを得るための撮像手段と、前記撮像手段によって得られた複数枚の画像データを用いてダイナミックレンジが拡大された画像データを生成するダイナミックレンジ拡大手段と、前記ダイナミックレンジが拡大された画像データのダイナミックレンジを前記出力装置の特性に応じて圧縮する処理手段とを有し、前記ダイナミックレンジが拡大された画像データのダイナミックレンジを前記出力装置の特性に応じて圧縮することを特徴とする画像データ処理装置。」
【相違点】本件発明１では、出力装置の特性に応じて圧縮する操作を使用者が前記操作を要求したときに前記処理手段に行わせるのに対し、刊行物１の発明では、単に、出力装置の特性に応じて圧縮する処理手段を備えているにとどまり、圧縮処理が使用者の要求に依存することが明記されていない点。
 　
(３) 相違点の検討
　相違点に関する特許請求の範囲における記載は、「前記出力装置の特性に応じて圧縮する操作を使用者が前記操作を要求したときに前記処理手段に行わせる」とあり、ここで、「前記操作」とは「出力装置の特性に応じて圧縮する操作」を指すものと認められる。
　刊行物１でも、制御部５で「出力装置の特性に応じて圧縮する操作」を行っていることが認めらる。（前掲ウ）
　ところで、技術開発の流れは、手動操作のものを自動操作とすることに各種の工夫・改良が施されるものであることは、一般的に認識されていることである。
　刊行物１の発明が、「信号を適正な出力ピ−ク値（１００％）に入るように可変減衰させ」と記載されているのみで、手動操作であるとも自動操作であるとも明記されていないが、自動操作に比してより原始的である手動操作を採用しているとみることも、格別不合理ともいえない。
　本件発明１では、手動操作の態様として「使用者が出力装置の特性に応じて圧縮する操作を要求」と解することができる記載があるのみで、具体的な手動操作が特定されているものではなく、自動操作に比して、手動操作とすることによる格別な創意・工夫が特定されているとみることもできない。
　また、刊行物２には、画像処理の他の実施例として「Ｌ軸方向，ａｂ空間での入力信号の縮小写像変換において、その縮小の度合を使用者が外から入力する事により自由に変えることができる。」（前掲キ）と記載されており、手動操作の採用が適宜実施できることを示している。
　したがって、使用者の要求による手動操作としたことによる格別な効果も認められず、当該相違点に当業者が格別推考力を要したとは認められない。
　
４　本件発明２について
　本件発明２は、本件発明１を引用する形式で、画像データとして「同一シーンにおける異なる露光量の複数枚の画像データ」を用いた点を特徴とするものであるが、刊行物１においても「１枚のハ−フミラ−と２つのＣＣＤを用いて、一方のＣＣＤしか電子シャッタ機能を動作させていないが、」（前掲エ）と記載されているように、一方のＣＣＤの電子シャッタを動作させていることから、露光量が異なる２枚の画像データを得ていることが明らかである。
　したがって、本件発明２の特徴的な事項は刊行物１に記載されている事項であり、本件発明２は格別な効果も認められず、本件発明１と同様、刊行物１記載の発明から当業者が容易に推考できたものである。
　
５　本件発明３について
　本件発明３は、本件発明１を引用する形式で、撮像手段として分光手段と露光制御手段を有することを特徴とするものであるが、刊行物１においても「１枚のハ−フミラ−と２つのＣＣＤを用いて、一方のＣＣＤしか電子シャッタ機能を動作させていないが、」（前掲エ）と記載されているように、分光手段であるハーフミラーを備え、一方のＣＣＤの電子シャッタを動作させていることから、露光制御手段を備えていることも明らかである。
　したがって、本件発明３の特徴的な事項は刊行物１に記載されている事項であり、本件発明３は格別な効果も認められず、本件発明１と同様、刊行物１記載の発明から当業者が容易に推考できたものである。
　
第４　むすび
　以上のとおりであるから、訂正請求書により訂正された請求項１ないし３に記載された発明は、前記刊行物１及び２に記載された発明に基づいて当業者が容易に発明をすることができたものであるから、本件発明１ないし３についての特許は特許法２９条２項の規定に違反してされたものであり、特許法１１３条２号に該当し、取り消されるべきものである。
　よって結論のとおり決定する。
【異議決定日】
平成１６年１１月２５日（２００４．１１．２５）
【訂正の要旨】
審決（決定）の【理由】欄参照。
（５４）【発明の名称】
画像データ処理装置
（５７）【特許請求の範囲】
　【請求項１】　
画像データを得るための撮像手段と、
　
前記撮像手段によって得られた複数枚の画像データを用いてダイナミックレンジが拡大された画像データを生成するダイナミックレンジ拡大手段と、
　
前記ダイナミックレンジが拡大された
ジを
特性に応じて圧縮する
を有し
　
前記ダイナミックレンジが拡大された画像データのダイナミックレンジを前記出力装置の特性に応じて圧縮する操作を使用者が前記操作を要求したときに前記処理手段に行わせる
　【請求項
２
前記
用いて前記ダイナミックレンジが拡大された画像データを生成
１
　【請求項
３
前記
複数の
複数の
有する
１
【発明の詳細な説明】
　【０００１】
　【産業上の利用分野】
　本発明は、特にダイナミックレンジを広くするようにした画像データ処理装置に関するものである。
　【０００２】
　【従来の技術】
　近年、テレビジョンカメラ、電子スチルカメラ等の画像の取り込み手段として、ＣＣＤ撮像素子を始めとする固体撮像素子が多く使用されている。ところが、この固体撮像素子のダイナミックレンジは銀塩等に比べて狭く、撮影条件によっては画質が著しく劣化する。
　【０００３】
　そこで、固体撮像素子のダイナミックレンジ拡大の方法として、同一シーンにおける露光量の異なる複数枚の画像を撮影し、この複数の画像データを何らかの演算で合成してダイナミックレンジの拡大された画像を得る手法が提案されており、このようにして得られた画像データをモニタ等の出力装置で出力することが考えられている。
　【０００４】
　【発明が解決しようとする課題】
　しかしながら、上記のようにダイナミックレンジの拡大された画像データをモニタやプリンタなどの出力装置で出力する場合、出力装置のダイナミックレンジ幅が合成画像のダイナミックレンジ幅より狭いことがある。このような場合、合成画像のダイナミックレンジ幅を出力装置のダイナミックレンジ幅や出力特性に合わせて適切な圧縮操作を行わなければならないが、この圧縮操作を適当に行うと、画像のコントラストが落ちたり、明るさのバランスが崩れ、合成処理を行う前の適正露光で撮られた標準画像に比べて非常に違和感のある画像となってしまう。また、圧縮した結果として良好な画像を得るまでに何回も圧縮操作を行って画像を評価する必要があるという問題点があった。
　【０００５】
　本発明は、上記のような問題点に着目してなされたもので、容易にダイナミックレンジの拡大された良好な画像が得られる画像データ処理装置を提供することを目的としている。
　【０００６】
　【課題を解決するための手段】
　
本発明に係る
は、画像データを得るための撮像手段と、前記撮像手段によって得られた複数枚の画像データを用いてダイナミックレンジが拡大された画像データを生成するダイナミックレンジ拡大手段と、前記ダイナミックレンジが拡大された画像データのダイナミックレンジを前記出力装置の特性に応じて圧縮する処理手段とを有し、前記ダイナミックレンジが拡大された画像データのダイナミックレンジを前記出力装置の特性に応じて圧縮する操作を使用者が前記操作を要求したときに前記処理手段に行わせることを特徴とする。
　【０００７】
　【０００８】
　【０００９】
　【００１０】
　【００１１】
　【００１２】
　【００１３】
　【００１４】
　【００１５】
　【００１６】
　【００１７】
　【実施例】
　図１は本発明の第１の実施例の構成を示すブロック図である。この図１の画像データ処理装置は、撮像手段ａのブロックと、画像合成手段ｂのブロックからなり、出力装置ｃからダイナミックレンジの拡大された画像データを出力できるように構成されている。
　【００１８】
　図１において、１は被写体からの撮像光が入射するレンズ、２は光学ローパスフィルタ、３はＣＣＤ等の撮像素子、４は撮像素子３の動作を制御する撮像素子制御回路、５は撮像素子３からの画像信号をデジタル信号に変換するＡ／Ｄ変換器、６は画像合成のための計算機で、操作手段ｄによりダイナミックレンジを拡大する時のダイナミックレンジ拡大手段を構成している。７はその広ダイナミックレンジ画像を合成する時の合成情報を記憶するメモリ（記憶手段）、８はデータ処理回路で、出力画像データのダイナミックレンジ幅を出力装置ｃのダイナミックレンジ幅あるいは出力特性に合わせる制御手段を構成している。２０は色フィルタである。
　【００１９】
　次に動作を説明すると、撮像手段ａによる被写体像（不図示）は、レンズ１、光学ローパスフィルタ２及び色フィルタ２０を通って撮像素子３に投影される。ここで、撮像素子制御回路４は１回の撮像動作で同一シーンにおける露光量（絞り値、蓄積時間等）の異なる画像信号を順次複数枚得るように構成され、更にこれらの複数の画像信号をメモリ７に記憶する。その後、メモリ７から読み出して計算機６で１枚の広ダイナミックレンジ画像を合成すると同時に、合成時に必要とした画素の値等の合成情報をメモリ７に記憶させておく。また、データ処理回路８は、使用者が出力装置ｃの特性に合わせて合成画像データのダイナミックレンジ幅の圧縮を要求した時に、上記合成時に記憶しておいた合成情報を基に圧縮操作を行ってデータを出力し、使用者の要求がない時には合成画像データに合成情報をつけ加えて出力するか、もしくはそのまま出力する。
　【００２０】
　次に図１の計算機６における合成アルゴリズムを図２の概念図により説明する。図２において、９は適正（標準）露光量で撮像素子３から得られた画像信号をＡ／Ｄ変換器５で８ビットデータとしたものを棒グラフで表した画像データ（ノーマル画像データと呼ぶ）で、同様に、１０，１０′は露出を多くして得られた画像データ（ブライト画像データと呼ぶ）、１１，１１′は露出を少なくして得られた画像データ（ダーク画像データと呼ぶ）、１２は合成によりダイナミックレンジが拡大された画像データ、１３，１３′、１４，１４′は任意の画素の値を表す点である。
　【００２１】
　以下図２に従って合成アルゴリズムを説明する。ここで、各画像データは図１のＡ／Ｄ変換器５で８ビットデータに変換されていると仮定し、よって画素の値として０〜２５５の値をもっているものとする。まず、ノーマル画像９とブライト画像１０の合成を考える。異なる輝度レベル、つまり被写体の光量の変化に対する撮像素子３の出力が異なる画像を合成する場合、互いの画像データの輝度レベルをそろえる必要がある。このため、ノーマル画像９とブライト画像１０の両方でつぶれのない画素を基準点１３とすると、ブライト画像１０はノーマル画像９に比べて露光量が多いので、この点の値はノーマル画像９よりも大きい。よって図２の１３，１３′のような位置関係にある。そこで、両画像データの輝度レベルを同じにするため、この基準点１３，１３′の値を同じにする。そうすると、ブライト画像１０が全体的にスライドされ、座標上でブライト画像１０′の位置となる。
　【００２２】
　同様に、ノーマル画像９とダーク画像１１の合成においても、両方の画像データの輝度レベルを合わせるため、両画像ともつぶれのない画素を基準点１４とすると、ダーク画像１１はノーマル画像９に比べて露光量が少ないので、この点の値はノーマル画像よりも小さい。よって図の１４，１４′のような関係にあり、両画像データの輝度レベルを同じにするためこの基準点１４，１４′の値を同じにすると、ダーク画像１１は全体的にスライドされるので、座標上でダーク画像１１′の位置となる。
　【００２３】
　すなわち、標準露光の標準画像データとそれと異なる露光の非標準画像データの両画像データから両画像データ共輝度レベルが所定範囲内の共通領域を抽出し、この共通領域の輝度レベルを一致させた後、前記標準画像の輝度レベルが所定範囲外の領域に対応する前記非標準画像の輝度レベルが所定範囲内の領域と置換することによって、１枚の広ダイナミックレンジ画像を合成する。
　【００２４】
　以上のような操作により、各画像の輝度レベルが同じとなる。その後、ノーマル画像９の０〜Ｂ（基準点１３）までをブライト画像１０′のＡ〜Ｂ（基準点１３）と取り替え、ノーマル画像９のＣ（基準点１４）〜２５５までをダーク画像１１′のＣ（基準点１４）〜Ｄと取り替える。また、同時に出力装置ｃに合わせて画像データを圧縮するための目安として、合成時に基準となった画素の値（Ａ，０，Ｂ，Ｃ，２５５，Ｄ）をメモリ７に記憶させる。このような操作で３枚の画像データを合成すれば、ダイナミックレンジの拡大された画像データ１２が得られる。
　【００２５】
　次に図３を用いて図２の操作の計算機６上での計算法を説明する。図３において、１５はノーマル画像データの任意の領域の画素の値を表したもの、１６はブライト画像データの領域１５と同じ領域の画素の値を表したもの、１７は合成後の領域１５と１６を合成した値を表したものである。
　【００２６】
　まず、ノーマル画像とブライト画像の輝度レベルを同じにするため、両画像データともつぶれのない画素、図２における基準点１３を設定する。ここで、基準点１３の値としてノーマル画像を１００とすると、ブライト画像の基準点１３′は２００となっている。そして、輝度レベルを合わせるためブライト画像の全ての画素値から２００−１００である１００を減算し、スライドさせる。その後、ノーマル画像の黒つぶれとなっている領域（図３の例では、ノーマル画像１５の画素値が０の領域）をブライト画像の値で補充することで合成を行う。以上、ノーマル画像とブライト画像の合成を説明したが、ノーマル画像とダーク画像の合成の場合も同様である。
　【００２７】
　さて、上記のようにしてダイナミックレンジ拡大処理を行った画像データを出力装置ｃで出力する訳であるが、出力装置ｃのダイナミックレンジ幅が合成画像データより狭い場合があり、このような場合、合成画像データのダイナミックレンジ幅を圧縮して出力を行わなければならない。図４はダイナミックレンジの広い画像データの圧縮例を示す図で、画像データを知覚色空間上で表したものである。図４において、３０は本画像合成処理でダイナミックレンジの拡大された合成画像データ、３１は画像データ３０を任意の範囲で圧縮したものを示しており、図４の（ｅ）に各座標の定義を示す。また、図４の（ａ）は合成画像データ３０を線形的に圧縮したもの、（ｂ）は明るい部分を強調して圧縮したもの、（ｃ）は暗い部分を強調して圧縮したもの、（ｄ）は明るい部分をカットして圧縮したものを示し、このように自由にダイナミックレンジ幅を変えて出力できることが望ましい。そこで以下、図５を用いてダイナミックレンジの拡大された画像データを出力装置ｃの特性に合わせて圧縮を行う、データ処理回路８の動作を説明する。
　【００２８】
　図５において、２４は本合成アルゴリズムを用いてダイナミックレンジを拡大した画像データ、２５及び２９は画像データ２４を８ｂｉｔデータに圧縮した画像データ、２６〜２８は漸近線である。ここで例として、合成画像データのダイナミックレンジは８ｂｉｔ幅以上の値をもち、出力装置ｃのダイナミックレンジ幅は８ｂｉｔであるものについて説明する。
　【００２９】
　図５の（ａ）の画像データ２４は図２の合成画像データ１２と同じであり、画素の値として８ｂｉｔ以上の幅を持っている。この画像データ２４において、Ａ〜Ｂ間はブライト画像から、Ｃ〜Ｄ間はダーク画像から補充したものである。ここで、出力装置ｃのダイナミックレンジ幅が８ｂｉｔ幅であると仮定し、これに合わせて圧縮を行うには、もとの標準画像が図５の（ａ）のグラフ上で０〜２５５間に値するので、Ａ〜Ｂ間の画像データを０〜Ｂ間に、Ｃ〜Ｄ間の画像データをＣ〜２５５間にそれぞれ圧縮を行えば、適正露光の画像データの輝度レベルとほぼ同じで、かつ図２のノーマル画像９よりもダイナミックレンジの拡大された画像を得ることができる。そこで、合成時にメモリ７に記憶してある合成情報（Ａ，Ｂ，Ｃ，Ｄ，０，２５５）の値を用いて行う。以下、図５の（ａ）で述べた圧縮操作を計算機上で線形的に行う場合の計算式の例を示す。
　【００３０】
　（１）（Ａ〜Ｂ）→（０〜Ｂ）
　　ＮｅｗＰｉｘ＝（Ｂ−０）÷（Ｂ−Ａ）×（ＯｌｄＰｉｘ−Ａ）＋０
　（２）（Ｂ〜Ｃ）→（Ｂ〜Ｃ）
　そのまま
　（３）（Ｃ〜Ｄ）→（Ｃ〜２５５）
　ＮｅｗＰｉｘ＝（２５５−Ｃ）÷（Ｄ−Ｃ）×（ＯｌｄＰｉｘ−Ｃ）＋Ｃ以上、線形式を用いて圧縮を行ったが、図５の（ｂ）のように、直線２６〜２８を漸近線とするような曲線２９を作り出し、非線形的に圧縮を行えば、光の強さに対する出力値が滑らかになるので、より自然な画像が得られる。また、曲線を作り出すことが困難な場合は、短い直線を組み合わせて曲線２９に近似させて圧縮を行えば良い。また、これら圧縮操作を本撮像装置以外でも行えることが望ましい。そのような場合には、図６のように、メモリ７の圧縮情報（合成情報）をつけ加えることで、コンピュータなどで上述したような圧縮操作を行うことが可能となる。
　【００３１】
　このように、各画像データの輝度レベルを合わせてから合成を行うことにより、疑似輪郭のない輝度バランスがとれたダイナミックレンジの広い自然な合成画像が得られ、かつ複雑な計算を必要としないので、合成時間が短く、動画にも適用できる。
　【００３２】
　また、ダイナミックレンジを拡大する時に拡大の目安となったＡ，０，Ｂ（基準点），Ｃ（基準点），２５５，Ｄの値等を記憶しておくことで、その座標を目安として出力装置ｃのダイナミックレンジ幅に合わせて圧縮を簡単に行えると共に、１枚の広ダイナミックレンジ合成画像から使用者の意志により自由にダイナミックレンジ幅を変えて出力することが可能になる。
　【００３３】
　なお、上記合成する画像データの数は３枚と限らず、２枚以上なら何枚でも差し支えない。
　【００３４】
　図７は本発明の第２の実施例の構成を示すブロック図であり、図１と同一符号は同一構成部分を示している。図７において、１８は第１の撮像素子、３は第２の撮像素子、１９は第３の撮像素子、２０は色フィルタ、２１は色信号を輝度信号と色差信号に分ける色差信号生成回路、８は色差信号と輝度信号からＲＧＢ信号を作り出す信号処理回路、２３はレンズ１からの像を複数の撮像素子３，１８，１９に分けるプリズム（分光手段）である。
　【００３５】
　図７に従って動作を説明すると、被写体像（不図示）はレンズ１及びプリズム２３を通り、さらに光学ローパスフィルタ２及び色フィルタ２０を通って撮像素子１８，３，１９に投影される。ここで、撮像素子制御回路４により１回の撮影動作で、第１の撮像素子１８からは適正露光量で色信号、第２の撮像素子３からは露光を多くした輝度信号（以下ブライト輝度信号と呼ぶ）、第３の撮像素子１９からは露光を少なくした輝度信号（以下ダーク輝度信号と呼ぶ）を得る。その方法としては各撮像素子の前面に互いに透過率の異なるＮＤフィルタを設けるか各撮像素子の蓄積時間を異ならせる。こうして得られた各画像信号は、Ａ／Ｄ変換器５でデジタル信号に変換される。
　【００３６】
　次に、画像データ合成手段のブロックの説明に入るが、合成アルゴリズムは前述の第１の実施例と同じである。つまり、露光量の異なる複数枚の画像データの輝度レベルを適正露光量で撮った画像データの輝度レベルに合わせて合成するというものである。
　【００３７】
　撮像素子１８からの色信号は、色差信号生成回路２１に入り、ここで輝度信号Ｙｎ（以下ノーマル輝度信号と呼ぶ）及び色差信号Ｒ−Ｙｎ，Ｂ−Ｙｎが作られる。このノーマル輝度信号Ｙｎと撮像素子３からのブライト輝度信号Ｙｂの輝度レベルの差（図２におけるノーマル画像９の基準点１３とブライト画像１０の基準点１３′との画素値の差）を計算機６で計算し、メモリ７に記憶する。同様に、ノーマル輝度信号Ｙｎと撮像素子１９からのダーク輝度信号Ｙｄの輝度レベルの差も記憶する。
　【００３８】
　上記のようにして、一旦輝度レベルの差を記憶しておくことにより、次回からブライト輝度信号からこの差を引くだけで、また、ダーク輝度信号にこの差を加えるだけで簡単にノーマル輝度信号の輝度レベルに合わせることが可能となる（図２におけるブライト画像１０′及びダーク画像１１′）。そして、、この輝度レベルを合わせた信号を計算機６で図２のデータ１２のように合成を行い、データ処理回路８で合成画像をノーマル画像のビット幅（今回の例では８ｂｉｔ）に輝度レベルが相違しないように圧縮を行い、色差信号生成回路２１からの色差信号と組み合わせれば、ダイナミックレンジの拡大された画像を合成することができる。その際、データ処理回路８は第１の実施例と同じ動作をする。
　【００３９】
　以上のような構成で合成を行うことにより、合成によって疑似輪郭となってしまうのを防ぐことができる。また、複数の撮像素子を用いて露光量の異なる複数枚の画像データを同時に取り込み、かつ一旦各輝度信号の輝度レベルの差を記憶しておけば、次回からは簡単な演算で合成が可能となるので、動きのある被写体やムービーにも適用できる。
　【００４０】
　なお、上述の各実施例ではいずれも撮像ブロックと画像データ合成ブロックとが合体化された画像データ処理装置として説明したが、両ブロックが分離されていても本発明の主旨に沿うものであることは明白である。
　【００４１】
　【発明の効果】
　以上述べたように、本発明によれば、
ダイナミックレンジが拡大された画像データのダイナミックレンジを出力装置の特性に応じて圧縮する操作を使用者がその操作を要求したときに行うことができるので、出力装置の特性に適したダイナミックレンジを有する画像を出力するか否かを使用者の意思によって決定することができる。
　【００４２】
【図面の簡単な説明】
　【図１】　本発明の第１の実施例の構成を示すブロック図
　【図２】　合成アルゴリズムの概念図
　【図３】　合成アルゴリズムの計算法を示す説明図
　【図４】　画像データの圧縮例を示す説明図
　【図５】　ダイナミックレンジ拡大データの圧縮例を示す図
　【図６】　画像フォーマットを示す図
　【図７】　本発明の第２の実施例の構成を示すブロック図
　【符号の説明】
　３　撮像素子
　４　撮像素子制御回路（露光制御手段）
　６　計算機（ダイナミックレンジ拡大手段）
　８　データ処理回路（制御手段）
　１８　撮像素子
　１９　撮像素子
　２３　プリズム（分光手段）
　ａ　撮像手段
　ｃ　出力装置
　ｄ　操作手段