(57)【要約】【課題】ＨＤＲ画像の生成に使用される複数の撮影画像にそれぞれ対応する複数の露出条件の手動調整を容易に行うことを可能にする技術を提供する。【解決手段】本発明の画像処理装置は、撮影により生成された、複数の露出条件にそれぞれ対応する複数の画像を取得する第１取得手段と、前記複数の画像から、前記複数の画像にそれぞれ対応する複数の特徴量を取得する第２取得手段と、前記複数の画像を合成することにより、前記複数の画像のそれぞれのダイナミックレンジよりも広いダイナミックレンジを有する第１合成画像を生成する第１合成手段と、前記複数の特徴量のそれぞれを示すグラフィック画像を生成し、前記グラフィック画像を前記第１合成画像に合成することにより、前記グラフィック画像と前記第１合成画像が配置された第２合成画像を生成する第２合成手段と、を有する。【選択図】図１
2017228997.tif 000002
【特許請求の範囲】
【請求項１】
撮影により生成された、複数の露出条件にそれぞれ対応する複数の画像を取得する第１取得手段と、
前記複数の画像から、前記複数の画像にそれぞれ対応する複数の特徴量を取得する第２取得手段と、
前記複数の画像を合成することにより、前記複数の画像のそれぞれのダイナミックレンジよりも広いダイナミックレンジを有する第１合成画像を生成する第１合成手段と、
前記複数の特徴量のそれぞれを示すグラフィック画像を生成し、前記グラフィック画像を前記第１合成画像に合成することにより、前記グラフィック画像と前記第１合成画像が配置された第２合成画像を生成する第２合成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記特徴量は、当該特徴量に対応する画像の各画素の輝度値であり、
前記グラフィック画像は、輝度値のヒストグラムである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２合成画像は、前記第１合成画像に前記グラフィック画像が重ねられた画像、または、前記第１合成画像の外側に前記グラフィック画像が配置された画像である
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
ユーザ操作に応じて前記第１合成画像の一部の領域を選択する選択手段、をさらに有し、
前記第２合成手段は、前記選択手段によって選択された領域に対応する特徴量が識別可能となるように、前記グラフィック画像を生成する
ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第２合成手段は、前記選択手段によって選択された領域に対応する特徴量が、前記第１合成画像の他の領域に対応する特徴量の態様と異なる態様で示されるように、前記グラフィック画像を生成する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記特徴量は、当該特徴量に対応する画像の各画素の輝度値であり、
前記グラフィック画像は、輝度値のヒストグラムであり、
前記第２合成手段は、前記選択手段によって選択された領域に対応する輝度値の度数が識別可能となるように、前記グラフィック画像を生成する
ことを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
前記選択手段は、ユーザ操作に応じて前記第１合成画像の内側の１点を選択する
ことを特徴とする請求項４〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記グラフィック画像は、前記複数の特徴量にそれぞれ対応する複数のグラフィック画像である
ことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記露出条件は、ゲイン、シャッター速度、及び、絞りの少なくともいずれかを含む
ことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記露出条件が変化した画像を前記複数の画像から検出する検出手段、をさらに有し、
前記第２合成手段は、前記検出手段によって検出された画像の特徴量が識別可能となる
ように、前記グラフィック画像を生成する
ことを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記第２合成手段は、前記検出手段によって検出された画像の特徴量が、他の画像の特徴量の態様と異なる態様で示されるように、前記グラフィック画像を生成する
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記グラフィック画像は、前記複数の特徴量にそれぞれ対応する複数のグラフィック画像であり、
前記第２合成手段は、前記検出手段によって検出された画像の特徴量に対応するグラフィック画像が識別可能となるように、前記複数のグラフィック画像を生成する
ことを特徴とする請求項１０または１１に記載の画像処理装置。
【請求項１３】
前記露出条件に関する情報である露出情報を前記複数の画像のそれぞれについて取得する第３取得手段、をさらに有し、
前記検出手段は、前記複数の画像にそれぞれ対応する複数の露出情報に基づいて、前記露出条件が変化した画像を前記複数の画像から検出する
ことを特徴とする請求項１０〜１２のいずれか１項に記載の画像処理装置。
【請求項１４】
撮影装置と、請求項１〜１２のいずれか１項に記載の画像処理装置とを有するシステムであって、
前記撮影装置は、
複数の露出条件にそれぞれ対応する複数の画像を撮影によって生成し、
前記複数の画像を前記画像処理装置へ出力する
ことを特徴とするシステム。
【請求項１５】
撮影装置と、請求項１３に記載の画像処理装置とを有するシステムであって、
前記撮影装置は、
複数の露出条件にそれぞれ対応する複数の画像を撮影によって生成し、
前記露出条件に関する情報である露出情報を前記複数の画像のそれぞれについて生成し、
前記複数の画像と、前記複数の画像にそれぞれ対応する複数の露出情報とを前記画像処理装置へ出力する
ことを特徴とするシステム。
【請求項１６】
撮影により生成された、複数の露出条件にそれぞれ対応する複数の画像を取得するステップと、
前記複数の画像から、前記複数の画像にそれぞれ対応する複数の特徴量を取得するステップと、
前記複数の画像を合成することにより、前記複数の画像のそれぞれのダイナミックレンジよりも広いダイナミックレンジを有する第１合成画像を生成するステップと、
前記複数の特徴量のそれぞれを示すグラフィック画像を生成し、前記グラフィック画像を前記第１合成画像に合成することにより、前記グラフィック画像と前記第１合成画像が配置された第２合成画像を生成するステップと、
を有することを特徴とする画像処理方法。
【請求項１７】
請求項１６に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
露出条件（例えば、露光時間）が互いに異なる２つの撮影画像を合成することで、２つの撮影画像のそれぞれのダイナミックレンジよりも広いダイナミックレンジを有する合成画像を生成する撮影装置が提案されている。撮影画像は、撮影によって生成された画像であり、被写体を表す画像である。合成画像も、被写体を表す画像である。以後、合成画像を「ＨＤＲ（ハイダイナミックレンジ）画像」と記載する。
【０００３】
ＨＤＲ画像に関する技術は、例えば、特許文献１に開示されている。特許文献１に開示の技術では、露光時間が長い撮影画像（長時間露光画像）と、露光時間が短い撮影画像（短時間露光画像）とから、ＨＤＲ画像が生成され、生成されたＨＤＲ画像から黒つぶれの画像領域と白飛びの画像領域とが検出される。そして、黒つぶれの画像領域の検出結果と、白飛びの画像領域の検出結果とに基づいて、長時間露光画像を得るための露光時間と、短時間露光画像を得るための露光時間とが自動で調整される。
【０００４】
一方、画像制作では、撮影監督などの意図どおりの撮影画像を得るために、露出条件を手動で調整する必要がある。露出条件の手動調整に関する技術は、例えば、特許文献２に開示されている。特許文献２に開示の技術では、露出条件の手動調整を補助するために、表示された撮影画像の輝度ヒストグラム（輝度値のヒストグラム）が表示される。
【０００５】
ＨＤＲ画像の生成に使用される複数の撮影画像を得る場合には、所望のＨＤＲ画像を得るために、複数の撮影画像にそれぞれ対応する複数の露出条件を手動で調整する必要がある。そして、複数の露出条件の手動調整を行う際には、所望のＨＤＲ画像を得るために、生成されたＨＤＲ画像が表示される。しかしながら、ＨＤＲ画像を確認しただけでは、複数の露出条件の手動調整を容易に行うことはできない。
【０００６】
そして、特許文献１に開示の技術は、露出条件の自動調整に関する技術である。そのため、特許文献１に開示の技術を用いても、複数の露出条件の手動調整を容易に行うことはできない。
【０００７】
また、特許文献２に開示の技術を用いた場合には、ＨＤＲ画像の輝度ヒストグラムが表示される。しかしながら、ＨＤＲ画像の輝度ヒストグラムを確認しても、複数の露出条件の手動調整によるＨＤＲ画像の輝度ヒストグラムの変化を容易に把握することはできないため、複数の露出条件の手動調整を容易に行うことはできない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−２２８０５８号公報
【特許文献２】特開２０１２−３４１４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、ＨＤＲ画像の生成に使用される複数の撮影画像にそれぞれ対応する複数の露出条件の手動調整を容易に行うことを可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の態様は、
撮影により生成された、複数の露出条件にそれぞれ対応する複数の画像を取得する第１取得手段と、
前記複数の画像から、前記複数の画像にそれぞれ対応する複数の特徴量を取得する第２取得手段と、
前記複数の画像を合成することにより、前記複数の画像のそれぞれのダイナミックレンジよりも広いダイナミックレンジを有する第１合成画像を生成する第１合成手段と、
前記複数の特徴量のそれぞれを示すグラフィック画像を生成し、前記グラフィック画像を前記第１合成画像に合成することにより、前記グラフィック画像と前記第１合成画像が配置された第２合成画像を生成する第２合成手段と、
を有することを特徴とする画像処理装置である。
【００１１】
本発明の第２の態様は、
撮影装置と、前記画像処理装置とを有するシステムであって、
前記撮影装置は、
複数の露出条件にそれぞれ対応する複数の画像を撮影によって生成し、
前記複数の画像を前記画像処理装置へ出力する
ことを特徴とするシステムである。
【００１２】
本発明の第３の態様は、
撮影により生成された、複数の露出条件にそれぞれ対応する複数の画像を取得するステップと、
前記複数の画像から、前記複数の画像にそれぞれ対応する複数の特徴量を取得するステップと、
前記複数の画像を合成することにより、前記複数の画像のそれぞれのダイナミックレンジよりも広いダイナミックレンジを有する第１合成画像を生成するステップと、
前記複数の特徴量のそれぞれを示すグラフィック画像を生成し、前記グラフィック画像を前記第１合成画像に合成することにより、前記グラフィック画像と前記第１合成画像が配置された第２合成画像を生成するステップと、
を有することを特徴とする画像処理方法である。
【００１３】
本発明の第４の態様は、前記画像処理方法の各ステップをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１４】
本発明によれば、ＨＤＲ画像の生成に使用される複数の撮影画像にそれぞれ対応する複数の露出条件の手動調整を容易に行うことが可能となる。
【図面の簡単な説明】
【００１５】
【図１】実施例１に係る表示装置の構成例を示すブロック図
【図２】実施例１に係る入力処理部の構成例を示すブロック図
【図３】実施例１に係る種々の画像の関係の一例を示す図
【図４】実施例１に係る表示装置の処理フローの一例を示すフローチャート
【図５】実施例１に係る種々の画像の一例を示す図
【図６】実施例２に係る表示装置の構成例を示すブロック図
【図７】実施例２に係る表示装置の処理フローの一例を示すフローチャート
【図８】実施例２に係る合成ＨＤＲ画像の一例を示す図
【図９】実施例３に係るシステムの構成例を示すブロック図
【図１０】実施例３に係る出力処理部の構成例を示すブロック図
【図１１】実施例３に係る合成ＨＤＲ画像の一例を示す図
【発明を実施するための形態】
【００１６】
＜実施例１＞
以下、本発明の実施例１について説明する。なお、以下では、本実施例に係る画像処理装置が表示装置に設けられている例を説明するが、画像処理装置は表示装置とは別体の装置であってもよい。例えば、画像処理装置としてパーソナルコンピュータが使用されてもよい。
【００１７】
図１は、本実施例に係る表示装置１００の構成例を示すブロック図である。表示装置１００は、入力処理部１０１、輝度値取得部１０２−１，１０２−２、輝度ヒストグラム生成部１０３−１，１０３−２、第１画像合成部１０４、第２画像合成部１０５、表示部１０６、ＲＡＭ１０７、ＲＯＭ１０８、及び、ＣＰＵ１０９を有する。
【００１８】
なお、表示装置１００の各機能部は、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、表示装置１００が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、表示装置１００が有する少なくとも一部の機能部（機能部の処理）が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
【００１９】
例えば、表示装置１００には、複数の露出条件にそれぞれ対応する複数の撮影画像（撮影画像データ）が入力される。撮影画像は、撮影によって生成された画像であり、被写体を表す画像である。複数の撮影画像の間において被写体は略同一である（「略同一」は「完全同一」を含む）。露出条件は、ゲイン（ＩＳＯ感度）、シャッター速度、及び、絞りの少なくともいずれかを含む。本実施例では、露光時間が長い撮影画像（長時間露光画像）と、露光時間が短い撮影画像（短時間露光画像）とが、表示装置１００に入力される。
【００２０】
入力処理部１０１は、複数の露出条件にそれぞれ対応する複数の撮影画像を取得し、取得した複数の撮影画像を出力する。本実施例では、入力処理部１０１は、長時間露光画像と短時間露光画像を取得する。具体的には、入力処理部１０１は、３Ｇ−ＳＤＩ伝送フォーマットを有する撮影画像データ（データストリーム）を受信し、受信した撮影画像データを、他のデータフォーマットを有する撮影画像データへ変換し、変換後の撮影画像データを出力する。３Ｇ−ＳＤＩ伝送フォーマットは、３Ｇ−ＳＤＩ（Ｓｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）規格に準拠したフォーマットである。変換後の撮影画像データは、例えば、ＬＶＴＴＬ（Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｔｒａｎｓｉｓｔｏｒ−Ｔｒａｎｓｉｓｔｏｒ  Ｌｏｇｉｃ）レベル信号である。
【００２１】
なお、入力処理部１０１によって受信（取得）される撮影画像データのデータフォーマットと、入力処理部１０１から出力される撮影画像データのデータフォーマットとは、特に限定されない。また、複数の露出条件にそれぞれ対応する複数の撮影画像は、長時間露光画像と短時間露光画像の２つの撮影画像に限られない。例えば、複数の露出条件にそれぞれ対応する複数の撮影画像として、３つ以上の撮影画像が取得されてもよい。ゲイン（ＩＳＯ感度）、シャッター速度、及び、絞りの少なくともいずれかが互いに異なる複数の撮影画像が取得されてもよい。
【００２２】
輝度値取得部１０２−１，１０２−２は、入力処理部１０１によって取得された複数の撮影画像から、複数の撮影画像にそれぞれ対応する複数の特徴量を取得する。具体的には、輝度値取得部１０２−１，１０２−２のそれぞれは、入力処理部１０１から出力された撮影画像（撮影画像データ）の各画素の輝度値を取得し、取得した輝度値を出力する。本実施例では、入力処理部１０１から輝度値取得部１０２−１へ長時間露光画像が出力され
る。そして、輝度値取得部１０２−１は、長時間露光画像の各画素の輝度値を取得し、取得した輝度値を出力する。また、入力処理部１０１から輝度値取得部１０２−２へ短時間露光画像が出力される。そして、輝度値取得部１０２−２は、短時間露光画像の各画素の輝度値を取得し、取得した輝度値を出力する。なお、特徴量は各画素の輝度値に限られない。例えば、輝度値とは異なる画素値、輝度値とは異なる階調値、画素値の代表値、階調値の代表値、輝度値の代表値、所定の画像領域の有無、等が特徴量として取得されてもよい。代表値は、最大値、最小値、最頻値、中間値、平均値、等である。
【００２３】
輝度ヒストグラム生成部１０３−１，１０３−２は、輝度値取得部１０２−１，１０２−２によって取得された複数の特徴量のそれぞれを示すグラフィック画像（グラフィック画像データ）を生成する。具体的には、輝度ヒストグラム生成部１０３−１，１０３−２のそれぞれは、グラフィック画像として輝度ヒストグラムを生成する。輝度ヒストグラムは、輝度値のヒストグラムであり、各輝度値の度数（画素数）を示す。本実施例では、輝度値取得部１０２−１から輝度ヒストグラム生成部１０３−１へ長時間露光画像の各画素の輝度値が出力される。そして、輝度ヒストグラム生成部１０３−１は、長時間露光画像の各画素の輝度値から、長時間露光画像の輝度ヒストグラムを生成する。また、輝度値取得部１０２−２から輝度ヒストグラム生成部１０３−２へ短時間露光画像の各画素の輝度値が出力される。そして、輝度ヒストグラム生成部１０３−２は、短時間露光画像の各画素の輝度値から、短時間露光画像の輝度ヒストグラムを生成する。なお、グラフィック画像は輝度ヒストグラムに限られない。例えば、グラフィック画像は、テキスト画像、アイコン、等であってもよい。
【００２４】
第１画像合成部１０４は、入力処理部１０１によって取得された複数の撮影画像を合成することにより、当該複数の撮影画像のそれぞれのダイナミックレンジよりもダイナミックレンジが広い第１合成画像（第１合成画像データ）を生成する。そして、第１画像合成部１０４は、生成した第１合成画像を出力する。本実施例では、第１画像合成部１０４は、長時間露光画像と短時間露光画像を合成することにより、第１合成画像を生成する。詳細は後述するが、ＨＤＲ画像の生成に使用すべき複数の撮影画像（長時間露光画像と短時間露光画像）が入力処理部１０１によって取得されるとは限らない。そこで、本実施例では、ＣＰＵ１０９は、ＨＤＲ画像の生成に使用すべき複数の撮影画像が入力処理部１０１によって取得されたか否かを判断する。そして、第１画像合成部１０４は、ＨＤＲ画像の生成に使用すべき複数の撮影画像が入力処理部１０１によって取得された場合に、当該複数の撮影画像を合成することにより、第１合成画像を生成する。以後、第１合成画像を「ＨＤＲ（ハイダイナミックレンジ）画像」と記載する。
【００２５】
第２画像合成部１０５は、輝度ヒストグラム生成部１０３−１，１０３−２によって生成されたグラフィック画像（輝度ヒストグラム）を、第１画像合成部１０４によって生成されたＨＤＲ画像に合成する。それにより、第２合成画像（第２合成画像データ）が生成される。そして、第２画像合成部１０５は、生成した第２合成画像を出力する。第２合成画像では、グラフィック画像とＨＤＲ画像が配置されている。以後、第２合成画像を「合成ＨＤＲ画像」と記載する。
【００２６】
表示部１０６は、第２画像合成部１０５によって生成された合成ＨＤＲ画像を表示する。なお、合成ＨＤＲ画像は、表示部１０６で表示されずに、不図示の記憶部などに記録されたり、外部装置（表示装置、記憶装置、等）に出力されたりしてもよい。
【００２７】
ＲＡＭ１０７は、表示装置１００が有する他の機能部に、不図示の内部バスを介して接続されている。ＲＡＭ１０７は、ＣＰＵ１０９のワークエリアとして使用されたり、種々のデータを一時的に記憶する一時記憶領域として使用されたりする。ＲＯＭ１０８は、表示装置１００が有する他の機能部に、不図示の内部バスを介して接続されている。ＲＯＭ
１０８には、ＣＰＵ１０９の処理に係るファームウェア、ＣＰＵ１０９の処理に係る情報、等が予め記録されている。ＣＰＵ１０９は、表示装置１００が有する他の機能部に、不図示の内部バスを介して接続されている。ＣＰＵ１０９は、表示装置１００の処理を制御する。
【００２８】
図２は、入力処理部１０１の構成例を示すブロック図である。入力処理部１０１は、Ｓ／Ｐ変換部２０１−１，２０１−２、デスクランブラ２０２−１，２０２−２、分離部２０３−１，２０３−２、アンシラリ抽出部２０４−１，２０４−２、及び、デマッピング部２０５を有する。なお、所望のデータフォーマットを有する撮影画像データを得ることができれば、入力処理部１０１の構成は特に限定されない。
【００２９】
本実施例では、３Ｇ−ＳＤＩ伝送フォーマットを有する撮影画像データ（シリアルデータである撮影画像データ；シリアル撮影画像データ）が、チャンネル１に入力される。Ｓ／Ｐ変換部２０１−１は、チャンネル１に入力されたシリアル撮影画像データを受信する。Ｓ／Ｐ変換部２０１−１は、受信したシリアル撮影画像データに対し、シリアルデータをパラレルデータへ変換するシリアル／パラレル変換処理（Ｓ／Ｐ変換処理）を施すことにより、パラレル撮影画像データ（パラレルデータである撮影画像データ）を生成する。そして、Ｓ／Ｐ変換部２０１−１は、生成したパラレル撮影画像データを出力する。
【００３０】
同様に、本実施例では、３Ｇ−ＳＤＩ伝送フォーマットを有するシリアル撮影画像データが、チャンネル２にも入力される。Ｓ／Ｐ変換部２０１−２は、チャンネル２に入力されたシリアル撮影画像データを受信し、受信したシリアル撮影画像データに対し、Ｓ／Ｐ変換処理を施すことにより、パラレル撮影画像データを生成する。そして、Ｓ／Ｐ変換部２０１−２は、生成したパラレル撮影画像データを出力する。
【００３１】
デスクランブラ２０２−１は、Ｓ／Ｐ変換部２０１−１から出力されたパラレル撮影画像データのデスクランブルを行い、デスクランブル後のパラレル撮影画像データを出力する。同様に、デスクランブラ２０２−２は、Ｓ／Ｐ変換部２０１−２から出力されたパラレル撮影画像データのデスクランブルを行い、デスクランブル後のパラレル撮影画像データを出力する。
【００３２】
分離部２０３−１は、デスクランブラ２０２−１から出力されたパラレル撮影画像データ（デスクランブル後のパラレル撮影画像データ）を、複数のデータストリームへ分離する（データ分離処理）。そして、分離部２０３−１は、取得した複数のデータストリームを出力する。同様に、分離部２０３−２は、デスクランブラ２０２−２から出力されたパラレル撮影画像データ（デスクランブル後のパラレル撮影画像データ）を、複数のデータストリームへ分離する。そして、分離部２０３−２は、取得した複数のデータストリームを出力する。
【００３３】
アンシラリ抽出部２０４−１は、分離部２０３−１から出力された複数のデータストリームのそれぞれからアンシラリデータを取得する（アンシラリ抽出処理）。そして、アンシラリ抽出部２０４−１は、取得したアンシラリデータ（複数のアンシラリデータ）を、デマッピング部２０５と第１画像合成部１０４へ出力する。同様に、アンシラリ抽出部２０４−２は、分離部２０３−２から出力された複数のデータストリームのそれぞれからアンシラリデータを取得し、取得したアンシラリデータ（複数のアンシラリデータ）を、デマッピング部２０５と第１画像合成部１０４へ出力する。分離部２０３−１，２０３−２から出力された各データストリームは、アンシラリデータが格納されたアンシラリ領域を有しており、アンシラリデータはアンシラリ領域から取得される。
【００３４】
デマッピング部２０５は、アンシラリ抽出部２０４−１から出力されたアンシラリデー
タを用いて、分離部２０３−１から出力された複数のデータストリームのデマッピングを行うことにより、所望のデータフォーマットを有する撮影画像データを生成する。デマッピング部２０５は、アンシラリ抽出部２０４−２から出力されたアンシラリデータを用いて、分離部２０３−２から出力された複数のデータストリームのデマッピングを行うことにより、所望のデータフォーマットを有する撮影画像データを生成する。例えば、データ種別、マッピング形式、リンク種別、等がアンシラリデータに含まれており、データ種別、マッピング形式、リンク種別、等を用いて複数のデータストリームのデマッピングが行われる。
【００３５】
そして、デマッピング部２０５は、生成した撮影画像データを出力する。本実施例では、チャンネル１に入力されたシリアル撮影画像データから生成された撮影画像データ（所望のデータフォーマットを有する撮影画像データ）は、輝度値取得部１０２−１と第１画像合成部１０４へ出力される。そして、チャンネル２に入力されたシリアル撮影画像データから生成された撮影画像データ（所望のデータフォーマットを有する撮影画像データ）は、輝度値取得部１０２−２と第１画像合成部１０４へ出力される。
【００３６】
図３は、撮影装置によって生成された撮影画像、表示装置１００へ入力された撮影画像、及び、表示装置１００によって生成されたＨＤＲ画像の関係の一例を示す。図３の例では、撮影装置によって、６０ｆｐｓのフレームレートで、長時間露光画像と短時間露光画像とが交互に生成される。また、図３の例では、長時間露光画像と短時間露光画像のそれぞれにおいて、画像サイズは水平方向１９２０画素×垂直方向１０８０画素であり、画素深度は１２ｂｉｔであり、サンプリング構造はＲＧＢ４４４である。
【００３７】
撮影装置によって生成された撮影画像は、３Ｇ−ＳＤＩ伝送フォーマットで撮影装置から表示装置１００へ出力される。３Ｇ−ＳＤＩ伝送フォーマットは、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ  ｏｆ  Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  ａｎｄ  Ｔｅｌｅｖｉｓｉｏｎ  Ｅｎｇｉｎｅｅｒｓ）により規格化されている。例えば、ＳＭＰＴＥにより、サンプリング構造、ピクセル深度、フレームレート、等が定められている。３Ｇ−ＳＤＩ伝送フォーマットでは、画像サイズが水平方向１９２０画素×垂直方向１０８０画素であり、サンプリング構造がＲＧＢ４４４であり、且つ、画素深度が１２ｂｉｔである場合において、フレームレートの上限として３０ｆｐｓが定められている。
【００３８】
本実施例では、長時間露光画像がチャンネル（３Ｇ−ＳＤＩチャンネル）１に入力され、短時間露光画像がチャンネル（３Ｇ−ＳＤＩチャンネル）２に入力される。各チャンネルに入力される撮影画像のマッピングフォーマットとして、３Ｇ−ＳＤＩレベルＢのマッピングフォーマットが使用されている。そして、各チャンネルに入力される撮影画像のデータストリームは、リンクＡとリンクＢにマッピングされる。また、各チャンネルに入力される撮影画像のデータストリームは、独立したデータストリームである。即ち、チャンネル１に入力される長時間露光画像のデータストリームは、チャンネル２に入力される短時間露光画像のデータストリームから独立している。従って、本実施例では、データ種別は３Ｇ−ＳＤＩであり、マッピング形式はレベルＢであり、リンク種別はシングルリンクである。
【００３９】
ここで、ＨＤＲ画像の生成に使用される長時間露光画像と短時間露光画像の組み合わせについて、長時間露光画像と短時間露光画像のそれぞれに対し、同じフレーム番号が付されているものとする。そして、長時間露光画像のデータストリームと、短時間露光画像のデータストリームとの間の伝送遅延は無いものとする。本実施例では、図３に示すように、長時間露出画像のフレームレートと、短時間露光画像のフレームレートとのそれぞれは、３０ｆｐｓである。  
【００４０】
そして、本実施例では、フレーム番号が互いに等しい長時間露光画像と短時間露光画像を合成することにより、ＨＤＲ画像が生成される。上述したように、本実施例では、長時間露出画像のデータストリームと、短時間露光画像のデータストリームとの間の伝送遅延は無く、長時間露出画像のフレームレートと、短時間露光画像のフレームレートとのそれぞれは、３０ｆｐｓである。そして、本実施例では、図３に示すように、生成されたＨＤＲ画像のフレームレートは３０ｆｐｓである。
【００４１】
なお、各画像のデータフォーマットは特に限定されない。例えば、各チャンネルに入力される撮影画像のマッピングフォーマットは、３Ｇ−ＳＤＩレベルＢのマッピングフォーマットと異なっていてもよい。また、複数の撮影画像にそれぞれ対応する複数のデータストリームの間の伝送遅延が生じていてもよい。
【００４２】
次に、アンシラリ抽出部２０４−１，２０４−２によって取得されるアンシラリデータについて説明する。アンシラリデータは、データフォーマット（伝送フォーマット）、撮影画像の素性（例えば、撮影画像を生成した装置）、等を表すデータ（付加データ；補助データ）である。本実施例では、アンシラリデータは、ＳＭＰＴＥにより規格化された３Ｇ−ＳＤＩ伝送フォーマットのアンシラリ領域に格納されている。
【００４３】
本実施例では、アンシラリデータには、サンプリング構造、ピクセル深度、フレームレート、フレーム番号を含むタイムコード、データ種別、マッピング形式、リンク種別、等が含まれる。また、本実施例では、撮影装置によって、複数の露出条件にそれぞれ対応する複数の撮影画像が撮影によって生成されて出力されるだけでなく、露出条件に関する情報である露出情報が、複数の撮影画像のそれぞれについて生成される。そして、アンシラリデータには、露出情報が含まれる。そのため、「撮影装置が複数の撮影画像（アンシラリデータを含む撮影画像）を出力する処理」は、「複数の撮影画像にそれぞれ対応する複数の露出情報を出力する処理」を含む。そして、「表示装置１００（入力処理部１０１；アンシラリ抽出部２０４−１，２０４−２）が複数の撮影画像にそれぞれ対応する複数のアンシラリデータを取得する処理」は、「複数の撮影画像にそれぞれ対応する複数の露出情報を取得する処理」を含む。露出情報は、例えば、ゲイン（ＩＳＯ感度）、シャッター速度、及び、絞りの少なくともいずれかを示す。
【００４４】
さらに、本実施例では、撮影画像がＨＤＲ画像の生成に使用すべき撮影画像であるか否かを示す情報（ＨＤＲ識別情報）が、アンシラリデータに含まれる。そして、ＣＰＵ１０９は、アンシラリデータに含まれるＨＤＲ識別情報を用いて、ＨＤＲ画像の生成に使用すべき複数の撮影画像が入力処理部１０１によって取得されたか否かを判断する。
【００４５】
なお、アンシラリデータに含まれる情報は特に限定されない。例えば、露出情報がアンシラリデータに含まれていなくてもよい。撮影装置が露出情報を生成しなくてもよい。アンシラリデータに含まる複数の情報の少なくともいずれかが、アンシラリデータとは別のデータとして表示装置１００に入力されてもよい。また、ＨＤＲ識別情報がアンシラリデータに含まれていなくてもよい。表示装置１００に入力された各撮影画像の階調値（例えば輝度値）の分布などに基づいて、ＨＤＲ画像の生成に使用すべき複数の撮影画像が入力処理部１０１によって取得されたか否かが判断されてもよい。撮影画像から表示装置１００への種々のデータの伝送は、他の装置、インターネット、等を介して実現されてもよい。
【００４６】
次に、表示装置１００の処理フローの一例について、図４を用いて説明する。図４は、表示装置１００の処理フローの一例を示すフローチャートである。図４の処理フローは、例えば、ユーザ操作、表示装置１００への撮影画像の入力、等に応じて開始される。ここでは、表示装置１００（不図示のユーザインターフェース）に対するユーザ操作に応じて
、ＲＯＭ１０８に格納された輝度ヒストグラム表示ソフトウェアが起動したとする。そして、ユーザが表示装置１００に対して輝度ヒストグラム表示指示を行うことにより、図４の処理フローが開始されたとする。
【００４７】
まず、Ｓ４０１にて、入力処理部１０１は、撮影装置から出力された撮影画像を取得する。具体的には、上述したように、入力処理部１０１は、撮影画像データとして、３Ｇ−ＳＤＩ伝送フォーマットのデータストリームを取得する。入力処理部１０１は、Ｓ／Ｐ変換処理、デスクランブル、データ分離処理、デマッピング、及び、アンシラリ抽出処理を含むＳＤＩ入力処理を、取得した撮影画像データに対して施す。そして、入力処理部１０１は、ＳＤＩ入力処理が施された後の撮影画像データを、第１画像合成部１０４へ出力される。チャンネル１に対応する撮影画像データ（ＳＤＩ入力処理が施された後の撮影画像データ）は、輝度値取得部１０２−１へも出力される。チャンネル２に対応する撮影画像データ（ＳＤＩ入力処理が施された後の撮影画像データ）は、輝度値取得部１０２−２へも出力される。また、入力処理部１０１は、アンシラリ抽出処理によって取得したアンシラリデータを、第１画像合成部１０４へ出力する。
【００４８】
次に、Ｓ４０２にて、輝度値取得部１０２−１，１０２−２のそれぞれは、入力処理部１０１から取得した撮影画像の各画素の輝度値を取得する。輝度値取得部１０２−１は、取得した各輝度値を輝度ヒストグラム生成部１０３−１へ出力し、輝度値取得部１０２−２は、取得した各輝度値を輝度ヒストグラム生成部１０３−２へ出力する。チャンネル１に対応する撮影画像しか得られていない場合には、輝度値取得部１０２−２の処理は省略される。チャンネル２に対応する撮影画像しか得られていない場合には、輝度値取得部１０２−１の処理は省略される。
【００４９】
そして、Ｓ４０３にて、輝度ヒストグラム生成部１０３−１，１０３−２のそれぞれは、取得した各輝度値から輝度ヒストグラムを生成する。輝度ヒストグラム生成部１０３−１，１０３−２のそれぞれは、生成した輝度ヒストグラムを第２画像合成部１０５へ出力する。チャンネル１に対応する撮影画像しか得られていない場合には、輝度ヒストグラム生成部１０３−２の処理は省略される。チャンネル２に対応する撮影画像しか得られていない場合には、輝度ヒストグラム生成部１０３−１の処理は省略される。
【００５０】
次に、Ｓ４０４にて、ＣＰＵ１０９は、入力処理部１０１によって複数の撮影画像が取得されたか否かを判断する。具体的には、ＣＰＵ１０９は、２つのチャンネル１，２にそれぞれ対応する２つの撮影画像が取得されたか否かを判断する。２つの撮影画像（複数の撮影画像）が取得された場合には（Ｓ４０４：Ｙｅｓ）、Ｓ４０５へ処理が進められる。１つの撮影画像が取得された場合には（Ｓ４０４：Ｎｏ）、Ｓ４０９へ処理が進められる。ここでは、２つの撮影画像が取得された場合、すなわちＳ４０４からＳ４０５へ処理が進められた場合を説明する。
【００５１】
Ｓ４０５にて、ＣＰＵ１０９は、ＨＤＲ画像の生成に使用すべき２つの撮影画像（被写体が同一であり、且つ、露出条件が互いに異なる２つの撮影画像；長時間露光画像と短時間露光画像）が入力処理部１０１によって取得されたか否かを判断する。長時間露光画像と短時間露光画像が取得された場合には、Ｓ４０６へ処理が進められる。ＨＤＲ画像の生成に使用すべきでない２つの撮影画像が取得された場合には、Ｓ４１０へ処理が進められる。ＨＤＲ画像の生成に使用すべきでない２つの撮影画像は、例えば、互いに独立した２つの画像（相関の無い２つの撮影画像）である。ここでは、長時間露光画像と短時間露光画像が取得された場合、すなわちＳ４０５からＳ４０６へ処理が進められた場合を説明する。
【００５２】
Ｓ４０６にて、ＣＰＵ１０９は、Ｓ４０４の判断結果とＳ１０５の判断結果とに基づい
て、第１画像合成部１０４の処理を制御する。その結果、第１画像合成部１０４は、入力処理部１０１から取得した長時間露光画像と短時間露光画像を合成することにより、ＨＤＲ画像を生成する。そして、第１画像合成部１０４は、生成したＨＤＲ画像を第２画像合成部１０５へ出力する。
【００５３】
次に、Ｓ４０７にて、ＣＰＵ１０９は、第２画像合成部１０５の処理を制御する。その結果、第２画像合成部１０５は、輝度ヒストグラム生成部１０３−１，１０３−２から取得した輝度ヒストグラムを、第１画像合成部１０４から取得した画像（ＨＤＲ画像）に合成する。それにより、輝度ヒストグラム生成部１０３−１，１０３−２から取得された輝度ヒストグラムと、第１画像合成部１０４から取得されたＨＤＲ画像とが配置された合成画像（合成ＨＤＲ画像）が生成される。そして、第２画像合成部１０５は、生成した合成画像を表示部１０６へ出力する。
【００５４】
そして、Ｓ４０８にて、表示部１０６は、第２画像合成部１０５から取得した合成画像を表示する。
【００５５】
なお、表示装置１００に入力される撮影画像の数、表示装置１００に入力される撮影画像のフレームレート、等は特に限定されない。例えば、上述したように、ＨＤＲ画像の生成に使用すべき撮影画像の数は、２つより多くてもよい。ＨＤＲ画像の生成に使用すべき複数の撮影画像は、撮影条件が互いに異なる複数の撮影画像であればよい。例えば、露光時間が標準時間よりも長い撮影画像、露光時間が標準時間よりも短い撮影画像、及び、露光時間が標準時間である撮影画像の３つの撮影画像が、表示装置１００に入力されてもよい。表示装置１００に入力される撮影画像の数などが変化する場合には、チャンネル数の変化、伝送フォーマットの変化、等に応じて、伝送帯域を適切に設定（変更）すればよい。チャンネル数の変化は、例えば、３Ｇ−ＳＤＩのチャンネル数の変化である。他の伝送フォーマットとしては、例えば、６Ｇ−ＳＤＩ伝送フォーマット、ＨＤＭＩ伝送フォーマット、等が考えられる。
【００５６】
次に、入力処理部１０１によって１つの撮影画像が取得された場合の例を説明する。この場合には、Ｓ４０４までの処理が行われ、Ｓ４０４からＳ４０９へ処理が進められる。そして、Ｓ４０９にて、第１画像合成部１０４は、１画面表示用のレイアウト処理を行う。第１画像合成部１０４は、１画面表示用のレイアウト処理により、上記１つの撮影画像に基づく画像を、第２画像合成部１０５へ出力する。例えば、第１画像合成部１０４は、表示部１０６の画面の中央に上記１つの撮影画像が配置された画像を生成し、生成した画像を第２画像合成部１０５へ出力する。
【００５７】
次に、ＨＤＲ画像の生成に使用すべきでない２つの撮影画像（複数の撮影画像）が入力処理部１０１によって取得された場合の例を説明する。この場合には、Ｓ４０５までの処理が行われ、Ｓ４０５からＳ４１０へ処理が進められる。そして、Ｓ４１０にて、第１画像合成部１０４は、２画面表示用のレイアウト処理を行う。第１画像合成部１０４は、２画面表示用のレイアウト処理により、上記２つの撮影画像が配置された画像を生成し、生成した画像を第２画像合成部１０５へ出力する。例えば、第１画像合成部１０４は、上記２つの撮影画像が左右に並べられた画像を生成し、生成した画像を第２画像合成部１０５へ出力する。
【００５８】
図５（Ａ）〜５（Ｄ）は、本実施例に係る種々の画像の一例を示す図である。図５（Ｂ）は長時間露光画像を示し、図５（Ｃ）は短時間露光画像を示す。図５（Ｂ）の画像領域５０１では白飛びが生じており、図５（Ｃ）の画像領域５０２では黒つぶれが生じている。図５（Ａ）は、図５（Ｂ）の長時間露光画像と、図５（Ｃ）の短時間露光画像とを合成することにより得られたＨＤＲ画像を示す。図５（Ａ）から、画像領域５０１での白飛び
と、画像領域５０２での黒つぶれとの両方が解消されていることがわかる。
【００５９】
図５（Ｄ）は、本実施例に係る合成ＨＤＲ画像の一例を示す。図５（Ｄ）の合成ＨＤＲ画像は、図５（Ｂ）の長時間露光画像と図５（Ｃ）の短時間露光画像とが取得された場合に得られる合成ＨＤＲ画像である。図５（Ｄ）では、図５（Ａ）のＨＤＲ画像、図５（Ｂ）の長時間露光画像から生成された輝度ヒストグラム５０３、及び、図５（Ｃ）の短時間露光画像から生成された輝度ヒストグラム５０４が配置されている。そのため、ユーザは、輝度ヒストグラム５０３，５０４を確認することで、図５（Ｂ）の長時間露光画像の輝度値（輝度値の分布；各画素の輝度値）と、図５（Ｃ）の短時間露光画像の輝度値とを容易に把握することができる。その結果、長時間露光画像の露出条件の手動調整と、短時間露光画像の露出条件の手動調整とを容易に行うことが可能となる。
【００６０】
なお、図５（Ｄ）は、ＨＤＲ画像にグラフィック画像が重ねられた場合（ピクチャ・イン・ピクチャ）の例であるが、これに限られない。例えば、ＨＤＲ画像の外側にグラフィック画像が配置されてもよい（ピクチャ・バイ・ピクチャ）。また、図５（Ｄ）は、複数の特徴量にそれぞれ対応する複数のグラフィック画像が生成された場合の例であるが、これに限られない。複数の特徴量を示す１つのグラフィック画像が生成されてもよい。例えば、複数の輝度ヒストグラムが同一のグラフで示されてもよい。
【００６１】
以上述べたように、本実施例によれば、第１合成画像の生成に使用された各撮影画像の特徴量が取得される。そして、各特徴量を示すグラフィック画像が生成され、グラフィック画像と第１合成画像が配置された第２合成画像が生成される。それにより、ＨＤＲ画像の生成に使用される複数の撮影画像にそれぞれ対応する複数の露出条件の手動調整を容易に行うことが可能となる。具体的には、第２合成画像を表示することで、ユーザは、第１合成画像だけでなく、グラフィック画像をも確認できる。そして、ユーザは、グラフィック画像を確認することで、各撮影画像の特徴量を容易に把握できる。その結果、ユーザは、各撮影画像の特徴量を考慮して手動調整を容易に行うことができる。
【００６２】
＜実施例２＞
以下、本発明の実施例２について説明する。なお、以下では、実施例１と異なる点（構成と処理）について詳しく説明し、実施例１と同様の点についての説明は省略する。図６は、本実施例に係る表示装置６００の構成例を示すブロック図である。図６において、実施例１（図１）と同じ機能部には、実施例１と同じ符号が付されている。表示装置６００は、輝度値取得部１０２−１，１０２−２の代わりに輝度値取得部６０２−１，６０２−２を有し、輝度ヒストグラム生成部１０３−１，１０３−２の代わりに輝度ヒストグラム生成部６０３−１，６０３−２を有する。そして、表示装置６００は、領域選択部６０１をさらに有する。
【００６３】
領域選択部６０１は、ユーザ操作に応じてＨＤＲ画像（第１合成画像）の一部の領域を選択し、選択した領域を示す情報（選択領域情報）を輝度ヒストグラム生成部６０３−１，６０３−２へ出力する。本実施例では、ユーザ操作（例えば、ポインティングデバイスを用いて１点を指定するユーザ操作）に応じてＨＤＲ画像の内側の１点（１画素）が選択される。なお、ユーザ操作、選択される領域のサイズ、等は特に限定されない。例えば、ユーザ操作に応じて、複数の画素を含む領域が選択されてもよい。
【００６４】
輝度値取得部６０２−１は輝度値取得部１０２−１と同様の処理を行い、輝度値取得部６０２−２は輝度値取得部１０２−２と同様の処理を行う。但し、輝度値取得部６０２−１，６０２−２のそれぞれは、画素の輝度値を取得する際に、当該画素の座標情報をさらに取得する。そして、輝度値取得部６０２−１，６０２−２のそれぞれは、各画素の輝度値と各画素の座標情報とを互いに関連付けて出力する。
【００６５】
輝度ヒストグラム生成部６０３−１，６０３−２のそれぞれは、領域選択部６０１から選択領域情報（本実施例では、選択された１点を示す座標情報）を取得する。輝度ヒストグラム生成部６０３−１は、輝度値取得部６０２−１から各画素の輝度値と各画素の座標情報をさらに取得する。輝度ヒストグラム生成部６０３−２は、輝度値取得部６０２−２から各画素の輝度値と各画素の座標情報をさらに取得する。
【００６６】
輝度ヒストグラム生成部６０３−１，６０３−２のそれぞれは、各画素の座標情報、各画素の輝度値、及び、選択領域情報に基づいて、各画素の輝度値から、選択領域情報によって示された領域に対応する輝度値を検出する。「選択領域情報によって示された領域に対応する輝度値」は、「選択領域情報によって示された領域に含まれる画素の輝度値」である。本実施例では、「選択領域情報によって示された領域に対応する輝度値」は、「選択領域情報によって示された１点（１画素）の輝度値」である。
【００６７】
輝度ヒストグラム生成部６０３−１，６０３−２のそれぞれは、領域選択部６０１によって選択された領域に対応する特徴量が識別可能となるように、グラフィック画像を生成する（選択された領域に対応する特徴量の強調）。例えば、輝度ヒストグラム生成部６０３−１，６０３−２のそれぞれは、領域選択部６０１によって選択された領域に対応する特徴量が、ＨＤＲ画像の他の領域に対応する特徴量の態様と異なる態様で示されるように、グラフィック画像を生成する。
【００６８】
本実施例では、輝度ヒストグラム生成部６０３−１，６０３−２のそれぞれは、検出した輝度値（領域選択部６０１によって選択された領域に対応する輝度値）の度数が識別可能となるように、輝度ヒストグラムを生成する。具体的には、検出された輝度値の度数の色が他の度数の色と異なる色で示されるように、輝度ヒストグラムが生成される。このような輝度ヒストグラムは、各画素の輝度値と、検出された輝度値とに基づいて生成することができる。
【００６９】
そして、輝度ヒストグラム生成部６０３−１，６０３−２のそれぞれは、生成した輝度ヒストグラムを第２画像合成部１０５へ出力する。
【００７０】
なお、領域選択部６０１によって選択された領域に対応する特徴量を識別可能にする方法は、特に限定されない。例えば、テキスト画像によって特徴量が識別可能にされてもよい。領域選択部６０１によって選択された領域の輝度ヒストグラムと、撮影画像全体の輝度ヒストグラムとが個別に生成されてもよい。特徴量が代表値である場合には、例えば、領域選択部６０１によって選択された領域の代表値と、撮影画像全体の代表値とを個別に示すグラフィック画像が生成されてもよい。また、特徴量の態様は、色に限られない。特徴量の態様として、輝度、表示パターン（点滅、非点滅、等）が使用されてもよい。
【００７１】
次に、表示装置６００の処理フローの一例について、図７を用いて説明する。図７は、表示装置６００の処理フローの一例を示すフローチャートである。輝度ヒストグラム強調表示処理について説明する。例えば、図４の処理フローによって図５（Ｄ）の合成ＨＤＲ画像が表示された状態において、ユーザが、表示装置１００に対して強調表示モードを指定することにより、強調表示モードが設定され、図７の処理フローが開始される。
【００７２】
まず、Ｓ７０１にて、ＣＰＵ１０９は、領域選択部６０１の処理を制御する。その結果、領域選択部６０１は、領域を指定するユーザ操作（領域指定操作）が行われたか否かを判断する。領域指定操作が行われなかった場合には（Ｓ７０１：Ｎｏ）、Ｓ７０１へ処理が戻され、領域指定操作が行われた場合には（Ｓ７０１：Ｙｅｓ）、Ｓ７０２へ処理が進められる。即ち、領域選択部６０１は領域指定操作を待つ。そして、領域指定操作が行わ
れるとＳ７０２へ処理が進められる。
【００７３】
Ｓ７０２にて、領域選択部６０１は、領域指定操作に応じて領域を選択する。そして、領域選択部６０１は、選択した領域を示す選択領域情報を輝度ヒストグラム生成部６０３−１，６０３−２へ出力する。
【００７４】
次に、ＣＰＵ１０９は、輝度ヒストグラム生成部６０３−１，６０３−２の処理を制御する。その結果、輝度ヒストグラム生成部６０３−１，６０３−２は、輝度値取得部６０２−１，６０２−２から取得した座標情報と、領域選択部６０１から取得した選択領域情報とを比較する。それにより、座標情報の画素が選択領域情報の領域に含まれているか否かが判断される。座標情報の画素が選択領域情報の領域に含まれていない場合には（Ｓ７０３：Ｎｏ）、Ｓ７０５へ処理が進められ、座標情報の画素が選択領域情報の領域に含まれている場合には（Ｓ７０３：Ｙｅｓ）、Ｓ７０４へ処理が進められる。本実施例では、選択領域情報は１つの画素を示す。そのため、本実施例では、「座標情報の画素が選択領域情報の領域に含まれているか否かの判断」は、「座標情報の画素が選択領域情報の画素であるか否かの判断」である。
【００７５】
Ｓ７０４にて、輝度ヒストグラム生成部６０３−１，６０３−２は、座標情報の画素（選択領域情報の領域に含まれる画素）の輝度値に対応する度数が強調されるように、各輝度ヒストグラムを補正する（強調処理）。その後、Ｓ７０５へ処理が進められる。
【００７６】
Ｓ７０５にて、輝度ヒストグラム生成部６０３−１，６０３−２は、全ての画素（全ての座標情報）についてＳ７０３の処理が行われた否かを判断する。Ｓ７０３の処理の対象として使用されていない画素が存在する場合には、Ｓ７０３の処理の対象である画素が更新され、Ｓ７０３へ処理が戻される。全ての画素についてＳ７０３の処理が行われた場合には、本処理フローが終了される。Ｓ７０４の処理が行われた場合には、第２画像合成部１０５へ出力される輝度ヒストグラムが、Ｓ７０４の補正が反映された輝度ヒストグラムへ更新される。そして、表示された輝度ヒストグラムも、Ｓ７０４の補正が反映された輝度ヒストグラムへ更新される。なお、第２画像合成部１０５へ出力される輝度ヒストグラム、表示された輝度ヒストグラム、等が更新されるタイミングは特に限定されない。例えば、全ての画素についてＳ７０３の処理が行われた後に更新が行われてもよいし、Ｓ７０４の処理が行われる度に更新が行われてもよい。
【００７７】
図８は、本実施例に係る合成ＨＤＲ画像の一例を示す。図８では、実施例１と同様に、ＨＤＲ画像、長時間露光画像から生成された輝度ヒストグラム８０２、及び、短時間露光画像から生成された輝度ヒストグラム８０３が配置されている。そして、図８では、矢印８０１により、ＨＤＲ画像の内側の１点（１画素）が指定されている。そのため、輝度ヒストグラム８０２では、矢印８０１で指定された画素の輝度値（長時間露光画像の輝度値）に対応する度数８０４が識別可能とされている。そして、輝度ヒストグラム８０３では、矢印８０１で指定された画素の輝度値（短時間露光画像の輝度値）に対応する度数８０５が識別可能とされている。具体的には、輝度ヒストグラム８０２，８０３では、矢印８０１で指定された画素の輝度値に対応する度数８０４，８０５が、他の度数と異なる色で示されている。
【００７８】
以上述べたように、本実施例によれば、ユーザ操作に応じて第１合成画像の一部の領域が選択される。そして、選択された領域に対応する特徴量が識別可能となるように、グラフィック画像が生成される。それにより、ユーザは、撮影画像全体の特徴量だけでなく、選択された領域に対応する特徴量（撮影画像の特徴量）をも容易に把握できる。例えば、ユーザは、指定した位置に対応する度数が各ヒストグラムのどこに存在するかを容易に把握できる。その結果、ユーザは、選択された領域に対応する特徴量（各撮影画像の特徴量
）をさらに考慮して、ＨＤＲ画像の生成に使用される複数の撮影画像にそれぞれ対応する複数の露出条件の手動調整をより容易に行うことができる。
【００７９】
＜実施例３＞
以下、本発明の実施例３について説明する。なお、以下では、実施例１と異なる点（構成と処理）について詳しく説明し、実施例１と同様の点についての説明は省略する。図９は、本実施例に係るシステム（画像表示システム）の構成例を示すブロック図である。図９において、実施例１（図１）と同じ機能部には、実施例１と同じ符号が付されている。図９のシステムは、撮影装置９００と表示装置９１０を有する。撮影装置９００と表示装置９１０は、有線または無線で互いに接続されている。撮影装置９００と表示装置９１０を互いに接続するためのケーブルとしては、例えば、ＢＮＣコネクタを有するケーブルが使用される。
【００８０】
撮影装置９００は、撮像光学系９０１、撮像素子（撮影部）９０２、露出制御部９０３、出力処理部９０４、ＲＡＭ９０５、ＲＯＭ９０６、及び、ＣＰＵ９０７を有する。撮像光学系９０１は、レンズ、絞り、等を有する。撮像光学系９０１は、被写体を表す光学像を撮像素子９０２に結像（形成）する。撮像素子９０２は、結像された光学像（被写体から撮像光学系９０１を介して入射した光）をアナログ電気信号に変換する光電変換処理を行う。そして、撮像素子９０２は、光電変換処理によって得られたアナログ電気信号をデジタル電気信号に変換するＡＤ変換処理（アナログ−デジタル変換処理）をさらに行う。その後、撮像素子９０２は、ＡＤ変換処理によって得られたデジタル電気信号を、出力処理部９０４へ出力する。
【００８１】
露出制御部９０３は、撮影装置９００に対するユーザ操作に応じて、露出（露出条件）を制御する。露出制御部９０３は、例えば、絞り、撮像素子９０２の電荷蓄積時間、等を制御することにより、露出を制御する。具体的には、露出制御部９０３は、ユーザによって指定されたゲイン値、シャッター速度、絞りに応じて、撮像光学系９０１の状態、撮像素子９０２の処理、等を制御する。
【００８２】
出力処理部９０４は、複数の露出条件にそれぞれ対応する複数の撮影画像を、表示装置９１０へ出力する。具体的には、出力処理部９０４は、撮像素子９０２からデジタル電気信号を取得し、取得したデジタル電気信号を、３Ｇ−ＳＤＩ伝送フォーマットを有する撮影画像データ（データストリーム）へ変換する。そして、出力処理部９０４は、得られた撮影画像データを表示装置９１０へ出力する。
【００８３】
ＲＡＭ９０５は、撮影装置９００が有する他の機能部に、不図示の内部バスを介して接続されている。ＲＡＭ９０５は、ＣＰＵ９０７のワークエリアとして使用されたり、種々のデータを一時的に記憶する一時記憶領域として使用されたりする。一時的に記憶される種々のデータは、例えば、アンシラリデータの種々の情報（露出情報、ＨＤＲ識別情報、データ種別、マッピング形式、リンク種別、等）を含む。
【００８４】
ＲＯＭ９０６は、撮影装置９００が有する他の機能部に、不図示の内部バスを介して接続されている。ＲＯＭ９０６には、ＣＰＵ９０７の処理に係るファームウェア、ＣＰＵ９０７の処理に係る情報、等が予め記録されている。ＣＰＵ９０７は、撮影装置９００が有する他の機能部に、不図示の内部バスを介して接続されている。ＣＰＵ９０７は、撮影装置９００の処理を制御する。
【００８５】
表示装置９１０は、輝度ヒストグラム生成部１０３−１，１０３−２の代わりに輝度ヒストグラム生成部９１１−１，９１１−２を有する。
【００８６】
輝度ヒストグラム生成部９１１−１は輝度ヒストグラム生成部１０３−１と同様の処理を行い、輝度ヒストグラム生成部９１１−２は輝度ヒストグラム生成部１０３−２と同様の処理を行う。但し、本実施例では、露出条件が変化した撮影画像を、表示装置９１０に入力された複数の撮影画像から検出する検出処理が、輝度ヒストグラム生成部９１１−１，９１１−２によって行われる。本実施例では、複数の撮影画像にそれぞれ対応する複数の露出情報に基づいて、露出条件が変化した撮影画像が複数の撮影画像から検出される。そして、本実施例では、輝度ヒストグラム生成部９１１−１，９１１−２は、検出処理の結果を考慮してグラフィック画像を生成する。
【００８７】
具体的には、輝度ヒストグラム生成部９１１−１は、チャンネル１に入力された撮影画像の露出情報を入力処理部１０１から取得し、取得した露出情報を監視することにより、チャンネル１に入力された撮影画像の露出情報の変化（時間変化）を検出する。同様に、輝度ヒストグラム生成部９１１−２は、チャンネル２に入力された撮影画像の露出情報を入力処理部１０１から取得し、取得した露出情報を監視することにより、チャンネル２に入力された撮影画像の露出情報の変化を検出する。
【００８８】
なお、検出処理の方法は特に限定されない。例えば、露出情報を用いずに、各撮影画像の階調値（例えば輝度値）の分布などに基づいて、露出条件が変化した撮影画像が複数の撮影画像から検出されてもよい。
【００８９】
輝度ヒストグラム生成部９１１−１，９１１−２のそれぞれは、検出処理によって検出された撮影画像の特徴量が識別可能となるように、グラフィック画像を生成する（検出された撮影画像の特徴量の強調）。「検出処理によって検出された撮影画像」は「露出条件が変化した撮影画像」である。例えば、検出処理によって検出された撮影画像の特徴量が、他の撮影画像の特徴量と異なる態様で示されるように、グラフィック画像が生成される。本実施例では、検出処理によって検出された撮影画像の特徴量に対応するグラフィック画像が識別可能となるように、複数の特徴量（複数の撮影画像）にそれぞれ対応する複数のグラフィック画像が生成される。
【００９０】
なお、検出処理によって検出された撮影画像の特徴量を識別可能にする方法は、特に限定されない。例えば、テキスト画像によって特徴量が識別可能にされてもよい。また、グラフィック画像における特徴量の態様を変更することで特徴量が識別可能にされてもよい。そのような構成によれば、複数の特徴量を示す１つのグラフィック画像が生成される場合であっても、検出処理によって検出された撮影画像の特徴量を識別可能にすることができる。
【００９１】
図１０は、出力処理部９０４の構成例を示すブロック図である。出力処理部９０４は、マッピング部１００１、多重化部１００２−１，１００２−２，スクランブラ１００３−１，１００３−２、及び、Ｐ／Ｓ変換部１００４−１，１００４−２を有する。なお、所望のデータフォーマットを有する撮影画像データを出力することができれば、出力処理部９０４の構成は特に限定されない。
【００９２】
マッピング部１００１は、ＲＡＭ９０７に格納されたデータ種別、マッピング形式、リンク種別、等に基づいて、撮像素子９０２からデジタル電気信号のマッピングを行うことにより、データストリームを生成する。また、マッピング部１００１は、ＲＡＭ９０７に格納されたデータ種別、マッピング形式、リンク種別、露出情報、ＨＤＲ識別情報、等を、アンシラリデータとしてデータストリームにマッピングする。それにより、アンシラリデータを含むデータストリームが得られる。そして。マッピング部１００１は、アンシラリデータを含むデータストリームを出力する。本実施例では、長時間露光画像のデジタル電気信号と、短時間露光画像のデジタル電気信号とが、撮像素子９０２からマッピング部
１００１へ入力される。そして、マッピング部１００１では、長時間露光画像のデータストリームと、短時間露光画像のデータストリームとが生成される。マッピング部１００１は、長時間露光画像のデータストリームを多重化部１００２−１へ出力し、短時間露光画像のデータストリームを多重化部１００２−２へ出力する。
【００９３】
多重化部１００２−１，１００２−２のそれぞれは、マッピング部１００１から取得したデータストリームの多重化を行うことにより、３Ｇ−ＳＤＩ伝送フォーマットを有するデータストリーム（パラレルデータ；パラレル撮影画像データ）を生成する。多重化部１００２−１は、生成したパラレル撮影画像データをスクランブラ１００３−１へ出力し、多重化部１００２−２は、生成したパラレル撮影画像データをスクランブラ１００３−２へ出力する。
【００９４】
スクランブラ１００３−１は、多重化部１００２−１から取得したパラレル撮影画像データのスクランブルを行い、スクランブル後のパラレル撮影画像データをＰ／Ｓ変換部１００４−１へ出力する。同様に、スクランブラ１００３−２は、多重化部１００２−２から取得したパラレル撮影画像データのスクランブルを行い、スクランブル後のパラレル撮影画像データをＰ／Ｓ変換部１００４−２へ出力する。
【００９５】
Ｐ／Ｓ変換部１００４−１は、スクランブラ１００３−１から取得したパラレル撮影画像データ（スクランブル後のパラレル撮影画像データ）に対し、シリアルデータをパラレルデータへ変換するシリアル／パラレル変換処理（Ｓ／Ｐ変換処理）を施す。それにより、シリアル撮影画像データ（シリアルデータである撮影画像データ）が生成される。Ｐ／Ｓ変換部１００４−１は、生成したシリアル撮影画像データを、表示装置９１０のチャンネル１へ出力する。同様に、Ｐ／Ｓ変換部１００４−２は、スクランブラ１００３−２から取得したパラレル撮影画像データに対してＳ／Ｐ変換処理を施すことにより、シリアル撮影画像データを生成する。そして、Ｐ／Ｓ変換部１００４−２は、生成したシリアル撮影画像データを、表示装置９１０のチャンネル２へ出力する。
【００９６】
図１１は、本実施例に係る合成ＨＤＲ画像の一例を示す。図１１は、短時間露光画像の撮影条件が変更された場合の例を示す。図１１では、実施例１と同様に、ＨＤＲ画像、長時間露光画像から生成された輝度ヒストグラム１１０１、及び、短時間露光画像から生成された輝度ヒストグラム１１０２が配置されている。本実施例の上記構成によれば、撮影条件が変更された撮影画像として、短時間露光画像が検出される。そして、短時間露光画像に対応する輝度ヒストグラム１１０２が識別可能にされる。図１１では、輝度ヒストグラム１１０２の枠１１０３が通常とは異なる態様で示されることにより、輝度ヒストグラム１１０２が識別可能にされている。図１１では、枠１１０３は、通常よりも太い枠である。
【００９７】
なお、上述したように、特徴量を識別可能にする方法は、特に限定されない。例えば、輝度ヒストグラム１１０２全体の表示パターンを通常とは異なる表示パターンに変えてもよい。枠１１０３として、通常とは異なる色の枠、通常とは異なる輝度の枠、通常とは異なる線種の枠、通常とは異なる表示パターンの枠、等が使用されてもよい。輝度ヒストグラム１１０２の表示パターンを通常とは異なる表示パターンに変えてもよい。
【００９８】
以上述べたように、本実施例によれば、露出条件が変化した撮影画像が検出され、検出された撮影画像の特徴量が識別可能となるようにグラフィック画像が生成される。「露出条件が変化した撮影画像」は「手動調整の現在の対象」である。そのため、ユーザは、手動調整の現在の対象である撮影画像の特徴量を容易に（瞬時に）把握でき、ＨＤＲ画像の生成に使用される複数の撮影画像にそれぞれ対応する複数の露出条件の手動調整をより容易に（効率的に）行うことができる。
【００９９】
なお、実施例１〜３はあくまで一例であり、本発明の要旨の範囲内で実施例１〜３の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１〜３の構成を適宜組み合わせて得られる構成も、本発明に含まれる。
【０１００】
＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０１】
１００，６００，９１０：表示装置  １０１：入力処理部
１０３−１，１０３−２，６０３−１，６０３−２：輝度ヒストグラム生成部
９１１−１，９１１−２：輝度ヒストグラム生成部  １０４：第１画像合成部
１０５：第２画像合成部
【図１】
2017228997.tif 000003
【図２】
2017228997.tif 000004
【図３】
2017228997.tif 000005
【図４】
2017228997.tif 000006
【図５】
2017228997.tif 000007
【図６】
2017228997.tif 000008
【図７】
2017228997.tif 000009
【図８】
2017228997.tif 000010
【図９】
2017228997.tif 000011
【図１０】
2017228997.tif 000012
【図１１】
2017228997.tif 000013