(57)【要約】【課題】撮影者などが意図した表示輝度をより確実に実現可能にすることができる技術を提供する。【解決手段】本発明の画像処理装置は、対象画像データに基づき出力画像データを生成する生成手段と、前記出力画像データから特徴量を取得する取得手段と、前記出力画像データと前記特徴量に基づく特徴情報とを出力する出力手段と、を有し、前記出力画像データの画像エリアが、前記対象画像データの画像エリアである第１エリアと、所定の画像データの画像エリアである第２エリアとを含む場合に、前記取得手段は、前記第１エリアの特徴量を取得する。【選択図】図２
2020061726.tif 000002
【特許請求の範囲】
【請求項１】
対象画像データに基づき出力画像データを生成する生成手段と、
前記出力画像データから特徴量を取得する取得手段と、
前記出力画像データと前記特徴量に基づく特徴情報とを出力する出力手段と、
を有し、
前記出力画像データの画像エリアが、前記対象画像データの画像エリアである第１エリアと、所定の画像データの画像エリアである第２エリアとを含む場合に、前記取得手段は、前記第１エリアの特徴量を取得する
ことを特徴とする画像処理装置。
【請求項２】
前記特徴量は平均輝度値である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴量は最大輝度値である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記出力手段は、前記出力画像データと前記特徴情報を表示装置に出力する
ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像処理装置は撮像装置であり、
前記対象画像データは撮像画像データである
ことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記所定の画像データは、前記出力画像データのアスペクト比を調整するために付加される画像データである
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記所定の画像データは、前記出力画像データの撮影情報または再生情報を示すために付加される画像データである
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項８】
前記出力画像データの画像エリアが、前記対象画像データの画像エリアである第１エリアと、所定の画像データの画像エリアである第２エリアとを含む場合に、前記取得手段は、前記出力画像データの画像エリア全体の特徴量をさらに取得する
ことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記出力手段は、前記特徴量を取得した画像エリアを示すエリア情報をさらに出力することを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
対象画像データに基づき出力画像データを生成する生成ステップと、
前記出力画像データから特徴量を取得する取得ステップと、
前記出力画像データと前記特徴量に基づく特徴情報とを出力する出力ステップと、
を有し、
前記出力画像データの画像エリアが、前記対象画像データの画像エリアである第１エリアと、所定の画像データの画像エリアである第２エリアとを含む場合に、前記取得ステップでは、前記第１エリアの特徴量を取得する
ことを特徴とする画像処理方法。
【請求項１１】
コンピュータを、請求項１〜９のいずれか１項に記載の画像処理装置の各手段として機
能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラなどの撮像装置は、撮像して得た画像（撮像画像）をＥＶＦ（電子ビューファインダー）に表示しながら撮影（画像の撮像および記録）を行うことができる。例えば、撮像装置が備える表示パネルや撮像装置に接続された表示装置（外部装置）がＥＶＦとして用いられ、撮影者は、ＥＶＦに表示された撮像画像を見て、撮像画像の各種特徴量を確認する。
【０００３】
撮影者が確認したい特徴量には、撮像画像の輝度値（輝度レベル）が含まれる。近年、比較的広いダイナミックレンジ（輝度レンジ）であるＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ
Ｒａｎｇｅ）での撮影や表示が本格化しており、ＨＤＲに関連した規格化や製品化が進められている。例えば、ＨＤＲ１０＋などの規格では、シーン毎にシーンの最大輝度値を示すＭａｘＣＬＬ（Ｍａｘｉｍｕｍ  Ｃｏｎｔｅｎｔ  Ｌｉｇｈｔ  Ｌｅｖｅｌ）や、シーン毎にフレームの平均輝度値の最大値を示すＭａｘＦＡＬＬ（Ｍａｘｉｍｕｍ  Ｆｒａｍｅ  Ａｖｅｒａｇｅ  Ｌｉｇｈｔ  Ｌｅｖｅｌ）などの付加情報が定義されている。上記付加情報では、シーン毎に情報（ＭａｘＣＬＬやＭａｘＣＬＬの値）が動的に変化することがある。ＭａｘＣＬＬやＭａｘＦＡＬＬでは、１フレームを１シーンとして扱うこともできる。つまり、ＭａｘＣＬＬでは、フレーム毎にフレームの最大輝度値を示すこともでき、ＭａｘＦＡＬＬでは、フレーム毎にフレームの平均輝度値を示すこともできる。
【０００４】
上記付加情報は、ＨＤＭＩ規格などに準拠した通信で装置から他の装置へ伝送することが可能であり、例えば撮像装置から表示装置に伝送することができる。表示装置は、上記付加情報を表示用の輝度評価値として用い、表示輝度（表示面上の輝度）を容易に調整することができる。しかし、撮像画像の縁に所定の画像が付加されることがあり、撮影者の意図にそぐわない付加情報が生成されることがある。具体的には、撮像画像の上下や左右に黒帯画像（帯状の黒色画像）が付加された画像から、撮影者の意図にそぐわない付加情報が生成されることがある。画像の上下に黒帯画像が付加された状態は「レターボックス」などと呼ばれ、画像の左右に黒帯画像が付加された状態は「ピラーボックス」などと呼ばれる。
【０００５】
特許文献１には、所定の画像のエリアを特徴量を取得するエリアから除外して画像から特徴量を取得し、取得した特徴量に基づいてバックライト光源の発光輝度を制御する表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−１４０４８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示の技術では、画像の特徴量を取得する機能を表示装置が備える必要があり、表示装置に入力された付加情報（ＭａｘＣＬＬやＭａｘＦＡＬＬ）を使用する場合には、撮影者の意図にそぐわない表示輝度が実現されてしまう。
【０００８】
本発明は、撮影者などが意図した表示輝度をより確実に実現可能にすることができる技
術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の態様は、
対象画像データに基づき出力画像データを生成する生成手段と、
前記出力画像データから特徴量を取得する取得手段と、
前記出力画像データと前記特徴量に基づく特徴情報とを出力する出力手段と、
を有し、
前記出力画像データの画像エリアが、前記対象画像データの画像エリアである第１エリアと、所定の画像データの画像エリアである第２エリアとを含む場合に、前記取得手段は、前記第１エリアの特徴量を取得する
ことを特徴とする画像処理装置である。
【００１０】
本発明の第２の態様は、
対象画像データに基づき出力画像データを生成する生成ステップと、
前記出力画像データから特徴量を取得する取得ステップと、
前記出力画像データと前記特徴量に基づく特徴情報とを出力する出力ステップと、
を有し、
前記出力画像データの画像エリアが、前記対象画像データの画像エリアである第１エリアと、所定の画像データの画像エリアである第２エリアとを含む場合に、前記取得ステップでは、前記第１エリアの特徴量を取得する
ことを特徴とする画像処理方法である。
【００１１】
本発明の第３の態様は、コンピュータを、上述した画像処理装置の各手段として機能させるためのプログラムである。
【発明の効果】
【００１２】
本発明によれば、撮影者などが意図した表示輝度をより確実に実現可能にすることができる。
【図面の簡単な説明】
【００１３】
【図１】実施例１〜４に係る撮像装置の構成例を示すブロック図
【図２】実施例１〜４に係る撮像装置の処理フロー例を示すフローチャート
【図３】実施例１〜４に係る表示画像データなどの一例を示す図
【発明を実施するための形態】
【００１４】
＜実施例１＞
以下、本発明の実施例１について説明する。なお、本実施例に係る画像処理装置が撮像装置である例を説明するが、画像処理装置はパーソナルコンピュータ（ＰＣ）などであってもよい。
【００１５】
図１（Ａ）は、本実施例に係る撮像装置の構成例を示すブロック図である。
【００１６】
レンズ群１００は、少なくとも１つのレンズを備え、被写体からの光を撮像センサー部１０１に導く。レンズ群１００は、レンズ群１００から撮像センサー部１０１に入射する光の光量や、合焦の状態などを制御可能に構成されている。
【００１７】
撮像センサー部１０１は、レンズ群１００から入射した光を画像データに変換し、当該画像データを現像処理部１０２へ出力（送信）する。具体的には、撮像センサー部１０１は、ＣＣＤやＣＭＯＳなどの撮像素子や、アナログ信号をデジタル信号に変換するＡ／Ｄ
変換部などを備える。撮像素子は、レンズ群１００から入射して撮像素子で結像した光をアナログ信号に変換する（光電変換）。そして、Ａ／Ｄ変換部は、撮像素子によって得られたアナログ信号をデジタル信号（上記画像データ）に変換する。
【００１８】
撮像素子の各画素は、赤色のカラーフィルタを有するＲサブ画素、緑色のカラーフィルタを有するＧサブ画素、及び、青色のカラーフィルタを有するＢサブ画素からなる。撮像素子の各画素において、Ｒサブ画素、Ｇサブ画素、及び、Ｂサブ画素の配列は、所定の配列とされている。具体的には、撮像素子の各画素において、１つのＲサブ画素、１つのＢサブ画素、及び、２つのＧサブ画素がモザイク状に配置されている。このような配列は「ベイヤー配列」などと呼ばれ、撮像センサー部１０１（Ａ／Ｄ変換部）から出力される画像データも、ベイヤー配列の画像データ（ベイヤー画像データ）である。
【００１９】
現像処理部１０２は、撮像センサー部１０１から出力されたベイヤー画像データに現像処理を施し、現像処理後の画像データを表示画像生成部１０３へ出力する。現像処理は、階調値（Ｒ値、Ｇ値、Ｂ値など）にオフセット値を加算するオフセット調整、階調値にゲイン値を乗算するゲイン調整、階調特性を変換するガンマ変換などを含む。ガンマ変換の変換特性（ガンマ値やガンマカーブなど）は、レンズ群１００や撮像センサー部１０１などの特性を考慮して決定される。ガンマ変換の変換特性を変えることによって、放送用の画像データを生成したり、劇場用の画像データ（例えば、映画フィルムの質感や階調を再現した画像データ）を生成したりできる。現像処理は、ベイヤー画像データ（各画素が１つのＲサブ画素、１つのＢサブ画素、及び、２つのＧサブ画素からなるＲＧＢ画像データ）をＹＣｂＣｒ画像データに変換する処理を含む。ＹＣｂＣｒ画像データは、各画素値が、輝度値（Ｙ値）と色差値（Ｃｂ値とＣｒ値）からなる画像データである。現像処理は、レンズ群１００（レンズ）の歪曲収差による画像の歪みを補正する補正処理、撮像装置の振動による画像（画像に写っている被写体）の振動を低減する防振処理、画像のノイズを低減するノイズリダクション処理なども含む。
【００２０】
なお、現像処理部１０２から出力される画像データは、ＹＣｂＣｒ画像データでなくてもよい。例えば、現像処理はディベイヤー処理を含み、現像処理部１０２は、ディベイヤー処理によって、ベイヤー画像データを、各画素が１つのＲサブ画素、１つのＧサブ画素、及び、１つのＢサブ画素からなるＲＧＢ画像データに変換して出力してもよい。各画素が１つのＲサブ画素、１つのＧサブ画素、及び、１つのＢサブ画素からなるＲＧＢ画像データは、ＹＣｂＣｒ画像データの変換によって取得（生成）されてもよい。ＹＣｂＣｒ値（Ｙ値、Ｃｂ値、及び、Ｃｒ値）からＲＧＢ値（Ｒ値、Ｇ値、及び、Ｂ値）を算出することもできるし、ＲＧＢ値からＹＣｂＣｒ値を算出することもできる。
【００２１】
撮像センサー部１０１や現像処理部１０２から出力される画像データは、被写体を表す撮像画像データであり、撮像装置における処理対象の画像データ（対象画像データ）である。なお、対象画像データは、撮像画像データに限られない。例えば、対象画像データは、ＣＧ（コンピュータグラフィック）画像データであってもよい。
【００２２】
表示画像生成部１０３は、現像処理部１０２から出力されたＹＣｂＣｒ画像データに基づいて表示画像データ（出力画像データ）を生成し、表示画像データを特徴量取得部１０４とＩＦ処理部１０６へ出力する。表示画像データは、表示面に表示する画像データである。具体的には、表示画像生成部１０３は、ＹＣｂＣｒ画像データの解像度（画像サイズ）を表示面の解像度に変換したり、ＹＣｂＣｒ画像データの階調値（Ｙ値、Ｃｂ値、Ｃｒ値など）のデータサイズ（ビット幅）を調整したりする。表示画像生成部１０３は、ＹＣｂＣｒ画像データによって表された画像に所定のグラフィック画像が重ねられるように、所定のグラフィック画像を表す画像データをＹＣｂＣｒ画像データに合成したりもする。所定のグラフィック画像は、例えば、撮影アシスト情報を図や文字で表す画像である。さ
らに、ＹＣｂＣｒ画像データのアスペクト比が表示面のアスペクト比と異なる場合などにおいて、表示画像生成部１０３は、表示画像データのアスペクト比が表示面のアスペクト比と一致するように、ＹＣｂＣｒ画像データに所定の画像データを付加する。これらの処理により、表示画像データが生成される。
【００２３】
図３（Ａ）は、所定の画像データの付加された表示画像データの一例を示す。図３（Ａ）では、付加画像（所定の画像データによって表された画像）が黒帯画像（帯状の黒色画像）であり、対象画像（ＹＣｂＣｒ画像データによって表された画像）の上下に黒帯画像が付加されている。図３（Ａ）に示すような状態は「レターボックス」などと呼ばれる。対象画像の左右に黒帯画像が付加されることもあり、そのような状態は「ピラーボックス」などと呼ばれる。なお、付加画像は黒帯画像でなくてもよいし、表示画像データのアスペクト比を調整するために付加される画像でなくてもよい。付加画像の形状や色は特に限定されない。付加画像は絵柄が描かれた画像であってもよい。
【００２４】
特徴量取得部１０４は、表示画像生成部１０３によって生成された表示画像データから特徴量を取得し、特徴量を付加情報生成部１０５へ出力する。特徴量は特に限定されないが、本実施例では、シーン毎にシーンの最大輝度値を示すＭａｘＣＬＬ（Ｍａｘｉｍｕｍ
Ｃｏｎｔｅｎｔ  Ｌｉｇｈｔ  Ｌｅｖｅｌ）と、シーン毎にフレームの平均輝度値の最大値を示すＭａｘＦＡＬＬ（Ｍａｘｉｍｕｍ  Ｆｒａｍｅ  Ａｖｅｒａｇｅ  Ｌｉｇｈｔ
Ｌｅｖｅｌ）とが、特徴量として取得される。このため、シーン毎に特徴量（ＭａｘＣＬＬやＭａｘＣＬＬの値）が動的に変化することがある。ＭａｘＣＬＬやＭａｘＦＡＬＬでは、１フレームを１シーンとして扱うこともできる。つまり、ＭａｘＣＬＬでは、フレーム毎にフレームの最大輝度値を示すこともでき、ＭａｘＦＡＬＬでは、フレーム毎にフレームの平均輝度値を示すこともできる。本実施例では、フレーム毎にフレームの最大輝度値を示すＭａｘＣＬＬと、フレーム毎にフレームの平均輝度値を示すＭａｘＦＡＬＬとが、特徴量として取得される。
【００２５】
従来技術では、図３（Ａ）に示す表示画像データの平均輝度値（ＭａｘＦＡＬＬ）として、表示画像データの画像エリア全体（対象画像の画像エリアと黒帯画像の画像エリアとからなる画像エリアの全体）の平均輝度値が取得される。このため、得られた平均輝度値は、対象画像の平均輝度値と異なり、撮影者（画像処理装置のユーザ）が意図した値と異なることとなる。図３（Ｂ）の破線は、従来技術で図３（Ａ）の表示画像データから得られるＭａｘＦＡＬＬを示す。
【００２６】
そこで、本実施例では、特徴量取得部１０４は、黒帯画像の画像エリアを考慮せずに、表示画像データの平均輝度値（ＭａｘＦＡＬＬ）として、対象画像の画像エリアの平均輝度値を取得する。これにより、撮影者（画像処理装置のユーザ）が意図した平均輝度値を示すＭａｘＦＡＬＬを得ることができる。図３（Ｂ）の実線は、本実施例で図３（Ａ）の表示画像データから得られるＭａｘＦＡＬＬを示す。付加画像により、従来技術のＭａｘＦＡＬＬ（破線）は、本実施例のＭａｘＦＡＬＬ（実線）よりも低い平均輝度値を示す。このため、従来技術では、ＭａｘＦＡＬＬ（破線）に基づいて、撮影者が意図した表示輝度よりも低い表示輝度が実現されてしまう。本実施例では、撮影者が意図した平均輝度値を示すＭａｘＦＡＬＬを得ることができるため、ＭａｘＦＡＬＬ（実線）に基づいて、撮影者が意図した表示輝度を実現できる。なお、表示画像データは撮像装置で生成された画像データであるため、撮像装置では、黒帯画像の画像エリアや対象画像の画像エリアを個別に判断することができる。
【００２７】
本実施例では、付加画像の色が黒色であるため、表示画像データの最大輝度値（ＭａｘＣＬＬ）に付加画像が影響を及ぼすことは無い。このため、特徴量取得部１０４は、表示画像データの最大輝度値（ＭａｘＣＬＬ）として、表示画像データの画像エリア全体の最
大輝度値を取得してもよいし、対象画像の画像エリアの最大輝度値を取得してもよい。図３（Ｃ）は、本実施例で図３（Ａ）の表示画像データから得られるＭａｘＦＡＬＬとＭａｘＣＬＬを示す。なお、付加画像が黒色以外の色（白色など）を含んでいる場合には、表示画像データの最大輝度値（ＭａｘＣＬＬ）に付加画像が影響を及ぼすことがある。その場合には、特徴量取得部１０４は、付加画像の画像エリアを考慮せずに、表示画像データの最大輝度値（ＭａｘＣＬＬ）として、対象画像の画像エリアの最大輝度値を取得すればよい。これにより、撮影者が意図した最大輝度値を示すＭａｘＣＬＬをより確実に得ることができ、撮影者が意図した表示輝度がより確実に実現可能となる。
【００２８】
付加情報生成部１０５は、特徴量取得部１０４によって取得された特徴量（ＭａｘＣＬＬやＭａｘＦＡＬＬ）に基づいて、表示画像データに付加する付加情報を生成する。そして、付加情報生成部１０５は、付加情報をＩＦ処理部１０６へ出力する。例えば、付加情報は、ＨＤＭＩ規格などに基づく情報であり、ＭａｘＣＬＬやＭａｘＦＡＬＬなどを示す特徴情報を含む。さらに、付加情報は、特徴量（ＭａｘＣＬＬやＭａｘＦＡＬＬ）を取得した画像エリアを示すエリア情報などを含む。本実施例では、エリア情報は、ＭａｘＦＡＬＬが、表示画像データの画像エリア全体から取得されたか、対象画像の画像エリアのみから取得されたかを示す。なお、エリア情報は付加情報に含まれなくてもよい。
【００２９】
ＩＦ処理部１０６は、表示画像生成部１０３によって生成された表示画像データを、付加情報生成部１０５によって生成された付加情報を付加して、撮像装置に接続された表示装置１０７（外部装置）へ出力する。具体的には、表示部１０９は、ＨＤＭＩ規格などに準拠した接続方法で撮像装置に接続されている。そして、ＩＦ処理部１０６は、表示画像データと付加情報を含む信号として、ＨＤＭＩ規格などに準拠した形式の信号を生成し、生成した信号を表示装置１０７へ出力する。なお、表示画像データと付加情報は個別に出力されてもよい。表示画像データと付加情報は、表示装置１０７へ出力されずに、記憶装置に記録されてもよい。
【００３０】
表示装置１０７は、撮像装置の電子ビューファインダー（ＥＶＦ）などとして使用可能である。表示装置１０７は、撮像装置から受信した信号から表示画像データと付加情報を抽出し、付加情報（ＭａｘＣＬＬやＭａｘＦＡＬＬなど）に基づく表示輝度で表示画像データに基づく画像を表示面に表示する。表示輝度は、表示面上の輝度である。表示装置１０７が液晶表示装置である場合には、バックライトユニットの発光輝度や液晶パネルの透過率などを調整することで、表示輝度を調整できる。具体的には、バックライトユニットに供給する電圧や電流、液晶パネルに供給する電圧や電流などを調整することで、表示輝度を調整できる。表示装置１０７が有機ＥＬ表示装置やプラズマ表示装置である場合には、表示パネル（有機ＥＬパネルやプラズマパネル）の発光輝度を調整することで表示輝度を調整できる。具体的には、表示パネルに供給する電圧や電流などを調整することで、表示輝度を調整できる。
【００３１】
図２（Ａ）は、本実施例に係る撮像装置の処理フロー例を示すフローチャートである。
【００３２】
ステップＳ１００にて、撮像センサー部１０１は撮像を開始する。ステップＳ１０１にて、現像処理部１０２は現像処理を行う。ステップＳ１０２にて、表示画像生成部１０３は、現像処理後の画像データから表示画像データを生成する。表示画像データの画像エリアは、少なくとも対象画像の画像エリアを含む。表示画像データの状態がレターボックスやピラーボックスなどである場合には、表示画像データの画像エリアは黒帯画像の画像エリアをさらに含む。
【００３３】
ステップＳ１０３にて、特徴量取得部１０４は、ステップＳ１０２で生成された表示画像データの画像エリアが黒帯画像の画像エリアを含むか否かを判断する。黒帯画像の画像
エリアが存在する場合（例えば、表示画像データの状態がレターボックスやピラーボックスである場合）にはステップＳ１０４へ進み、そうでない場合はステップＳ１０６へ進む。
【００３４】
ステップＳ１０４にて、特徴量取得部１０４は、黒帯画像の画像エリアにおける輝度値を取得せずに、対象画像の画像エリア（対象エリア）における各画素の輝度値を、ステップＳ１０２で生成された表示画像データから取得（抽出）する。ステップＳ１０５にて、特徴量取得部１０４は、ステップＳ１０４で取得した各輝度値を用いて、特徴量（ＭａｘＣＬＬやＭａｘＦＡＬＬ）を算出する。例えば、ＭａｘＣＬＬは、１フレーム毎にフレームの最大輝度値（各画素の輝度値の最大値）を示し、ＭａｘＦＡＬＬは、１フレーム毎にフレームの平均輝度値（各画素の輝度値の平均値）を示す。
【００３５】
ステップＳ１０６にて、特徴量取得部１０４は、全画像エリア（表示画像データの画像エリア全体）における各画素の輝度値を、ステップＳ１０２で生成された表示画像データから取得（抽出）する。ステップＳ１０７にて、特徴量取得部１０４は、ステップＳ１０６で取得した各輝度値を用いて、特徴量（ＭａｘＣＬＬやＭａｘＦＡＬＬ）を算出する。
【００３６】
ステップＳ１０８にて、付加情報生成部１０５は、ステップＳ１０５またはステップＳ１０７で算出された特徴量（ＭａｘＣＬＬやＭａｘＦＡＬＬ）に基づいて付加情報を生成する。
【００３７】
ステップＳ１０９にて、ＩＦ処理部１０６は、ステップＳ１０２で生成された表示画像データを、ステップＳ１０８で生成された付加情報を付加して、表示装置１０７へ出力する。そして、表示装置１０７は、ＩＦ処理部１０６から出力された付加情報（ＭａｘＣＬＬやＭａｘＦＡＬＬなど）に基づく表示輝度で、ＩＦ処理部１０６から出力された表示画像データに基づく画像を表示面に表示する（表示の開始）。
【００３８】
以上述べたように、本実施例によれば、表示装置とは別体の撮像装置（画像処理装置）において、撮影者（画像処理装置のユーザ）の意図に合った特徴量が取得され、撮影者の意図に合った特徴情報が生成される。これにより、撮影者が意図した表示輝度をより確実に実現可能にすることができる。例えば、表示装置は、好適な特徴量を取得する機能を有していなくても、撮像装置で生成された特徴情報に基づいて、撮影者の意図に合った表示輝度を実現できる。
【００３９】
＜実施例２＞
以下、本発明の実施例２について説明する。なお、以下では、実施例１と異なる点（構成、処理、等）について詳しく説明し、実施例１と同じ点についての説明は省略する。
【００４０】
図１（Ｂ）は、本実施例に係る撮像装置の構成例を示すブロック図である。本実施例に係る撮像装置は、表示装置（外部装置）に接続されておらず、実施例１（図１（Ａ））のＩＦ処理部１０６の代わりに表示処理部１０８を有する。さらに、本実施例に係る撮像装置は、表示部１０９を有する。
【００４１】
表示処理部１０８は、付加情報生成部１０５によって生成された付加情報（ＭａｘＣＬＬやＭａｘＦＡＬＬなど）に基づいて、表示輝度などを制御する制御情報を生成する。制御情報は「特徴量取得部１０４によって取得された特徴量に基づく情報」とも言える。そして、表示処理部１０８は、表示画像生成部１０３によって生成された表示画像データと、付加情報に基づいて生成した制御情報とを、表示部１０９へ出力（伝送）する。例えば、表示部１０９は、ＭＩＰＩ規格などに準拠した接続方法で表示処理部１０８に接続されており、表示処理部１０８は、制御情報の信号として、ＭＩＰＩ規格などに準拠した形式
の信号を生成して出力する。
【００４２】
表示部１０９は、電子ビューファインダー（ＥＶＦ）などとして使用可能である。表示部１０９は、表示処理部１０８から出力された制御情報（ＭａｘＣＬＬやＭａｘＦＡＬＬなど）に基づく表示輝度で、表示処理部１０８から出力された表示画像データに基づく画像を表示面に表示する。表示部１０９が液晶パネルとバックライトユニットの組み合わせである場合には、バックライトユニットの発光輝度や液晶パネルの透過率などを調整することで、表示輝度を調整できる。表示部１０９が有機ＥＬパネルやプラズマパネルなどの表示パネルである場合には、表示パネルの発光輝度を調整することで表示輝度を調整できる。
【００４３】
本実施例に係る撮像装置の処理フローは、実施例１（図２（Ａ））と同様である。但し、ステップＳ１０９では、表示処理部１０８は、ステップＳ１０８で生成された付加情報に基づいて制御情報を生成し、表示画像データ（ステップＳ１０２）と制御情報を表示部１０９へ出力する。そして、表示部１０９は、表示処理部１０８から出力された制御情報（ＭａｘＣＬＬやＭａｘＦＡＬＬなど）に基づく表示輝度で、表示処理部１０８から出力された表示画像データに基づく画像を表示面に表示する（表示の開始）。
【００４４】
以上述べたように、本実施例によれば、撮像装置（画像処理装置）単体で、撮影者（画像処理装置のユーザ）が意図した表示輝度をより確実に実現することができる。
【００４５】
＜実施例３＞
以下、本発明の実施例３について説明する。なお、以下では、実施例１，２と異なる点（構成、処理、等）について詳しく説明し、実施例１，２と同じ点についての説明は省略する。
【００４６】
図１（Ｃ）は、本実施例に係る撮像装置の構成例を示すブロック図である。本実施例に係る撮像装置は、実施例１（図１（Ａ））の構成と実施例２（図１（Ｂ））の構成とを組み合わせた構成を有する。具体的には、表示画像生成部１０３は、表示画像データを特徴量取得部１０４、ＩＦ処理部１０６、及び、表示処理部１０８へ出力する。そして、付加情報生成部１０５は、付加情報をＩＦ処理部１０６と表示処理部１０８へ出力する。
【００４７】
図２（Ｂ）は、本実施例に係る撮像装置の処理フロー例を示すフローチャートである。
【００４８】
ステップＳ２００にて、撮像センサー部１０１は撮像を開始する。ステップＳ２０２にて、現像処理部１０２は現像処理を行う。１種類の現像処理により、現像処理後の画像データとして、表示装置１０７と表示部１０９で共通の画像データが得られてもよいし、そうでなくてもよい。表示装置１０７用の現像処理と表示部１０９用の現像処理とが個別に行われ、現像処理後の画像データとして、表示装置１０７用の画像データと表示部１０９用の画像データとが個別に得られてもよい。
【００４９】
ステップＳ２０２にて、表示画像生成部１０３は、現像処理後の画像データから表示画像データを生成する。本実施例では、表示画像生成部１０３は、表示装置１０７用の表示画像データと表示部１０９用の表示画像データとを個別に生成する。このため、２つの表示画像データの一方でのみ黒帯画像が存在したり、２つの表示画像データの両方で黒帯画像が存在したりする。本実施例では、表示装置１０７用の表示画像データが、図３（Ａ）に示すような画像データ（黒帯画像が存在する画像データ；レターボックスの画像データ）あるとする。そして、表示部１０９用の表示画像データが、図３（Ｄ）に示すような画像データ（黒帯画像が存在しない画像データ；対象画像のみが存在する画像データ）であるとする。表示装置１０７用の表示画像データで黒帯画像が存在せず、表示部１０９用の
表示画像データで黒帯画像が存在することもある。なお、表示装置１０７と表示部１０９で共通の表示画像データが生成されてもよい。
【００５０】
ステップＳ２０３で、特徴量取得部１０４は、ステップＳ２０２で生成された表示画像データの画像エリアが黒帯画像の画像エリアを含むか否かを判断する。ステップＳ２０３の判断は、表示装置１０７用の表示画像データと表示部１０９用の表示画像データとについて個別に行われる。黒帯画像の画像エリアが存在する表示画像データについては、ステップＳ２０４，Ｓ２０５の処理が行われ、黒帯画像の画像エリアが存在しない表示画像データについてはステップＳ２０６，Ｓ２０７の処理が行われる。本実施例では、表示装置１０７用の表示画像データが図３（Ａ）の画像データであるため、表示装置１０７用の表示画像データについてステップＳ２０４，Ｓ２０５の処理が行われる。そして、表示部１０９用の表示画像データが図３（Ｄ）の画像データであるため、表示部１０９用の表示画像データについてステップＳ２０６，Ｓ２０７の処理が行われる。
【００５１】
ステップＳ２０４にて、特徴量取得部１０４は、全画像エリア（対象画像の画像エリアと黒帯画像の画像エリアとからなる画像エリアの全体）における各画素の輝度値を、ステップＳ２０２で生成された表示画像データから取得（抽出）する。ステップＳ２０５にて、特徴量取得部１０４は、ステップＳ２０６で取得した各輝度値を用いて、特徴量（ＭａｘＣＬＬやＭａｘＦＡＬＬ）を算出する。具体的には、特徴量取得部１０４は、実施例１，２と同様に、対象画像の画像エリアにおける各画素の輝度値を用いて、対象画像の画像エリアの特徴量を取得する。さらに、特徴量取得部１０４は、全画像エリアにおける各画素の輝度値を用いて、全画像エリアの特徴量を取得する。
【００５２】
ステップＳ２０６にて、特徴量取得部１０４は、全画像エリア（表示画像データの画像エリア全体）における各画素の輝度値を、ステップＳ２０２で生成された表示画像データから取得（抽出）する。ステップＳ２０７にて、特徴量取得部１０４は、ステップＳ２０６で取得した各輝度値を用いて、特徴量（ＭａｘＣＬＬやＭａｘＦＡＬＬ）を算出する。具体的には、特徴量取得部１０４は、実施例１，２と同様に、全画像エリアにおける各画素の輝度値を用いて、全画像エリアの特徴量を取得する。
【００５３】
ステップＳ２０８にて、付加情報生成部１０５は、ステップＳ１０５またはステップＳ１０７で算出された特徴量（ＭａｘＣＬＬやＭａｘＦＡＬＬ）に基づいて付加情報を生成する。上述したように、本実施例では、表示装置１０７用の表示画像データについてステップＳ２０４，Ｓ２０５の処理が行われる。このため、表示装置１０７用の付加情報では、対象画像の画像エリアの特徴量に対して、対象画像の画像エリアを示すエリア情報が関連付けられ、全画像エリアの特徴量に対して、全画像エリアを示すエリア情報が関連付けられる。表示部１０９用の表示画像データについては、ステップＳ２０６，Ｓ２０７の処理が行われる。このため、表示部１０９用の付加情報には、特徴量が黒帯画像を含む画像のものでないことなどを示す情報が含まれる。
【００５４】
ステップＳ２０９にて、ＩＦ処理部１０６と表示装置１０７は、実施例１と同様に、ステップＳ２０８で生成された付加情報に基づく表示輝度で、ステップＳ２０２で生成された表示画像データに基づく画像を表示装置１０７の表示面に表示する。表示処理部１０８と表示部１０９は、実施例２と同様に、ステップＳ２０８で生成された付加情報に基づく表示輝度で、ステップＳ２０２で生成された表示画像データに基づく画像を表示部１０９の表示面に表示する。
【００５５】
本実施例では、表示装置１０７用の特徴量（ＭａｘＣＬＬやＭａｘＦＡＬＬ）として、対象画像の画像エリアの特徴量と、全画像エリア（対象画像の画像エリアと黒帯画像の画像エリアとからなる画像エリアの全体）の特徴量とが取得される。このため、表示装置１
０７に画像を表示する際に、上記２つの特徴量を切り替えて使用できる。対象画像の画像エリアの特徴量を用いれば、実施例１と同様に、撮影者が意図した表示輝度を実現できる。全画像エリアの特徴量（ＭａｘＦＡＬＬ）を使用すれば、黒帯画像によって表示輝度が低下するため、表示装置１０７の消費電力を低減できる。
【００５６】
以上述べたように、本実施例によれば、実施例１の処理と実施例２の処理の両方が行われるため、実施例１の効果と実施例２の効果の両方を得ることができる。さらに、表示装置１０７用の付加情報も表示部１０９の付加情報も同じ装置で生成されるため、表示装置１０７に表示された画像の見えと、表示部１０９に表示された画像の見えとを、互いに近づけることができる。画像を表示する際に、対象画像の特徴量と、対象画像と黒帯画像を含む画像の特徴量とを切り替えて使用できるため、撮影者（画像処理装置のユーザ）の意図に合った表示輝度と、低消費電力化のための表示輝度とを好適に切り替えて実現することもできる。
【００５７】
なお、図１（Ｄ）に示すように、特徴量取得部１０４と付加情報生成部１０５のペアとして、表示装置１０７用のペアと表示部１０９用のペアとが個別に設けられてもよい。
【００５８】
＜実施例４＞
以下、本発明の実施例４について説明する。なお、以下では、実施例１〜３と異なる点（構成、処理、等）について詳しく説明し、実施例１〜３と同じ点についての説明は省略する。
【００５９】
本実施例に係る撮像装置の構成例を示すブロック図は実施例１と同じ図１（Ａ）である。
【００６０】
図３（Ｅ）、（Ｆ）、（Ｇ）は、表示画像生成部１０３によって生成された所定の画像データの付加された表示画像データの一例を示す。図３（Ｅ）では、付加画像（所定の画像データによって表された画像）が文字画像（撮影時間または再生時間を表現するタイムコード画像）であり、対象画像（ＹＣｂＣｒ画像データによって表された画像）の右下に文字画像が付加されている。文字画像は図３（Ｅ）に示すように文字周辺が枠で囲まれる場合もあるが、図３（Ｆ）に示すように文字のみの場合もある。図３（Ｇ）の付加画像は枠線画像であり、例えば表示画像データ内で実際に記録する領域を示している。付加画像（文字画像や枠線画像）の形状や色、表示画像データ内の重畳位置は特に限定されない。付加画像は文字と絵柄が描かれた画像であってもよい。
【００６１】
本実施例では、特徴量取得部１０４は、文字画像の画像エリアを考慮せずに、表示画像データの平均輝度値（ＭａｘＦＡＬＬ）や最大輝度値（ＭａｘＣＬＬ）として、対象画像の画像エリアの平均輝度値と最大輝度値を取得する。これにより、撮影者（画像処理装置のユーザ）が意図した平均輝度値を示すＭａｘＦＡＬＬや最大輝度値（ＭａｘＣＬＬ）を得ることができるため、撮影者が意図した表示輝度を実現できる。文字画像の画像エリアも含んだ表示画像データの画像エリア全体の平均輝度値や最大輝度値を取得すると、文字画像が黒色の場合（輝度値が低い場合）や白色の場合（輝度値が高い場合）などで撮影者の意図に反した表示輝度が実現されてしまう。なお、表示画像データは撮像装置で生成された画像データであるため、撮像装置では、文字画像の画像エリアや対象画像の画像エリアを個別に判断することができる。判断方法はエリア情報だけではなく、文字画像の画像エリアの画素値や階調値で判断することもできるため、付加画像の画像エリアを撮影者が指定した固有の画素値や階調値を含む画像エリアとすることもできる。撮影者が付加画像の画像エリアとして指定した画素値や階調値が対象画像にも含まれる場合は、指定した画素値や階調値を対象画像に含まれない画素値や階調値（例えば指定した値の±１の値）に変更し、固有の画素値や階調値とする必要がある。
【００６２】
図２（Ｃ）は、本実施例に係る撮像装置の処理フロー例を示すフローチャートである。
【００６３】
ステップＳ３００にて、撮像センサー部１０１は撮像を開始する。ステップＳ３０１にて、現像処理部１０２は現像処理を行う。ステップＳ３０２にて、表示画像生成部１０３は、現像処理後の画像データから表示画像データを生成する。表示画像データの画像エリアは、少なくとも対象画像の画像エリアを含む。表示画像データの生成で文字画像を重畳した場合には、表示画像データの画像エリアは文字画像の画像エリアをさらに含む。本実施例では、文字画像を重畳する画像の例として挙げているが、図３（Ｇ）に示す枠線画像であってもよいし、撮影情報または再生情報を示す図や絵、その他の文字などであってもよい。
【００６４】
ステップＳ３０３にて、特徴量取得部１０４は、ステップＳ３０２で生成された表示画像データの画像エリアが文字画像の画像エリアを含むか否かを判断する。文字画像の画像エリアが存在する場合にはステップＳ３０４へ進み、そうでない場合はステップＳ３０６へ進む。
【００６５】
ステップＳ３０４にて、特徴量取得部１０４は、文字画像の画像エリアにおける輝度値を取得せずに、対象画像の画像エリア（対象エリア）における各画素の輝度値を、ステップＳ３０２で生成された表示画像データから取得（抽出）する。ステップＳ３０５にて、特徴量取得部１０４は、ステップＳ３０４で取得した各輝度値を用いて、特徴量（ＭａｘＣＬＬやＭａｘＦＡＬＬ）を算出する。例えば、ＭａｘＣＬＬは、１フレーム毎にフレームの最大輝度値（各画素の輝度値の最大値）を示し、ＭａｘＦＡＬＬは、１フレーム毎にフレームの平均輝度値（各画素の輝度値の平均値）を示す。
【００６６】
ステップＳ３０６にて、特徴量取得部１０４は、全画像エリア（表示画像データの画像エリア全体）における各画素の輝度値を、ステップＳ３０２で生成された表示画像データから取得（抽出）する。ステップＳ３０７にて、特徴量取得部１０４は、ステップＳ３０６で取得した各輝度値を用いて、特徴量（ＭａｘＣＬＬやＭａｘＦＡＬＬ）を算出する。
【００６７】
ステップＳ３０８にて、付加情報生成部１０５は、ステップＳ３０５またはステップＳ３０７で算出された特徴量（ＭａｘＣＬＬやＭａｘＦＡＬＬ）に基づいて付加情報を生成する。
【００６８】
ステップＳ３０９にて、ＩＦ処理部１０６は、ステップＳ３０２で生成された表示画像データを、ステップＳ３０８で生成された付加情報を付加して、表示装置１０７へ出力する。そして、表示装置１０７は、ＩＦ処理部１０６から出力された付加情報（ＭａｘＣＬＬやＭａｘＦＡＬＬなど）に基づく表示輝度で、ＩＦ処理部１０６から出力された表示画像データに基づく画像を表示面に表示する（表示の開始）。
【００６９】
以上述べたように、本実施例によれば、表示装置とは別体の撮像装置（画像処理装置）において、撮影者（画像処理装置のユーザ）の意図に合った特徴量が取得され、撮影者の意図に合った特徴情報が生成される。これにより、撮影者が意図した表示輝度をより確実に実現可能にすることができる。例えば、表示装置は、好適な特徴量を取得する機能を有していなくても、撮像装置で生成された特徴情報に基づいて、撮影者の意図に合った表示輝度を実現できる。
【００７０】
本実施例で述べた文字画像の画像エリアがある場合の撮像装置の構成例は一例であり、実施例２や実施例３の構成でも撮影者の意図に合った表示輝度を実現できる。
【００７１】
なお、実施例１〜４（図１（Ａ）〜１（Ｄ））の各ブロックは、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上のブロックの機能が、共通のハードウェアによって実現されてもよい。１つのブロックの複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つのブロックの２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各ブロックは、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部のブロックの機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
【００７２】
なお、実施例１〜４（上述した変形例を含む）はあくまで一例であり、本発明の要旨の範囲内で実施例１〜４の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１〜４の構成を適宜組み合わせて得られる構成も、本発明に含まれる。
【００７３】
＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７４】
１０３：表示画像生成部  １０４：特徴量取得部  １０５：付加情報生成部
１０６：ＩＦ処理部  １０８：表示処理部
【図１】
2020061726.tif 000003
【図２】
2020061726.tif 000004
【図３】
2020061726.tif 000005