(57)【要約】【課題】本発明は、撮像装置が出力した画像に混入し得るノイズに起因するコントラスト比の低下を抑制する表示装置及びその制御方法を提供することを目的とする。【解決手段】表示装置は、入力画像データに基づく画像を表示する表示手段と、前記入力画像データにノイズが含まれているか否かを判定する判定手段と、前記判定手段の判定結果に応じて、前記表示手段の表示を制御する制御手段と、を備える。【選択図】図１
2017227728.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データに基づく画像を表示する表示手段と、
前記入力画像データにノイズが含まれているか否かを判定する判定手段と、
前記判定手段の判定結果に応じて、前記表示手段の表示を制御する制御手段と、
を備えることを特徴とする表示装置。
【請求項２】
前記表示手段は、
複数の分割領域のそれぞれについて個別に発光輝度を制御可能な発光手段と、
前記発光手段から照射された光を変調することにより、前記入力画像データに基づく前記画像を表示する変調手段と、
を備え、
前記制御手段は、前記発光手段の各分割領域の発光輝度を制御する
ことを特徴とする請求項１に記載の表示装置。
【請求項３】
前記表示手段の複数の分割領域のそれぞれについて前記入力画像データの特徴量を取得する取得手段を備え、
前記制御手段は、
前記判定手段が前記入力画像データにノイズが含まれていないと判定した場合に、前記取得手段が取得した前記特徴量に基づいて前記発光手段の各分割領域の発光輝度を制御し、
前記判定手段が前記入力画像データにノイズが含まれていると判定した場合に、ノイズが含まれていないと判定した場合よりも前記変調手段の表示のコントラスト比が高くなるように前記発光手段の各分割領域の輝度を制御する
ことを特徴とする請求項２に記載の表示装置。
【請求項４】
前記判定手段は、前記入力画像データ中のノイズの有無を表すノイズ情報が前記入力画像データと共に入力された場合に前記入力画像データにノイズが含まれていると判定することを特徴とする請求項１から３のいずれか１項に記載の表示装置。
【請求項５】
前記判定手段は、前記入力画像データが撮影された際の撮影パラメータに基づいて、前記入力画像データにノイズが含まれているか否か判定する
ことを特徴とする請求項１から３のいずれか１項に記載の表示装置。
【請求項６】
前記判定手段は、
前記入力画像データ中のノイズの有無を表すノイズ情報が前記入力画像データと共に入力された場合に、前記入力画像データにノイズが含まれていると判定し、
前記ノイズ情報が入力されない場合に、前記入力画像データが撮影された際の撮影パラメータに基づいて前記入力画像データにノイズが含まれているか否か判定する
ことを特徴とする請求項１から３のいずれか１項に記載の表示装置。
【請求項７】
前記判定手段は、前記撮影パラメータから前記入力画像データが高感度撮像センサを備える撮像装置で撮影されたか否かを判定し、前記入力画像データが前記高感度撮像センサを備える撮像装置で撮影された場合に、前記入力画像データにノイズが含まれていないと判定する
ことを特徴とする請求項５または６に記載の表示装置。
【請求項８】
前記判定手段が前記入力画像データにノイズが含まれていると判定した場合に、前記制御手段は、前記発光手段の前記複数の分割領域のうち前記特徴量が閾値を下回る分割領域である暗部領域を特定し、前記暗部領域の輝度を前記特徴量に基づく輝度よりも低下させ
る
ことを特徴とする請求項３から７のいずれか１項に記載の表示装置。
【請求項９】
前記制御手段は、前記判定手段が前記入力画像データにノイズが含まれていると判定した場合に、前記発光手段の最大輝度を増加させる
ことを特徴とする請求項３から７のいずれか１項に記載の表示装置。
【請求項１０】
前記入力画像データにノイズを抑制するフィルタ処理を施すフィルタ手段をさらに備え、
前記判定手段が前記入力画像データにノイズが含まれていると判定した場合に、前記取得手段は前記フィルタ処理を施された入力画像データに基づいて前記発光手段の各分割領域の特徴量を取得する
ことを特徴とする請求項３から７のいずれか１項に記載の表示装置。
【請求項１１】
前記ノイズ情報は、ノイズ発生の有無、混入しているノイズ量を定量的に表すノイズレベル、ノイズによる輝度の上昇分を表す輝度オフセット量、のいずれか一つ以上を含む
ことを特徴とする請求項４または６に記載の表示装置。
【請求項１２】
前記撮影パラメータは、シャッター速度、ＩＳＯ感度、前記撮像装置の機種、前記撮像装置の撮像センサ情報、撮像センサの温度、のいずれか一つ以上を含む
ことを特徴とする請求項５から７のいずれか１項に記載の表示装置。
【請求項１３】
前記判定手段は少なくとも１フレーム毎に前記入力画像データにノイズが含まれているか否か判定する
ことを特徴とする請求項１から１２のいずれか１項に記載の表示装置。
【請求項１４】
請求項１から１３のいずれか１項に記載の表示装置と、
撮影した画像の画像データ、前記画像が撮影された際の撮影パラメータまたは前記画像データ中のノイズの有無を表すノイズ情報のいずれか一つ以上を前記表示装置に送信可能な撮像装置と、
を備えることを特徴とする表示システム。
【請求項１５】
入力画像データに基づく画像を表示する表示手段を備える表示装置の制御方法であって、
前記入力画像データにノイズが含まれているか否かを判定する判定ステップと、
前記判定ステップにおける判定結果に応じて、前記表示手段の表示を制御する制御ステップと、
を含むことを特徴とする表示装置の制御方法。
【請求項１６】
前記表示手段は、
複数の分割領域のそれぞれについて個別に発光輝度を制御可能な発光手段と、
前記発光手段から照射された光を変調することにより、前記入力画像データに基づく前記画像を表示する変調手段と、
を備え、
前記制御ステップでは、前記発光手段の各分割領域の発光輝度が制御される
ことを特徴とする請求項１５に記載の表示装置の制御方法。
【請求項１７】
前記表示手段の複数の分割領域のそれぞれについて前記入力画像データの特徴量を取得する取得ステップを含み、
前記制御ステップでは、
前記判定ステップにおいて前記入力画像データにノイズが含まれていないと判定された場合に、前記取得ステップにおいて取得された前記特徴量に基づいて前記発光手段の各分割領域の発光輝度が制御され、
前記判定ステップにおいて前記入力画像データにノイズが含まれていると判定された場合に、ノイズが含まれていないと判定された場合よりも前記変調手段の表示のコントラスト比が高くなるように前記発光手段の各分割領域の輝度が制御される
ことを特徴とする請求項１６に記載の表示装置の制御方法。
【請求項１８】
前記判定ステップでは、前記入力画像データ中のノイズの有無を表すノイズ情報が前記入力画像データと共に入力された場合に前記入力画像データにノイズが含まれていると判定される
ことを特徴とする請求項１５から１７のいずれか１項に記載の表示装置の制御方法。
【請求項１９】
前記判定ステップでは、前記入力画像データが撮影された際の撮影パラメータに基づいて、前記入力画像データにノイズが含まれているか否か判定される
ことを特徴とする請求項１５から１７のいずれか１項に記載の表示装置の制御方法。
【請求項２０】
前記判定ステップでは、
前記入力画像データ中のノイズの有無を表すノイズ情報が前記入力画像データと共に入力された場合に、前記入力画像データにノイズが含まれていると判定され、
前記ノイズ情報が入力されない場合に、前記入力画像データが撮影された際の撮影パラメータに基づいて前記入力画像データにノイズが含まれているか否か判定される
ことを特徴とする請求項１５から１７のいずれか１項に記載の表示装置の制御方法。
【請求項２１】
前記判定ステップでは、前記撮影パラメータから前記入力画像データが高感度撮像センサを備える撮像装置で撮影されたか否かが判定され、前記入力画像データが前記高感度撮像センサを備える撮像装置で撮影された場合に、前記入力画像データにノイズが含まれていないと判定される
ことを特徴とする請求項１９または２０に記載の表示装置の制御方法。
【請求項２２】
前記判定ステップにおいて前記入力画像データにノイズが含まれていると判定された場合に、前記制御ステップでは、前記発光手段の前記複数の分割領域のうち前記特徴量が閾値を下回る分割領域である暗部領域が特定され、前記暗部領域の輝度が前記特徴量に基づく輝度よりも低下するように制御される
ことを特徴とする請求項１７から２１のいずれか１項に記載の表示装置の制御方法。
【請求項２３】
前記制御ステップでは、前記判定ステップにおいて前記入力画像データにノイズが含まれていると判定された場合に、前記発光手段の最大輝度が増加するように制御される
ことを特徴とする請求項１７から２１のいずれか１項に記載の表示装置の制御方法。
【請求項２４】
前記入力画像データにノイズを抑制するフィルタ処理を施すフィルタステップをさらに含み、
前記判定ステップにおいて前記入力画像データにノイズが含まれていると判定した場合に、前記取得ステップでは前記フィルタ処理を施された入力画像データに基づいて前記発光手段の前記複数の分割領域ごとの特徴量が取得される
ことを特徴とする請求項１７から２１のいずれか１項に記載の表示装置の制御方法。
【請求項２５】
前記ノイズ情報は、ノイズ発生の有無、混入しているノイズ量を定量的に表すノイズレベル、ノイズによる輝度の上昇分を表す輝度オフセット量、のいずれか一つ以上を含む
ことを特徴とする請求項１８または２０に記載の表示装置の制御方法。
【請求項２６】
前記撮影パラメータは、シャッター速度、ＩＳＯ感度、前記撮像装置の機種、前記撮像装置の撮像センサ情報、撮像センサの温度、のいずれか一つ以上を含む
ことを特徴とする請求項１９から２１のいずれか１項に記載の表示装置の制御方法。
【請求項２７】
前記判定ステップでは少なくとも１フレーム毎に前記入力画像データにノイズが含まれているか否か判定される
ことを特徴とする請求項１５から２６のいずれか１項に記載の表示装置の制御方法。
【請求項２８】
請求項１５から２７のいずれか１項に記載の表示装置の制御方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は表示装置及びその制御方法に関する。
【背景技術】
【０００２】
表示装置においては表示パネルの照明用としてＬＥＤバックライトを用いたものが普及している。ＬＥＤバックライトを用いた表示装置では入力された画像（動画像や静止画像を含む）データが複数の領域に分割され、それぞれの分割領域の画像データの特徴量に応じて、分割領域毎にＬＥＤバックライトの発光が制御される。この技術はローカルディミングと呼ばれる。これにより、消費電力を抑えながら画像のコントラスト比を改善し、画像の黒い部分を忠実に再現することができる。
【０００３】
ところで画像によっては、ノイズが比較的大きく含まれる場合がある。特に、デジタルカメラで撮影された動画像や静止画像において、露光時間や気温、ＩＳＯ感度といった撮影条件に応じて、固定パターンノイズやランダムノイズが高輝度ノイズとなって混入することがある。このようなノイズが混入している画像の場合、表示装置はＬＥＤバックライトを制御するための特徴量をノイズも含めて取得する。その結果、特徴量を基に制御するＬＥＤバックライト制御部は、暗部領域であっても高輝度ノイズの影響を受けバックライトの輝度を増加させてしまう。この結果、撮影した画像の通り暗部領域を表現できず、コントラストが低下してしまうという課題があった。
【０００４】
従来、ＬＥＤバックライトにおけるノイズ成分の輝度が強調される課題を解決するものとして、例えば特許文献１に示す技術が提案されている。すなわち特許文献１によれば、画像の分割領域毎の特徴量に応じて分割領域毎の輝度が定められ、さらに、分割領域毎の輝度と所定の閾値とが比較される。そして、分割領域毎の輝度が閾値より低い分割領域についてのみ、分割領域ごとの輝度を低下させ、その輝度を用いて分割領域毎にＬＥＤバックライトの発光を制御し、低輝度部分のノイズを目立たなくさせるというものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−１９４５５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した技術は画像の特徴量のみからＬＥＤバックライトの輝度を決定している。つまり、入力された画像データにノイズが混入しているのか、ノイズが混入していないのか、わからないことになる。そのため、画像データにノイズが混入している場合、ノイズを含めた画像データに基づく画像の特徴量を取得することになり、ＬＥＤバックライトの制御はノイズの影響を受けてしまう。この結果、撮影した画像の通り暗部領域を表現できず、コントラストの低下を招いてしまうという課題がある。また、画素毎に点灯制御可能な有機ＥＬディスプレイの場合においても、高輝度ノイズをノイズと認識しないで画素値に応じて点灯制御すると全体のコントラストに影響を与えてしまう、という同様の課題が生じる。
【０００７】
そこで本発明は、撮像装置が出力した画像に混入し得るノイズに起因するコントラスト比の低下を抑制する表示装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第一態様は、
入力画像データに基づく画像を表示する表示手段と、
前記入力画像データにノイズが含まれているか否かを判定する判定手段と、
前記判定手段の判定結果に応じて、前記表示手段の表示を制御する制御手段と、
を備えることを特徴とする表示装置である。
【０００９】
本発明の第二態様は、
入力画像データに基づく画像を表示する表示手段を備える表示装置の制御方法であって、
前記入力画像データにノイズが含まれているか否かを判定する判定ステップと、
前記判定ステップにおける判定結果に応じて、前記表示手段の表示を制御する制御ステップと、
を含むことを特徴とする表示装置の制御方法である。
【発明の効果】
【００１０】
本発明によれば、撮像装置が出力した画像に混入し得るノイズに起因するコントラスト比の低下を抑制することを可能にする。
【図面の簡単な説明】
【００１１】
【図１】表示システムの構成の一例を示すブロック図
【図２】実施例１に係るノイズ情報算出付加部の動作を説明するための図
【図３】実施例１に係るノイズ情報算出付加部の動作を説明するための図
【図４】実施例１に係る表示装置１１０の制御を説明するためのフローチャート
【図５】発光制御部１１６の動作を説明するための図
【図６】実施例３に係る表示システムを構成する表示装置８００のブロック図
【発明を実施するための形態】
【００１２】
以下図１から図６に基づいて、各実施例を説明する。
＜実施例１＞
図１は、本発明の実施例１に係る表示システムを説明するためのブロック図である。図１に示すように本実施例の表示システムは撮像装置１００と表示装置１１０を備える。撮像装置１００と表示装置１１０は、ＳＤＩ（Ｓｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）ケーブルで接続されており、撮像装置１００で撮影された画像（動画像や静止画像を含む）が、表示装置１１０で再生される。本実施例では、表示装置１１０の解像度はＦｕｌｌ−ＨＤとする。本実施例では撮像装置１００で撮影する画像の解像度も表示装置１１０の解像度と同じＦｕｌｌ−ＨＤとする。
【００１３】
撮像装置１００は、撮像部１０１、画像生成部１０２、撮影パラメータ付加部１０３、ノイズ情報算出部１０４、記録部１０５、ＳＤＩエンコーダ１０６、ＳＤＩ出力端子１０７を備える。
撮像部１０１は、例えばＣＣＤといった撮像センサ及び光学系などを備える。撮影者が不図示の操作部で撮影開始を指示すると、撮像部１０１は入射した光を光電変換により電気信号に変換し、画像生成部１０２に送信する。
画像生成部１０２は、撮像部１０１から送信されたアナログの電気信号をＡＤ変換によりデジタルの画像データに変換する。
【００１４】
撮影パラメータ付加部１０３は、画像生成部１０２で生成された画像データにシャッター速度、絞り、ＩＳＯ感度、撮像センサ温度といった撮影パラメータを付加する。
ノイズ情報算出部１０４は、撮影パラメータ付加部１０３で付加された撮影パラメータから画像データに混入しているノイズ情報の算出を行い、画像データにノイズ情報を付加
する。なお、ノイズ情報とは例えば、画像データ中のノイズの有無の情報である。ノイズ情報は他にも、混入しているノイズ量を定量的に表すノイズレベル、発光部の発光輝度のオフセット量、等の情報を含んでもよい。ノイズ情報の算出方法は後述する。
記録部１０５は、撮影パラメータ付加部１０３で撮影パラメータが付加された画像データを記録する。なお、記録部１０５は、ノイズ情報算出部１０４で算出されたノイズ発生の有無や輝度オフセット量を保存することにしてもよい。
ＳＤＩエンコーダ１０６は、表示装置１１０に送信される、撮影パラメータを付加した画像データをパラレルデータからシリアルデータに変換する。
ＳＤＩ出力端子１０７は、表示装置１１０のＳＤＩ入力端子１１１と接続される。ＳＤＩエンコーダ１０６でシリアルデータに変換された画像データは、ＳＤＩ出力端子１０７を介して表示装置１１０に送信される。
なお、撮像装置１００は不図示のＣＰＵやＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などのワークメモリ、またＣＰＵを動作させるためのプログラムを保存する不揮発性メモリ等を備えてもよい。その場合、撮像装置１００の各機能は、不揮発性メモリに格納されたプログラムがワークメモリに展開され、これをＣＰＵが実行することによって実現される。
【００１５】
次に、表示装置１１０の構成について説明する。表示装置１１０は、ＳＤＩ入力端子１１１、ＳＤＩデコーダ１１２、ノイズ判定部１１３、特徴量取得部１１４、画像処理部１１５、発光制御部１１６、ＣＰＵ１１７、操作部１１８、データバス１１９、表示部１５０等を備える。
ＳＤＩ入力端子１１１は、ケーブルを介して撮像装置１００のＳＤＩ出力端子と接続される。ＳＤＩ入力端子を介して、撮像装置１００が送信した画像データが表示装置１１０に入力される。入力された画像データは、ＳＤＩデコーダ１１２へ送信される。
ＳＤＩデコーダ１１２は、シリアルデータで送られてきた画像データをパラレルデータに変換する。パラレルデータに変換された画像データはノイズ判定部１１３と、特徴量取得部１１４と、画像処理部１１５へ送信される。
ノイズ判定部１１３は、入力された画像データにノイズが含まれているか否かを判定する。判定の頻度は、例えば１フレーム毎である。
【００１６】
特徴量取得部１１４は、後述する発光部１２０の複数の分割領域ごとに入力画像データの特徴量を取得する。本実施例では、特徴量取得部１１４は後述する発光部１２０の分割領域毎に平均輝度レベル（以降、ＡＰＬ：Ａｖｅｒａｇｅ Ｐｅａｋ Ｌｅｖｅｌ）を取得する。特徴量取得部１１４は、発光部１２０で使用するＡＰＬ以外にも画像処理部１１５で使用する様々な特徴量を取得するが、本発明には関係ないため詳細な説明は省略する。なお、発光部１２０の分割領域毎に対応する特徴量はＡＰＬ以外であっても構わない。例えば、発光部１２０の各分割領域の最大輝度や最小輝度を用いてもよい。
画像処理部１１５は、特徴量取得部１１４で取得した特徴量を用いて画像データに画像処理を施す。画像処理の内容は本発明には関係ないため、詳細な説明は省略する。
発光制御部１１６は、後述する発光部１２０の分割領域毎に輝度の制御を行う。
ＣＰＵ１１７は、表示装置１１０の各機能を実現する。不図示の不揮発性メモリに格納されたプログラムがＲＡＭなどのワークメモリに展開され、これをＣＰＵ１１７が実行することにより表示装置１１０の各機能が実現される。
操作部１１８は、画像データのノイズ混入状況に応じて、暗部領域の輝度値を落とす機能のＯＮ／ＯＦＦ制御を行う。
データバス１１９は、表示装置１１０の内部でＳＤＩデコーダ１１２、ノイズ判定部１１３、特徴量取得部１１４、画像処理部１１５、発光制御部１１６、ＣＰＵ１１７、操作部１１８などを相互接続している。
表示部１５０は、入力画像データに基づく画像を表示する。表示部１５０は、さらに発光部１２０、変調部１２１を備える。
発光部１２０は、複数の分割領域のそれぞれについて個別に発光輝度を制御可能である。さらに各分割領域は複数の光源から構成されている。本実施例では、発光部１２０としてＬＥＤバックライトを用いることとして説明する。この場合、ＬＥＤが光源となる。ただし、発光部１２０はＬＥＤバックライトではなく、他の方式でもよい。
変調部１２１は、発光部１２０から照射された光を変調することにより、入力画像データに基づく画像を表示する。変調部１２１の表示方式は、例えば液晶透過パネルによるものが一例として挙げられる。なお、変調部１２１には液晶透過パネル以外の表示方式が用いられてもよい。例えば、変調部１２１には発光部１２０からの光を透過する表示素子として、ＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍ）シャッターなどを有する表示パネルが用いられてもよい。
なお、本実施例では発光部１２０にＬＥＤバックライトが使用され、変調部１２１に液晶透過パネルが用いられる液晶ディスプレイを例に説明したが、他の方式であっても構わない。例えば、表示部１５０として、画素毎に点灯制御可能な有機ＥＬディスプレイを用いてもよい。他にも、例えばプラズマディスプレイなどを用いてもよい。また、従来の技術より幅広いダイナミックレンジを有するＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）と呼ばれる技術では輝度ノイズがより目立つものと考えられるが、このような技術を採用するディスプレイにおいても本実施例は適用可能である。
【００１７】
なお、本実施例では撮像装置１００と表示装置１１０との間の通信にＳＤＩを用いるとしたが、画像データや撮影パラメータ、ノイズ情報などの付帯情報を送信可能であればＳＤＩ以外の通信方式を用いても構わない。通信方式は、たとえばＢＬＵＥＴＯＯＴＨ（登録商標）のように、ケーブルを用いない無線通信であっても構わない。また、本実施例の撮像装置１００の具体例は、例えば電子カメラやビデオカメラである。
【００１８】
ノイズ情報算出部１０４のノイズ算出方法について図２（ａ）、図２（ｂ）、図２（ｃ）を使用して説明する。撮像装置１００は、図２（ａ）と図２（ｂ）のＬＵＴ（Ｌｏｏｋ
Ｕｐ  Ｔａｂｌｅ）を、図示しない不揮発性メモリで保存している。図２（ａ）は縦軸に露光時間（秒）、横軸にＩＳＯ感度を示し、撮像センサの温度毎にノイズの有無を判断する閾値（折れ線）を持っている。図２（ｂ）は撮像センサノイズ特性を表わすＬＵＴであり、縦軸にノイズレベル、横軸は露光時間（秒）を示している。なお、本実施例ではノイズレベルとして、表示装置１１０の発光部１２０の輝度オフセット量を示している。ここで、輝度オフセット量とはノイズによる輝度の上昇分を表す輝度のオフセット量である。本実施例では、撮像装置１００がノイズに起因する輝度オフセット量を算出し、その輝度オフセット量を表示装置に送信するという方式を採用する。しかし、図２（ｂ）の縦軸を輝度オフセット量でなくノイズレベルとして、撮像装置１００はノイズレベルを送信するようにしてもよい。
【００１９】
まず、ノイズ情報算出部１０４は、撮影した画像を再生した際にノイズが目立つか否かを、図２（ａ）のＬＵＴを使用して撮影条件より判断する。撮影条件は、例えば露光時間、ＩＳＯ感度、撮像センサ温度、である。撮影条件が図２（ａ）に示す折れ線より上の領域（ドット柄領域）に位置すると、撮影した画像を表示装置で再生した際に、混入したノイズが目立つと判断される。撮像センサ温度毎の閾値は、説明の関係上０℃、１０℃、２０℃しか図示していないが、より多くの撮像センサ温度で閾値が設定されてもよい。
【００２０】
撮影が行われた場合の本実施例に係る処理の流れについて、具体例を用いて説明する。例えば、ＩＳＯ感度１６００、露光時間１／２秒、撮像センサ温度０℃で撮影された画像の場合、図２（ａ）では点Ａに位置することになる。点Ａは撮像センサ温度０℃の閾値を示す折れ線より上（ドット柄領域）に位置しているため、撮影された画像はノイズが目立つと判断される。図２（ａ）でノイズが目立つと判断された場合、図２（ｂ）のＬＵＴから発光部１２０におけるノイズに起因する輝度オフセット量をノイズ情報算出部１０４が
決定する。
【００２１】
図２（ｂ）のＬＵＴは撮影時の撮像センサ温度毎に用意される。図２（ａ）同様、０℃、１０℃、２０℃しか図示していないが、より多くの撮像センサ温度毎にＬＵＴを用意してもよい。例えば、ＩＳＯ感度１６００、露光時間１／２秒、撮像センサ温度０℃で撮影された画像の場合、図２（ａ）でノイズが目立つと判断されると、図２（ｂ）では点Ｂに位置することになる。これにより、表示装置に送信する輝度オフセット量は２００となる。なお、本実施例で示した輝度オフセット量の算出アルゴリズムは一例であり、このアルゴリズムに限定しなくてもよい。一般的に、撮影した画像に混入するノイズは撮像センサ温度や露光時間、ＩＳＯ感度に比例して増加する。
【００２２】
図２（ｃ）は、図２（ａ）で求められたノイズ発生の有無と、図２（ｂ）で求められた輝度オフセット量を示しており、これらがパラメータとして生成された画像データに付加される。パラメータが付加される場所は、図３で説明する。
【００２３】
図３はＳＤＩのＦｕｌｌ−ＨＤの画像における水平補助データ（横線領域）と垂直補助データ（斜線領域）の関係を示す図である。横軸は画像サンプル番号、横軸はライン番号を示している。図３のＥＡＶ（Ｅｎｄ  ｏｆ  Ａｃｔｉｖｅ  Ｖｉｄｅｏ）はＳＤＩ信号のＴＲＳ（Ｔｉｍｉｎｇ  Ｒｅｆｅｒｅｎｃｅ  Ｓｉｇｎａｌ）における水平／垂直の有効画像期間終了点の識別子である。［３ＦＦ］［０００］［０００］［ＸＹＺ］の４ワードからなる同期識別コードの中の［ＸＹＺ］の内容によってＥＡＶ、ＳＡＶ、フィールド、水平／垂直の識別ができる。ＬＮ（Ｌｉｎｅ  Ｎｕｍｂｅｒ）はＨＤ−ＳＤＩ信号のライン番号監視用に使用される。ＣＲＣＣ（Ｃｙｃｌｉｃ  Ｒｅｄｕｎｄａｎｃｙ  Ｃｈｅｃｋ  Ｃｏｄｅ）は画像期間、ＥＡＶ、ＬＮの伝送エラーをチェックする用途に使用される。ＳＡＶ（Ｓｔａｒｔ  ｏｆ  Ａｃｔｉｖｅ  Ｖｉｄｅｏ）はＳＤＩ信号のＴＲＳにおける水平／垂直の有効画像期間開始点の識別子である。［３ＦＦ］［０００］［０００］［ＸＹＺ］の４ワードからなる同期識別コードの中の［ＸＹＺ］の内容でＥＡＶ、ＳＡＶ、フィールド、水平／垂直の識別ができるようになっている。
【００２４】
本実施例において、図２（ｃ）で示すノイズ情報は、図３においてフォーマット情報等が格納されているペイロードＩＤ（黒塗領域）が存在するラインの次のラインである座標（１９２８，１１）に重畳することとする。なお、本実施例ではノイズ情報を重畳する場所を座標（１９２８，１１）としたが、この場所でなくともよい。
【００２５】
本実施例では、撮影パラメータは図３の水平補助データや垂直補助データを使用して送信される。また、本実施例ではノイズ情報を画像データに重畳することで接続先の表示装置１１０に送信するようにしたが、別ケーブルといった画像データとは別のノイズ情報を送信可能な専用手段を設けるようにしてもよい。ただし、以降の各実施例中では、ノイズ情報が画像データに重畳されるものとして説明する。
【００２６】
続いて、表示装置１１０の動作を図４のフローチャートに従って説明する。図４のフローチャートの各処理は、図示しない不揮発性メモリに格納されたプログラムがＲＡＭ等のワークメモリに展開されＣＰＵ１１７が実行することによってなされる。
【００２７】
ステップＳ４０１では、表示装置１１０に画像データが入力される。入力画像データは、ＳＤＩデコーダ１１２にてシリアルデータからパラレルデータに変換され、ノイズ判定部１１３と、特徴量取得部１１４へ送信される。
ステップＳ４０２では、ノイズ判定部１１３は、撮像装置１００がペイロードＩＤに重畳したノイズ情報を解析する。
ステップＳ４０３では、特徴量取得部１１４は発光部１２０の分割領域毎に、ＡＰＬを
取得する。なお、本実施例では発光部１２０の各分割領域の輝度の制御に用いられる特徴量としてＡＰＬを使用するが、他の特徴量を用いても構わない。例えば、各分割領域の画像データの最大輝度や最小輝度を用いても構わない。
【００２８】
ステップＳ４０４では発光部１２０の各分割領域の輝度値を決定する。図５（ａ）、図５（ｂ）を使用して、発光部１２０を制御する発光制御部１１６の動作を説明する。本実施例では説明を簡単にするために発光部１２０は８つの領域に分割されるものとする。入力画像データにノイズが含まれていない場合、発光制御部１１６は各分割領域に対応する入力画像データのＡＰＬに応じて各分割領域の輝度を制御するものとする。当初、各分割領域の入力画像データのＡＰＬが図５（ａ）に示す値であったものとする。なお、Ａ〜Ｈは分割領域の識別用の記号であり、その下の数字が各分割領域内のＡＰＬを示し、ＡＰＬ下の括弧内の数値はＡＰＬに基づいて決定された各分割領域の輝度値である。
【００２９】
このとき、発光部１２０の輝度は図５（ｂ）に示すようになる。つまり、発光制御部１１６は、各分割領域の入力画像データのＡＰＬに応じて、分割領域ごとに発光部１２０の輝度を制御する。なお、入力画像データのＡＰＬが低い分割領域では画像が比較的暗いため、輝度を低下させて黒浮きを軽減させコントラストを向上させるとともに、発光部１２０の低消費電力化を図るようにしている。本実施例の場合、それぞれの分割領域における最大輝度は、最大発光能力に達しないように制限されているものとする。具体的には、本実施例の場合、発光部１２０にＬＥＤバックライトを用いるものとして、ＬＥＤはデューティ９０％までの範囲で点灯し、各分割領域の最大輝度が５００ｃｄ／ｍ２になるように発光制御部１１６が制限しているものとする。
【００３０】
ステップＳ４０５では、ノイズ判定部１１３は、入力画像データと共にノイズ情報が入力されているか否かを判定する。そして、ノイズ情報が前記入力画像データと共に入力された場合（ステップＳ４０５：ＹＥＳ）、ノイズ判定部１１３は入力画像データ中にノイズが含まれていると判定し、ステップＳ４０９へ進む。入力画像データと共にノイズ情報が入力されない場合（ステップＳ４０５：ＮＯ）は、ステップＳ４０６へ進む。ノイズ情報が撮像装置１００において算出されている場合、表示装置１１０ではノイズ情報の算出を省略できる。
ステップＳ４０６とステップＳ４０７では、画像データが撮影された際の撮影パラメータに基づいて、前記入力画像データにノイズが含まれているか否か判定する。ここで、撮影パラメータとは、例えばシャッター速度、撮像装置の撮像センサ情報、ＩＳＯ感度、撮像装置の機種情報、撮像センサの温度等である。前述したように撮影パラメータは図３の水平補助データや垂直補助データを使用して撮像装置１００より送信されるものとする。
【００３１】
ステップＳ４０６では、ノイズ判定部１１３は撮影パラメータから入力画像データが高感度撮像センサを備える撮像装置で撮影されたか否かを判定する。そして、画像データが高感度撮像センサを備える撮像装置で撮影された場合（ステップＳ４０６：ＹＥＳ）に、ノイズ判定部１１３は入力画像データ中にノイズが含まれていないと判定し、ステップＳ４１０に進む。入力画像データが高感度撮像センサを備える撮像装置で撮影されていない場合（ステップＳ４０６：ＮＯ）、ステップＳ４０７に進む。ステップＳ４０６の処理を加えることで、高感度撮像センサを備える撮像装置によって撮影された画像にはノイズが含まれないものと判断され、ノイズ補正の処理を省略できる。
上述したように、本実施例では高感度の撮像センサを備えた撮像装置で撮影した画像の場合、ノイズが目立たないと判断し、ステップＳ４０４で決定した輝度値を使用する。しかし、高感度の撮像センサの撮像装置を使用した場合にもステップＳ４０６の輝度オフセット量を調整する（少なくする）ようにしてもよい。例えば本実施例では輝度オフセット量が６０であるものとし、図５（ｃ）に示すように、分割領域Ａと分割領域Ｅの輝度値に対して受信した輝度オフセット量６０を減算した。しかし、高感度の撮像センサを使用し
た撮像装置である場合、撮像センサに固有の値（例えば、固定値として輝度オフセット量２０とする）を減算するようにしてもよい。
【００３２】
ステップＳ４０７では、ノイズ判定部１１３は入力画像データが撮影された際の撮影パラメータに基づいて、画像データ中のノイズが目立つか否か判定する。具体的な判定の手順は、図２（ａ）で説明した撮像装置１００と同様とする。判定結果に基づいて、ノイズが目立つと判断される場合（ステップＳ４０７：ＹＥＳ）、ステップＳ４０８に進み、ノイズが目立たないと判断される場合（ステップＳ４０７：ＮＯ）、ステップＳ４１０に進む。
ステップＳ４０８では、ノイズ判定部１１３は図２（ｂ）に示すＬＵＴから発光部１２０の輝度オフセット量を算出する。本来、図２（ａ）、図２（ｂ）で示したＬＵＴは撮像装置毎に特性が異なる。本実施例では一般的な撮像装置のノイズ特性を基にＬＵＴを作成し、表示装置１１０の図示しない不揮発性メモリやＲＡＭに保存されているものとする。また、このＬＵＴを撮像装置の機種毎に持つようにすることで、精度よくノイズ情報を算出することが可能になる。ステップＳ４０６〜４０８の処理によれば、撮像装置１００がノイズ情報の算出機能を備えていなくても、表示装置１１０は撮影パラメータを取得できればノイズ情報を算出できる。
【００３３】
ステップＳ４０９では、ノイズ判定部１１３が、特徴量取得部１１４で得られたＡＰＬより暗部領域を特定する。ノイズ判定部１１３は、発光部１２０の分割領域のうち特徴量が閾値を下回る分割領域である暗部領域を特定する。本実施例では閾値をＡＰＬ６００として、これを下回るＡＰＬを有する分割領域を暗部領域とする。なお、本実施例の暗部領域特定の条件は一例であり、数値、方法共に他の決め方をしてもよい。図５（ａ）では分割領域Ａと分割領域Ｅが該当する。特定された暗部領域において、ステップＳ４０３で決定した輝度値から輝度オフセット量を減算する。減算が行われた後に、ステップＳ４１０に進む。本実施例では図５（ｃ）に示すように、分割領域Ａと分割領域Ｅの輝度値に対して受信した輝度オフセット量６０を減算し、分割領域Ａの輝度値を４０（図５（ａ）では１００）、分割領域Ｅの輝度値を７０（図５（ａ）では１３０）とした。この結果、図５（ｆ）のように分割領域Ａと分割領域Ｅの輝度が変更される。高輝度ノイズの影響が大きい暗部領域の輝度オフセットを減算することで、暗部をより忠実に再現することができる。これによってコントラスト比が拡大される。
ステップＳ４１０では、決定された輝度値に基づいて、発光部１２０の各分割領域の輝度が制御される。
【００３４】
なお、表示部１５０に有機ＥＬディスプレイを用いた場合、ステップＳ４０９では画像データより取得した各画素の輝度のうち、閾値を下回る輝度を有する暗部画素が特定される。そして、暗部画素について画像データから取得した輝度値から輝度オフセット量が減算される。このようにすることで本実施例を有機ＥＬディスプレイに適用することができる。この結果、有機ＥＬディスプレイにおいても暗部をより忠実に再現することができ、コントラスト比の低下が抑制される。
【００３５】
操作部１１８は、画像のノイズ混入状況に応じて、上述した暗部領域の輝度値を低下させる機能のＯＮ／ＯＦＦ制御を行う。暗部領域の輝度値を落とす機能のＯＦＦ時はステップＳ４０２、Ｓ４０５〜Ｓ４０８の処理は省略される。また、本実施例ではＳＤＩケーブルで撮像装置１００と表示装置１１０を接続し、入力画像データとノイズ情報の送受信を行ったが、ＳＤＩに限らなくてもよい。例えばＨＤＭＩ（登録商標）やＤｉｓｐｌａｙＰｏｒｔ（登録商標）を使用し、ノイズ情報を入力画像データのブランキングに重畳して、ノイズ情報を送受信するようにしてもよい。また撮像装置を接続しなくても外部メモリ１２２から画像データを読み込むようにしてもよい。その場合は、図４のステップＳ４０１が「画像データ読み込み」に置き換えられる。
【００３６】
以上のように、表示装置１１０は、入力画像データのノイズ情報を基に発光部１２０の輝度値を制御するため、入力画像データに混入し得るノイズの影響を軽減して、発光部１２０の輝度の制御が可能になる。その結果、ユーザは暗部を忠実に再現した画像を視聴することが可能になる。これにより、表示装置１１０はノイズの影響を抑制したコントラスト比の高い画像を表示できる。なお、本実施例では暗部領域の輝度のみノイズ状況に応じてオフセット制御するようにしたが、暗部領域だけでなく発光部１２０全体の輝度をノイズ状況に応じてオフセットするようにしてもよい。また、画像が動画像である場合、上述の処理が実行される頻度を高くすることにより、より高精度な表示を実現できる。例えばフレーム毎に上述の処理が実行されることで、すべての画像に対してコントラスト比を高めることができる。
【００３７】
＜実施例２＞
本実施例ではノイズ情報に基づいて、発光部１２０の最大輝度を変更する例を図１、図４、図５（ｅ）、図５（ｆ）を用いて説明する。本実施例の構成は図１と同じであるため、説明は省略する。本実施例の制御フローについて、図４からの変更点についてのみ説明する。実施例１では、発光部１２０は最大発光能力に達しないように制御されているものとした。具体的には、発光部１２０の全てのＬＥＤはデューティ９０％までの範囲で点灯し、各分割領域の最大輝度は５００ｃｄ／ｍ２に制限されていた。また、実施例１では図４のフローチャートのステップＳ４０５でノイズ情報が存在すると判断されると、ステップＳ４０９に示す処理が実行された。本実施例ではステップＳ４０９の処理を「発光部１２０の最大輝度を変更する」に置き換える。すなわち、ノイズ判定部１１３が入力画像データにノイズが含まれていると判断した場合、発光部１２０の最大輝度を増加させる。図５（ｅ）、図５（ｆ）を使用して以下に詳細を説明する。
【００３８】
図５（ｅ）、図５（ｆ）は図５（ａ）、図５（ｂ）同様、各分割領域内のＡＰＬ（図５（ｅ））と、各分割領域の輝度（図５（ｅ）、図５（ｆ））を示している。図５（ｅ）のＡＰＬは図５（ａ）と同じであるが、最大輝度値の増加に応じて輝度値が変更されている。図５（ｆ）も図５（ｂ）と同様に、最大輝度が５００ｃｄ／ｍ２から６００ｃｄ／ｍ２に変更されている。本実施例では、発光部１２０にＬＥＤバックライトを使用しているものとして以下に具体例を示す。ステップＳ４０５でノイズ情報ありと判断されると、ノイズレベルに応じて最大輝度を５００ｃｄ／ｍ２から６００ｃｄ／ｍ２に増加するように、ＬＥＤをデューティ１００％までの範囲で点灯するように発光制御部１１６が制御する。例えば、図５（ｂ）では分割領域Ｆと分割領域ＧのＡＰＬ値１５００が５００ｃｄ／ｍ２の輝度値に割り当てられていたが、図５（ｅ）では分割領域Ｆと分割領域ＧのＡＰＬ値１５００が６００ｃｄ／ｍ２の輝度値に割り当てられる。これによりＡＰＬから発光部１２０の輝度値として変換できる輝度の範囲が広がり、ノイズが入力画像データに混入していてもコントラストの低下を抑制できる。以上のように、表示装置１１０はノイズ情報をもとに発光部１２０の輝度値を制御するため、画像に混入し得るノイズに起因するコントラスト比の低下を抑制できる。その結果、ユーザはコントラスト比の高い画像を視聴することが可能になる。
なお、有機ＥＬディスプレイに本実施例を適用する場合、ステップＳ４０５でノイズ情報ありと判断されると、ノイズレベルに応じてディスプレイの最大輝度を増加させる。これにより、有機ＥＬディスプレイを用いた場合においてもコントラスト比の低下を抑制できる。
【００３９】
＜実施例３＞
実施例３では、ノイズ情報に応じて、特徴量を取得する前にフィルタ処理を施すか否かを切り替える。実施例３では、ノイズが混入している入力画像データにのみフィルタ処理を施し、ノイズの影響を抑制した特徴量を取得し、発光部１２０の輝度の制御をすること
を目的とする。これにより、画像に混入し得るノイズに起因するコントラスト比の低下を抑制でき、実施例１と実施例２と同様にコントラスト比の高い表示が可能になる。
【００４０】
以下、図６に基づいて、実施例３を説明する。図６は、本発明の実施例３に係る表示システムを説明するためのブロック図である。図１と同様に表示装置８００と撮像装置１００はＳＤＩケーブルで接続される。表示装置８００には撮像装置１００よりノイズ情報と撮影した画像データが送信される。撮像装置１００は図１と同じ構成であるため、図６では図示しない。
【００４１】
図６では、図１の表示装置１１０に特徴量取得部１１４の前にノイズフィルタ部８０１を設けている。その他は表示装置１１０と同じであるため説明は省略する。ノイズフィルタ部８０１は一般的なノイズ除去フィルタであり、例えばメディアンフィルタ等である。ノイズフィルタ部８０１は、ノイズ判定部１１３または撮像装置１００が算出したノイズ情報を解析する。ノイズが発生していると判断された場合、ノイズフィルタ部８０１は入力画像データにノイズフィルタ処理を施す。ノイズフィルタ処理後の入力画像データは特徴量取得部１１４に送信される。ノイズ情報に基づいてノイズが発生していないと判断される場合は、ノイズフィルタ処理を施さずに特徴量取得部１１４に送信する。本実施例では撮像装置１００が算出した輝度オフセット量は使用しないものとする。ただし、輝度オフセット量を使用して、ノイズフィルタ処理の前後に実施例１または２の処理を組み合わせることもできる。また、実施例１、２のように高感度撮像センサを備える撮像装置に撮影された画像データの場合、ノイズが目立たないと判断してフィルタ処理を省略してもよい。
【００４２】
以上のように、ノイズフィルタ部を特徴量取得部１１４の前段に設け、ノイズの発生状況に応じて、ノイズフィルタのＯＮ／ＯＦＦを切り替える実施例を説明した。本実施例によれば、入力画像データに混入しているノイズを抑制した発光部１２０の輝度の制御が可能になる。なお、本実施例ではメディアンフィルタを例にして説明したが、ローパスフィルタでも実現は可能である。撮像装置が送信するノイズ情報に応じて、フィルタ係数を変えたり、フィルタ後の画素へのオフセット値を変えたりして、同様のことが実現できる。
【００４３】
なお、表示部１５０に有機ＥＬディスプレイを使用した場合も本実施例を実現できる。ノイズが発生していると判断された場合、ノイズフィルタ部８０１は入力画像データにノイズフィルタ処理を施す。そして、ノイズフィルタ処理後の画像データによって、有機ＥＬディスプレイの各画素の輝度値が決定される。このように、有機ディスプレイにおいても高輝度ノイズに起因するコントラスト比の低下を抑制することができる。
【００４４】
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００４５】
なお、実施例１〜３はあくまで一例であり、本発明の要旨の範囲内で実施例１〜３の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１〜３の構成を適宜組み合わせて得られる構成も、本発明に含まれる。
【符号の説明】
【００４６】
１１３  ノイズ判定部
１１６  発光制御部
１５０  表示部
【図１】
2017227728.tif 000003
【図２】
2017227728.tif 000004
【図３】
2017227728.tif 000005
【図４】
2017227728.tif 000006
【図５】
2017227728.tif 000007
【図６】
2017227728.tif 000008