(57)【要約】  本発明は、広ダイナミックレンジ画像を表示する際に、広ダイナミックレンジの撮影シーンを忠実に表示再現することを目的とする。  本発明の一態様に係る画像表示方法は、第１の画像と、第１の画像よりも低感度又は低露光で撮像された第２の画像とを用いてダイナミックレンジ拡大処理を施した第３の画像、又はダイナミックレンジ拡大処理を伴わない第４の画像を取得して透過型表示パネルに表示させ、前記取得した画像が第３の画像と判別したときに、第３の画像のうちの高輝度部に対応するセグメントのバックライト輝度を、低輝度部に対応するセグメントのバックライト輝度に比べて高くする。
2013141071.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像と、前記第１の画像よりも低感度又は低露光で撮像された第２の画像とを用いてダイナミックレンジ拡大処理を施した第３の画像、又はダイナミックレンジ拡大処理を伴わない第４の画像を取得する画像取得手段と、
前記画像取得手段により取得した第３の画像又は第４の画像を表示する透過型表示パネルと、
前記透過型表示パネルの背面に配設され、該透過型表示パネルに対するバックライトを分割されたセグメント毎に輝度制御可能なバックライトユニットと、
前記画像取得手段により取得した画像が、前記第３の画像か第４の画像かを判別する判別手段と、
前記判別手段の判別結果により前記画像取得手段により取得した画像が前記第３の画像と判別されると、該第３の画像のうちの前記ダイナミックレンジ拡大処理により抑圧された高輝度部に対応するセグメントのバックライト輝度を、低輝度部に対応するセグメントのバックライト輝度に比べて高くするように前記バックライトユニットを制御する制御手段と、
を備えた画像表示装置。
【請求項２】
前記制御手段は、前記判別手段の判別結果により前記画像取得手段により取得した画像が前記第４の画像と判別されると、全セグメントがそれぞれ同一のバックライト輝度になるように前記バックライトユニットを制御する請求項１に記載の画像表示装置。
【請求項３】
前記画像取得手段は、前記第３の画像及び該第３の画像に関連付けられた広ダイナミックレンジ合成に関する合成情報を取得し、
前記判別手段は、前記取得した合成情報に基づいて前記画像取得手段により取得した画像が、前記第３の画像か第４の画像かを判別する請求項１又は２に記載の画像表示装置。
【請求項４】
前記第３の画像は、予め設定された閾値以下の低輝度部が前記第１の画像のみを使用して生成され、前記閾値を超える高輝度部が少なくとも前記第２の画像を使用して生成され、
前記合成情報は、前記閾値を含む請求項３に記載の画像表示装置。
【請求項５】
前記制御手段は、前記合成情報に含まれる閾値に基づいて、前記第３の画像のうちの前記閾値を超える画素を高輝度部の画素として判別する請求項４に記載の画像表示装置。
【請求項６】
前記制御手段は、前記バックライトユニットのセグメント毎に、前記第３の画像から各セグメントに対応する複数の画素を抽出する抽出手段を有し、前記抽出した複数の画素のうちの一定の割合以上の画素が前記高輝度部の画素に対応すると判別し、又は前記抽出した複数の画素の平均値が前記高輝度部に対応する輝度値と判別すると、そのセグメントのバックライト輝度を高くするように前記バックライトユニットを制御する請求項１から５のいずれか１項に記載の画像表示装置。
【請求項７】
前記制御手段は、前記バックライトユニットの各セグメントに対応する複数の画素の代表輝度値とバックライト輝度との関係を示すテーブル又は計算式を記憶する記憶手段を有し、前記抽出手段により抽出した複数の画素の代表輝度値と前記記憶手段に記憶されているテーブル又は計算式とに基づいて対応するバックライト輝度を算出し、前記バックライトユニットのセグメント毎に算出したバックライト輝度に基づいて前記バックライトユニットを制御する請求項６に記載の画像表示装置。
【請求項８】
前記画像取得手段は、前記第３の画像及び該第３の画像に関連付けられた広ダイナミックレンジ合成に関する合成情報を取得し、
前記合成情報は、前記第３の画像のダイナミックレンジの広さに関連する情報を含み、
前記記憶手段は、前記第３の画像のダイナミックレンジの広さに対応する複数のテーブル又は計算式であって、ダイナミックレンジが広いほどバックライト輝度を高くするテーブル又は計算式を記憶し、
前記制御手段は、前記合成情報に含まれるダイナミックレンジの広さに関連する情報に基づいて前記記憶手段から対応するテーブル又は計算式を取得し、該テーブル又は計算式を使用して前記バックライト輝度を算出する請求項７に記載の画像表示装置。
【請求項９】
前記画像取得手段は、前記第３の画像及び該第３の画像に関連付けられたゲイン補正テーブルであって、前記第１の画像と第３の画像との階調変換特性の差分に対応するゲイン補正テーブルを取得し、
前記制御手段は、前記取得したゲイン補正テーブルと前記バックライトユニットの各セグメントに対応する複数の画素の代表輝度値とに基づいてセグメント毎にバックライト輝度を算出する請求項６に記載の画像表示装置。
【請求項１０】
第１の画像と、前記第１の画像よりも低感度又は低露光で撮像された第２の画像とを用いてダイナミックレンジ拡大処理を施した第３の画像、又はダイナミックレンジ拡大処理を伴わない第４の画像を取得する画像取得工程と、
前記画像取得工程により取得した第３の画像又は第４の画像を透過型表示パネルに表示させる表示工程と、
前記画像取得工程により取得した画像が、前記第３の画像か第４の画像かを判別する判別工程と、
前記透過型表示パネルの背面に配設され、該透過型表示パネルに対するバックライトを分割されたセグメント毎に輝度制御可能なバックライトユニットを制御する制御工程と、を含み、
前記制御工程は、
前記判別工程での判別結果により前記画像取得工程により取得した画像が前記第３の画像と判別されると、該第３の画像のうちの前記ダイナミックレンジ拡大処理により抑圧された高輝度部に対応するセグメントのバックライト輝度を、低輝度部に対応するセグメントのバックライト輝度に比べて高くするように前記バックライトユニットを制御する画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像表示装置及び方法に係り、特に透過型表示パネルのバックライト輝度を制御する技術に関する。
【背景技術】
【０００２】
従来、液晶パネルの背面に配設されたバックライトユニットの各セグメントのバックライト輝度を個別に制御する機能（バックライトローカルディミング（ＢＬＤ）機能）を備えた液晶表示装置が提案されている（特許文献１）。【０００３】
この液晶表示装置は、液晶パネルに表示する画像の輝度レベルに対応して、画像の明るい領域では明るく、暗い領域では暗くなるように領域毎にバックライト輝度を制御する。これにより、明暗部分のコントラスト比を大きくし、ダイナミックレンジの広い画像を表示できるようにしている。【０００４】
また、特許文献２に記載のディスプレイは、リアプロジェクションスクリーンに光を結像させる第１光変調器と、リアプロジェクションスクリーン内の第２光変調器とを有し、これらの２つの光変調器により光を変調させ、広ダイナミックレンジを持つ画像を表示できるようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−０９７９０９号公報
【特許文献２】米国特許第７５８１８３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の発明は、液晶パネルに表示する画像の明るい領域は明るく、暗い領域は暗くなるように領域毎にバックライト輝度を制御（ＢＬＤ制御）する。このため、特許文献１に記載の発明によれば、広ダイナミックレンジの画像を表示することができる。しかしながら、特許文献１に記載の発明では、例えば、低輝度領域及び中間輝度領域もバックライト輝度が変更され、階調が硬調となり、不自然な画像が表示されることがある。【０００７】
特許文献２に記載の発明も広ダイナミックレンジを持つ画像を表示することができる。しかしながら、特許文献２には、自然な見えの良好な画像を表示再生する技術は開示されていない。【０００８】
本発明はこのような事情に鑑みてなされたもので、広ダイナミックレンジの撮影シーンを忠実に表示再現することができる画像表示装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記目的を達成するために本発明の一の態様に係る画像表示装置は、第１の画像と、第１の画像よりも低感度又は低露光で撮像された第２の画像とを用いてダイナミックレンジ拡大処理を施した第３の画像、又はダイナミックレンジ拡大処理を伴わない第４の画像を取得する画像取得手段と、画像取得手段により取得した第３の画像又は第４の画像を表示する透過型表示パネルと、透過型表示パネルの背面に配設され、透過型表示パネルに対するバックライトを分割されたセグメント毎に輝度制御可能なバックライトユニットと、画像取得手段により取得した画像が、第３の画像か第４の画像かを判別する判別手段と、判別手段の判別結果により画像取得手段により取得した画像が第３の画像と判別されると、第３の画像のうちのダイナミックレンジ拡大処理により抑圧された高輝度部に対応するセグメントのバックライト輝度を、低輝度部に対応するセグメントのバックライト輝度に比べて高くするようにバックライトユニットを制御する制御手段と、を備えている。【００１０】
本発明の一の態様によれば、第１の画像と、第１の画像に対して低感度又は低露光で撮像された第２の画像とを合成することにより生成された広ダイナミックレンジの第３の画像であって、低輝度部の階調に比べて高輝度部の階調が抑圧された第３の画像を透過型表示パネルに表示する際に、バックライトユニットの各セグメントのバックライト輝度を個別に制御し、広ダイナミックレンジの画像となるように表示させる。即ち、第３の画像のうちの抑圧された高輝度部に対応するセグメントのバックライト輝度を、低輝度部に対応するセグメントのバックライト輝度に比べて高くするようにバックライトユニットを制御（ＢＬＤ制御）するようにしている。これにより、第３の画像は、高輝度部が抑圧されている広ダイナミックレンジの画像であるが、その抑圧されている高輝度部の輝度が伸張されることになり、第３の画像に対応する撮影シーンを忠実に表示再現できるようにしている。【００１１】
尚、上記の態様における透過型表示パネルは、バックライトを光源とする透過型表示パネルと、外光とバックライトの両方を光源とするハイブリッド方式の表示パネルの両方を含むものとする。【００１２】
本発明の他の態様に係る画像表示装置において、制御手段は、判別手段の判別結果により画像取得手段により取得した画像が第４の画像と判別されると、全セグメントがそれぞれ同一のバックライト輝度になるようにバックライトユニットを制御するようにしている。これにより、第４の画像に対応する撮影シーンを忠実に表示再現できるようにしている。【００１３】
本発明の更に他の態様に係る画像表示装置において、画像取得手段は、第３の画像及び第３の画像に関連付けられた広ダイナミックレンジ合成に関する合成情報を取得し、判別手段は、取得した合成情報に基づいて画像取得手段により取得した画像が、第３の画像か第４の画像かを判別している。これは、画像を解析しても広ダイナミックレンジの撮影シーンの画像か否かを判別することができないからであり、第３の画像に関連付けられて記録されている広ダイナミックレンジ合成に関する合成情報を利用する。【００１４】
本発明の更に他の態様に係る画像表示装置において、第３の画像は、予め設定された閾値以下の低輝度部が第１の画像のみを使用して生成され、閾値を超える高輝度部が少なくとも第２の画像を使用して生成され、合成情報は、閾値を含んでいる。第３の画像のうちの第１の画像のみを使用して生成されている低輝度部は十分に階調が割り当てられているが、少なくとも第２の画像を使用して生成されている高輝度部は広ダイナミックレンジ合成時に階調が抑圧されている。前記閾値は、階調が抑圧されていない低輝度部と階調が抑圧されている高輝度部との境界の輝度値を示すものである。【００１５】
本発明の更に他の態様に係る画像表示装置において、制御手段は、合成情報に含まれる閾値に基づいて、第３の画像のうちの閾値を超える画素を高輝度部の画素として判別している。【００１６】
本発明の更に他の態様に係る画像表示装置において、制御手段は、バックライトユニットのセグメント毎に、第３の画像から各セグメントに対応する複数の画素を抽出する抽出手段を有し、抽出した複数の画素のうちの一定の割合以上の画素が高輝度部の画素に対応すると判別し、又は抽出した複数の画素の平均値が高輝度部に対応する輝度値と判別すると、そのセグメントのバックライト輝度を高くするようにバックライトユニットを制御することが好ましい。【００１７】
第３の画像の画素と、バックライトユニットのセグメントとは一対一に対応しておらず、セグメントの方が大きい。セグメントのバックライト輝度は、そのセグメントに対応する複数の画素の画素値に基づいて決定する。即ち、セグメントに対応する複数の画素のうちの一定の割合以上の画素が高輝度部の画素に対応している場合、あるいは複数の画素の平均値が高輝度部に対応する輝度値と判別される場合に、そのセグメントのバックライト輝度を高くするようにＢＬＤ制御する。【００１８】
本発明の更に他の態様に係る画像表示装置において、制御手段は、バックライトユニットの各セグメントに対応する複数の画素の代表輝度値とバックライト輝度との関係を示すテーブル又は計算式を記憶する記憶手段を有し、抽出手段により抽出した複数の画素の代表輝度値と記憶手段に記憶されているテーブル又は計算式とに基づいて対応するバックライト輝度を算出し、バックライトユニットのセグメント毎に算出したバックライト輝度に基づいてバックライトユニットを制御することが好ましい。【００１９】
即ち、各セグメントに対応する複数の画素の代表輝度値の大きさに応じて、そのセグメントのバックライト輝度を変更し、これにより抑圧されている高輝度部の輝度を上げるようにしている。このときのバックライト輝度は、予め記憶されている輝度値（代表輝度値）とバックライト輝度との関係を示すテーブル又は計算式を使用して求める。【００２０】
本発明の更に他の態様に係る画像表示装置において、画像取得手段は、第３の画像及び第３の画像に関連付けられた広ダイナミックレンジ合成に関する合成情報を取得し、合成情報は、第３の画像のダイナミックレンジの広さに関連する情報を含み、記憶手段は、第３の画像のダイナミックレンジの広さに対応する複数のテーブル又は計算式であって、ダイナミックレンジが広いほどバックライト輝度を高くするテーブル又は計算式を記憶し、制御手段は、合成情報に含まれるダイナミックレンジの広さに関連する情報に基づいて記憶手段から対応するテーブル又は計算式を取得し、テーブル又は計算式を使用してバックライト輝度を算出することが好ましい。【００２１】
第３の画像は、ダイナミックレンジの広さ（高輝度部の抑圧の大きさ）が異なる複数種類のものがあり、ダイナミックレンジの広さに関連する情報を含む合成情報を有しており、一方、輝度値とバックライト輝度との関係を示すテーブル又は計算式は、第３の画像のダイナミックレンジの広さに対応して複数のものが準備されている。そして、第３の画像のＢＬＤ制御時には、第３の画像のダイナミックレンジの広さに対応するテーブル又は計算式を使用してバックライト輝度を算出するようにしている。【００２２】
本発明の更に他の態様に係る画像表示装置において、画像取得手段は、第３の画像及び第３の画像に関連付けられたゲイン補正テーブルであって、第１の画像と第３の画像との階調変換特性の差分に対応するゲイン補正テーブルを取得し、制御手段は、取得したゲイン補正テーブルとバックライトユニットの各セグメントに対応する複数の画素の代表輝度値とに基づいてセグメント毎にバックライト輝度を算出することが好ましい。【００２３】
第１の画像と第３の画像とは、画像処理時の階調変換特性（ガンマ特性等）が異なっている。第３の画像の取得時に第１の画像と第３の画像との階調変換特性の差分に対応するゲイン補正テーブルも取得する。制御手段は、第３の画像とともに取得したゲイン補正テーブルを使用し、このゲイン補正テーブルとバックライトユニットの各セグメントに対応する複数の画素の代表輝度値とに基づいてセグメント毎にバックライト輝度を算出するようにしている。【００２４】
本発明の更に他の態様に係る画像表示方法は、第１の画像と、第１の画像よりも低感度又は低露光で撮像された第２の画像とを用いてダイナミックレンジ拡大処理を施した第３の画像、又はダイナミックレンジ拡大処理を伴わない第４の画像を取得する画像取得工程と、画像取得工程により取得した第３の画像又は第４の画像を透過型表示パネルに表示させる表示工程と、画像取得工程により取得した画像が、第３の画像か第４の画像かを判別する判別工程と、透過型表示パネルの背面に配設され、透過型表示パネルに対するバックライトを分割されたセグメント毎に輝度制御可能なバックライトユニットを制御する制御工程と、を含み、制御工程は、判別工程での判別結果により画像取得工程により取得した画像が第３の画像と判別されると、第３の画像のうちのダイナミックレンジ拡大処理により抑圧された高輝度部に対応するセグメントのバックライト輝度を、低輝度部に対応するセグメントのバックライト輝度に比べて高くするようにバックライトユニットを制御するようにしている。
【発明の効果】
【００２５】
本発明によれば、低輝度部の階調に比べて高輝度部の階調が抑圧された画像（第３の画像）を取得し、この第３の画像を再生表示する際に、抑圧された高輝度部に対応するセグメントのバックライト輝度を、低輝度部に対応するセグメントのバックライト輝度に比べて高くなるようにＢＬＤ制御する。このため、広ダイナミックレンジの実際の撮影シーンを忠実に表示再現することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明に係る画像表示装置の実施の形態を示すブロック図
【図２】図１に示した液晶表示部の斜視図
【図３】広ＤＲ画像を含む画像を撮像して記録するデジタルカメラと、広ＤＲ画像等を表示する画像表示装置の要部を示すブロック図
【図４】本発明に係る撮像特性、画像処理特性、ディスプレイ特性及び再現特性を示すグラフ
【図５Ａ】広ＤＲ画像が格納される画像ファイルのヘッダ部に記録されるタグ情報の一例を示す図
【図５Ｂ】広ＤＲ画像が格納される画像ファイルのヘッダ部に記録されるタグ情報のうちゲイン補正情報の一例を示す図
【図６】画像データとバックライト輝度との関係を示すグラフ
【図７】本発明の実施の形態に係る画像表示方法の全体の流れを示すフローチャート
【図８】広ＤＲ画像用のＢＬＤ処理を示すフローチャート
【図９】ＬＥＤセグメントのバックライト輝度の制御に伴って、ＬＣＤデータを調整する調整方法を概念的に示す図
【図１０】従来の撮像特性、画像処理特性、ディスプレイ特性及び再現特性を示すグラフ
【図１１】広ＤＲ画像の一例を示す画像
【図１２】本発明のほかの実施形態であるスマートフォンの外観を示す斜視図
【図１３】図１２に示すスマートフォンの構成を示すブロック図
【発明を実施するための形態】
【００２７】
以下、添付図面に従って本発明に係る画像表示装置及び方法の実施の形態について説明する。
【００２８】
［画像表示装置の構成］
図１は本発明に係る画像表示装置の実施の形態を示すブロック図であり、図２は図１に示した液晶表示部の斜視図である。
【００２９】
図１に示す画像表示装置１は、バックライトローカルディミング（ＢＬＤ）機能を備えたディスプレイである。画像表示装置１は、中央処理装置（ＣＰＵ）１０、メモリ１２、操作部１４、液晶表示部（ＬＣＤ）１６（ＬＣＤパネル１６ａ（透過型表示パネル）、バックライトユニット（ＬＥＤアレイ）１６ｂ）、映像信号生成部２０、ＬＣＤ画質パラメータ生成部２２、ＬＣＤ制御部２４、ＬＣＤ駆動部２６、バックライト制御信号生成部２８（制御手段、抽出手段）、発光ダイオード（ＬＥＤ）ドライバ３０、画像ストレージ３２、及びタグ情報解析部３４を備えている。
【００３０】
ＣＰＵ１０は、操作部１４からの入力に基づき所定の制御プログラムに従って画像表示装置全体の動作を統括制御する。ＣＰＵ１０は、画像ストレージ３２に保存された画像ファイルを取得し、画像ファイルに格納された圧縮画像データ（例えば、ＪＰＥＧ（Joint Photographic Experts Group）圧縮された画像データ）を伸張し、伸張した画像データを取得する画像取得機能を含んでいる。
【００３１】
メモリ１２は、揮発性メモリであるＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）や、書き換え可能な不揮発性メモリであるＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory；記憶手段）等を含んでいる。ＳＤＲＡＭは、ＣＰＵ１０による制御プログラムの実行時におけるワークエリアとして、また、再生する画像データを一時保持する記憶エリアとして使用される。一方、ＥＥＰＲＯＭには、ＢＬＤ制御プログラムを含むプログラム、ＢＬＤ制御に使用するテーブル又は計算式、各種のパラメータ等が記憶されている。
【００３２】
ＬＣＤ表示部１６は、透過型のＬＣＤパネル１６ａと、バックライトユニット１６ｂとを備えている。バックライトユニット１６ｂは、図２に示すようにＬＣＤパネル１６ａの背面に配設され、ＬＥＤセグメント毎に１つのＬＥＤが配列されたＬＥＤアレイから構成されている。バックライトユニット１６ｂは、ＬＥＤセグメント毎に発光輝度（バックライト輝度）が制御可能になっている。即ち、バックライトユニット１６ｂは、ＬＥＤセグメント毎にバックライト輝度を個別に制御するＢＬＤ制御が適用されるものである。尚、ＬＥＤセグメントは、通常、水平２００画素、垂直２００画素程度を１つのセグメントとしている。
【００３３】
尚、本発明に係るＬＣＤ表示部１６は、透過型の表示パネルに限定されるものではない。ＬＣＤ表示部１６としては、例えば、外光の反射とバックライトの両方を光源として利用するタイプのハイブリッド方式の表示パネル（液晶パネル）を用いることもできる。
【００３４】
映像信号生成部２０は、メモリ１２に一時的に記憶された画像データをＬＣＤパネル１６ａに表示するための映像信号に変換し、ＬＣＤ表示部１６のガンマ特性に応じたガンマ補正（逆ガンマ補正）を行い、これをＬＣＤ制御部２４に出力する。ＬＣＤ制御部２４の他の入力には、ＬＣＤ画質パラメータ生成部２２から画質調整用のパラメータ（例えば、明るさ等）が入力されている。ＬＣＤ制御部２４は、映像信号生成部２０から入力する映像信号及びパラメータに基づいてＬＣＤ駆動部２６を制御する。ＬＣＤ駆動部２６は、ＬＣＤ制御部２４から加えられる映像信号に対応する制御信号によりＬＣＤパネル１６ａを駆動し、ＬＣＤ素子（表示素子）毎にその透過率を制御する。
【００３５】
一方、バックライト制御信号生成部２８は、バックライトユニット１６ｂの各ＬＥＤセグメントに対応する複数の画素を抽出する画素抽出機能（抽出手段）、及びバックライトローカルディミング（ＢＬＤ）制御機能（制御手段）等を含んでいる。バックライト制御信号生成部２８は、ＬＣＤ表示部１６に再生表示させる画像、及びタグ情報解析部３４により抽出されるタグ情報に基づいて、各ＬＥＤセグメントの輝度を制御するためのバックライト制御信号を生成する。尚、バックライト制御信号生成部２８の詳細については後述する。
【００３６】
ＬＥＤドライバ３０は、バックライト制御信号生成部２８から加えられるバックライト制御信号によりバックライトユニット１６ｂのＬＥＤセグメントを個別に駆動し、各ＬＥＤセグメントからそれぞれＢＬＤ制御されたバックライトを発光させる。
【００３７】
画像ストレージ３２は、例えば、ハードディスク装置などにより構成され、ＬＣＤ表示部１６に表示するための静止画又は動画の画像ファイルが格納されている。尚、画像ストレージ３２は、画像表示装置１に内蔵されたものに限らず、インターフェースを介して画像表示装置１に接続され、着脱可能な外部記録媒体（例えば、メモリカード等）でもよい。
【００３８】
タグ情報解析部３４は、画像ストレージ３２から表示用に読み出された画像ファイルのヘッダ部からタグ情報を読み出し、そのタグ情報に含まれる広ダイナミックレンジ（広ＤＲ）合成情報等を抽出する。そして、タグ情報解析部３４は、この抽出した広ＤＲ合成情報等をバックライト制御信号生成部２８に出力する。
【００３９】
［広ＤＲ画像］
次に、本発明に係る画像表示方法が適用される広ＤＲ画像について説明する。
【００４０】
図３は広ＤＲ画像を含む画像を撮像して記録するデジタルカメラ５０と、広ＤＲ画像等を表示する画像表示装置１の要部を示すブロック図である。
【００４１】
図３において、デジタルカメラ５０は、感度の異なる２種類のフォトダイオード群、又は感度は同じであるが、露出時間が個別に制御可能な２種類のフォトダイオード群を有する撮像素子を備えた撮像部５２を有する。撮像部５２は、広ＤＲ撮像時に感度の高い画素（以下、「主画素」という）と、感度の低い画素（以下、「副画素」という）を有し、主画素と副画素からの画像データを同時に出力する。ここで、主画素からなる画像（高感度画像）は、標準（通常）の明るさの画像であり、副画素からなる画像（低感度画像）は、露出アンダーの画像である。低感度画像は、感度の異なる２種類のフォトダイオード群を有する撮像素子の場合には、感度の低いフォトダイオード群から得られる画像である。また、感度が同じ２つのフォトダイオード群を有する撮像素子の場合には、低感度画像は、標準の明るさの画像を得る露光時間に比べて、露光時間の短いフォトダイオード群から得られる画像である。
【００４２】
撮像部５２から出力される主画素及び画素の画像データは、それぞれＯＢ補正部５４ａ、５４ｂにより光学的黒領域（オプティカルブラック（ＯＢ）領域）の信号成分が除去され、ホワイトバランス（ＷＢ）ゲイン補正部５６ａ，５６ｂによりホワイトバランス補正された後、ダイナミックレンジ（ＤＲ）合成部５８に加えられる。
【００４３】
図４に示すように、ＤＲ合成部５８に加えられる高感度画像及び低感度画像のＲＡＷデータは、それぞれ１４ビットデータ（0〜16383）とする。また、高感度画像と低感度画像との感度比は、ｎ：１（ｎ＞１）とする。即ち、低感度画像は、高感度画像に対して感度比が１／ｎとなっている。
【００４４】
これらの高感度画像と低感度画像とを広ＤＲ合成する場合には、図４の第１象限に示すように高感度画像を１／ｎに圧縮し、低輝度部と高輝度部との境界を示す所定の閾値Ｓ１を基準にして、閾値Ｓ１以下の画素は、高感度画像の画素を使用し、閾値Ｓ１を超える画素は、低感度画像の画素を使用し、これらの画素を合成する。尚、閾値Ｓ１を超え、かつ高感度画像が飽和するまでの画素としては、高感度画像の画素と低感度画像の画素とを適宜の比率で混合してもよい。また、高感度画像を１／ｎに圧縮することにより、ノイズ成分も１／ｎに圧縮することができ、低感度画像のみを使用する場合に比べて高画質にすることができる。
【００４５】
図３に戻って、ＤＲ合成部５８により合成された広ＤＲ画像は、ガンマ補正部６０によりガンマ補正が行われる。ガンマ補正部６０は、通常の画像（高感度画像）に対するガンマ補正と同じガンマ補正を行う部分であり、図４の第２象限の破線で示す特性を有するガンマ補正を行う。また、このガンマ補正時に１４ビットデータから８ビットデータ（0〜255）に変換される。
【００４６】
ガンマ補正部６０によりガンマ補正された広ＤＲ画像は、続いてゲイン補正部６２によりゲイン補正が行われる。広ＤＲ画像は、前述したように通常の画像の１／ｎの感度になっているため、低感度部が暗くなっている。ゲイン補正部６２は、図３の第２象限の実線に示すように広ＤＲ画像の低感度部を含む中間調が大きくなるようにゲイン補正を行う。即ち、閾値Ｓ１に対応する高感度画像の値Ｒ１のガンマ補正後の値をＤ１とすると、広ＤＲ画像のガンマ補正及びゲイン補正された値が、Ｄ１になるようにゲイン補正を行う。
【００４７】
図４の第２象限の実線で示されているように、広ＤＲ画像は、低輝度部の階調に比べて高輝度部の階調が抑圧されていることが分かる。
【００４８】
ゲイン補正部６２によりゲイン補正された広ＤＲ画像は、図示しないデモザイク処理部（同時化処理部）でデモザイク処理（同時化処理）された後、ＹＣ処理部６４により輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換され、ＪＰＥＧ方式に従って圧縮され、図示しないデジタルカメラ５０の記録メディア等に記録される。
【００４９】
図３に示したデジタルカメラ５０は、ガンマ補正部６０とゲイン補正部６２とを有しているが、これらの階調変換を１つの補正部にて行うようにしてもよい。
【００５０】
［ＢＬＤ制御］
次に、本発明に係る画像表示装置１のＢＬＤ制御について説明する。
【００５１】
図３において、上記のようにして撮像された広ＤＲ画像を取得すると、その広ＤＲ画像に基づいてＬＣＤデータＣ(i,j)が生成されるとともに、バックライト制御信号生成部２８のＢＬＤアルゴリズムに従ってＬＥＤデータＥ(m,n)（バックライト制御信号）が生成される。ＬＣＤデータＣ(i,j)は、ゲイン補正及びＬＣＤ表示部１６のガンマ特性による逆ガンマ補正等が行われ、ＬＣＤパネル１６ａに加えられる。これにより、ＬＣＤパネル１６ａの各表示素子は、広ＤＲ画像に対応した透過率になるように制御される。
【００５２】
また、バックライトユニット１６ｂの各ＬＥＤセグメントは、ＬＥＤデータＥ(m,n)により発光輝度が制御される。
【００５３】
例えば、図４の第２象限の閾値Ｄ１以下の輝度の画素が表示されるＬＥＤセグメントに対しては、通常の輝度となるようにＢＬＤ制御する。これにより、広ＤＲ画像の低輝度部は、ＬＣＤ表示部１６の逆ガンマ特性のみが付与される（第３象限のＤ１以下の特性）。その結果、閾値Ｓ１以下の低輝度部の画像は、第４象限に示すように被写体輝度に比例した明るさの画像として表示される。
【００５４】
一方、図４の第２象限の閾値Ｄ１を超える輝度の画素が表示されるＬＥＤセグメントに対しては、通常のバックライト輝度よりも高くなるようにＢＬＤ制御する。これにより、記録画像では高輝度部の階調が抑圧されていた広ＤＲ画像の高輝度部を伸張することができ、広ＤＲの撮影シーンをより忠実に表示再現することができる。例えば、通常の画像の表示輝度の最大値を、２５０ｃｄ／ｍ２とした場合に、広ＤＲ画像の表示輝度の最大値を、７５０ｃｄ／ｍ２にすると、ＤＲを３倍に拡大して表示することができる。
【００５５】
尚、図４の第４象限に示すように、高輝度部は、低輝度部と同様に被写体輝度に比例して線形に変化させてもよい。また、表示輝度の最大値が制限されている場合には、高輝度部は、その最大値と被写体輝度の最大値とが一致するように折れ線、又は曲線に沿って変化させるようにしてもよい。
【００５６】
図５Ａは、広ＤＲ画像が格納される画像ファイルのヘッダ部に記録されるタグ情報の一例を示している。
【００５７】
デジタルカメラ５０は、広ＤＲ画像の撮像時には、図５Ａに示すようにタグ情報として、通常の撮影情報に加えて、ＤＲ合成情報及びゲイン補正情報を記録する。
【００５８】
ＤＲ合成情報は、高輝度部圧縮率ｋ（高感度画像と低感度画像との感度比）、広ＤＲ画像の低輝度部と高輝度部との境界を示す閾値Ｄ１（図４の第２象限に示した閾値Ｄ１）とを有している。高輝度部圧縮率ｋにより、広ＤＲ画像の高輝度部がどの程度抑圧されているかを検出することができる。また、閾値Ｄ１により広ＤＲ画像の低輝度部と高輝度部とを判別することができる。
【００５９】
また、ゲイン補正情報は、図５Ｂに示すように広ＤＲ画像に対し、どのようなゲイン補正が行われたかを示すゲイン補正テーブルＴｇを示す情報である。このゲイン補正テーブルＴｇは、通常の画像（高感度画像）と広ＤＲ画像との画像処理時の階調変換特性（ガンマ特性等）の差分に対応する補正テーブルである（図４の第２象限参照）。
【００６０】
図１に示したタグ情報解析部３４は、画像ファイルのヘッダ部から上記ＤＲ合成情報、ゲイン補正情報を抽出し、これをバックライト制御信号生成部２８に渡す。バックライト制御信号生成部２８は、図６に示すように広ＤＲ画像のＬＥＤセグメント毎の複数の画像データの代表輝度値ＤＲＲ（Data Reproduced and Representing the segment）のうちの閾値Ｄ１以下の代表輝度値ＤＲＲに対応するＬＥＤセグメントに対しては、通常輝度Ｅ１となるバックライト制御信号を生成する。バックライト制御信号生成部２８は、閾値Ｄ１を超える代表輝度値ＤＲＲに対応するＬＥＤセグメントに対しては、その代表輝度値ＤＲＲの値に応じてバックライト輝度を高くするバックライト制御信号（ＬＥＤデータ）を生成する。
【００６１】
図６には、閾値Ｄ１を超える代表輝度値ＤＲＲに対してバックライト輝度Ｅの特性が異なる３つのグラフが示されている。バックライト制御信号生成部２８は、例えば、ＤＲ合成情報に含まれる高輝度部圧縮率ｋによりいずれかの入出力特性のグラフを決定する。高輝度部圧縮率ｋが大きい程、広ＤＲ画像の高輝度部が大きく抑圧されているため、傾きの大きなグラフを決定する。
【００６２】
メモリ１２のＥＥＰＲＯＭには、図６に示したグラフに対応する複数のテーブルが記憶されている。バックライト制御信号生成部２８は、高輝度部圧縮率ｋに基づいて複数のテーブルから決定したテーブルと、広ＤＲ画像のＬＥＤセグメントに対応する代表輝度値ＤＲＲとに基づいてＬＥＤセグメント毎にバックライト制御信号を生成する。
【００６３】
また、ヘッダ部に記憶されたゲイン補正テーブルＴｇ（上記複数のテーブルのいずれかのテーブルに相当）と、広ＤＲ画像の画像データとに基づいてＬＥＤセグメント毎にバックライト制御信号を生成するようにしてもよい。更に、図６に示したグラフに対応するテーブルの代わりに、計算式を記憶するようにしてもよい。
【００６４】
［画像表示方法］
次に、本発明に係る画像表示方法の実施の形態について説明する。
【００６５】
図７は本発明の実施の形態に係る画像表示方法の全体の流れを示すフローチャートである。
【００６６】
図７において、操作部１４により所望の画像ファイルを選択し、画像ストレージ３２から再生表示させる画像ファイルを取得する（ステップＳ１０）。タグ情報解析部３４は、取得した画像ファイルのヘッダ情報を取得する（ステップＳ１２）。ヘッダ情報として広ＤＲ画像用のＤＲ合成情報が含まれている場合には、そのＤＲ合成情報をバックライト制御信号生成部２８に出力する。
【００６７】
バックライト制御信号生成部２８は、タグ情報解析部３４からＤＲ合成情報を入力したか否かにより、取得した画像ファイル内の画像が、広ＤＲ画像か通常画像かを判別する（ステップＳ１４）。バックライト制御信号生成部２８は、通常画像と判別すると（「No」の場合）、ステップＳ１６の通常画像用のＢＬＤ処理を行う（ステップＳ１６）。一方、広ＤＲ画像と判別すると（「Yes」の場合）、バックライト制御信号生成部２８は、広ＤＲ画像用のＢＬＤ処理を行う（ステップＳ１８）。
【００６８】
通常画像用のＢＬＤ処理は、バックライトユニット１６ｂの全ＬＥＤセグメントがそれぞれ同一のバックライト輝度（図６に示したバックライト輝度Ｅ１）になるようにバックライトユニット１６ｂの制御を行う。
【００６９】
一方、広ＤＲ画像用のＢＬＤ処理は、図８に示すフローチャートに基づくバックライトユニット１６ｂの制御を行う。
【００７０】
以下、図８に示すフローチャートに従って広ＤＲ画像用のＢＬＤ処理について説明する。
【００７１】
まず、取得した画像ファイル内の広ＤＲ画像をＪＰＥＧ伸張する（ステップＳ２０）。ここで、ＪＰＥＧ伸張した広ＤＲ画像の各画素を、ＤＲ(i,j)とする。
【００７２】
次に、ＬＥＤセグメント(m,n)を決定し、そのＬＥＤセグメント(m,n)内の複数の画素ＤＲ(i,j)を取得する（ステップＳ２２）。ここで、(m,n)は、ＬＥＤセグメントの座標を示す（図２参照）。
【００７３】
即ち、画素ＤＲ(i,j)と、ＬＥＤセグメント(m,n)とは一対一に対応しておらず、ＬＥＤセグメント(m,n)の方が大きい。そこで、ＬＥＤセグメント(m,n)のバックライト輝度を決定する場合には、そのＬＥＤセグメント(m,n)内に対応する複数の画素ＤＲ(i,j)の画素値に基づいて決定する必要がある。
【００７４】
次に、ＬＥＤセグメント(m,n)内の複数の画素ＤＲ(i,j)のうち閾値Ｄ１（図６参照）を超える画素数Ｍを取得する（ステップＳ２４）。そして、取得した画素数Ｍが、所定の値Ｍ１（固定値）を超えているか否かを判別する（ステップＳ２６）。Ｍ１としては、例えば、１つのＬＥＤセグメント(m,n)内の画素数の７０％の値とする。尚、複数の画素ＤＲ(i,j)の平均値を求め、その平均値が閾値Ｄ１を超えるか否かを判別するようにしてもよい。
【００７５】
画素数ＭがＭ１を超えていない場合（「No」の場合）には、ステップＳ２８に遷移させる。一方、画素数ＭがＭ１を超えている場合（「Yes」の場合）には、ステップＳ２９に遷移させる。
【００７６】
ステップＳ２８では、ＬＥＤセグメント(m,n)のＬＥＤデータＥ(m,n)を、通常輝度Ｅ１（図６参照）に設定する。
【００７７】
一方、ステップＳ２９では、ＬＥＤセグメント(m,n)内の複数の画素ＤＲ(i,j)の代表輝度値ＤＲＲ(m,n)を算出する。複数の画素ＤＲ(i,j)の代表輝度値としては、複数の画素ＤＲ(i,j)の最大値、あるいは平均値等を適用することができる。
【００７８】
続いて、ステップＳ３０では、ＬＥＤセグメント(m,n)のＬＥＤデータＥ(m,n)を、ゲイン補正テーブルＴｇ、代表輝度値ＤＲＲ(m,n)、及び高輝度部圧縮率ｋに基づいて、次式により算出する。
【００７９】
［数１］
Ｅ(m,n)＝Ｆ１（Ｔｇ(ｋ,ＤＲＲ(m,n))）
尚、ＬＥＤデータＥ(m,n)の算出処理は、上記［数１］式によるものに限定されない。例えば、図６には、高輝度部とバックライト輝度との関係を示す複数のグラフが示されているが、これらのグラフに対応する複数のテーブル又は計算式のうち、高輝度部圧縮率ｋにより使用するテーブル又は計算式を決定し、この決定したテーブル又は計算式と、複数の画素の画素ＤＲ(i,j)の代表輝度値ＤＲＲ(m,n)とに基づいてＬＥＤデータＥ(m,n)を算出するようにしてもよい。
【００８０】
続いて、全セグメントのＬＥＤデータの算出が終了したか否かを判別し（ステップＳ３２）、終了していない場合（「No」の場合）には、ＬＥＤセグメントの座標を更新した後（ステップＳ３４）、ステップＳ２２に遷移させ、上記ステップＳ２２からステップＳ３２の処理を繰り返す。一方、全セグメントのＬＥＤデータの算出が終了すると（「Yes」の場合）、広ＤＲ画像に対するＢＬＤ処理におけるＬＥＤデータの算出処理を終了する。
【００８１】
このようにして算出したＬＥＤデータＥ(m,n)によりＬＥＤセグメント(m,n)のバックライト輝度Ｅを制御することにより、広ＤＲ画像の抑圧された高輝度部の輝度を上げることができ、実際の撮影シーンを忠実に表示再現することができる。
【００８２】
図９は、ＬＥＤセグメント(m,n)のバックライト輝度Ｅの制御に伴って、ＬＣＤデータ(i,j)を調整する調整方法を概念的に示す図である。
【００８３】
図９の（ａ）部に示すようにバックライト輝度Ｅが制御されるＬＥＤセグメントは、セグメント内に実装され所定数のＬＥＤで発光する。隣接するＬＥＤセグメントのＬＥＤ輝度が大きく異なる場合、ＬＥＤセグメント間に段差が見えることがある。これを防止するために、各ＬＥＤセグメントに属する表示素子に対するＬＣＤデータＣ(i,j)を、セグメント境界付近で変更することで、輝度の段差を低減する。
【００８４】
例えば、図９の（ｂ）部に示すように，ＬＥＤセグメント(m+1,n),(m,n),(m-1,n)のバックライト輝度Ｅ(m+1,n),Ｅ(m,n),Ｅ(m-1,n)に段差がある場合、破線で示す元のＬＣＤデータＣ(i,j)を、実線で示すＬＣＤデータＣ(i,j)になるように変更する。即ち、元のＬＣＤデータＣ(i,j)を、画素Ｄ(i,j)と、画素Ｄ(i,j)が属するＬＥＤセグメント(m,n)のバックライト輝度Ｅ(m,n)、及び上下左右のバックライト輝度Ｅ(m,n-1),Ｅ(m,n+1), Ｅ(m-1,n),Ｅ(m+1,n)とに基づいて、次式で示すデータに変更する。
【００８５】
［数２］
Ｃ(i,j)＝Ｆ２｛(Ｄ(i,j),Ｅ(m,n),Ｅ(m-1,n),Ｅ(m+1,n), Ｅ(m,n-1),Ｅ(m,n+1)｝
図１０は広ＤＲ画像に対してＢＬＤ制御を行わない場合の再現特性を示している。図１０の第４象限に示されているように、高輝度部には階調が割り当てられているものの、低輝度部分に比べて抑圧されており、階調が軟調となり、いわゆる眠い絵となる。
【００８６】
これに対し、本発明では、図４に示したように高輝度部がＢＬＤ制御により抑圧されていた輝度が伸張され、高輝度部の階調が硬調となり、広ＤＲの撮影シーンをより忠実に表示再現することができる。
【００８７】
図１１は広ＤＲ画像の一例を示す画像であり、上部に高輝度部が含まれている。本発明では、この高輝度部の階調を硬調にすることができ、階調表現を豊かにすることができる。尚、広ＤＲ画像における高輝度部は、階調の割当てが少なく、その反面、コントラストが強調される結果、輝度の変化が大きくなるが、高輝度部の輝度の変化は検知しにくいため、画質への影響が少ない。
【００８８】
一方、広ＤＲ画像の低輝度部は、定常の一定輝度で照射されるため、コントラストが不要に強調され、不自然な画像となるなどの問題が発生せず、良好な画質を提供することができる。
【００８９】
画像処理装置１のほかの実施形態としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
【００９０】
［スマートフォンの構成］
図１２は、画像処理装置１のほかの実施形態であるスマートフォン５００の外観を示す斜視図である。
【００９１】
図１２に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
【００９２】
図１３は、図１２に示すスマートフォン５００の構成を示すブロック図である。図１３に示すように、スマートフォン５００は、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００は、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
【００９３】
無線通信部５１０は、主制御部５０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
【００９４】
表示入力部５２０は、主制御部５０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルである。表示入力部５２０は、表示パネル５２１と、操作パネル５２２とを備える。
【００９５】
表示パネル５２１は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。表示パネル５２１としては、透過型表示（液晶）パネルのほか、ハイブリッド方式の表示パネルを用いることができる。表示パネル５２１は、上記の実施形態に係るバックライトローカルディミング制御機能を有している。本実施形態に係るスマートフォン５００は、記憶部５５０に記憶された画像、無線通信部５１０、外部入出力部５６０等を介して入力された画像、又はカメラ部５４１によって撮像された画像を表示パネル５２１に表示するときに、上記の実施形態に係るＢＬＤ制御を行う。
【００９６】
操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される１又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。
【００９７】
図１２に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成している。操作パネル５２２は、表示パネル５２１を完全に覆うように配置されている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する。）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
【００９８】
尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
【００９９】
通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１２に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。
【０１００】
操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１３に示すように、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
【０１０１】
記憶部５５０は、主制御部５０１の制御プログラムや制御データ、本発明に係る視差を拡縮した所望の単眼３Ｄ画像を生成するための画像処理プログラムを含むアプリケーションソフトウェア、第１、第２の半月フィルタ群、第１、第２の変換フィルタ群、第１、第２の逆フィルタ群、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
【０１０２】
外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth（登録商標）)、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
【０１０３】
スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。
【０１０４】
ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
【０１０５】
モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力される。
【０１０６】
電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
【０１０７】
主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
【０１０８】
アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能、２Ｄ画像から３Ｄ画像を生成する機能などがある。
【０１０９】
また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。
【０１１０】
更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。
【０１１１】
表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
【０１１２】
また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
【０１１３】
更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
【０１１４】
また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
【０１１５】
カメラ部５４１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Joint Photographic coding Experts Group）などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１２に示すスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限定されるものではない。カメラ部５４１は、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影することもできる。
【０１１６】
また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力の１つとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。
【０１１７】
その他、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部５０１等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部５８０により取得した姿勢情報等などを付加して記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することもできる。
【０１１８】
尚、上記の実施形態においては、デジタルカメラ５０及びスマートフォン５００のカメラ部５４１は、ダイナミックレンジ拡大機能（広ダイナミックレンジ合成機能）を有しているが、この機能を有しないものであってもよい。ダイナミックレンジ拡大機能を有しない撮像手段によって撮影された画像に対しても、本発明のＢＬＤ制御機能を適用することができる。
【０１１９】
また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０１２０】
１…画像表示装置、１０…中央処理装置（ＣＰＵ）、１２…メモリ、１６…ＬＣＤ表示部、１６ａ…ＬＣＤパネル、１６ｂ…バックライトユニット、２０…映像信号生成部、２２…ＬＣＤ画質パラメータ生成部、２４…ＬＣＤ制御部、２６…ＬＣＤ駆動部、２８…バックライト制御信号生成部、３０…ＬＥＤドライバ、３２…画像ストレージ、３４…タグ情報解析部
【図１】
2013141071.tif 000003
【図２】
2013141071.tif 000004
【図３】
2013141071.tif 000005
【図４】
2013141071.tif 000006
【図５Ａ】
2013141071.tif 000007
【図５Ｂ】
2013141071.tif 000008
【図６】
2013141071.tif 000009
【図７】
2013141071.tif 000010
【図８】
2013141071.tif 000011
【図９】
2013141071.tif 000012
【図１０】
2013141071.tif 000013
【図１２】
2013141071.tif 000014
【図１３】
2013141071.tif 000015
【図１１】
2013141071.tif 000016
【手続補正書】
【提出日】平成25年7月4日(2013.7.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の画像と、前記第１の画像よりも低感度又は低露光で撮像された第２の画像とを用いてダイナミックレンジ拡大処理を施した第３の画像、又はダイナミックレンジ拡大処理を伴わない第４の画像を取得する画像取得手段と、
前記画像取得手段により取得した第３の画像又は第４の画像を表示する透過型表示パネルと、
前記透過型表示パネルの背面に配設され、該透過型表示パネルに対するバックライトを分割されたセグメント毎に輝度制御可能なバックライトユニットと、
前記画像取得手段により取得した画像が、前記第３の画像か第４の画像かを判別する判別手段と、
前記判別手段の判別結果により前記画像取得手段により取得した画像が前記第３の画像と判別されたときのみ、該第３の画像のうちの前記ダイナミックレンジ拡大処理により抑圧された高輝度部に対応するセグメントのバックライト輝度を、低輝度部に対応するセグメントのバックライト輝度に比べて高くするように前記バックライトユニットを制御する制御手段と、
を備えた画像表示装置。
【請求項２】
前記制御手段は、前記判別手段の判別結果により前記画像取得手段により取得した画像が前記第４の画像と判別されると、全セグメントがそれぞれ同一のバックライト輝度になるように前記バックライトユニットを制御する請求項１に記載の画像表示装置。
【請求項３】
前記画像取得手段は、前記第３の画像及び該第３の画像に関連付けられた広ダイナミックレンジ合成に関する合成情報を取得し、
前記判別手段は、前記取得した合成情報に基づいて前記画像取得手段により取得した画像が、前記第３の画像か第４の画像かを判別する請求項１又は２に記載の画像表示装置。
【請求項４】
前記第３の画像は、予め設定された閾値以下の低輝度部が前記第１の画像のみを使用して生成され、前記閾値を超える高輝度部が少なくとも前記第２の画像を使用して生成され、
前記合成情報は、前記閾値を含む請求項３に記載の画像表示装置。
【請求項５】
前記制御手段は、前記合成情報に含まれる閾値に基づいて、前記第３の画像のうちの前記閾値を超える画素を高輝度部の画素として判別する請求項４に記載の画像表示装置。
【請求項６】
前記制御手段は、前記バックライトユニットのセグメント毎に、前記第３の画像から各セグメントに対応する複数の画素を抽出する抽出手段を有し、前記抽出した複数の画素のうちの一定の割合以上の画素が前記高輝度部の画素に対応すると判別し、又は前記抽出した複数の画素の平均値が前記高輝度部に対応する輝度値と判別すると、そのセグメントのバックライト輝度を高くするように前記バックライトユニットを制御する請求項１から５のいずれか１項に記載の画像表示装置。
【請求項７】
前記制御手段は、前記バックライトユニットの各セグメントに対応する複数の画素の代表輝度値とバックライト輝度との関係を示すテーブル又は計算式を記憶する記憶手段を有し、前記抽出手段により抽出した複数の画素の代表輝度値と前記記憶手段に記憶されているテーブル又は計算式とに基づいて対応するバックライト輝度を算出し、前記バックライトユニットのセグメント毎に算出したバックライト輝度に基づいて前記バックライトユニットを制御する請求項６に記載の画像表示装置。
【請求項８】
前記画像取得手段は、前記第３の画像及び該第３の画像に関連付けられた広ダイナミックレンジ合成に関する合成情報を取得し、
前記合成情報は、前記第３の画像のダイナミックレンジの広さに関連する情報を含み、
前記記憶手段は、前記第３の画像のダイナミックレンジの広さに対応する複数のテーブル又は計算式であって、ダイナミックレンジが広いほどバックライト輝度を高くするテーブル又は計算式を記憶し、
前記制御手段は、前記合成情報に含まれるダイナミックレンジの広さに関連する情報に基づいて前記記憶手段から対応するテーブル又は計算式を取得し、該テーブル又は計算式を使用して前記バックライト輝度を算出する請求項７に記載の画像表示装置。
【請求項９】
前記画像取得手段は、前記第３の画像及び該第３の画像に関連付けられたゲイン補正テーブルであって、前記第１の画像と第３の画像との階調変換特性の差分に対応するゲイン補正テーブルを取得し、
前記制御手段は、前記取得したゲイン補正テーブルと前記バックライトユニットの各セグメントに対応する複数の画素の代表輝度値とに基づいてセグメント毎にバックライト輝度を算出する請求項６に記載の画像表示装置。
【請求項１０】
第１の画像と、前記第１の画像よりも低感度又は低露光で撮像された第２の画像とを用いてダイナミックレンジ拡大処理を施した第３の画像、又はダイナミックレンジ拡大処理を伴わない第４の画像を取得する画像取得工程と、
前記画像取得工程により取得した第３の画像又は第４の画像を透過型表示パネルに表示させる表示工程と、
前記画像取得工程により取得した画像が、前記第３の画像か第４の画像かを判別する判別工程と、
前記透過型表示パネルの背面に配設され、該透過型表示パネルに対するバックライトを分割されたセグメント毎に輝度制御可能なバックライトユニットを制御する制御工程と、を含み、
前記制御工程は、
前記判別工程での判別結果により前記画像取得工程により取得した画像が前記第３の画像と判別されたときのみ、該第３の画像のうちの前記ダイナミックレンジ拡大処理により抑圧された高輝度部に対応するセグメントのバックライト輝度を、低輝度部に対応するセグメントのバックライト輝度に比べて高くするように前記バックライトユニットを制御する画像表示方法。
【国際調査報告】
2013141071.tif 000017
2013141071.tif 000018
2013141071.tif 000019
2013141071.tif 000020