(57)【要約】【課題】  サングラス装着状態で表示画面を見るときの見難さを解消する。【解決手段】  撮像素子（１５０）は、画像表示部（１２０）の画面を閲覧する利用者を撮像する。システム制御部（１２２）は、画像処理部（１１２）に撮像素子（１５０）による撮影画像から顔検出させる。システム制御部（１２２）は、顔検出結果に基づき、利用者がサングラスを装着しているか否かを判定する。サングラス装着の場合、システム制御部（１２２）は、画像表示部（１２０）のバックライトをより明るくする。【選択図】  図１
2013127535.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する画像表示手段と、
前記画像表示手段の表示を閲覧する利用者を撮影する撮像手段と、
前記撮像手段の撮影画像に基づいて前記利用者がサングラスを装着しているか否かを判定する判定手段と、
前記判定手段により前記利用者が前記サングラスを装着していると判定した場合に、前記表示手段の輝度を上げるように制御する制御手段
とを有することを特徴とする表示装置。
【請求項２】
前記判定手段は、
前記撮像手段の撮影画像から前記利用者の顔検出を行う顔検出手段と、
前記顔検出手段で検出された顔の目の位置と顔の大きさからサングラスエリアを判定し、前記サングラスエリアの輝度を閾値と比較することでサングラス装着の有無を判定するサングラス装着判定手段
とを具備することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記サングラス装着判定手段は、前記閾値を周囲の明るさに応じて変更することを特徴とする請求項２に記載の表示装置。
【請求項４】
更に、前記判定手段により前記利用者が前記サングラスを装着していると判定した場合に、サングラス装着を前記利用者に知らせる手段を具備することを特徴とする請求項１ないし３の何れか１項に記載の表示装置。
【請求項５】
画像を表示する画像表示手段と、前記画像表示手段の表示を閲覧する利用者を撮影する撮像手段とを具備する表示装置において、前記画像表示手段の明るさを制御する方法であって、
前記撮像手段の撮影画像に基づいて前記利用者がサングラスを装着しているか否かを判定する判定ステップと、
前記判定ステップにおいて前記利用者が前記サングラスを装着していると判定した場合に、前記表示手段の輝度を上げるように制御する制御ステップ
とを有することを特徴とする表示装置の制御方法。
【請求項６】
画像を表示する画像表示手段と、前記画像表示手段の表示を閲覧する利用者を撮影する撮像手段と、前記画像表示手段を制御する制御手段とを具備する表示装置において、前記画像表示手段の明るさを制御する制御プログラムであって、前記制御手段を、
前記撮像手段の撮影画像に基づいて前記利用者がサングラスを装着しているか否かを判定する判定手段と、
前記判定手段において前記利用者が前記サングラスを装着していると判定した場合に、前記表示手段の輝度を上げるように制御する制御手段
として機能させることを特徴とする表示装置の制御プログラム。
【請求項７】
画像を表示する画像表示手段と、前記画像表示手段の表示を閲覧する利用者を撮影する撮像手段と、前記画像表示手段を制御する制御手段とを具備する表示装置において、前記画像表示手段の明るさを制御する制御プログラムを格納する記録媒体であって、前記制御プログラムが、前記制御手段を、
前記撮像手段の撮影画像に基づいて前記利用者がサングラスを装着しているか否かを判定する判定手段と、
前記判定手段が前記利用者が前記サングラスを装着していると判定した場合に、前記表示手段の輝度を上げるように制御する制御手段
として機能させるものであることを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、その制御方法及びプログラム並びに記録媒体に関する。
【背景技術】
【０００２】
近年、テレビ電話システム、携帯電話及びタブレットＰＣなど、インカメラで使用者側を撮影できるデバイスが数多く製品化されている。
【０００３】
この種の、屋外で使用されることのあるデバイスには、周囲の明るさに応じて、表示の明るさを自動調整する表示装置が採用される。
【０００４】
インカメラで撮影する際に被写体が暗い場合に、液晶ディスプレイのバックライトの輝度をあげて被写体（撮影者）を明るく照明する技術が特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１８１６０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
周囲の明るさに応じて表示明るさを自動調整する表示装置では、例えば、サングラスを付けて画面を見る場合に、画面が暗くなり過ぎ、見難くなる。
【０００７】
被写体がサングラスを着用するケースは、被写体が暗いわけでないので、特許文献１に記載の技術を適用しても、表示画面の明るさを適切に制御できない。
【０００８】
本発明は、表示画面の閲覧者がサングラスを着用している場合に、表示画面の明るさを適切に制御する表示装置、その制御方法及びプログラム並びに記録媒体を提示することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る表示装置は、画像を表示する画像表示手段と、前記画像表示手段の表示を閲覧する利用者を撮影する撮像手段と、前記撮像手段の撮影画像に基づいて前記利用者がサングラスを装着しているか否かを判定する判定手段と、前記判定手段により前記利用者が前記サングラスを装着していると判定した場合に、前記表示手段の輝度を上げるように制御する制御手段とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、画像表示手段の表示を閲覧する利用者がサングラスを装着している場合に、自動的に画像表示手段の輝度を上げるので、サングラス装着の有無に関わらず見易い表示装置を提供できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施例の概略構成ブロック図である。
【図２】本実施例の外観図である。
【図３Ａ】本実施例の動作フローチャートである。
【図３Ｂ】本実施例のサングラス検出の動作フローチャートである。
【図４】サングラスを装着する利用者と画像表示部の位置関係を示す模式図である。
【図５】本実施例の動作説明図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１３】
図１は、本発明に係る表示装置の一実施例を組み込んだデジタルカメラの概略構成ブロック図を示し、図２はその外観図を示す。
【００１４】
図１に示す撮像装置１００の撮影レンズ１０２は、ズームレンズ及びフォーカスレンズを含み、シャッタ１０４は絞り機能を備える。撮像素子１０６は、光学像を電気信号に変換するＣＣＤ撮像素子又はＣＭＯＳ撮像素子等からなる。Ａ／Ｄ変換器１０８は、撮像素子１０６から出力されるアナログ画像信号をデジタル信号に変換する。バリア１１０は、撮影レンズ１０２を含む撮像系を覆うことにより、撮影レンズ１０２、シャッタ１０４及び撮像素子１０６を含む撮像系を汚れや破損から保護する。
【００１５】
Ａ／Ｄ変換器１０８の出力画像データは、画像処理部１１２及びメモリ制御部１１４を介して、又はメモリ制御部１１４を介してメモリ１１６に書き込まれる。メモリ１１６は、所定枚数の静止画像又は所定時間の動画像と音声を格納するのに十分な記憶容量を備えている。
【００１６】
また、メモリ１１６は、画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１１８は、メモリ１１６に格納されている表示用画像データをアナログ信号に変換して画像表示部１２０に供給する。画像表示部１２０は、液晶ディスプレイ（ＬＣＤ）からなり、Ｄ／Ａ変換器１１８からのアナログ画像信号に応じた画像を表示する。Ａ／Ｄ変換器１０８の出力画像データを、メモリ１１６を介してＤ／Ａ変換器１１８に供給することで、画像表示部１２０を電子ビューファインダとして使用できる。いわゆるスルー画像表示である。
【００１７】
画像処理部１１２は、Ａ／Ｄ変換器１０８から又はメモリ制御部１１４からの画像データに所定の画素補間及び縮小等のリサイズ処理並びに色変換処理を行い、処理後の画像データをメモリ制御部１１４に供給する。画像処理部１１２はまた、撮像により得られた画像データを用いて、露出制御及び合焦制御のための演算処理を行い、その演算結果をシステム制御部１２２に供給する。システム制御部１２２は、画像処理部１１２の演算結果に従い、露光制御と測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理及びＥＦ（フラッシュプリ発光）処理が行われる。画像処理部１１２は更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。
【００１８】
不揮発性メモリ１２４は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭからなる。不揮発性メモリ１２４には、システム制御部１２２の動作用の定数及びプログラム等が記憶される。ここでいうプログラムは、後述する各種フローチャートを実行するための制御プログラムを含む。
【００１９】
システム制御部１２２は、撮像装置１００の全体を制御する。システム制御部１２２は、不揮発性メモリ１２４に格納されたプログラムを実行することで、後述する各処理を実現する。システムメモリ１２６はＲＡＭからなり、システム制御部１２２の動作用の定数、変数及び不揮発性メモリ１２４から読み出したプログラム等をシステム制御部１２２の動作用に記憶する。システム制御部１２２は、メモリ１１６、Ｄ／Ａ変換器１１８及び画像表示部１２０等を画像表示用に制御する。
【００２０】
システムタイマ１２８は、内蔵時計により各種制御に用いる時間を計測する。
【００２１】
モード切替えスイッチ１３０、シャッタボタン１３２（第１シャッタスイッチ１３２ａ及び第２シャッタスイッチ１３２ｂ）及び操作部１３６は、システム制御部１２２に各種の動作指示を入力するのに使用される。操作部１３６は、ユーザ操作を受け付ける各種のスイッチ、ボタン及びタッチパネル等からなる。モード切替えスイッチ１３０は、各種モードを切り替えるために使用される。
【００２２】
モード切替えスイッチ１３０は、システム制御部１２２の動作モードを静止画記録モード、動画記録モード及び再生モード等のいずれかに切り替える。静止画記録モードには、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード及びカスタムモード等がある。モード切替えスイッチ１３０では、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えることが可能である。もちろん、モード切替えスイッチ１３０で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれる。
【００２３】
第１シャッタスイッチ１３２ａは、シャッタボタン１３２の操作途中、いわゆる半押し（撮影準備指示）でオンとなり、第１シャッタスイッチ信号ＳＷ１を発生する。システム制御部１２２は、第１シャッタスイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理及びＥＦ（フラッシュプリ発光）処理等の動作を開始する。
【００２４】
第２シャッタスイッチ１３２ｂは、シャッタボタン１３２の操作完了、いわゆる全押し（撮影指示）でオンとなり、第２シャッタスイッチ信号ＳＷ２を発生する。システム制御部１２２は、第２シャッタスイッチ信号ＳＷ２により、撮像素子１０６からの信号読み出しから記録媒体１４６への撮影画像データの書き込みまでの一連の撮影処理（記録処理）の動作を開始する。
【００２５】
操作部１３６の一部は、画像表示部１２０に表示され、タッチ操作可能な種々の機能アイコンからなり、場面ごとに適宜の機能が割り当てられる。代表的な機能ボタンとしては、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン及び属性変更ボタン等がある。例えば、メニューボタンが押されると、各種の設定可能なメニュー画面が画像表示部１２０に表示される。利用者は、画像表示部１２０に表示されたメニュー画面と、上下左右の４方向ボタン及びＳＥＴボタンを用いて、各種設定を行うことができる。
【００２６】
操作部１３６に含まれるコントローラホイール１３７は回転操作可能であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール１３７を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部１２２は撮像装置１００の各部を制御する。システム制御部１２２は、コントローラホイール１３７からのパルス信号によって、コントローラホイール１３７が回転操作された角度及び回転数を識別できる。なお、コントローラホイール１３７は回転操作を検出可能な操作部材の一例である。例えば、ユーザの回転操作に応じて回転し、パルス信号を発生するダイヤル型の操作部材であってもよい。また、タッチセンサよりなる操作部材であって、ユーザの指の回転動作などを検出する、所謂タッチホイールであってもよい。
【００２７】
電源スイッチ１３８は、撮像装置１００の電源オン／オフを切り替えるのに使用される。
【００２８】
電源制御部１４０は、電池検出回路、ＤＣ−ＤＣコンバータ及び通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、及び電池残量を検出する。また、電源制御部１４０は、検出結果及びシステム制御部１２２の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１４６を含む各部に供給する。電源部１４２は、アルカリ電池又はリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池又はＬｉ電池等の二次電池、若しくはＡＣアダプタ等からなる。
【００２９】
記録媒体Ｉ/Ｆ１４４は、記録媒体１４６を撮像装置１００に接続するインターフェースである。記録媒体１４６は、撮影された画像を記録するメモリカード形状の半導体メモリ、又は磁気ディスク等からなる。
【００３０】
撮影レン１４８、撮像素子１５０、Ａ／Ｄ変換器１５２はインカメラ用の撮像部であり、システム制御部１２２により制御され、撮像素子１５０による撮影画像は、画像処理部１１２で処理される。
【００３１】
コネクタ１５４には、接続ケーブル１５６を介して外部装置を接続可能である。記録媒体スロット１５８は、記録媒体１４６を収納するスロットであり、内部に記録媒体Ｉ/Ｆ１４４が配置される。記録媒体スロット１５８は、記録媒体１４６を収納した状態で、蓋１６０により閉成可能である。
【００３２】
撮像装置１００は、中央１点ＡＦ（オートフォーカス）及び顔ＡＦを選択的に使用する撮影が可能である。中央１点ＡＦとは、撮影画面内の中央位置の１点に対してＡＦを行う機能である。顔ＡＦとは、顔検出機能によって検出された撮影画面内の顔に対してＡＦを行う機能である。
【００３３】
顔検出機能を説明する。システム制御部１２２は、顔検出対象の画像データを画像処理部１１２に送る。画像処理部１１２は、システム制御部１２２の制御下で当該画像データに水平方向バンドパスフィルタを適用し、続けて垂直方向バンドパスフィルタを適用する。これら水平及び垂直方向の空間バンドパスフィルタ処理により、画像データからエッジ成分が検出される。
【００３４】
システム制御部１２２は、検出されたエッジ成分に関してパターンマッチングを行い、目、鼻、口及び耳の候補群を抽出する。システム制御部１２２は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離及び傾き等）を満たすものを目の対と判断し、目の対がある被写体を目の候補群として絞り込む。そして、システム制御部１２２は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。システム制御部１２２は、顔の検出結果から得られる顔情報を出力し、処理を終了する。このとき、システム制御部１２２は、顔の数などの特徴量をシステムメモリ１２６に記憶する。
【００３５】
以上のように、ライブビュー表示又は再生表示される画像データを画像解析し、画像データの特徴量を抽出して、被写体情報を検出する。本実施例では、被写体情報として顔情報を例に挙げたが、被写体情報には他にも、赤目判定、目の検出、目つむり検出及び笑顔検出等による様々な情報がある。
【００３６】
画面上の特定の被写体部分にオートフォーカスする場合、その被写体部分に対して、露出制御、フラッシュ調光及びホワイトバランス制御を適用できる。例えば、顔ＡＦに対し、同時に顔ＡＥ、顔ＦＥ及び顔ＷＢを実行できる。顔ＡＥは、検出された顔の明るさに合わせて、画面全体の露出を最適化する処理である。顔ＦＥは、検出された顔を中心にフラッシュを調光制御する処理である。顔ＷＢは、検出された顔の色に合わせて画面全体のホワイトバランス（ＷＢ）を最適化する処理である。
【００３７】
図３Ａは、本実施例の制御フローチャートである。画像表示部１２０は液晶ディスプレイ（ＬＣＤ）からなり、明るさを制御可能なバックライトを備えている。また、利用者は、画像表示部１２０に表示されるメニューから撮像装置１００の各種設定を切り替えることができる。例えば、画像表示部１２０のバックライトの明るさ及びインカメラのオン／オフを設定及び変更可能である。
【００３８】
ステップＳ３０１で、撮像装置１００は、電源スイッチ１３８の押下に応じて起動する。ステップＳ３０２で、システム制御部１２２は、インカメラがオン設定かオフ設定かを判断する。インカメラがオフ設定の場合（Ｓ３０２）、システム制御部１２２は、ステップＳ３０８でカメラ設定に従って画像表示部１２０のバックライトの明るさ設定を実行し、ステップＳ３０９で画像表示部１２０の画像表示を開始する。
【００３９】
インカメラがオン設定の場合（Ｓ３０２）、システム制御部１２２は、ステップＳ３０３でインカメラの撮影画像により顔検出を行い、顔が検出されたかどうかを判定する。顔が検出されなかった場合（Ｓ３０３）、システム制御部１２２は、ステップＳ３０４で画像表示部１２０のバックライトを消灯し、ステップＳ３０９で画像表示部１２０の画像表示を開始する。もちろん、この場合、画像表示自体を行わなくてもよい。
【００４０】
ステップＳ３０３で顔が検出された場合、システム制御部１２２は、ステップＳ３０５でサングラス検出を実行する。サングラス検出の詳細な処理は、後述する。ステップＳ３０６で、システム制御部１２２は、サングラスが検出されたか否かを判定する。サングラスが検出された場合（Ｓ３０６）、システム制御部１２２は、ステップＳ３０７で画像表示部１２０のバックライトの明るさを最大に設定し、ステップＳ３０９で画像表示部１２０の画像表示を開始する。サングラスが検出されない場合（Ｓ３０６）、システム制御部１２２は、ステップＳ３０８でカメラ設定に従い画像表示部１２０のバックライトの明るさを設定し、ステップＳ３０９で画像表示部１２０の画像表示を開始する。
【００４１】
図３Ｂは、サングラス検出処理（Ｓ３０５）の詳細なフローチャートを示す。サングラス検出を開始すると（Ｓ３１０）、システム制御部１２２は、ステップＳ３１１で、検出された顔の目の位置を特定する。次に、ステップＳ３１２で、システム制御部１２２は、顔の大きさと向きなどから、装着していると仮定した場合のサングラスエリアを抽出する。
【００４２】
ステップＳ３１３で、システム制御部１２２は、サングラスエリアと判定された画素の信号値を積分し、その積分平均値を閾値Ｂと比較する。積分平均値が閾値Ｂよりも大きい場合（Ｓ３１３）、システム制御部１２２は、サングラスをかけていないと判定する（Ｓ３１５）。積分平均値が閾値Ｂ以下の場合（Ｓ３１３）、システム制御部１２２は、サングラスありと判定する（Ｓ３１４）。
【００４３】
図４は撮像装置１００と利用者の位置関係を示す側面図である。図５は、インカメラにより利用者を撮影した画像の模式図である。図４及び図５を参照して、本実施例のサングラス検出動作を説明する。
【００４４】
インカメラがオン設定の場合、インカメラは、利用者を常に撮影している。図５（ａ）は、利用者がサングラスをしている場合の画像例を示す。図５（ｂ）は、利用者がサングラスをしていない場合の画像例を示す。図５（ｃ）は、図５（ａ）に示す画像例に対するサングラス判定結果を示し、図５（ｄ）は、図５（ｂ）に示す画像例に対するサングラス判定結果を示す。
【００４５】
前述のように、図５（ａ），（ｂ）に示す撮影画像上で、顔の大きさ及び向きから目の位置を特定し、サングラスをかけている場合のサングラスエリアを抽出する。即ち、サングラスエリアは、サングラスを着用している場合に、当該サングラスで覆われる、目の周囲部分である。図５（ｃ），（ｄ）で斜線を付した領域が、抽出されたサングラスエリアを示す。本実施例では、画面を水平１３ブロック、垂直１４ブロックに分割しえ得られる領域を単位にサングラスエリアを抽出している。水平又は垂直の分割数が多いほど検出精度が高くなることは言うまでもない。
【００４６】
図５（ｃ）に示す例でのサングラスエリアの輝度の積分平均値をＢｓ、図５（ｄ）に示す例でのサングラスエリアの輝度の積分平均値をＢｄとすると、Ｂｓ＜Ｂ＜Ｂｄとなる。これにより、システム制御部１２２は、図５（ｃ）に示す例をサングラス装着と判定し、図５（ｄ）に示す例をサングラス非装着と判定する。
【００４７】
本実施例では、サングラス装着と判断した場合に、画像表示部１２０のバックライト輝度を上げるようにしたが、併せて、サングラス装着をユーザに警告するダイアローグを表示又は音声出力しても良い。
【００４８】
サングラス装着と判定したら、そのサングラスが寒色系か暖色系かを判別し、その判別結果に応じて、画像表示部１２０の表示画像の色味を、自然色に近く見えるように変更しても良い。
【００４９】
撮像装置１００の周囲光量は、モード設定（夜景モード又はビーチモードなど）により推測可能である。従って、サングラス装着判定閾値Ｂを、設定されるカメラモードに応じて変化させてもよい。
【００５０】
システム制御部１２２による制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
【００５１】
本発明をその好適な実施例に基づいて詳述してきたが、本発明はこれら特定の実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した実施例は本発明の説明用の一実施形態を示すものにすぎない。
【００５２】
また、本発明をデジタルカメラ等の撮像装置に適用した実施例を説明したが、これは一例である。本発明は、利用者を撮影する撮像手段と、利用者が閲覧する表示手段とを具備する装置一般であって、利用者のサングラス装着の有無により表示手段の表示態様を制御することが有用な装置に適用可能である。例えば、パーソナルコンピュータ、ＰＤＡ、携帯電話端末、携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤ、ゲーム機、電子ブックリーダ、テレビ電話装置などに適用可能である。
【００５３】
（他の実施形態）本発明は、上述した実施例の機能を実現するソフトウエアプログラムとしても実現されうる。このソフトウエア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はそのＣＰＵやＭＰＵ等）がプログラムコードを読み込んで実行する。そのようなプログラム、及び当該プログラムを記憶した記憶媒体もまた、本発明の保護対象となりうる。
【図１】
2013127535.tif 000003
【図２】
2013127535.tif 000004
【図３Ａ】
2013127535.tif 000005
【図３Ｂ】
2013127535.tif 000006
【図４】
2013127535.tif 000007
【図５】
2013127535.tif 000008