(57)【要約】【課題】画像を表示する際の消費電力の抑制と表示画像の視認性の向上を両立可能な表示装置を提供する。【解決手段】入力される画像データに基づいて画像を表示する液晶表示部と、液晶表示部に重ね合わせて配置された電子ペーパー部と、周囲環境の明るさが所定の閾値を超えているかを判定する明るさ判定部と、明るさ判定部によって明るさが所定の閾値を超えている場合に、画像データから輪郭を抽出し、抽出した輪郭を電子ペーパーに表示させる表示制御部とを備える【選択図】      図１
2010271657.tif 000002
【特許請求の範囲】
【請求項１】
入力される画像データに基づいて画像を表示する液晶表示部と、
前記液晶表示部に重ね合わせて配置された電子ペーパー部と、
周囲環境の明るさが所定の閾値を超えているかを判定する明るさ判定部と、
前記明るさ判定部によって前記明るさが前記所定の閾値を超えている場合に、前記画像データから輪郭を抽出し、抽出した輪郭を前記電子ペーパー部に表示させる表示制御部と
を備えたことを特徴とする表示装置。
【請求項２】
請求項１に記載の表示装置において、
前記表示制御部は、
モノクロ画像データで表される画像を所定の割合で縮小した縮小画像に対応する縮小画像データを生成する画像縮小部と、
前記縮小画像データに基づいて、前記縮小画像における白黒を逆転させたネガ画像を表すネガ画像データを生成する画像逆転部と、
前記モノクロ画像データと前記ネガ画像データとを重ね合わせてエッジ強調画像を生成する画像重畳部とを備え、
前記エッジ強調画像に現れた輪郭を前記電子ペーパー部に表示させる
ことを特徴とする表示装置。
【請求項３】
請求項２に記載の表示装置において、
前記表示制御部は、前記画像データをモノクロ画像データに変換するモノクロ変換部を更に有することを特徴とする表示装置。
【請求項４】
請求項１に記載の表示装置において、
前記液晶表示部を、前記電子ペーパー部に重ねた
ことを特徴とする表示装置。
【請求項５】
液晶表示部と液晶表示部と電子ペーパー部とを備えた表示装置に、入力される画像データに基づいて画像を表示させる表示方法であって、
周囲環境の明るさが所定の閾値を超えているかを判定し、
前記明るさが前記所定の閾値を超えている場合に、前記画像データから輪郭を抽出し、
抽出した輪郭を前記電子ペーパー部に表示させるとともに、前記画像データを前記液晶表示部に表示させる
ことを特徴とする表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、液晶表示部と電子ペーパーとを組み合わせた表示装置および表示方法に関する。
【背景技術】
【０００２】
携帯端末装置のカメラ機能で撮影を行った場合に、利用者は、撮影画像を液晶画面で確認している。同じように、電子カメラによる撮影でも、利用者は液晶画面で撮影画像の確認を行っている。
【０００３】
携帯端末装置でも電子カメラでも、長い稼働時間を確保するために省電力化が進められている。このために、これらの携帯機器に備えられた液晶表示装置のバックライトの照度が抑制されている場合が多い。
【０００４】
また、省電力化のための技術として、液晶表示部に電子ペーパーを重ねた表示装置が提案されている(特許文献１参照)。特許文献１の技術では、省電力モードに切り替わるときに、液晶表示部に代えて、電子ペーパーにメニュー画面などを表示させている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１０２６６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、従来の携帯機器の液晶表示装置では、バックライトの照度が抑制されているため、明るい場所では液晶表示部に表示された撮影画像を確認することが難しかった。特に、晴天の屋外など周囲が非常に明るい場合には、手をかざすなどして液晶表示部に陰を作っても、撮影画像を確認するのが困難な場合もあった。
【０００７】
また、日差しの強い場所などでは、たとえ、バックライトの照度を多少上げたところで液晶表示装置に表示された画像の視認性を大きく向上することはできない。一方、液晶表示装置のバックライトの照度を大幅に増大させることは、携帯端末装置や電子カメラなどの携帯機器に備えられるバッテリの容量から考えて困難である。
【０００８】
本件開示は、画像を表示する際の消費電力の抑制と表示画像の視認性の向上を両立可能な表示装置および表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した目的は、以下に開示する表示装置によって達成することができる。
【００１０】
一つの観点による表示装置は、入力される画像データに基づいて画像を表示する液晶表示部と、液晶表示部に重ね合わせて配置された電子ペーパー部と、周囲環境の明るさが所定の閾値を超えているかを判定する明るさ判定部と、明るさ判定部によって前記明るさが前記所定の閾値を超えている場合に、前記画像データから輪郭を抽出し、抽出した輪郭を前記電子ペーパーに表示させる表示制御部とを備える。
【発明の効果】
【００１１】
本件開示の表示装置および表示方法によれば、液晶表示装置の消費電力の抑制と表示画像の視認性の向上を両立することができる。
【図面の簡単な説明】
【００１２】
【図１】表示装置を搭載した携帯端末装置の一実施形態を示す図である。
【図２】表示装置を説明する図である。
【図３】表示制御部の動作を表す流れ図である。
【図４】輪郭抽出処理を表す流れ図である。
【図５】輪郭抽出処理を説明する図である。
【図６】表示装置を搭載した電子カメラの一実施形態を示す図である。
【図７】表示制御部の動作を表す流れ図である。
【発明を実施するための形態】
【００１３】
以下、図面に基づいて、表示装置の実施形態について詳細に説明する。
(実施形態１)
図１に、表示装置を搭載した携帯端末装置の一実施形態を示す。
【００１４】
図１に示した携帯端末装置は、無線送受信部２０１、無線制御部２０２、入力制御部２０４、操作パネル２０３、カメラ機能部２０５および画像信号処理部２０６を備えている。
【００１５】
表示装置２１０に備えられた表示制御部２１１は、無線制御部２０２および入力制御部２０４からの指示に従って液晶表示部２１２に無線送受信部２０１を介して授受される情報や操作パネル２０３を介して入力されて情報などを表示する処理を行う。
【００１６】
また、カメラ機能部２０５によって撮影された画像データは、画像信号処理部２０６を介して表示制御部２１１に渡され、画像メモリ２１５に格納される。
【００１７】
表示装置２１０は、上述した液晶表示部２１２に加えて電子ペーパー部２１３を備える。表示制御部２１１に備えられた液晶ディスプレイ(ＬＣＤ)制御部２１６は、液晶表示部２１２による表示を制御する。また、電子ペーパー制御部２１８は、電子ペーパー部２１３による表示を制御する。
【００１８】
また、図１に示した明るさ判定部２１４は、カメラ機能部２０５などから周囲の明るさを示す情報を受け取り、周囲の明るさが所定の閾値以上であるか否かを判定する。この判定結果に応じて、輪郭抽出処理部２１７は、画像メモリ２１５に保持された画像から輪郭を抽出する処理を行う。そして、この輪郭抽出処理部２１７によって抽出された輪郭を表す情報は、電子ペーパー制御部２１８に渡される。
【００１９】
図２に、表示装置を説明する図を示す。
【００２０】
図２(ａ)に示すように、電子ペーパー部２１３は、液晶表示部２１２の下側に重ねて配置されている。したがって、表示装置２１０により、図２(ｂ)に示すように、液晶表示部２１２に表示された画像と電子ペーパー部２１３に表示された画像とを重ね合わせた画像を利用者に提示することができる。
【００２１】
次に、表示装置２１０により、上述したような重ね合わせ画像を提示する方法について説明する。
【００２２】
図３に、表示制御部の動作を表す流れ図を示す。
【００２３】
例えば、カメラ機能部２０５を用いた撮影によって取得された画像データは、画像メモリ２１５に保持される(ステップ３０１)。このとき、電子ペーパー制御部２１８は、電子ペーパー部２１３の電源をオン状態とし、電子ペーパー部２１３を透明な状態に設定した後に、電源をオフとする初期化処理を行う(ステップ３０２)。以後、電子ペーパー部２１３は、再び電源がオンとされて表示内容が更新されない限り、電力を消費することなく透明な状態を維持する。
【００２４】
画像メモリ２１５に保持された静止画像データに基づいて、ＬＣＤ制御部２１６は、撮影された静止画像を液晶表示部２１２に表示させる(ステップ３０３)。また、このとき、明るさ判定部２１４は、カメラ機能部２０５から周囲の明るさを示す情報を取得する(ステップ３０４)。明るさ判定部２１４は、例えば、カメラ機能部２０５から、露出値を決定するために行われる測光結果を受け取り、この測光結果で示される照度値を所定の閾値と比較することにより、周囲が閾値以上に明るいか否かを判定する(ステップ３０５)。なお、上述した閾値は、例えば、液晶表示部２１２に標準的な自然画像を表示させたときに、この自然画像が視認しにくくなる明るさに対応する照度値に基づいて決定することができる。
【００２５】
ステップ３０５の肯定判定の場合に、輪郭抽出処理部２１７は、画像メモリ２１５に保持された画像データに基づいて、上述した静止画像に捉えられた物体の像の輪郭を抽出する(ステップ３０６)。
【００２６】
図４に、輪郭抽出処理を表す流れ図を示す。また、図５に、輪郭抽出処理を説明する図を示す。
【００２７】
輪郭抽出処理部２１７は、まず、画像メモリ２１５に格納された画像データから上述した静止画像に対応するモノクロ画像を生成する(ステップ３１１、(ａ)参照)。このとき、輪郭抽出処理部２１７は、カラーの静止画像からモノクロ画像を生成するための既存技術を利用することができる。つまり、図１に示した実施形態では、輪郭抽出処理部２１７にモノクロ変換部が含まれている。
【００２８】
次に、輪郭抽出処理部２１７は、生成したモノクロ画像に基づいて、このモノクロ画像に対して面積比で例えば９９％程度にあたる微縮小画像を生成する(ステップ３１２、図５の符号Ｓ１および(ｂ)参照)。例えば、輪郭抽出処理部２１７は、Ｍ行Ｎ列の２次元マトリクス状に配列された画素を含むモノクロ画像データについて、所定の割合で画素データの行間引き及び列間引きを行い、スムージング処理を行うことで微縮小画像を生成することができる。
【００２９】
このようにして得られた微縮小画像について、輪郭抽出処理部２１７は、この微縮小画像における白黒を反転させたネガ画像を生成する(ステップ３１３、図５の符号Ｓ２および(ｃ)参照)。例えば、輪郭抽出処理部２１７は、微縮小画像に含まれる各画素の階調値を、飽和レベルに対応する階調値から差し引き、差し引き後の値をネガ画像の対応する画素の階調値とすることができる。
【００３０】
次に、輪郭抽出処理部２１７は、ステップ３１１で生成したモノクロ画像の各画素の階調値とステップ３１３で生成したネガ画像の対応する画素の階調値とを加算することによって、モノクロ画像とネガ画像とを合成する(ステップ３１４、図５の符号Ｓ３参照)。この合成処理により、図５(ｄ)に示すような合成画像が得られる。図５(ｄ)に示した合成画像では、ステップ３１２における微縮小処理によってモノクロ画像とネガ画像との間に生じたずれのために、撮影された被写体の輪郭部分では階調値が相殺されていない。
【００３１】
したがって、輪郭抽出部２１７により、ステップ３１４の処理で得られた合成画像を適切な閾値を用いて二階調化することで(ステップ３１５、図５の符号Ｓ４参照)、図５(ｅ)に示すように、静止画像に捉えられた被写体の輪郭を抽出することができる。
【００３２】
このように、図１に示した実施形態では、輪郭抽出部２１７が、図４に示したステップ３１３，３１４の処理を実行することで、画像逆転部および画像重畳部の機能が実現されている。
【００３３】
上述した微縮小画像を用いた輪郭抽出処理のために必要な演算量は、エッジ強調フィルタを用いる輪郭抽出処理に必要な演算量と比べて少ない。したがって、携帯端末装置に端末制御用に備えられたＣＰＵの演算能力でも短い時間で完了することが可能である。
【００３４】
このようにして抽出された被写体の輪郭を表す輪郭画像データは、輪郭抽出処理部２１７から電子ペーパー制御部２１８に渡される。これに応じて、電子ペーパー制御部２１８は、まず、電子ペーパー部２１３の電源をオンとし、次いで、輪郭画像データに基づいて、上述した被写体の輪郭を表す線画を表示する(図３のステップ３０７)。このようにして電子ペーパー部２１３に表示された被写体の輪郭を表す線画は、電子ペーパー制御部２１８によって電子ペーパー部２１３の電源がオフとされた後も維持される。
【００３５】
上述したように、電子ペーパー部２１３は、液晶表示部２１２に重ね合わせて配置されている。したがって、電子ペーパー部２１３に表示された線画と液晶表示部２１２に表示された自然画像とは、重ね合わせられて利用者に提示される。このように自然画像とこれに捉えられた輪郭とを重ね合わせて表示することにより、表示装置２１０は、静止画像に捉えられた被写体の輪郭を強調することができる(図２(ｂ)参照)。
【００３６】
このようにして、周囲の明るさが所定の閾値以上である場合に、液晶表示部２１２に表示された静止画像の輪郭を電子パーパー部２１３に表示された線画によって強調した画像を、利用者に提示することができる。このような輪郭強調により、利用者は、液晶表示部２１２に表示された静止画像に捕らえられた被写体を容易に把握することができ、視認性を向上することができる。この視認性の向上効果は、液晶表示部２１２に備えられるバックライトの輝度の制限を維持したままで実現可能である。また、電子ペーパー部２１３は、電力を消費することなく表示内容を維持することができるので、電子ペーパー部２１３を追加したことにより電力消費の増大はわずかである。したがって、上述した表示装置により、液晶表示部の消費電力の抑制と表示画像の視認性の向上とを両立させることができる。
【００３７】
なお、この輪郭が強調された画像は、撮影した静止画像の表示が継続されている間は維持される。そして、例えば、図１の操作パネル２０３を介して撮像画像の表示を終了する旨の指示が入力されたときに(ステップ３０８の肯定判定)、電子ペーパー制御部２１８は、電子ペーパー部２１３に対してステップ３０２と同様の初期化処理を行う(ステップ３０９)。このように、電子ペーパー部２１３に輪郭を表す線画を表示させた場合には、電子ペーパー部２１３を透明な状態に戻してから、処理が終了される。
【００３８】
一方、周囲の明るさが閾値以下であるとされた場合は(ステップ３０５の否定判定)、上述したステップ３０６，３０７はスキップされて、液晶表示部２１２によって表示される静止画像のみが利用者に提示される。
【００３９】
ステップ３０５の否定判定された場合のように、電子ペーパー部２１３に何も表示されなかった場合に、ステップ３０９の電子ペーパー部２１３を初期化する処理を省略することもできる。
【００４０】
また、ステップ３０５の否定判定に応じてステップ３０８に進んだ後に、明るさ判定部２１４により、例えば、所定の時間間隔で明るさ情報を取得し、新たに取得した明るさ情報に基づいて、周囲の明るさの変化を検出することもできる。そして、明るさ判定部２１４により、周囲の明るさが所定の閾値を超えたことが検出されたときに、表示制御部２１１は、表示中の静止画像について上述した輪郭強調処理を適用してもよい。また、逆に、周囲が暗くなって、液晶表示部２１２による表示が視認しやすくなったことを検出し、上述した輪郭強調表示を解除することもできる。
【００４１】
なお、上述した輪郭強調を適用するタイミングは、カメラ機能部２０５によって撮影された画像を確認するタイミングに限られない。例えば、携帯端末装置に備えられたメモリ(図示せず)に記録された画像を読み出して液晶表示部２１２に表示する場合にも、同様の輪郭強調処理を適用することができる。また、上述した表示装置２１０を搭載する携帯機器は、カメラ機能部２０５を備えた携帯端末装置に限られない。液晶表示部２１２に画像を表示させる機能を持ち、明るさの異なる環境に持ち込まれる可能性を持つ携帯機器であれば、如何様なものにも表示装置２１０を適用可能である。
【００４２】
また一方、図２(ａ)に示したように、液晶表示部２１２の下側に電子ペーパー部２１３を重ねた構成の表示装置２１０では、液晶表示部２１２の表示画面が最前面にある。したがって、電子ペーパー部２１３に被写体の輪郭を表す線画が表示されているか否かにかかわらず、液晶表示部２１２による表示画像の品質が維持される。
【００４３】
なお、図２(ａ)に示した配置とは逆に、液晶表示部２１２の上側に電子ペーパー部２１３を重ねて表示装置２１０を構成することもできる。この場合は、電子ペーパー部２１３に表示される線画を、より鮮明に利用者に提示することができる。
(実施形態２)
また、表示装置を電子カメラに搭載することもできる。
【００４４】
図６に、表示装置を搭載した電子カメラの一実施形態を示す。
【００４５】
図６に示した撮像素子２２２は、撮影光学系２２１によって結像された被写体の光学像を光電変換によって電気信号に変換する。この電気信号に基づいて、画像信号処理部２０６は画像データを生成する。生成された画像データは、画像メモリ２１５を介して画像圧縮／伸長部２２５および表示装置２１０に渡される。
【００４６】
図６に示した撮影制御部２２３は、操作パネル２２４を介して利用者が入力した指示に基づいて、撮影光学系２２１、画像信号処理部２０６、表示装置２１０および画像圧縮／伸長部２２５の動作を制御する。
【００４７】
撮影制御部２２３は、利用者が操作パネル２２４のレリーズボタンを全押ししたタイミングと、その前後とで、画像信号処理部２０６の動作モードを切り替える。撮影制御部２２３は、レリーズボタンが全押しされる前は、画像信号処理部２０６に対して、所定のフレームレートで撮像素子２２２の画像信号を間引き読み出しを行う動画モードを設定する。そして、この間引き読み出しされた画像信号に基づいて、画像信号処理部２０６により、所定のフレームレートで間引き画像が生成される。この間引き画像をフレームレートに従って液晶表示部２１２に表示させることにより、利用者にファインダービュー用の動画を提示する。撮影制御部２２３は、レリーズボタンが全押しされたときに、画像信号処理部２０６に対して、撮像素子２２２の全画素に対応する画像信号の読み出しを行う撮影モードを設定する。撮影モードで読み出した画像信号に基づいて画像信号処理部２０６により、撮影画像データが生成される。この撮影画像データは、表示装置２１０による表示に供されるとともに、画像圧縮／伸長部２２５による圧縮処理を経て画像記録部２２６により、メモリーカードなどの記憶媒体２２７に記録される。上述した撮影モードから動画モードへの切り替えは、例えば、撮影画像の記録が完了した後などに、撮影制御部２２３からの指示に応じて行われる。
【００４８】
以下、液晶表示部２１２にファインダービュー用の動画が表示されているときに、電子ペーパー部２１３を用いて、この動画の視認性を向上する方法について説明する。
【００４９】
図７に、表示制御部の動作を表す流れ図を示す。
【００５０】
例えば、電子カメラに電源が投入されたときに、撮影制御部２２３により、画像信号処理部２０６に動画モードが設定され、液晶表示部２１２によるファインダービューの提示が開始される。このときに、電子ペーパー制御部２１８は、電子ペーパー部２１３を初期化して、電子ペーパー部２１３を透明な状態にする(ステップ３２１)。
【００５１】
所定数のフレームの間引き画像を液晶表示部２１２に表示させた後に(ステップ３２２)、明るさ判定部２１４は、撮影制御部２２３から明るさ情報を取得する(ステップ３２３)。
【００５２】
撮影制御部２２３によって通知された明るさ情報に基づいて、明るさ判定部２１４は、周囲の明るさは上述した所定の閾値以上であるか否かを判定する(ステップ３２４)。
【００５３】
ステップ３２４の否定判定の場合は、ステップ３２５，３２６はスキップされ、撮影制御部２２３によって撮影モードへの切り替えが指示されたか否かを判定する(ステップ３２７)。このステップ３２７の否定判定の場合に、処理は、ステップ３２２に戻って新たな所定フレームの間引き画像を液晶表示部２１２に表示させ、次いで、明るさ判定部２１４に、新たな明るさ情報を撮影制御部２２３から取得させる。
【００５４】
つまり、所定フレームの間引き画像が液晶表示部２１２によって表示されるごとに、明るさ判定部２１４は、撮影制御部２２３から明るさ情報を取得する。これにより、周囲の明るさが変化して所定の閾値を超えたときに(ステップ３２４の肯定判定)、これを検出して、電子ペーパー部２１３による輪郭表示を起動させることができる。
【００５５】
このとき、輪郭抽出処理部２１７は、例えば、画像メモリ２１５から間引き画像の中央部分に対応する画像データを読み出し、この範囲の画像データについて、図４に示したステップ３１１〜ステップ３１５の処理を行うことができる。この場合は、輪郭抽出処理部２１７により、間引き画像の主要部分について選択的に被写体の輪郭が抽出され(ステップ３２５)、この輪郭を表す線画データが生成される。そして、この線画データに基づいて、電子ペーパー制御部２１８により、電子ペーパー部２１３に上述した輪郭を表す線画が表示される(ステップ３２６)。
【００５６】
このように、輪郭抽出処理部２１７による輪郭抽出処理対象を間引き画像の一部に制限することにより、輪郭抽出処理に要する時間を短縮することができる。これにより、所定のフレームレートに従って更新される液晶表示部２１２の表示画像にあわせて、主要な被写体の輪郭を表す線画を電子ペーパー２１３に表示させることができる。このような線画を液晶表示部２１２による表示画像に重ねて表示することにより、動画モードにおいても、明るい環境における被写体の視認を支援することができる。
【００５７】
その後、レリーズボタンの押下に応じて、撮影制御部２２３により撮影モードが設定されたときに(ステップ３２７の肯定判定)、表示制御部２１１は、上述したステップ３０１からステップ３０９と同様にして、撮影された静止画像の表示処理を行う(ステップ３２８)。
【００５８】
なお、輪郭抽出処理対象とする部分は、上述した画面の中央部に限られない。例えば、撮影制御部２２３からオートフォーカス制御用の焦点検出領域を示す情報や人物の顔検出結果を示す情報を受け取り、これらの情報に基づいて、輪郭抽出処理部２１７が、輪郭抽出処理対象の領域を決定することもできる。
【００５９】
また、明るさ判定部２１４によって、一旦、周囲が所定の閾値以上に明るいとされた後は、各フレームの間引き画像について輪郭抽出処理部２１７が輪郭抽出処理を行い、フレームごとに輪郭を表す線画データを更新することもできる。この場合に、明るさ判定部２１４によるステップ３２４の処理を省略することもできる。また、所定数のフレームごとに明るさ情報と所定の閾値との比較を行い、周囲の明るさが液晶表示部２１２による表示の視認を妨げない程度になったときに、ステップ３２５，３２６の処理をスキップさせることもできる。
【符号の説明】
【００６０】
２０１  無線送受信部
２０２  無線制御部
２０３，２２４  操作パネル
２０４  入力制御部
２０５  カメラ機能部
２０６  画像信号処理部
２１０  表示装置
２１１  表示制御部
２１２  液晶表示部
２１３  電子ペーパー部
２１４  明るさ判定部
２１５  画像メモリ
２１６  液晶表示(ＬＣＤ)制御部
２１７  輪郭抽出処理部
２１８  電子ペーパー制御部
２２１  撮影光学系
２２２  撮像素子
２２３  撮影制御部
２２５  画像圧縮／伸長部
２２６  画像記録部
２２７  記憶媒体
【図１】
2010271657.tif 000003
【図２】
2010271657.tif 000004
【図３】
2010271657.tif 000005
【図４】
2010271657.tif 000006
【図６】
2010271657.tif 000007
【図７】
2010271657.tif 000008
【図５】
2010271657.tif 000009