(57)【要約】  本開示は、複数のディスプレイデバイスをシームレスに切り替えることができるようにする表示制御装置および方法に関する。制御部は、センサIFからの外光情報に応じて、画像供給部からの入力画像の表示出力値を求め、求めた表示出力値（表示輝度情報）を、その外光情報に応じて、複数のディスプレイデバイスに分配する。分配の際、制御部においては、センサIFからの外光情報だけでなく、全体制御部からのバッテリ残量情報、画像供給部からの入力画像の画像特徴情報、および動き情報などの情報が用いられてもよい。本開示は、例えば、表示制御システムに適用することができる。
2014119403.tif 000002
【特許請求の範囲】
【請求項１】
センサからの外光量情報に応じて、複数のディスプレイデバイスに輝度情報を分配する表示制御部と、
前記表示制御部により分配された輝度情報に基づいて、前記複数のディスプレイデバイスをそれぞれ駆動する複数の駆動部と
を備える表示制御装置。
【請求項２】
前記外光量情報を取得する前記センサを
さらに備える請求項１に記載の表示制御装置。
【請求項３】
前記複数のディスプレイデバイスのうち、上面に積層されるディスプレイデバイスは、透過型のディスプレイデバイスであり、下面に積層されるディスプレイデバイスは、反射型のディスプレイデバイスである
請求項１に記載の表示制御装置。
【請求項４】
前記上面に積層されるディスプレイデバイスは、自発光のディスプレイデバイスであり、下面に積層されるディスプレイデバイスは、画素状態を保持するディスプレイデバイスである
請求項３に記載の表示制御装置。
【請求項５】
前記上面に積層されるディスプレイデバイスは、OLED(Organic Light-Emitting Diode)であり、下面に積層されるディスプレイデバイスは、電子ペーパディスプレイデバイスである
請求項４に記載の表示制御装置。
【請求項６】
入力画像の画像特徴情報として、テキストまたはグラフィック領域か否かに基づいて、表示重みを計算する重み計算部をさらに備え、
前記表示制御部は、前記重み計算部により計算された表示重みに応じて、前記複数のディスプレイデバイスに輝度情報を分配する
請求項１に記載の表示制御装置。
【請求項７】
入力画像の動き情報に基づいて、表示重みを計算する重み計算部をさらに備え、
前記表示制御部は、前記重み計算部により計算された表示重みに応じて、前記複数のディスプレイデバイスに輝度情報を分配する
請求項１に記載の表示制御装置。
【請求項８】
バッテリ残量情報に基づいて、表示重みを計算する重み計算部をさらに備え、
前記表示制御部は、前記重み計算部により計算された表示重みに応じて、前記複数のディスプレイデバイスに輝度情報を分配する
請求項１に記載の表示制御装置。
【請求項９】
表示制御装置が、
センサからの外光量情報に応じて、複数のディスプレイデバイスに輝度情報を分配し、
分配された輝度情報に基づいて、前記複数のディスプレイデバイスをそれぞれ駆動する
表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、表示制御装置および方法に関し、特に、複数のディスプレイデバイスをシームレスに切り替えることができるようにした表示制御装置および方法に関する。
【背景技術】
【０００２】
ディスプレイ（表示）デバイスは、LCD(Liquid Crystal Device)、または OLED(Organic Light-Emitting Diode：有機EL(Electro-Luminescence))など素材、特性に応じて様々な方式のものが、テレビや携帯電話機などで使用されている。また、近年では電子書籍用途として、マイクロカプセル方式や電気泳動方式などの電子ペーパ(ePaper)デバイスも利用されている。さらに、透過度の高い素材を用いることで、透明OLED、透明電子ペーパも開発されている。【０００３】
電子ペーパは反射光で表示を行い、OLEDは自発光で表示を行うことから、デバイス自体の特性差が特徴の差として現れる。一般には、明るさ、階調、発色、応答速度でOLEDは高い性能を示すが、一方で、消費電力、外光下での視認性は、電子ペーパの方が優れている。さらに、OLEDには、焼き付きによる経年変化の恐れもある。【０００４】
このような背景から、特許文献１には、前面に透明OLED、背面に電子ペーパを表示層とする提案が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１９７６３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、この提案においては、「動作時に高いフレームレートの表示出力や色をもたらし、電力が取り除かれても表示情報を保持できる装置及び方法」と記載されているように、動作時には、透明OLED、電力OFF時には、電子ペーパ、というように、電源の状態に応じていずれかのディスプレイデバイスを選択するようになっている。【０００７】
したがって、ディスプレイデバイスの切り替えがシームレスではなかった。【０００８】
本開示は、このような状況に鑑みてなされたものであり、複数のディスプレイデバイスをシームレスに切り替えることができるようにするものである。
【課題を解決するための手段】
【０００９】
本開示の一側面の画像処理装置は、センサからの外光量情報に応じて、複数のディスプレイデバイスに輝度情報を分配する表示制御部と、前記表示制御部により分配された輝度情報に基づいて、前記複数のディスプレイデバイスをそれぞれ駆動する複数の駆動部とを備える。【００１０】
前記外光量情報を取得する前記センサをさらに備えることができる。【００１１】
前記複数のディスプレイデバイスのうち、上面に積層されるディスプレイデバイスは、透過型のディスプレイデバイスであり、下面に積層されるディスプレイデバイスは、反射型のディスプレイデバイスである。【００１２】
前記上面に積層されるディスプレイデバイスは、自発光のディスプレイデバイスであり、下面に積層されるディスプレイデバイスは、画素状態を保持するディスプレイデバイスである。【００１３】
前記上面に積層されるディスプレイデバイスは、OLED(Organic Light-Emitting Diode)であり、下面に積層されるディスプレイデバイスは、電子ペーパディスプレイデバイスである。【００１４】
入力画像の画像特徴情報として、テキストまたはグラフィック領域か否かに基づいて、表示重みを計算する重み計算部をさらに備え、前記表示制御部は、前記重み計算部により計算された表示重みに応じて、前記複数のディスプレイデバイスに輝度情報を分配することができる。【００１５】
入力画像の動き情報に基づいて、表示重みを計算する重み計算部をさらに備え、前記表示制御部は、前記重み計算部により計算された表示重みに応じて、前記複数のディスプレイデバイスに輝度情報を分配することができる。【００１６】
バッテリ残量情報に基づいて、表示重みを計算する重み計算部をさらに備え、前記表示制御部は、前記重み計算部により計算された表示重みに応じて、前記複数のディスプレイデバイスに輝度情報を分配することができる。【００１７】
本開示の一側面の表示制御方法は、表示制御装置が、センサからの外光量情報に応じて、複数のディスプレイデバイスに輝度情報を分配し、分配された輝度情報に基づいて、前記複数のディスプレイデバイスをそれぞれ駆動する。【００１８】
本開示の一側面においては、センサからの外光量情報に応じて、複数のディスプレイデバイスに輝度情報が分配され、分配された輝度情報に基づいて、前記複数のディスプレイデバイスがそれぞれ駆動される。
【発明の効果】
【００１９】
本開示の一側面によれば、画像の表示を制御することができる。特に、複数のディスプレイデバイスをシームレスに切り替えることができる。
【図面の簡単な説明】
【００２０】
【図１】本技術を適用した表示制御システムの構成例を示すブロック図である。
【図２】E-PaperとOLEDの一般的な特徴比較を示す図である。
【図３】ディスプレイパネルにおける表示光の経路を示す図である。
【図４】制御部の構成例を示すブロック図である。
【図５】ディスプレイパネルにおける画素配置の例を示す図である。
【図６】センサが複数個の場合の例を示す図である。
【図７】ePaper優先指定カーブの例を示す図である。
【図８】表示重み情報wの計算テーブルを示す図である。
【図９】表示輝度計算カーブの例を示す図である。
【図１０】ePaper表示輝度計算カーブの例を示す図である。
【図１１】通常モード(w=0.5)のときの入射光と最大輝度の関係を示す図である。
【図１２】ePaper優先モード（w=1.0）のときの入射光と最大輝度の関係を示す図である。
【図１３】OLED優先モード（w=0.0）のときの入射光と最大輝度の関係を示す図である。
【図１４】表示制御処理を説明するフローチャートである。
【図１５】コンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。
【００２２】
［表示制御システムの構成例］
図１は、本技術を適用した表示制御システムの構成例を示すブロック図である。
【００２３】
図１の表示制御システムは、表示制御装置１１、センサ１２、およびディスプレイパネル１３よりなる。表示制御システムにおいては、ディスプレイパネル１３は、複数のディスプレイデバイス（ディスプレイデバイス４１およびディスプレイデバイス４２）で構成されている。
【００２４】
表示制御装置１１は、センサ１２からの外光情報に応じて、複数のディスプレイデバイスに輝度情報を分配する。表示制御装置１１は、分配した輝度情報に基づいて、複数のディスプレイデバイスをそれぞれ駆動し、複数のディスプレイデバイスの表示を制御する。
【００２５】
表示制御装置１１は、制御部２１、センサIF(インタフェース)２２、ディスプレイIF２３、ディスプレイIF２４、画像供給部２５、バス２６、全体制御部２７、記憶装置２８、バッテリ２９、およびユーザIF３０を含むように構成されている。
【００２６】
センサIF２２、制御部２１、画像供給部２５、全体制御部２７、記憶装置２８、バッテリ２９、およびユーザIF３０は、バス２６を介して相互に接続されている。
【００２７】
制御部２１は、センサIF２２からの外光情報に応じて、画像供給部２５からの入力画像の表示出力値を求め、求めた表示出力値（表示輝度情報）を、その外光情報に応じて、複数のディスプレイデバイスに分配する。分配の際、制御部２１においては、センサIF２２からの外光情報だけでなく、全体制御部２７からのバッテリ残量情報、画像供給部２５からの入力画像の画像特徴情報、および動き情報などの情報が用いられてもよい。
【００２８】
制御部２１は、分配したそれぞれの表示輝度情報を、対応するディスプレイIF２３および２４にそれぞれ供給する。
【００２９】
センサIF２２は、センサ１２からの外光情報を制御部２１に供給する。
【００３０】
ディスプレイIF２３は、制御部２１から、ディスプレイデバイス４１用の表示輝度情報を受け取り、ディスプレイ駆動情報として、ディスプレイデバイス４１を駆動する。
【００３１】
ディスプレイIF２４は、制御部２１から、ディスプレイデバイス４２用の表示輝度情報を受け取り、ディスプレイ駆動情報として、ディスプレイデバイス４２を駆動する。
【００３２】
画像供給部２５は、ディスプレイパネル１３上に表示する入力画像の画像データ、画像特徴情報、および動き情報を制御部２１に供給する。
【００３３】
全体制御部２７は、表示制御装置１１全体を制御するものであり、CPU（Central Processing Unit）などのようにソフトウェアプログラムで、各種IFの制御も行う。また、全体制御部２７は、バッテリ２９からバッテリ残量情報を取得し、取得したバッテリ残量情報を、制御部２１に供給する。
【００３４】
記憶装置２８は、メモリカードやハードディスクドライブなどの比較的大容量の記憶装置である。バッテリ２９は、表示制御システムがモバイルで使用される場合に含まれ、充電可能かつバッテリ残量が情報として取得可能に構成されている。ユーザIF３０は、例えば、タッチパネルやキーボード、および、マウスなどで構成される。なお、記憶装置２８およびユーザIF３０は、必ずしも必要ではない。また、電源から電力を供給するような場合は、バッテリ２９も必ずしも必要ではない。
【００３５】
センサ１２は、外光の光量を取得するデバイスであり、例えば、フォトダイオードの受光部を備えるような光センサである。図１の例においては、ディスプレイパネル１３の上部中央に配置されている。光センサ１２からの外光情報は、表示制御装置１１のセンサIF２２に供給される。
【００３６】
上述したように、ディスプレイパネル１３は、ディスプレイデバイス４１およびディスプレイデバイス４２が積層されて構成されている。なお、ディスプレイパネル１３を構成するディスプレイデバイスは、２つに限定されず、複数であればいくつでもよい。
【００３７】
ディスプレイデバイス４１は、表示面（上面）に配置されるデバイスであり、例えば、透過性のあるOLED(Organic Light-Emitting Diode：有機EL(Electro-Luminescence))デバイスである。このOLEDデバイスは、自発光表示デバイスであり、電圧が印加された状態で発光し、白色またはRGBの各色を表現する。電圧が印加されない場合、OLEDデバイスは、発光されずに、透過性の高い素材で作られていることから、ディスプレイパネル１３においては、透過性の高い状態で、背面に配置されるディスプレイデバイス４２が表示される。なお、ディスプレイデバイス４１は、少なくとも透過型のディスプレイであればよく、また、自発光のディスプレイであればさらによく、OLEDに限らない。
【００３８】
ディスプレイデバイス４２は、背面（下面）に配置されるデバイスであり、反射型の電子ペーパ(E-Paper)デバイスである。この電子ペーパデバイスは、マイクロカプセル方式、電子粉粒体方式、エレクトロウェッティング方式などの方式は問わない。ただし、OLEDデバイスは、電圧が印加されたときに、黒または白に変化し、電圧が印加されない状況でも、表示状態を維持できるようなデバイスとされる。なお、ディスプレイデバイス４２は、少なくとも反射型のディスプレイであればよく、また、画素状態を保持するディスプレイであればさらによく、E-Paperに限らない。さらに、表示色は必ずしも白または黒だけでなく、カラーフィルタを用いるなどしてカラー表示することも可能である。
【００３９】
[E-PaperとOLEDの比較]
図２は、E-PaperとOLEDの一般的な特徴比較を示す図である。
【００４０】
一般には、明るさ・階調、発色、応答速度で、ディスプレイデバイス４１の一例であるOLEDは高い性能を示す。その一方で、消費電力、外光下での視認性は、ディスプレイデバイス４２の一例であるE-Paperの方が優れている。さらに、OLEDには、焼き付きによる経年劣化の恐れがある。
【００４１】
[ディスプレイパネルにおける表示光の経路]
図３は、ディスプレイパネルにおける表示光の経路を示す図である。
【００４２】
ディスプレイパネル１３は、ディスプレイデバイス（例えば、E-Paper）４２の上に、ディスプレイデバイス（例えば、OLED）４１が積層されて構成されている。
【００４３】
入射光情報sの入射光（Ambient Light）がディスプレイパネル１３に入射される。これに対応して、表示出力値（表示輝度）lの表示光(Display Light)がディスプレイパネル１３から発光される。
【００４４】
この表示輝度ｌは、ディスプレイデバイス４２からのePaper表示輝度eの反射光(Reflected Light)と、ディスプレイデバイス４１からのOLED表示輝度dのOLED発光の和よりなる。
【００４５】
［制御部の構成例］
図４は、制御部２１の構成例を示すブロック図である。
【００４６】
制御部２１には、全体制御部２７からバッテリ残量情報bが供給される。制御部２１には、画像供給部２５から、ディスプレイパネル１３上に表示する画像（入力画像）の画像データi、画像特徴情報a、動き情報mが供給される。
【００４７】
入力画像の画像データiは、写真、動画像、テキストなどのビットマップ画像であり、iを画像データの各画素の値とすると、図５の画素配置で示すように、x,yを２次元座標のインデックスとし、i=I(x,y)として表せる。図５の例においては、水平画素数はX、垂直画素数はYとする。なお、iは、輝度値として示しているが、カラー画像の場合、iは、(R,G,B)などのベクター値として表現されているものとする。
【００４８】
画像特徴情報aは、着目画素位置がテキスト領域か、あるいは、写真などの自然画像領域かを示す画像の座標(x,y)に対する特徴情報であり、a=A(x,y)で表わされる。例えば、０が「自然画像」、１が「テキスト」を示すものとする。この情報は、例えば、Webブラウザ画面などであれば、画像供給部２５において、HTMLなどの情報から領域情報として生成されるが、例えば、テキスト領域判別アルゴリズムなどで入力画像から判断するような方法を用いてもよい。
【００４９】
動き情報mは、画素毎の動き量を示す。この情報は、例えば、０が「動きなし」、１が「動きあり」を示す。なお、動き感度を表現したい場合は、０乃至１の間で中間値を持ってもよい、また、画素単位の情報としているが、ブロック単位などある一定の領域単位の情報であってもよい。この動き情報は、Webブラウザ画面などであれば、HTMLの情報から動画再生領域情報として生成されるものを利用してもよいし、フレーム間差分情報から動画領域か否かを判断してもよい。
【００５０】
また、制御部２１には、センサIF２２により、センサ１２からの外光情報が、画素単位入射光情報sおよび全体入射光情報tに変換されて供給される。
【００５１】
このセンサ情報は、各画素に対して求まることから、画素単位入射光情報s=S(x,y)で表わされる。全体入射光情報ｔは、画素単位入射光情報sの平均などの方法で計算される。例えば、全体入射光情報ｔは、次の式（１）で表わされる。
【００５２】
【数１】
2014119403.tif 000003
なお、図１に示される表示制御システムのように、センサ１２が１つで構成される場合は、s=S(x,y)=tのように、全画素に対してｔと同じ値を持つこととなる。
【００５３】
また、図６に示されるように、複数個のセンサ１２−１乃至センサ１２−４をディスプレイパネル１３の周囲（図６の例においては４つの角）に配置する。そして、センサ１２−１乃至１２−４の各入射光がS1,S2,S3,S4で得られたときに、次の式（２）のように、画素単位入射光情報sは、線形補間で計算される。
【数２】
2014119403.tif 000004
【００５４】
なお、ここでは、線形補間で計算しているが、計算方法はスプライン補間など他の方法であってもよい。また、ここでは、４つのセンサ１２−１乃至１２−４としているが、画素毎に入射光情報が取得される手段が取れれば、センサの数は限定されない。例えば、画素毎にセンサを有するようなデバイスがあれば、その情報を利用することも考えられる。
【００５５】
図４に戻って、制御部２１においては、以上の情報、すなわち、全体制御部２７からのバッテリ残量情報b、画像供給部２５からの画像特徴情報aおよび動き情報m、並びにセンサIF２２からの入射光情報(sおよびt)から、OLED表示輝度dおよびePaper表示輝度eが求められる。
【００５６】
図４の例において、制御部２１は、表示重み計算部５１、表示輝度計算部５２、ePaper表示輝度計算部５３、およびOLED表示輝度計算部５４を含むように構成されている。
【００５７】
表示重み計算部５１には、全体制御部２７からのバッテリ残量情報b、並びに画像供給部２５からの画像特徴情報aおよび動き情報mが入力される。表示重み計算部５１は、入力される情報に基づいて、表示重み情報wを計算し、計算した表示重み情報wを、表示輝度計算部５２、ePaper表示輝度計算部５３、およびOLED表示輝度計算部５４に供給する。
【００５８】
表示輝度計算部５２には、画像供給部２５からの入力画像（の画像データ）i、センサIF２２からの画素単位入射光情報sおよび全体入射光情報t、並びに表示重み計算部５１からの表示重み情報wが入力される。
【００５９】
表示輝度計算部５２は、全体入射光情報tと表示重み情報wから、目標最大輝度R(w,t)を求める。そして、表示輝度計算部５２は、入力画像の画像データiに対して、目標最大輝度R(w,t)で求められた比率で計算することにより、表示出力値ｌを求める。表示輝度計算部５２は、求めた表示出力値ｌを、ePaper表示輝度計算部５３、およびOLED表示輝度計算部５４に供給する。
【００６０】
ePaper表示輝度計算部５３には、センサIF２２からの画素単位入射光情報s、表示重み計算部５１からの表示重み情報w、並びに、表示輝度計算部５２から表示出力値lが入力される。
【００６１】
ePaper表示輝度計算部５３は、画素単位入射光情報sおよび表示出力値lから、ePaper表示輝度e=E(x,y)を求める。ePaper表示輝度計算部５３は、求めたePaper表示輝度e=E(x,y)を、OLED表示輝度計算部５４およびディスプレイIF２４に供給する。
【００６２】
OLED表示輝度計算部５４には、表示重み計算部５１からの表示重み情報w、表示輝度計算部５２から表示出力値l、並びに、ePaper表示輝度計算部５３からのePaper表示輝度e=E(x,y)が供給される。
【００６３】
OLED表示輝度計算部５４は、表示重み情報w、表示出力値l、およびePaper表示輝度e=E(x,y)から、OLED表示輝度d=D(x,y)を計算する。OLED表示輝度計算部５４は、計算したOLED表示輝度d=D(x,y)をディスプレイIF２３に供給する。
【００６４】
[表示重み計算の詳細]
本技術においては、バッテリ残量や画像特徴に応じて、OLED(ディスプレイデバイス４１)優先モードか、ePaper（ディスプレイデバイス４２）優先モードか、または、通常モードがシームレスに切り替えられる。
【００６５】
その条件は、次のＥ１乃至Ｅ３のようになる。
Ｅ１：バッテリ残量が多いときは、OLED(ディスプレイデバイス４１)が優先され、バッテリ残量が少ないときは、ePaper（ディスプレイデバイス４２）表示が優先される。
Ｅ２：画像特徴が自然画像の場合、OLED(ディスプレイデバイス４１)が優先され、画像特徴がテキストの場合、ePaper（ディスプレイデバイス４２）表示が優先される。
Ｅ３：動き情報がある場合は、OLED(ディスプレイデバイス４１)が優先される。
【００６６】
なお、Ｅ１およびＥ２に関しては、ePaperの方が低電力、テキストの視認性に向いていることから、このような重みを付ける。ただ、Ｅ３動き情報に関しては、ePaperにおいては、応答性能が低いことから、OLEDを優先させることになる。
【００６７】
ここで、表示重み情報w=W(x,y)は、０．５で通常動作（通常モードとも称する）、０のときOLED優先（OLED優先モードと称する）、１のときePaper優先（ePaper優先モードとも称する）とすると、次の式（３）のように計算できる。
【数３】
2014119403.tif 000005
【００６８】
ここで、Ｂは、バッテリ残量情報bから計算される重み情報であり、０．５で通常動作、１．０でePaper優先である。a=A(x,y)は、上述したように画像特徴情報である。重み情報Ｂを求めるためのePaper優先指定カーブは、図７に示されるようになる。
【００６９】
図７の例においては、ePaper優先指定カーブが示されている。横軸は、バッテリ残量情報bであり、縦軸は、バッテリ残量情報bから計算される重み情報Ｂであり、wは、０乃至１で正規化されている。重み情報Ｂ＝１のとき、低電力（ePaper優先）モードであり、Ｂ＝０．５のとき、通常モードである。
【００７０】
なお、この情報は、画素単位ではなく、画面全体で決定される情報となる。
【００７１】
[表示重み情報の計算テーブル]
以上のようにして計算された表示重み情報wは、次の図８に示されるように決定される。図８は、表示重み情報wの計算テーブルを示す図である。
【００７２】
バッテリ残量情報bからの重み情報Ｂ＝０.５（残あり）で、画像特徴情報a＝０（自然画）で、動き情報m＝０（動きなし）の場合、表示重み情報w＝０．５（通常）と決定される。バッテリ残量情報bからの重み情報Ｂ＝０.５（残あり）で、画像特徴情報a＝０（自然画）で、動き情報m＝１（動きあり）の場合、表示重み情報w＝０（OLED優先）と決定される。
【００７３】
バッテリ残量情報bからの重み情報Ｂ＝０.５（残あり）で、画像特徴情報a＝１（テキスト）で、動き情報m＝０（動きなし）の場合、表示重み情報w＝１．０（ePaper優先）と決定される。バッテリ残量情報bからの重み情報Ｂ＝０.５（残あり）で、画像特徴情報a＝１（テキスト）で、動き情報m＝１（動きあり）の場合、表示重み情報w＝０（OLED優先）と決定される。
【００７４】
バッテリ残量情報bからの重み情報Ｂ＝１．０（残なし）で、画像特徴情報a＝０（自然画）で、動き情報m＝０（動きなし）の場合、表示重み情報w＝１．０（ePaper優先）と決定される。バッテリ残量情報bからの重み情報Ｂ＝１．０（残なし）で、画像特徴情報a＝０（自然画）で、動き情報m＝１（動きあり）の場合、表示重み情報w＝０（OLED優先）と決定される。
【００７５】
バッテリ残量情報b＝１．０（残なし）で、画像特徴情報a＝１（テキスト）で、動き情報m＝０（動きなし）の場合、表示重み情報w＝１．０（ePaper優先）と決定される。バッテリ残量情報b＝１．０（残なし）で、画像特徴情報a＝１（テキスト）で、動き情報m＝１（動きあり）の場合、表示重み情報w＝０（OLED優先）と決定される。
【００７６】
なお、図８の例においては、wが０，０．５，１．０の３値しかない例が示されているが、実際には、wは、入力情報に応じて段階を持った値を有する。
【００７７】
[表示輝度計算の詳細]
表示輝度計算部５２は、全体入射光情報tと表示重み情報wから、表示出力値lを計算する。この表示出力値lは、次のＰ１、Ｐ２の順に計算される。
【００７８】
Ｐ１として、表示輝度計算部５２は、目標最大輝度R(w,t)を決定する。図９の例においては、この目標最大輝度R(w,t)を決定するための表示輝度計算カーブが示されている。横軸は、全体入射光情報tと画素単位入射光情報sを示し、縦軸は、表示D-Range/最大輝度(%)を示している。
【００７９】
表示輝度計算カーブ１０１は、表示重み情報が通常（w＝０．５）およびOLED優先（w＝０）での目標最大輝度R(0.5,t)およびR(0,t)を表している。表示輝度計算カーブ１０２は、表示重み情報がePaper優先時（w＝１．０）の目標最大輝度R(1.0,t)を表している。
【００８０】
表示重み情報が通常（w＝０．５）およびOLED優先（w＝０）時は、全体入射光情報tが低い場合＝暗い状態において、全体の発光量が少なくても視認できる。したがって、これらの時、目標最大輝度R(w,t)を抑え目に、かつ、全体入射光情報tが大きくなると、全体のコントラストを上げる必要から、目標最大輝度R(w,t)を大きくするような表示輝度計算カーブ１０１が選択される。
【００８１】
一方、表示重み情報がePaper優先（w＝１．０）時には、表示輝度計算カーブ１０２が選択される。表示輝度計算カーブ１０２は、暗い状態では一定量OLEDを発光させるが、一定以上の明るさのときは、ほぼePaperに輝度成分を割り当てるため、後述する図１０のePaper表示輝度計算カーブに沿うようなテーブル値（目標最大輝度）をとる。
【００８２】
ここで、目標最大輝度R(w,t)は、例えば、w＝０，w＝０．５，w＝１．０の重みのときに、全体入射光情報tにより表示輝度計算カーブを決めておき、wの値が中間値を取る場合は、線形補間などにより値が決定されるものとする。
【００８３】
以上のように、目標最大輝度R(w,t)は、表示重み情報wと、全体入射光情報tとに従って決定される。
【００８４】
Ｐ２として、表示輝度計算部５２は、入力画像の画像信号（画像データ）iに対して、目標最大輝度R(w,t)で求められた比率で、表示出力値lを計算する。ここで、目標最大輝度R(w,t)が１００分表記とすると、次の式（４）となる。
【数４】
2014119403.tif 000006
ここで、l,iは、画素単位で決まる値なので、別の表記としては、次の式（５）となる。
【数５】
2014119403.tif 000007
【００８５】
[ePaper表示輝度計算の詳細]
ePaper表示輝度計算部５３は、画素単位入射光情報s=S(x,y)および表示出力値l=L(x,y)からePaper表示輝度e=E(x,y)を求める。このePaper表示輝度の出力値eは、入射光情報に応じて物理的に決定されることから、図１０に示されるようなePaper表示輝度計算カーブにより求められる。
【００８６】
図１０の例においては、画素単位入射光情報s=S(x,y)の大きさ(S=0,3,7,10,12,14)に対応した各ePaper表示輝度計算カーブが示されている。横軸は、表示出力値lであり、縦軸は、ePaper表示輝度eである。
【００８７】
ePaper表示輝度計算カーブは、電子ペーパの階調が１６階調であり、表示可能な最大輝度が入射光により変化する特性、すなわち、入射光情報sが小さい場合は、表現できる輝度値が低く、入射光情報sが大きい場合は、表現できる輝度値が高いという特性を有する。なお、ここでは、電子ペーパの階調を１６階調としているが、階調数は使用するデバイスの特性により異なり、より階調が多い場合も、少ない場合もあり得る。
【００８８】
なお、このカーブは、テーブル参照のような形で実現されてもよいし、計算式で求めるようにされてもよいが、デバイスの出力特性は、照度計や輝度計などを用いて測定することにより事前に求められているものとする。
【００８９】
[OLED表示輝度計算の詳細]
OLED表示輝度計算部５４は、表示重み情報w=W(x,y)、表示出力値l=L(x,y)、およびePaper表示輝度e=E(x,y)から、次の式（６）のように、OLED表示輝度d=D(x,y)を計算する。
【数６】
2014119403.tif 000008
【００９０】
すなわち、OLED表示輝度計算部５４は、表示重み情報w=0.0でOLED優先でlをそのままOLED表示輝度dとする。表示重み情報w=0.5で通常モードとして、l-eの差分をOLED表示輝度dとする。さらに、OLED表示輝度計算部５４は、表示重み情報w=0.5のときは、通常モードとし、表示重み情報w=1.0のときは、ePaper優先で、OLED表示輝度d=0とする。
【００９１】
以上のようにして、制御部２１において、ディスプレイデバイス４１用のOLED表示輝度と、ディスプレイデバイス４２用のePaper表示輝度が求められる。
【００９２】
[入射光と各デバイスの最大輝度の関係]
次に、図１１乃至図１３を参照して、入射光と各ディスプレイデバイスへの分配輝度の関係を説明する。図１１の例においては、通常モード(表示重み情報w=0.5)のときの入射光と最大輝度の関係が示されている。図１２の例においては、ePaper優先（表示重み情報w=1.0）のときの入射光と最大輝度の関係が示されている。図１３の例においては、OLED優先（表示重み情報w=0.0）のときの入射光と最大輝度の関係が示されている。
【００９３】
各図において、R(w,t)は、目標最大輝度を表している。E(lmax,s)は、表示出力値lと外光情報（入射光情報）ｓにより決定されるディスプレイデバイス(ePaper)４２の最大輝度を表している。D(lmax,e)は、表示出力値lとePaper表示輝度eにより決定されるディスプレイデバイス（OLED）４１の最大輝度を表している。また、横軸は、全体入射光情報tと画素単位入射光情報sを示し、入射光が０乃至５前後は、暗所に相当し、入射光が５前後乃至１５前後は、照明下に相当し、入射光が１５前後乃至２０は、太陽光下に相当する。縦軸は、表示D-Range/最大輝度(%)を示している。
【００９４】
通常モード(w=0.5)のときは、図１１に示されるように、OLEDの最大発光量は、照明下の条件でも６０％ぐらいに抑えることができる。ePaper優先（w=1.0）のときは、図１２に示されるように、暗所のときのみディスプレイデバイス（OLED）４１を発光させることになる。OLED優先（w=0.0）のときは、図１３に示されるように、ディスプレイデバイス(ePaper)４２側の割り当ては、常に０となる。
【００９５】
以上のことから、屋内では、OLEDを優先表示することで、高画質、高品質に表示することができる。屋外では、電子ペーパを優先表示することで、太陽光の下でも見やすい表示にすることができる。動画像の場合、電子ペーパだと応答性により表示困難であるが、OLEDで高品質に表示できる。テキストは、紙らしさを優先させて表示させることができ、省電力にすることができる。
【００９６】
すなわち、本技術によれば、様々な環境下において視認性を向上させることができる。
【００９７】
また、本技術によれば、以上のような切り替えを、シームレスに行うことができる。
【００９８】
さらに、本技術によれば、バッテリ残量に応じて動作モードをシームレスに切り替えることができたり、写真表示時にもOLEDの発光量を抑制することができるなど、省電力化を図ることができる。また、OLEDの発光量を抑制することで経年劣化の進行を遅くし、デバイスの長寿命化も可能となる。
【００９９】
[表示制御システムの動作]
次に、図１４のフローチャートを参照して、表示制御システムの表示制御処理を説明する。
【０１００】
画像供給部２５は、ディスプレイパネル１３上に表示する入力画像の画像データiを制御部２１の表示輝度計算部５２に供給する。ステップＳ２１において、表示輝度計算部５２は、入力画像の画像データiを入力する。
【０１０１】
その際、画像供給部２５は、入力画像の画像特徴情報a、および動き情報mを制御部２１の表示重み計算部５１に供給する。また、全体制御部２７は、バッテリ２９からバッテリ残量情報bを取得し、取得したバッテリ残量情報を、制御部２１に供給する。
【０１０２】
表示重み計算部５１は、ステップＳ２２において、バッテリ残量情報b、画像特徴情報a、および動き情報mを取得し、ステップＳ２３において、表示重み情報wを計算する。計算された表示重み情報wは、表示輝度計算部５２、ePaper表示輝度計算部５３、およびOLED表示輝度計算部５４に供給される。
【０１０３】
さらに、センサIF２２から入射光情報（画素単位入射光情報sおよび全体入射光情報t）が供給される。ステップＳ２４において、表示輝度計算部５２は、入射光情報を取得する。
【０１０４】
ステップＳ２５において、表示輝度計算部５２は、ステップＳ２４により取得された全体入射光情報tと、ステップＳ２３により計算された表示重み情報wから、目標最大輝度R(w,t)を決定する。
【０１０５】
ステップＳ２６において、表示輝度計算部５２は、ステップＳ２１で入力された入力画像の画像データiに対して、ステップＳ２５により決定された目標最大輝度R(w,t)で求められた比率で計算することにより、表示出力値ｌを求める。求められた表示出力値ｌは、ePaper表示輝度計算部５３、およびOLED表示輝度計算部５４に供給される。
【０１０６】
ステップＳ２７において、ePaper表示輝度計算部５３は、ステップＳ２４により取得された画素単位入射光情報s、およびステップＳ２６により求められた表示出力値lから、ePaper表示輝度e=E(x,y)を求める。求められたePaper表示輝度e=E(x,y)は、OLED表示輝度計算部５４およびディスプレイIF２４に供給される。
【０１０７】
ステップＳ２８において、OLED表示輝度計算部５４は、ステップＳ２３により計算された表示重み情報w、ステップＳ２６により決定された表示出力値l、およびステップＳ２７により求められたePaper表示輝度e=E(x,y)から、OLED表示輝度d=D(x,y)を計算する。計算したOLED表示輝度d=D(x,y)はディスプレイIF２３に供給される。
【０１０８】
ステップＳ２９において、ディスプレイIF２４およびディスプレイIF２３は、それぞれ、OLED表示輝度d=D(x,y)およびePaper表示輝度e=E(x,y)を受け取り、対応するディスプレイデバイス４１および４２を駆動する。これにより、入力画像がディスプレイパネル１３に表示される。
【０１０９】
以上により、表示制御システムにおいては、センサからの外光情報（入射光情報）に応じて、複数のディスプレイデバイスに輝度情報が分配される。したがって、複数のディスプレイデバイスをシームレスに切り替えることができる。
【０１１０】
［コンピュータの構成例］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１１１】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１１２】
コンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０１１３】
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０１１４】
入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
【０１１５】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０１１６】
コンピュータ５００（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１１７】
コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
【０１１８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１１９】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２０】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０１２１】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１２２】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１２３】
例えば、図１のディスプレイデバイス４１およびディスプレイデバイス４２は、表示制御装置１１の内部に設けられるようにしてもよいし、また、例えば、ディスプレイIF２３および２４は、表示制御装置１１の外部に設けられるようにしてもよい。
【０１２４】
また、例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１２５】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１２６】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１２７】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１２８】
なお、本技術は以下のような構成も取ることができる。
（１）  センサからの外光量情報に応じて、複数のディスプレイデバイスに輝度情報を分配する表示制御部と、
前記表示制御部により分配された輝度情報に基づいて、前記複数のディスプレイデバイスをそれぞれ駆動する複数の駆動部と
を備える表示制御装置。
（２）  前記外光量情報を取得する前記センサを
さらに備える前記（１）に記載の表示制御装置。
（３）  前記複数のディスプレイデバイスのうち、上面に積層されるディスプレイデバイスは、透過型のディスプレイデバイスであり、下面に積層されるディスプレイデバイスは、反射型のディスプレイデバイスである
前記（１）または（２）に記載の表示制御装置。
（４）  前記上面に積層されるディスプレイデバイスは、自発光のディスプレイデバイスであり、下面に積層されるディスプレイデバイスは、画素状態を保持するディスプレイデバイスである
前記（１）乃至（３）のいずれかに記載の表示制御装置。
（５）  前記上面に積層されるディスプレイデバイスは、OLED(Organic Light-Emitting Diode)であり、下面に積層されるディスプレイデバイスは、電子ペーパディスプレイデバイスである
前記（１）乃至（４）のいずれかに記載の表示制御装置。
（６）  入力画像の画像特徴情報として、テキストまたはグラフィック領域か否かに基づいて、表示重みを計算する重み計算部をさらに備え、
前記表示制御部は、前記重み計算部により計算された表示重みに応じて、前記複数のディスプレイデバイスに輝度情報を分配する
前記（１）乃至（５）のいずれかに記載の表示制御装置。
（７）  入力画像の動き情報に基づいて、表示重みを計算する重み計算部をさらに備え、
前記表示制御部は、前記重み計算部により計算された表示重みに応じて、前記複数のディスプレイデバイスに輝度情報を分配する
前記（１）乃至（５）のいずれかに記載の表示制御装置。
（８）  バッテリ残量情報に基づいて、表示重みを計算する重み計算部をさらに備え、
前記表示制御部は、前記重み計算部により計算された表示重みに応じて、前記複数のディスプレイデバイスに輝度情報を分配する
前記（１）乃至（５）のいずれかに記載の表示制御装置。
（９）  表示制御装置が、
センサからの外光量情報に応じて、複数のディスプレイデバイスに輝度情報を分配し、
分配された輝度情報に基づいて、前記複数のディスプレイデバイスをそれぞれ駆動する
表示制御方法。
【符号の説明】
【０１２９】
１１  表示制御装置，  １２，１２−１乃至１２−４  センサ，  １３  ディスプレイパネル，  ２１  制御部，  ２２  センサIF，  ２３，２４  ディスプレイIF，  ２５  画像供給部，  ２６  バス，  ２７  全体制御部，  ２８  記憶装置，  ２９  バッテリ，  ３０  ユーザIF，  ４１，４２  ディスプレイデバイス，  ５１  表示重み計算部，  ５２  表示輝度計算部，  ５３  ePaper表示輝度計算部，  ５４  OLED表示輝度計算部
【図１】
2014119403.tif 000009
【図２】
2014119403.tif 000010
【図３】
2014119403.tif 000011
【図４】
2014119403.tif 000012
【図５】
2014119403.tif 000013
【図６】
2014119403.tif 000014
【図７】
2014119403.tif 000015
【図８】
2014119403.tif 000016
【図９】
2014119403.tif 000017
【図１０】
2014119403.tif 000018
【図１１】
2014119403.tif 000019
【図１２】
2014119403.tif 000020
【図１３】
2014119403.tif 000021
【図１４】
2014119403.tif 000022
【図１５】
2014119403.tif 000023
【手続補正書】
【提出日】平成26年5月21日(2014.5.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
センサからの外光量情報に応じて、複数のディスプレイデバイスに輝度情報を分配する表示制御部と、
前記表示制御部により分配された輝度情報に基づいて、前記複数のディスプレイデバイスをそれぞれ駆動する複数の駆動部と、
入力画像の画像特徴情報として、テキスト領域であるかまたはグラフィック領域であるかに基づいて、表示重みを計算する重み計算部と
を備え、
前記表示制御部は、前記重み計算部により計算された表示重みに応じて、前記複数のディスプレイデバイスに輝度情報を分配する
表示制御装置。
【請求項２】
前記外光量情報を取得する前記センサを
さらに備える請求項１に記載の表示制御装置。
【請求項３】
前記複数のディスプレイデバイスのうち、上面に積層されるディスプレイデバイスは、透過型のディスプレイデバイスであり、下面に積層されるディスプレイデバイスは、反射型のディスプレイデバイスである
請求項１に記載の表示制御装置。
【請求項４】
前記上面に積層されるディスプレイデバイスは、自発光のディスプレイデバイスであり、下面に積層されるディスプレイデバイスは、画素状態を保持するディスプレイデバイスである
請求項３に記載の表示制御装置。
【請求項５】
前記上面に積層されるディスプレイデバイスは、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）であり、下面に積層されるディスプレイデバイスは、電子ペーパディスプレイデバイスである
請求項４に記載の表示制御装置。
【請求項６】
（削除）
【請求項７】
入力画像の動き情報に基づいて、表示重みを計算する重み計算部をさらに備え、
前記表示制御部は、前記重み計算部により計算された表示重みに応じて、前記複数のディスプレイデバイスに輝度情報を分配する
請求項１に記載の表示制御装置。
【請求項８】
バッテリ残量情報に基づいて、表示重みを計算する重み計算部をさらに備え、
前記表示制御部は、前記重み計算部により計算された表示重みに応じて、前記複数のディスプレイデバイスに輝度情報を分配する
請求項１に記載の表示制御装置。
【請求項９】
表示制御装置が、
入力画像の画像特徴情報として、テキスト領域であるかまたはグラフィック領域であるかに基づいて、表示重みを計算し、
センサからの外光量情報と計算された表示重みとに応じて、複数のディスプレイデバイスに輝度情報を分配し、
分配された輝度情報に基づいて、前記複数のディスプレイデバイス
をそれぞれ駆動する
表示制御方法。
【国際調査報告】
2014119403.tif 000024
2014119403.tif 000025
2014119403.tif 000026
2014119403.tif 000027