(57)【要約】【課題】表示品位の低下をより確実に抑えつつ消費電力を低減することができる端末装置を提供すること。【解決手段】端末装置１００は、メモリに格納された画像データに基づいて画像表示を行う装置であって、１つまたは複数の画像部品を含む原画像の画像データを取得するアプリ管理部１３０と、原画像の画像データをメモリに格納する画像生成部１６０と、画像生成部１６０に対して、原画像の画像部品を画像部品ごとにそのデータサイズを削減した省電力用画像部品に置き換えた省電力画像の画像データを、原画像の画像データに置き換えてメモリに格納させる省電力化指示部１５０とを有する。【選択図】図１
2012163621.tif 000002
【特許請求の範囲】
【請求項１】
メモリに格納された画像データに基づいて画像表示を行う端末装置であって、
１つまたは複数の画像部品を含む原画像の画像データを取得するアプリ管理部と、
前記原画像の画像データを前記メモリに格納する画像生成部と、
前記画像生成部に対して、前記原画像の前記画像部品を、前記画像部品ごとにそのデータサイズを削減した省電力用画像部品に置き換えた省電力画像の画像データを、前記原画像の画像データに置き換えて前記メモリに格納させる省電力化指示部と、を有する、
端末装置。
【請求項２】
前記画像生成部は、
前記画像部品に対してデータサイズの削減を行うことにより前記省電力用画像部品を生成し、生成した省電力用画像部品を用いて前記省電力画像の画像データを生成する、
請求項１記載の端末装置。
【請求項３】
前記省電力化指示部は、
前記画像部品ごとに、その属性に基づいて、前記省電力用画像部品への置き換えを行うか否かを決定する、
請求項２記載の端末装置。
【請求項４】
前記省電力化指示部は、
前記画像部品ごとに、その属性に基づいて、データサイズの削減手法を決定する、
請求項３記載の端末装置。
【請求項５】
前記属性は、表示階層、表示画面サイズ、画像種別、および他の画像部品との重畳状態を含む、
請求項４記載の端末装置。
【請求項６】
前記省電力化指示部は、
前記原画像に含まれる前記画像部品に対して、それぞれのデータサイズと前記属性に従った検索順序とを対応付けた検索順序付きアプリ情報を生成し、前記検索順序付きアプリ情報と、前記原画像の画像データの原データサイズと、前記省電力画像の画像データの目標データサイズとに基づいて、前記置き換えの対象となる前記画像部品を決定する、
請求項５記載の端末装置。
【請求項７】
前記属性と前記削減手法との組み合わせに対応付けて、データサイズを削減することの優先順位を規定した省電力用画像部品情報を格納する省電力用画像部品情報データベース、を更に有し、
前記省電力化指示部は、
前記省電力画像の画像データのデータサイズが、前記目標データサイズ以下となるまで、前記優先順位を上位とし前記検索順序を下位として組み合わせた順序に従って前記画像部品に対して前記削減手法を適用する、
請求項６記載の端末装置。
【請求項８】
前記省電力化指示部は、
前記表示階層、前記表示画面サイズ、前記画像種別、および前記重畳状態の少なくとも１つに基づいて前記検索順序の対応付けを行うことにより、前記検索順序付きアプリ情報を生成し、
前記省電力用画像部品情報は、前記表示階層、前記表示画面サイズ、前記画像種別、および前記重畳状態の少なくとも１つに対して前記優先順位を対応付けて記述している、
請求項７記載の端末装置。
【請求項９】
前記削減手法は、１つまたは複数のレベルの、リスト表示行数削減、半透明化、および減色の少なくとも２つを含む、
請求項８記載の端末装置。
【請求項１０】
メモリに格納された画像データに基づいて画像表示を行う端末装置における画像処理方法であって、
１つまたは複数の画像部品を含む原画像の画像データを取得するステップと、
取得した前記原画像の前記画像部品を、前記画像部品ごとにそのデータサイズを削減した省電力用画像部品に置き換えた省電力画像の画像データを生成するステップと、
生成した前記省電力画像の画像データを、前記原画像の画像データに置き換えて前記メモリに格納するステップと、を有する、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メモリに格納されたデータに基づいて画像表示を行う端末装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、各種装置における画像表示の進展は、特に、モバイル端末装置の液晶表示装置等における画像表示の色数の増加が顕著である。例えば、携帯電話機や携帯ゲーム機等では、ＲＧＢ１６（１６ビットカラー）やＲＧＢ２４（２４ビットカラー）というＲＧＢ（red-green-blue color model）表現方法が、一般的となってきている。ＲＧＢ１６とは、Ｒ（red color）とＢ（blue color）とを各５ビット、Ｇ（green color）を６ビットの情報で表す色の表現方法である。同様に、ＲＧＢ２４とは、Ｒ、Ｇ、Ｂをそれぞれ８ビットの情報で表す色の表現方法である。
【０００３】
一般的には、画像表示の色数が多いほど、メモリの動作やデータ転送における消費電力が高くなる。ところが、携帯型の端末装置の場合は、主にバッテリにより駆動するため、できるだけ消費電力を抑えて動作することが求められる。
【０００４】
そこで、従来技術では、表示の対象となる画像データ（以下「原画像データ」という）のデータサイズを削減して、画像の表示に使用されるメモリサイズを抑えることにより、省電力化を図っている（例えば特許文献１参照）。
【０００５】
この従来技術は、端末装置における画像表示を、通常の２４ビットモード（ＲＧＢ２４）から、表示色数がより低い１６ビットモード（ＲＧＢ１６）に切り替えて動作する。すなわち、従来技術は、表示対象となる画像のデータサイズを削減する。これにより、画像の表示に使用されるメモリサイズが抑えられ、メモリの動作やデータ転送の処理負荷が低減する。したがって、従来技術は、画像表示の省電力化を図ることができる。
【０００６】
ところが、データサイズが削減された画像は、原画像に比べて情報の欠落（上述の例では細かい色の差の欠落）が発生するため、画質が低下し、ユーザに表示品位の低下を感じさせ易い。ここで、表示品位とは、画像を見る者に認識される画質をいうものとする。
【０００７】
そこで、従来技術では、明るい環境下においては色数を少なくしても表示品位の低下が感じられにくいという前提で、表示装置の周囲の照度が高い間に、データサイズの削減を行うようにしている。これにより、従来技術は、端末装置において、画像表示の低電力化を図りつつ、表示品位の維持を図ることができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−２７５８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来技術は、端末装置が暗い環境下において長時間使用される場合において低電力化を図ろうとすると、表示品位を低下させてしまうという課題を有する。一般的に、携帯電話機や携帯ゲーム機等の多くの端末装置は、屋内や夜間等の暗い環境下において長時間使用されることが多い。したがって、表示品位の低下をより確実に抑えつつ消費電力を低減可能な技術が望まれる。
【００１０】
本発明の目的は、表示品位の低下をより確実に抑えつつ消費電力を低減することができる端末装置および画像処理方法を提供することである。
【課題を解決するための手段】
【００１１】
本発明の端末装置は、メモリに格納された画像データに基づいて画像表示を行う端末装置であって、１つまたは複数の画像部品を含む原画像の画像データを取得するアプリ管理部と、前記原画像の画像データを前記メモリに格納する画像生成部と、前記画像生成部に対して、前記原画像の前記画像部品を、前記画像部品ごとにそのデータサイズを削減した省電力用画像部品に置き換えた省電力画像の画像データを、前記原画像の画像データに置き換えて前記メモリに格納させる省電力化指示部とを有する。
【００１２】
本発明の画像処理方法は、メモリに格納された画像データに基づいて画像表示を行う端末装置における画像処理方法であって、１つまたは複数の画像部品を含む原画像の画像データを取得するステップと、取得した前記原画像の前記画像部品を、前記画像部品ごとにそのデータサイズを削減した省電力用画像部品に置き換えた省電力画像の画像データを生成するステップと、生成した前記省電力画像の画像データを、前記原画像の画像データに置き換えて前記メモリに格納するステップとを有する。
【発明の効果】
【００１３】
本発明によれば、表示品位の低下をより確実に抑えつつ消費電力を低減することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施の形態に係る端末装置の構成の一例を示すブロック図
【図２】本実施の形態における端末特有情報の内容の一例を示す図
【図３】本実施の形態における省電力用画像部品情報の内容の一例を示す図
【図４】本実施の形態における検索順序設定ルールの内容の一例を示す図
【図５】本実施の形態に係る端末装置の動作の一例を示すフローチャート
【図６】本実施の形態における原画像を模式的に示す図
【図７】本実施の形態における原画像の階層構造を模式的に示す図
【図８】本実施の形態におけるアプリ情報の内容の一例を示す図
【図９】本実施の形態における画像部品検索順序付アプリ情報の内容の一例を示す図
【図１０】本実施の形態における省電力要件情報の内容の一例を示す図
【図１１】本実施の形態におけるリストダイアログ用決定処理の一例を示すフローチャート
【図１２】本実施の形態におけるボタン用決定処理の一例を示すフローチャート
【図１３】本実施の形態における画像イメージ生成命令の内容の一例を示す図
【図１４】本実施の形態において合成画像が生成される様子を模式的に示す図
【発明を実施するための形態】
【００１５】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
【００１６】
図１は、本実施の形態に係る端末装置の構成の一例を示すブロック図である。
【００１７】
図１において、本実施の形態に係る端末装置１００は、端末特有情報データベース（ＤＢ：database）１１０、省電力用画像部品情報データベース１２０、アプリ管理部１３０、省電力要件情報生成部１４０、省電力化指示部１５０、画像生成部１６０、画像管理部１７０、合成部１８０、および表示部１９０を有する。
【００１８】
端末特有情報データベース１１０は、端末装置１００が有するメモリ（図示せず）に関する情報を記述した端末特有情報を格納する。
【００１９】
図２は、端末特有情報の内容の一例を示す図である。
【００２０】
図２に示すように、端末特有情報２１０は、情報項目２１１ごとに、その項目におけるメモリに関する情報の内容２１２を記述している。
【００２１】
本実施の形態では、端末装置１００は、第１メモリと第２メモリとを有するものとする。これは、未使用の方のメモリへの電力供給の停止などにより、メモリ装置全体の消費電力の削減が可能となるからである。
【００２２】
したがって、図２において、端末特有情報２１０は、例えば、端末装置１００がこれら２つのメモリ有している旨を記述する。また、端末特有情報２１０は、各メモリのデータサイズとして、例えば、第１メモリの容量が２５６ＭＢ（メガバイト）であり、その残容量が４０ＭＢである旨を記述する。ここで、残容量とは、端末特有情報２１０の使用可能なメモリのうち、使用されていない部分のメモリサイズをいう。
【００２３】
また、端末特有情報２１０は、例えば、バッテリ残量が閾値より減った際、第１メモリだけを動作させるというメモリの動作ルールを記述しているものとする。端末装置１００は、このような動作ルールに従って第２メモリの電力供給をカット、またはクロックを非活性にすることにより、端末装置１００の消費電力を低く抑えることが可能となる。
【００２４】
端末特有情報２１０は、例えば、製品出荷前に、端末装置１００のメーカにより予め端末特有情報データベース１１０に格納されるものとする。また、端末特有情報データベース１１０は、後述の表示部１９０により生成されるＧＵＩ（graphical user interface）等を介して、ユーザから、端末特有情報２１０の設定あるいは変更（書き換え）を受け付けてもよい。また、端末特有情報データベース１１０は、インターネット等のネットワークを介して、外部から認証を経て、端末特有情報２１０の設定あるいは変更を受け付けてもよい。更に、端末特有情報データベース１１０は、端末装置１００の状況の変化に応じて（例えばメモリの追加、残容量の変化等）、随時、端末特有情報２１０を変更してもよい。
【００２５】
図１の省電力用画像部品情報データベース１２０は、省電力用画像部品情報を格納する。省電力用画像部品情報は、表示階層、表示画面サイズ（原画像のサイズに対する相対的な大きさ）、画像種別、および重畳状態の少なくとも１つを含む画像部品の属性と、画像部品のデータサイズを削減する際の削減手法との組み合わせに対応付けた情報である。また、省電力用画像部品情報は、データサイズを削減することの優先順位（以下単に「優先順位」という）を規定した情報である。また、省電力用画像部品情報の優先順位は、削減により表示品位に与える影響の度合いの少ない順となっている。
【００２６】
ここで、画像部品とは、端末装置１００にインストールされている、または端末装置１００において、稼動しているアプリケーションソフトウェア群が画面表示の対象とする画像（以下「原画像」という）を構成する画像の一単位である。また、画像部品は、表示、削除、移動、表示形態の変更等の画像処理を個別に行うことが可能な画像である。端末装置１００は、画像部品により画像を構成することにより、例えば、全体画像に対する処理や、ボタン等のＧＵＩとしての機能の実現を、簡単に行うことが可能となる。画像部品の例としては、リストダイアログ、ボタン、ＪＰＥＧ（Joint Photographic Experts Group）画像、ＰＮＧ（portable network graphics）画像、および動画像などが挙げられる。
【００２７】
図３は、省電力用画像部品情報の内容の一例を示す図である。
【００２８】
図３に示すように、省電力用画像部品情報２２０は、優先順位２２１ごとに部品種別２２２と処理内容２２３との組を記述する。部品種別２２２は、表示階層、表示画面サイズ、画像種別、および他の画像部品との重畳状態を含む画像部品の属性を示す情報であり、データサイズを削減したときの表示品位の低下の度合いに対応するものである。処理内容２２３は、画像部品のデータサイズを削減した省電力画像部品を生成する際の生成手法を指定する情報である。処理内容２２３は、具体的な処理の内容そのものであってもよいし、予め設定された処理を識別情報等により指定する情報であってもよい。
【００２９】
例えば、「ボタン」という部品種別２２２の画像部品は、「ＪＰＥＧ画像」という部品種別２２２の画像部品よりも、データサイズを削減したときの全体画像の表示品位の低下の度合いが少ない。これは、通常、ユーザは、ＪＰＥＧ画像においては視覚的情報に注目するのに対し、ボタンにおいては機能的情報に注目するからである。
【００３０】
したがって、省電力用画像部品情報２２０は、例えば、「１」という優先順位２２１に対応付けて、「リストダイアログ」という部品種別２２２と、「省電力用リストダイアログ生成処理の実行」という処理内容２２３との組を記述している。省電力用リストダイアログ生成処理とは、例えば、リストダイアログにおいて同時に表示されるリストの行数を３行削減する処理である。そして、省電力用画像部品情報２２０は、例えば、より低い「３」という優先順位２２１に対応付けて、「ＰＮＧ画像」という部品種別２２２と「省電力用ＰＮＧ画像生成処理の実行」という処理内容２２３との組を記述している。
【００３１】
図１のアプリ管理部１３０は、上述のアプリケーションソフトウェア群を管理する。アプリ管理部１３０は、稼動しているアプリケーションソフトウェアが、表示対象とする画面を更新（描画）するごとに、原画像の画像データ（原画像データ）を取得する。この原画像データは、アプリケーションソフトウェアが表示（描画）の対象とする、１つまたは複数の画像部品を含む画像データである。そして、アプリ管理部１３０は、原画像に含まれる画像部品（以下「使用画像部品」という）に関する情報であるアプリ情報を取得し、原画像データと共に省電力化指示部１５０へ出力する。
【００３２】
アプリ管理部１３０は、アプリ情報を、原画像データから抽出してもよいし、アプリケーションソフトウェアから取得してもよい。アプリ情報の内容の具体例については、後述する。なお、ここでは、説明の簡便化のため、可動しているアプリケーションソフトウェアが１つであるものとして説明する。
【００３３】
省電力要件情報生成部１４０は、端末特有情報データベース１１０に格納された端末特有情報（図２参照）を参照して、省電力要件情報を生成し、省電力化指示部１５０へ出力する。ここで、省電力要件情報とは、省電力化処理を行わないことの要件（以下「省電力要件」という）を記述することにより、省電力化処理を行うことの条件を規定する情報である。省電力化処理とは、原画像の画像部品を省電力画像部品に置き換えた省電力画像の画像データ（省電力画像データ）を、原画像データに置き換えてメモリに格納（ビットマップ展開）させるための処理である。省電力要件情報の内容の具体例については後述する。
【００３４】
省電力化指示部１５０は、原画像データに基づいて画像イメージ生成命令を生成し、原画像データと共に画像生成部１６０へ出力する。ここで、画像イメージ生成命令とは、原画像データをメモリに格納（ビットマップ展開）し、メモリに格納された原画像データに基づいて画像表示を行うことを指示する情報である。
【００３５】
但し、省電力化指示部１５０は、省電力要件に基づいて、適宜、省電力化処理を指示する内容に画像イメージ生成命令を書き換える。
【００３６】
具体的には、以下の通りである。まず、省電力化指示部１５０は、逐次、省電力要件情報に基づいて省電力化処理を行うか否かを判断する。そして、省電力化指示部１５０は、省電力化処理を行うと判断した場合、予め設定された検索順序設定ルールに従って、使用画像部品に対して検索順序を設定する。ここで、また、検索順序設定ルールとは、使用画像部品に対して、表示階層、表示画面サイズ、画像種別、および他の画像部品との重畳状態の少なくとも１つを含むそれぞれの属性に従って、検索順序を設定するためのルールである。また、検索順序とは、データサイズを削減する対象を検索する際の順序である。検索順序は、各画像部品に対してデータサイズ削減を行ったときの表示品位に与える影響の度合いの少なさに対応して定められる。
【００３７】
図４は、検索順序設定ルールの内容の一例を示す図である。
【００３８】
図４に示すように、検索順序設定ルール２３０は、例えば、「重畳している他の画像部品の数がより多い画像部品に対して、より上位の検索順序を設定」する旨を記述している。この場合、省電力化指示部１５０は、表示領域が上に重なっている他の画像部品の数が最も多い画像部品に対して、検索順序１番目を設定することになる。
【００３９】
なお、検索順序設定ルール２３０は、例えば、より上位の表示階層の画像部品に対して、より下位の検索順序を設定する内容であっても良い。また、検索順序設定ルール２３０は、表示階層順に重畳が行われたときの表示画面サイズがより大きい画像部品に対して、より下位の検索順序を設定する内容であってもよい。または、検索順序設定ルール２３０は、表示階層による順位と表示画面サイズによる順位とを組み合わせて得られる順位に対して、検索順序を設定する内容であってもよい。
【００４０】
そして、図１の省電力化指示部１５０は、設定した検索順序等を記述した情報である検索順序付きアプリ情報を生成する。更に、省電力化指示部１５０は、検索順序付きアプリ情報に基づいて、省電力化処理を指示する画像イメージ生成命令を生成し、原画像データと共に画像生成部１６０へ出力する。検索順序付きアプリ情報の内容および画像イメージ生成命令の内容の具体例については、後述する。
【００４１】
画像生成部１６０は、原画像イメージデータおよび画像イメージ生成命令に基づいて、それぞれ画像部品に対応するレイヤ画像を生成し、生成したレイヤ画像群を、画像管理部１７０へ出力する。レイヤ画像は、表示階層ごとの画像であり、本実施の形態では、それぞれ１つの画像部品を含むものとする。
【００４２】
画像管理部１７０は、レイヤ画像群を、アプリケーションソフトウェアごとに管理し、画像イメージ生成命令と共に合成部１８０へ出力する。具体的には、画像管理部１７０は、入力されたレイヤ画像群の一まとまりの画像データを、メモリに格納する。このメモリに格納される画像データは、省電力化処理が行われていないときには、原画像データとなり、省電力化処理が行われたときには、省電力画像データとなる。
【００４３】
合成部１８０は、画像イメージ生成命令に基づいて、α合成等によりレイヤ画像を重畳合成した合成画像のデータ（以下「合成画像データ」という）を生成し、表示部１９０へ出力する。
【００４４】
表示部１９０は、例えば液晶ディスプレイを有し、合成画像データに基づいて画像を表示する。この表示部１９０において表示される画像は、省電力化処理が行われていないときには、原画像となり、省電力化処理が行われたときには、省電力画像となる。
【００４５】
なお、端末装置１００は、図示しないが、例えば、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）等の記憶媒体、およびＲＡＭ（random access memory）等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
【００４６】
このように、端末装置１００は、画像部品ごとに、データサイズ削減を行う。したがって、本実施の形態に係る端末装置１００は、データサイズ削減を、表示品位への影響が少ない画像部品に限定することができる。また、本実施の形態に係る端末装置１００は、データサイズ削減の度合いを、表示品位への影響が少ない画像部品のみ大きくすることができる。したがって、端末装置１００は、表示品位の低下をより確実に抑えつつ、消費電力を低減することができる。
【００４７】
次に、端末装置１００の動作について説明する。
【００４８】
図５は、端末装置１００の動作の一例を示すフローチャートである。なお、端末装置１００の動作の特徴は、主に、省電力化指示部１５０の動作にある。したがって、省電力化指示部１５０の動作を中心に説明を行う。
【００４９】
まず、ステップＳ１１００において、省電力化指示部１５０は、新たに表示の対象となる１画面分の原画像の原画像データとそのアプリ情報とを、アプリ管理部１３０から取得する。アプリ情報は、上述の通り、原画像が切り替えられるごとに、アプリ管理部１３０によって取得されるものである。
【００５０】
図６は、以下の説明において想定する原画像を模式的に示す図である。
【００５１】
図６に示すように、原画像３１０は、第１〜第５の画像部品３１１〜３１５を重畳して構成されている。第１〜第５の画像部品３１１〜３１５には、順に、識別子α、β、γ、δ、εが割り当てられているものとする。
【００５２】
なお、本実施の形態において、各画像部品は、上述の通り、原画像３１０を構成するレイヤ画像に１対１で対応しているものとする。このため、画像部品の識別子は、表示階層（画面における奥行き情報、ｚ軸情報）をそのまま示すものとする。
【００５３】
図７は、図６に示す原画像の階層構造を模式的に示す図である。
【００５４】
図７に示すように、第１〜第５の画像部品３１１〜３１５（識別子α〜ε）は、この順序で、下層から上層へと配置されているものとする。したがって、例えば、最も下層に位置する第１の画像部品３１１（識別子α）は、原画像において、他の画像部品３１２〜３１５（識別子β〜ε）に覆われた状態となる。
【００５５】
なお、本実施の形態における原画像は、ＲＧＢ方式に透明度を加えた画像フォーマットであり、例えば、ＲＧＢＡ（red-green-blue-alpha）の画像とする。したがって、画像部品には、半透明画像も含まれるものとする。
【００５６】
図８は、図６に示す原画像に対応して生成されるアプリ情報の内容の一例を示す図である。
【００５７】
図８に示すように、アプリ情報４１０は、情報項目４１１ごとに、その項目における原画像データに関する情報の内容４１２を記述する。具体的には、アプリ情報４１０は、各使用画像部品の識別子および属性と、原画像データに関するアプリ使用メモリサイズとを記述する。ここで、アプリ使用メモリサイズとは、使用画像部品の表示に使用されるメモリサイズを除いた、アプリケーションソフトウェア本体が使用する最大メモリサイズであり、る。ここでは、アプリ情報４１０は、例えば、「α」という識別子（表示階層）の使用画像部品が、「ＪＰＥＧ画像」という部品種別である旨と、その表示領域（０，０−７９９，１２７９）とを記述する。また、アプリ情報４１０は、原画像データのアプリ使用メモリサイズが３５ＭＢである旨を記述する。
【００５８】
そして、図５のステップＳ１２００において、省電力化指示部１５０は、アプリ情報（図８参照）から、検索順序設定ルール（図４参照）に従って、使用画像部品に対する検索順序を決定する。また、省電力化指示部１５０は、原画像データ、あるいはアプリ情報に記述された部品種別および表示領域の大きさから、各使用画像部品のデータサイズを取得する。省電力化指示部１５０は、アプリ情報に記述された使用画像部品の矩形サイズから、例えば、ＲＧＢＡ８８８８では１ピクセルのデータサイズを３２ｂｉｔ（４Ｂｙｔｅ）として、その使用画像部品のデータサイズを算出する。そして、省電力化指示部１５０は、決定した検索順序と、取得した各使用画像部品のデータサイズとから、検索順序付きアプリ情報を生成する。ここで、使用画像部品のデータサイズとは、その使用画像部品の表示に使用されるメモリサイズである。
【００５９】
図９は、図８に示すアプリ情報から生成される画像部品検索順序付アプリ情報の内容の一例を示す図である。
【００６０】
図９に示すように、検索順序付きアプリ情報４２０は、情報項目４２１ごとに、その項目における原画像データに関する情報の内容４２２を記述する。具体的には、検索順序付きアプリ情報４２０は、検索順序を対応付けた各画像部品の識別子およびその属性と、アプリ使用メモリサイズと、画像使用メモリサイズとを記述する。
【００６１】
ここで、画像使用メモリサイズとは、原画像データに含まれる全ての使用画像部品の表示に使用されるメモリサイズであり、使用画像部品のデータサイズの合計値である。図９に示す例では、識別子α〜εの使用画像部品の画像使用メモリサイズは、順に「４ＭＢ」、「０.４ＭＢ」、「１.８ＭＢ」、「１.４ＭＢ」、および「０.４ＭＢ」である。したがって、画像使用メモリサイズは、これらの合計値である「８ＭＢ」となる。
【００６２】
検索順序付きアプリ情報４２０は、検索順序を対応付けた各画像部品の識別子およびその属性を記述する。例えば、検索順序付きアプリ情報４２０は、「α」という識別子（表示階層）の使用画像部品が、「ＪＰＥＧ画像」という部品種別であり、そのデータサイズが４ＭＢである旨を記述する。また、検索順序付きアプリ情報４２０は、識別子α〜εの使用画像部品に対して、この順序で、検索順序１番目〜５番目を設定した旨を記述する。
【００６３】
そして、ステップＳ１３００において、省電力化指示部１５０は、省電力要件情報生成部１４０から省電力要件情報を取得する。省電力要件情報は、上述の通り、端末特有情報（図２参照）および端末装置１００の状況に基づいて、省電力要件情報生成部１４０によって生成されるものである。
【００６４】
図１０は、省電力要件情報の内容の一例を示す図である。
【００６５】
図１０に示すように、省電力要件情報２６０は、情報項目２６１ごとに、その項目における省電力要件の内容２６２を記述する。ここでは、省電力要件情報２６０は、省電力要件として、アプリ使用メモリサイズと画像使用メモリサイズとの総和（以下「全使用メモリサイズ」という）が、第１メモリの残容量である４０ＭＢ以下であることを記述する。これは、全使用メモリサイズが４０ＭＢを超える場合には省電力化処理を行う旨を規定するものである。
【００６６】
そして、図５のステップＳ１４００において、省電力化指示部１５０は、検索順序付きアプリ情報（図９参照）の内容、つまり原画像データが、省電力要件情報（図１０参照）の省電力要件を満たしているか否かを判断する。省電力化指示部１５０は、原画像データが省電力要件を満たしている場合（Ｓ１４００：ＹＥＳ）、ステップＳ２２００へ進む。また、省電力化指示部１５０は、原画像データが省電力要件を満たしていない場合（Ｓ１４００：ＮＯ）、ステップＳ１５００へ進む。
【００６７】
例えば、図９に示す例の場合、全使用メモリサイズは、上述の通り「４３ＭＢ」となり、第１メモリの残容量である４０ＭＢを超えることになる。したがって、この場合、省電力化指示部１５０は、省電力要件が満たされていないと判断し、ステップＳ１５００へ進むことになる。
【００６８】
ステップＳ１５００において、省電力化指示部１５０は、省電力用画像部品情報データベース１２０に格納された省電力用画像部品情報（図３参照）の優先順位を、その優先順位に従って１つ選択する。すなわち、省電力化指示部１５０は、最初にステップＳ１５００に進んだときには、優先順位「１」を選択し、次にステップＳ１５００に戻ってきたときには、優先順位「２」を選択する。言い換えると、省電力化指示部１５０は、優先順位の選択により、その優先順位に対応する省電力用画像部品情報を、省電力要件が満たされるまで繰り返し選択する。
【００６９】
そして、ステップＳ１６００において、省電力化指示部１５０は、検索順序付きアプリ情報の検索順序に従い、検索順序付きアプリ情報に記述された使用画像部品の部品種別を、選択中の省電力用画像部品情報において検索する。すなわち、省電力化指示部１５０は、選択中の優先順位およびその優先順位における処理内容に対応する使用画像部品を、データサイズ削減が可能な使用画像部品として検索する。使用画像部品のデータサイズ削減とは、つまり、使用画像部品を、対応する処理内容に基づいて生成される省電力用画像部品に置き換えることを意味する。
【００７０】
例えば、省電力化指示部１５０が、図３に示す省電力用画像部品情報を用いて、図９に示す検索順序付きアプリ情報に対する最初の検索（つまり優先順位１での検索）を行う場合を想定する。この優先順位１での検索において、省電力化指示部１５０は、まず、識別子δのリストダイアログを検索結果として得、次に、識別子εのボタンを検索結果として得る。しかし、対象となる部品種別はリストダイアログとボタンのみであるため（図３参照）、省電力化指示部１５０は、識別子α、δのＪＰＥＧ画像や識別子βのＰＮＧ画像については検索結果として得ないことになる。
【００７１】
そして、省電力化指示部１５０は、使用画像部品が１つ検索されるごとに、ステップＳ１７００へ進む。なお、省電力化指示部１５０は、データサイズ削減が可能な使用画像部品が検索されなかった場合、後述の、ステップＳ１９００へ進むようにしてもよい。
【００７２】
ステップＳ１７００において、省電力化指示部１５０は、検索された使用画像部品をデータサイズ削減対象に追加して得られる省電力画像データで、原画像データを置き換えたときの、全使用メモリサイズを試算する。
【００７３】
そして、ステップＳ１８００において、省電力化指示部１５０は、使用画像部品のデータサイズ削減対象への追加により得られる省電力画像データが、省電力要件情報（図１０参照）の省電力要件を満たすか否かを判断する。省電力化指示部１５０は、省電力画像データが、省電力要件を満たさない場合（Ｓ１８００：ＮＯ）、ステップＳ１９００へ進む。
【００７４】
ステップＳ１９００において、省電力化指示部１５０は、選択中の優先順位について、データサイズ削減対象への追加が可能な使用画像部品がまだ存在しているか否かを判断する。省電力化指示部１５０は、データサイズ削減対象への追加が可能な使用画像部品がまだ存在している場合（Ｓ１９００：ＹＥＳ）、ステップＳ１６００へ戻り、次の使用画像部品を検索する。また、省電力化指示部１５０は、データサイズ削減対象への追加が可能な使用画像部品が存在しない場合（Ｓ１９００：ＮＯ）、ステップＳ２０００へ進む。これにより、省電力化指示部１５０は、選択中の優先順位の範囲内で、省電力要件が満たされるまで、検索順序に従って、データサイズ削減対象を追加していく。すなわち、省電力化指示部１５０は、省電力画像データのデータサイズが、省電力要件により間接的に規定され目標データサイズ以下となるまで、データサイズ削減対象を追加していく。具体的には、省電力化指示部１５０は、優先順位を上位とし検索順序を下位として組み合わせた順序に従って、画像部品に対して削減手法を適用する。
【００７５】
ステップＳ２０００において、省電力化指示部１５０は、省電力用画像部品情報（図３参照）に、選択中の優先順位よりも下位の優先順位が存在するか否かを判断する。省電力化指示部１５０は、下位の優先順位が存在する場合（Ｓ２０００：ＹＥＳ）、ステップＳ１５００へ戻り、次の優先順位を選択する。これにより、省電力化指示部１５０は、省電力要件が満たされるまで、優先順位を順次下げながら、データサイズ削減対象を追加していく。
【００７６】
そして、省電力化指示部１５０は、省電力画像データが、省電力要件を満たすようになると（Ｓ１８００：ＹＥＳ）、ステップＳ２１００へ進む。省電力化指示部１５０は、上述の例では、画像使用メモリサイズが基の「８ＭＢ」（原データサイズ）から「５ＭＢ」（目標データサイズ）以下となるまで、データサイズ削減対象を追加していくことになる。
【００７７】
また、省電力化指示部１５０は、下位の優先順位が存在しなくなった場合にも（Ｓ２０００：ＮＯ）、ステップＳ２１００へ進む。この場合には、省電力化指示部１５０は、省電力処理が十分に行えない旨を画像表示などによりユーザに通知することが望ましい。また、省電力化指示部１５０は、稼動中であって優先度が低い、または、スリープモード中である他のアプリケーションソフトウェアを停止させる指示を行ってもよい。
【００７８】
なお、省電力化指示部１５０は、使用画像部品ごとに、省電力用画像部品の生成処理の内容を動的に変更してもよい。ここでは、上述の省電力用リストダイアログ生成処理の内容を決定する処理（以下「リストダイアログ用決定処理」という）の具体例について、説明する。また、ここでは、省電力用ボタン生成処理の内容を決定する処理（以下「ボタン用決定処理」という）の具体例について説明する。これらの処理は、例えば、図５のステップＳ１７００において実行される。
【００７９】
図１１は、リストダイアログ用決定処理の一例を示すフローチャートである。
【００８０】
省電力化指示部１５０は、検索されたリストダイアログが半透明を取り止め可能である場合（Ｓ１７０１：ＹＥＳ）、その取り止めを決定し、取り止めた場合の全使用メモリサイズを試算する（Ｓ１７０２）。省電力化指示部１５０は、例えば、リストダイアログのデータが半透明であるか否かに基づいて、半透明を取り止め可能であるか否かを判断する。そして、省電力化指示部１５０は、半透明の取り止めにより省電力要件が満たされるようになった場合（Ｓ１７０３：ＹＥＳ）、処理を終了する。
【００８１】
省電力化指示部１５０は、半透明を取り止め可能ではない場合（Ｓ１７０１：ＮＯ）、または、取り止めても省電力要件が満たされない場合（Ｓ１７０３：ＮＯ）、次に、リストダイアログが減色可能であるか否かを判断する（Ｓ１７０４）。省電力化指示部１５０は、例えば、リストダイアログに用いられている色が、２色など、文字表示等に最低限必要な所定の色数を超えているか否かに基づいて、この判断を行う。
【００８２】
省電力化指示部１５０は、減色可能である場合（Ｓ１７０４：ＹＥＳ）、その減色を決定し、減色を行った場合の全使用メモリサイズを試算する（Ｓ１７０５）。そして、省電力化指示部１５０は、減色により省電力要件が満たされるようになった場合（Ｓ１７０６：ＹＥＳ）、処理を終了する。
【００８３】
省電力化指示部１５０は、減色可能ではない場合（Ｓ１７０４：ＮＯ）、または、減色を行っても省電力要件が満たされない場合（Ｓ１７０６：ＮＯ）、ステップＳ１７０７へ進む。そして、省電力化指示部１５０は、次に、同時に表示可能なリストの行を、現状よりも１行削減可能であるか否かを判断する（Ｓ１７０７）。省電力化指示部１５０は、例えば、同時に表示可能なリストの行が、３行など、リストのスクロール状態の把握に最低限必要な所定の行数を超えているか否かに基づいて、この判断を行う。
【００８４】
省電力化指示部１５０は、削減可能である場合（Ｓ１７０７：ＹＥＳ）、そのリストの１行削除を決定し、削除した場合の全使用メモリサイズを試算する（Ｓ１７０８）。そして、省電力化指示部１５０は、削除により省電力要件が満たされるようになった場合（Ｓ１７０９：ＹＥＳ）、処理を終了する。
【００８５】
省電力化指示部１５０は、削除しても省電力要件が満たされない場合（Ｓ１７０９：ＮＯ）、ステップＳ１７０７へ戻る。そして、省電力化指示部１５０は、最後の１行になる等、リストの行を削減可能ではなくなった場合（Ｓ１７０７：ＮＯ）、処理を終了する。
【００８６】
なお、省電力化指示部１５０は、リストダイアログにおいて同時に表示されるリストの行数の削減を決定する場合において、その行数に応じて縮小（解像度を低減）したイメージを生成することを、併せて決定するようにしてもよい。この場合、後段の合成部１８０は、合成画像データを生成する際に、縮小されたイメージを本来の大きさに拡大して重畳合成をする。その際、ビットマップフォントでは、ジャギーが目立つ可能性もあるので、表示品位に影響を与えない縮小が限度となる。また、省電力化指示部１５０は、スケーラブルフォントの情報を別に生成し、後段の合成部１８０に対し、この情報に基づくリストダイアログを生成させてもよい。
【００８７】
図１２は、ボタン用決定処理の一例を示すフローチャートである。
【００８８】
省電力化指示部１５０は、検索されたボタンが半透明を取り止め可能である場合（Ｓ１７１１：ＹＥＳ）、その取り止めを決定し、取り止めた場合の全使用メモリサイズを試算する（Ｓ１７１２）。そして、省電力化指示部１５０は、半透明の取り止めにより省電力要件を満たす場合（Ｓ１７１３：ＹＥＳ）、処理を終了する。
【００８９】
省電力化指示部１５０は、元々半透明ではない等、半透明を取り止め可能ではない場合（Ｓ１７１１：ＮＯ）、または、取り止めても省電力要件が満たされない場合（Ｓ１７１３：ＮＯ）、ステップＳ１７１４へ進む。そして、省電力化指示部１５０は、次に、ボタンが減色可能であるか否かを判断する（Ｓ１７１４）。
【００９０】
省電力化指示部１５０は、減色可能である場合（Ｓ１７１４：ＹＥＳ）、その減色を決定し、減色を行った場合の全使用メモリサイズを試算して（Ｓ１７１５）、処理を終了する。
【００９１】
省電力化指示部１５０は、減色可能ではない場合（Ｓ１７１４：ＮＯ）、処理を終了する。
【００９２】
これらの処理内容生成処理により、省電力化指示部１５０は、それぞれの使用画像部品の特性に適した省電力用画像部品の生成処理の内容を作成して、データサイズ削減による省電力化を図ることができる。
【００９３】
例えば、画像フォーマットがＲＧＢＡ８８８８の画像部品において半透明を取止めた場合、そのデータサイズを２５％削減することができる。また、ＲＧＢ２４（ＲＧＢ８８８）からＲＧＢ１６（ＲＧＢ５６５）へと減色した場合、半透明の取止めも含めると、そのデータサイズを５０％削減することができる。
【００９４】
なお、半透明の取止め、減色、およびリストの行削減の可否の判断基準は、例えば、アプリケーションソフトウェア、原画像データ、または端末特有情報等に規定されていてもよい。この場合、省電力化指示部１５０は、例えば、原画像データ、アプリ情報、および省電力要件情報等に基づいて、半透明の取止め、減色、およびリストの行削減の可否を判断する。また、半透明の取止め、減色、およびリストの行削減の可否の判断基準は、ユーザが独自に設定可能としてもよい。
【００９５】
また、上記処理内容生成処理は、リストダイアログおよびボタン以外の各種画像部品に適用することができる。
【００９６】
図５のステップＳ２１００において、省電力化指示部１５０は、指定する処理内容を適用して省電力画像データを生成する。そして、省電力化指示部１５０は、生成した省電力画像データで原画像データを置き換えることを命令する画像イメージ生成命令を生成する。すなわち、省電力化指示部１５０は、データサイズ削減の対象として検索された各使用画像部品に対する処理内容を、画像イメージ生成命令に格納する。
【００９７】
図１３は、画像イメージ生成命令の内容の一例を示す図である。
【００９８】
図１３に示すように、画像イメージ生成命令４３０は、使用画像部品の識別子４３１に対応付けて、部品種別４３２、処理内容４３３、および矩形座標情報４３４を記述する。
【００９９】
識別子４３１は、アプリ情報に記述された識別子（図８参照）に対応しており、画面における奥行き情報を示す。処理内容４３３は、デフォルトでは通常画像部品を使用する旨を記述し、データサイズ削減の対象である場合には、省電力画像部品を生成するための処理内容が記述される。矩形座標情報４３４は、表示画像における使用画像部品の位置を示す情報が記述される。なお、部品種別４３２は、アプリ情報に記述された部品情報に対応するが、必ずしも必要ではない。処理内容４３３は、具体的な処理の内容そのものであってもよいし、予め設定された処理を識別情報等により指定する情報であってもよい。
【０１００】
ここでは、例えば、識別子δのリストダイアログについては、１０項目から８項目表示に変更してそのイメージを生成し、更に、ＲＧＢＡ８８８８からＲＧＢ８へと不透明化および減色を行う旨が記述されている。
【０１０１】
そして、図５のステップＳ２２００において、省電力化指示部１５０は、画像イメージ生成命令を画像生成部１６０へと出力する。これにより、省電力化指示部１５０は、画像生成部１６０に対して、画像イメージを生成させ、メモリに格納させる。この結果、合成画像（原画像または省電力画像）は、表示部１９０に表示される。
【０１０２】
図１４は、画像イメージ生成命令から合成画像が生成される様子を模式的に示す図である。
【０１０３】
図１４に示すように、画像生成部１６０は、画像イメージ生成命令（図１３参照）に基づいて、画像部品（または省電力用画像部品）３２１−１〜３２１−５をそれぞれ含むレイヤ画像３２２−１〜３２２−５を生成する。そして、画像生成部１６０は、生成したレイヤ画像３２２−１〜３２２−５を、画像イメージ生成命令と共に、画像管理部１７０を介して合成部１８０へ送る。
【０１０４】
合成部１８０は、画像管理部１７０から入力された画像イメージ生成命令の奥行き情報（識別子）に基づいて、レイヤ画像３２２−１〜３２２−５を重畳合成して得られる合成画像３２３の合成画像データを生成する。そして、合成部１８０は、合成画像データを、メモリに格納する。表示部１９０は、このメモリに格納された合成画像データに基づいて、合成画像の表示を行う。
【０１０５】
そして、図５のステップＳ２３００において、省電力化指示部１５０は、ユーザ操作などにより処理の終了を指示されたか否かを判断する。省電力化指示部１５０は、処理の終了を指示されていない場合（Ｓ２３００：ＮＯ）、ステップＳ１１００へ戻り、次の原画像のアプリ情報に対して、処理を繰り返す。また、省電力化指示部１５０は、処理の終了を指示された場合（Ｓ２３００：ＹＥＳ）、一連の処理を終了する。
【０１０６】
このような動作により、端末装置１００は、表示品位への影響を考慮して画像部品ごとに省電力化を行うことができる。
【０１０７】
なお、端末装置１００は、複数の検索順序パターンで複数の画像部品検索順序付アプリ情報（図９参照）を生成し、最良の省電力化の手法を採用してもよい。複数の検索順序パターンとして、例えば、画像部品の表示階層順序と、重畳されずに表示される領域の画面サイズの順序とを採用することができる。また、最良の判断基準としては、例えば、データサイズの削減量の多さや、省電力用画像部品への置き換えの個数の少なさ等を採用することができる。また、端末装置１００は、過去の処理においてデータサイズ削減の対象となった画像部品を継続してデータサイズ削減の対象としたり、その画像部品に対して決定したデータサイズ削減の処理内容を継続して適用してもよい。
【０１０８】
以上説明したように、本実施の形態に係る端末装置１００は、原画像の画像部品を対応する省電力用画像部品に置き換えた省電力画像の画像データを、原画像の画像データに置き換えてメモリに格納する。これにより、端末装置１００は、画像部品ごとに表示品位への影響の度合いが異なるところ、画像部品単位でのデータサイズ削減により、省電力化を図ることができる。したがって、端末装置１００は、原画像の全体のデータサイズを一律に削減する従来技術に比べて、表示品位の低下をより確実に抑えつつ、消費電力を低減することができる。そして、これにより、端末装置１００は、メモリのサイズおよび個数を削減することができ、軽量化および低コスト化を図ることができる。
【０１０９】
近年、各種の端末装置における画面上の表現は複雑化する傾向にあり、透明ボタンのようなデータサイズの大きい画像部品が、ＧＵＩとして頻繁に使用されるようになっている。したがって、本発明は、各種の端末装置に好適である。
【０１１０】
また、本実施の形態に係る端末装置１００は、２つのメモリ装置を備え、１つのメモリを停止させることができるような全使用メモリサイズを目標として、画像部品単位でのデータサイズ削減を行う。一部のメモリ装置の電力供給を停止させることにより、メモリ全体の消費電力は低減する。したがって、端末装置１００は、消費電力を更に低減することができる。
【０１１１】
なお、一部のメモリ装置に対するデータ保持のためのデータ更新周期を長くすることによっても、メモリ全体の消費電力は低減する。したがって、端末装置１００は、１つのメモリのデータ更新周期を長くすることができるような全使用メモリサイズを目標として、データサイズ削減を行ってもよい。
【０１１２】
なお、以上説明した実施の形態では、端末装置１００は、バッテリ残量に応じて２つのメモリのうちの１つの動作を停止させた上で、そのバッテリ残量に応じて画像表示の省電力化を行うようにしたが、これに限定されない。端末装置１００は、２つ以上のメモリを有する構成でもよい。また、端末装置１００は、メモリを１つのみ搭載し、そのバッテリ残量に応じて画像表示の省電力化を行うようにしてもよい。また、端末装置１００は、バッテリ残量によらずに、常に、またはユーザの指定等の他の条件に応じて、画像表示の省電力化を行うようにしてもよい。
【０１１３】
また、省電力化指示部１５０等の各機能部は、上述のように制御プログラムにより実現されるソフトウェアの他、集積回路であるＬＳＩ（large scale integrated circuit）により実現されてもよい。この場合、各機能部は、個別に１チップ化されてもよいし、複数で１チップ化されてもよい。なお、ここでのＬＳＩは、その集積度の違いにより、ＩＣ（integrated circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称され得る。
【０１１４】
また、省電力化指示部１５０等の各機能部を実現する集積回路は、ＬＳＩに限定されず、専用回路または汎用プロセッサとしてもよい。また、集積回路は、製造後にプログラムが可能なＦＰＧＡ（field programmable gate array）や、内部の回路セルの接続や設定を再構成することが可能なリコンフィギュラブル・プロセッサとしてもよい。更には、半導体技術の進歩または派生する別技術により、バイオ技術による集積回路化等、ＬＳＩに置き換わる集積回路化の技術が登場した場合には、その技術を用いてもよいことは勿論である。
【産業上の利用可能性】
【０１１５】
本発明に係る端末装置および画像処理方法は、表示品位の低下をより確実に抑えつつ消費電力を低減することができる端末装置および画像処理方法として有用である。したがって、本発明は、例えば、携帯電話機、携帯型ゲーム機、および携帯型ＡＶ（audio-video）プレイヤ等の各種モバイル端末装置や、据え置き型のテレビジョン装置等の映像端末装置等に有用である。
【符号の説明】
【０１１６】
１００  端末装置
１１０  端末特有情報データベース
１２０  省電力用画像部品情報データベース
１３０  アプリ管理部
１４０  省電力要件情報生成部
１５０  省電力化指示部
１６０  画像生成部
１７０  画像管理部
１８０  合成部
１９０  表示部
【図１】
2012163621.tif 000003
【図２】
2012163621.tif 000004
【図３】
2012163621.tif 000005
【図４】
2012163621.tif 000006
【図５】
2012163621.tif 000007
【図６】
2012163621.tif 000008
【図７】
2012163621.tif 000009
【図８】
2012163621.tif 000010
【図９】
2012163621.tif 000011
【図１０】
2012163621.tif 000012
【図１１】
2012163621.tif 000013
【図１２】
2012163621.tif 000014
【図１３】
2012163621.tif 000015
【図１４】
2012163621.tif 000016