(57)【要約】【課題】描画処理に要する時間の最大値を予測し、フレームレートを維持しつつ描画処理開始タイミングを可能な限り遅らせるスケジューリングを実現する。【解決手段】描画時間履歴格納部２２０は、描画時間計測部２１０が計測した１フレームあたりの描画時間を、所定数格納している。描画時間予測部２１０は、描画時間履歴格納部２２０が格納する描画時間から、次フレームの描画時間を予測する。描画処理開始時刻決定部２４０は、前フレームの画像表示時刻から１フレームの時間間隔だけ経過した時刻を算出し、算出した時刻から描画時間予測部２１０が予測した次フレームの描画時間だけ遡った時刻を描画処理開始時刻として決定する。描画制御部２５０は、描画処理開始時刻に、描画処理部１４０に次のフレームの描画処理を開始させる。【選択図】図１
2012002952.tif 000002
【特許請求の範囲】
【請求項１】
各フレームの画像データを生成し、フレームバッファを通じて、前記各フレームの映像をディスプレイに表示する画像表示装置を制御する画像表示制御装置であって、
前記画像表示装置が、各フレームの前記画像データの生成を開始してから、前記画像データをフレームバッファに書き込むまでの描画時間を計測する描画時間計測部と、
前記描画時間計測部が計測した各フレームの描画時間のうち、所定数前のフレームから現フレームまでの前記各フレームの描画時間を格納する描画時間履歴格納部と、
前記描画時間履歴格納部が格納している描画時間に基づいて、現フレームに続いて表示される次フレームの描画時間を予測する描画時間予測部と、
各フレームの映像をディスプレイに表示する画像表示時刻と前記画像表示装置のフレームレートに基づき、前記次フレームの画像表示予定時刻を算出し、前記画像表示予定時刻から前記描画時間予測部が予測する前記次フレームの描画時間だけ遡った時刻を描画処理開始時刻として決定する描画処理開始時刻決定部と、
前記描画処理開始時刻において、前記画像表示装置に前記次フレームの画像データの生成を開始させる描画制御部とを具備する、画像表示制御装置。
【請求項２】
前記描画時間予測部は、前記描画時間履歴格納部が格納している描画時間のうち最大の描画時間を、前記次フレームの描画時間として予測することを特徴とする請求項１に記載の画像表示制御装置。
【請求項３】
前記描画時間予測部は、前記描画時間履歴格納部が格納している描画時間のうち統計上所定の採択域に属する描画時間の中から最大の描画時間を求め、求めた最大の描画時間を前記次フレームの描画時間として予測することを特徴とする請求項１に記載の画像表示制御装置。
【請求項４】
前記画像表示装置に備えられた入力デバイスによる入力頻度を算出する入力頻度算出部をさらに備え、
前記描画時間予測部は、前記入力頻度の値が所定の閾値より大きい場合、前記描画時間履歴格納部が格納している描画時間のうち最大の描画時間を、前記次フレームの描画時間として予測し、前記入力頻度の値が所定の閾値以下である場合、前記描画時間履歴格納部が格納している描画時間のうち統計上所定の採択域に属する描画時間の中から最大の描画時間を求め、求めた最大の描画時間を前記次フレームの描画時間として予測することを特徴とする請求項１に記載の画像表示制御装置。
【請求項５】
前記所定の採択域は、右片側検定による予め定めた有意水準の棄却域以外の領域とすることを特徴とする請求項３または４に記載の画像表示制御装置。
【請求項６】
記憶装置を備え、各フレームの画像データを生成し、フレームバッファを通じて、前記各フレームの映像をディスプレイに表示する画像表示装置を制御する画像表示制御方法であって、
前記画像表示装置が、各フレームの前記画像データの生成を開始してから、前記画像データをフレームバッファに書き込むまでの描画時間を計測する描画時間計測ステップと、
前記描画時間計測ステップにより計測された各フレームの描画時間のうち、所定数前のフレームから現フレームまでの前記各フレームの描画時間を前記記憶装置に格納する描画時間履歴格納ステップと、
前記記憶装置に格納されている描画時間に基づいて、現フレームに続いて表示される次フレームの描画時間を予測する描画時間予測ステップと、
各フレームの映像をディスプレイに表示する画像表示時刻と前記画像表示装置のフレームレートに基づき、前記次フレームの画像表示予定時刻を算出し、前記画像表示予定時刻から前記描画時間予測ステップにより予測される前記次フレームの描画時間だけ遡った時刻を描画処理開始時刻として決定する描画処理開始時刻決定ステップと、
前記描画処理開始時刻になったか否か判定する描画処理開始時刻判定ステップと、
前記描画処理開始時刻判定ステップにより前記描画処理開始時刻になったと判定されると、前記画像表示装置に前記次フレームの画像データの生成を開始させる描画制御ステップとを含む、画像表示制御方法。
【請求項７】
前記描画時間予測ステップは、前記記憶装置に格納されている描画時間のうち最大の描画時間を、前記次フレームの描画時間として予測することを特徴とする請求項６に記載の画像表示制御方法。
【請求項８】
前記描画時間予測ステップは、前記記憶装置に格納されている描画時間のうち統計上所定の採択域に属する描画時間の中から最大の描画時間を求め、求めた最大の描画時間を前記次フレームの描画時間として予測することを特徴とする請求項６に記載の画像表示制御方法。
【請求項９】
前記描画時間予測ステップは、前記画像表示装置に備えられた入力デバイスによる入力頻度を算出し、前記入力頻度の値が所定の閾値より大きい場合、前記記憶装置に格納されている描画時間のうち最大の描画時間を、前記次フレームの描画時間として予測し、前記入力頻度の値が所定の閾値以下である場合、前記記憶装置に格納されている描画時間のうち統計上所定の採択域に属する描画時間の中から最大の描画時間を求め、求めた最大の描画時間を前記次フレームの描画時間として予測することを特徴とする請求項６に記載の画像表示制御方法。
【請求項１０】
前記所定の採択域は、右片側検定による予め定めた有意水準の棄却域以外の領域とすることを特徴とする請求項８または９に記載の画像表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、キー入力やセンサ入力を反映させて描画処理を行う画像表示制御装置及び画像表示制御方法に関するものである。
【背景技術】
【０００２】
複数の画像プレーンを含む画像データを表示する画像表示装置において、ユーザのキー入力等に合わせて適切な画像プレーンを選択し、選択した画像プレーンを優先的に描画処理する技術が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２６７５０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、この画像表示装置を含め、一般の画像表示装置は、前フレームの描画処理を終了すると、すぐに次フレームの描画処理を開始する。このため、ユーザからの入力が行われても、現在描画処理が行われているフレームの次のフレームまでユーザの入力が反映されない。これを図１２により詳細に説明する。
【０００５】
図１２は、従来の画像表示装置における描画処理を説明する図である。図１２において、入力処理とは、キー入力等の画像表示装置に対する入力を表す。表示画像生成処理とは、画像表示装置が次のフレームの表示画像においてこの入力をどのように反映するか決定し（例えば、表示画像内に表示される表示対象の移動、拡大、縮小、追加、変更などを決定する）、表示画像のデータを生成する。フレームバッファ書き込み処理とは、画像表示装置が表示画像のデータをフレームバッファに書き込む処理である。ディスプレイ出力処理とは、画像表示装置がフレームバッファに書き込まれたデータをディスプレイに出力する処理である。
【０００６】
画像表示装置においては、入力処理（同図の（２）参照）が表示画像生成処理開始後に行われると、その入力処理はすでに開始している表示画像生成処理には反映されず（同図の（３）参照）、その次に行われる表示画像生成処理において反映される（同図の（４）参照）。ここで、従来の画像表示装置は、ディスプレイ出力処理が完了すると、すぐに次のフレームの表示画像生成処理を開始する（図１２の（１）参照）。したがって、入力処理がどのようなタイミングで行われても、それを反映した画像表示は、次の次のフレームにおいて行われることになる。このため、従来の画像表示装置は、画像表示装置に対する入力に対し、すぐに表示画像に反映することができない。
【０００７】
そこで、本発明は上記課題に鑑みてなされた画像表示装置で利用される画像表示制御装置及び画像表示制御方法であって、次フレームの画像表示に支障をきたさない限りにおいて表示画像生成処理を遅らせ、できるだけ多くの入力処理を次フレームの表示画像において反映させることにより、ユーザ操作に対する応答性を高めた画像表示制御装置及び画像表示制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は、以下の特徴を有する。本発明の第１の局面は、各フレームの画像データを生成し、フレームバッファを通じて、各フレームの映像をディスプレイに表示する画像表示装置を制御する画像表示制御装置であって、画像表示装置が各フレームの前記画像データの生成を開始してから、画像データをフレームバッファに書き込むまでの描画時間を計測する描画時間計測部と、描画時間計測部が計測した各フレームの描画時間のうち、所定数前のフレームから現フレームまでの各フレームの描画時間を格納する描画時間履歴格納部と、描画時間履歴格納部が格納している描画時間に基づいて、現フレームに続いて表示される次フレームの描画時間を予測する描画時間予測部と、各フレームの映像をディスプレイに表示する画像表示時刻と画像表示装置のフレームレートに基づき、次フレームの画像表示予定時刻を算出し、画像表示予定時刻から描画時間予測部が予測する次フレームの描画時間だけ遡った時刻を描画処理開始時刻として決定する描画処理開始時刻決定部と、描画処理開始時刻において、画像表示装置に次フレームの画像データの生成を開始させる描画制御部とを具備する。
【０００９】
さらに、前述した描画時間予測部は、描画時間履歴格納部が格納している描画時間のうち最大の描画時間を、次フレームの描画時間として予測するとよい。
【００１０】
あるいは、前述した描画時間予測部は、描画時間履歴格納部が格納している描画時間のうち統計上所定の採択域に属する描画時間の中から最大の描画時間を求め、求めた最大の描画時間を次フレームの描画時間として予測するとよい。
【００１１】
さらに、本発明の画像表示制御装置は、画像表示装置に備えられた入力デバイスによる入力頻度を算出する入力頻度算出部をさらに備えるとよい。そして、前述した描画時間予測部は、入力頻度の値が所定の閾値より大きい場合、描画時間履歴格納部が格納している描画時間のうち最大の描画時間を、次フレームの描画時間として予測し、入力頻度の値が所定の閾値以下である場合、描画時間履歴格納部が格納している描画時間のうち統計上所定の採択域に属する描画時間の中から最大の描画時間を求め、求めた最大の描画時間を次フレームの描画時間として予測するとよい。
【００１２】
本発明の第２の局面は、記憶装置を備え、各フレームの画像データを生成し、フレームバッファを通じて、各フレームの映像をディスプレイに表示する画像表示装置を制御する画像表示制御方法であって、画像表示装置が各フレームの画像データの生成を開始してから、画像データをフレームバッファに書き込むまでの描画時間を計測する描画時間計測ステップと、描画時間計測ステップにより計測された各フレームの描画時間のうち、所定数前のフレームから現フレームまでの各フレームの描画時間を記憶装置に格納する描画時間履歴格納ステップと、記憶装置に格納されている描画時間に基づいて、現フレームに続いて表示される次フレームの描画時間を予測する描画時間予測ステップと、各フレームの映像をディスプレイに表示する画像表示時刻と画像表示装置のフレームレートに基づき、次フレームの画像表示予定時刻を算出し、画像表示予定時刻から描画時間予測ステップにより予測される次フレームの描画時間だけ遡った時刻を描画処理開始時刻として決定する描画処理開始時刻決定ステップと、描画処理開始時刻になったか否か判定する描画処理開始時刻判定ステップと、描画処理開始時刻判定ステップにより描画処理開始時刻になったと判定されると、画像表示装置に次フレームの画像データの生成を開始させる描画制御ステップとを含む。
【００１３】
さらに、前述した描画時間予測ステップは、記憶装置に格納されている描画時間のうち最大の描画時間を、次フレームの描画時間として予測するとよい。
【００１４】
あるいは、前述した描画時間予測ステップは、記憶装置に格納されている描画時間のうち統計上所定の採択域に属する描画時間の中から最大の描画時間を求め、求めた最大の描画時間を次フレームの描画時間として予測するとよい。
【００１５】
さらに、前述した描画時間予測ステップは、画像表示装置に備えられた入力デバイスによる入力頻度を算出し入力頻度の値が所定の閾値より大きい場合、記憶装置に格納されている描画時間のうち最大の描画時間を、次フレームの描画時間として予測し、入力頻度の値が所定の閾値以下である場合、記憶装置に格納されている描画時間のうち統計上所定の採択域に属する描画時間の中から最大の描画時間を求め、求めた最大の描画時間を次フレームの描画時間として予測するとよい。
【００１６】
さらに、本発明の第１及び第２の局面において、所定の採択域は、右片側検定による有意水準５％の棄却域以外の領域とするとよい。
【発明の効果】
【００１７】
本発明の画像表示制御装置は、過去の描画処理時間の履歴から、次フレームの描画処理時間を予測し、次フレームのディスプレイ出力処理時刻からこの描画処理時間だけ遡った時刻に次フレームの表示画像生成処理を開始する。これにより、前フレームのディスプレイ出力処理終了後、当該表示画像生成処理を開始するまでに行われた入力は、次フレームの表示画像に反映される。その結果、本発明の画像表示制御装置は、ユーザ操作に対する応答性を高めることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態に係る画像表示装置１００の機能ブロックを示す図
【図２】入力情報蓄積部１２０が格納するデータの詳細を示す図
【図３】描画時間履歴格納部２２０が格納するデータの詳細を示す図
【図４】本発明の第１の実施形態に係る画像表示制御装置２００の動作を表すフローチャートを示す図
【図５】本発明の第１の実施形態に係る画像表示制御装置２００の描画時間予測動作の詳細を表すフローチャートを示す図
【図６】本発明の画像表示制御装置２００を備えた画像表示装置１００が画像表示を行う場合の描画処理のタイミングを示す図
【図７】本発明の第２の実施形態に係る画像表示装置１００ａの機能ブロックを示す図
【図８】本発明の第２の実施形態に係る描画時間予測部２３０ａが次フレームの描画時間として予測する時間を説明するための図
【図９】本発明の第２の実施形態に係る画像表示制御装置２００ａの描画時間予測動作の詳細を表すフローチャートを示す図
【図１０】本発明の第３の実施形態に係る画像表示装置１００ｂの機能ブロックを示す図
【図１１】本発明の第３の実施形態に係る画像表示制御装置２００ｂの描画時間予測動作の詳細を表すフローチャートを示す図
【図１２】従来の画像表示制御装置が画像表示を行う場合の描画処理のタイミングを示す図
【発明を実施するための形態】
【００１９】
（第１の実施形態）
以下、本発明の第１の実施形態である画像表示制御装置を備える画像表示装置及び画像表示制御方法について、図面を参照しながら説明する。図１は、本発明の第１の実施形態における画像表示制御装置を備えた画像表示装置の構成を示す。図１に示すように、本実施形態の画像表示装置１００は、入力部１１０と、入力情報蓄積部１２０と、データ取得部１３０と、描画処理部１４０と、フレームバッファ１５０と、表示部１６０と、画像表示制御装置２００とを備える。画像表示制御装置２００は、描画時間計測部２１０と、描画時間履歴格納部２２０と、描画時間予測部２３０と、描画処理開始時刻決定部２４０と、描画制御部２５０とを備える。
【００２０】
画像表示装置１００は、キー、センサ（タッチセンサ、加速度センサ、磁気センサ、ジャイロ等）等の入力デバイスによる入力に基づき、所定の表示画像をユーザに表示する装置である。携帯電話、カーナビゲーション、電子書籍端末、ヘッドマウントディスプレイ等が、画像表示装置１００の例として挙げられる。
【００２１】
入力部１１０は、キー入力、前述した各種センサの入力を受け付ける。キー入力、センサ入力は、後述する入力情報蓄積部１２０によって蓄積される。
【００２２】
入力情報蓄積部１２０は、入力部１１０によって入力されたキー入力、センサ入力を蓄積するリングバッファである。入力情報蓄積部１２０に格納されるデータの詳細は後述する。
【００２３】
データ取得部１３０は、表示画像内に表示される表示対象のデータを取得する。この表示対象のデータとは、テキスト、グラフィックス、ビデオ映像、あるいは放送映像に関するデータなどである。データ取得部１３０は、予め画像表示装置１００に蓄積されているこれらの表示対象のデータを取得する。あるいは、データ取得部１３０は、放送や無線、有線通信等により表示対象のデータを取得してもよい。また、画像表示装置１００がビデオ映像の撮影機能を有する場合、画像表示装置１００により撮影されたビデオ映像のデータを、データ取得部１３０は、表示対象のデータとして取得してもよい。
【００２４】
描画処理部１４０は、以下の（１）〜（４）の動作を行う。
（１）入力情報蓄積部１２０が蓄積した情報を処理し、その処理結果に基づき、表示画像内に表示される表示対象やその表示方法（表示場所、移動、回転、拡大縮小など）を決定する。そして、決定した表示対象のデータを読みこみ、決定した表示方法を反映させた表示画像のデータを生成する。
（２）生成した表示画像のデータをフレームバッファ１５０に書き込む。
（３）後述するフレームバッファ１５０がダブルバッファであるとき、（２）の処理が終了後、次のフレームで書き込むバッファを切り替える。
（４）表示部１６０に対し、表示画像の表示タイミングに合わせて垂直同期信号を送信する。
以降の説明では（１）〜（３）の処理を総称して単に「描画処理」と呼ぶこととする。
【００２５】
フレームバッファ１５０は、後述する表示部１６０によって出力される画像を一時的に格納するバッファである。このフレームバッファ１５０は、シングルバッファでもダブルバッファでもよい。なお、本実施形態では、フレームバッファ１５０は、ダブルバッファであるものとして以下説明する。
【００２６】
表示部１６０は、描画処理部１４０が送信する垂直同期信号に合わせてフレームバッファ１５０のデータを読み込み、表示画像を表示するディスプレイである。ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）、有機ＥＬ（Organic Electroluminescence Display）、プラズマディスプレイなどが表示部１６０の例として挙げられる。
【００２７】
描画時間計測部２１０は、描画処理部１４０が各フレームの表示画像データの生成を開始してから、表示画像データをフレームバッファ１５０に書き込むまでの描画時間を計測する。
【００２８】
描画時間履歴格納部２２０は、描画時間計測部２１０が計測した各フレームの描画時間を格納するリングバッファである。描画時間履歴格納部２２０は、リングバッファに格納されたデータが一杯になると、古いデータから順に更新する。描画時間履歴格納部２２０に格納されるデータの詳細は後述する。
【００２９】
描画時間予測部２３０は、描画時間履歴格納部２２０が格納している描画時間を参照し、現フレームに続いて表示される次フレームの描画時間を予測する。本実施形態では、描画時間予測部２３０は、描画時間履歴格納部２２０が格納している描画時間のうち、最大の描画時間を次フレームの描画時間として予測する。
【００３０】
描画処理開始時刻決定部２４０は、表示部１６０が当該フレームの表示画像を表示する画像表示時刻と画像表示装置１００のフレームレートに基づき、次フレームの画像表示予定時刻を算出する。その後、描画処理開始時刻決定部２４０は、次フレームの画像表示予定時刻から描画時間予測部２３０が予測する次フレームの描画時間だけ遡った時刻を描画処理開始時刻として決定する。
【００３１】
描画制御部２５０は、描画処理開始時刻決定部２４０が決定した描画処理開始時刻において、描画処理部１４０に表示画像の生成を開始させる描画要求を送信する。
【００３２】
図２は、入力情報蓄積部１２０が格納するデータの詳細を示す。入力時刻［ｉ］（ｉ＝０‥Ｍ：Ｍは入力情報蓄積部１２０のリングバッファの大きさに応じた最大値）は、キー入力やセンサ入力が発生した時刻である。具体的には、入力時刻［ｉ］は、所定の時間間隔を１として所定の時刻からの経過時刻を表す整数値である。所定の時間間隔は、例えば、画像表示装置１００に内蔵された時計もしくはタイマが計測できる最小の時間間隔である。また、所定の時刻は、例えば、画像表示装置１００に内蔵された時計の基準となる時刻、あるいは、画像表示装置１００が電源投入されると、画像表示装置１００がタイマを起動し、時刻を計測する場合、画像表示装置１００が電源投入された時刻である。入力種別［ｉ］は、入力時刻［ｉ］におけるキー入力、センサ入力の種別および入力された情報を識別する整数値である。以降の説明では、入力時刻［ｉ］、入力種別［ｉ］を総称して、それぞれ入力時刻１２４、入力種別１２５と呼ぶこととし、入力時刻１２４と入力種別１２５との組み合わせを入力レコード１２３と呼ぶことにする。
【００３３】
最古入力配列番号１２１は、リングバッファに格納されている入力レコード１２３のうち、最も古い入力レコード１２３を表す配列番号である。最古入力配列番号１２１の初期値は０である。最新入力配列番号１２２は、リングバッファに格納されている入力レコード１２３のうち、最新の入力レコード１２３を表す配列番号である。最新入力配列番号１２２の初期値は０である。入力情報蓄積部１２０は、初期状態では、入力レコード［０］から配列番号順に入力時刻と入力種別の情報を格納する。そして、入力レコード［Ｍ］まで入力時刻と入力種別の情報を格納した後は、入力情報蓄積部１２０は、最古入力配列番号１２１に相当する入力レコード１２３に、最新の入力時刻と入力種別の情報を格納する。入力情報蓄積部１２０は、最新の入力時刻と入力種別の情報を入力レコード１２３に格納する度に、最古入力配列番号１２１と最新入力配列番号１２２を更新する。
【００３４】
図３は、描画時間履歴格納部２２０が格納するデータの詳細を示す。描画時間［ｊ］（ｊ＝０‥Ｎ：Ｎは描画時間履歴格納部２２０のリングバッファの大きさに応じた最大値）は、各フレームの描画時間を、所定の時間間隔を１とする整数値で表したものである。この所定の時間間隔は、例えば、画像表示装置１００に内蔵された時計が計測できる最小の時間間隔である。あるいは、描画時間計測部２１０がタイマを起動し、描画時間を計測する場合、描画時間を表す整数値はそのタイマのカウント数を表すものであってもよい。なお、上述するＮの値には、例えば、２秒分のフレーム数などを設定するとよい。以降の説明では、描画時間［ｊ］を総称して、描画時間２２３と呼ぶこととする。
【００３５】
最古配列番号２２１は、リングバッファに格納されている描画時間２２３のうち、最も古い描画時間を表す配列番号である。最古配列番号２２１の初期値は０である。最新配列番号２２２は、リングバッファに格納されている描画時間２２３のうち、最新の描画時間を表す配列番号である。最新配列番号２２２の初期値は０である。描画時間履歴格納部２２０は、初期状態では、描画時間［０］から配列番号順に描画時間の情報を格納する。そして、描画時間［Ｎ］まで描画時間の情報を格納した後は、描画時間履歴格納部２２０は、最古配列番号に相当する描画時間２２３に、最新の描画時間の情報を格納する。描画時間履歴格納部２２０は、最新の描画時間の情報を描画時間２２３に格納する度に、最古配列番号２２１と最新配列番号２２２を更新する。
【００３６】
次に、本実施形態に係る画像表示制御装置２００を備えた画像表示装置１００の動作について図４を参照して説明する。図４は、画像表示装置１００が画像表示を開始した後の画像表示制御装置２００の動作を表すフローチャートである。
【００３７】
描画制御部２５０は、画像表示を開始した最初のフレームにおいては、すぐに描画処理部１４０に表示画像の生成を開始させる描画要求を送信する（Ｓ１００）。これにより、描画処理部１４０は、描画処理を開始する。
【００３８】
描画時間計測部２１０は、当該フレームにおいて、描画時間を計測する（Ｓ２００）。具体的には、描画制御部２５０が描画要求を送信した時刻から描画処理部１４０がフレームバッファ１５０へ表示画像のデータを書き込み終えた時刻までの経過時間を、タイマや時計により計測する。
【００３９】
描画時間計測部２１０が、当該フレームの描画時間を計測すると、計測した描画時間を描画時間履歴格納部２２０に格納させる（Ｓ３００）。
【００４０】
つぎに、描画時間予測部２３０は、描画時間履歴格納部２２０に格納された描画時間の履歴に基づいて、次のフレームの描画時間を予測する（Ｓ４００）。具体的には、図５のように、描画時間予測部２３０は、描画時間履歴格納部２２０が格納している描画時間のうち最大の描画時間を、次フレームの描画時間として予測する（Ｓ４０１）。
【００４１】
そして、描画処理開始時刻決定部２４０は、次のフレームの描画処理開始時刻を決定する（Ｓ５００）。具体的には、描画処理開始時刻決定部２４０は、次のフレームの描画処理開始時刻ＴSを以下の（数１）に基づき、決定する。
【００４２】
【数１】
2012002952.tif 000003
Ｔe：表示部１６０が前フレームの表示画像を表示した時刻
Ｔd：画像表示装置１００のフレームレートから換算されるフレーム間の時間間隔（＝フレームレートの逆数）
Ｔi：描画時間予測部２３０が予測する次フレームの描画時間
【００４３】
描画処理開始時刻が決定されると、描画制御部２５０は、描画処理開始時刻になったかどうか判定する（Ｓ６００）。描画処理開始時刻になっていない場合（Ｓ６００でＮｏ）、描画制御部２５０は、描画処理開始時刻になるのを待つ。描画処理開始時刻になった場合（Ｓ６００でＹｅｓ）、描画制御部２５０は、描画処理部１４０に次フレームの表示画像の生成を開始させる描画要求を送信する（Ｓ１００）。そして、描画処理部１４０は、次フレームの描画処理を開始する。
【００４４】
以降、画像表示制御装置２００は、Ｓ１００〜Ｓ６００までの処理を、画像表示装置１００が画像表示を終了するまで繰り返す。
【００４５】
次に、本実施形態に係る画像表示制御装置２００の効果について、図面を参照して説明する。図６は、本実施形態に係る画像表示制御装置２００を備えた画像表示装置１００が画像表示を行う場合の描画処理のタイミングを示す。図６の入力処理、表示画像生成処理、フレームバッファ書き込み処理、ディスプレイ出力処理の定義は、図１２の説明で行った内容と同じである。
【００４６】
本実施形態に係る画像表示制御装置２００は、図１２に示される従来の画像表示装置に比べて、表示画像生成処理のタイミングを、１フレーム表示のための時間間隔（フレームレートの逆数）から各フレームにおいて予測された描画時間を引いた期間ＴＤ１、ＴＤ２だけ遅らせる（図６中の（１）参照）。その結果、これらの期間ＴＤ１、ＴＤ２に行われる入力処理（図６中の（２）参照）においては、すぐ後の表示画像生成処理で当該入力を反映させることができる（図６中の（３）参照）。したがって、その入力処理に対応した画像表示は、次フレームにおいて行われる。よって、本実施形態に係る画像表示制御装置２００を備えた画像表示装置１００は、画像表示装置への入力をできるだけ早く表示画像に反映させることが可能となり、ユーザ操作に対する応答性を高めることが出来る。
【００４７】
なお、本実施形態では、描画時間予測部２３０は、描画時間履歴格納部２２０が格納している描画時間のうち最大の描画時間を、次フレームの描画時間として予測している。しかし、次フレームの描画時間が、この最大の描画時間より大きくなる恐れもある。そこで、描画時間予測部２３０は、フレーム間の時間間隔（＝フレームレートの逆数）を超えない範囲で、この最大の描画時間に適切な時間を加えた時間を、次フレームの描画時間として予測することが好ましい。
【００４８】
（第２の実施形態）
第１の実施形態では、描画時間予測部２３０は、描画時間履歴格納部２２０が格納している描画時間のうち最大の描画時間を、次フレームの描画時間として予測している。しかし、描画時間履歴格納部２２０が格納している描画時間の中には、偶然に非常に長い描画時間を要したフレームに関する描画時間が含まれることもある。このような描画時間は統計的に有意でなく、描画時間予測部２３０は、このような描画時間を含む最大の描画時間を、次フレームの描画時間として予測するのは予測精度の低下を招く恐れがある。
【００４９】
そこで、第２の実施形態では、描画時間予測部２３０は、描画時間履歴格納部２２０が格納している描画時間のうち、統計的に有意であると考えられる描画時間の最大値を、次フレームの描画時間として予測する。
【００５０】
図７は、本発明の第２の実施形態に係る画像表示制御装置２００ａを備えた画像表示装置１００ａの構成を示す。図７に示すように、本実施形態の画像表示装置１００ａは、第１の実施形態の画像表示制御装置２００に代えて、画像表示制御装置２００ａを備える。画像表示制御装置２００ａは、第１の実施形態の描画時間予測部２３０に代えて、描画時間予測部２３０ａを備える。したがって、本実施形態においては、描画時間予測部２３０ａのみが第１の実施形態と異なるので、以降描画時間予測部２３０ａのみの説明を行うこととする。
【００５１】
描画時間予測部２３０ａは、描画時間履歴格納部２２０が格納している描画時間のうち、統計的に有意であると考えられる描画時間の最大値を求める。そして、描画時間予測部２３０ａは、求めた最大値を次フレームの描画時間として予測する。描画時間予測部２３０ａは、描画時間履歴格納部２２０が格納している描画時間を統計的に処理するにあたり、描画時間のとりうる頻度（確率密度）が正規分布に従うものと仮定する。
【００５２】
図８では、描画時間のとりうる頻度が正規分布に従うものと仮定した場合の描画時間をＸ軸、描画時間のとりうる頻度（確率密度）をＹ軸に表したグラフである。図８の斜線部は、統計的に有意でない描画時間を表した領域であり、棄却域と呼ばれる。また、棄却域以外の領域は、採択域と呼ばれる。本実施形態では、この棄却域は上位Ｎ％の描画時間、すなわち右片側検定による有意水準Ｎ％の棄却域とする。そして、描画時間予測部２３０ａは、採択域に属する描画時間の最大値（図８のＸp）を、次フレームの描画時間として予測する。
【００５３】
このＸpは、以下の（数２）を満たす値として求めることができる。
【００５４】
【数２】
2012002952.tif 000004
Ｘ：描画時間
Ｘp：次フレームの描画時間として予測される値
σ2：描画時間の分散値
μ：描画時間の平均値
Ｎ：有意水準（％）
【００５５】
また、Ｘpは、以下の方法によっても求めることができる。図８で表される確率密度関数Ｙ＝ｆ（Ｘ）においてＸをＸ’＝（Ｘ−μ）／σに変換したＹ＝ｆ（Ｘ’）は標準正規分布となる。したがって、有意水準Ｎが定まれば、標準正規分布表を参照することにより、標準正規分布における棄却域を定める閾値を決定する描画時間Ｘp’を求めることができる。Ｘp’が求まると、以下の（数３）により、Ｘpを求めることができる。
【００５６】
【数３】
2012002952.tif 000005
Ｘp’：標準正規分布表で求められる標準正規分布における棄却域の閾値
σ：描画時間の標準偏差
【００５７】
本実施形態では、有意水準Ｎを５（％）とすると、標準正規分布表からＸp’の値は１．６４となる。（標準正規分布表には有意水準がちょうど５％となるＸp’が存在しないため、５％に最も近い有意水準５．０５％の値をもとにＸp’の値を求めた。）したがって、描画時間予測部２３０ａは、描画時間履歴格納部２２０が格納している描画時間の平均値μ、標準偏差σを求めさえすれば、次フレームの描画時間を（数３）により、予測することができる。なお、有意水準Ｎは、５（％）とするのが一般的であるが、用途と必要精度に応じて、１（％）〜１０（％）の範囲で適切な有意水準Ｎをあらかじめ定めておくとよい。
【００５８】
次に、本実施形態に係る画像表示制御装置２００ａを備えた画像表示装置１００ａの動作について図９を参照して説明する。画像表示装置１００ａの動作は、第１の画像表示装置１００の動作に比べて、図４におけるステップＳ４００の詳細動作のみ異なる。図９は、画像表示制御装置２００ａのステップＳ４００の詳細動作を表すフローチャートである。
【００５９】
描画時間予測部２３０ａは、描画時間履歴格納部２２０が格納している描画時間のうち、統計上所定の採択域に属する描画時間の中から最大の描画時間を求める。そして、描画時間予測部２３０ａは、当該最大の描画時間を次フレームの描画時間として予測する（Ｓ４０２）。具体的には、描画時間履歴格納部２２０が格納している描画時間の平均値μ、標準偏差σを求め、（数２）により求められるＸpを当該最大の描画時間として求める。
【００６０】
つぎに、本実施形態に係る画像表示制御装置２００ａの効果について説明する。本実施形態に係る画像表示制御装置２００ａは、偶然に非常に長い描画時間を要したフレームに関する描画時間など、統計的に有意でない描画時間を対象から除いて、次フレームの描画時間を予測する。したがって、画像表示制御装置２００ａは、次フレームの描画時間を高精度に予測することができる。
【００６１】
なお、本実施形態においても、描画時間予測部２３０ａが統計的に予測する最大の描画時間を次フレームの描画時間が超える場合に備え、描画時間予測部２３０ａは、フレーム間の時間間隔（＝フレームレートの逆数）を超えない範囲で、この最大の描画時間に適切な時間を加えた時間を、次フレームの描画時間として予測することが好ましい。
【００６２】
また、描画時間予測部２３０ａは、描画時間履歴格納部２２０が格納している描画時間を統計的に処理するにあたり、描画時間のとりうる頻度（確率密度）がポアソン分布など他の確率密度分布に従うものと仮定して、次フレームの描画時間を予測してもよい。
【００６３】
（第３の実施形態）
第１、第２の実施形態では、描画時間予測部２３０、２３０ａは、描画時間履歴格納部２２０が格納している描画時間から特定の方法により、次フレームの描画時間を予測している。ところが、入力頻度が大きい場合、表示画像データの生成に係る処理量が増えるばかりでなく、入力による割り込み処理も増加するので、描画処理の時間が延びる傾向にある。したがって、入力頻度が大きい場合、当該特定の方法のうち、長い描画時間を予測する方法がより適している。逆に、入力頻度が低い場合、今後さらに入力が頻発する確率は低くなるので、直後のフレームにおける描画処理に要する時間が短くなる傾向にある。したがって、入力頻度が低い場合、当該特定の方法のうち、短い描画時間を予測する方法がより適している。第３の実施形態では、描画時間予測部２３０は、直近の画像表示装置への入力頻度（過去数秒間の入力回数）に応じて、より適した予測方法を選択し、次フレームの描画時間を予測する。
【００６４】
図１０は、本発明の第３の実施形態に係る画像表示制御装置２００ｂを備えた画像表示装置１００ｂの構成を示す。図１０に示すように、第１の実施形態の画像表示制御装置２００に代えて、画像表示制御装置２００ｂとを備える。画像表示制御装置２００ｂは、描画時間計測部２１０と、描画時間履歴格納部２２０と、描画時間予測部２３０ｂと、描画処理開始時刻決定部２４０と、描画制御部２５０と、入力頻度算出部２６０とを備える。ここで第１の実施形態と同じ動作をするものは、第１の実施形態と同じ符号を付しており、説明を省略する。
【００６５】
入力頻度算出部２６０は、入力情報蓄積部１２０を参照し、入力頻度算出部２６０が入力頻度の算出を開始した時刻から一定期間内の入力頻度を算出する。入力頻度とは、キー入力のように入力の有無が明確なものについては、当該一定期間内の入力回数とする。また、加速度センサから入力される値のように入力の大きさが連続的に変化するものにおいては、当該期間内に入力の大きさあるいは入力の変化量が予め入力頻度算出部２６０に格納された所定の閾値を超えた回数を、入力頻度とする。以降の説明では、入力頻度算出部２６０は、入力情報蓄積部１２０が蓄積する画像表示装置１００ｂに対する１種類の入力についてのみ、入力頻度を算出するものとして説明する。なお、画像表示制御装置２００ｂが、画像表示装置１００ｂに対する複数種類の入力について処理する場合については後述する。
【００６６】
描画時間予測部２３０ｂは、入力頻度算出部２６０が算出した入力頻度が予め描画時間予測部２３０ｂに格納されている閾値を越えているかどうか判定する。描画時間予測部２３０ｂは、入力頻度算出部２６０が算出した入力頻度が当該閾値を超えていると判定した場合、第１の実施形態の予測方法で次フレームの描画時間を予測する。逆に、入力頻度算出部２６０が算出した入力頻度が当該閾値以下であると判定した場合、第２の実施形態の予測方法で次フレームの描画時間を予測する。
【００６７】
次に、本実施形態に係る画像表示制御装置２００ｂを備えた画像表示装置１００ｂの動作について図１１を参照して説明する。画像表示装置１００ｂの動作は、第１の画像表示装置１００の動作に比べて、図４におけるステップＳ４００の詳細動作のみ異なる。図１１は、画像表示制御装置２００ｂのステップＳ４００の詳細動作を表すフローチャートである。図１１では、図５及び図９と同じ動作をするものは同じ符号を付しており、詳細な説明を省略する。
【００６８】
まず、入力頻度算出部２６０は、入力情報蓄積部１２０を参照し、入力頻度を算出する（Ｓ４１０）。つぎに、描画時間予測部２３０ｂは、入力頻度算出部２６０が算出した入力頻度が予め描画時間予測部２３０ｂに格納されている閾値を越えているかどうか判定する（Ｓ４２０）。
【００６９】
入力頻度算出部２６０が算出した入力頻度が予め描画時間予測部２３０ｂに格納されている閾値を越えている場合（Ｓ４２０でＹｅｓ）、描画時間予測部２３０ｂは、描画時間履歴格納部２２０が格納している描画時間のうち最大の描画時間を、次フレームの描画時間として予測する（Ｓ４０１）。入力頻度算出部２６０が算出した入力頻度が予め描画時間予測部２３０ｂに格納されている閾値以下である場合（Ｓ４２０でＮｏ）、描画時間予測部２３０ｂは、描画時間履歴格納部２２０が格納している描画時間のうち、統計上所定の採択域に属する描画時間の中から最大の描画時間を求める。そして、描画時間予測部２３０ａは、当該最大の描画時間を次フレームの描画時間として予測する（Ｓ４０２）。
【００７０】
つぎに、本実施形態に係る画像表示制御装置２００ｂの効果について説明する。第１の実施形態の描画時間予測方法は、描画時間履歴格納部２２０が格納している最長の描画時間を、次フレームの描画時間と予測するものである。そして、第２の実施形態の描画時間予測方法は、描画時間履歴格納部２２０が格納している描画時間のうち、統計的に有意でない長い描画時間を除いた最長の時間を、次フレームの描画時間と予測するものである。よって、第１の実施形態の予測方法は、第２の実施形態の予測方法に比べ、長い時間を予測する。したがって、画像表示装置１００ｂに対する入力頻度が高い場合、描画処理の時間が延びる傾向にあるので、第１の実施形態の予測方法が、第２の実施形態の予測方法より適している。逆に、画像表示装置１００ｂに対する入力頻度が低い場合、直後のフレームにおける描画処理に要する時間が短くなる傾向にあるので、第２の実施形態の予測方法が、第１の実施形態の予測方法より適している。本実施形態に係る画像表示制御装置２００ｂは、画像表示装置１００ｂに対する入力頻度が大きい場合、第１の実施形態の予測方法により、次フレームの描画時間を予測する。逆に、入力頻度が小さい場合、画像表示制御装置２００ｂは第２の実施形態の予測方法により、次フレームの描画時間を予測する。したがって、画像表示制御装置２００ｂは、入力頻度にあった最適な予測方法を選択し、次フレームの描画時間を予測することができる。
【００７１】
なお、画像表示制御装置２００ｂが画像表示装置１００ｂに対する複数種類の入力について処理する場合、入力頻度算出部２６０と描画時間予測部２３０ｂは、以下の処理を実行する。入力頻度算出部２６０は、各種入力（キー入力、加速度センサ等）ごとに入力頻度を算出する。描画時間予測部２３０ｂは、各種入力ごとに予測方法を判定するための閾値を格納する。そして、描画時間予測部２３０ｂは、入力頻度算出部２６０が各種入力ごとに算出した入力頻度それぞれについてそれぞれの閾値と比較し、１種類の入力でも閾値を超えている場合、第１の実施形態の予測方法で次フレームの描画時間を予測する。逆に、全ての種類の入力において入力頻度算出部２６０が算出した入力頻度が当該閾値以下であると判定した場合、第２の実施形態の予測方法で次フレームの描画時間を予測する。
【００７２】
これを図１１のフローチャートに基づいて説明すると、Ｓ４１０において、入力頻度算出部２６０は、各種入力（キー入力、加速度センサ等）ごとに入力頻度を算出する。そして、Ｓ４２０において、描画時間予測部２３０ｂは、入力頻度算出部２６０が各種入力ごとに算出した入力頻度それぞれについてそれぞれの閾値と比較し、１種類の入力でも閾値を超えているか否か判定する。１種類の入力でも閾値を超えている場合（Ｓ４２０でＹｅｓ）、描画時間予測部２３０ｂは、第１の実施形態の予測方法で次フレームの描画時間を予測する（Ｓ４０１）。逆に、全ての種類の入力において入力頻度が当該閾値以下であると判定した場合（Ｓ４２０でＮｏ）、描画時間予測部２３０ｂは、第２の実施形態の予測方法で次フレームの描画時間を予測する（Ｓ４０２）。
【００７３】
また、図１１のフローチャートのＳ４２０において、描画時間予測部２３０ｂは、描画時間履歴格納部２２０が予め定めた所定数の描画時間の履歴を蓄積していない場合、第１の実施形態の予測方法で次フレームの描画時間を予測してもよい（Ｓ４０１）。描画時間履歴格納部２２０が予め定めた所定数の描画時間の履歴を蓄積していない場合、描画時間予測部２３０ｂは、Ｓ４０２の統計処理を行うのに十分な数のデータを利用できないからである。
【００７４】
なお、本発明の各実施形態では、描画時間計測部２１０、描画時間予測部２３０、２３０ａ、２３０ｂ、描画処理開始時刻決定部２４０、描画制御部２５０、入力頻度算出部２６０の処理が逐次的に行われる例を記載したが、並列実行されてもよい。その場合、描画時間計測部２１０、描画時間予測部２３０、２３０ａ、２３０ｂ、描画処理開始時刻決定部２４０、描画制御部２５０、入力頻度算出部２６０間で共有されるデータは、メモリなどの記憶装置によって一時的に記憶される。あるいは、これらのデータは、所定のデータベースによって共有されてもよい。
【００７５】
また、前述のように各部の動作が並列実行される場合、描画時間予測部２３０、２３０ａ、２３０ｂは、各フレームについて処理を行わず、一定数のフレームに対して１回、次フレームの描画時間を予測してもよい。この一定数のフレーム数には、例えば、２秒分のフレーム数などを設定するとよい。このとき、描画処理開始時刻決定部２４０は、描画時間予測部２３０、２３０ａ、２３０ｂが次フレームの描画時間を予測しないフレームにおいて、前回予測した次フレームの描画時間を利用して次フレームの描画処理開始時刻を決定するとよい。これによって、画像表示制御装置２００、２００ａ、２００ｂの処理負荷を軽減し、画像表示装置１００、１００ａ、１００ｂ全体の消費電力を低減できる。
【００７６】
また、本発明の各実施形態では、描画処理開始時刻決定部２４０は、表示部１６０が表示画像を表示する時刻を基準に、描画処理開始時刻を決定している。しかし、描画処理開始時刻決定部２４０は、描画処理部１４０が表示部１６０に垂直同期信号時刻を送信した時刻、あるいは表示部１６０がフレームバッファ１５０の画像データの取得を開始した時刻を、表示部１６０が表示画像を表示する時刻として利用してもよい。
【００７７】
なお、本発明の各実施形態において開示された各機能ブロックは、集積回路であるＬＳＩにより実現されてもよい。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。
【００７８】
このＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ、と呼称されることもある。
【００７９】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサが利用されてもよい。あるいは、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサが利用されてもよい。また、プロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭに格納された制御プログラムを実行する構成が用いられてもよい。
【００８０】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術等が適応されうる。
【産業上の利用可能性】
【００８１】
本発明は、ユーザ等による入力が可能な画像表示装置、例えば、パソコン、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）端末、電子書籍端末、ヘッドマウントディスプレイ、カーナビゲーションなどに適用可能である。
【符号の説明】
【００８２】
１００、１００ａ、１００ｂ                画像表示装置
１１０                                    入力部
１２０                                    入力情報蓄積部
１３０                                    データ取得部
１４０                                    描画処理部
１５０                                    フレームバッファ
１６０                                    表示部
２００、２００ａ、２００ｂ                画像表示制御装置
２１０                                    描画時間計測部
２２０                                    描画時間履歴格納部
２３０、２３０ａ、２３０ｂ                描画時間予測部
２４０                                    描画処理開始時刻決定部
２５０                                    描画制御部
２６０                                    入力頻度算出部
【図１】
2012002952.tif 000006
【図２】
2012002952.tif 000007
【図３】
2012002952.tif 000008
【図４】
2012002952.tif 000009
【図５】
2012002952.tif 000010
【図６】
2012002952.tif 000011
【図７】
2012002952.tif 000012
【図８】
2012002952.tif 000013
【図９】
2012002952.tif 000014
【図１０】
2012002952.tif 000015
【図１１】
2012002952.tif 000016
【図１２】
2012002952.tif 000017