(57)【要約】【課題】より滑らかなＵＩを実現する。【解決手段】操作推定部１０４は、ユーザの操作履歴に基づいて、現在表示されている画面から他の各画面への遷移操作に関する推定を行う。描画コンテンツ決定部１０６は、操作推定部１０４による推定結果に基づいて、未だ描画されていないデータの描画順序を決定する。レンダラ部１０７は、描画コンテンツ決定部１０６により決定された描画順序に従って、未だ描画されていないデータを描画する。【選択図】図１
2013127667.tif 000002
【特許請求の範囲】
【請求項１】
画面に表示されるデータを描画する画像処理装置であって、
ユーザの操作履歴に基づいて、現在表示されている画面から他の各画面への遷移操作に関する推定を行う推定手段と、
前記推定手段による推定結果に基づいて、未だ描画されていないデータの描画順序を決定する決定手段と、
前記決定手段により決定された描画順序に従って、未だ描画されていないデータを描画する描画手段とを有することを特徴とする画像処理装置。
【請求項２】
前記推定手段は、ユーザの操作履歴に基づいて、現在表示されている画面から他の各画面への遷移確率を推定し、前記推定手段は、未だ描画されていない各データについて、当該データが表示される他の各画面の遷移確率を加算し、前記各データについて加算した遷移確率に基づいて、前記各データの描画順序を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
ユーザの前記現在表示されている画面からの遷移操作を検出する検出手段と、
前記描画手段は、前記検出手段により遷移操作が検出された場合、前記決定手段により決定された描画順序に優先して、前記検出手段により検出された遷移操作に応じた描画順序で未だ描画されていないデータを描画することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
画面に表示されるデータを描画する画像処理装置によって実行される画像処理方法であって、
ユーザの操作履歴に基づいて、現在表示されている画面から他の各画面への遷移操作に関する推定を行う推定ステップと、
前記推定ステップによる推定結果に基づいて、未だ描画されていないデータの描画順序を決定する決定ステップと、
前記決定ステップにより決定された描画順序に従って、未だ描画されていないデータを描画する描画ステップとを有することを特徴とする画像処理方法。
【請求項５】
画面に表示されるデータを描画する画像処理装置によって実行される画像処理方法をコンピュータに実行させるためのプログラムであって、
ユーザの操作履歴に基づいて、現在表示されている画面から他の各画面への遷移操作に関する推定を行う推定ステップと、
前記推定ステップによる推定結果に基づいて、未だ描画されていないデータの描画順序を決定する決定ステップと、
前記決定ステップにより決定された描画順序に従って、未だ描画されていないデータを描画する描画ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画面に表示されるデータを描画する技術に関するものである。
【背景技術】
【０００２】
従来より、ユーザとのインタラクションを伴うＵＩ（ユーザインタフェース）グラフィックスを描画するシステムにおいては、操作に対するリアルタイム性が要求されていた。しかし、描画するコンテンツの増加等によりシステム全体の負荷が大きくなり、描画処理のフレームレートが落ちた場合、操作性が低下するという問題があった。そのため、時間がかかる描画処理を予めビットマップ化して保持しておくといった工夫がされていた。しかし、時間のかかる描画処理を全てビットマップ化して保持しておく手法では、メモリコストが膨大となってしまっていた。そこで、ＵＩグラフィックスを描画するシステムにおいて、操作に対するリアルタイム性を維持する方法が特許文献１に開示されている。特許文献１に開示される技術は、ユーザの操作を予測し、それに従って、予測画面を生成するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２７１８２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示される技術は、予測画面を必要に応じてその都度生成していたため、全てビットマップ化して保持しておく手法に比べてメモリコストが抑えられた。しかしながら、コンテンツ単位での再利用が考慮されていなかった。そのため、例えば、予測画面の中に前に表示したものと同一のコンテンツが含まれていた場合でも、もう一度最初から予測画面を描画しなければならず、計算や処理に時間がかかってしまうため、効率が低下するという問題があった。これは特に、動きのあるアニメーションＵＩを用いる機器の場合に問題となっていた。
【０００５】
そこで、本発明の目的は、より滑らかなＵＩを実現することにある。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、画面に表示されるデータを描画する画像処理装置であって、ユーザの操作履歴に基づいて、現在表示されている画面から他の各画面への遷移操作に関する推定を行う推定手段と、前記推定手段による推定結果に基づいて、未だ描画されていないデータの描画順序を決定する決定手段と、前記決定手段により決定された描画順序に従って、未だ描画されていないデータを描画する描画手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、より滑らかなＵＩを実現することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る画像形成システムの構成を示す図である。
【図２】ユーザの操作により現在表示されている画面を示す図である。
【図３】ユーザの次の操作により遷移可能な画面を示す図である。
【図４】操作推定部によって推定された各画面への遷移確率の例を示す図である。
【図５】描画コンテンツ決定部及びレンダラ部の処理を示すフローチャートである。
【図６】描画済みのコンテンツと未描画のコンテンツとにカテゴリを分類された状態を示す図である。
【図７】コンテンツの描画に要する時間と、ユーザの次の操作に対応できる確率との関係を示す図である。
【図８】コンテンツの描画の優先順位を決定する方法を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１０】
図１は、本発明の実施形態に係る画像形成システムの構成を示す図である。図１に示すように、本実施形態に係る画像形成システムは、画像形成装置１００、データ格納部１１０及び画像表示部１１２から構成される。画像形成装置１００は、操作履歴保持部１０１、ユーザ認証部１０２、画面状態検出部１０３、操作推定部１０４、描画履歴保持部１０５、描画コンテンツ決定部１０６及びレンダラ部１０７を備える。なお、画像形成装置１００は、画像処理装置の適用例となる構成である。
【００１１】
操作履歴保持部１０１は、ユーザの操作履歴を保持する。ユーザ認証部１０２は、ユーザの認証処理を行うことにより、ユーザを特定する。画面状態検出部１０３は、現在の表示画面の状態を検出する。操作推定部１０４は、操作履歴保持部１０１において保持される操作履歴、ユーザ認証部１０２によって特定されたユーザ、及び、画面状態検出部１０３によって検出された表示画面の状態に基づいて、ユーザの次の操作を推定する。描画履歴保持部１０５は、レンダラ部１０７によるコンテンツの描画履歴を保持する。描画コンテンツ決定部１０６は、操作推定部１０４によって推定されたユーザの次の操作、及び、描画履歴保持部１０５において保持される描画履歴に基づいて、描画対象のコンテンツ及びコンテンツの描画順序を決定する。レンダラ部１０７はコンテンツの描画処理を行う。
【００１２】
図２は、ユーザの操作により現在表示されている画面を示す図である。以下では、当該ユーザをＴ君と称す。画面２００には、コンテンツＡ、コンテンツＢ及びコンテンツＣの３つが表示されている。ここでは、画面２００に基づいてＴ君の次の操作が推定される。図３は、Ｔ君の次の操作により遷移可能な画面を示す図である。遷移可能な画面は、画面３００、画面３０１、画面３０２及び画面３０３の４通りである。画面３００で表示されるコンテンツは、コンテンツＤ、コンテンツＥ及びコンテンツＨの３つである。以下同様にして、画面３０１で表示されるコンテンツは、コンテンツＡ、コンテンツＤ及びコンテンツＧの３つである。画面３０２で表示されるコンテンツは、コンテンツＣ、コンテンツＦ及びコンテンツＪの３つである。画面３０３で表示されるコンテンツは、コンテンツＥ、コンテンツＦ及びコンテンツＩの３つである。
【００１３】
図３に示す画面２００が表示されている場合、操作履歴保持部１０１からは各ユーザの操作履歴が出力される。また、ユーザ認証部１０２はユーザであるＴ君を特定し、画面状態検出部１０３は画面２００を検出する。操作推定部１０４は、これらの情報に基づいて、画面２００が表示されているとき、Ｔ君は次の操作で画面３００〜３０３のうちのどの画面に、どのくらいの確率で遷移させるかを推定する。即ち、操作推定部１０４は、操作履歴保持部１０１から出力された各ユーザの操作履歴からＴ君の操作履歴を特定する。そして、操作推定部１０４は、特定したＴ君の操作履歴に基づいて、これまで次の操作で画面２００からどの画面にどのくらいの確率で遷移していたのかを判定する。この判定結果が、画面２００が表示されているとき、Ｔ君は次の操作で画面３００〜３０３のうちのどの画面に、どのくらいの確率で遷移させるかの推定結果となる。
【００１４】
図４は、操作推定部１０４によって推定された各画面への遷移確率の例を示す図である。図４に示すように、画面３００に遷移させる確率は５０％、画面３０１に遷移させる確率は３０％、画面３０２に遷移させる確率は１５％、画面３０３に遷移させる確率は５％と推定されている。描画コンテンツ決定部１０６は、図４に示す操作推定部１０４による推定結果に基づいて、描画対象のコンテンツ及びコンテンツの描画順序を決定する。
【００１５】
図５は、描画コンテンツ決定部１０６及びレンダラ部１０７の処理を示すフローチャートである。ステップＳ５０１において、描画コンテンツ決定部１０６は、操作推定部１０４から図４に示すような推定結果を入力したか否かを判定する。推定結果が入力された場合、処理はステップＳ５０２に移行する。一方、推定結果が入力されていない場合、処理はステップＳ５０１に戻り、描画コンテンツ決定部１０６は操作推定部１０４からの推定結果の入力を待つ。ステップＳ５０２において、描画コンテンツ決定部１０６は、描画履歴保持部１０５から描画履歴を参照し、図６に示すように描画済みのコンテンツと未描画のコンテンツとにカテゴリを分類する。図６の例では、描画済みのコンテンツはコンテンツＡ、コンテンツＢ及びコンテンツＣであり、未描画のコンテンツはコンテンツＤ、コンテンツＥ、コンテンツＦ、コンテンツＧ、コンテンツＨ、コンテンツＩ及びコンテンツＪである。
【００１６】
ステップＳ５０３において、描画コンテンツ決定部１０６は、未描画のコンテンツがあるか否かを判定する。未描画のコンテンツがある場合、処理はステップＳ５０４に移行する。一方、未描画のコンテンツがない場合、処理はステップＳ５０１に戻り、描画コンテンツ決定部１０６は操作推定部１０４からの推定結果の入力を待つ。
【００１７】
ステップＳ５０４において、描画コンテンツ決定部１０６は、未描画のコンテンツの描画順序を決定する。なお、描画順序の決定方法の詳細については後述する。ステップＳ５０５において、レンダラ部１０７は、描画コンテンツ決定部１０６で決定された描画順序でコンテンツを描画する。ステップＳ５０６において、レンダラ部１０７は、コンテンツの描画履歴を描画履歴保持部１０５に保持させるとともに、コンテンツの描画結果１１１をデータ格納部１１０に格納させる。
【００１８】
次に、図７を参照しながら、コンテンツの描画に要する時間と、ユーザの次の操作に対応できる確率との関係について説明する。図７（ａ）は、比較例における、コンテンツの描画に要する時間と、ユーザの次の操作に対応できる確率との関係を示しており、図７（ｂ）は、本実施形態における、コンテンツの描画に要する時間と、ユーザの次の操作に対応できる確率との関係を示している。以下、説明を簡略化するため、各コンテンツの描画に要する時間を１００ｍｓとする。
【００１９】
先ず、図７（ａ）を参照しながら、比較例の処理について説明する。レンダラ部１０７は、Ｔ君が次の操作で遷移させる確率の高い画面から順(画面３００→画面３０１→画面３０２→画面３０３の順)に描画していく。１画面におけるコンテンツは３つであるため、１画面を描画するために要する時間は３００ｍｓである。従って、描画開始から３００ｍｓ後には画面３００を表示することができる。この時点では、Ｔ君の次の操作に対応できる確率は５０％である。レンダラ部１０７は、次の３００ｍｓで画面３０１を描画し、描画開始から６００ｍｓ後には画面３００及び画面３０１を表示することができる。この時点では、Ｔ君の次の操作に対応できる確率は８０％である。以下同様にして画面が描画され、描画開始から１２００ｍｓ後に画面３００、画面３０１、画面３０２及び画面３０３を表示することが可能になり、Ｔ君の操作に１００％対応できるようになる。
【００２０】
次に、図７（ｂ）を参照しながら、本実施形態の処理について説明する。先ず描画コンテンツ決定部１０６は、図８に示すように、未描画のコンテンツを含む各画面についてＴ君が次の操作で遷移させる確率（Ｔ君の次の操作に対応できる確率）を加算することにより、描画の優先順位を決定する。これにより、描画の優先順位は、コンテンツＤ、コンテンツＥ、コンテンツＨ、コンテンツＧ、コンテンツＦ、コンテンツＪ、コンテンツＩとなる。レンダラ部１０７は優先順位の高いコンテンツから描画を行っていく。従って、レンダラ部１０７は先ずコンテンツＤを描画する。コンテンツＤの描画に要する時間は１００ｍｓである。従って、描画開始から１００ｍｓ後にはコンテンツＤを表示することができるが、この時点では、まだ表示可能な画面は存在しない。次にレンダラ部１０７はコンテンツＥを描画する。コンテンツＥを描画するために要する時間は１００ｍｓである。従って、描画開始から２００ｍｓ後にはコンテンツＤ及びコンテンツＥを表示することができる。しかし、この時点でも、まだ表示可能な画面は存在しない。次にレンダラ部１０７はコンテンツＨを描画する。コンテンツＨを描画するために要する時間は１００ｍｓである。従って、描画開始から３００ｍｓ後には、コンテンツＤ、コンテンツＥ及びコンテンツＨを表示することが可能になり、画面３００を表示することができる。この時点で、Ｔ君の次の操作に対応できる確率は５０％である。ここまでに要する時間は比較例と同様である。しかし、以下同様にしてコンテンツ毎に描画すると、描画を始めてから７００ｍｓ後に画面３００、画面３０１、画面３０２及び画面３０３を表示することが可能になり、Ｔ君の操作に１００％対応できるようになる。このように本実施形態では、コンテンツ毎に優先順位を付けて予め描画することにより、上記比較例より短時間で描画を完了させることができる。
【００２１】
以上のように、本実施形態においては、ユーザの過去の操作履歴から、そのユーザの後の操作を予測し、必要とされるコンテンツを予め描画することにより、滑らかなＵＩを実現することが可能となる。
【００２２】
なお、ユーザの現在表示されている画面からの遷移操作が検出された場合には、描画コンテンツ決定部１０６は、図５に示した処理で決定した描画順序に優先して、検出された遷移操作に応じた描画順序で未描画のコンテンツの描画順序を決定してもよい。例えば、描画コンテンツ決定部１０６は、ユーザの遷移操作によって指定された遷移先の画面に表示されるコンテンツが上位となるようにコンテンツの描画順序を決定することが考えられる。
【００２３】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００２４】
１００：画像形成装置、１０１：操作履歴保持部、１０２：ユーザ認証部、１０３：画面状態検出部、１０４：操作推定部、１０５：描画履歴保持部、１０６：描画コンテンツ決定部、１０７：レンダラ部、１１０：データ格納部、１１１：コンテンツ描画結果、１１２：画像表示部
【図１】
2013127667.tif 000003
【図２】
2013127667.tif 000004
【図３】
2013127667.tif 000005
【図４】
2013127667.tif 000006
【図５】
2013127667.tif 000007
【図６】
2013127667.tif 000008
【図７】
2013127667.tif 000009
【図８】
2013127667.tif 000010