(57)【要約】【課題】操作性及び利便性に優れたユーザインタフェースを実現する。【解決手段】制御装置１０は、タッチパネル１１から、ユーザの指が触れた位置を示す位置情報とユーザの指の指紋を示す指紋情報とを取得する指情報取得部１０１と、表示項目を決定する表示項目決定部１０２と、表示項目を含む画像の構成である画像構成を決定する画像構成決定部１０３と、画像構成に基づく画像を表示させる表示制御部１０４と、位置情報と画像構成とに基づいて、ユーザの指により選択された選択項目を特定する選択項目特定部１０５と、指紋情報と選択項目とに基づいて、選択履歴を指紋ごとに保存する履歴保存部１０７と、を備える。表示項目決定部１０２は、選択項目が特定されたときは、選択項目に対応付けられた項目を表示項目として決定し、画像構成決定部１０３は、指紋情報に対応する選択履歴に基づいて画像構成を決定する。【選択図】図１
2020115298.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示し、指が触れた位置と触れた指の指紋とを検知するタッチパネルディスプレイから、ユーザの指が触れた位置を示す位置情報と前記ユーザの指の指紋を示す指紋情報とを取得する指情報取得手段と、
前記タッチパネルディスプレイに表示すべき項目である表示項目を決定する表示項目決定手段と、
前記表示項目を含む画像の構成である画像構成を決定する画像構成決定手段と、
前記画像構成に基づく画像を前記タッチパネルディスプレイに表示させる表示制御手段と、
前記位置情報と前記画像構成とに基づいて、前記表示項目のうち前記ユーザの指により選択された項目である選択項目を特定する選択項目特定手段と、
前記指紋情報と前記選択項目とに基づいて、前記ユーザにより選択された項目の履歴である選択履歴を指紋ごとに保存する履歴保存手段と、
を備え、
前記表示項目決定手段は、前記選択項目特定手段により前記選択項目が特定されたときは、前記選択項目に対応付けられた項目を前記表示項目として決定し、
前記画像構成決定手段は、前記指紋情報に対応する前記選択履歴に基づいて前記画像構成を決定する、
表示制御装置。
【請求項２】
前記画像構成決定手段は、前記表示項目が表示される領域を前記選択履歴に基づいて決定する、
請求項１に記載の表示制御装置。
【請求項３】
前記画像構成決定手段は、前記表示項目の表示順を前記選択履歴に基づいて決定する、
請求項１又は２に記載の表示制御装置。
【請求項４】
前記選択項目に対応付けられた項目のうち予め定められた自動選択条件を満たす項目を前記指紋情報と前記選択履歴とに基づいて抽出し、抽出した項目を新たな選択項目として特定する自動選択手段をさらに備える、
請求項１から３のいずれか１項に記載の表示制御装置。
【請求項５】
画像を表示し、指が触れた位置と触れた指の指紋とを検知するタッチパネルディスプレイと、
前記タッチパネルディスプレイに触れたユーザの指の位置を示す位置情報と前記ユーザの指の指紋を示す指紋情報とを取得する指情報取得手段と、
前記タッチパネルディスプレイに表示すべき項目である表示項目を決定する表示項目決定手段と、
前記表示項目を含む画像の構成である画像構成を決定する画像構成決定手段と、
前記画像構成に基づく画像を前記タッチパネルディスプレイに表示させる表示制御手段と、
前記位置情報と前記画像構成とに基づいて、前記表示項目のうち前記ユーザの指により選択された項目である選択項目を特定する選択項目特定手段と、
前記指紋情報と前記選択項目とに基づいて、前記ユーザにより選択された項目の履歴である選択履歴を指紋ごとに保存する履歴保存手段と、
を備え、
前記表示項目決定手段は、前記選択項目特定手段により前記選択項目が特定されたときは、前記選択項目に対応付けられた項目を前記表示項目として決定し、
前記画像構成決定手段は、前記指紋情報に対応する前記選択履歴に基づいて前記画像構成を決定する、
情報表示システム。
【請求項６】
画像を表示し、指が触れた位置と触れた指の指紋とを検知するタッチパネルディスプレイから、ユーザの指が触れた位置を示す位置情報と前記ユーザの指の指紋を示す指紋情報とを取得する指情報取得ステップと、
前記タッチパネルディスプレイに表示すべき項目である表示項目を決定する表示項目決定ステップと、
前記表示項目を含む画像の構成である画像構成を決定する画像構成決定ステップと、
前記画像構成に基づく画像を前記タッチパネルディスプレイに表示させる表示制御ステップと、
前記位置情報と前記画像構成とに基づいて、前記表示項目のうち前記ユーザの指により選択された項目である選択項目を特定する選択項目特定ステップと、
前記指紋情報と前記選択項目とに基づいて、前記ユーザにより選択された項目の履歴である選択履歴を指紋ごとに保存する履歴保存ステップと、
を備え、
前記表示項目決定ステップでは、前記選択項目特定ステップにて前記選択項目が特定されたときは、前記選択項目に対応付けられた項目を前記表示項目として決定し、
前記画像構成決定ステップでは、前記指紋情報に対応する前記選択履歴に基づいて前記画像構成を決定する、
表示制御方法。
【請求項７】
コンピュータを、
画像を表示し、指が触れた位置と触れた指の指紋とを検知するタッチパネルディスプレイから、ユーザの指が触れた位置を示す位置情報と前記ユーザの指の指紋を示す指紋情報とを取得する指情報取得手段、
前記タッチパネルディスプレイに表示すべき項目である表示項目を決定する表示項目決定手段、
前記表示項目を含む画像の構成である画像構成を決定する画像構成決定手段、
前記画像構成に基づく画像を前記タッチパネルディスプレイに表示させる表示制御手段、
前記位置情報と前記画像構成とに基づいて、前記表示項目のうち前記ユーザの指により選択された項目である選択項目を特定する選択項目特定手段、
前記指紋情報と前記選択項目とに基づいて、前記ユーザにより選択された項目の履歴である選択履歴を指紋ごとに保存する履歴保存手段、
として機能させ、
前記表示項目決定手段は、前記選択項目特定手段により前記選択項目が特定されたときは、前記選択項目に対応付けられた項目を前記表示項目として決定し、
前記画像構成決定手段は、前記指紋情報に対応する前記選択履歴に基づいて前記画像構成を決定する、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置、情報表示システム、表示制御方法及びプログラムに関する。
【背景技術】
【０００２】
画像の表示及び触れた指の位置の検知のみならず、触れた指の指紋の検知も可能なタッチパネルディスプレイを利用して、操作性に優れたユーザインタフェースを実現する技術が知られている。特許文献１には、タッチパネルディスプレイにより検知された指紋を操作と対応付けることができるモバイルコンピュータが開示されている。当該モバイルコンピュータによれば、ユーザの指ごとに操作を対応付けることができるので、ユーザは操作する指を切り替えることにより様々な操作をすることができる。そのため、当該モバイルコンピュータにより、操作性に優れたユーザインタフェースを実現できる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１４０３９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１のモバイルコンピュータには、指紋と操作とを対応付ける登録作業をユーザが行う必要があるという問題がある。そのため、特許文献１のモバイルコンピュータは、利便性が十分でない。
【０００５】
本発明の目的は、上記の事情に鑑み、操作性及び利便性に優れたユーザインタフェースを実現する表示制御装置などを提供することにある。
【課題を解決するための手段】
【０００６】
上記の目的を達成するため、本発明に係る表示制御装置は、画像を表示し、指が触れた位置と触れた指の指紋とを検知するタッチパネルディスプレイから、ユーザの指が触れた位置を示す位置情報と前記ユーザの指の指紋を示す指紋情報とを取得する指情報取得手段と、前記タッチパネルディスプレイに表示すべき項目である表示項目を決定する表示項目決定手段と、前記表示項目を含む画像の構成である画像構成を決定する画像構成決定手段と、前記画像構成に基づく画像を前記タッチパネルディスプレイに表示させる表示制御手段と、前記位置情報と前記画像構成とに基づいて、前記表示項目のうち前記ユーザの指により選択された項目である選択項目を特定する選択項目特定手段と、前記指紋情報と前記選択項目とに基づいて、前記ユーザにより選択された項目の履歴である選択履歴を指紋ごとに保存する履歴保存手段と、を備える。前記表示項目決定手段は、前記選択項目特定手段により前記選択項目が特定されたときは、前記選択項目に対応付けられた項目を前記表示項目として決定し、前記画像構成決定手段は、前記指紋情報に対応する前記選択履歴に基づいて前記画像構成を決定する。
【発明の効果】
【０００７】
本発明によれば、指紋ごとに選択履歴を保存し、かつ、表示項目を含む画像の構成である画像構成を、取得された指紋情報に対応する選択履歴に基づいて決定する。そのため、本発明によれば、ユーザが指紋と操作とを対応付ける登録作業を行う必要がないため利便性に優れ、かつ、指紋ごとに選択履歴に基づく画像構成が決定されるため操作性にも優れたユーザインタフェースを実現できる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態１に係る端末装置を示す図
【図２】本発明の実施の形態１に係る端末装置のタッチパネルに表示される画像の変化の一例を示す図
【図３】本発明の実施の形態１に係る端末装置のタッチパネルに表示される画像の変化の一例を示す図
【図４】本発明の実施の形態１に係る端末装置のタッチパネルに表示される画像の変化の一例を示す図
【図５】本発明の実施の形態１に係る項目対応データの一例を示す図
【図６】本発明の実施の形態１に係る指紋テーブルの一例を示す図
【図７】本発明の実施の形態１に係る選択履歴テーブルの一例を示す図
【図８】本発明の実施の形態１に係る制御装置のハードウェア構成の一例を示す図
【図９】本発明の実施の形態１に係る制御装置による表示制御の動作の一例を示すフローチャート
【図１０】本発明の実施の形態１に係る制御装置による選択履歴の保存の動作の一例を示すフローチャート
【図１１】本発明の実施の形態２に係る端末装置の構成を示す図
【図１２】本発明の実施の形態２に係る端末装置のタッチパネルに表示される画像の変化の一例を示す図
【図１３】本発明の実施の形態２に係る選択履歴テーブルの一例を示す図
【図１４】本発明の実施の形態２に係る制御装置による表示制御の動作の一例を示すフローチャート
【図１５】本発明の実施の形態２に係る制御装置による自動選択の動作の一例を示すフローチャート
【図１６】本発明の実施の形態３に係る遠隔操作システムの構成を示す図
【図１７】本発明の実施の形態の変形例に係る端末装置のタッチパネルに表示される画像の変化の一例を示す図
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら、本発明に係る情報表示システムを端末装置等に適用した実施の形態を説明する。各図面においては、同一又は同等の部分に同一の符号を付す。
【００１０】
（実施の形態１）
図１を参照しながら、実施の形態１に係る端末装置１を説明する。端末装置１は、ネットワークＮＴを介してエアコン２を遠隔操作するための端末装置である。端末装置１は、例えばエアコン２を遠隔操作するためのプログラムがインストールされた携帯電話、タブレット端末などである。ネットワークＮＴは、例えばインターネットである。
【００１１】
端末装置１は、タッチパネル１１を制御しエアコン２と通信する制御装置１０と、画像を表示し、指が触れた位置と触れた指の指紋とを検知するタッチパネルディスプレイであるタッチパネル１１とを備える。端末装置１は、エアコン２を遠隔操作するためのユーザインタフェースをユーザに提供する。後述のとおり、端末装置１によって操作性及び利便性に優れたユーザインタフェースを提供できる。端末装置１は、本発明に係る情報表示システムの一例である。
【００１２】
制御装置１０は、タッチパネル１１に触れた指の接触位置を示す位置情報と当該指の指紋を示す指紋情報とを含む指情報をタッチパネル１１から取得する。制御装置１０は、タッチパネル１１を制御してタッチパネル１１に画像を表示させる。制御装置１０は、インターネットＮＴを介してエアコン２と通信し、エアコン２を制御する。制御装置１０の機能的構成については後述する。制御装置１０は、本発明に係る表示制御装置の一例である。
【００１３】
タッチパネル１１は、指が触れた位置と当該指の指紋とを検知する。タッチパネル１１は、当該指が触れた位置を示す位置情報と当該指の指紋を示す指紋情報とを含む指情報を制御装置１０に出力する。タッチパネル１１は、制御装置１０の制御に基づいて画像を表示する。タッチパネル１１は、例えば指紋の凹凸による静電容量の変化を検知可能な静電容量式のタッチパネルディスプレイである。タッチパネル１１は、本発明に係るタッチパネルディスプレイの一例である。
【００１４】
次に、理解を容易にするため、図２及び図３を参照しながら、端末装置１のタッチパネル１１に表示される画像の変化の一例を説明する。図２及び図３に示される各画像には、ユーザのタッチ操作により選択可能な項目が表示されている。また、図２及び図３は、ユーザのタッチ操作により選択された項目に応じて画像が変化することを示している。図２及び図３においては、手のアイコンがタッチ操作された位置を示し、矢印がタッチ操作による画像の変化を示す。
【００１５】
以下の説明では、図２に示される操作が行われるより以前には、ユーザは端末装置１を操作したことがないものとし、図３に示される操作は、図２に示される操作が行われた直後に行われるものとする。「直後」とは、図２に示される操作が行われた後に他の操作が行われていないことをいう。また、図３に示される操作は、図２に示される操作にて使用された指と同一の指により行われるものとする。
【００１６】
図２では、ユーザが「エアコン一覧」、「エアコンＺ」、「運転モード」、「暖房」の順に項目を選択し、項目を選択するごとに画像が変化することが示されている。なお、「暖房」の項目を選択すると、エアコン２の運転モードを「暖房」にする制御が行われ、再び「エアコン一覧」の項目を示す画像が表示される。
【００１７】
図３でも、ユーザが「エアコン一覧」、「エアコンＺ」、「運転モード」の順に項目を選択し、最後に「暖房」、「冷房」、「除湿」及び「送風」の４項目を含む画像が表示されている。ただし、図３では、「エアコン一覧」が表示されている最初の画像を除き、項目の表示順が図２と異なっている。これは、直近の操作、つまり図２に示される操作にて選択された項目が一番上に表示されているからである。直近の操作により選択された項目を表示順に反映することにより、ユーザは直近に選択した項目を選択しやすくなる。
【００１８】
なお、ユーザが図２に示される操作を行った後、図２に示される操作を行った指とは異なる指にて「エアコン一覧」の項目を選択した場合には、表示される画像は図２に示されるものと同様となる。つまり、図２に示される操作にて使用された指と異なる指にて操作される場合、図２に示される操作にて選択された項目が表示順に反映されない。そのため、ユーザは、指を使い分けることにより様々な項目を選択しやすくなる。例えば、エアコンＺの運転モードを暖房に設定する操作を右手の人差し指で行い、エアコンＸのタイマーを設定する操作を左手の親指で行うことにより、エアコンＺの運転モードを暖房に設定する場合、エアコンＸのタイマーを設定する場合のいずれの場合にも、項目の選択が容易となる。
【００１９】
上記の説明では、直近に選択された項目が表示順に反映されるものとしたが、例えば各項目の選択回数を表示順に反映してもよい。例えば、最も選択回数の多い項目を一番上に表示し、最も選択回数の少ない項目を一番下に表示してもよい。
【００２０】
また、表示順を変更するのではなく、例えば項目が表示される領域の大きさを変更してもよい。例えば、図４に示すように、直近に選択された項目を大きく表示し、その他の項目を小さく表示してもよい。また、直近に選択された項目ではなく各項目の選択回数を領域の大きさに反映してもよい。
【００２１】
以下の説明では、特段の断りがない限り、タッチ操作は同一の指で行われるものとする。また、特段の断りがない限り、直近に選択された項目が項目の表示順に反映されるものとし、項目が表示される領域の大きさに変化はないものとする。
【００２２】
以上の説明をまとめると、端末装置１によれば、直近のユーザの操作により選択された項目が、次の操作における項目の表示順に反映される。また、表示順の反映は指ごとに別々である。
【００２３】
次に、再び図１を参照しながら、制御装置１０の機能的構成を説明する。制御装置１０は、制御装置１０を統括制御する制御部１００と、項目対応データ１１１と指紋テーブル１１２と選択履歴テーブル１１３とを保存する記憶部１１０と、ネットワークＮＴを介してエアコン２と通信する通信部１２０とを備える。
【００２４】
制御部１００は、指情報を取得する指情報取得部１０１と、タッチパネル１１に表示すべき項目である表示項目を決定する表示項目決定部１０２と、表示項目を含む画像の構成である画像構成を決定する画像構成決定部１０３と、画像構成に基づく画像をタッチパネル１１に表示させる表示制御部１０４と、表示項目のうちユーザの指により選択された項目である選択項目を特定する選択項目特定部１０５と、指紋情報に対応する指紋ＩＤを取得する指紋ＩＤ取得部１０６と、ユーザにより選択された項目の履歴である選択履歴を指紋ごとに保存する履歴保存部１０７と、を備える。
【００２５】
指情報取得部１０１は、タッチパネル１１に触れた指の接触位置を示す位置情報と当該指の指紋を示す指紋情報とを含む指情報をタッチパネル１１から取得する。位置情報は、例えばＸＹ座標系にて表現されたタッチパネル１１上の接触位置を示す情報である。指紋情報は、例えば指紋の画像を示す情報である。指情報取得部１０１は、本発明に係る指情報取得手段の一例である。
【００２６】
表示項目決定部１０２は、タッチパネル１１に表示すべき項目である表示項目を決定する。タッチパネル１１に初期画面を表示すべきとき、表示項目決定部１０２は初期画面に表示すべき表示項目である初期表示項目を決定する。図２に示される一連の画像の変化を例に説明すると、表示項目決定部１０２は、「エアコン一覧」の項目を表示項目として決定する。ユーザにより項目が選択され、後述の選択項目特定部１０５により当該項目が選択項目として特定されたとき、表示項目決定部１０２は記憶部１１０に保存された項目対応データ１１１を参照し、当該選択項目に対応付けられた項目を表示項目として決定する。図２に示される一連の画像の変化を例に説明すると、ユーザが「運転モード」の項目を選択したとき、「運転モード」の項目が選択項目特定部１０５により選択項目として特定され、「運転モード」の項目に対応付けられた「冷房」、「除湿」、「暖房」及び「送風」の４項目が表示項目として決定される。表示項目決定部１０２は、本発明に係る表示項目決定手段の一例である。
【００２７】
項目対応データ１１１の詳細を、図５を参照しながら説明する。各項目は、例えば図５に示すような木構造のデータ形式により表現される項目対応データ１１１によって対応付けられている。ルートに位置する「エアコン一覧」の項目が初期表示項目となる。図５の矢印は、矢印の根元の項目が選択項目となったときに矢印の先の項目が表示項目となることを示す。したがって、図５によれば、例えば、「運転モード」の項目が「冷房」、「除湿」、「暖房」及び「送風」の４項目と対応付けられており、「運転モード」が選択項目として特定されたときには「冷房」、「除湿」、「暖房」及び「送風」の４項目が表示項目として決定されることとなる。
【００２８】
なお、図５では、「冷房」、「除湿」、「暖房」、「送風」など木構造の末端の項目（以下、末端項目という）には、さらに対応付けられている項目が存在しない。詳細は後述するが、末端項目が選択項目として特定されたとき、制御部１００は当該選択項目に応じてエアコン２を制御し、表示項目決定部１０２は、「エアコン一覧」の項目を初期表示項目として決定する。
【００２９】
再び図１を参照する。画像構成決定部１０３は、記憶部１１０に保存された選択履歴テーブル１１３を参照し、指紋情報に対応する選択履歴に基づいて、表示項目を含む画像の構成である画像構成を決定する。選択履歴の詳細は後述する。画像構成決定部１０３は、選択履歴に基づいて、表示項目のうち直近に選択された項目、各表示項目の選択回数などを特定することができる。したがって、画像構成決定部１０３は、直近に選択された項目、選択回数などに基づいて画像構成を決定することができる。画像構成により、表示項目を画像内のどの領域に表示すべきかが定められる。表示項目を表示すべき領域が画像構成によって定められることにより、例えば図３あるいは図４に示すような、ユーザの直近の操作が反映された表示が実現される。画像構成決定部１０３は、本発明に係る画像構成決定手段の一例である。
【００３０】
なお、選択履歴テーブル１１３の参照について、より詳細には、画像構成決定部１０３は、指紋ＩＤ取得部１０６により指紋情報に対応する指紋ＩＤを取得し、当該指紋ＩＤに対応する選択履歴に基づいて画像構成を決定することとなる。指紋ＩＤ及び指紋ＩＤ取得部１０６の詳細は後述する。
【００３１】
表示制御部１０４は、画像構成決定部１０３により決定された画像構成に基づいて画像を作成し、当該画像をタッチパネル１１に表示させる。表示制御部１０４は、本発明に係る表示制御手段の一例である。
【００３２】
選択項目特定部１０５は、指情報取得部１０１により取得された指情報に含まれる位置情報と画像構成決定部１０３により決定された画像構成とに基づいて、タッチパネル１１に表示された表示項目のうちユーザの指により選択された項目である選択項目を特定する。選択項目特定部１０５は、位置情報と画像構成とを照合することにより、タッチパネル１１に触れたユーザの指の接触位置が、表示項目が表示された領域に含まれるか否かを判定できる。したがって、選択項目特定部１０５は、ユーザの指により選択された表示項目を特定できる。選択項目特定部１０５は、本発明に係る選択項目特定手段の一例である。
【００３３】
なお、ピンチ操作によるズーム、フリック操作によるスクロールなど表示項目の選択以外の操作によりタッチパネル１１に表示される表示項目の領域が変わった場合には、選択項目特定部１０５は、当該ズーム、スクロールなどによる画像の変化を考慮して選択項目を特定することが好ましい。
【００３４】
指紋ＩＤ取得部１０６は、記憶部１１０に保存された指紋テーブル１１２を参照して、指情報取得部１０１により取得された指紋情報に対応する指紋ＩＤを取得する。具体的には、指紋情報に対応する指紋データが指紋テーブル１１２に存在するときは、当該指紋データに関連付けられた指紋ＩＤを取得する。指紋情報に対応する指紋データが指紋テーブル１１２に存在しないときは、指紋情報に基づいて指紋データを作成し、作成した指紋データを新規の指紋ＩＤと関連付けて指紋テーブル１１２に保存し、当該新規の指紋ＩＤを指紋ＩＤとして取得する。「指紋情報に対応する指紋データ」とは、指紋情報が示す指紋と同一の指紋を示す指紋データのことをいう。「指紋情報に対応する指紋ＩＤ」とは、指紋情報が示す指紋と同一の指紋に関連付けられた指紋ＩＤのことをいう。
【００３５】
図６に示す指紋テーブル１１２の一例を参照しながら、指紋データ及び指紋ＩＤを詳細に説明する。指紋テーブル１１２には、指紋ＩＤと指紋データとが関連付けて保存される。指紋データとは、指紋情報に基づいて作成される、指紋に関するデータである。図６の例では、指紋情報が示す指紋画像のデータを指紋データとしているが、例えば指紋情報に基づいて得られる特徴量を指紋データとしてもよい。指紋ＩＤとは、指紋データを一意に識別するために指紋データと関連付けられた識別子（Identifier）である。指紋ＩＤを指紋データと関連付けることにより、指紋ＩＤと指紋とが関連付けられる。
【００３６】
図６の例において、指紋ＩＤ取得部１０６は、指情報取得部１０１により取得された指紋情報が示す指紋画像と、指紋テーブル１１２に保存された指紋データが示す指紋画像とを照合し、指紋情報が示す指紋と同一の指紋を示す指紋データが存在するか否かを判定する。指紋情報が示す指紋と同一の指紋を示す指紋データが存在する場合、当該指紋データに対応する指紋ＩＤを取得する。指紋情報が示す指紋と同一の指紋を示す指紋データが存在しない場合、指紋情報が示す指紋画像に基づいて指紋データを作成し、当該指紋データを新規の指紋ＩＤと関連付けて指紋テーブル１１２に保存する。
【００３７】
履歴保存部１０７は、指紋ＩＤ取得部１０６により取得された指紋ＩＤと、選択項目特定部１０５により特定された選択項目とを関連付けて、記憶部１１０に保存された選択履歴テーブル１１３に追加する。指紋ＩＤと選択項目とを関連付けて選択履歴テーブル１１３に追加することにより、履歴保存部１０７は、ユーザにより選択された項目の履歴である選択履歴を指紋ごとに保存することができる。履歴保存部１０７は、本発明に係る履歴保存手段の一例である。
【００３８】
図７に示す選択履歴テーブル１１３の一例を示しながら、選択履歴を詳細に説明する。選択履歴テーブル１１３には、指紋ＩＤごとに、ユーザにより選択された項目が時系列的に保存される。図７の例は、図２に示す操作が行われた直後の選択履歴テーブル１１３の一例を示すものであり、指紋ＩＤがａａａのユーザが、直近に「エアコン一覧」、「エアコンＺ」、「運転モード」、「暖房」の順に項目を選択していることを示す。このような選択履歴テーブル１１３により、表示項目のうち直近に選択された項目、各表示項目の選択回数などを指紋ごとに特定することができる。
【００３９】
上記の各機能部による機能のほか、制御部１００は、選択項目特定部１０５により特定された選択項目が末端項目であるとき、当該末端項目に基づき、通信部１２０を介してエアコン２を制御する機能を有する。
【００４０】
以上、制御装置１０の機能的構成を説明した。次に、制御装置１０のハードウェア構成の一例を、図８を参照しながら説明する。図８に示す制御装置１０は、例えばパーソナルコンピュータ、マイクロコントローラなどのコンピュータにより実現される。
【００４１】
制御装置１０は、バス１０００を介して互いに接続された、プロセッサ１００１と、メモリ１００２と、インタフェース１００３と、二次記憶装置１００４と、を備える。
【００４２】
プロセッサ１００１は、例えばCPU（Central Processing Unit: 中央演算装置）である。プロセッサ１００１が、二次記憶装置１００４に記憶された動作プログラムをメモリ１００２に読み込んで実行することにより、制御装置１０の各機能が実現される。
【００４３】
メモリ１００２は、例えば、RAM（Random Access Memory）により構成される主記憶装置である。メモリ１００２は、プロセッサ１００１が二次記憶装置１００４から読み込んだ動作プログラムを記憶する。また、メモリ１００２は、プロセッサ１００１が動作プログラムを実行する際のワークメモリとして機能する。
【００４４】
インタフェース１００３は、例えばシリアルポート、USB（Universal Serial Bus）ポート、ネットワークインタフェースなどのI/O（Input/Output）インタフェースである。インタフェース１００３により通信部１２０の機能が実現される。また、インタフェース１００３にタッチパネル１１が接続されることにより、制御装置１０はタッチパネル１１を制御できる。
【００４５】
二次記憶装置１００４は、例えば、フラッシュメモリ、HDD（Hard Disk Drive）、SSD（Solid State Drive）である。二次記憶装置１００４は、プロセッサ１００１が実行する動作プログラムを記憶する。二次記憶装置１００４により、記憶部１１０の機能が実現される。
【００４６】
次に、図９を参照しながら、制御装置１０による表示制御の動作の一例を説明する。また、適宜、図３、図５及び図７を参照しながら、具体例を交えて説明する。具体例においては、項目対応データ１１１が図５に示すものであり、選択履歴テーブル１１３が図７に示すものであり、操作に用いられる指の指紋に対応する指紋ＩＤがａａａであり、直近に選択された項目が一番上に表示されるものとする。図９に示す動作は、例えば端末装置１にインストールされた遠隔操作用のプログラムをユーザが起動したときに開始される。
【００４７】
制御装置１０の制御部１００は、表示項目決定部１０２により初期表示項目を決定し、画像構成決定部１０３により初期表示項目を含む画像構成を決定する（ステップＳ１０１）。例えば、項目対応データ１１１が図５に示すものの場合、「エアコン一覧」の項目が初期表示項目として決定される。
【００４８】
制御部１００の表示制御部１０４は、ステップＳ１０１にて決定された画像構成に基づいて画像を作成し、当該画像をタッチパネル１１に表示させる（ステップＳ１０２）。例えば、図３に示す例において、表示項目が「エアコン一覧」であるとき、当該「エアコン一覧」の項目を含む画像をタッチパネル１１に表示させる。同様に、表示項目が「エアコンＸ」、「エアコンＹ」及び「エアコンＺ」であるとき、当該「エアコンＸ」、「エアコンＹ」及び「エアコンＺ」の項目を含む画像をタッチパネル１１に表示させる。
【００４９】
ユーザの操作により指がタッチパネル１１に触れたとき、制御部１００の指情報取得部１０１は、指が触れた位置を示す位置情報と当該指の指紋を示す指紋情報とを含む指情報をタッチパネル１１から取得する（ステップＳ１０３）。
【００５０】
制御部１００の選択項目特定部１０５は、ステップＳ１０３にて取得された指情報に含まれる位置情報とステップＳ１０１にて決定された画像構成とに基づいて、ユーザの操作が項目の選択操作か否かを判定する（ステップＳ１０４）。
【００５１】
ユーザの操作が項目の選択操作でなかったとき（ステップＳ１０４：Ｎｏ）、制御部１００はステップＳ１０２からの動作の流れを繰り返す。なお、ステップＳ１０２まで戻るのは、ユーザの操作がピンチ操作によるズーム、フリック操作によるスクロールなど、タッチパネル１１に表示される画像を変化させる操作である場合が想定されるからである。
【００５２】
ユーザの操作が項目の選択操作であるとき（ステップＳ１０４：Ｙｅｓ）、選択項目特定部１０５は、位置情報と画像構成とに基づいて、ユーザにより選択された表示項目である選択項目を特定する（ステップＳ１０５）。例えば、図３に示す例において、「エアコン一覧」の項目がユーザの指によりタッチされたときは、当該「エアコン一覧」の項目を選択項目として特定する。
【００５３】
制御部１００は、指紋ＩＤ取得部１０６及び履歴保存部１０７により、選択履歴を保存する（ステップＳ１０６）。選択履歴の保存の動作の詳細は後述する。
【００５４】
制御部１００は、ステップＳ１０５にて特定された選択項目が末端項目であるか否かを判定する（ステップＳ１０７）。
【００５５】
選択項目が末端項目であるとき（ステップＳ１０７：Ｙｅｓ）、制御部１００は、選択項目に基づいてエアコン２を制御し（ステップＳ１０８）、ステップＳ１０１からの動作の流れを繰り返す。例えば、項目対応データ１１１が図５に示すものである場合において、「暖房」の項目が選択項目として特定されたとき、当該「暖房」の項目は末端項目であるため、当該操作によりエアコン２の運転モードを「暖房」に変更する制御が行われ、その後に初期表示項目である「エアコン一覧」の項目を含む画像がタッチパネル１１に表示される。
【００５６】
選択項目が末端項目ではないとき（ステップＳ１０７：Ｎｏ）、表示項目決定部１０２は、選択項目に対応付けられた項目を表示項目として決定する（ステップＳ１０９）。例えば、項目対応データ１１１が図５に示すものである場合において、選択項目が「運転モード」の項目であるとき、「運転モード」の項目に対応付けられた「冷房」、「除湿」、「暖房」及び「送風」の４項目が表示項目として決定される。
【００５７】
画像構成決定部１０３は、記憶部１１０に保存された選択履歴テーブル１１３を参照し、ステップＳ１０９にて決定された表示項目と、ステップＳ１０３にて取得された指情報に含まれる指紋情報に対応する選択履歴とに基づいて、画像構成を決定する（ステップＳ１１０）。例えば、選択履歴テーブル１１３が図７に示すものである場合において、表示項目が「エアコンＸ」、「エアコンＹ」及び「エアコンＺ」の項目である場合について説明する。これらの項目のうち直近に選択された項目が「エアコンＺ」の項目であることが選択履歴テーブル１１３から特定されるので、図３に示すような、「エアコンＺ」の項目が一番上に表示された画像を作成するための画像構成が決定される。
【００５８】
その後、制御部１００は、ステップＳ１０２からの動作の流れを繰り返す。
【００５９】
次に、図９のステップＳ１０６にて示された選択履歴の保存の動作の一例を、図１０を参照しながら詳細に説明する。
【００６０】
指紋ＩＤ取得部１０６は、指情報取得部１０１により取得された指紋情報に対応する指紋データが、記憶部１１０に保存された指紋テーブル１１２に存在するか否かを判定する（ステップＳ１０６１）。
【００６１】
指紋情報に対応する指紋データが存在するとき（ステップＳ１０６１：Ｙｅｓ）、指紋ＩＤ取得部１０６は、当該指紋データに対応する指紋ＩＤを、当該指紋情報に対応する指紋ＩＤとして取得する（ステップＳ１０６２）。
【００６２】
指紋情報に対応する指紋データが存在しないとき（ステップＳ１０６１：Ｎｏ）、指紋ＩＤ取得部１０６は、当該指紋情報に基づく指紋データを作成し、作成した指紋データを新規の指紋ＩＤと関連付けて指紋テーブル１１２に追加し、当該新規の指紋ＩＤを指紋ＩＤとして取得する（ステップＳ１０６３）。
【００６３】
履歴保存部１０７は、ステップＳ１０６２又はステップＳ１０６３にて取得された指紋ＩＤと、選択項目特定部１０５により特定された選択項目とを関連付けて選択履歴テーブル１１３に追加する（ステップＳ１０６４）。その後、制御部１００は、選択履歴の保存の動作を終了し、図９のステップＳ１０７以降の動作を実行する。
【００６４】
以上、実施の形態１に係る端末装置１を説明した。端末装置１によれば、指紋ごとに選択履歴を保存し、かつ、表示項目を含む画像の構成である画像構成を、取得された指紋情報に対応する選択履歴に基づいて決定する。そのため、端末装置１によれば、ユーザが指紋と操作とを対応付ける登録作業を行う必要がないため利便性に優れ、かつ、指紋ごとに選択履歴に基づく画像構成が決定されるため操作性にも優れたユーザインタフェースを実現できる。
【００６５】
例えば、図３に示す例のように、直近の操作により選択された項目を表示順に反映することにより、登録作業を要することなく、ユーザは直近に選択した項目を選択しやすくなる。また、この場合において、ユーザは、指を使い分けることにより様々な項目を選択しやすくなる。また、端末装置１が複数のユーザに利用される場合にも、ユーザごとの登録作業を要することなく、各ユーザの指ごとに、直近の操作により選択された項目が表示順に反映される。そのため、各ユーザが、直近に選択した項目を選択しやすくなる。
【００６６】
また、端末装置１によれば、複雑な操作を簡単化することもできる。例えば、端末装置１によれば、多数の表示項目のうちの直近に選択した項目を判別して選択することを複数回繰り返す操作を、単に同一の位置に表示される項目を連続して選択するだけの簡単な操作とすることができる。特に、表示項目が１画面内に収まりきらず、スクロール操作、フリック操作などにより表示しきれていない表示項目を選択する必要が生じてしまう場合に、操作が格段に簡単となる。
【００６７】
また、端末装置１によれば、ユーザが複雑なコマンドを覚えることなく操作を簡単化することができる。例えば、ユーザは、最も操作を行いやすい指のみを使うことにより、特段なにも覚えることなく操作を簡単化することができる。また、例えば、エアコンＸの操作とエアコンＹの操作とを指を使い分けることにより簡単化したい場合、ユーザは、エアコンＸの操作に使用する指及びエアコンＹの操作に使用する指のみを覚えていればよい。
【００６８】
（実施の形態２）
図１１を参照しながら、実施の形態２に係る端末装置１Ａを説明する。実施の形態２は、実施の形態１の場合に加えてさらに、項目の自動選択操作を実現する。以下、実施の形態１と共通する点の説明は省略する。
【００６９】
端末装置１Ａについては、制御装置１０Ａが実施の形態１の制御装置１０と異なる。制御装置１０Ａについては、制御部１００Ａが実施の形態１の制御部１００と異なる。制御部１００Ａについては、予め定められた自動選択条件を満たす項目を抽出して新たな選択項目として特定する自動選択部１０８Ａをさらに備える点が実施の形態１と異なる。自動選択部１０８Ａの詳細は後述する。端末装置１Ａは、本発明に係る情報表示システムの一例である。制御装置１０Ａは、本発明に係る表示制御装置の一例である。
【００７０】
理解を容易にするため、図１２を参照しながら、端末装置１Ａのタッチパネル１１に表示される画像の変化の一例を説明する。この説明において、図１２に示される操作が行われるより以前に、「エアコン一覧」、「エアコンＺ」、「運転モード」、「暖房」の各項目を順に選択する操作が同一の指にて直近に連続して３セット繰り返されているものとする。この場合、選択履歴テーブル１１３は、例えば図１３に示すものとなる。
【００７１】
上記の操作を３セット繰り返したあと、ユーザが再び同一の指で「エアコン一覧」の項目を選択すると、図１２に示すように、「エアコン一覧」の次に表示されるべき項目及びさらにその次に表示されるべき項目が表示されずに「暖房」、「冷房」、「除湿」及び「送風」の各末端項目を含む画像がタッチパネル１１に表示される。これは、「エアコン一覧」の項目の選択後、「エアコンＺ」の項目及び「運転モード」の項目が自動選択されたからである。例えば、選択項目と対応付けられた項目のうち、末端項目でなくかつ同一の項目を直近に３回連続で選択されたことを自動選択条件として予め定めることにより、このような動作を実現できる。
【００７２】
このような動作により、例えばユーザは、エアコンＺの運転モードを暖房に設定するときには常に特定の指を使用することにより、エアコンＺの運転モードを暖房に設定する際の操作を簡略化できる。
【００７３】
なお、「エアコン一覧」、「エアコンＺ」の項目の順に選択する操作は直近に３回連続で行われているが、「エアコンＺ」の次以降の項目については同一の項目が連続して選択されていない場合には、「エアコンＺ」の選択までが自動で行われる。
【００７４】
次に、再び図１１を参照しながら、自動選択部１０８Ａを説明する。自動選択部１０８Ａは、選択項目特定部１０５により特定された選択項目と対応付けられた項目を抽出する。自動選択部１０８Ａは、選択履歴テーブル１１３に含まれる、指情報取得部１０１により取得された指紋情報に対応する選択履歴を参照し、抽出した各項目のうち予め定められた自動選択条件を満たす項目を抽出し、抽出した項目を新たな選択項目として特定する。自動選択部１０８Ａは、自動選択部１０８Ａ自身により特定された選択項目に対しても同様の処理を実行する。以上を換言すると、自動選択部１０８Ａは、選択項目に対応付けられた項目のうち予め定められた自動選択条件を満たす項目を指紋情報と選択履歴とに基づいて抽出し、抽出した項目を新たな選択項目として特定するものである。自動選択部１０８Ａは、本発明に係る自動選択手段の一例である。
【００７５】
次に、図１４及び図１５を参照しながら、制御装置１０Ａによる表示制御の動作の一例及び自動選択の動作の一例を説明する。図１４に示す動作は、図９に示す実施の形態１の場合と比べて、ステップＳ１０６とステップＳ１０７との間で、ステップＳ２００にて示される自動選択の動作が実行される点が異なる。以下、図１５を参照しながら、自動選択の動作の一例を説明する。
【００７６】
制御装置１０Ａの制御部１００Ａの自動選択部１０８Ａは、選択項目が末端項目か否かを判定する（ステップＳ２００１）。
【００７７】
選択項目が末端項目であるとき（ステップＳ２００１：Ｙｅｓ）、制御部１００Ａは、自動選択の動作を終了し、図１４に示すステップＳ１０７以降の動作を実行する。
【００７８】
選択項目が末端項目ではないとき（ステップＳ２００１：Ｎｏ）、自動選択部１０８Ａは、項目対応データ１１１を参照して、当該選択項目に対応付けられた項目を抽出する（ステップＳ２００２）。
【００７９】
自動選択部１０８Ａは、指紋情報に対応する選択履歴を参照して、ステップＳ２００２にて抽出された各項目が予め定められた自動選択条件を満たすか否かを判定する（ステップＳ２００３）。
【００８０】
自動選択部１０８Ａは、ステップＳ２００３による判定の結果に基づき、自動選択条件を満たす項目があるか否かを判定する（ステップＳ２００４）。
【００８１】
自動選択条件を満たす項目がないとき（ステップＳ２００４：Ｎｏ）、制御部１００Ａは、自動選択の動作を終了し、図１４に示すステップＳ１０７以降の動作を実行する。
自動選択条件を満たす項目があるとき（ステップＳ２００４：Ｙｅｓ）、自動選択部１０８Ａは、当該項目を新たな選択項目として特定し、ステップＳ２００１からの動作の流れを繰り返す。
【００８２】
以上、実施の形態２に係る端末装置１Ａを説明した。端末装置１Ａによれば、指紋情報と選択履歴とに基づいて、自動選択条件を満たす項目を新たな選択項目として特定する。そのため、端末装置１Ａによれば、項目の選択操作を自動化できるので、ユーザ操作の簡略化を実現でき、操作性及び利便性に優れる。
【００８３】
（実施の形態３）
図１６を参照しながら、実施の形態３に係る遠隔操作システム１Ｂを説明する。図１６に示す各構成のうち、実施の形態１と同様の機能を有する構成には同一の名称及び同一の符号を付し、説明を省略する。遠隔操作システム１Ｂは、端末装置３Ｂの操作によりクラウドサーバ４Ｂを介してエアコン２を遠隔操作するためのシステムである。遠隔操作システム１Ｂは、本発明に係る情報表示システムの一例である。
【００８４】
遠隔操作システム１Ｂは、実施の形態１の制御装置１０の制御部１００の各機能部が、端末装置３Ｂとクラウドサーバ４Ｂとに分離して設けられていることを特徴とする。
【００８５】
端末装置３Ｂは、タッチパネル１１と制御部３００Ｂと通信部３１０Ｂとを備える。
通信部３１０Ｂは、ネットワークＮＴを介してクラウドサーバ４Ｂと通信する。制御部３００Ｂは、指情報取得部１０１と表示制御部１０４とを備える。
【００８６】
クラウドサーバ４Ｂは、制御部４００Ｂと記憶部１１０と通信部４１０Ｂとを備える。通信部４１０Ｂは、ネットワークＮＴを介して端末装置３Ｂ及びエアコン２と通信する。制御部４００Ｂは、表示項目決定部１０２と画像構成決定部１０３と選択項目特定部１０５と指紋ＩＤ取得部１０６と履歴保存部１０７とを備える。
【００８７】
制御部３００Ｂ及び制御部４００Ｂは、通信部３１０Ｂ及び通信部４１０Ｂを介して、制御部３００Ｂ及び制御部４００Ｂが必要とする情報を互いに送受信する。互いに送受信することにより、制御部３００Ｂ及び制御部４００Ｂが協働して、実施の形態１の制御部１００と同様の機能を実現できる。
【００８８】
遠隔操作システム１Ｂは、上記の構成により、実施の形態１の端末装置１と同様の動作が実現でき、実施の形態１の端末装置１と同様の効果を得ることができる。
【００８９】
（変形例）
上記の実施の形態の説明では、タッチ操作により項目を選択するユーザインタフェースを例示したが、例えば図１７に示すような、ドラムロール式のユーザインタフェースであってもよい。図１７において、手のアイコンに矢印が付されているものは、タッチ操作ではなく矢印方向へのフリック操作を表す。図１７は、設定温度の選択の際、初期状態では「２２．０℃」の項目が中央に表示されていることを示している。ユーザは、当該項目を下方向にフリック操作することにより項目を下方向にスクロールすることができる。図１７は、フリック操作により「２３．５℃」の項目が中央に表示された後、タッチ操作により「２３．５℃」の項目が選択されていることを示している。そして、図１７は、再び設定温度を設定する際には、直近に選択した「２３．５℃」の項目が初めから中央に表示されていることを示している。
【００９０】
このような動作を実現するため、画像構成決定部１０３は、ユーザの操作による変化も考慮した画像構成を決定する。例えば、画像構成には、初期状態では表示されずフリック操作により初めて表示される項目についての情報も含むことにより、このような動作を実現することができる。
【００９１】
上記の実施の形態では、エアコン２の遠隔操作を例示したが、エアコン２の遠隔操作以外にも本発明は適用可能である。例えば、通信機能を有さないデジタル歩数計にも本発明は適用可能である。
【００９２】
実施の形態３にて、実施の形態１の制御部１００の各機能部が端末装置３Ｂの制御部３００Ｂとクラウドサーバ４Ｂの制御部４００Ｂとに分離されて設けられていることを説明した。各機能部の分離は、実施の形態３に示された例に限られない。例えば、制御部４００Ｂではなく制御部３００Ｂが画像構成決定部１０３と選択項目特定部１０５とを備えてもよい。また、例えば、端末装置３Ｂにも記憶部を設け、クラウドサーバ４Ｂの記憶部１１０ではなく端末装置３Ｂの記憶部に項目対応データ１１１を保存し、制御部４００Ｂではなく制御部３００Ｂが表示項目決定部１０２を備えてもよい。
【００９３】
図８に示すハードウェア構成においては、制御装置１０が二次記憶装置１００４を備えている。しかし、これに限らず、二次記憶装置１００４を制御装置１０の外部に設け、インタフェース１００３を介して制御装置１０と二次記憶装置１００４とが接続される形態としてもよい。この形態においては、USBフラッシュドライブ、メモリカードなどのリムーバブルメディアも二次記憶装置１００４として使用可能である。
【００９４】
また、図８に示すハードウェア構成に代えて、ASIC（Application Specific Integrated Circuit: 特定用途向け集積回路）、FPGA（Field Programmable Gate Array）などを用いた専用回路により制御装置１０を構成してもよい。また、図８に示すハードウェア構成において、制御装置１０の機能の一部を、例えばインタフェース１００３に接続された専用回路により実現してもよい。
【符号の説明】
【００９５】
１，１Ａ  端末装置、１Ｂ  遠隔操作システム、２  エアコン、３Ｂ  端末装置、４Ｂ  クラウドサーバ、１０，１０Ａ  制御装置、１１  タッチパネル、１００，１００Ａ  制御部、１０１  指情報取得部、１０２  表示項目決定部、１０３  画像構成決定部、１０４  表示制御部、１０５  選択項目特定部、１０６  指紋ＩＤ取得部、１０７  履歴保存部、１０８Ａ  自動選択部、１１０  記憶部、１１１  項目対応データ、１１２  指紋テーブル、１１３  選択履歴テーブル、１２０  通信部、３００Ｂ  制御部、３１０Ｂ  通信部、４００Ｂ  制御部、４１０Ｂ  通信部、１０００  バス、１００１  プロセッサ、１００２  メモリ、１００３  インタフェース、１００４  二次記憶装置、ＮＴ  ネットワーク。
【図１】
2020115298.tif 000003
【図２】
2020115298.tif 000004
【図３】
2020115298.tif 000005
【図４】
2020115298.tif 000006
【図５】
2020115298.tif 000007
【図６】
2020115298.tif 000008
【図７】
2020115298.tif 000009
【図８】
2020115298.tif 000010
【図９】
2020115298.tif 000011
【図１０】
2020115298.tif 000012
【図１１】
2020115298.tif 000013
【図１２】
2020115298.tif 000014
【図１３】
2020115298.tif 000015
【図１４】
2020115298.tif 000016
【図１５】
2020115298.tif 000017
【図１６】
2020115298.tif 000018
【図１７】
2020115298.tif 000019