(57)【要約】  ＧＵＩにおいて遷移後の画面の情報をあらかじめ表示させることを目的とする。  本発明における情報処理装置は、画面に含まれる入力要素を認識する画面認識部と、上記入力要素に対応する入力情報を生成する入力情報生成部と、上記入力情報に対応する上記画面の遷移先の情報を取得する遷移先情報取得部と、上記遷移先の情報を上記画面とは別に表示させるために出力する遷移先情報出力部とを含む。
2013157322.tif 000002
【特許請求の範囲】
【請求項１】
画面に含まれる入力要素を認識する画面認識部と、  前記入力要素に対応する入力情報を生成する入力情報生成部と、  前記入力情報に対応する前記画面の遷移先の情報を取得する遷移先情報取得部と、  前記遷移先の情報を前記画面とは別に表示させるために出力する遷移先情報出力部と  を備える情報処理装置。
【請求項２】
前記画面認識部は、前記画面が表示される第１の表示部を制御する第１の表示制御部から取得した情報に基づいて前記入力要素を認識する、請求項１に記載の情報処理装置。
【請求項３】
前記遷移先情報出力部は、前記第１の表示部に前記遷移先の情報を表示させるために前記第１の表示制御部に前記遷移先の情報を出力する、請求項２に記載の情報処理装置。
【請求項４】
前記遷移先情報出力部は、前記遷移先の情報を、前記第１の表示部を含む撮像画像を取得する他の装置によって画面イメージに変換されるコードとして表示させるために出力する、請求項３に記載の情報処理装置。
【請求項５】
前記遷移先情報出力部は、前記第１の表示部とは異なる第２の表示部に前記遷移先の情報を表示させるために前記第２の表示部を制御する第２の表示制御部に前記遷移先の情報を出力する、請求項２に記載の情報処理装置。
【請求項６】
前記画面認識部は、前記画面を含む撮像画像の情報に基づいて前記入力要素を認識する、請求項１に記載の情報処理装置。
【請求項７】
前記画面認識部は、前記撮像画像に含まれる前記入力要素の画像を認識する、請求項６に記載の情報処理装置。
【請求項８】
前記画面認識部は、前記撮像画像に含まれる、前記入力要素に対応して配置されたコードを認識する、請求項６に記載の情報処理装置。
【請求項９】
前記遷移先情報出力部は、前記遷移先の情報を画面イメージとして表示させるために出力する、請求項１に記載の情報処理装置。
【請求項１０】
前記入力要素は、前記画面の遷移を発生させるサブミット要素を含み、  前記入力情報生成部は、前記サブミット要素によってサブミットが実行されたことを示す前記入力情報を生成する、請求項１に記載の情報処理装置。
【請求項１１】
前記画面認識部は、複数の前記サブミット要素を認識し、  前記入力情報生成部は、前記各サブミット要素によってサブミットが実行されたことを示す複数の入力情報を生成し、  前記遷移先情報取得部は、前記各入力情報に対応する前記画面の複数の遷移先の情報を取得し、  前記遷移先情報出力部は、前記複数の遷移先の情報を出力する、請求項１０に記載の情報処理装置。
【請求項１２】
前記遷移先情報出力部は、前記複数の遷移先の情報を、前記各サブミット要素に対応付けて表示させるために出力する、請求項１１に記載の情報処理装置。
【請求項１３】
前記入力要素は、アイテムを入力するためのエントリー要素を含み、  前記入力情報生成部は、前記アイテムに対応する前記入力情報を生成する、請求項１に記載の情報処理装置。
【請求項１４】
前記入力情報生成部は、前記アイテムに対応するダミーの前記入力情報を生成する、請求項１３に記載の情報処理装置。
【請求項１５】
前記遷移先の情報は、前記画面の遷移によって順次表示される一連の画面の情報を含む、請求項１に記載の情報処理装置。
【請求項１６】
前記遷移先情報出力部は、前記一連の画面を静止画の配列として表示させるために出力する、請求項１５に記載の情報処理装置。
【請求項１７】
前記遷移先情報出力部は、前記一連の画面を静止画が連続する動画として表示させるために出力する、請求項１５に記載の情報処理装置。
【請求項１８】
前記一連の画面の情報は、一連の処理が終了するまでの前記画面の遷移に対応する、請求項１５に記載の情報処理装置。
【請求項１９】
前記一連の画面の情報は、所定の回数の前記画面の遷移に対応する、請求項１５に記載の情報処理装置。
【請求項２０】
画面に含まれる入力要素を認識する機能と、  前記入力要素に対応する入力情報を生成する機能と、  前記入力情報に対応する前記画面の遷移先の情報を取得する機能と、  前記遷移先の情報を前記画面とは別に表示させるために出力する機能と  をコンピュータに実現させるためのプログラム。 
【発明の詳細な説明】
【技術分野】
【０００１】  本開示は、情報処理装置およびプログラムに関する。
【背景技術】
【０００２】  ＧＵＩ（Graphical  User  Interface）は、ユーザが装置を操作するために提供されるインターフェースとして広く用いられている。例えば、ユーザは、装置の表示部にＧＵＩとして表示される画面において、ボタンのような操作要素に押下などの所定の操作を加えたり、テキストボックスのような入力領域に項目を入力したりすることによって、装置に様々な入力を与える。【０００３】  このようなＧＵＩでは、ユーザの入力に応じて、表示される画面が遷移することが一般的である。例えば、携帯電話や家電製品などの電子機器の操作画面では、機能を概略的に表示するメインメニューから、メインメニューで選択された機能の詳細メニューへと画面が遷移することがごく一般的にみられる。また、例えばコンピュータのウェブブラウザなどでは、アドレスの入力やリンクの選択などに応じて次々に新たなウェブページが取得され、表示が新たなウェブページに遷移する。【０００４】  上記のようなＧＵＩにおいて表示される画面が遷移した場合に、遷移する前の画面をもう一度見たいというユーザの要望も、ごく一般的である。例えば、電子機器の操作画面では、多くの場合「戻る」ボタンが配置され、詳細メニューからメインメニューへと画面の遷移を戻す操作が可能である。また、ウェブブラウザにも、「戻る」ボタンが配置され、装置にキャッシュされた遷移前のウェブページを再び表示させる操作が可能である。【０００５】  特許文献１には、ウェブブラウザにおいて遷移前のウェブページを表示させる機能を改良する技術が記載されている。この技術は、表示されたウェブページのイメージを記憶しておくことによって、例えばキャッシュが禁止されているページでも、表示されていた情報を遷移後に確認することを可能にする。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−２０４１５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】  遷移前の画面を見たいという要望と同様に、遷移後の画面を見たいというユーザの要望もある。しかしながら、上述したような技術は、この要望を満たすものではなく、他にもかかる要望を満たすための技術は提案されていない。【０００８】  そこで、本開示では、ＧＵＩにおいて遷移後の画面の情報をあらかじめ表示させることが可能な、新規かつ改良された情報処理装置およびプログラムを提案する。
【課題を解決するための手段】
【０００９】  本開示によれば、画面に含まれる入力要素を認識する画面認識部と、上記入力要素に対応する入力情報を生成する入力情報生成部と、上記入力情報に対応する上記画面の遷移先の情報を取得する遷移先情報取得部と、上記遷移先の情報を上記画面とは別に表示させるために出力する遷移先情報出力部とを含む情報処理装置が提供される。【００１０】  また、本開示によれば、画面に含まれる入力要素を認識する機能と、上記入力要素に対応する入力情報を生成する機能と、上記入力情報に対応する上記画面の遷移先の情報を取得する機能と、上記遷移先の情報を上記画面とは別に表示させるために出力する機能とをコンピュータに実現させるためのプログラムが提供される。【００１１】  ＧＵＩにおいてユーザが入力する入力要素に対応する入力情報を生成し、これを用いて画面の遷移先の情報を予め入手して出力することによって、ユーザは、実際に情報を入力して画面を遷移させる前に、遷移後の画面の情報を得ることができる。
【発明の効果】
【００１２】  以上説明したように本開示によれば、ＧＵＩにおいて遷移後の画面の情報をあらかじめ表示させることができる。
【図面の簡単な説明】
【００１３】
【図１】本開示の第１の実施形態に係る情報処理装置の外観を示す図である。
【図２】本開示の第１の実施形態で表示される画面の例を示す図である。
【図３】図２の例において遷移先表示がされることなく画面が遷移した場合を示す図である。
【図４】本開示の第１の実施形態における遷移先表示の例を示す図である。
【図５】本開示の第１の実施形態における遷移先表示の例を示す図である。
【図６】本開示の第１の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。
【図７】本開示の第１の実施形態における処理の一例を示すフローチャートである。
【図８】本開示の第２の実施形態における遷移先表示の第１の例を示す図である。
【図９】本開示の第２の実施形態における遷移先表示の第２の例を示す図である。
【図１０】本開示の第２の実施形態における遷移先表示の第３の例を示す図である。
【図１１】本開示の第２の実施形態における処理の一例を示すフローチャートである。
【図１２】図２の例において、遷移先表示がされることなく画面が遷移した場合を示す図である。
【図１３】図２の例において、遷移先表示がされることなく画面が遷移した場合を示す図である。
【図１４】本開示の第３の実施形態における遷移先表示の例を示す図である。
【図１５】本開示の第４の実施形態に係る情報処理装置の外観を示す図である。
【図１６】本開示の第４の実施形態における遷移先表示の第１の例を示す図である。
【図１７】本開示の第４の実施形態における遷移先表示の第２の例を示す図である。
【図１８】本開示の第４の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。
【図１９】本開示の第５の実施形態に係る装置の外観を示す図である。
【図２０】本開示の第５の実施形態で表示される操作画面の例を示す図である。
【図２１】本開示の第５の実施形態における遷移先表示の例を示す図である。
【図２２】本開示の第５の実施形態で表示される操作画面の他の例を示す図である。
【図２３】本開示の第５の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。
【図２４】本開示の第５の実施形態に係る情報処理装置の代替的な機能構成を示すブロック図である。
【図２５】情報処理装置のハードウェア構成を説明するためのブロック図である。
【発明を実施するための形態】
【００１４】  以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】  なお、説明は以下の順序で行うものとする。    １．第１の実施形態：ウェブブラウザでの遷移先表示    ２．第２の実施形態：複数の遷移先表示    ３．第３の実施形態：一連の遷移先の表示    ４．第４の実施形態：複数の表示部    ５．第５の実施形態：画面を表示する装置とは別の装置で表示    ６．ハードウェア構成    ７．補足
【００１６】  （１．第１の実施形態：ウェブブラウザでの遷移先表示）  まず、図１〜図７を参照して、本開示の第１の実施形態について説明する。
【００１７】    （装置構成）  図１は、本開示の第１の実施形態に係る情報処理装置の外観を示す図である。本実施形態に係る情報処理装置は、図示されているようにノート型のＰＣ（Personal  Computer）１００である。なお、本実施形態に係る情報処理装置は、図示されている例の他にも、例えばタブレット型やテスクトップ型のＰＣであってもよいし、携帯電話（スマートフォン）など、後述するようなウェブブラウザとしての機能を有する各種の装置であってもよい。
【００１８】  ＰＣ１００は、表示部１１０を有する。表示部１１０は、例えばＬＣＤ（Liquid  Crystal  Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどによって実現される。なお、本実施形態では、表示部１１０に表示されるウェブブラウザについて説明するが、表示部１１０には、この他にもＰＣ１００の処理に関する各種の画像やテキストなどの情報が表示されうる。
【００１９】    （画面表示の例）  図２は、本開示の第１の実施形態で表示される画面の例を示す図である。ウェブブラウザ画面１１０１は、ＰＣ１００の表示部１１０に表示される。ウェブブラウザ画面１１０１は、例えばアドレスの入力やリンクの選択などに応じて別の画面へと遷移する。なお、図示された例において、ウェブブラウザ画面１１０１には航空券予約のページが表示されているが、当然ながら表示されているページは何のページであってもよい。また、図示されたウェブブラウザ画面１１０１のデザインは、本開示の実施形態について何ら限定的な意味をもたない。
【００２０】  ウェブブラウザ画面１１０１には、入力要素としてボタン１１０２が含まれる。図示された例において、ボタン１１０２は、「予約」、「空席照会」などの機能にそれぞれ対応する４つのボタン１１０２ａ〜１１０２ｄを含む。ユーザがいずれかのボタン１１０２を押下する（より具体的には、マウスやタッチパッドなどを用いてクリック、ダブルクリック、タップなどを実行する）と、ウェブブラウザ画面１１０１がそれぞれの機能のページに遷移する。ボタン１１０２のように、画面の遷移を発生させる入力要素を、以下ではサブミット要素ともいう。
【００２１】  ユーザがボタン１１０２を押下した場合、「ボタン１１０２が押下された」という情報が、ＰＣ１００からウェブサーバに送信される。この情報は、入力要素であるボタン１１０２に対応する入力情報といえる。また、この情報は、サブミット要素であるボタン１１０２によってサブミットが実行されたことを示す入力情報である。
【００２２】  「ボタン１１０２が押下された」という入力情報を受信したウェブサーバは、この入力情報に対応するウェブブラウザ画面１１０１の遷移先の情報を生成してＰＣ１００に送信する。ＰＣ１００は、ウェブサーバから受信した情報に従って、ウェブブラウザ画面１１０１を遷移させる。
【００２３】    （遷移先表示がない場合）  図３は、図２の例において遷移先表示がされることなく画面が遷移した場合を示す図である。図示された例では、「予約」のボタン１１０２ａが押下されている。この例において、ユーザはログインしていなかったため、「オンライン予約にはログインが必要です」というエラーメッセージが表示されている。
【００２４】  このような場合、ユーザは、例えば「戻る」ボタンを押下するなどして遷移前の画面に戻ればよい。しかしながら、例えばキャッシュが禁止されたページなどでは、一旦画面が遷移すると戻れない場合もあり、その場合はブラウザを閉じて最初からやり直すしかない。このような事態は、ユーザの時間や手間を無駄にさせるものでありうる。しかしながら、後述するような遷移先表示がされない場合、ユーザがこのような事態を予め予測することは困難である。
【００２５】  もちろん、上記のような事態を避けるために、ウェブページの設計にあたっては、例えばログインしていないユーザに対しては「予約」のボタン１１０２ａを無効にするなどの配慮がされることが理想的ではある。しかしながら、そのような最適な設計をすべてのウェブページに望むことは、必ずしも現実的ではない。
【００２６】  そこで、本実施形態では、ボタン１１０２を押下した場合の遷移先についての情報を予め表示し、ユーザが実際にボタン１１０２を押下する前に、そのボタン１１０２の押下が所望の結果をもたらすかどうかを知ることを可能にする。
【００２７】    （遷移先表示の例）  図４および図５は、本開示の第１の実施形態における遷移先表示の例を示す図である。図４の例では、「予約」のボタン１１０２ａの上にカーソルが配置された状態（ボタン１１０２ａを押下する前の状態）で、ボタン１１０２ａを押下した場合の遷移先（図３に示すエラー画面）の画面イメージが、遷移先表示１１０３として表示される。
【００２８】  遷移先表示１１０３を表示させるための情報は、例えば、ＰＣ１００が、ウェブブラウザ画面１１０１にページを表示させているセッション（以下、メインセッションともいう）とは別のセッション（以下、サブセッションともいう）を新たに立ち上げ、そのセッションで「ボタン１１０２ａが押下された」という入力情報をウェブサーバに送信することによって取得されうる。サブセッションで送信される入力情報は、ユーザが実際に入力したものではなく、ＰＣ１００で生成されたものである。
【００２９】  これによって、ユーザは、ボタン１１０２ａを押下すると、図３に示したようなエラー画面に遷移して進退窮まる結果になることを事前に察知し、ボタン１１０２ａを押下しないようにすることができる。
【００３０】  一方、図５の例では、「空席照会」のボタン１１０２ｂの上にポインタが配置された状態（ボタン１１０２ｂを押下する前の状態）で、ボタン１１０２ｂを押下した場合の遷移先の画面イメージが、遷移先表示１１０３として表示される。
【００３１】  これによって、ユーザは、ボタン１１０２ｂを押下した場合の遷移先が、ログインをしていない状態でも利用可能な画面であることを事前に認識し、安心してボタン１１０２ｂを押下することができる。
【００３２】  （機能ブロック）  図６は、本開示の第１の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。
【００３３】  ＰＣ１００は、表示部１１０と、表示制御部１２０と、画面認識部１３０と、入力情報生成部１４０と、遷移先情報取得部１５０と、遷移先情報出力部１６０とを含む。表示部１１０以外の構成要素は、例えばＣＰＵ（Central  Processing  Unit）、ＲＡＭ（Random  Access  Memory）、およびＲＯＭ（Read  Only  Memory）を用いてソフトウェア的に実現されうる。
【００３４】  表示制御部１２０は、表示部１１０を制御し、ウェブブラウザ画面１１０１および遷移先表示１１０３を表示部１１０に表示させる。表示制御部１２０は、ウェブブラウザ画面１１０１を表示させるための情報を、図示しない操作部が取得したユーザの操作に従ってウェブサーバ２００から取得する。これは、例えば、ウェブブラウザ画面１１０１に表示されたボタン１１０２を実際に押下するユーザの操作が取得され、この操作に基づく入力情報（ボタン１１０２の押下を示す）がウェブサーバ２００に送信され、入力情報に対応する画面の遷移先の情報がウェブサーバから送信されることで実行される。なお、本実施形態の説明では、このような「通常の画面遷移」に関する機能構成は、一般的用いられうるものであるために省略している。
【００３５】  一方、表示制御部１２０は、遷移先表示１１０３を表示させるための遷移先の情報を、遷移先情報出力部１６０から取得する。ここで、遷移先の情報は、現在表示されているウェブブラウザ画面１１０１に含まれるボタン１１０２などの入力要素の情報に基づいて取得される。そのため、表示制御部１２０は、ウェブブラウザ画面１１０１を表示させるための情報を画面認識部１３０にも提供し、遷移先の情報の取得を可能にする。
【００３６】  画面認識部１３０は、表示制御部１２０から取得した情報に基づいて、ウェブブラウザ画面１１０１に含まれる入力要素であるボタン１１０２を認識する。ここで、表示制御部１２０から画面認識部１３０に提供される情報は、例えばウェブページのソースコードでありうる。例えば、画面認識部１３０は、ソースコードの中からボタン１１０２を表す文字列を検出することで、ボタン１１０２と、ボタン１１０２に設定された属性とを認識してもよい。
【００３７】  一例として、ウェブページがＨＴＭＬ（Hyper  Text  Markup  Language）で記述されている場合、画面認識部１３０は、ソースコードの中から「<a  href="reserve.html"><img  src="reserve.gif"…></a>」といったようなリンクを示す文字列を抽出する。なお、この文字列は、ウェブブラウザ画面１１０１ではボタン１１０２として表示される。画面認識部１３０は、さらに、ボタン１１０２の属性として、「href（他のページ等へのリンクであることを示す）」、「reserve.html（リンク先のＵＲＬ（Uniform  Resource  Locator））」といった情報を取得しうる。
【００３８】  入力情報生成部１４０は、画面認識部１３０が認識した入力要素に対応する入力情報を生成する。上述のように、サブミット要素であるボタン１１０２に対応する入力情報は、ボタン１１０２によってサブミットが実行されたことを示す情報でありうる。これは、上記のＨＴＭＬの例でいえば、ＵＲＬ「reserve.html」を指定したリクエストでありうる。つまり、本実施形態において、入力情報生成部１４０は、ボタン１１０２が押下された場合にウェブサーバ２００に送信されるであろう情報を、入力情報として生成する。
【００３９】  遷移先情報取得部１５０は、入力情報生成部１４０が生成した入力情報に対応する遷移先の情報を、ウェブサーバ２００から取得する。より具体的には、例えば、遷移先情報取得部１５０は、生成された入力情報を含むリクエストをウェブサーバ２００に送信し、当該リクエストへのレスポンスとして遷移先の画面の情報をウェブサーバ２００から受信する。上述したように、遷移先の表示にあたり、ウェブブラウザ画面１１０１自体は遷移しない。従って、遷移先情報取得部１５０は、ウェブブラウザ画面１１０１の表示に用いられるメインセッションとは別のサブセッションを用いて、ウェブサーバ２００とやりとりしうる。
【００４０】  遷移先情報出力部１６０は、遷移先情報取得部１５０が取得した遷移先の情報を、遷移先表示１１０３としてウェブブラウザ画面１１０１とは別に表示させるために表示制御部１２０に出力する。ウェブブラウザ画面１１０１とは別に表示する、とは、ウェブブラウザ画面１１０１の表示はそのまま継続した状態でそれとは別に表示するという意味である。例えば、遷移先表示１１０３は、上記の例のように、ウェブブラウザ画面１１０１の一部に重複して表示されてもよい。あるいは、遷移先表示１１０３は、ウェブブラウザ画面１１０１と重複せずに表示されてもよいし、ウェブブラウザ画面１１０１の全部に重複して表示されてウェブ部ブラウザ画面１１０１を一時的に隠してもよい。
【００４１】  （処理フロー）  図７は、本開示の第１の実施形態における処理の一例を示すフローチャートである。
【００４２】  まず、画面認識部１３０が、入力要素であるボタン１１０２を認識するとともに、表示部１１０におけるカーソルの位置情報を参照し、カーソルがボタン１１０２上にあるか否かを判定する（ステップＳ１０１）。
【００４３】  次に、入力情報生成部１４０が、カーソルが位置していたボタン１１０２に対応する入力情報を生成する（ステップＳ１０３）。ここで生成される入力情報は、例えば、「ボタン１１０２が押下された」ことを示す情報でありうる。
【００４４】  次に、遷移先情報取得部１５０が、入力情報生成部１４０によって生成された入力情報をウェブサーバ２００に送信する（ステップＳ１０５）。ここで、遷移先情報取得部１５０は、上述のように、メインセッションとは別のサブセッションで入力情報を送信してもよい。例えば、図４および図５の例のように、ウェブブラウザ画面１１０１にページが表示された状態から新たに遷移先表示１１０３を表示する場合、遷移先情報取得部１５０は、新たにサブセッションを立ち上げて入力情報を送信する。
【００４５】  次に、遷移先情報取得部１５０は、ウェブサーバ２００から遷移先情報を受信する（ステップＳ１０７）。遷移先情報は、ステップＳ１０５で送信された入力情報に基づいてウェブサーバ２００で生成される画面の情報であり、これをそのままウェブブラウザ画面１１０１に表示させれば、通常の画面遷移が実行される情報でありうる。
【００４６】  次に、遷移先情報出力部１６０が、受信された遷移先情報を表示制御部１２０に提供し、表示制御部１２０が表示部１１０に遷移先表示１１０３を表示させる（ステップＳ１０９）。上述のように、本実施形態において、遷移先表示１１０３は、ウェブブラウザ画面１１０１とは別に表示される。
【００４７】  （２．第２の実施形態：複数の遷移先表示）  次に、図８〜図１１を参照して、本開示の第２の実施形態について説明する。
【００４８】  なお、本開示において、装置構成および機能ブロックは、上記の第１の実施形態と同様であるため、詳細な説明を省略する。
【００４９】    （遷移先表示の例）  図８は、本開示の第２の実施形態における遷移先表示の第１の例を示す図である。図示された例では、「予約」のボタン１１０２ａと「空席照会」のボタン１１０２ｂとの間付近にカーソルが位置する状態で、ボタン１１０２ａおよびボタン１１０２ｂをそれぞれ押下した場合の次画面が、それぞれ遷移先表示１１０３ａおよび遷移先表示１１０３ｂとして表示される。
【００５０】  このように、本実施形態では、上記の第１の実施形態と同様の遷移先表示１１０３が、ウェブブラウザ画面１１０１に表示された複数のボタン１１０２についてそれぞれ表示される。それぞれのボタン１１０２と遷移先表示１１０３との関係を示すために、図示されているようにボタン１１０２と遷移先表示１１０３とをつなぐリンクが表示されてもよい。あるいは、遷移先表示１１０３は、対応するボタン１１０２に重ね合わせて表示されてもよい。
【００５１】  なお、上記の例では、カーソルの近傍にあるボタン１１０２について遷移先表示１１０３が表示されたが、遷移先表示１１０３の対象になるボタン１１０２は必ずしも限定されなくてもよい。例えば、遷移先表示１１０３は、ボタン１１０２ａ〜１１０２ｄのすべてについて表示されてもよい。
【００５２】  図９は、本開示の第２の実施形態における遷移先表示の第２の例を示す図である。図示された例では、ウェブブラウザ画面１１０１に表示されているボタン１１０２ａ〜１１０２ｄをそれぞれ押下した場合の遷移先が、遷移先表示１１０３ｅとして表示される。遷移先表示１１０３ｅは、それぞれのボタン１１０２を押下した場合の次画面を、例えばボタン１１０２の名称が記載されたタブを用いて切り替えて表示することが可能な表示である。
【００５３】  このようにすることで、例えば表示部１１０の領域の余裕が少ない場合でも、複数のボタン１１０２について遷移先表示１１０３ｅを表示することが可能である。なお、遷移先表示１１０３ｅの対象になるボタン１１０２は、必ずしもウェブブラウザ画面１１０１に含まれるボタン１１０２のすべてでなくてもよい。例えば、図９には示されていないが、画面のヘッダやフッタなどに表示される定型的なボタン（例えば、ホームに戻るためのボタンや言語切り替えのボタンなど）は、遷移先表示１１０３ｅの表示の対象外であってもよい。
【００５４】  図１０は、本開示の第２の実施形態における遷移先表示の第３の例を示す図である。図示された例では、ウェブブラウザ画面１１０１に表示されているボタン１１０２ａ〜１１０２ｄをそれぞれ押下した場合の遷移先が、遷移先コード１１０４ａ〜１１０４ｄとして表示される。遷移先コード１１０４は、表示部１１０を含む撮像画像を取得する他の装置によって、遷移先の画面イメージに変換されるコードである。図示された例では遷移先コード１１０４として二次元コードが示されているが、他の種類のコードであってもよい。
【００５５】  情報処理装置１００と、表示部１１０を含む撮像画像を取得する他の装置との具体的な例としては、例えば、情報処理装置１００がデスクトップ型のＰＣやテレビであり、他の装置がスマートフォンなどである場合が挙げられる。この場合、スマートフォンでは、カメラ（撮像装置）を用いてＰＣやテレビの表示部が映った画像を取得するとともに、この画像に含まれる遷移先コード１１０４を認識し、遷移先コード１１０４に含まれる情報を用いて遷移先の画面イメージを表示する。かかる表示は、例えば拡張現実（ＡＲ：Augmented  Reality）として表示されてもよい。
【００５６】  上記の撮像画像では、表示部１１０の周囲の空間をも用いて遷移先の画面イメージを表示することが可能である。従って、例えば表示部１１０自体に表示するよりも多くの画面イメージを表示することができる。それゆえ、例えば表示部１１０には領域の余裕が少ない場合でも、複数のボタン１１０２について遷移先の画面イメージを表示することが可能である。
【００５７】  なお、このような遷移先コード１１０４による遷移先情報の表示は、遷移先の画面イメージが表示される他の実施形態においても、画面イメージの表示に代えて用いられうる。
【００５８】    （処理フロー）  図１１は、本開示の第２の実施形態における処理の一例を示すフローチャートである。
【００５９】  まず、画面認識部１３０が、入力要素であるボタン１１０２を認識する（ステップＳ２０１）。本実施形態において、画面認識部１３０は、複数のボタン１１０２を認識する。認識される複数のボタン１１０２は、ウェブブラウザ画面１１０１に含まれるボタン１１０２のすべてであってもよいし、またその一部であってもよい。例えば、認識されるボタンは、表示部１１０でカーソルの近傍に位置するボタン１１０２に限定されてもよい。また、画面のヘッダおよびフッタを除いた領域に含まれるボタン１１０２が、認識対象から除外されてもよい。
【００６０】  次に、入力情報生成部１４０が、認識されたボタン１１０２に対応する入力情報を生成する（ステップＳ２０３）。ここで、本実施形態では、複数のボタン１１０２が認識されているため、入力情報生成部１４０は、それぞれのボタン１１０２について入力情報を生成する。より具体的には、ここで生成される入力情報は、認識された複数のサブミット要素であるボタン１１０２によって、それぞれサブミットが実行されたことを示す情報でありうる。
【００６１】  次に、遷移先情報取得部１５０が、入力情報生成部１４０によって生成された入力情報をウェブサーバ２００に送信する（ステップＳ２０５）。ここで、遷移先情報取得部１５０は、複数のボタン１１０２のそれぞれについて別個のサブセッションで入力情報を送信してもよい。例えば、図８の例のように２つのボタン１１０２ａ，１１０２ｂが検出された場合、遷移先情報取得部１５０は、新たに２つのサブのセッションを立ち上げて入力情報を送信する。
【００６２】  次に、遷移先情報取得部１５０は、ウェブサーバ２００から遷移先情報を受信する（ステップＳ２０７）。遷移先情報は、ステップＳ２０５で送信された入力情報に基づいてウェブサーバ２００で生成される画面の情報であり、これをそのままウェブブラウザ画面１１０１に表示させれば、通常の画面遷移が実行される情報でありうる。ここで、本実施形態では、複数のボタン１１０２について入力情報が生成および送信されるため、遷移先情報取得部１５０は、それぞれのボタン１１０２についての複数の遷移先情報を受信する。
【００６３】  次に、遷移先情報出力部１６０が、受信された遷移先情報を表示制御部１２０に提供し、表示制御部１２０が表示部１１０に遷移先表示１１０３（または遷移先コード１１０４）を表示させる（ステップＳ２０９）。上述のように、本実施形態において、遷移先表示１１０３（または遷移先コード１１０４）は、何らかの形で、対応するボタン１１０２と対応付けて表示される。
【００６４】  （３．第３の実施形態：一連の遷移先の表示）  次に、図１２〜図１４を参照して、本開示の第３の実施形態について説明する。
【００６５】  なお、本開示において、装置構成は、上記の第１または第２の実施形態と同様であるため、詳細な説明を省略する。
【００６６】    （遷移先表示がない場合）  図１２および図１３は、上述した図２の例において、遷移先表示がされることなく画面が遷移した場合を示す図である。図示された例では、「会員登録」のボタン１１０２ｄが押下されている。この場合、ウェブブラウザ画面１１０１には、図１２に示す会員登録の第１のページが遷移先として表示される。この第１のページには、氏名、年齢、および住所の入力欄１１０５が含まれる。ユーザは、入力欄１１０５に所定の項目を入力した後、「次へ」ボタン１１０２ｎを押下する。すると、ウェブブラウザ画面１１０１は、図１３に示す会員登録の第２のページに遷移する。
【００６７】  図１３に示す会員登録の第２のページには、クレジットカードの番号および有効期限の入力欄１１０５が含まれる。ユーザは、入力欄１１０５に所定の項目を入力した後、「次へ」ボタン１１０２ｎを押下する。
【００６８】  上記のような画面遷移において、ユーザは、それぞれのページが表示されるまで、どのような項目の入力が求められるかを知ることがない。それゆえ、例えば、クレジットカードを用いたオンライン決済を好まないユーザは、第１のページで氏名や住所などを入力しておきながら、第２のページが表示されて初めてクレジットカード決済が必要なことを知り、会員登録をあきらめることになる（このユーザは、結局は例えば電話で予約することを選択するであろう）。この場合、第１のページでの氏名などの入力の作業は無駄になってしまう。また、結局は不要になるにもかかわらず、氏名などの個人情報をウェブサーバ２００に送信してしまったことにもなる。
【００６９】    （遷移先表示の例）  図１４は、本開示の第３の実施形態における遷移先表示の例を示す図である。図１４の例では、「会員登録」ボタン１１０２ｄの上にカーソルが配置された状態（ボタン１１０２ｄを押下する前の状態）で、ボタン１１０２ｄを押下した場合の遷移先（図１２に示す会員登録の第１のページ）が、第１の遷移先表示１１０３ｄ１として表示される。
【００７０】  さらに、第１の遷移先表示１１０３ｄ１に含まれるボタン１１０２ｎの上にカーソルを移動させると、会員登録の第１のページでボタン１１０２ｎを押下した場合の遷移先（図１３に示す会員登録の第２のページ）が、第２の遷移先表示１１０３ｄ２として表示される。なお、第１の遷移先表示１１０３ｄ１および第２の遷移先表示１１０３ｄ２からなる一連の画面の情報は、上記の例のように順次表示されなくてもよく、一括して表示されてもよい。
【００７１】  ここで、会員登録の第１のページでは、氏名、年齢および住所が必須入力項目であり、これらの項目を入力しないと、「次へ」ボタン１１０２ｎを押下してもエラーになってしまう。そこで、入力情報生成部１４０は、第１の遷移先表示１１０３ａを表示させた後、第２の遷移先表示１１０３ｂに進むときに、第１の遷移先表示１１０３ａでの入力項目についてダミー項目１１０６を生成し（氏名「ＡＢＣＤ  ＥＦ」、年齢「３０」、住所「ＡＢＣＤ  ＥＦＧＨ」として図示されている）、「ボタン１１０２ｎが押下された」という情報とともに入力情報としてウェブサーバ２００に送信する。
【００７２】  これによって、ユーザは、項目を入力する手間や、必要のない情報がウェブサーバに送信されるリスクを避けながら、ボタン１１０２を押下することによって表示される画面の遷移を見通すことができる。従って、上記のオンライン決済を好まないユーザの例のように、あるボタン１１０２を押下した後の画面遷移が結果として意に沿わないものであるような場合に、無駄な手間やリスクを発生させることなく、そのボタン１１０２の押下を避けることができる。
【００７３】    （機能ブロック）  ここで、図６を再び参照して、本実施形態における情報処理装置の機能ブロックについて、第１の実施形態との相違点を中心に説明する。
【００７４】  本実施形態において、画面認識部１３０は、表示制御部１２０から取得した情報に基づいて、ウェブブラウザ画面１１０１に含まれる入力要素であるボタン１１０２を認識するとともに、入力欄１１０５をも認識する。入力欄１１０５も、本実施形態では入力要素に含まれる。入力欄１１０５のように、テキストなどのアイテムを入力するための入力要素を、以下ではエントリー要素ともいう。
【００７５】  また、画面認識部１３０は、表示制御部１２０から、ウェブブラウザ画面１１０１として表示されている画面の情報だけではなく、遷移先表示１１０３として表示されている画面の情報をも取得し、遷移先表示１１０３の画面イメージに含まれるボタン１１０２や入力欄１１０５を認識する。なお、遷移先表示１１０３として表示される画面の情報は、遷移先情報出力部１６０から提供されてもよい。
【００７６】  入力情報生成部１４０は、サブミット要素であるボタン１１０２に対応する入力情報を生成するのに加えて、エントリー要素である入力欄１１０５に対応する入力情報を生成する。入力欄１１０５に対応する入力情報は、入力欄１１０５に入力されるアイテムに対応する情報、つまり上記の例で言えば氏名や住所などのテキスト情報である。上述の通り、入力情報生成部１４０は、かかるアイテムの情報として、あらかじめ設定されたダミー項目１１０６を入力情報として生成してもよい。
【００７７】  また、本実施形態では、画面認識部１３０によって、ウェブブラウザ画面１１０１として表示されている画面だけではなく、遷移先表示１１０３として表示されている画面についても入力要素が認識される。そのため、入力情報生成部１４０も、ウェブブラウザ画面１１０１として表示されている画面だけではなく、遷移先表示１１０３として表示されている画面についても入力情報を生成する。
【００７８】  遷移先情報取得部１５０は、入力情報生成部１４０が生成した入力情報に対応する遷移先の情報を、ウェブサーバ２００から取得する。上述のように、本実施形態では、エントリー要素についても入力情報が設定されるため、例えば必須の入力項目が設定されているような画面でも、遷移先の情報を取得することが可能である。
【００７９】  なお、遷移先情報取得部１５０は、遷移先表示１１０３として表示されている画面について生成された入力情報に対応する遷移先の情報を取得する場合に、元の遷移先の画面の情報を取得するために用いられたサブセッションを引き続き用いてもよい。例えば、上記の例において、遷移先情報取得部１５０は、遷移先表示１１０３ｄ１を表示するための情報を取得する際に用いたサブセッションを引き続き用いてウェブサーバ２００とやりとりしてもよい。
【００８０】  遷移先情報出力部１６０は、遷移先情報取得部１５０が取得した遷移先の情報を、遷移先表示１１０３としてウェブブラウザ画面１１０１とは別に表示させるために表示制御部１２０に出力する。上述のように、本実施形態では、遷移先の情報として、現在のウェブブラウザ画面１１０１の次の遷移先である遷移先表示１１０３ｄ１に加えて、さらに次の遷移先である遷移先表示１１０３ｄ２が表示される。遷移先情報出力部１６０は、これらの遷移先の情報を順次取得して、表示制御部１２０に提供する。
【００８１】  なお、本開示の各実施形態において、情報処理装置１００は、例えばユーザが一連の遷移先情報によって示される遷移の結果に満足した場合には、ユーザの操作によって実際のウェブブラウザ画面１１０１を遷移先情報の通りに遷移させる機能を有していてもよい。この場合、遷移先情報取得部１５０は、例えばウェブブラウザ画面１１０１にページを表示させるメインセッションを用いて一連の入力情報を改めてウェブサーバに送信し、ウェブブラウザ画面１１０１を遷移させてもよい。ここで、エントリー項目について設定されたダミー項目１１０６がある場合は、あらかじめ登録された真正の項目に置き換えられる。
【００８２】  （４．第４の実施形態：複数の表示部）  次に、図１５〜図１８を参照して、本開示の第４の実施形態について説明する。
【００８３】    （装置構成）  図１５は、本開示の第４の実施形態に係る情報処理装置の外観を示す図である。本実施形態に係るＰＣ３００は、図示されているように折り畳み式のタブレット型のＰＣである。なお、本実施形態に係る情報処理装置は、図示されている例の他にも、例えば携帯電話（スマートフォン）など、後述するように複数の表示部が設けられ、ウェブブラウザとしての機能を有する各種の装置であってもよい。
【００８４】  ＰＣ２００は、２つの表示部３１０ａ，３１０ｂを有する。これらの表示部３１０は、例えばＬＣＤまたは有機ＥＬディスプレイなどによって実現される。なお、本実施形態では、表示部３１０に表示されるウェブブラウザについて説明するが、表示部３１０には、この他にもＰＣ３００の処理に関する各種の画像やテキストなどの情報が表示されうる。
【００８５】    （画面表示および遷移先表示の例）  図１６は、本開示の第４の実施形態における遷移先表示の第１の例を示す図である。図示された例では、表示部３１０ａに、上記の図２に示したものと同様のウェブブラウザ画面１１０１が表示される。一方、表示部３１０ｂには、ウェブブラウザ画面１１０１に表示されているボタン１１０２ａ〜１１０２ｄをそれぞれ押下した場合の遷移先を示す遷移先表示１１０３ｆが表示される。遷移先表示１１０３ｆには、ボタン１１０２ａ〜１１０２ｄとの関係を示すために、それぞれのボタン１１０２に対応したアイコン（「予約」、「空席照会」などとして図示）が表示されてもよい。
【００８６】  なお、複数のボタン１１０２に対応する複数の遷移先の情報を表示するという点で、この例は、上記の第２の実施形態と同じである。従って、複数の遷移先の情報を表示することに関する第２の実施形態の構成は、同様に本実施形態にも適用されうる。
【００８７】  上記の例では、ウェブブラウザ画面１１０１が表示される表示部３１０ａと、遷移先表示１１０３が表示される表示部３１０ｂが別であるために、例えばウェブブラウザ画面１１０１に複数のボタン１１０２が含まれる場合でも、空間的な余裕をもって遷移先表示１１０３を表示することができる。
【００８８】  図１７は、本開示の第４の実施形態における遷移先表示の第２の例を示す図である。図示された例では、表示部３１０ａに、上記の図２に示したものと同様のウェブブラウザ画面１１０１が表示される。一方、表示部３１０ｂには、ウェブブラウザ画面１１０１に表示されている「会員登録」ボタン１１０２ｄを押下した場合の一連の画面遷移が、遷移先表示１１０３ｄ１〜１１０３ｄ４として表示される。遷移先表示１１０３ｄ１〜１１０３ｄ４には、ボタン１１０２ｄとの関係を示すために、ボタン１１０２ｄに対応したアイコン（「会員登録」として図示）が表示されてもよい。
【００８９】  なお、ボタン１１０２に対応する一連の遷移先の情報を表示するという点で、この例は、上記の第３の実施形態と同じである。従って、一連の遷移先の情報を表示することに関する第３の実施形態の構成は、同様に本実施形態にも適用されうる。
【００９０】  上記の例では、ウェブブラウザ画面１１０１が表示される表示部３１０ａと、遷移先表示１１０３が表示される表示部３１０ｂが別であるために、例えばボタン１１０２から始まる画面遷移が多くの画面にわたる場合でも、空間的な余裕をもって遷移先表示１１０３を表示することができる。
【００９１】  ここで、遷移先表示１１０３として表示される一連の画面遷移は、例えばボタン１１０２を押下した後に遷移する画面を、一連の処理の完了まで示すものであってもよい。一連の処理の完了は、例えば、図示されている例のように、「ホームへ」というボタンが表示され、現在ウェブブラウザ画面１１０１に表示されている（またはこれまでにウェブブラウザ画面１１０１に表示された）画面に戻る遷移が発生する画面が現れることによって認識されうる。
【００９２】  また、遷移先表示１１０３として表示される一連の画面遷移は、所定の回数の画面の遷移を示すものであってもよい。例えば、図示された例において、ユーザの操作によって２回という回数が設定されていれば、遷移先表示１１０３ｄ１，１１０３ｄ２までが表示される。
【００９３】  さらに、一連の画面遷移の中に分岐がある場合、つまり、画面に押下されうるボタン１１０２が複数含まれており、それぞれのボタン１１０２を押下した場合で遷移する画面が異なる場合、遷移先表示１１０３は、途中で分岐して表示されてもよい。あるいは、遷移先表示１１０３ｇは、予め設定されたメインのユースケースに対応するボタン１１０２に限定して表示されてもよい。
【００９４】  このような一連の画面遷移は、例えば、図示された例のように、遷移先の画面イメージである静止画の配列として表示されてもよい。また、一連の画面遷移は、遷移先の画面イメージである静止画が連続する動画として表示されてもよい。
【００９５】  なお、以上のような一連の画面遷移の表示のための構成は、上記の第３の実施形態にも同様に適用されうる。
【００９６】    （機能ブロック）  図１８は、本開示の第４の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。
【００９７】  ＰＣ３００は、表示部３１０ａ，３１０ｂと、表示制御部３２０ａ，３２０ｂと、画面認識部１３０と、入力情報生成部１４０と、遷移先情報取得部１５０と、遷移先情報出力部１６０とを含む。表示部３１０ａ，３１０ｂ以外の構成要素は、例えばＣＰＵ、ＲＡＭ、およびＲＯＭを用いてソフトウェア的に実現されうる。
【００９８】  なお、上記の機能構成のうち、上記の第１〜第３の実施形態のいずれかと同様にすることが可能な部分については、同一の符号を付することによって詳細な説明を省略する。
【００９９】  表示制御部３２０ａは、表示部３１０ａを制御し、ウェブブラウザ画面１１０１を表示部３１０ａに表示させる。表示制御部３２０ａは、ウェブブラウザ画面１１０１を表示させるための情報を、図示しない操作部が取得したユーザの操作に従ってウェブサーバ２００から取得する。また、表示制御部３２０ａは、ウェブブラウザ画面１１０１を表示させるための情報を画面認識部１３０にも提供し、遷移先の情報の取得を可能にする。
【０１００】  表示制御部３２０ｂは、表示部３１０ｂを制御し、遷移先表示１１０３を表示部３１０ｂに表示させる。表示制御部３２０ｂは、遷移先表示１１０３を表示させるための遷移先の情報を、遷移先情報出力部１６０から取得する。
【０１０１】  以上のような構成によって、本実施形態に係るＰＣ４００では、ウェブブラウザ画面１１０１と遷移先表示１１０３とを別々の表示部３１０ａ，３１０ｂにそれぞれ表示させることが可能である。なお、ウェブブラウザ画面１１０１と遷移先表示１１０３とがそれぞれ表示される表示部３１０は、必ずしも固定されていなくてもよく、必要に応じて自動的に、あるいはユーザの操作に従って切り替えられてもよい。
【０１０２】  （５．第５の実施形態：画面を表示する装置とは別の装置で表示）  次に、図１９〜図２５を参照して、本開示の第５の実施形態について説明する。
【０１０３】    （装置構成）  図１９は、本開示の第５の実施形態に係る装置の外観を示す図である。本実施形態に係る情報処理装置は、図示されているように、スマートフォン４００である。なお、本実施形態に係る情報処理装置は、図示されている例の他にも、後述するように撮像部と表示部とを有する各種の装置であってもよい。
【０１０４】  スマートフォン４００は、表示部４１０と、撮像部４７０とを有する。表示部４１０は、例えばＬＣＤ（Liquid  Crystal  Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどによって実現される。表示部４１０上にはタッチセンサが設けられ、表示部４１０の所定の領域へのユーザの接触を操作として取得することが可能であってもよい。撮像部４７０は、例えば撮像素子およびレンズならびにそれらの駆動機構によって実現される。撮像部４７０は、ＡＴＭ５００の表示部５１０を含む領域を撮像する。
【０１０５】  本実施形態に係る他の装置は、図示されているように、ＡＴＭ（Automatic  Teller  Machine）である。ＡＴＭ５００は、現金やカードなどの挿入、取出口などに加えて、表示部５１０を有する。表示部５１０は、例えばＬＣＤなどによって実現され、ＡＴＭ５００の操作に関する各種の情報を表示する。また、表示部５１０上にはタッチセンサが設けられ、表示部５１０の所定の領域へのユーザの接触を操作として取得する。
【０１０６】  なお、ＡＴＭ５００は、上記の表示部５１０のように、操作のための情報を表示する表示部を有する装置であれは、ＡＴＭには限らず、券売機や精算機など、各種の装置でありうる。
【０１０７】    （画面表示の例）  図２０は、本開示の第５の実施形態で表示される操作画面の例を示す図である。操作画面５１０１は、ＡＴＭ５００の表示部５１０に表示される。操作画面５１０１は、ボタン５１０２を含む。ユーザは、表示部５１０のボタン５１０２に対応する位置に接触することによって、ＡＴＭ５００に操作入力を与えることが可能である。操作画面５１０１は、ユーザがボタン５１０２を用いて与えた操作入力に応じて遷移する。
【０１０８】  なお、図示された例において、操作画面５１０１にはＡＴＭの操作内容が表示されているが、券売機や精算機などの他の装置の場合には、当然異なる内容が表示される。また、装置がＡＴＭの場合でも、異なる操作内容が表示される場合もある。つまり、操作画面５１０１の表示内容およびデザインは、本開示の実施形態について何ら限定的な意味をもたない。
【０１０９】  上述のように、操作画面５１０１には、入力要素としてボタン５１０２が含まれる。図示された例において、ボタン５１０２は、「お引き出し」、「お預け入れ」などの機能にそれぞれ対応する４つのボタン５１０２ａ〜５１０２ｄを含む。ユーザがいずれかのボタン５１０２を押下する（より具体的には、ボタン５１０２の領域で表示部５１０に接触する）と、ＡＴＭ５００が操作画面５１０１を遷移させる。ボタン５１０２も、画面の遷移を発生させる入力要素であるため、サブミット要素にあたる。
【０１１０】  ユーザがボタン５１０２を押下した場合、「ボタン５１０２が押下された」という情報が、ＡＴＭ５００によって取得される。この情報は、入力要素であるボタン５１０２に対応する入力情報といえる。また、この情報は、サブミット要素であるボタン５１０２によってサブミットが実行されたことを示す入力情報である。
【０１１１】  「ボタン５１０２が押下された」という入力情報を取得したＡＴＭ５００は、この入力情報に対応する操作画面５１０１の遷移先の情報を取得する。ＡＴＭ５００は、内部に格納されたプログラムに従って動作して遷移先の情報を生成してもよく、例えばホストコンピュータなどの他の装置と通信して、遷移先の情報を取得してもよい。
【０１１２】  図示された例において、ボタン５１０２ａ〜５１０２ｄがそれぞれ押下された場合では、互いに異なる入力情報がＡＴＭ５００によって取得され、結果として互いに異なる次の操作画面が表示されうる。しかしながら、それぞれのボタン５１０２を選択した場合に、どのような次の操作画面が表示されるかは、ユーザにはわからない。
【０１１３】  そこで、本実施形態では、それぞれのボタン５１０２を選択した場合に表示される次の操作画面を、遷移先表示としてユーザに提示する。ただし、上記の第１の実施形態との違いとして、本実施形態では、ＡＴＭ５００の表示部５１０ではなく、スマートフォン４００の表示部４１０に、遷移先表示を表示する。
【０１１４】    （遷移先表示の例）  図２１は、本開示の第５の実施形態における遷移先表示の例を示す図である。図示された例では、スマートフォン４００の表示部４１０に、撮像部４７０によって取得されたＡＴＭ５００の表示部５１０の画像が表示されている。表示部５１０には、ボタン５１０２ａ〜５１０２ｄを含む操作画面５１０１が表示されている。
【０１１５】  さらに、表示部４１０では、ＡＴＭ５００の表示部５１０の画像に重畳して、遷移先表示４１０３が表示される。遷移先表示４１０３は、スマートフォン４００が、撮像部４７０が取得した画像に含まれるボタン５１０２をマーカとして認識し、それぞれのボタン５１０２に対応する次画面情報を取得することによって表示される。
【０１１６】  図示された例では、ボタン５１０２ａ〜５１０２ｄのそれぞれに対応する遷移先表示４１０３ａ〜４１０３ｄが表示される。例えば、遷移先表示４１０３ａは、「お引き出し」ボタン５１０２ａを選択した場合に表示される次の操作画面（引き出し金額の入力画面）を示す。同様に、遷移先表示４１０３ｂ〜４１０３ｄも、ボタン５１０２ｂ〜５１０２ｄをそれぞれ選択した場合に表示される次の操作画面を示す。
【０１１７】  これによって、ユーザは、ＡＴＭ５００で表示部３１０に表示されたそれぞれのボタン５１０２を選択するとどのような画面に進むかをあらかじめ把握した上で、ＡＴＭ５００を操作することができる。
【０１１８】  なお、遷移先表示４１０３は、必ずしもボタン５１０２のすべてについて表示されなくてもよい。例えば、遷移先表示４１０３は、ユーザがスマートフォン４００の表示部４１０への接触などによって指定したボタン５１０２に限定して表示されてもよい。また、例えば上記の第３の実施形態と同様に、１または複数のボタン５１０２について、ボタン５１０２を選択した場合の一連の画面遷移が静止画または動画で表示されてもよい。
【０１１９】    （画面表示の変形例）  図２２は、本開示の第５の実施形態で表示される操作画面の他の例を示す図である。図示されているように、操作画面５１０１には、ボタン５１０２に加えて、マーカ５１０５が表示されてもよい。このマーカ５１０５は、ボタン５１０２の画像の代わりに、スマートフォン４００によってマーカとして認識される。これによって、スマートフォン４００では、画像に含まれるボタン５１０２に対応する遷移先表示４１０３を表示部４１０に表示することが可能である。
【０１２０】  このように、ボタン５１０２のそれぞれに対応する別途のマーカ５１０５を表示することによって、ボタン５１０２自体をマーカとして認識する場合に比べて、認識が容易になり、また認識の精度も向上しうる。
【０１２１】    （機能ブロック）  図２３は、本開示の第５の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。
【０１２２】  スマートフォン４００は、表示部４１０と、表示制御部４２０と、画面認識部４３０と、入力情報生成部１４０と、遷移先情報取得部４５０と、遷移先情報出力部１６０と、撮像部４７０とを含む。表示部４１０および撮像部４７０以外の構成要素は、例えばＣＰＵ、ＲＡＭ、およびＲＯＭを用いてソフトウェア的に実現されうる。
【０１２３】  なお、上記の機能構成のうち、上記の第１〜第４の実施形態のいずれかと同様にすることが可能な部分については、同一の符号を付することによって詳細な説明を省略する。
【０１２４】  画面認識部４３０は、撮像部４７０から提供される撮像画像について画像認識の処理を実行し、操作画面５１０１に含まれる入力要素であるボタン５１０２を認識する。例えば、画面認識部４３０は、予め設定されたボタン５１０２の画像の特徴量に基づいて、撮像画像の中からボタン５１０２の画像を検索する。また、図示された例には示されていないが、画面認識部４３０は、ボタン５１０２のようなサブミット要素だけではなく、金額の入力欄のようなエントリー要素についても、同様に認識しうる。画面認識部４３０は、認識された入力要素の情報を、入力情報生成部１４０に提供する。また、画面認識部４３０は、認識された入力要素の撮像画像内での位置情報を、表示制御部４２０に出力してもよい。
【０１２５】  遷移先情報取得部４５０は、入力情報生成部１４０が生成した入力情報に対応する遷移先の情報を、遷移先ＤＢ４５２を参照して取得する。遷移先ＤＢ４５２は、例えば、ＡＴＭ５００を運営する事業者（金融機関）によって、ＡＴＭ５００の操作補助アプリケーションソフトウェアとともに提供されるものでありうる。この場合、遷移先情報取得部４５０は、入力情報を用いて、操作画面５１０１として表示されうる画面のライブラリを検索し、そこから遷移先の情報を取得する。
【０１２６】  表示制御部４２０は、表示部４１０の表示を制御する。表示制御部２２０は、撮像部４７０から提供されるＡＴＭ５００の操作画面５１０１を含む撮像画像を表示部４１０に表示させるとともに、遷移先情報出力部１６０から提供された遷移先情報に従って、遷移先表示４１０３を表示部４１０に表示させる。ここで、表示制御部４２０は、例えば画面認識部４３０から提供された、入力要素の撮像画像内での位置情報に基づいて、遷移先表示４１０３の表示位置を決定してもよい。
【０１２７】  図２４は、本開示の第５の実施形態に係る情報処理装置の代替的な機能構成を示すブロック図である。
【０１２８】  図示された例では、上記の図２３の例で説明したものと同様の機能構成のうち、画面認識部４３０、入力情報生成部１４０、遷移先情報取得部４５０、および遷移先情報出力部１６０が、サーバ装置６００によって提供される。この例において、スマートフォン４００は、撮像部４７０が取得した撮像画像の情報をサーバ装置６００に送信する。サーバ装置６００は、画面認識部４３０、入力情報生成部１４０、遷移先情報取得部４５０、および遷移先情報出力部１６０の機能によって遷移先の情報を出力し、スマートフォン４００に送信する。スマートフォン４００は、受信した情報に従って表示制御部１２０が表示部４１０に遷移先表示４１０３を表示させる。
【０１２９】  このように、本実施形態では、スマートフォン４００に遷移先表示４１０３を表示させるための処理の少なくとも一部を、サーバ装置６００によって実行することが可能である。なお、上記の第１〜第４の実施形態でも同様にして、ＰＣ１００およびＰＣ３００の処理の少なくとも一部をサーバ装置で実行することが可能である。この場合のサーバ装置は、ウェブサーバ２００であってもよいし、それ以外のサーバ装置であってもよい。
【０１３０】  なお、本実施形態は、画面認識部４３０および遷移先情報取得部４５０などの処理の具体的な動作が異なるものの、全体の処理フローとしては上記の第１〜第４の実施形態と同様である。それゆえ、上記の第１〜第４の構成や変形例は、同様に本実施形態にも適用されうる。
【０１３１】  （６．ハードウェア構成）  最後に、図２５を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図２５は、情報処理装置のハードウェア構成を説明するためのブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態におけるＰＣ１００、ＰＣ３００、スマートフォン４００、およびサーバ装置６００を実現しうる。
【０１３２】  情報処理装置９００は、ＣＰＵ（Central  Processing  unit）９０１、ＲＯＭ（Read  Only  Memory）９０３、およびＲＡＭ（Random  Access  Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital  Signal  Processor）などの処理回路を有してもよい。
【０１３３】  ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral  Component  Interconnect/Interface）バスなどの外部バス９１１に接続されている。
【０１３４】  入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
【０１３５】  出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid  Crystal  Display）、ＰＤＰ（Plasma  Display  Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。
【０１３６】  ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard  Disk  Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
【０１３７】  ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
【０１３８】  接続ポート９２３は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal  Serial  Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small  Computer  System  Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（High-Definition  Multimedia  Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。
【０１３９】  通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local  Area  Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless  USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric  Digital  Subscriber  Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
【０１４０】  撮像装置９３３は、例えば、ＣＣＤ（Charge  Coupled  Device）またはＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
【０１４１】  センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global  Positioning  System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
【０１４２】  以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
【０１４３】  （７．補足）  本開示の実施形態について、以下にまとめる。
【０１４４】  遷移先情報は、ユーザが操作している情報処理装置で生成されてもよく、またユーザが操作している装置にサービスを提供するサーバ装置などで生成されてもよい。つまり、本開示の実施形態において、遷移先情報を生成する情報処理装置は、必ずしもユーザが操作する装置には限られない。
【０１４５】  また、遷移先情報は、画面遷移の中のある時点において、その後のユーザ操作の結果として表示される画像でありうる。ここで、表示される画像は、ユーザ操作によって異なったものでありうる。その場合、遷移先情報は、異なる複数の遷移先の中から何らかの基準で選択された１または複数の遷移先について提供されてもよいし、また表示されうるすべての遷移先について提供されてもよい。
【０１４６】  また、遷移先情報は、画面遷移の中のある時点以降でのユーザ操作によって表示される一連の画像であってもよい。この場合、一連の画像は、静止画の配列として表示されてもよいし、動画像として順次表示されてもよい。このような遷移先情報の提供は、ある時点以降のユーザ操作の結果として起こりうる処理をシミュレートするサービスともいえる。なお、遷移先情報は、画像（静止画や動画像）として直接的に表示されなくてもよく、画像と一意に対応する、所定の処理によって変換されたコード（例えばＡＲマーカやＱＲコード（登録商標）など）として表示され、例えばそれを撮像して表示する装置によって画像に変換されてもよい。
【０１４７】  表示部上で遷移先情報が表示される場所は、例えば、遷移先情報が画面と同じ表示部に表示される場合であれば、画面（上記の例でいえばウェブブラウザ画面や操作画面）内の余白領域や、画面の周囲の領域であってもよい。あるいは、遷移先情報は、画面に含まれるボタンなどの入力要素（操作対象物）に少なくとも一部が重畳して表示されてもよい。また、遷移先情報は、画面を表示する表示部を有する装置と同じ装置が有する別の表示部に表示されてもよい。
【０１４８】  また、遷移先情報は、画面を表示する表示部を有する装置に専用ケーブルなど、またはインターネットなどのネットワークを介して接続された別の装置の表示部に表示されてもよい。なお、上記のそれぞれの場合について、遷移先情報は、例えば遷移先の画面イメージとして表示されうる。このとき、画面イメージは縮小されて表示されてもよい。
【０１４９】  さらに、遷移先情報は、さまざまな状態で表示されうる。例えば、遷移先情報は、半透過状態で表示されてもよく、不透過状態で表示されてもよい。また、遷移先情報は、削除することが可能な別ウインドウとして表示されてもよい。また、遷移先情報は、メールやＩＰ（Internet  Protocol）通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信などを用いて、それを表示する装置に伝送されてもよい。このとき、遷移先情報は、必ずしも自動的に伝送されなくてもよく、例えばユーザが遷移先情報を取得するためにサーバ装置などにアクセスことによって伝送されてもよい。
【０１５０】  本開示の実施形態は、例えば、上記で説明したような情報処理装置、情報処理装置を含むシステム、情報処理装置またはシステムで実行される方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された記録媒体を含む。
【０１５１】  以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１５２】  なお、以下のような構成も本開示の技術的範囲に属する。（１）画面に含まれる入力要素を認識する画面認識部と、  前記入力要素に対応する入力情報を生成する入力情報生成部と、  前記入力情報に対応する前記画面の遷移先の情報を取得する遷移先情報取得部と、  前記遷移先の情報を前記画面とは別に表示させるために出力する遷移先情報出力部と  を備える情報処理装置。（２）前記画面認識部は、前記画面が表示される第１の表示部を制御する第１の表示制御部から取得した情報に基づいて前記入力要素を認識する、前記（１）に記載の情報処理装置。（３）前記遷移先情報出力部は、前記第１の表示部に前記遷移先の情報を表示させるために前記第１の表示制御部に前記遷移先の情報を出力する、前記（２）に記載の情報処理装置。（４）前記遷移先情報出力部は、前記遷移先の情報を、前記第１の表示部を含む撮像画像を取得する他の装置によって画面イメージに変換されるコードとして表示させるために出力する、前記（３）に記載の情報処理装置。（５）前記遷移先情報出力部は、前記第１の表示部とは異なる第２の表示部に前記遷移先の情報を表示させるために前記第２の表示部を制御する第２の表示制御部に前記遷移先の情報を出力する、前記（２）に記載の情報処理装置。（６）前記画面認識部は、前記画面を含む撮像画像の情報に基づいて前記入力要素を認識する、前記（１）に記載の情報処理装置。（７）前記画面認識部は、前記撮像画像に含まれる前記入力要素の画像を認識する、前記（６）に記載の情報処理装置。（８）前記画面認識部は、前記撮像画像に含まれる、前記入力要素に対応して配置されたコードを認識する、前記（６）に記載の情報処理装置。（９）前記遷移先情報出力部は、前記遷移先の情報を画面イメージとして表示させるために出力する、前記（１）〜（３），（５）〜（８）のいずれか１項に記載の情報処理装置。（１０）前記入力要素は、前記画面の遷移を発生させるサブミット要素を含み、  前記入力情報生成部は、前記サブミット要素によってサブミットが実行されたことを示す前記入力情報を生成する、前記（１）〜（９）のいずれか１項に記載の情報処理装置。（１１）前記画面認識部は、複数の前記サブミット要素を認識し、  前記入力情報生成部は、前記各サブミット要素によってサブミットが実行されたことを示す複数の入力情報を生成し、  前記遷移先情報取得部は、前記各入力情報に対応する前記画面の複数の遷移先の情報を取得し、  前記遷移先情報出力部は、前記複数の遷移先の情報を出力する、前記（１０）に記載の情報処理装置。（１２）前記遷移先情報出力部は、前記複数の遷移先の情報を、前記各サブミット要素に対応付けて表示させるために出力する、前記（１１）に記載の情報処理装置。（１３）前記入力要素は、アイテムを入力するためのエントリー要素を含み、  前記入力情報生成部は、前記アイテムに対応する前記入力情報を生成する、前記（１）〜（１２）のいずれか１項に記載の情報処理装置。（１４）前記入力情報生成部は、前記アイテムに対応するダミーの前記入力情報を生成する、前記（１３）に記載の情報処理装置。（１５）前記遷移先の情報は、前記画面の遷移によって順次表示される一連の画面の情報���含む、前記（１）〜（１４）のいずれか１項に記載の情報処理装置。（１６）前記遷移先情報出力部は、前記一連の画面を静止画の配列として表示させるために出力する、前記（１５）に記載の情報処理装置。（１７）前記遷移先情報出力部は、前記一連の画面を静止画が連続する動画として表示させるために出力する、前記（１５）に記載の情報処理装置。（１８）前記一連の画面の情報は、一連の処理が終了するまでの前記画面の遷移に対応する、前記（１５）〜（１７）のいずれか１項に記載の情報処理装置。（１９）前記一連の画面の情報は、所定の回数の前記画面の遷移に対応する、前記（１５）〜（１７）のいずれか１項に記載の情報処理装置。（２０）画面に含まれる入力要素を認識する機能と、  前記入力要素に対応する入力情報を生成する機能と、  前記入力情報に対応する前記画面の遷移先の情報を取得する機能と、  前記遷移先の情報を前記画面とは別に表示させるために出力する機能と  をコンピュータに実現させるためのプログラム。
【符号の説明】
【０１５３】  １００，３００    ＰＣ  １１０，３１０，４１０    表示部  １１０１    ウェブブラウザ画面  １１０２    ボタン  １１０３，４１０３    遷移先表示  １１０４    遷移先コード  １１０５    入力欄  １１０６    ダミー項目  １２０，３２０，４２０    表示制御部  １３０，４３０    画面認識部  １４０    入力情報生成部  １５０，４５０    遷移先情報取得部  １６０    遷移先情報出力部  ４７０    撮像部  ４００    スマートフォン  ５００    ＡＴＭ  ５１０    表示部  ５１０１    操作画面  ５１０２    ボタン  ５１０５    マーカ  ６００    サーバ装置 
【図１】
2013157322.tif 000003
【図２】
2013157322.tif 000004
【図３】
2013157322.tif 000005
【図４】
2013157322.tif 000006
【図５】
2013157322.tif 000007
【図６】
2013157322.tif 000008
【図７】
2013157322.tif 000009
【図８】
2013157322.tif 000010
【図９】
2013157322.tif 000011
【図１０】
2013157322.tif 000012
【図１１】
2013157322.tif 000013
【図１２】
2013157322.tif 000014
【図１３】
2013157322.tif 000015
【図１４】
2013157322.tif 000016
【図１５】
2013157322.tif 000017
【図１６】
2013157322.tif 000018
【図１７】
2013157322.tif 000019
【図１８】
2013157322.tif 000020
【図１９】
2013157322.tif 000021
【図２０】
2013157322.tif 000022
【図２１】
2013157322.tif 000023
【図２２】
2013157322.tif 000024
【図２３】
2013157322.tif 000025
【図２４】
2013157322.tif 000026
【図２５】
2013157322.tif 000027
【国際調査報告】
2013157322.tif 000028
2013157322.tif 000029
2013157322.tif 000030
2013157322.tif 000031