(57)【要約】      （修正有）【課題】テキストについて音声出力中に、操作によって音声出力中の位置を含まない他の部分を表示した場合であっても、簡単な操作でもって、音声出力位置のある表示画面を表示することで、音声出力位置の確認を容易にする。【解決手段】テキストを音声として出力中に情報処理装置１０１の入力部がユーザによる操作を検出すると、表示制御部はその操作に応じた処理、例えば、スクロールを実行して、指示されたテキスト部分を表示する。この後、情報処理装置１０１の入力部が更に操作を検出したとき、検出した操作と直前の操作とが互いに逆の操作であった場合、音声出力中の現位置を含むテキストを表示する。【選択図】図１
2014078176.tif 000002
【特許請求の範囲】
【請求項１】
テキストを表示画面に表示するための表示手段、前記テキストを音声として出力する音声出力手段、及び、前記表示画面に対するユーザの操作を検出する検出手段とを有する情報処理装置であって、
音声出力の指示があった場合、前記表示手段による前記表示画面に表示された前記テキストに対する音声出力を前記音声出力手段より開始すると共に、前記テキストにおける現音声出力中の位置情報を保持する音声再生手段と、
該音声再生手段による音声出力中に、前記検出手段によって前記表示画面に対するユーザによる操作を検出したとき、前記表示手段を制御して当該操作に応じた位置のテキストを前記表示画面に表示する表示制御手段とを有し、
前記表示制御手段は、前記検出手段で検出した現操作と、当該操作より前に検出した前操作とが互いに逆の関係にあるとき、前記音声再生手段にて保持された前記位置情報で示される現位置を含むテキストを前記表示画面に表示することを特徴とする情報処理装置。
【請求項２】
前記表示制御手段は、前記検出手段で検出した現操作の入力の方向と、当該操作より前に検出した前操作の入力の方向が互いに逆の関係にあるとき、前記音声再生手段にて保持された前記位置情報で示される現位置を含むテキストを前記表示画面に表示することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記表示制御手段は、前記操作の加速度が所定の閾値以上であることを更なる条件に、前記音声再生手段にて保持された前記位置情報で示される現位置を含むテキストを前記表示画面に表示することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
更に、表示制御手段は、前操作による表示されたテキストと、前記音声再生手段で音声出力中の現位置との距離に応じて、前記閾値を変更することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
テキストを表示画面に表示するための表示手段、前記テキストを音声として出力する音声出力手段、及び、前記表示画面に対するユーザの操作を検出する検出手段とを有する情報処理装置の制御方法であって、
音声出力の指示があった場合、音声再生手段が、前記表示手段による前記表示画面に表示された前記テキストに対する音声出力を前記音声出力手段より開始すると共に、前記テキストにおける現音声出力中の位置情報を保持する音声再生工程と、
該音声再生工程による音声出力中に、前記検出手段によって前記表示画面に対するユーザによる操作を検出したとき、表示制御手段が、前記表示手段を制御して当該操作に応じた位置のテキストを前記表示画面に表示する表示制御工程とを有し、
前記表示制御工程では、前記検出手段で検出した現操作と、当該操作より前に検出した前操作とが互いに逆の関係にあるとき、前記音声再生工程にて保持された前記位置情報で示される現位置を含むテキストを前記表示画面に表示することを特徴とする情報処理装置の制御方法。
【請求項６】
テキストを表示画面に表示するための表示手段、前記テキストを音声として出力する音声出力手段、及び、前記表示画面に対するユーザの操作を検出する検出手段とを有するコンピュータが読み込み実行することで、前記コンピュータに請求項５に記載の各工程を実行させるためのプログラム。
【請求項７】
請求項６に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示機能並びに表示内容に沿った音声出力機能を有する情報処理装置に関するものである。
【背景技術】
【０００２】
従来、電子書籍コンテンツを音声出力させる技術が知られている。また、音声出力位置をマーキングし、ユーザに音声出力位置の把握を補助する方法も知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平２００７―１０２７２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来法では、音声出力中のページ以外のページを一旦表示させてしまうと、その音声出力位置を示すマーキングを見失い、音声出力位置の把握に時間を要するという問題があった。
【０００５】
本発明は、係る課題に鑑みてなされたものであり、テキストについて音声出力中に、操作によって音声出力中の位置を含まない他の部分を表示した後でも、簡単な操作でもって、音声出力位置のある表示画面を表示することで、音声出力位置の確認を容易にする技術を提供しようとするものである。
【課題を解決するための手段】
【０００６】
この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、
テキストを表示画面に表示するための表示手段、前記テキストを音声として出力する音声出力手段、及び、前記表示画面に対するユーザの操作を検出する検出手段とを有する情報処理装置であって、
音声出力の指示があった場合、前記表示手段による前記表示画面に表示された前記テキストに対する音声出力を前記音声出力手段より開始すると共に、前記テキストにおける現音声出力中の位置情報を保持する音声再生手段と、
該音声再生手段による音声出力中に、前記検出手段によって前記表示画面に対するユーザによる操作を検出したとき、前記表示手段を制御して当該操作に応じた位置のテキストを前記表示画面に表示する表示制御手段とを有し、
前記表示制御手段は、前記検出手段で検出した現操作と、当該操作より前に検出した前操作とが互いに逆の関係にあるとき、前記音声再生手段にて保持された前記位置情報で示される現位置を含むテキストを前記表示画面に表示することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、テキストについて音声出力中に、操作によって音声出力中の位置を含まない他の部分を表示した場合であっても、簡単な操作でもって、音声出力位置のある表示画面を表示することで、音声出力位置の確認を容易にすることが可能になる。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る情報処理装置を示す図。
【図２】情報処理装置１０１の機能ブロック図。
【図３】情報処理装置１０１のハードウェア構成図。
【図４】情報処理装置１０１が行う処理のフローチャート。
【図５】タッチパネル画面１０２の表示例を示す図。
【図６】情報処理装置１０１が行う処理のフローチャート。
【図７】情報処理装置１０１が行う処理のフローチャート。
【図８】情報処理装置１０１が行う処理のフローチャート。
【図９】情報処理装置１０１が行う処理のフローチャート。
【図１０】入力の操作種類と方向の特定と逆方向の判定を行うための辞書データ。
【図１１】タッチパネル画面１０２の表示例を示す図。
【図１２】タッチパネル画面１０２の表示例を示す図
【図１３】情報処理装置１０１が行う処理のフローチャート。
【図１４】複数の入力の操作種類の例を示す図。
【図１５】画面距離の算出方法を示す図。
【図１６】タッチパネル画面１０２の表示例を示す図。
【図１７】入力が複数であった場合のモードを示す図。
【図１８】入力の操作種類を補足説明する図。
【図１９】音声出力位置を特定するための情報を示す図。
【発明を実施するための形態】
【０００９】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
【００１０】
［第１の実施形態］
先ず、本実施形態に係る情報処理装置の外観例について、図１を用いて説明する。図１に示した情報処理装置１０１には、携帯可能な電子機器であって、液晶画面等の表示デバイス及びその表示画面の前面に設けられたタッチパネルで構成されるタッチパネル画面１０２、スピーカ１０３、音声出力ボタン１０４、カメラ１０５、加速度センサー１０６が備わっている。なお、情報処理装置１０１の外観は、図１に示した外観に限るものではなく、様々な外観が適用可能であり、例えば、タッチパネル画面１０２、スピーカ１０３、音声出力ボタン１０４、カメラ１０５、加速度センサー１０６のそれぞれの配置は、図１に示した配置に限るものではない。また、ボタンやスピーカやカメラなどはその用途に応じて適宜増減させても良い。
【００１１】
タッチパネル画面１０２は、画像や文字などを表示するための表示画面として機能すると共に、ユーザの指などの指示具によるタッチ操作とその位置を検出する、いわゆるタッチパネルとしても機能する。また、ユーザは、自身の指などでもって音声出力ボタン１０４を押下することで、音声出力指示を情報処理装置１０１に入力することができる。情報処理装置１０１はこの音声出力指示を検知すると、スピーカ１０３から音声（例えば、２２．０５ＫＨｚでサンプリングされたＰＣＭ方式のＷＡＶＥデータに基づく音声）を出力する。カメラ１０５は、撮像した映像情報から、ジェスチャー認識の技術を用いてユーザのハンドジェスチャを検出する。ジェスチャ認識の技術については公知なのでこれに係る説明は省略する。加速度センサー１０６は、情報処理装置１０１の傾きや加速度を計測する。
【００１２】
なお、実施形態における音声出力ボタン１０４は、２つの機能を有する。１つは、音声出力している文章が表示された状態でこのボタンが押下されると、音声出力を停止する。もう１つは、音声停止中に押下した場合、或いは、音声出力中にその音声出力位置を含まない他の箇所を表示させた状態で押下した場合、押下したタイミングで表示された箇所から音声出力を開始する。
【００１３】
さて、本実施形態では、電子書籍のデータ（電子書籍コンテンツ、電子テキストコンテンツ）、該電子書籍を朗読した音声波形のデータ（音声波形データ）、は、予め情報処理装置１０１内のメモリにダウンロードされているものとする。しかし、これに限るものではなく、これらのデータを外部の装置に格納しておき、必要に応じて適宜ダウンロードするようにしても良い。
【００１４】
本実施形態における電子書籍は、W3CのXMLに準拠したマークアップ言語であるSMIL (Synchronized Multimedia Integration Language)により記述されているものとする。電子書籍中の各ページにおける各文字と、音声波形データにおいて該文字を発声している音声波形の位置（音声出力位置）と、は関連づけられている（同期がとられている）。即ち、音声波形データにおいて、電子書籍における任意のページ中の任意の文字の音声波形のデータは、一意に特定することができるようになっている。また、例えば、ＳＭＩＬの記述情報から、ページ番号、ブロックＩＤ、行数、行の先頭からの文字数等の情報も取得できるものとする。また、ページ番号、ブロックＩＤ、行数、行の先頭からの文字数等の情報を、ＳＭＩＬの記述情報と照会することにより、音声波形データ上の音声出力位置および音声出力位置が属する文章を特定できるものとする。ＳＭＩＬの技術については公知なのでこれに係る説明は省略する。
【００１５】
図２は、情報処理装置１０１の機能構成を示す機能ブロック図である。なお、図２に示した構成は一例であり、下記の各部のうちいくつかを統合しても良いし、以下に説明する各処理を実現可能な構成であれば、如何なる構成を採用しても良い。
【００１６】
情報処理装置１０１は、入力部２０１、音声出力部２０２、音声出力位置記憶部２０３、音声出力位置表示画面特定部２０４、入力後表示画面特定部２０５、方向特定部２０６、逆方向判定部２０７、加速度特定部２０８、表示制御部２０９、表示部２１０、画面距離特定部２１１を有する。
【００１７】
入力部２０１は、情報処理装置１０１の入力を検出する。タッチ操作、ジェスチャ操作、傾き操作、音声出力ボタン１０４の押下などを検出し、入力の操作種類を特定する。例えば、入力部２０１は、タッチパネル画面１０２に対する右方向（左方向、上方向、下方向）へのユーザのフリック操作や、ピンチアウト（ピンチイン）を、入力の操作種類として特定する。また、加速度特定部２０８に対するピッチプラス方向傾き操作（ピッチマイナス方向傾き操作、ロールマイナス方向傾き操作、ロールプラス方向傾き操作）や、ピッチプラス方向回転操作（ピッチマイナス方向回転操作）を、入力の操作種類として特定する。また、上方向ジェスチャ操作（下方向ジェスチャ操作、右方向ジェスチャ操作、左方向ジェスチャ操作）、グラブジェスチャ操作（リリースジェスチャ操作）を、入力の操作種類を特定する。なお、本実施形態では、上方向、下方向、右方向、左方向、ピッチマイナス方向、ピッチプラス方向、ロールプラス方向、ロールマイナス方向については、図１８に準ずることとする。
【００１８】
音声出力部２０２は、テキストの音声再生手段として機能するものであって、音声出力開始位置（本実施形態では、ブロックＩＤが１の先頭の文字を音声出力開始位置とする）からの音声波形データに基づく音声信号を、順次スピーカ１０３に供給する。ブロック内の全ての電子書籍コンテンツの音声出力が終了すると、ブロックＩＤがインクリメントされ（例えば、ブロックＩＤが１から２に変更される）、インクリメントされたブロックＩＤの電子書籍コンテンツの先頭の文字から音声出力されるものとする。
【００１９】
音声出力位置記憶部２０３は、SMILの記述情報と照会し、現音声出力中の文字の位置（音声出力位置）を特定する為の情報（ページ番号、ブロックＩＤ、行数、行の先頭からの文字数の情報）を、リアルタイムに音声出力位置情報としてメモリに記憶する。例えば、現在、５ページにある、ブロックＩＤが１で、３行目の２文字目のテキストを音声出力中においては音声出力の現位置としては、ページ番号が５、ブロックＩＤが１、行数が３、行の先頭からの文字数が２となる。
【００２０】
音声出力位置表示画面特定部２０４は、音声出力位置記憶部２０３が記憶している音声出力位置に対する表示画面（音声出力位置表示画面）を特定する。例えば、音声出力している電子書籍コンテンツのブロックの先頭の文字がタッチパネル画面１０２の左上端となり、フォントサイズが４ｍｍ（ミリメートル）となるようにする。
【００２１】
入力後表示画面特定部２０５は、入力部２０１が検出したタッチ操作（ジェスチャ操作、傾き操作）に基づき画面移動の種類を特定し、タッチパネル画面１０２に表示する電子書籍コンテンツの表示画面（入力後表示画面）の特定を行う。なお、それぞれの入力の操作種類に対する画面の移動種類は、例えば、図１０(a)の表に準ずるものとする。本実施形態では、図１０(a)のデータを辞書データとして、メモリ（例えば、ROM）に保持しておく。例えば、入力部２０１が下方向のフリック操作を検知すると、入力後表示画面特定部２０５は辞書データの参照を行い、下方向スクロールを画面移動の種類として特定する。また、現在タッチパネル画面１０２に表示している電子書籍コンテンツの下部にある表示画面を、スクロール移動される表示対象として特定する。そして、入力後表示画面特定部２０５は、上記の電子書籍コンテンツの表示画面の映像信号を表示部２０２にスクロール移動順に供給する。表示画面のスクロール移動は、フリック操作の速度、ユーザ自身の指とタッチパネル画面１０２との接地時間などにより特定されるものとする。また、例えば、入力部２０１がピンチアウトを検知すると、入力後表示画面特定部２０５は辞書データの参照を行い、拡大を画面移動の種類として特定する。そして、現在タッチパネル画面１０２に表示している電子書籍コンテンツのピンチアウトされた中心付近の表示画面を、ズーム移動される表示対象として特定する。そして入力後表示画面特定部２０５は、上記の電子書籍コンテンツの表示画面の映像信号を、表示部２０２にズーム移動順に供給する。表示画面のズーム移動は、ピンチアウト操作の速度、ユーザ自身の指とタッチパネル画面１０２との接地時間などにより特定されるものとする。
【００２２】
方向特定部２０６は、入力部２０１が検知した入力の方向を特定する。なお、それぞれの入力の操作種類に対する画面の移動種類は、例えば、図１０(b)の表に準ずるものとする。本実施形態では、図１０(b)のデータを辞書データとして、メモリ（例えば、ROM）に保持しておく。例えば、入力部２０１が下方向のフリック操作を検知すると、方向特定部２０６は辞書データの参照を行い、下方向を入力の方向として特定する。
【００２３】
逆方向判定部２０７は、入力部２０１が第１の入力、それに後続する第２の入力を検知した場合に、両者の入力が互いに逆方向であるか否かを判定する。換言すれば、現操作（第２の入力）を検出したとき、その現操作の入力方向と前操作（第１の入力）の入力方向との関係が逆であるか否かを判定する。なお、それぞれの入力の方向に対する逆方向の入力は、例えば、図１０(c)の表に準ずるものとする。本実施形態では、図１０(c)のデータを辞書データとして、メモリ（例えば、ROM）に保持しておく。例えば、入力部２０１が下方向のフリック操作を第１の入力として検知し、上方向のフリック操作を第２の入力として検知すると、逆方向判定部２０７は両者の入力を互いに逆方向であると判定する。
【００２４】
加速度特定部２０８は、入力部２０１が検知した入力の加速度を特定する。タッチ操作の加速度は、ユーザ自身の指とタッチパネル画面１０２との接地時間と移動距離などにより特定されるものとする。また、ジェスチャ操作の加速度は、カメラ１０５がジェスチャ操作を検出した時間と移動距離などにより特定されるものとする。また、傾き操作の加速度は、加速度センサー１０６により特定されるものとする。
【００２５】
表示制御部２０９は、逆方向判定部２０７と加速度特定部２０８の結果に応じて、音声出力位置表示画面特定部２０４が特定した音声出力位置表示画面と、入力後表示画面特定部２０５が特定した入力後表示画面を切り替える（詳細は後述する）。
【００２６】
表示部２１０は、音声出力位置表示画面特定部２０４と入力後表示画面特定部２０５、から供給された映像信号に基づく映像（即ち、電子書籍コンテンツの表示画面）の信号を、該タッチパネル画面１０２に対して供給するものである。本実施形態では、電子書籍コンテンツにおいて、音声出力位置表示画面特定部２０４と入力後表示画面特定部２０５によって特定された表示画面の映像信号をタッチパネル画面１０２に供給する。
【００２７】
画面距離特定部２１１は、音声出力位置表示画面と入力後表示画面の画面距離を特定する。画面距離の特定については、本実施形態では、図１５のように、第２の入力の操作種類に応じて異なる。なお、X軸とY軸と原点は、図１５のように設定する。そして、図１５の先頭文字「今」のように、それぞれの文字に対して文字領域が定められており、領域の中心の座標が、それぞれの文字の座標となる。
【００２８】
図１に示した各部は何れもハードウェアで構成しても良いが、例えば、音声出力位置記憶部２０３をメモリで構成し、それ以外の各部をソフトウェア（コンピュータプログラム）で構成しても良い。このような場合に、情報処理装置１０１に適用可能なコンピュータのハードウェア構成例について、図３のブロック図を用いて説明する。
【００２９】
ＣＰＵ３０１は、ＲＡＭ３０２やＲＯＭ３０３に格納されているコンピュータプログラムやデータを用いて、コンピュータ全体の動作制御を行うと共に、情報処理装置１０１が行うものとして上述した各処理を実行する。ＲＡＭ３０２は、ＨＤＤ（ハードディスクドライブ）等の外部メモリ３０４からロードされたコンピュータプログラムやデータを一時的に記憶するためのエリアや、ＣＰＵ３０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ３０２は、各種のエリアを適宜提供することができる。ＲＯＭ３０３には、コンピュータの設定データやブートプログラムなどが格納されている。入力部３０５は、上記の音声出力ボタン１０４や、タッチパネル画面１０２におけるタッチセンサ、加速度センサー１０６に相当し、上記の通り、各種の指示をＣＰＵ３０１に対して入力することができる。表示部３０６は、上記のタッチパネル画面１０２に相当する。音声出力部３０７は、上記のスピーカ１０３に相当する。外部メモリ３０４には、ＯＳ（オペレーティングシステム）や、上記の各実施形態で説明した各種の処理をＣＰＵ３０１に実行させるためのコンピュータプログラムやデータが保存されている。このコンピュータプログラムは、図１において音声出力位置記憶部２０３を除く各部に相当するコンピュータプログラムを含む。また、このデータは、電子書籍コンテンツのデータや、上記の処理で既知のものとして説明したデータを含む。外部メモリ３０４に保存されているコンピュータプログラムやデータは、ＣＰＵ３０１による制御に従って適宜ＲＡＭ３０２にロードされ、ＣＰＵ３０１による処理対象となる。上記の各部は共通のバス３０８に接続されている。なお、上記の音声出力位置記憶部２０３は、外部メモリ３０４やＲＡＭ３０２に相当する。なお、図１に示した機能構成を有する情報処理装置は、図３に示した構成を有する１台のコンピュータで実装しても良いが、複数台の装置によってこの情報処理装置を構成するようにしても良い。なお、図１に示した各部を全部ハードウェア／ソフトウェアで構成せずに、一部をハードウェア／ソフトウェアで構成するようにしても良い。この場合であっても、このソフトウェアはメモリに格納し、このソフトウェアは、ＣＰＵ３０１により実行される。
【００３０】
次に、本実施形態に係る情報処理装置１０１が行う処理について、同処理のフローチャートを示す図４(a)を用いて説明する。なお、以下の説明では、タッチパネル画面１０２には、電子書籍コンテンツにおいてＮ（Ｎ≧１）ページ目のページ（ページＮと呼称する）が表示されており、且つこのＮページ目のページについてはまだ音声出力を行っていないものとする。また、ブロックＩＤが１のブロックが左上端に位置するように表示されており、先述の通りフォントサイズは４ｍｍとなっているとする。そしてこの状態においてユーザが音声出力ボタン１０４を押下すると、ステップＳ４０１以降の処理が開始されることになる。
【００３１】
ステップＳ４０１において、入力部２０１が音声出力ボタン１０４の押下を検知すると、音声出力部２０２は音声出力開始位置（ブロックＩＤが１であるブロックの先頭文字）から音声出力を開始する。
【００３２】
ステップＳ４０１において音声出力が開始されると、図４(b)のフローチャートの処理（例えばスレッド）が図４(a)のフローチャートの処理が終了するまで継続される。ここで、図４(b)のフローチャートについて説明する。
【００３３】
ステップＳ４０１１において、音声出力部２０３は、ブロックＩＤが１であるブロックの先頭文字以降の各文字について、該文字の音声波形データから音声信号を生成してスピーカ１０３に供給する。即ち本ステップでは、音声出力ボタン１０４の押下により音声出力指示が入力されると、該入力の時点でタッチパネル画面１０２が表示しているページＮを音声出力ページとし、該音声出力ページ中の各文字に対応する音声を該文字の並び順に従って順次出力する。
【００３４】
ステップＳ４０１２において、音声出力位置記憶部２０３は、ブロックＩＤ＝Nにおいて、音声出力部２０３の音声出力位置を特定する為の情報を記憶する。即ち、本ステップでは、音声出力ページにおいて音声出力部２０３の音声出力位置を特定するための情報をメモリ（音声出力位置記憶部２０３）内で管理する。
【００３５】
ステップＳ４０１３において、音声出力位置表示画面特定部２０４は、音声出力位置表示画面特定部２０４が記憶している音声出力位置に対する音声出力位置表示画面を特定する。
【００３６】
ステップＳ４０１４において、図４(a)の処理が終了した状態であるか否かを判定する。終了した状態であると判定された場合には、図４(b)の処理が終了となる。終了した状態でないと判定された場合には、ステップＳ４０１１の処理を行う。
【００３７】
さて、ステップＳ４０２において、表示部２１０は、音声出力位置表示画面特定部２０４が特定した音声出力位置表示画面の映像信号をタッチパネル画面１０２に供給する。
【００３８】
ステップＳ４０３において、入力部２０１は、ユーザーからの入力（第１の入力）を、タッチパネル画面１０２、加速度センサー１０６、カメラ１０５から検知する。入力部２０１が入力を検知した場合は、ステップＳ４０４の処理を行う。入力部２０１が入力を検知しなかった場合は、ステップＳ４０２の処理を行う。
【００３９】
ステップＳ４０４において、入力部２０１は、第１の入力の操作種類を特定する。ステップＳ４０５において、入力部２０１は、第１の入力の操作種類から第１の入力の方向を特定する。ステップＳ４０６において、入力後表示画面特定部２０５は、第１の入力から第１の入力後表示画面を特定する。ステップＳ４０７において、表示部２１０は、第１の入力後表示画面の映像信号をタッチパネル画面１０２に供給する。この結果、第１の入力に応じた位置の文章が表示されることになる。なお、この第１の入力を行った場合であっても、音声出力が継続している点に注意されたい。
【００４０】
ステップＳ４０８において、入力部２０１は、第２の入力の操作種類を特定する。ステップＳ４０９において、入力部２０１は、第２の入力の操作種類から第２の入力の方向を特定する。ステップＳ４１０において、入力後表示画面特定部２０５は、第２の入力から第２の入力後表示画面を特定する。ステップＳ４１１において、表示部２１０は、第２の入力後表示画面の映像信号をタッチパネル画面１０２に供給する。
【００４１】
ステップＳ４１２において、逆方向判定部２０７は、第１の入力の方向と第２の入力の方向が、互いに逆方向となっているか否かを判定する。逆方向判定部２０７が互いに逆方向と判定した場合は、ステップＳ４１４の処理を行う。逆方向判定部２０７が互いに逆方向と判定しなかった場合は、ステップＳ４１３の処理を行う。
【００４２】
ステップＳ４１３において、表示部２１０は、第２の入力後表示画面の映像信号をタッチパネル画面１０２に供給する。
【００４３】
ステップＳ４１４においては、表示部２１０は、現時点での音声出力位置表示画面の映像信号をタッチパネル画面１０２に供給する。
【００４４】
ここで、Ｎ＝５の場合を例として説明する。図５は、タッチパネル画面１０２におけるページＮの表示例である。
【００４５】
ステップＳ４０１において、入力部２０１がユーザーのボタン押下を検知してステップＳ４０１１の処理を行う。ステップＳ４０１１において、音声出力部２０２が、この音声出力位置記憶部２０３内の情報をＳＭＩLの記述情報と照会し、「今年の電子書籍コンテンツの増加率は目覚ましいものがありました」の先頭から音声波形データを音声出力することになる。
【００４６】
この時、ステップＳ４０１２で音声出力位置記憶部２０３に登録される情報の構成例を図１９（ａ）に示す。上記のとおり、音声出力を開始した段階なので、音声出力位置記憶部２０３には、ページ番号「５」、ページ５でブロックＩＤ「１」の先頭文字の位置（行数「１」、行の先頭の文字からの文字数「１」）、が音声出力位置として登録される。
【００４７】
同時に、ステップＳ４０１２において、音声出力位置表示画面特定部２０４により、音声出力位置のブロックＩＤが１なので、図５のように、ブロックＩＤが１の先頭文字の位置がタッチパネル画面１０２の左上端になるように音声出力位置表示画面が特定される。また、ステップＳ４０２では、図５のように、音声出力位置表示画面がタッチパネル画面１０２に表示される。
【００４８】
そして、音声出力が文字の並び順に従って進むと、音声出力位置も同期して更新される。
【００４９】
この後、ユーザーがタッチパネル画面１０２に対して、下方向にフリック操作を行ったとする。この場合、ステップＳ４０４では、入力部２０１が、第１の入力の操作種類として、下方向フリック操作が特定されることなる。そして、また、ステップＳ４０５では、第１の入力の方向として、下方向が特定される。また、ステップＳ４０６では、下方向フリック操作によって下方向にスクロール移動する第１の入力後表示画面を特定する。
【００５０】
ステップＳ４０７では、第１の入力後表示画面がスクロール移動に合わせてタッチパネル画面１０２に表示される。ここで、スクロール移動後の第１の入力後表示画面は、図１１のように、ブロックＩＤが５のブロックの先頭文字が、タッチパネル画面１０２の左上端となる。
【００５１】
更に、この後、ユーザがタッチパネル画面１０２に対して、上方向にフリック操作を行う。
【００５２】
ステップＳ４０９では、入力部２０１が、第２の入力の操作種類として、下方向フリック操作が特定される。また、ステップＳ４１０では、第１の入力の方向として、下方向が特定される。また、ステップＳ４１１では、下方向フリック操作によって上方向にスクロール移動する第２の入力後表示画面を特定する。
【００５３】
ステップＳ４１２では、第１の入力の方向と第２の入力の方向が、下方向と上方向で互いに逆方向なので、ステップＳ４１４の処理を行う。
【００５４】
この時、ステップＳ４０１１では、音声出力がブロックＩＤが２の先頭文字まで移動しているとする。よって、ステップＳ４０１２では、音声出力位置記憶部２０３には、ページ番号「５」、ページ５でブロックＩＤ「２」の先頭文字の位置（行数「１」、行の先頭の文字からの文字数「１」）、が音声出力位置として登録されている。同時に、ステップＳ４０１２において、音声出力位置表示画面特定部２０４により、音声出力位置のブロックＩＤが２なので、図５のように、ブロックＩＤが２の先頭文字の位置がタッチパネル画面１０２の左上端になるように音声出力位置表示画面が特定される。また、ステップＳ４０２では、図１２のように、音声出力位置表示画面がタッチパネル画面１０２に表示される。
【００５５】
即ち、第１の入力により画面移動を行った後に、即座に、第２の入力により音声出力位置表示画面を表示することが可能となる。また、入力の方向に応じて、音声出力位置表示画面と入力後表示画面の表示を切り替えることが可能となる。特に、入力の操作種類が、第１の入力と第２の入力で同じ場合には、同一の入力の操作種類で音声出力位置表示画面と入力後表示画面の表示を切り替えることが可能となる。
【００５６】
なお、上記例では、第１の入力と第２の入力の方向についてのみ説明したが、例えば第１の入力があってから、予め設定された時間内の入力を上記第２の入力として判定するようにしても良い。
【００５７】
[変形例１]
上記のステップＳ４１２で、第１の入力の方向と第２の入力の方向が互いに逆方向であるか否かに応じて、音声出力位置表示画面と第１の入力後表示画面の表示を切り替えていた。これに加えて、第２の入力の加速度を条件に加えて判定するようにしても良い。この変形例を、図６のフローチャートを用いて説明する。図６において、図４と同じ処理ステップには同じステップ番号を付しており、その説明は省略する。ステップＳ６０１〜Ｓ６０４の処理が図６のフローチャートの処理に加えられている。
【００５８】
ステップＳ６０１において、加速度特定部２０８が、第２の入力の加速度を特定する。
【００５９】
ステップＳ６０２において、表示制御部２０９が、第２の入力の加速度が所定加速度以上（閾値以上）であるか否かを判定する。表示制御部２０９が、所定加速度以上であると判定した場合は、ステップＳ４１４の処理を行う。表示制御部２０９が、所定加速度以上でないと判定した場合は、ステップＳ６０３の処理を行う。
【００６０】
ステップＳ６０３において、画面距離特定部２１１が、第１の入力後表示画面と音声出力位置表示画面との画面距離を特定する。そして、表示制御部２０９が、画面距離特定部２１１が特定した画面距離が正であるか否かを判定する。表示制御部２０９が、画面距離が正であると判定した場合には、ステップＳ４１３の処理を行う。表示制御部２０９が、画面距離が正でないと判定した場合には、ステップＳ６０４の処理を行う。
【００６１】
ステップＳ６０４において、表示制御部２０９は、第１の入力＝第２の入力とする。
【００６２】
即ち、第１の入力の方向と第２の入力の方向が逆方向であるか否かの判定と、第２の入力の加速度に応じて、音声出力位置表示画面と入力後表示画面を切り替えることが可能となる。
【００６３】
また、ステップＳ６０３とステップＳ６０４の処理により、例えば、第１の入力（下方向のスクロール操作）で下方向にスクロールした後、第２の入力（上方向のスクロール）で上方向にスクロールし、音声出力位置表示画面を超えて上方向へのスクロールが継続した場合には、第１の入力＝第２の入力となる（第２の入力が、第１の入力となる）。その後、所定加速度以上で新たな第２の入力（下方向のスクロール）がなされると、音声出力位置表示画面を表示する。
【００６４】
更に、ステップＳ６０２で用いられる所定加速度については、第１の入力後表示画面と音声出力位置表示画面との画面距離に応じて、所定加速度を変更してもよい。この変形例を、図９のフローチャートを用いて説明する。図９において、図６と同じ処理ステップには同じステップ番号を付しており、その説明は省略する。ステップＳ９０１とＳ９０２の処理が図９のフローチャートの処理に加えられている。
【００６５】
ステップＳ９０１において、画面距離特定部２１１は、第２の入力後表示画面と音声出力位置表示画面の画面距離を特定する。ステップＳ９０２において、表示制御部２０９は、画面距離特定部２１１が特定した画面距離に応じて、所定加速度を変更する。例えば、画面距離の絶対値が６以上の場合には、所定加速度に初期値の２倍にするなどが考えられる。
【００６６】
即ち、第１の入力の移動量に応じて、所定加速度を変更することが可能となる。例えば、ステップＳ４１４の音声出力位置表示画面を表示する為には、第１の入力による画面移動量が大きい場合は、画面移動量が小さい場合に比べて、より大きい第２の入力の加速度が必要となる。
【００６７】
[変形例２]
上記図４のフローチャートの処理では、第１の入力が単数である場合について説明した。変形例２では、第１の入力が複数である場合について、図７のフローチャートを用いて説明する。図７において、図４と同じ処理ステップには同じステップ番号を付しており、その説明は省略する。ステップＳ７０１〜Ｓ７０７の処理が図７のフローチャートの処理に加えられている。また、ステップＳ４１２の処理の代わりに、ステップＳ７０７の処理が行われる。
【００６８】
ステップＳ７０１において、入力部２０１は、I＝０とする。ステップＳ７０２において、入力部２０１は、第１の入力リストとして、ＩＤ＝Iの入力の操作種類に、第１の入力の操作種類を登録して、メモリ内に保持する。
【００６９】
ステップＳ７０３において、表示制御部２０９は、第１の入力リストを参照し、第１の入力リストに第２の入力の操作種類があるか否かを判定する。表示制御部２０９が、第１の入力リストに第２の入力の操作種類があると判定された場合には、ステップＳ７０７の処理を行う。表示制御部２０９が、第１の入力リストに第２の入力の操作種類がないと判定された場合には、ステップＳ７０７の処理を行う。表示制御部２０９が、第１の入力リストに第２の入力の操作種類がないと判定された場合には、ステップＳ７０４の処理を行う。
【００７０】
ステップＳ７０４において、入力部２０１は、Iに１を加算する。ステップＳ７０５の処理は、ステップＳ７０２の処理と同じである。ステップＳ７０６において、表示制御部２０９は、モード設定を行う。（ただし、モード設定は、図７の処理が開始される前に、ユーザ自身によって、第１のモードであるか第２のモードであるかの指定が行われているものとする）
ステップＳ７０７において、逆方向判定部２０７は、設定されたモードに応じて、第１の入力の方向と第２の入力の方向が、互いに逆方向となっているか否かを判定する。逆方向判定部２０７が互いに逆方向と判定した場合は、ステップＳ４１４の処理を行う。逆方向判定部２０７が互いに逆方向と判定しなかった場合は、ステップＳ４１３の処理を行う。
【００７１】
ここで、ステップＳ７０３の具体的な処理を図１３(a)のフローチャートを用いて説明する。
【００７２】
ステップＳ７０３１において、表示制御部２０９は、Ｋ＝０とする。ステップＳ７０３２において、表示制御部２０９は、第１の入力リストにおいて、ＩＤ＝Ｋの入力の操作種類と第２の入力の操作種類が同じであるか否かを判定する。表示制御部２０９が、第２の入力の操作種類が同じであると判定した場合には、ステップＳ７０３において、第１の入力リストに第２の入力の操作種類があると判定される。表示制御部２０９が、第２の入力の操作種類が同じでないと判定した場合には、ステップＳ７０３３の処理を行う。
【００７３】
ステップＳ７０３３において、表示制御部２０９は、Ｋ＞Ｉであるか否かを判定する。表示制御部２０９が、Ｋ＞Ｉであると判定した場合には、ステップＳ７０３の処理を行う。表示制御部２０９が、Ｋ＞Ｉであると判定した場合には、ステップＳ７０３において、第１の入力リストに第２の入力の操作種類がないと判定される。表示制御部２０９が、Ｋ＞Ｉでないと判定した場合には、ステップＳ７０３４の処理を行う。ステップＳ７０３４において、表示制御部２０９は、Ｋに１を加算する。
【００７４】
また、ステップＳ７０７の具体的な処理を図１３(b)のフローチャートを用いて説明する。
【００７５】
ステップＳ７０７１において、表示制御部２０９は、設定されたモードが第１のモードであるか、第２のモードであるかを判定する。表示制御部２０９が、設定されたモードが第１のモードであると判定した場合には、ステップＳ７０７２に処理を行う。表示制御部２０９が、設定されたモードが第２のモードであると判定した場合には、ステップＳ７０７３に処理を行う。
【００７６】
ステップＳ７０７２において、表示制御部２０９は、ＩＤ＝０の操作種類に対する入力の方向を、辞書データを参照して特定する。そして、表示制御部２０９は、特定された入力の方向と第２の入力の方向が逆方向であるか否かを判定する。表示制御部２０９が、特定された入力の方向と第２の入力の方向が逆方向であると判定した場合には、ステップＳ４１４の処理を行う。表示制御部２０９が、特定された入力の方向と第２の入力の方向が逆方向でないと判定した場合には、ステップＳ４１３の処理を行う。
【００７７】
ステップＳ７０７３において、表示制御部２０９は、Ｋ＝０とする。ステップＳ７０７４において、表示制御部２０９は、ＩＤ＝Ｋの操作種類に対する入力の方向を、辞書データを参照して特定する。そして、表示制御部２０９は、特定された入力の方向と第２の入力の方向が逆方向であるか否かを判定する。表示制御部２０９が、特定された入力の方向と第２の入力の方向が逆方向であると判定した場合には、ステップＳ４１４の処理を行う。表示制御部２０９が、特定された入力の方向と第２の入力の方向が逆方向でないと判定した場合には、ステップＳ７０７５の処理を行う。
【００７８】
ステップＳ７０７５において、表示制御部２０９は、Ｋ＞Ｉであるか否かを判定する。表示制御部２０９が、Ｋ＞Ｉであると判定した場合には、ステップＳ７０７６の処理を行う。表示制御部２０９が、Ｋ＞Ｉでないと判定した場合には、ステップＳ４１４の処理を行う。ステップＳ７０７６において、表示制御部２０９は、Ｋに１を加算する。
【００７９】
即ち、第１のモードが指定されていた場合には、図７の処理が開始してから初めて第１の入力リストに登録された入力の方向のみを、ステップＳ４１２で判定される第１の入力の方向とする。第２のモードが指定されていた場合には、第１の入力リストに登録された全ての入力の方向を、ステップＳ４１２で判定される第１の入力の方向とする。また、第１のモードと第２のモードを切り替えることにより、逆方向の入力の操作種類に応じて、音声出力位置表示画面と入力後表示画面の表示を切り替えることが可能となる。よって、複数の操作種類の入力があった場合でも、第２の入力に応じて、音声出力位置表示画面と入力後表示画面を切り替えることが可能となる。
【００８０】
また、図７の処理では、第１の入力の方向と第２の入力の方向が互いに逆方向であるか否かに応じて、音声出力位置表示画面と第１の入力後表示画面の表示を切り替えていた。しかしながら、これに限らず、図８のように、第２の入力の加速度に応じて、両者の切り替えを行なっても良い。図８のフローチャートの各ステップについては、図７と図６のフローチャートの処理で説明済なので、ここでは省略する。
【００８１】
ここで、本実施形態では、ステップＳ４０１では、ページの先頭から音声出力を行っていたが、これに限るものではない。タッチ操作で音声出力開始位置を指定した後に、音声出力ボタン１０４を押下することで、指定された音声出力開始位置から音声出力してもよい。また、電子書籍コンテンツを朗読した音声波形データを音声出力しているが、電子書籍コンテンツを音声合成の技術により音声出力してもよい。ただし、音声合成の技術を用いる場合、ステップＳ４０７において、音声出力位置制御部２０５は、音声出力開始位置以降に並んでいる文字の音声波形データに基づく音声信号を、スピーカ１０３に供給する。例えば、「今年の電子書籍コンテンツの増加率は目覚ましいものがありました。」の文章の「子」が音声出力開始位置になったとする。音声合成技術を用いた場合、「ししょせき」と読み上げられずに、「こしょせき」のように誤った読みになる場合がある。よって、音声出力開始位置の付近の文字にある、文章の先頭や文章中の区切りの良い文字から、音声合成により音声出力される。例えば、文章の先頭の「来年・・・」、もしくは、文章中の「電子・・・」や「ますます・・・」から音声出力される。音声合成技術については、公知なのでここでは省略する。
【００８２】
また、本実施形態では、入力の操作種類として、タッチ操作とジェスチャ操作と傾き操作を例に挙げたが、これに限るものではない。スクロール操作やズーム操作などを指示できるものなら、マウス操作や音声認識操作などを入力の操作種類としても良い。
【００８３】
また、本実施形態では、文字と音声が対応付けられていたが、これに限るものではない。画像データやアイコンボタンなどに音声を対応付けても良い。
【００８４】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014078176.tif 000003
【図２】
2014078176.tif 000004
【図３】
2014078176.tif 000005
【図４】
2014078176.tif 000006
【図５】
2014078176.tif 000007
【図６】
2014078176.tif 000008
【図７】
2014078176.tif 000009
【図８】
2014078176.tif 000010
【図９】
2014078176.tif 000011
【図１０】
2014078176.tif 000012
【図１１】
2014078176.tif 000013
【図１２】
2014078176.tif 000014
【図１３】
2014078176.tif 000015
【図１４】
2014078176.tif 000016
【図１５】
2014078176.tif 000017
【図１６】
2014078176.tif 000018
【図１７】
2014078176.tif 000019
【図１８】
2014078176.tif 000020
【図１９】
2014078176.tif 000021