(57)【要約】【課題】  音声出力中に表示レイアウトの変更をした場合においても、音声出力位置に応じて表示レイアウトを変更するための技術を提供すること。【解決手段】  表示画面における文書の表示レイアウトを変更する旨の指示の入力を検知すると、該検知の時点で音声出力部が音声出力中の文字が表示画面中に表示されるように、表示画面に対する文書の表示制御を行う。【選択図】  図１
2014153960.tif 000002
【特許請求の範囲】
【請求項１】
文書を表示するための表示画面と、該文書中の各文字を音声出力する音声出力部と、を有する情報処理装置であって、
前記表示画面における前記文書の表示レイアウトを変更する旨の指示の入力を検知すると、該検知の時点で前記音声出力部が音声出力中の文字が前記表示画面中に表示されるように、前記表示画面に対する前記文書の表示制御を行う表示制御手段
を備えることを特徴とする情報処理装置。
【請求項２】
前記表示制御手段は、前記指示を検知すると、該検知の時点で前記音声出力部が音声出力中の文字を含む行及び該行以降の各行を前記表示画面に表示させることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記表示制御手段は、
前記指示を検知すると、該検知の時点で前記音声出力部が音声出力中の文字が前記表示画面中に表示されているか否かを判断する判断手段と、
前記判断手段が表示されていると判断した場合には、前記検知の時点で前記音声出力部が音声出力中の文字を含む行及び該行以降の各行を前記表示画面に表示させ、前記判断手段が表示されていないと判断した場合には、前記検知の時点で前記表示画面に表示されている各行のうち中心の行及び該中心の行以降を前記表示画面に表示させる手段と
を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記表示制御手段は、
前記指示を検知すると、該検知の時点で前記表示画面に静止画像若しくは動画像が表示されているか否かを判断する判断手段と、
前記判断手段が表示されていないと判断した場合には、前記検知の時点で前記音声出力部が音声出力中の文字を含む行及び該行以降の各行を前記表示画面に表示させ、前記判断手段が表示されていると判断した場合には、前記検知の時点で前記表示画面に表示されている各行のうち中心の行及び該中心の行以降を前記表示画面に表示させる手段と
を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記表示制御手段は、
前記指示を検知すると、該検知の時点で前記表示画面に表示されている基準対象と該検知の時点で前記音声出力部が音声出力中の文字との間の距離が閾値以下であるか否かを判断する判断手段と、
前記距離が前記閾値以下である場合には、前記検知の時点で前記音声出力部が音声出力中の文字を含む行及び該行以降を前記表示画面に表示させ、前記距離が前記閾値より大きい場合には、前記検知の時点で前記表示画面に表示されている各行のうち中心の行及び該中心の行以降を前記表示画面に表示させる
ことを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記表示制御手段は、
前記指示を検知すると、該検知の時点で前記表示画面に表示されている文字のサイズが、該指示によって変更する表示レイアウトで表示する文字のサイズ、よりも小さいか否かを判断する判断手段と、
前記判断手段が小さいと判断した場合には、前記検知の時点で前記音声出力部が音声出力中の文字を含む行及び該行以降の各行を前記表示画面に表示させ、前記判断手段が大きいと判断した場合には、前記検知の時点で前記表示画面に表示されている各行のうち中心の行及び該中心の行以降を前記表示画面に表示させる手段と
を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記指示は、前記情報処理装置に対する操作若しくは前記情報処理装置の姿勢変化に応じて入力されることを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
【請求項８】
文書を表示するための表示画面と、該文書中の各文字を音声出力する音声出力部と、を有する情報処理装置が行う情報処理方法であって、
前記情報処理装置の表示制御手段が、前記表示画面における前記文書の表示レイアウトを変更する旨の指示の入力を検知すると、該検知の時点で前記音声出力部が音声出力中の文字が前記表示画面中に表示されるように、前記表示画面に対する前記文書の表示制御を行うことを特徴とする情報処理方法。
【請求項９】
コンピュータを、請求項１乃至７の何れか１項に記載の情報処理装置の表示制御手段として機能させるためのコンピュータプログラム。
【請求項１０】
文書を表示するための表示画面と、該文書中の各文字を音声出力する音声出力部と、を有する情報処理装置であって、
前記表示画面における前記文書の表示レイアウトを変更する旨の指示の入力を検知すると、該検知の時点で前記音声出力部が音声出力中の文字の位置に基づいて、前記表示画面に対する前記文書の表示制御を行う表示制御手段
を備えることを特徴とする情報処理装置。
【請求項１１】
文書を表示するための表示画面と、該文書中の各文字を音声出力する音声出力部と、を有する情報処理装置が行う情報処理方法であって、
前記情報処理装置の表示制御手段が、前記表示画面における前記文書の表示レイアウトを変更する旨の指示の入力を検知すると、該検知の時点で前記音声出力部が音声出力中の文字の位置に基づいて、前記表示画面に対する前記文書の表示制御を行うことを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示した文章を音声出力する為の技術に関するものである。
【背景技術】
【０００２】
従来より、電子テキストコンテンツを音声出力させる技術が知られている。また、電子テキストコンテンツと対応付けられた表示レイアウトを、表示画面に表示する方法がある（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平２０００―１６５５２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の方法では、音声出力中に表示レイアウトの変更をした場合、音声出力位置に応じて表示レイアウトが変更されない。従って、変更後の表示レイアウト内に、音声出力位置が配置されない問題が生じる。
【０００５】
本発明は、このような課題に鑑みてなされたものであり、音声出力中に表示レイアウトの変更をした場合においても、音声出力位置に応じて表示レイアウトを変更するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の目的を達成するために、例えば、本発明の情報処理装置は、文書を表示するための表示画面と、該文書中の各文字を音声出力する音声出力部と、を有する情報処理装置であって、前記表示画面における前記文書の表示レイアウトを変更する旨の指示の入力を検知すると、該検知の時点で前記音声出力部が音声出力中の文字が前記表示画面中に表示されるように、前記表示画面に対する前記文書の表示制御を行う表示制御手段を備えることを特徴とする。
【発明の効果】
【０００７】
本発明の構成によれば、音声出力中に表示レイアウトの変更をした場合においても、音声出力位置に応じて表示レイアウトを変更することができる。
【図面の簡単な説明】
【０００８】
【図１】情報処理装置の外観例を示す図。
【図２】情報処理装置１０１の機能構成例を示すブロック図。
【図３】情報処理装置１０１のハードウェア構成例を示すブロック図。
【図４】情報処理装置１０１が行う処理のフローチャート。
【図５】情報処理装置１０１が行う処理のフローチャート。
【図６】情報処理装置１０１が行う処理のフローチャート。
【図７】情報処理装置１０１が行う処理のフローチャート。
【図８】情報処理装置１０１が行う処理のフローチャート。
【図９】タッチパネル画面１０２における具体的な表示例を示す図。
【図１０】縦方向傾け操作及び横方向傾け操作を説明する図。
【図１１】音声出力位置の構成例を示す図。
【図１２】タッチパネル画面１０２における表示例を示す図。
【図１３】切り替え後の画面の表示例を示す図。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１０】
［第１の実施形態］
先ず、本実施形態に係る情報処理装置の外観例について、図１を用いて説明する。図１に示した情報処理装置１０１には、タッチパネル画面１０２、スピーカ１０３、音声出力ボタン１０４、加速度センサ１０５が備わっている。なお、情報処理装置１０１の外観は、図１に示した外観に限るものではなく、様々な外観が適用可能である。すなわち、タッチパネル画面１０２、スピーカ１０３、音声出力ボタン１０４、加速度センサ１０５のそれぞれの配置は図１に示した配置に限るものではない。また、ボタンやスピーカなどはその用途に応じて適宜増減させても良い。
【００１１】
タッチパネル画面１０２は、画像や文字などを表示するための表示画面として機能すると共に、ユーザの指などの指示具によるタッチ操作を検出する、いわゆるタッチパネルとしても機能する。
【００１２】
音声出力ボタン１０４は、音声出力指示を情報処理装置１０１に入力するためのボタンであり、本装置のユーザがこの音声出力ボタン１０４を押下することで、この音声出力指示を情報処理装置１０１に対して入力することができる。
【００１３】
この音声出力指示を受けた情報処理装置は、タッチパネル画面１０２に表示されている文章を構成する各文字を該文字の並び順に従って音声出力するのであるが、この音声はスピーカ１０３を介して出力される。この出力される音声は、例えば、２２．０５ＫＨｚでサンプリングされたＰＣＭ方式のＷＡＶＥデータに基づく音声である。
【００１４】
加速度センサ１０５は、情報処理装置１０１の加速度を計測するものであり、この計測された加速度は情報処理装置１０１の姿勢変化（傾きの変化）を求めるために利用される。然るに、本実施形態では、情報処理装置１０１の姿勢変化（タッチパネル画面１０２の表示面内における情報処理装置１０１の回転変化）が検出できるのであれば、加速度センサ１０５の代わりに如何なるセンサ（センサに限らない）を用いても構わない。
【００１５】
本実施形態では、電子書籍のデータ（電子書籍コンテンツ、電子テキストコンテンツ、電子コンテンツ）、該電子書籍を朗読した音声波形のデータ（音声波形データ）、は、予め情報処理装置１０１内のメモリにダウンロードされているものとする。しかし、これに限るものではなく、これらのデータを外部の装置に格納しておき、必要に応じて該装置から情報処理装置１０１内のメモリに適宜ダウンロードするようにしても良い。
【００１６】
本実施形態で取り扱う電子書籍は、W3CのXMLに準拠したマークアップ言語であるSMIL(Synchronized Multimedia Integration Language)により記述されているものとする。また、電子書籍中の各ページにおける各文字と、音声波形データにおいて該文字を発声している音声波形の位置（音声出力位置）と、は関連づけられている（同期がとられている）。即ち、音声波形データにおいて、電子書籍における任意のページ中の任意の文字の音声波形のデータは、一意に特定することができるようになっている。また、例えば、ＳＭＩＬの記述情報から、ページ番号、ブロックＩＤ、行数、行の先頭からの文字数等の情報も取得できるものとする。また、ページ番号、ブロックＩＤ、行数、行の先頭からの文字数等の情報を、ＳＭＩＬの記述情報と照会することにより、音声波形データ上の音声出力位置および音声出力位置が属する文章を特定できるものとする。このようなＳＭＩＬの技術についてはいずれも公知の技術であるため、これに係る説明は省略する。以下の処理では、このようなＳＭＩＬの機能は適宜使用されているものとする。
【００１７】
次に、情報処理装置１０１の機能構成について、図２のブロック図を用いて説明する。なお、図２に示した機能構成はあくまでも一例であり、図２に示した各機能部のうちいくつかの機能部を１つの機能部に統合しても良いし、以下に説明する各処理を実現可能な構成であれば、如何なる構成を採用しても良い。
【００１８】
また、図２は、本実施形態だけを説明するために用いるのではなく、その様々な変形例を説明するためにも用いるため、図２には本実施形態を含む全ての変形例に適用可能な構成を示している。然るに、図２に示した機能部のうち、適用対象によっては使用しないものもあるので、図２に示した全ての機能部が必須ではなく、適用対象によっては適宜省いても構わない。以下では、本実施形態で使用する機能部について説明し、本実施形態で使用しない機能部については、それを使用する変形例で説明する。
【００１９】
入力部２０１は、情報処理装置１０１に対する様々な入力を検知するためのものである。情報処理装置１０１に対する入力には、例えば、タッチパネル画面１０２に対する操作（タッチ操作）、情報処理装置１０１本体に対する傾け操作、音声出力ボタン１０４の押下操作、などがある。
【００２０】
例えば、ユーザがタッチパネル画面１０２上を自身の指等の指示具でタッチしたり、タッチパネル画面１０２上で指示具を右、左、上、下等の方向にスライドさせたりといったタッチ操作を行った場合、入力部２０１はこのタッチ操作を検知する。
【００２１】
また、ユーザが情報処理装置１０１を手にして、図１０（ａ）に示す如く情報処理装置１０１を縦置きにしたり（縦方向傾け操作）、図１０（ｂ）に示す如く横置きにしたり（横方向傾け操作）したとする。入力部２０１は、加速度センサ１０５が計測した加速度から周知の技術により情報処理装置１０１の姿勢変化を検出することができるので、上記の横方向傾け操作や縦方向傾け操作がなされると、これを検知することができる。
【００２２】
音声出力部２０２は、音声出力開始位置（本実施形態では、ブロックＩＤ＝１のブロックにおける先頭の文字を音声出力開始位置とする）及びこれ以降の各文字位置における文字に対応する音声波形データに基づく音声信号を、順次スピーカ１０３に供給する。ブロック内の全ての電子書籍コンテンツの音声出力が終了すると、ブロックＩＤが１つインクリメントされ（例えば、ブロックＩＤが１から２に変更される）、インクリメントされたブロックＩＤの電子書籍コンテンツの先頭の文字から同様に音声出力される。
【００２３】
音声出力位置記憶部２０３は、音声出力部２０２が現在音声出力中の文字の位置（音声出力位置）である（ページ番号、ブロックＩＤ、行数、行の先頭からの文字数の情報）を、ＳＭＩＬを参照して特定する。そして音声出力位置記憶部２０３は、該特定した音声出力位置を、情報処理装置１０１内のメモリに格納する。例えば、音声出力部２０２が現在、電子書籍コンテンツ中の５ページにある、ブロックＩＤが１で、３行目の２文字目にある文字を音声出力中であるとする。このとき、音声出力位置記憶部２０３は、音声出力位置として「ページ番号が５、ブロックＩＤが１、行数が３、行の先頭からの文字数が２」をメモリに格納する。
【００２４】
音声出力位置表示画面特定部２０４は、音声出力位置記憶部２０３がメモリに格納した音声出力位置に基づき、タッチパネル画面１０２に表示すべき電子書籍の表示画面（音声出力位置表示画面）を特定する。例えば、音声出力中の文字が属するブロックの先頭文字が、タッチパネル画面１０２の左上隅（タッチパネル画面１０２を閲覧しているユーザから見たタッチパネル画面１０２の左上隅）に位置するような電子書籍表示画面を、表示対象画面として特定する。
【００２５】
レイアウト変更指示検出部２０６は、入力部２０１が、横方向傾け操作若しくは縦方向傾け操作を検知した場合に、該検知した操作を、レイアウト変更指示としてレイアウト決定部２０７に通知する。
【００２６】
レイアウト決定部２０７は横方向傾け操作がなされた旨の通知を受けると、横向きに配置されたタッチパネル画面１０２上で電子書籍が閲覧可能、且つ音声出力中の文字がタッチパネル画面１０２に表示されるような表示レイアウト（画面）を特定する。また、レイアウト決定部２０７は縦方向傾け操作がなされた旨の通知を受けると、縦向きに配置されたタッチパネル画面１０２上で電子書籍が閲覧可能、且つ音声出力中の文字がタッチパネル画面１０２に表示されるような表示レイアウト（画面）を特定する。
【００２７】
表示部２０８は、音声出力位置表示画面特定部２０４若しくはレイアウト決定部２０７によって特定された画面（即ち、電子書籍コンテンツの表示画面）の映像信号を、タッチパネル画面１０２に対して供給する。
【００２８】
次に、本実施形態に係る情報処理装置１０１が行う処理について、同処理のフローチャートを示す図４を用いて説明する。なお、以下の説明では、タッチパネル画面１０２には、電子書籍コンテンツにおいてＮ（Ｎ≧１）ページ目のページ（ページＮと呼称する）が表示されており、且つこのＮページ目のページについてはまだ音声出力を行っていないものとする。また、情報処理装置１０１は現在縦方向傾け操作がなされており、タッチパネル画面１０２には、縦置き用の表示レイアウトでページＮが表示されているものとする。
【００２９】
また、タッチパネル画面１０２には、ブロックＩＤが１のブロックが、その先頭文字がタッチパネル画面１０２の左上隅に位置するように表示されており、フォントサイズは４ｍｍとする。そしてこの状態においてユーザが音声出力ボタン１０４を押下すると、入力部２０１は、音声出力ボタン１０４が押下されたことを音声出力部２０２に通知し、図４（ａ）及び（ｂ）のそれぞれのフローチャートに従った処理が並行して開始されることになる。
【００３０】
第１回目のステップＳ４０１１では、音声出力部２０２は、音声出力開始位置（ブロックＩＤが１であるブロックの先頭文字の文字位置）における文字の音声波形データに基づく音声信号をスピーカ１０３に供給する。第２回目以降のステップＳ４０１１では、音声出力開始位置以降の各文字位置における文字の音声波形データに基づく音声信号をスピーカ１０３に供給する。音声出力部２０２は、音声波形データに基づく音声信号をスピーカ１０３に供給する度に音声出力対象文字の文字位置を１つインクリメントし、該文字に後続する文字を次回の音声出力対象とする。
【００３１】
ステップＳ４０１２では、音声出力位置記憶部２０３は、ステップＳ４０１１で音声出力対象とした文字の音声出力位置をメモリに格納する。
【００３２】
ステップＳ４０１３では、音声出力位置表示画面特定部２０４は、ステップＳ４０１２で格納した音声出力位置の文字がタッチパネル画面１０２上に表示されるような電子書籍表示画面を特定する。例えば上記のように、ステップＳ４０１２で格納した音声出力位置の文字が属するブロックの先頭文字がタッチパネル画面１０２の左上隅に位置するような電子書籍表示画面を特定する。
【００３３】
そして図４（ａ）のフローチャートに従った処理が完了していない限り、処理はステップＳ４０１１に戻るし、図４（ａ）のフローチャートに従った処理が完了した場合には、図４（ｂ）のフローチャートに従った処理も完了する。
【００３４】
このように、音声出力ボタン１０４の押下により音声出力指示が入力されると、該入力の時点でタッチパネル画面１０２が表示しているページＮを音声出力ページとし、該音声出力ページ中の各文字に対応する音声を該文字の並び順に従って順次出力する。そして、音声出力中の文字位置に応じて、タッチパネル画面１０２に表示する画面を適宜決定する。
【００３５】
一方、ステップＳ４０２では表示部２０８は、ステップＳ４０１３で表示画面が特定される度に、この表示画面の映像信号をタッチパネル画面１０２に対して送出することで、該表示画面をタッチパネル画面１０２に表示させる。
【００３６】
ステップＳ４０３では、入力部２０１は、加速度センサ１０５によって計測された加速度から、縦方向傾け操作がなされたのか、それとも横方向傾け操作がなされたのかを判断する。縦方向傾け操作がなされた若しくは横方向傾け操作がなされたと判断した場合、入力部２０１は、レイアウト変更指示をレイアウト変更指示検出部２０６に通知する。レイアウト変更指示検出部２０６がレイアウト変更指示の通知を検知した場合には、処理はステップＳ４０４に進み、検知していない場合には、処理はステップＳ４０２に戻る。
【００３７】
ステップＳ４０４では、レイアウト決定部２０７は、レイアウト変更指示検出部２０６から横方向傾け操作がなされた旨の通知を受けると、タッチパネル画面１０２に表示する電子書籍の表示画面として次のような画面を特定する。即ち、横向きに配置されたタッチパネル画面１０２上で電子書籍が閲覧可能な表示レイアウトであって、音声出力中の文字がタッチパネル画面１０２に表示されるような表示レイアウトの画面を特定する。一方、レイアウト決定部２０７は、レイアウト変更指示検出部２０６から縦方向傾け操作がなされた旨の通知を受けると、タッチパネル画面１０２に表示する電子書籍の表示画面として次のような画面を特定する。即ち、縦向きに配置されたタッチパネル画面１０２上で電子書籍が閲覧可能な表示レイアウトであって、音声出力中の文字がタッチパネル画面１０２に表示されるような表示レイアウトの画面を特定する。
【００３８】
ステップＳ４０５では表示部２０８は、レイアウト決定部２０７によって特定された電子書籍表示画面の映像信号を、タッチパネル画面１０２に対して送出することで、該表示画面をタッチパネル画面１０２に表示させる。
【００３９】
以降、レイアウト変更指示がなされない限りは、音声出力位置が変更される度に、ステップＳ４０４及びＳ４０５の処理を繰り返し実行する。ここで、レイアウト変更指示がなされた場合には、処理はステップＳ４０２に戻る。
【００４０】
ここで、図４（ａ）、（ｂ）のフローチャートに従った処理を具体例を挙げて説明する。ここでは、図９に示す如く、情報処理装置１０１に対して縦方向傾け操作がなされており、図９に例示する電子書籍（Ｎ＝５）がタッチパネル画面１０２に表示されている状態で音声出力ボタン１０４が押下された場合について説明する。
【００４１】
第１回目のステップＳ４０１１では、音声出力部２０２は、「１.今年の電子書籍」の先頭文字の音声波形データを特定し、該特定した音声波形データに基づく音声信号をスピーカ１０３に供給する。このときに、ステップＳ４０１２でメモリに格納される音声出力位置の構成例を図１１（ａ）に示す。音声出力を開始した段階なので、メモリには、ページ番号「５」、ページ５でブロックＩＤ「１」の先頭文字の位置（行数「１」、行の先頭の文字からの文字数「１」）、が音声出力位置として格納される。そして、「１.今年の電子書籍」の先頭文字について音声出力をしたので、ステップＳ４０１３では図９に例示する如く、該先頭文字が属するブロックの先頭文字がタッチパネル画面１０２の左上隅に位置するような画面が特定される。そしてステップＳ４０２では、このようにして特定された画面（図９の画面）がタッチパネル画面１０２に表示される。
【００４２】
そして、先頭文字以降の各文字が順次音声出力される度に、音声出力された文字の音声出力位置がメモリに格納され、該音声出力位置の文字が属するブロックの先頭文字がタッチパネル画面１０２の左上隅に位置する画面がタッチパネル画面１０２に表示される。
【００４３】
ここで、「以降も、この傾向は継続されて行くこ」の行の「の」を音声出力中に、情報処理装置１０１を手にしたユーザが横方向傾け操作を行ったとする（図１０（ａ）に示した状態から図１０（ｂ）に示した状態に変化したとする）。この時点でメモリに格納されている音声出力位置の構成例を図１１（ｂ）に示す。
【００４４】
このような状態では、ステップＳ４０３で入力部２０１は、加速度センサ１０５によって計測された加速度から横方向傾け操作がなされたことを検知し、レイアウト変更指示をレイアウト変更指示検出部２０６に通知する。
【００４５】
ステップＳ４０４では、レイアウト決定部２０７は、レイアウト変更指示検出部２０６から横方向傾け操作がなされた旨の通知を受ける。これによりレイアウト決定部２０７は、横向きに配置されたタッチパネル画面１０２上で電子書籍が閲覧可能な表示レイアウトであって、音声出力中の文字がタッチパネル画面１０２に表示されるような表示レイアウトの画面を特定する。
【００４６】
このような画面の例を図１２に示す。図１２に示す如く、情報処理装置１０１には横方向傾け操作がなされており、且つタッチパネル画面１０２には横向き用のレイアウトで「以降も、この傾向は継続されて行くこ」の行の先頭文字が、フォントサイズ１２mmで画面の左上隅に配置される。即ち、音声出力中の文字を含む行及び該行以降の各行が表示されることになる。ステップＳ４０５では、表示部２０８は、このようなレイアウト決定部２０７によって特定された電子書籍表示画面をタッチパネル画面１０２に表示させる。
【００４７】
このように、本実施形態によれば、音声出力位置に応じて電子書籍表示画面を切り替えることができ、これにより、現在音声出力中の文字を常に画面上に表示させることが可能となる。
【００４８】
ここで、ステップＳ４０４において、仮に、表示中のコンテンツに応じて電子書籍表示画面を切り替える場合、切り替え後の画面は図１３のようになる。表示中のコンテンツに応じて電子書籍表示画面を切り替える場合、表示中のコンテンツの中心に位置する行の先頭文字が画面の左上隅に位置されるようにする。
【００４９】
「2.来年の電子書籍」の行の先頭文字が、表示レイアウト変更後のフォントサイズである１２ｍｍで左上部に配置される。この時、音声出力位置は「以降も、この傾向は継続されて行くこ」の行の「の」にあるので、この画面に現在音声出力中の文字が存在しなくなる。ユーザが音声出力位置に沿って、コンテンツを閲覧していた場合、画面切り替え後、閲覧していたコンテンツが画面中に存在しなくなる。音声出力位置に応じて画面を切り替えることにより、画面切り替え後も、音声出力中の文字が画面内に存在することになる。
【００５０】
＜変形例１＞
第１の実施形態では、レイアウト決定部２０７は、横方向傾け操作、縦方向傾け操作の何れが行われたのかの通知を受けると、受けた通知に応じた画面を特定していた。本変形例では、この通知を受けると、先ず、現在音声出力中の文字がタッチパネル画面１０２中に表示されているか否かを判断する。そして、この判断の結果に応じて、音声出力位置に応じて表示レイアウトを決定するのか、表示中のコンテンツに応じて表示レイアウトを決定するのか、を判定する。
【００５１】
本変形例では、図４（ａ）のフローチャートに従った処理の代わりに、図５のフローチャートに従った処理を行う。図５において図４に示した処理ステップと同じ処理ステップには同じ参照番号を付しており、この処理ステップに係る説明は省略する。
【００５２】
ステップＳ５０１では、入力部２０１は、タッチパネル画面１０２に対するタッチ操作を検知したか否かを判断する。この判断の結果、検知した場合には、処理はステップＳ５０２に進み、検知していない場合には、処理はステップＳ４０３に進む。
【００５３】
ステップＳ５０２では、入力後表示画面特定部２０５は、入力部２０１が検知したタッチ操作に対応する電子書籍表示画面を特定する。入力後表示画面特定部２０５は、入力部２０１が検出したタッチ操作に基づき画面移動の種類を特定し、タッチパネル画面１０２に表示する電子書籍表示画面（入力後表示画面）の特定を行う。なお、それぞれの入力に対する画面の移動種類は、辞書データとして、情報処理装置１０１内のメモリに保持されているものとする。例えば、入力部２０１が下方向（上方向）のフリック操作を検出すると、入力後表示画面特定部２０５は辞書データを参照し、下方向スクロール（上方向スクロール）を画面移動の種類として特定する。また、現在タッチパネル画面１０２に表示している電子書籍コンテンツの上部（下部）にある表示画面を、スクロール移動される表示対象として特定する。そして、入力後表示画面特定部２０５は、上記の電子書籍コンテンツの表示画面の映像信号を表示部２０８にスクロール移動順に供給する。表示画面のスクロール移動は、フリック操作の速度、ユーザ自身の指とタッチパネル画面１０２との接地時間などにより特定されるものとする。
【００５４】
ステップＳ５０３では、表示部２０８は、ステップＳ５０２で特定した画面の映像信号をタッチパネル画面１０２に対して送出することで、該画面をタッチパネル画面１０２に表示させる。
【００５５】
次に、ステップＳ５０４では、音声出力位置判定部２１０は、現在音声出力を行っている文字がタッチパネル画面１０２に表示されているか否かを判断する。音声出力位置判定部２１０は、音声出力位置が表示中の電子書籍コンテンツ内にあるか否かを判定するものであり、ＳＭＩＬの記述情報を照会することにより、表示中の電子書籍コンテンツ内に位置する文字が特定される。そして、表示中の電子書籍コンテンツ内に位置する文字の情報と、音声出力位置の情報とを比較することにより、音声出力位置が表示中の電子書籍コンテンツ内にあるか否かを判定する。例えば、音声出力位置の情報が、表示中の電子書籍コンテンツ内に位置する文字の情報に含まれれば、音声出力位置が表示中の電子書籍コンテンツ内にあることになる。
【００５６】
ステップＳ５０４における判断の結果、表示されていると判断された場合には、処理はステップＳ４０４に進み、表示されていないと判断された場合には、処理はステップＳ５０５に進む。
【００５７】
ステップＳ５０５では、レイアウト決定部２０７は、表示中のコンテンツに応じて表示レイアウトを決定する。例えば、ユーザがタッチパネル画面１０２上でスクロール操作し、その結果、タッチパネル画面１０２上に現在音声出力中の文字が表示されなくなってしまった（スクロールして表示画面範囲外に移動してしまった）とする。この場合、ユーザは音声出力位置を無視して、コンテンツを閲覧している可能性が高い。この時に、音声出力位置に応じて表示レイアウトを決定すると、ユーザが閲覧していたコンテンツが表示されなくなってしまう可能性がある。特に、スクロール操作での画面移動量が大きい場合は、その可能性はより高くなる。現在音声出力中の文字が表示中の電子書籍コンテンツ内に存在しない場合は、表示中のコンテンツに応じて表示レイアウトを決定することにより、閲覧中のコンテンツが表示レイアウト内に存在することになる。逆に、現在音声出力中の文字が画面内に存在する場合は、ユーザが音声出力位置に沿って、電子書籍コンテンツを閲覧している可能性が高い。この時は、音声出力位置に応じて表示レイアウトを決定することにより、レイアウト変更後も、音声出力位置が表示画面内に存在することになる。音声出力位置が表示中の電子書籍コンテンツ内にあるか否かで表示レイアウトを決定することにより、音声出力位置に応じた表示レイアウトと表示中のコンテンツに応じた表示レイアウトを切り替えることが可能となる。
【００５８】
＜変形例２＞
変形例１では、現在音声出力中の文字がタッチパネル画面１０２中に表示されているか否かに応じて、音声出力位置に応じて表示レイアウトを決定するのか、表示中のコンテンツに応じて表示レイアウトを決定するのか、を判定していた。しかしながら、これに限らず、表示中のコンテンツの属性に応じて、音声出力位置に応じて表示レイアウトを決定するのか、表示中のコンテンツに応じて表示レイアウトを決定するか、を判定しても良い。
【００５９】
本変形例では、図４（ａ）のフローチャートに従った処理の代わりに、図６のフローチャートに従った処理を行う。図６において図４，５に示した処理ステップと同じ処理ステップには同じ参照番号を付しており、この処理ステップに係る説明は省略する。図６のフローチャートは、図５のＳ５０４をＳ６０１に置き換えたものとなっている。
【００６０】
ステップＳ６０１では、属性判定部２１１は、表示中の電子書籍コンテンツの中心に位置するコンテンツの属性が静止画像（もしくは動画像）であるか否かを判断する。この判断は、例えば、タッチパネル画面１０２の画面中心位置から適当な範囲内の領域を探索領域とし、該探索領域内に静止画像（もしくは動画像）の属性を有するコンテンツが含まれているか否かを判断すれば良い。
【００６１】
この判断の結果、中心に位置するコンテンツの属性が静止画像（もしくは動画像）である場合には、処理はステップＳ５０５に進み、静止画像（もしくは動画像）ではない場合には、処理はステップＳ４０４に進む。
【００６２】
このように、本実施形態によれば、表示中のコンテンツの属性に応じて、音声出力位置に応じて表示レイアウトを決定するのか、表示中のコンテンツに応じて表示レイアウトを決定するのか、を判定することが可能となる。特に、静止画像（もしくは動画像）が表示中の電子書籍コンテンツの中心部に存在し、音声出力位置がその静止画像（もしくは動画像）以外の位置に存在する場合は、静止画像（もしくは動画像）を閲覧している可能性が高い。このような場合に、音声出力位置に応じて表示レイアウトを決定すると、閲覧している静止画像（もしくは動画像）が表示レイアウトから外れてしまう可能性が高くなる。そこで、このような場合には、表示中のコンテンツの属性に応じて表示レイアウトを決定することにより、表示レイアウト内に閲覧している静止画像（もしくは動画像）が存在することになる。
【００６３】
＜変形例３＞
変形例１では、現在音声出力中の文字がタッチパネル画面１０２中に表示されているか否かに応じて、音声出力位置に応じて表示レイアウトを決定するのか、表示中のコンテンツに応じて表示レイアウトを決定するのか、を判定していた。しかしながら、これに限らず、音声出力位置と表示中のコンテンツの位置との間の距離に応じて、音声出力位置に応じて表示レイアウトを決定するのか、表示中のコンテンツに応じて表示レイアウトを決定するのか、を判定しても良い。
【００６４】
本変形例では、図４（ａ）のフローチャートに従った処理の代わりに、図７のフローチャートに従った処理を行う。図７において図４，５に示した処理ステップと同じ処理ステップには同じ参照番号を付しており、この処理ステップに係る説明は省略する。図７のフローチャートは、図６のＳ４０３の直後にＳ７０１を挿入すると共に、Ｓ６０１をＳ７０２に置き換えたものとなっている。
【００６５】
ステップＳ７０１では、距離判定部２０９は、タッチパネル画面１０２に表示されている各行のうち中心の行と現在音声出力中の文字の位置との間の距離を求める。例えば、音声出力位置の行が、ページ番号が５、ブロックＩＤが１、行数が３とする。また、タッチパネル画面１０２に表示されている各行のうち中心の行が、ページ番号が５、ブロックＩＤが２、行数が５とする。ブロックＩＤが１の全行数が８行だとすると、互いに１０行離れているので、距離は１０となる。なお、タッチパネル画面１０２に表示されている各行のうち中心の行以外を基準対象としてもよく、タッチパネル画面１０２内に表示されている何れかの基準対象と現在音声出力中の文字の位置との間を計算できればよい。
【００６６】
ステップＳ７０２では、距離判定部２０９は、ステップＳ７０１で計算した距離が閾値（例えば、１５行）より大きいか否かを判断する。この判断の結果、閾値より大きいと判断した場合には、処理はステップＳ５０５に進み、閾値以下であると判断した場合には、処理はステップＳ４０４に進む。
【００６７】
このように、本実施形態によれば、表示中のコンテンツと音声出力位置との距離に応じて、音声出力位置に応じて表示レイアウトを決定するのか、表示中のコンテンツに応じて表示レイアウトを決定するのか、を判定することが可能となる。特に、ユーザがスクロールなどの操作で、表示画面の移動を行った場合は、コンテンツの閲覧位置と音声出力位置とが異なっている可能性が高い。この時に、音声出力位置に応じて表示レイアウトを決定すると、ユーザが閲覧していたコンテンツが表示レイアウトから外れてしまう可能性が高い。スクロール操作での画面移動量が大きい場合は、その可能性がより高くなる。従って、表示中のコンテンツと音声出力位置との距離が閾値より大きい場合は、表示中のコンテンツに応じて表示レイアウトを決定することにより、閲覧中のコンテンツが表示レイアウトに存在することになる。
【００６８】
＜変形例４＞
変形例１では、現在音声出力中の文字がタッチパネル画面１０２中に表示されているか否かに応じて、音声出力位置に応じて表示レイアウトを決定するのか、表示中のコンテンツに応じて表示レイアウトを決定するのか、を判定していた。しかしながら、これに限らず、次のような判定方法を採用しても構わない。即ち、表示レイアウトを変更後の文字サイズと表示レイアウトを変更する前の文字サイズとの大小比較の結果に応じて、音声出力位置に応じて表示レイアウトを決定するのか、表示中のコンテンツに応じて表示レイアウトを決定するのか、を判定しても良い。
【００６９】
本変形例では、図４（ａ）のフローチャートに従った処理の代わりに、図８のフローチャートに従った処理を行う。図８において図４，５に示した処理ステップと同じ処理ステップには同じ参照番号を付しており、この処理ステップに係る説明は省略する。図８のフローチャートは、図４のＳ４０３とＳ４０４との間にＳ８０１及びＳ８０２を挿入したものとなっている。
【００７０】
ステップＳ８０１では、表示サイズ判定部２１２は、現在タッチパネル画面１０２に表示している文字サイズ（例えばフォントサイズ）Ｓ１、レイアウト変更指示に応じて変更予定の表示レイアウトにおける文字サイズＳ２、を取得する。
【００７１】
ステップＳ８０２では、表示サイズ判定部２１２は、Ｓ１＜Ｓ２であるか否かを判断する。この判断の結果、Ｓ１＜Ｓ２であれば、処理はステップＳ５０５に進み、Ｓ１≧Ｓ２であれば、処理はステップＳ４０４に進む。表示サイズ判定部２１２は、例えば、横方向傾け操作がなされた場合、フォントサイズが４ｍｍから１２ｍｍに変更されれば、Ｓ１＜Ｓ２であると判断する。
【００７２】
このように、本実施形態によれば、Ｓ１とＳ２との大小関係に応じて、音声出力位置に応じて表示レイアウトを決定するのか、表示中のコンテンツに応じて表示レイアウトを決定するのか、を判定することが可能となる。特に、Ｓ１＜Ｓ２であれば、ユーザは、表示中のコンテンツの拡大表示をして閲覧したい可能性が高い。この時に、音声出力位置に応じて表示レイアウトを決定すると、ユーザが閲覧していた対象以外のコンテンツが拡大表示される可能性がある。従ってこのような場合には、表示中のコンテンツに応じて表示レイアウトを決定することにより、閲覧中のコンテンツが拡大表示されることになる。
【００７３】
なお、上記の実施形態、変形例では、ページの先頭文字から音声出力を行っていたが、これに限るものではない。例えば、タッチ操作で音声出力開始位置を指定した後に、音声出力ボタン１０４を押下することで、指定された音声出力開始位置から音声出力してもよい。また、電子書籍コンテンツを朗読した音声波形データを音声出力しているが、電子書籍コンテンツを音声合成の技術により音声出力してもよい。
【００７４】
なお、上記の説明では、レイアウト変更指示は、情報処理装置１０１に対する傾け操作によって入力されたが、レイアウト変更指示の入力方法はこれに限るものではない。例えば、ユーザがタッチパネル画面１０２に対するタッチ操作によりレイアウト変更指示を入力するようにしても構わない。もちろん、他の操作方法によりレイアウト変更指示を入力するようにしても構わない。
【００７５】
また、タッチパネル画面１０２に対するスクロール操作やズーム操作は、タッチパネル画面１０２に対する操作だけでなく、情報処理装置１０１に接続したマウスに対する操作や音声認識操作などの他の操作によってなされても良い。また、文字と音声とを対応づけることに限るものではなく、例えば画像データやアイコンボタンなどに音声を対応付けても良い。
【００７６】
以上、第１の実施形態及びその変形例について説明したが、第１の実施形態及びその変形例は選択的に用いられるようにしても良いし、これらを適宜組み合わせて用いても良い。
【００７７】
そして、いずれにせよ、第１の実施形態及びその変形例では、あくまでも一例としての構成を示しただけで、いずれも次のような基本構成の一例に過ぎない。基本構成の情報処理装置は、文書を表示するための表示画面と、該文書中の各文字を音声出力する音声出力部と、を有する情報処理装置である。そしてこのような情報処理装置が、表示画面における文書の表示レイアウトを変更する旨の指示の入力を検知すると、該検知の時点で音声出力部が音声出力中の文字が表示画面中に表示されるように、表示画面に対する文書の表示制御を行う。
【００７８】
［第２の実施形態］
図２に示した各機能部は何れもハードウェアで構成しても良いが、例えば、音声出力位置記憶部２０３をメモリで構成し、それ以外の各部をソフトウェア（コンピュータプログラム）で構成しても良い。このような場合に、情報処理装置１０１に適用可能なコンピュータのハードウェア構成例について、図３のブロック図を用いて説明する。
【００７９】
ＣＰＵ３０１は、ＲＡＭ３０２やＲＯＭ３０３に格納されているコンピュータプログラムやデータを用いて、コンピュータ全体の動作制御を行うと共に、情報処理装置１０１が行うものとして上述した各処理を実行する。
【００８０】
ＲＡＭ３０２は、ＨＤＤ（ハードディスクドライブ）等の外部メモリ３０４からロードされたコンピュータプログラムやデータを一時的に記憶するためのエリアや、ＣＰＵ３０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ３０２は、各種のエリアを適宜提供することができる。ＲＯＭ３０３には、コンピュータの設定データやブートプログラムなどが格納されている。
【００８１】
入力部３０５は、上記の音声出力ボタン１０４や、タッチパネル画面１０２におけるタッチセンサ、加速度センサ１０５に相当し、上記の通り、各種の指示をＣＰＵ３０１に対して入力することができる。表示部３０６は、上記のタッチパネル画面１０２に相当する。音声出力部３０７は、上記のスピーカ１０３に相当する。
【００８２】
外部メモリ３０４には、ＯＳ（オペレーティングシステム）や、上記の実施形態や変形例で説明した各種の処理をＣＰＵ３０１に実行させるためのコンピュータプログラムやデータが保存されている。このコンピュータプログラムは、ＣＰＵ３０１を、図１において音声出力位置記憶部２０３を除く各機能部として機能させるためのコンピュータプログラムを含む。また、このデータは、電子書籍コンテンツのデータや、上記の処理で既知のものとして説明したデータを含む。外部メモリ３０４に保存されているコンピュータプログラムやデータは、ＣＰＵ３０１による制御に従って適宜ＲＡＭ３０２にロードされ、ＣＰＵ３０１による処理対象となる。上記の各部は共通のバス３０８に接続されている。
【００８３】
上記の音声出力位置記憶部２０３は、外部メモリ３０４やＲＡＭ３０２に相当する。なお、図２に示した機能構成を有する情報処理装置は、図３に示した構成を有する１台のコンピュータで実装しても良いが、複数台の装置によってこの情報処理装置を構成するようにしても良い。なお、図１に示した各機能部の一部をハードウェア／ソフトウェアで構成するようにしても良い。この場合であっても、このソフトウェアはメモリに格納し、このソフトウェアは、ＣＰＵ３０１により実行される。
【００８４】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014153960.tif 000003
【図２】
2014153960.tif 000004
【図３】
2014153960.tif 000005
【図４】
2014153960.tif 000006
【図５】
2014153960.tif 000007
【図６】
2014153960.tif 000008
【図７】
2014153960.tif 000009
【図８】
2014153960.tif 000010
【図９】
2014153960.tif 000011
【図１０】
2014153960.tif 000012
【図１１】
2014153960.tif 000013
【図１２】
2014153960.tif 000014
【図１３】
2014153960.tif 000015