(57)【要約】  電子出版物閲覧装置（１０００）は、表示対象ページと、表示対象領域の位置及び大きさとを特定する表示対象特定部（１１００）と、表示対象ページに対応するページ構造データを取得するページ構造データ取得部（１２００）と、表示対象領域の位置及び大きさに対応する表示画像データを生成するレンダリング部（１３００）と、表示画像データをキャッシュする表示画像データキャッシュ部（１４００）と、レンダリング部（１３００）又は表示画像データキャッシュ部（１４００）から取得した表示画像データを、表示対象領域に重畳する表示部上の位置に表示させる表示制御部（１５００）とを備える。
2011161937.tif 000002
【特許請求の範囲】
【請求項１】
電子出版物の各ページを、電子出版物閲覧用書籍の対応するページに重畳するように、表示面に表示する電子出版物閲覧装置であって、
前記電子出版物閲覧用書籍のページのうちの前記表示面を通してユーザから見える部分である表示対象領域を含む表示対象ページと、前記表示対象ページ上における前記表示対象領域の位置及び大きさとを特定する表示対象特定部と、
前記電子出版物の各ページの表示内容を定義するページ構造データであって、前記表示対象ページに対応するページ構造データを取得するページ構造データ取得部と、
前記表示面に表示される画像データであって、前記表示対象特定部で特定された前記表示対象領域の位置及び大きさに対応する表示画像データを、前記ページ構造データ取得部で取得された前記ページ構造データから生成するレンダリング部と、
前記レンダリング部で生成された前記表示画像データをキャッシュする表示画像データキャッシュ部と、
前記表示画像データキャッシュ部に前記表示対象領域に対応する前記表示画像データがキャッシュされている場合に、前記表示画像データキャッシュ部から取得した当該表示画像データを、前記表示対象領域に重畳する前記表示面上の位置に表示させ、
前記表示画像データキャッシュ部に前記表示対象領域に対応する前記表示画像データがキャッシュされていない場合に、前記レンダリング部に前記表示画像データを新たに生成させ、前記レンダリング部で新たに生成された前記表示画像データを、前記表示対象領域に重畳する前記表示面上の位置に表示させる表示制御部とを備える
電子出版物閲覧装置。
【請求項２】
前記表示制御部は、前記表示画像データキャッシュ部にキャッシュされている前記表示対象ページの表示画像データが、対応する前記表示対象領域を包含している場合に、当該表示画像データから前記表示対象領域に対応する部分のみを抽出して前記表示面に表示させると共に、当該抽出した表示画像データを前記表示画像データキャッシュ部にキャッシュさせる
請求項１に記載の電子出版物閲覧装置。
【請求項３】
前記表示制御部は、さらに、前記表示画像データキャッシュ部にキャッシュされている前記表示対象ページと異なる表示画像データについて、前記表示対象領域に対応する部分のみを抽出し、抽出した表示画像データを前記表示画像データキャッシュ部にキャッシュさせる
請求項２に記載の電子出版物閲覧装置。
【請求項４】
前記表示制御部は、
前記表示画像データキャッシュ部にキャッシュされている前記表示画像データが、対応する前記表示対象領域のうちの一部を含んでいない場合に、当該含まれていない部分に対応する前記表示画像データのみを前記レンダリング部に生成させ、
前記表示画像データキャッシュ部にキャッシュされている前記表示画像データと、前記レンダリング部で新たに生成された前記表示画像データとを結合して前記表示面に表示させると共に、当該結合した表示画像データを前記表示画像データキャッシュ部にキャッシュさせる
請求項１に記載の電子出版物閲覧装置。
【請求項５】
該電子出版物閲覧装置は、さらに、前記ページ構造データをキャッシュするページ構造データキャッシュ部を備え、
前記ページ構造データ取得部は、
前記表示対象ページに対応する前記ページ構造データが前記ページ構造データキャッシュ部にキャッシュされている場合に、前記ページ構造データキャッシュ部から前記ページ構造データを取得し、
前記表示対象ページに対応する前記ページ構造データが前記ページ構造データキャッシュ部にキャッシュされていない場合に、通信ネットワークを介して接続された外部装置から前記ページ構造データを取得すると共に、取得した前記ページ構造データを前記ページ構造データキャッシュ部にキャッシュさせる
請求項１〜４のいずれか１項に記載の電子出版物閲覧装置。
【請求項６】
前記ページ構造データ取得部は、前記表示対象ページを含む複数の前記ページ構造データを前記外部装置から同時に取得し、前記表示対象特定部で特定された前記表示対象領域の面積に応じて、同時に取得する前記ページ構造データの数を増減させる
請求項５に記載の電子出版物閲覧装置。
【請求項７】
該電子出版物閲覧装置は、さらに、
ユーザからの指示を受け付けるユーザ対話部と、
前記ユーザ対話部で受け付けられたユーザからの指示に基づいて、複数の前記電子出版物のうち、ユーザに対して表示する前記電子出版物を識別するタイトル情報を特定するタイトル特定部とを備える
請求項１〜６のいずれか１項に記載の電子出版物閲覧装置。
【請求項８】
該電子出版物閲覧装置は、さらに、ユーザの眼に対面する位置に配置される表示面、及び前記表示対象領域を撮像する撮像部を備えるヘッドマウントディスプレイを備え、
前記表示対象特定部は、前記撮像部で撮像された画像に基づいて、前記表示対象領域を含む表示対象ページと、前記表示対象ページ上における前記表示対象領域の位置及び大きさとを特定する
請求項１〜７のいずれか１項に記載の電子出版物閲覧装置。
【請求項９】
前記電子出版物閲覧用書籍は、複数のページと、前記複数のページそれぞれに複数個ずつ配置され、且つそれぞれが当該ページを識別するページ情報、及び当該ページ上の位置を示す位置情報を含むマーカとを備え、
前記表示対象特定部は、前記撮像部で撮像された前記表示対象領域に含まれる前記マーカの前記ページ情報及び前記位置情報に基づいて、前記表示対象領域を含む表示対象ページと、前記表示対象ページ上における前記表示対象領域の位置及び大きさとを特定する
請求項８に記載の電子出版物閲覧装置。
【請求項１０】
前記表示対象特定部は、さらに、前記位置を示す情報で特定される前記表示対象ページ上における前記マーカの位置と、前記撮像部によって撮像された前記表示対象ページ上における前記マーカの現実の位置との差に基づいて、前記表示対象領域の変形量を特定し、
前記表示制御部は、前記表示対象特定部で特定された前記変形量に基づいて、前記表示画像データを変形させて前記表示面に表示させる
請求項９に記載の電子出版物閲覧装置。
【請求項１１】
前記電子出版物閲覧用書籍は、前記表示面と、前記表示面に表示させる前記表示対象ページをユーザの操作に従って切替える制御部とを備え、
前記表示対象特定部は、前記表示対象領域を含む表示対象ページと、前記表示対象ページ上における前記表示対象領域の位置及び大きさとを、前記制御部から取得することによって特定する
請求項１〜７のいずれか１項に記載の電子出版物閲覧装置。
【請求項１２】
電子出版物の各ページを、電子出版物閲覧用書籍の対応するページに重畳するように、表示面に表示する電子出版物閲覧方法であって、
前記電子出版物閲覧用書籍のページのうちの前記表示面を通してユーザから見える部分である表示対象領域を含む表示対象ページと、前記表示対象ページ上における前記表示対象領域の位置及び大きさとを特定する表示対象特定ステップと、
前記電子出版物の各ページの表示内容を定義するページ構造データであって、前記表示対象ページに対応するページ構造データを取得するページ構造データ取得ステップと、
前記表示面に表示される画像データであって、前記表示対象特定ステップで特定された前記表示対象領域の位置及び大きさに対応する表示画像データを、前記ページ構造データ取得ステップで取得された前記ページ構造データから生成するレンダリングステップと、
前記レンダリングステップで生成された前記表示画像データをキャッシュする表示画像データキャッシュ部に前記表示対象領域に対応する前記表示画像データがキャッシュされている場合に、前記表示画像データキャッシュ部から取得した当該表示画像データを、前記表示対象領域に重畳する前記表示面上の位置に表示させ、
前記表示画像データキャッシュ部に前記表示対象領域に対応する前記表示画像データがキャッシュされていない場合に、前記レンダリング部に前記表示画像データを新たに生成させ、前記レンダリング部で新たに生成された前記表示画像データを、前記表示対象領域に重畳する前記表示面上の位置に表示させる表示制御ステップとを含む
電子出版物閲覧方法。
【請求項１３】
コンピュータに、電子出版物の各ページを、電子出版物閲覧用書籍の対応するページに重畳するように、表示面に表示させるプログラムであって、
前記電子出版物閲覧用書籍のページのうちの前記表示面を通してユーザから見える部分である表示対象領域を含む表示対象ページと、前記表示対象ページ上における前記表示対象領域の位置及び大きさとを特定する表示対象特定ステップと、
前記電子出版物の各ページの表示内容を定義するページ構造データであって、前記表示対象ページに対応するページ構造データを取得するページ構造データ取得ステップと、
前記表示面に表示される画像データであって、前記表示対象特定ステップで特定された前記表示対象領域の位置及び大きさに対応する表示画像データを、前記ページ構造データ取得ステップで取得された前記ページ構造データから生成するレンダリングステップと、
前記レンダリングステップで生成された前記表示画像データをキャッシュする表示画像データキャッシュ部に前記表示対象領域に対応する前記表示画像データがキャッシュされている場合に、前記表示画像データキャッシュ部から取得した当該表示画像データを、前記表示対象領域に重畳する前記表示面上の位置に表示させ、
前記表示画像データキャッシュ部に前記表示対象領域に対応する前記表示画像データがキャッシュされていない場合に、前記レンダリング部に前記表示画像データを新たに生成させ、前記レンダリング部で新たに生成された前記表示画像データを、前記表示対象領域に重畳する前記表示面上の位置に表示させる表示制御ステップとを、コンピュータに実行させる
プログラム。
【請求項１４】
電子出版物の各ページを、電子出版物閲覧用書籍の対応するページに重畳するように、表示面に表示する集積回路であって、
前記電子出版物閲覧用書籍のページのうちの前記表示面を通してユーザから見える部分である前記表示対象領域を含む表示対象ページと、前記表示対象ページ上における前記表示対象領域の位置及び大きさとを特定する表示対象特定部と、
前記電子出版物の各ページの表示内容を定義するページ構造データであって、前記表示対象ページに対応するページ構造データを取得するページ構造データ取得部と、
前記表示面に表示される画像データであって、前記表示対象特定部で特定された前記表示対象領域の位置及び大きさに対応する表示画像データを、前記ページ構造データ取得部で取得された前記ページ構造データから生成するレンダリング部と、
前記レンダリング部で生成された前記表示画像データをキャッシュする表示画像データキャッシュ部と、
前記表示画像データキャッシュ部に前記表示対象領域に対応する前記表示画像データがキャッシュされている場合に、前記表示画像データキャッシュ部から取得した当該表示画像データを、前記表示対象領域に重畳する前記表示面上の位置に表示させ、
前記表示画像データキャッシュ部に前記表示対象領域に対応する前記表示画像データがキャッシュされていない場合に、前記レンダリング部に前記表示画像データを新たに生成させ、前記レンダリング部で新たに生成された前記表示画像データを、前記表示対象領域に重畳する前記表示面上の位置に表示させる表示制御部とを備える
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子出版物を閲覧する電子出版物閲覧装置の技術に関し、特に、ユーザが印刷された紙の出版物を読む時と同じ操作感覚を得られる電子出版物閲覧装置の技術に関するものである。
【背景技術】
【０００２】
従来、パーソナルコンピュータ（ＰＣ）、携帯電話、又はタッチパネルを備えた情報携帯端末（ＰＤＡ）のディスプレイに、電子出版物の内容を表示する電子出版物閲覧装置が知られている。また、近年、電子ペーパーを利用して、紙に近い精細さ及び反射率を備えた電子出版物閲覧装置が普及しつつある。【０００３】
上述の装置において、ユーザは、キーボード、マウス、又はタッチパネル等を用いて操作を行うのが一般的である。このため、ユーザが慣れ親しんだ紙の本の操作感覚及び感触を提供することができない。【０００４】
また、紙の本の操作感覚及び感触をユーザに提供するために、ヘッドマウントディスプレイ（ＨＭＤ）を用いて、ユーザの視界にある物理的な本に、電子書籍の内容を重畳させる技術が知られている（例えば、特許文献１参照）。【０００５】
特許文献１の電子出版物閲覧装置では、紙の本の各ページに、電子出版物のページとページ内における位置とを特定するためのマーカが印刷されている。そして、カメラ付きのヘッドマウントディスプレイを用いて、そのカメラから得られる情報により、ユーザがどのページのどの部分を見ているのか認識して、そのユーザが見ている部分をヘッドマウントディスプレイに表示するように処理する。さらに、ユーザが紙の本をめくると、ヘッドマウントディスプレイに表示される電子出版物のページも変化するため、特許文献１の電子出版物閲覧装置は、ユーザに紙の本の操作感覚を提供できる。【０００６】
また、近年、電子出版物をインターネットからダウンロードする機能を備えた電子出版物閲覧装置が増えている。このような電子出版物閲覧装置においては、電子出版物全体をダウンロードしてから当該電子出版物の表示を行ってもよいし、ユーザが閲覧している当該電子出版物のページをインターネットから逐次ダウンロードしてもよい。【０００７】
電子出版物閲覧装置は、装置の小型化および低価格化を目的として、搭載されるメモリが少量である場合が多い。メモリが少量である電子出版物閲覧装置においては、前述の逐次ダウンロードが行われる。【０００８】
また、取得した電子出版物のページを破棄せずにメモリに保存しておくキャッシュ技術が一般的に知られている。メモリに保存されているページは、インターネットからダウンロードしたページよりも高速に表示することが可能である。そこで、例えば、ユーザが閲覧中のページの前後のページをメモリに保存しておくことで、ユーザが閲覧するページを切り替えた際に、ページを高速に表示することが可能である。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特許第３９９３４２３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
メモリの容量が少ない電子出版物閲覧装置は、メモリにキャッシュできるページの量が限られている。また、電子出版物をインターネットからダウンロードする場合、インターネットの回線速度が低速であると電子出版物の取得に時間を要する。【００１１】
上述の状況下でユーザが閲覧中のページを高速に切り替えると、キャッシュに存在しないページをインターネット経由でダウンロードして表示する頻度が増加し、ページの表示速度が低下するという問題がある。特許文献１の電子出版物閲覧装置においては、ユーザが電子出版物閲覧装置のページを高速にめくった際に同様の問題が生じる。【００１２】
また、電子出版物閲覧装置は、インターネットから取得した電子出版物のデータを、ヘッドマウントディスプレイに表示可能な形式に変換するレンダリング処理を行う。このレンダリング処理はページ毎に行う必要があるので、ページを高速にめくった際の処理負荷が大きい。そこで、従来の電子出版物閲覧装置では、レンダリング結果をメモリにキャッシュしている。【００１３】
ところで、物理的な本を高速にめくる際には、ユーザは、本をたわませ、ページの一部分のみが見える状態でページをめくることが多い。この場合、ユーザが閲覧する部分はページ全体ではなく、一部分のみである。しかしながら、従来の電子出版物閲覧装置では、レンダリングしたページ全体をメモリにキャッシュしていたので、多くのページを増やすためには、メモリの容量を増やさなければならなかった。【００１４】
本発明は上記の問題点に鑑み、電子書籍の内容を表示面に重畳表示させる電子出版物閲覧装置において、キャッシュできるページ数を増加させ、ページの表示を高速化することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の一形態に係る電子出版物閲覧装置は、電子出版物の各ページを、電子出版物閲覧用書籍の対応するページに重畳するように、表示面に表示する。具体的には、前記電子出版物閲覧用書籍のページのうちの前記表示面を通してユーザから見える部分である表示対象領域を含む表示対象ページと、前記表示対象ページ上における前記表示対象領域の位置及び大きさとを特定する表示対象特定部と、前記電子出版物の各ページの表示内容を定義するページ構造データであって、前記表示対象ページに対応するページ構造データを取得するページ構造データ取得部と、前記表示面に表示される画像データであって、前記表示対象特定部で特定された前記表示対象領域の位置及び大きさに対応する表示画像データを、前記ページ構造データ取得部で取得された前記ページ構造データから生成するレンダリング部と、前記レンダリング部で生成された前記表示画像データをキャッシュする表示画像データキャッシュ部と、前記表示画像データキャッシュ部に前記表示対象領域に対応する前記表示画像データがキャッシュされている場合に、前記表示画像データキャッシュ部から取得した当該表示画像データを、前記表示対象領域に重畳する前記表示面上の位置に表示させ、前記表示画像データキャッシュ部に前記表示対象領域に対応する前記表示画像データがキャッシュされていない場合に、前記レンダリング部に前記表示画像データを新たに生成させ、前記レンダリング部で新たに生成された前記表示画像データを、前記表示対象領域に重畳する前記表示面上の位置に表示させる表示制御部とを備える。【００１６】
上記構成によれば、表示対象ページのうち、実際にユーザに見えている部分に対応する表示画像データのみをキャッシュ対象とするので、メモリの容量を増やさなくてもキャッシュできるページ数を増加させることができる。その結果、ユーザが電子出版物閲覧用書籍を高速にめくった際のページの表示を高速化することができる。【００１７】
また、前記表示制御部は、前記表示画像データキャッシュ部にキャッシュされている前記表示対象ページの表示画像データが、対応する前記表示対象領域を包含している場合に、当該表示画像データから前記表示対象領域に対応する部分のみを抽出して前記表示面に表示させると共に、当該抽出した表示画像データを前記表示画像データキャッシュ部にキャッシュさせてもよい。【００１８】
さらに、前記表示制御部は、前記表示画像データキャッシュ部にキャッシュされている前記表示対象ページと異なる表示画像データについて、前記表示対象領域に対応する部分のみを抽出し、抽出した表示画像データを前記表示画像データキャッシュ部にキャッシュさせてもよい。【００１９】
また、前記表示制御部は、前記表示画像データキャッシュ部にキャッシュされている前記表示画像データが、対応する前記表示対象領域のうちの一部を含んでいない場合に、当該含まれていない部分に対応する前記表示画像データのみを前記レンダリング部に生成させ、前記表示画像データキャッシュ部にキャッシュされている前記表示画像データと、前記レンダリング部で新たに生成された前記表示画像データとを結合して前記表示面に表示させると共に、当該結合した表示画像データを前記表示画像データキャッシュ部にキャッシュさせてもよい。【００２０】
上記の各構成のように、過去に生成された表示画像データを有効利用することにより、レンダリングに要する時間を大幅に短縮することができる。その結果、ユーザが電子出版物閲覧用書籍を高速にめくった際のページの表示を高速化することができる。【００２１】
さらに、該電子出版物閲覧装置は、前記ページ構造データをキャッシュするページ構造データキャッシュ部を備えてもよい。前記ページ構造データ取得部は、前記表示対象ページに対応する前記ページ構造データが前記ページ構造データキャッシュ部にキャッシュされている場合に、前記ページ構造データキャッシュ部から前記ページ構造データを取得してもよい。一方、前記表示対象ページに対応する前記ページ構造データが前記ページ構造データキャッシュ部にキャッシュされていない場合に、通信ネットワークを介して接続された外部装置から前記ページ構造データを取得すると共に、取得した前記ページ構造データを前記ページ構造データキャッシュ部にキャッシュさせてもよい。【００２２】
また、前記ページ構造データ取得部は、前記表示対象ページを含む複数の前記ページ構造データを前記外部装置から同時に取得し、前記表示対象特定部で特定された前記表示対象領域の面積に応じて、同時に取得する前記ページ構造データの数を増減させてもよい。例えば、ユーザが各ページをじっくりと見ている（表示対象領域の面積が大きい）場合には、同時に取得するページ構造データの数を少なくし、ユーザがページをパラパラとめくっている（表示対象領域の面積が小さい）場合には、同時に取得するページ構造データの数を多くしてもよい。【００２３】
さらに、該電子出版物閲覧装置は、ユーザからの指示を受け付けるユーザ対話部と、前記ユーザ対話部で受け付けられたユーザからの指示に基づいて、複数の前記電子出版物のうち、ユーザに対して表示する前記電子出版物を識別するタイトル情報を特定するタイトル特定部とを備えてもよい。【００２４】
一形態として、該電子出版物閲覧装置は、さらに、ユーザの眼に対面する位置に配置される表示面、及び前記表示対象領域を撮像する撮像部を備えるヘッドマウントディスプレイを備えてもよい。そして、前記表示対象特定部は、前記撮像部で撮像された画像に基づいて、前記表示対象領域を含む表示対象ページと、前記表示対象ページ上における前記表示対象領域の位置及び大きさとを特定する。【００２５】
さらに、前記電子出版物閲覧用書籍は、複数のページと、前記複数のページそれぞれに複数個ずつ配置され、且つそれぞれが当該ページを識別するページ情報、及び当該ページ上の位置を示す位置情報を含むマーカとを備えてもよい。そして、前記表示対象特定部は、前記撮像部で撮像された前記表示対象領域に含まれる前記マーカの前記ページ情報及び前記位置情報に基づいて、前記表示対象領域を含む表示対象ページと、前記表示対象ページ上における前記表示対象領域の位置及び大きさとを特定してもよい。【００２６】
さらに、前記表示対象特定部は、前記位置を示す情報で特定される前記表示対象ページ上における前記マーカの位置と、前記撮像部によって撮像された前記表示対象ページ上における前記マーカの現実の位置との差に基づいて、前記表示対象領域の変形量を特定してもよい。そして、前記表示制御部は、前記表示対象特定部で特定された前記変形量に基づいて、前記表示画像データを変形させて前記表示面に表示させてもよい。【００２７】
他の例として、前記電子出版物閲覧用書籍は、前記表示面と、前記表示面に表示させる前記表示対象ページをユーザの操作に従って切替える制御部とを備えてもよい。そして、前記表示対象特定部は、前記表示対象領域を含む表示対象ページと、前記表示対象ページ上における前記表示対象領域の位置及び大きさとを、前記制御部から取得することによって特定してもよい。【００２８】
本発明の一形態に係る電子出版物閲覧方法は、電子出版物の各ページを、電子出版物閲覧用書籍の対応するページに重畳するように、表示面に表示する方法である。具体的には、前記電子出版物閲覧用書籍のページのうちの前記表示面を通してユーザから見える部分である表示対象領域を含む表示対象ページと、前記表示対象ページ上における前記表示対象領域の位置及び大きさとを特定する表示対象特定ステップと、前記電子出版物の各ページの表示内容を定義するページ構造データであって、前記表示対象ページに対応するページ構造データを取得するページ構造データ取得ステップと、前記表示面に表示される画像データであって、前記表示対象特定ステップで特定された前記表示対象領域の位置及び大きさに対応する表示画像データを、前記ページ構造データ取得ステップで取得された前記ページ構造データから生成するレンダリングステップと、前記レンダリングステップで生成された前記表示画像データをキャッシュする表示画像データキャッシュ部に前記表示対象領域に対応する前記表示画像データがキャッシュされている場合に、前記表示画像データキャッシュ部から取得した当該表示画像データを、前記表示対象領域に重畳する前記表示面上の位置に表示させ、前記表示画像データキャッシュ部に前記表示対象領域に対応する前記表示画像データがキャッシュされていない場合に、前記レンダリング部に前記表示画像データを新たに生成させ、前記レンダリング部で新たに生成された前記表示画像データを、前記表示対象領域に重畳する前記表示面上の位置に表示させる表示制御ステップとを含む。【００２９】
本発明の一形態に係るプログラムは、コンピュータに、電子出版物の各ページを、電子出版物閲覧用書籍の対応するページに重畳するように、表示面に表示させる。具体的には、前記電子出版物閲覧用書籍のページのうちの前記表示面を通してユーザから見える部分である表示対象領域を含む表示対象ページと、前記表示対象ページ上における前記表示対象領域の位置及び大きさとを特定する表示対象特定ステップと、前記電子出版物の各ページの表示内容を定義するページ構造データであって、前記表示対象ページに対応するページ構造データを取得するページ構造データ取得ステップと、前記表示面に表示される画像データであって、前記表示対象特定ステップで特定された前記表示対象領域の位置及び大きさに対応する表示画像データを、前記ページ構造データ取得ステップで取得された前記ページ構造データから生成するレンダリングステップと、前記レンダリングステップで生成された前記表示画像データをキャッシュする表示画像データキャッシュ部に前記表示対象領域に対応する前記表示画像データがキャッシュされている場合に、前記表示画像データキャッシュ部から取得した当該表示画像データを、前記表示対象領域に重畳する前記表示面上の位置に表示させ、前記表示画像データキャッシュ部に前記表示対象領域に対応する前記表示画像データがキャッシュされていない場合に、前記レンダリング部に前記表示画像データを新たに生成させ、前記レンダリング部で新たに生成された前記表示画像データを、前記表示対象領域に重畳する前記表示面上の位置に表示させる表示制御ステップとを、コンピュータに実行させる。【００３０】
本発明の一形態に係る集積回路は、電子出版物の各ページを、電子出版物閲覧用書籍の対応するページに重畳するように、表示面に表示する。具体的には、前記電子出版物閲覧用書籍のページのうちの前記表示面を通してユーザから見える部分である表示対象領域を含む表示対象ページと、前記表示対象ページ上における前記表示対象領域の位置及び大きさとを特定する表示対象特定部と、前記電子出版物の各ページの表示内容を定義するページ構造データであって、前記表示対象ページに対応するページ構造データを取得するページ構造データ取得部と、前記表示面に表示される画像データであって、前記表示対象特定部で特定された前記表示対象領域の位置及び大きさに対応する表示画像データを、前記ページ構造データ取得部で取得された前記ページ構造データから生成するレンダリング部と、前記レンダリング部で生成された前記表示画像データをキャッシュする表示画像データキャッシュ部と、前記表示画像データキャッシュ部に前記表示対象領域に対応する前記表示画像データがキャッシュされている場合に、前記表示画像データキャッシュ部から取得した当該表示画像データを、前記表示対象領域に重畳する前記表示面上の位置に表示させ、前記表示画像データキャッシュ部に前記表示対象領域に対応する前記表示画像データがキャッシュされていない場合に、前記レンダリング部に前記表示画像データを新たに生成させ、前記レンダリング部で新たに生成された前記表示画像データを、前記表示対象領域に重畳する前記表示面上の位置に表示させる表示制御部とを備える。
【発明の効果】
【００３１】
本発明によれば、電子出版物のページの表示画像データのうち、ユーザに見えている部分のみをキャッシュ対象とすることで、メモリの容量を増やさなくてもキャッシュできるページ数を増加させることができる。その結果、ユーザが電子出版物閲覧用書籍を高速にめくった際のページの表示を高速化することができる。
【図面の簡単な説明】
【００３２】
【図１】図１は、本発明の一形態に係る電子出版物閲覧装置のブロック図である。
【図２】図２は、本発明の実施の形態１における電子出版物閲覧装置の概略を説明する図である。
【図３】図３は、電子出版物閲覧用書籍の例を示す図である。
【図４】図４は、本発明の実施の形態１に係る電子出版物閲覧装置のブロック図である。
【図５】図５は、カメラによって撮像されたカメラ映像の例を示す図である。
【図６】図６は、表示対象領域に重畳させて電子出版物を表示させる例を示す図である。
【図７】図７は、電子出版物のタイトルの設定処理を示すフローチャートである。
【図８】図８は、電子出版物表示処理の全体を示すフローチャートである。
【図９】図９は、図８のステップＳ２００４の処理の詳細を示すフローチャートである。
【図１０】図１０は、図８のステップＳ２００７の処理の詳細を示すフローチャートである。
【図１１】図１１は、マーカから取得されるマーカ情報の例を示す図である。
【図１２】図１２は、マーカ認識部から出力されるマーカ情報の例を示す図である。
【図１３】図１３は、本発明の実施の形態２に係る電子出版物閲覧用書籍の外観図である。
【図１４】図１４は、本発明の実施の形態２に係る電子出版物閲覧用書籍のブロック図である。
【発明を実施するための形態】
【００３３】
図１は、本発明の一形態に係る電子出版物閲覧装置の機能ブロック図である。図１に示される電子出版物閲覧装置１０００は、電子出版物の各ページを、電子出版物閲覧用書籍の対応するページに重畳するように表示面に表示する装置であって、表示対象特定部１１００と、ページ構造データ取得部１２００と、レンダリング部１３００と、表示画像データキャッシュ部１４００と、表示制御部１５００とを備える。
【００３４】
表示対象特定部１１００は、電子出版物閲覧用書籍のページのうちの表示面を通してユーザから見える部分である表示対象領域を含む表示対象ページと、表示対象ページ上における表示対象領域の位置及び大きさとを特定する。
【００３５】
ページ構造データ取得部１２００は、電子出版物の各ページの表示内容を定義するページ構造データであって、表示対象ページに対応するページ構造データを取得する。
【００３６】
レンダリング部１３００は、表示面に表示される画像データであって、表示対象特定部１１００で特定された表示対象領域の位置及び大きさに対応する表示画像データを、ページ構造データ取得部１２００で取得されたページ構造データから生成する。
【００３７】
表示画像データキャッシュ部１４００は、レンダリング部１３００で生成された表示画像データをキャッシュする。
【００３８】
表示制御部１５００は、表示画像データキャッシュ部１４００に表示対象領域に対応する表示画像データがキャッシュされている場合に、表示画像データキャッシュ部１４００から取得した当該表示画像データを、表示対象領域に重畳する表示面上の位置に表示させる。一方、表示制御部１５００は、表示画像データキャッシュ部１４００に表示対象領域に対応する表示画像データがキャッシュされていない場合に、レンダリング部１３００に表示画像データを新たに生成させ、レンダリング部１３００で新たに生成された表示画像データを、表示対象領域に重畳する表示面上の位置に表示させる。
【００３９】
以下、本発明の各実施の形態における電子出版物閲覧装置を、図面を参照しながら詳しく説明する。
【００４０】
（実施の形態１）
まず、図２を参照して、本発明の実施の形態１における電子出版物閲覧装置の概略を説明する。図２に示される電子出版物閲覧装置は、ユーザにヘッドマウントディスプレイ１１を装着させることによって、電子出版物の各ページを、ユーザの視界にある電子出版物閲覧用書籍２０１の対応するページに重畳するように表示する。
【００４１】
具体的には、ヘッドマウントディスプレイ１１は、カメラ１０３と、表示部１１３とを備える。このヘッドマウントディスプレイ１１は、典型的には、眼鏡の形状であって、ユーザの頭部正面に装着される。
【００４２】
表示部（表示面）１１３は、例えば、眼鏡のレンズのように、ユーザの眼に対面する位置に配置される。この表示部１１３は、例えば、ハーフミラー又はホログラム光学素子（ＨＯＥ：Ｈｏｌｏｇｒａｍ  Ｏｐｔｉｃａｌ  Ｅｌｅｍｅｎｔ）で構成されている。このため、ユーザは、表示部１１３に表示される画像を見ながら、表示部１１３を通して外界を視認することができる。なお、図２の例では、右眼用及び左眼用の表示部１１３が別体となっているが、これに限ることなく、横長の１枚の表示面をユーザの両眼に対面する位置に配置してもよい。
【００４３】
カメラ（撮像部）１０３は、ユーザの視線方向を撮像する。より具体的には、電子出版物閲覧用書籍２０１のページのうちの表示部１１３を通してユーザから見える部分である表示対象領域を撮像する。なお、図２の例では、右眼用及び左眼用の表示部１１３の間に配置されている。
【００４４】
上記構成のヘッドマウントディスプレイ１１をユーザに装着させ、カメラ１０３で撮像した映像に基づいて電子出版物閲覧用書籍２０１の開かれているページを特定し、当該ページに対応する電子出版物のページを表示部１１３に表示させることにより、電子出版物が電子出版物閲覧用書籍２０１の各ページに表示されているかのように、ユーザに感じさせることができる。
【００４５】
図３は、電子出版物閲覧用書籍２０１の一例を示す図である。電子出版物閲覧用書籍２０１は、複数のページと、複数のページそれぞれに複数個ずつ配置されているマーカ２０１ａとを備える。マーカ２０１ａは、それぞれ電子出版物閲覧用書籍２０１の各ページが何ページ目であるかを示すページ情報と、マーカ２０１ａが各ページのどの部分に配置されているかを示す位置情報とを含むマーカ情報を保持している。マーカ２０１ａは、例えば２次元のパターンを持つ。
【００４６】
図４は、本発明の実施形態に係る電子出版物閲覧装置１００のブロック図である。電子出版物閲覧装置１００は、カメラ１０３及び表示部１１３を備えるヘッドマウントディスプレイ１１と、表示領域特定部１２と、記憶部１３と、ユーザ対話部１０１と、タイトル特定部１０２と、映像取得部１０４と、ページ構造データ取得部１０８と、レンダリング部１１０と、表示制御部１１１とを備える。
【００４７】
なお、表示領域特定部１２、記憶部１３、ユーザ対話部１０１、タイトル特定部１０２、映像取得部１０４、ページ構造データ取得部１０８、レンダリング部１１０、及び表示制御部１１１の全部又は一部は、ヘッドマウントディスプレイ１１に組み込まれていてもよいし、ヘッドマウントディスプレイ１１とは別の筐体に収納され、ヘッドマウントディスプレイ１１に有線接続又は無線接続されていてもよい。
【００４８】
ユーザ対話部１０１は、ユーザの操作を受け付け、閲覧する電子出版物のタイトルを示す情報を取得する。
【００４９】
タイトル特定部１０２は、ユーザ対話部１０１が取得した電子出版物のタイトルを示す情報に基づいて、複数の電子出版物のうちのユーザに対して表示する電子出版物を識別するタイトル情報を特定し、表示対象ページ特定部１０６の要求に応じてタイトル情報を提供する。
【００５０】
映像取得部１０４は、カメラ１０３が撮像した映像であるカメラ映像をカメラ１０３から取得し、保存する。また、映像取得部１０４は、マーカ認識部１０５からの要求に応じて、取得したカメラ映像を提供する。
【００５１】
表示領域特定部１２は、マーカ認識部１０５と、表示対象ページ特定部１０６と、ページ形状特定部１０７とを備える。この表示領域特定部１２は、図１の表示対象特定部１１００に相当する。
【００５２】
マーカ認識部１０５は、映像取得部１０４から取得したカメラ映像に基づいて、マーカ２０１ａが保持するマーカ情報を抽出して保存する。また、マーカ認識部１０５は、表示対象ページ特定部１０６及びページ形状特定部１０７からの要求に応じて、抽出したマーカ情報を提供する。
【００５３】
例えば、映像取得部１０４から取得したカメラ映像が、図５のように、ページの右上が少しめくれて、次のページの一部だけが見えている状態であったとする。このような状態の場合、マーカ認識部１０５は、右上に一部だけ見えているページのマーカ２０１ａからページ情報を抽出する。つまり、この一部だけ見えている領域が表示対象領域となる。
【００５４】
なお、図５の例では、右上に見えているページにのみマーカ２０１ａを付したが、その手前のページ及び裏側（ハッチングのページ）にもマーカが付されており、マーカ認識部１０５は、これらのページそれぞれに対して上記の処理を実行する。
【００５５】
表示対象ページ特定部１０６は、マーカ認識部１０５から取得したマーカ情報に基づいて、閲覧中のページが何ページにあたるかを認識し、表示対象ページを示すページ情報として保存する。ページ情報は、例えば、電子出版物閲覧用書籍２０１の総ページ数を最大値とする正の整数である。
【００５６】
ページ形状特定部１０７は、マーカ認識部１０５から取得したマーカ情報に基づいて、当該ページの形状を示すページ形状情報を生成し、保存する。ページ形状情報には、例えば、表示対象ページ上における表示対象領域の位置及び大きさを特定する情報と、表示対象領域の変形量（撓み量）と等が含まれる。
【００５７】
ページ構造データ取得部１０８は、タイトル特定部１０２から電子出版物のタイトル情報を取得し、表示領域特定部１２の表示対象ページ特定部１０６からページ情報を取得する。そして、ページ構造データ取得部１０８は、タイトル情報で特定される電子出版物におけるページ情報で特定されるページのページ構造データを取得し、レンダリング部１１０に提供する。このページ構造データ取得部１０８は、図１のページ構造データ取得部１２００に相当する。
【００５８】
ページ構造データ取得部１０８は、まず、該当するページ構造データがページ構造データキャッシュ部１０９に存在するか否かを確認する。そして、該当するページ構造データがページ構造データキャッシュ部１０９に存在する場合、ページ構造データ取得部１０８は、ページ構造データキャッシュ部１０９から当該ページ構造データを取得する。
【００５９】
一方、該当するページ構造データがページ構造データキャッシュ部１０９に存在しない場合、ページ構造データ取得部１０８は、当該ページデータを、例えば、通信ネットワークを介して接続された外部装置（コンテンツサーバ等）から取得し、レンダリング部１１０に提供すると共に、ページ構造データキャッシュ部１０９に取得したページ構造データを格納する。
【００６０】
ページ構造データは、電子出版物のページの表示内容を定義したデータである。ページ構造データは、文章、画像、動画などのコンテンツと、ページのレイアウト情報とからなる。レイアウト情報は、例えば、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）又はＨＴＭＬ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）等により記述される。
【００６１】
レイアウト情報には、コンテンツへのリンクと、コンテンツのページ内における配置情報等が記載されている。コンテンツの内の文章については、レイアウト情報に埋め込まれていてもよいし、レイアウト情報から独立したファイルになっていてもよい。
【００６２】
レンダリング部１１０は、ページ構造データ取得部１０８で取得されたページ構造データを、表示部１１３に表示するためのデータ形式である表示画像データに変換するレンダリング処理を実行する。この時、レンダリング部１１０は、ページ形状特定部１０７から表示対象領域の位置及び大きさを示す情報を含むページ形状情報を取得する。そして、レンダリング部１１０は、取得したページ形状情報に基づいて、表示対象ページのうちの表示対象領域に対応する部分のみの表示画像データを生成する。このレンダリング部１１０は、図１のレンダリング部１３００に相当する。
【００６３】
具体的には、図５のマーカ２０１ａが付されているページの表示画像データを生成する場合、レンダリング部１１０は、ページ構造データ取得部１０８から当該ページ全体のページ構造データを取得する。そして、レンダリング部１１０は、ページ構造データ取得部１０８から取得したページ構造データと、ページ形状特定部１０７から取得した表示対象領域の位置及び大きさを示す情報とに基づいて、図５の右上の表示対象領域に対応する表示画像データのみを生成する。
【００６４】
記憶部１３は、ページ構造データキャッシュ部１０９と、表示画像データキャッシュ部１１２とを備える。なお、記憶部１３の具体的な構成は特に限定されず、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュメモリ、又はＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）等のデータを記憶可能なあらゆる記憶媒体を採用することができる。
【００６５】
ページ構造データキャッシュ部１０９は、ページ構造データ取得部１０８で取得されたページ構造データを一時的に保存する。また、ページ構造データキャッシュ部１０９は、保存済みのページ構造データのデータ総量が一定の基準値を超えると、例えば、取得時刻が古いページ構造データから順に削除するといった基準（Ｆｉｒｓｔ  Ｉｎ  Ｆｉｒｓｔ  Ｏｕｔ）に従って、データ総量が基準値以下になるまで保存済みのページ構造データを削除する。
【００６６】
表示画像データキャッシュ部１１２は、表示制御部１１１の要求に応じて、レンダリング部１１０が生成した表示画像データを保存する。また、表示画像データキャッシュ部１１２は、保存済みの表示画像データのデータ総量が一定の基準値を超えると、例えば、取得時刻が古い表示画像データから順に削除するといった基準（Ｆｉｒｓｔ  Ｉｎ  Ｆｉｒｓｔ  Ｏｕｔ）に従って、データ総量が基準値以下になるまで保存済みの表示画像データを削除する。この表示画像データキャッシュ部１１２は、図１の表示画像データキャッシュ部１４００に相当する。
【００６７】
表示制御部１１１は、タイトル特定部１０２からタイトル情報を、表示対象ページ特定部１０６からページ情報を、ページ形状特定部１０７からページ形状情報をそれぞれ取得する。そして、表示制御部１１１は、レンダリング部１１０又は表示画像データキャッシュ部１１２から該当するページの表示対象データを取得する。この表示制御部１１１は、図１の表示制御部１５００に相当する。
【００６８】
表示制御部１１１は、まず、表示対象領域に対応する表示画像データが表示画像データキャッシュ部１１２にキャッシュされているか否かを確認する。そして、当該表示画像データが表示画像データキャッシュ部１１２にキャッシュされている場合、表示制御部１１１は、表示画像データキャッシュ部１１２から当該表示画像データを取得する。
【００６９】
一方、表示制御部１１１は、表示画像データキャッシュ部１１２に表示対象領域に対応する表示画像データが存在しなければ、ページ構造データ取得部１０８に該当するページ構造データを取得させ、レンダリング部１１０にページ構造データをレンダリングさせることによって、表示対象領域に対応する表示画像データを取得し、表示画像データキャッシュ部１１２に格納する。
【００７０】
また、表示制御部１１１は、ページ形状特定部１０７から取得したページ形状情報に含まれる変形量に合わせて、取得した表示画像データを変形させ、ヘッドマウントディスプレイ１１に変形した表示画像データの表示を指示する。
【００７１】
ヘッドマウントディスプレイ１１は、表示制御部１１１の指示に応じて、変形された表示画像データを表示部１１３に表示し、ユーザに提示する。すなわち、表示制御部１１１から取得した表示画像データを、図５に示されるマーカ２０１ａで特定される表示対象領域に重畳するように表示部１１３に表示すると、ユーザには図６のように見えることになる。
【００７２】
以上が電子出版物閲覧装置１００の構成についての説明である。
【００７３】
（フローチャート）
以下、本実施形態に係る電子出版物閲覧装置１００が行う処理を説明する。図７は、本実施形態に係る電子出版物閲覧装置１００が行う、電子出版物のタイトルの設定処理を示すフローチャートである。
【００７４】
ステップＳ１００１において、ユーザ対話部１０１は、ユーザが入力した電子出版物のタイトルを示す情報を取得する。例えば、ユーザ対話部１０１は、まず、ヘッドマウントディスプレイ１１の表示部１１３に、閲覧可能な電子出版物のタイトル一覧を表示する。そして、ユーザがボタン等の入力装置を用いて、表示されたタイトル一覧の中から閲覧したい電子出版物のタイトルを決定する。あるいは、ユーザは音声入力を用いてタイトルを決定してもよい。
【００７５】
ステップＳ１００２において、ユーザ対話部１０１は、ステップＳ１００１において取得したタイトルを示す情報をタイトル特定部１０２に送信するとともに、送信したタイトルを示す情報の保存を指示する。タイトル特定部１０２は、ユーザ対話部１０１から受信したタイトルを示す情報に基づいて、タイトル情報を特定し、必要に応じてページ構造データ取得部１０８、レンダリング部１１０、及び表示制御部１１１等にタイトル情報を提供する。
【００７６】
図８〜図１２を参照して、本実施形態に係る電子出版物閲覧装置１００が行う電子出版物の表示処理を説明する。図８は、電子出版物閲覧装置１００が行う表示処理の全体を示すフローチャートである。図９は、図８のステップＳ２００４の処理の詳細を示すフローチャートである。図１０は、図８のステップＳ２００７の処理の詳細を示すフローチャートである。図１１は、マーカから取得されるマーカ情報の例を示す図である。図１２は、マーカ認識部１０５から出力されるマーカ情報の例を示す図である。なお、本処理は、上述の電子出版物のタイトルの設定処理が完了した後、繰り返し実行される。
【００７７】
ステップＳ２００１において、カメラ１０３は、電子出版物閲覧用書籍２０１を撮像する。図５に示されるカメラ映像が撮像されたとし、図５の右上に見えている部分を表示対象領域として、説明する。
【００７８】
次に、ステップＳ２００２において、映像取得部１０４は、カメラ１０３からカメラ映像を取得し、表示領域特定部１２に提供する。表示領域特定部１２は、映像取得部１０４から取得したカメラ映像に基づいて、表示対象ページと、表示対象領域の位置及び大きさを示す情報と、表示対象領域の変形量とを特定する。
【００７９】
まず、マーカ認識部１０５は、映像取得部１０４からカメラ映像を取得し、カメラ映像から認識できたマーカ２０１ａについて、当該マーカ２０１ａに記載されたマーカ情報と、マーカ２０１ａのカメラ映像における現実の位置及び形状とを抽出し、表示対象ページ特定部１０６及びページ形状特定部１０７に提供する。
【００８０】
図１１は、本実施形態におけるマーカ２０１ａが保持しているマーカ情報を示す。マーカ２０１ａには、ページ、ページ上におけるマーカ２０１ａの位置、及びマーカの高さ等が記載されている。なお、マーカ２０１ａに記載された情報を抽出する方法は、例えば、特許文献１に記載されているような従来の方法を用いることができる。
【００８１】
ページは、マーカ２０１ａが電子出版物閲覧用書籍２０１の何ページ目に印刷されているかを示す。ページ上における位置は、マーカ２０１ａの左上の位置がページの左上から何センチ離れているかを２次元座標で示す。マーカの高さは、マーカ２０１ａの縦方向の長さが何センチであるかを示す。なお、本実施形態においては、マーカ２０１ａが正方形のためマーカの幅（マーカ２０１ａの横方向の長さ）について記載を省いているが、マーカ２０１ａが長方形である場合は幅の情報も保持する必要がある。
【００８２】
カメラ映像における現実の位置は、例えば、カメラ映像の大きさが高さ７６８ピクセル、幅１０２４ピクセルの場合に、カメラ映像の左上を（０，０）、カメラ映像の右下を（１０２４，７６８）とする２次元座標系における座標で示される。マーカ２０１ａのカメラ映像における現実の形状は、マーカ２０１ａの４頂点のカメラ映像における位置によって定義される。マーカ２０１ａのカメラ映像における現実の位置及び形状を認識する方法は、例えば、特許文献１に記載されているような従来の方法を用いることができる。
【００８３】
マーカ認識部１０５から出力されるマーカ情報は、例えば図１２に示されるように、マーカ２０１ａに記載された情報と、マーカ２０１ａのカメラ映像における現実の位置及び形状の情報とを、当該ページにおいて認識された全てのマーカ２０１ａについて結合したものである。
【００８４】
次に、表示対象ページ特定部１０６は、マーカ認識部１０５から取得したマーカ情報に基づいて、表示対象領域を含む表示対象ページを特定する。なお、同一ページに配置されている全てのマーカ２０１ａには、同一のページ情報が記載されているため、１つでもマーカ２０１ａが認識されていれば、表示対象ページ特定部１０６は、マーカ情報から表示対象ページを特定することができる。
【００８５】
次に、ページ形状特定部１０７は、マーカ認識部１０５から取得したマーカ情報に基づいて、表示対象ページのページ形状情報を生成する。ページ形状情報は、マーカ認識部１０５から取得した情報、すなわちページの表示対象となっている部分（表示対象領域）の当該ページ上の位置及び大きさ等の情報に加えて、マーカ２０１ａが認識されなかった領域、すなわちページの表示対象となっていない部分についての情報を追加したものである。
【００８６】
ステップＳ２００３において、表示制御部１１１は、表示対象ページ特定部１０６からページ情報を、タイトル特定部１０２からタイトル情報を、ページ形状特定部１０７からページ形状情報をそれぞれ取得する。そして、取得した情報によって特定される表示対象領域に対応する表示画像データが表示画像データキャッシュ部１１２にキャッシュされているか否かを確認する。
【００８７】
表示対象領域に対応する表示画像データが表示画像データキャッシュ部１１２に存在しない場合（ステップＳ２００３でＮｏ）、ステップＳ２００４に進む。
【００８８】
ステップＳ２００４において、表示制御部１１１は、ページ構造データ取得部１０８に、タイトル特定部１０２で特定されたタイトル情報と、表示対象ページ特定部１０６で特定されたページ情報とに基づいて、表示対象ページに対応するページ構造データを取得させる。ページ構造データ取得部１０８の具体的な処理内容は、図９を参照して後述する。
【００８９】
ステップＳ２００５において、表示制御部１１１は、レンダリング部１１０に、ページ構造データ取得部１０８から取得したページ構造データをレンダリングさせ、表示画像データを生成させる。具体的には、レンダリング部１１０は、ページ形状特定部１０７から取得したページ形状情報を参照して、表示対象ページのうちの表示対象領域に対応する部分のみの表示画像データを生成し、表示制御部１１１に提供する。
【００９０】
一方、表示対象領域に対応する表示画像データが表示画像データキャッシュ部１１２に存在する場合（ステップＳ２００３でＹｅｓ）、ステップＳ２００６に進む。
【００９１】
ステップＳ２００６において、表示制御部１１１は、表示画像データキャッシュ部１１２から表示対象領域に対応する表示画像データを取得する。但し、ここで取得される表示画像データは、表示対象領域と完全に一致していなくてもよい。つまり、表示画像データキャッシュ部１１２から取得される表示画像データは、表示対象領域より大きな領域であって、表示対象領域全体を包含するものであってもよいし、表示対象領域の一部分のみを含むものであってもよい。言い換えれば、「表示対象領域に対応する表示画像データ」とは、表示対象領域の少なくとも一部を含む表示画像データを指す。
【００９２】
ステップＳ２００７において、表示制御部１１１は、表示画像データキャッシュ部１１２から取得した表示画像データを、表示対象領域に合わせて調整する。具体的な処理の内容は、図１０を参照して後述する。
【００９３】
ステップＳ２００８において、表示制御部１１１は、ステップＳ２００５で新たに生成された表示画像データ、又はステップＳ２００７で調整された表示画像データを、タイトル特定部１０２から取得したタイトル情報と、表示対象ページ特定部１０６から取得したページ情報と、ページ形状特定部１０７から取得したページ形状と、保存日時とを対応付けて、表示画像データキャッシュ部１１２に格納する。ここで、表示画像データキャッシュ部１１２がキャッシュを整理する際に、キャッシュ済みの表示画像データを走査し、現在のページ形状で表示対象にならない部分を部分的に削除してもよい。
【００９４】
なお、表示制御部１１１は、表示画像データキャッシュ部１１２に既に保存済みの表示画像データのデータ総量が一定の基準値を超えている場合に、データ総量が基準値以下になるまで、保存日時の古い順に保存済みの表示画像データを削除する。
【００９５】
ステップＳ２００９において、表示制御部１１１は、レンダリング部１１０又は表示画像データキャッシュ部１１２から取得した表示画像データを、ページ形状特定部１０７から取得したページ形状情報に含まれる変形量に合わせて変形させる。より具体的には、カメラ映像におけるマーカ２０１ａの４頂点の座標が示す四角形の形状に変形する。なお、表示制御部１１１は、カメラ映像の大きさを予め取得しているものとする。
【００９６】
ステップＳ２０１０において、表示制御部１１１は、ヘッドマウントディスプレイ１１に、変形した表示画像データを送信して表示を指示する。そして、ヘッドマウントディスプレイ１１は、表示制御部１１１から取得した表示画像データを、電子出版物閲覧用書籍２０１の表示対象領域に重畳する表示部１１３上の位置に表示させる。
【００９７】
次に、図９を参照して、ステップＳ２００４の処理の詳細を説明する。図９は、ステップＳ２００４におけるページ構造データ取得部１０８の処理の詳細なフローチャートである。
【００９８】
ステップＳ３００１において、ページ構造データ取得部１０８は、ページ構造データキャッシュ部１０９に、タイトル特定部１０２から取得したタイトル情報と、表示対象ページ特定部１０６から取得するページ情報とに対応するページ構造データが保存されているかを確認する。そして、ページ構造データがページ構造データキャッシュ部１０９に保存されていない場合（ステップＳ３００１でＮｏ）、ステップＳ３００２に進む。
【００９９】
ステップＳ３００２において、ページ構造データ取得部１０８は、通信ネットワークを介して接続される外部装置から表示対象ページに対応するページ構造データを取得する。
【０１００】
ステップＳ３００３において、ページ構造データ取得部１０８は、外部装置から取得したページ構造データと、タイトル特定部１０２及び表示対象ページ特定部１０６から取得したタイトル情報およびページ情報と、保存日時とを対応付けて、ページ構造データキャッシュ部１０９に格納する。この時、ページ構造データキャッシュ部１０９に保存済みのページ構造データのデータ総量が一定の基準値を超えている場合には、データ総量が基準値以下になるまで、保存日時の古い順にページ構造データを削除する。
【０１０１】
一方、ステップＳ３００１において、ページ構造データがページ構造データキャッシュ部１０９に保存されている場合（ステップＳ３００１でＹｅｓ）、ステップＳ３００４に進む。
【０１０２】
ステップＳ３００４において、ページ構造データ取得部１０８は、ページ構造データキャッシュ部１０９から表示対象ページに対応するページ構造データを取得する。
【０１０３】
ステップＳ３００５において、ページ構造データ取得部１０８は、ステップＳ３００２あるいはステップＳ３００４で取得したページ構造データをレンダリング部１１０に送信する。
【０１０４】
なお、ページ構造データ取得部１０８は、さらに、タイトル特定部１０２から取得したタイトル情報と、表示対象ページ特定部１０６から取得したページ情報とに基づいて、表示対象ページの次にユーザが読む可能性のあるページを推定し、推定したページのページ構造データを、表示対象ページに対応するページ構造データと同時に予め取得しておいてもよい。
【０１０５】
このとき、ページ構造データ取得部１０８は、さらに、ページ形状特定部１０７から表示対象領域の大きさ（面積）を示す情報を取得し、当該情報に基づいて、予め取得するページ構造データの数を決定してもよい。例えば、表示対象領域の面積が大きいほど同時に取得するページ構造データの数を少なくし、表示対象領域の面積が小さいほど同時に取得するページ構造データの数を多くしてもよい。
【０１０６】
次に、図１０を参照して、ステップＳ２００７の処理の詳細を説明する。図１０は、ステップＳ２００７において、表示制御部１１１が表示画像データキャッシュ部１１２から取得した表示画像データを、表示対象領域に合わせて調整する処理の詳細なフローチャートである。
【０１０７】
ステップＳ４００１において、表示制御部１１１は、ページ形状特定部１０７から取得した表示対象領域の位置及び大きさを示す情報と、表示画像データキャッシュ部１１２から取得した表示画像データとを比較する。そして、取得した表示画像データが表示対象領域全体を包含している場合（ステップＳ４００１でＹｅｓ）、ステップＳ４００２に進む。
【０１０８】
ステップＳ４００２において、表示制御部１１１は、表示画像データキャッシュ部１１２から取得した表示対象ページの表示対象データのうち、表示対象領域に対応する部分のみを抽出する。
【０１０９】
但し、表示制御部１１１は、表示対象ページだけでなく、表示画像データキャッシュ部１１２に保存されている表示対象ページ以外のページの表示画像データに対しても、同様の処理を実行してもよい。すなわち、表示制御部１１１は、表示画像データキャッシュ部１１２に保存されている全ての表示画像データを、現在の表示対象領域の位置及び大きさに合わせて編集し、表示画像データキャッシュ部１１２に保存し直してもよい。これにより、さらに多くの表示画像データをキャッシュすることができる。
【０１１０】
一方、取得した表示画像データが表示対象領域全体を包含していない場合、すなわち、対応する表示対象領域のうちの一部を含んでいない場合（ステップＳ４００１でＮｏ）、ステップＳ４００３に進む。
【０１１１】
ステップＳ４００３において、表示制御部１１１は、レンダリング部１１０に、表示対象領域のうちの表示画像データに含まれていない部分を新たにレンダリングさせる。この時の処理内容は、図９のステップＳ２００４及びステップＳ２００５と共通するので、説明は省略する。
【０１１２】
ステップＳ４００４において、表示制御部１１１は、表示画像データキャッシュ部１１２にキャッシュされている表示画像データと、レンダリング部１１０で新たに生成された表示画像データとを結合（合成）して、表示対象領域に対応する表示画像データを生成する。
【０１１３】
本実施形態に係る電子出版物閲覧装置１００は、電子出版物閲覧用書籍２０１のページ形状を認識して、電子出版物のページの表示対象となっている範囲を判定し表示対象となっている範囲のみをキャッシュするように、レンダリング結果である表示画像データのキャッシュを制御する。
【０１１４】
したがって、本実施形態のような制御方法によれば、本実施形態のような制御方法を採用しない場合と比較して、より多くの表示画像データをキャッシュすることができ、電子出版物のページの表示を高速化することができる。
【０１１５】
本実施の形態における電子出版物閲覧装置１００においては、ページ情報の取得に２次元マーカを用いたが、これに限ることなく、電子出版物閲覧用書籍２０１に印刷されたページ情報を直接認識してもよい。また、カメラ映像から電子出版物閲覧用書籍２０１の形状を直接認識して、ページ形状情報を取得してもよい。
【０１１６】
また、本実施例の電子出版物閲覧装置１００においては、ヘッドマウントディスプレイ１１を用いたが、プロジェクタ等を用いて電子出版物閲覧用書籍２０１に電子出版物を投影してもよい。
【０１１７】
また、電子出版物閲覧用書籍以外にも、形状を変化させることができる物体に対して電子出版物を重畳表示する場合にも、本発明は適用できる。
【０１１８】
（実施の形態２）
次に、図１３及び図１４を参照して、本発明の実施の形態２に係る電子出版物閲覧装置を説明する。なお、実施の形態１との共通点の詳しい説明は省略し、相違点を中心に説明する。
【０１１９】
実施の形態１では、電子出版物閲覧装置１００と電子出版物閲覧用書籍２０１とが別体として構成されていたのに対して、実施の形態２では、電子出版物閲覧装置３３０と電子出版物閲覧用書籍３００とが一体として構成されている。より具体的には、電子出版物閲覧装置３３０が電子出版物閲覧用書籍３００に含まれている。
【０１２０】
実施の形態２に係る電子出版物閲覧用書籍３００は、図１３に示されるように、表面に表示部３１０を備える。また、実施の形態２に係る電子出版物閲覧用書籍３００は、図１４に示されるように、表示部３１０と、制御部３２０と、電子出版物閲覧装置３３０とで構成される。
【０１２１】
実施の形態１では、ヘッドマウントディスプレイ１１のレンズに設けられた表示部１１３に表示画像データを表示させることにより、当該レンズを通して見える電子出版物閲覧用書籍２０１のページに当該表示画像データが表示されているように、ユーザに知覚させる。すなわち、電子出版物閲覧用書籍２０１のページには、実際には何も表示されていない。
【０１２２】
一方、実施の形態２に係る表示部３１０は、電子出版物閲覧用書籍３００のページに相当すると共に、表示画像データが表示される表示面である。すなわち、実施の形態２では、表示部３１０が電子出版物閲覧用書籍３００のページそのものであり、表示画像データが当該ページに実際に表示される点で、実施の形態１と相違する。
【０１２３】
なお、表示部３１０の具体的な構成は特に限定されないが、例えば、液晶ディスプレイ、プラズマディスプレイ、又は有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等を採用することができる。
【０１２４】
また、実施の形態１に係る電子出版物閲覧用書籍２０１は、複数のページを有する本の形態であって、ページを実際に捲ることによって、ページを切替える。一方、実施の形態２に係る電子出版物閲覧用書籍３００は、物理的なページは存在せず、ユーザが所定の操作を行なうことによって、表示部３１０に表示される仮想的なページが切り替わる点で、実施の形態１と相違する。
【０１２５】
制御部３２０は、表示部３１０に表示させる表示対象ページを、ユーザの操作に従って切替える。例えば、表示部３１０はタッチセンサになっている。そして、ユーザが表示部３１０の右上端（図１３の○印の位置）を指でタッチし、その指を表示部３１０上で図１３の矢印に沿って、中央（図１３の●印の位置）までスライドさせる。このとき、制御部３２０は、図１３の○印の位置、矢印の方向へのスライド動作、及び●印の位置をそれぞれ検出し、直前に表示されていたページの右上端が●印の位置まで捲れ、且つ捲れた部分に次のページが表示されるように、表示部３１０の表示内容を制御する。さらに、制御部３２０は、ユーザが●印の位置にタッチした指を一定時間静止させていることを検出すると、図１３の表示部３１０の右上隅（ページが捲れた部分）に表示させるページを連続的に切替える。すなわち、物理的な本のページをパラパラ捲る動作を擬似的に表現する。
【０１２６】
このとき、制御部３２０は、検出した図１３の○印の位置、矢印の方向へのスライド動作、及び●印の位置等に基づいて、表示対象ページと、表示対象領域の位置及び大きさとを特定し、電子出版物閲覧装置３３０に送信し、電子出版物閲覧装置３３０から当該表示対象領域に表示すべき表示画像データを取得して、表示部３１０に表示する。
【０１２７】
電子出版物閲覧装置３３０は、例えば、図１に示されるような構成であってもよいし、図４の表示領域特定部１２、記憶部１３、ユーザ対話部１０１、タイトル特定部１０２、ページ構造データ取得部１０８、レンダリング部１１０、及び表示制御部１１１等で構成されてもよい。但し、この場合の表示領域特定部１２は、前述したように、制御部３２０から取得した情報に基づいて、表示対象ページと、表示対象領域の位置及び大きさとを特定する。
【０１２８】
このように、本発明は、タッチセンサとして機能する表示部３１０に対して、擬似的にページを捲る操作をすることによって、表示部３１０に表示されるページを切替えるような電子出版物閲覧用書籍３００に対しても適用することができる。
【０１２９】
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【０１３０】
上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１３１】
上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成要素を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶さている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【０１３２】
上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【０１３３】
本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０１３４】
また、本発明は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。
【０１３５】
また、本発明は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０１３６】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、上記コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作するとしてもよい。
【０１３７】
また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施してもよい。
【０１３８】
上記実施の形態及び上記変形例をそれぞれ組み合わせてもよい。
【０１３９】
以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。
【産業上の利用可能性】
【０１４０】
本発明は、電子出版物の内容を表示面に重畳表示する電子出版物閲覧装置における表示高速化手段として利用できる。
【符号の説明】
【０１４１】
１１      ヘッドマウントディスプレイ
１２      表示領域特定部
１３      記憶部
１００，３３０，１０００    電子出版物閲覧装置
１０１    ユーザ対話部
１０２    タイトル特定部
１０３    カメラ
１０４    映像取得部
１０５    マーカ認識部
１０６    表示対象ページ特定部
１０７    ページ形状特定部
１０８，１２００    ページ構造データ取得部
１０９    ページ構造データキャッシュ部
１１０，１３００    レンダリング部
１１１，１５００    表示制御部
１１２，１４００    表示画像データキャッシュ部
１１３，３１０    表示部
２０１，３００    電子出版物閲覧用書籍
２０１ａ  マーカ
３２０    制御部
１１００  表示対象特定部
【図１】
2011161937.tif 000003
【図２】
2011161937.tif 000004
【図３】
2011161937.tif 000005
【図４】
2011161937.tif 000006
【図５】
2011161937.tif 000007
【図６】
2011161937.tif 000008
【図７】
2011161937.tif 000009
【図８】
2011161937.tif 000010
【図９】
2011161937.tif 000011
【図１０】
2011161937.tif 000012
【図１１】
2011161937.tif 000013
【図１２】
2011161937.tif 000014
【図１３】
2011161937.tif 000015
【図１４】
2011161937.tif 000016
【国際調査報告】
2011161937.tif 000017
2011161937.tif 000018
2011161937.tif 000019
2011161937.tif 000020