(57)【特許請求の範囲】
【請求項１】
電子出版物を閲覧する電子出版物閲覧装置であって、
カメラの取り付けられたヘッドマウントディスプレイと、
ユーザと対話することで、電子出版物情報蓄積手段に蓄積される電子出版物の中から、閲覧対象となる電子出版物を選択する選択手段と、
規定の形状及び大きさを持ち、かつ電子出版物閲覧用書籍の用紙とコントラストを持つ台紙上に２次元パターンが記載されることで構成されるマーカであって、電子出版物のページ及びページ内位置を特定可能にするマーカについて記載する、複数の電子出版物に対して共通の形態で用意される電子出版物閲覧用書籍を読取対象として、上記カメラを使って閲覧位置に対応付けられるマーカを読み取る読取手段と、
上記読み取ったマーカの持つ２次元パターンを抽出する抽出手段と、
上記抽出した２次元パターンをキーにして、マーカの掲載されている上記電子出版物閲覧用書籍のページの情報と、そのマーカの用紙上位置の情報と、そのマーカの用紙上での大きさの情報とを含むマーカの属性情報について記憶する記憶手段を検索することで、閲覧中の上記電子出版物閲覧用書籍のページを特定するとともに、上記読み取ったマーカの持つ台紙のその閲覧中のページ内における位置及び大きさの情報を特定する第１の特定手段と、
上記読み取ったマーカの持つ台紙の映像情報と、上記特定したその台紙のページ内位置及び大きさの情報とに基づいて、閲覧中のページ内位置を特定する第２の特定手段と、
上記特定した閲覧ページ及び閲覧ページ内位置の指す上記選択した電子出版物の情報を取得する取得手段と、
上記取得した電子出版物の情報をヘッドマウントディスプレイに表示する表示手段とを備えることを、
特徴とする電子出版物閲覧装置。
【請求項２】
請求項１に記載の電子出版物閲覧装置において、
上記第２の特定手段は、上記読み取ったマーカの持つ台紙の映像情報とその台紙のページ内位置及び大きさの情報とに基づいて、上記カメラの姿勢情報を検出することで閲覧中のページ内位置を特定することを、
特徴とする電子出版物閲覧装置。
【請求項３】
請求項１に記載の電子出版物閲覧装置において、
上記第２の特定手段は、上記読み取ったマーカの持つ台紙の映像情報とその台紙のページ内位置及び大きさの情報とに基づいて、上記カメラの姿勢情報を検出することで閲覧中のページ内位置を特定し、
上記表示手段は、上記姿勢情報に従って、上記取得した電子出版物の情報を上記カメラから見た形態に変換して、それをヘッドマウントディスプレイに表示することを、
特徴とする電子出版物閲覧装置。
【請求項４】
請求項１ないし３のいずれか１項に記載の電子出版物閲覧装置を構成する各手段としてコンピュータを機能させる電子出版物閲覧プログラム。
【請求項５】
請求項４に記載の電子出版物閲覧プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、電子的な出版物を閲覧する電子出版物閲覧装置と、その電子出版物閲覧装置の実現に用いられる電子出版物閲覧プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関し、特に、印刷された出版物を読むときと同じ操作に従って、電子的な出版物を閲覧できるようにする電子出版物閲覧装置と、その電子出版物閲覧装置の実現に用いられる電子出版物閲覧プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【０００２】
【従来の技術】
従来からある紙による出版物は、閲覧性や操作性が良いが、大量に保管するときには大きな物理的スペースを必要とする。
【０００３】
それを解決するために、近年では、パソコンのディスプレイや、ヘッドマウントディスプレイ（ＨＭＤ）や、情報携帯端末（ＰＤＡ）を用いて閲覧を行う電子化された出版物が増加してきている。
【０００４】
【発明が解決しようとする課題】
しかしながら、パソコンやＰＤＡによる出版物の閲覧は、パソコンやＰＤＡの操作に慣れていない者にとっては、非常に操作しにくいものである。また、パソコンやＰＤＡの操作に慣れている者であっても、ディスプレイの解像度の問題から出版物を読む上で、拡大縮小、上下左右への移動といった操作をキーボードやマウス等で行わなければならず操作性が良いとはいえなかった。
【０００５】
これらの煩雑な操作をなくし、紙による出版物と同じ形態で閲覧できるようにするために、フィルム状のディスプレイを用いるという試みも行われているが、その構造上、紙と同じ厚さ・重量・コストにはならず、出版物のように何ページ分も用意することが出来ないので、ページめくりのための操作を必要とする。さらに、柔軟性および曲げに対する機械的強度が紙に対して劣るため、携帯性に難がある。
【０００６】
また、ＨＭＤを通して出版物を読む場合、閲覧性を向上させるために、視野全体を覆うような大きな画面を用いることがあるが、そのようにすると、頭の動きと表示されるものとの同期が取れないために、気持ち悪くなるという問題があった。
【０００７】
本発明はかかる事情に鑑みてなされたものであって、印刷された出版物を読むときと同じ操作に従って、電子的な出版物を閲覧できるようにする新たな電子出版物閲覧技術の提供を目的とする。
【０００８】
【課題を解決するための手段】
この目的を達成するために、本発明では、（１）各ページに、電子出版物のページ及びページ内位置を特定可能にする１つ又は複数のマーカを記載する図１に示すような電子出版物閲覧用書籍１と、（２）カメラの取り付けられたヘッドマウントディスプレイとを用意する。
この電子出版物閲覧用書籍１は、複数の電子出版物に対して共通の形態で用意されて、規定の形状及び大きさを持ち、かつ電子出版物閲覧用書籍１の用紙とコントラストを持つ台紙上に２次元パターンが記載されることで構成されるマーカであって、電子出版物のページ及びページ内位置を特定可能にするマーカについて記載する。
【０００９】
本発明では、ユーザと対話することで、電子出版物情報蓄積手段に蓄積される電子出版物の中から、閲覧対象となる電子出版物を選択すると、電子出版物閲覧用書籍１を読取対象として、ヘッドマウントディスプレイに取り付けられるカメラを使って閲覧位置に対応付けられるマーカを読み取り、その読み取ったマーカの持つ２次元パターンを抽出する。
続いて、抽出した２次元パターンをキーにして、マーカの掲載されている電子出版物閲覧用書籍１のページの情報と、そのマーカの用紙上位置の情報と、そのマーカの用紙上での大きさの情報とを含むマーカの属性情報について記憶する記憶手段を検索することで、閲覧中の電子出版物閲覧用書籍１のページを特定するとともに、読み取ったマーカの持つ台紙のその閲覧中のページ内における位置及び大きさの情報を特定する。
続いて、読み取ったマーカの持つ台紙の映像情報と、特定した台紙のページ内位置及び大きさの情報とに基づいて、カメラの姿勢情報を検出することで閲覧中のページ内位置を特定する。
続いて、電子出版物の情報を蓄積する蓄積手段などから、特定した閲覧ページ及び閲覧ページ内位置の指す選択した電子出版物の情報を取得して、検出したカメラ姿勢情報に従って、その取得した電子出版物の情報をカメラから見た形態に変換して、それをヘッドマウントディスプレイに表示するように構成する。
【００１０】
このように、本発明では、電子出版物を見るときに生じる拡大縮小、画面スクロールをマウス操作などにより行うのではなくて、各ページに電子出版物のページ及びページ内位置を特定可能にするマーカを記載する図１に示すような電子出版物閲覧用書籍１を用意して、カメラ付きのヘッドマウントディスプレイを用いて、そのカメラから得られる情報により、ユーザがどのページのどの部分を見ているのか認識して、そのユーザが見ている部分をヘッドマウントディスプレイに表示するように処理するのである。
【００１１】
この電子出版物閲覧用書籍１については１冊用意すればよく、この電子出版物閲覧用書籍１にリンクする電子出版物が様々なものに変えることで、ユーザは様々な電子出版物を閲覧することが可能になる。
【００１２】
例えば月刊雑誌であれば、大きさや最大ページ数はほぼ決まっているので、毎月の電子的なデータは変わるものになっても、ユーザは物理的に１冊の雑誌を持っていればよいのである。また、出版物の大きさが異なっていたとしても、相対的な大きさから現在見ている位置を求めることは可能なので、１冊の電子出版物閲覧用書籍１を用意しておき、それを用いてすべての電子出版物を読むことが可能になるのである。
【００１３】
これらにより、本発明によれば、ユーザは普通に本を読んでいる感覚で電子出版物を読むことができるようになることに加えて、出版物保管のための物理的なスペースを大幅に削減することができるようになる。
【００１４】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【００１５】
図２に、本発明を具備する電子出版物閲覧装置１０の一実施形態例を図示する。
【００１６】
本発明では、ユーザが電子出版物を閲覧できるようにするために、各ページに電子出版物のページ及びページ内位置を特定可能にする１つ又は複数のマーカを記載する図１に示すような電子出版物閲覧用書籍１と、カメラ３の取り付けられたヘッドマウントディスプレイ２とを用意する。
【００１７】
以下、説明の便宜上、電子出版物閲覧用書籍１に記載されるマーカの形状は正方形であることを想定する。また、各マーカは、図１に示すように、識別子となる固有の２次元パターンを有することを想定する。
【００１８】
この電子出版物閲覧用書籍１及びヘッドマウントディスプレイ２を受けて、ユーザは、そのヘッドマウントディスプレイ２を装着しつつ、その電子出版物閲覧用書籍１を閲覧操作することになる。
【００１９】
このユーザの閲覧操作を受けて、本発明の電子出版物閲覧装置１０は、ユーザが閲覧している電子出版物のページ箇所をヘッドマウントディスプレイ２に表示することで、ユーザがあたかも普通の本を読む如く電子出版物を閲覧できるように処理することになる。
【００２０】
この処理を実現するために、本発明の電子出版物閲覧装置１０は、マーカ配置情報蓄積部２０と、電子出版物情報蓄積部２１と、閲覧出版物選択部２２と、カメラ映像入力部２３と、閲覧位置計算部２４と、閲覧電子情報読出部２５と、表示デバイス書込部２６とを備える。
【００２１】
このマーカ配置情報蓄積部２０は、図３に示すように、電子出版物閲覧装置１０に記載される各マーカの持つ２次元パターンを検索キーとして、そのマーカの掲載されているページの情報と、そのマーカの紙上位置の情報（左上頂点の紙上位置で定義され、単位はｍｍで表される）と、そのマーカの紙上での大きさの情報（正方形で用意されるそのマーカの１辺の長さで定義され、単位はｍｍで表される）とを管理する。
【００２２】
電子出版物情報蓄積部２１は、閲覧対象となる複数の電子出版物の電子情報を管理する。
【００２３】
閲覧出版物選択部２２は、図示しない対話装置を使ってユーザと対話することで、電子出版物情報蓄積部２１に蓄積される電子出版物の中から閲覧対象となるものを選択する。
【００２４】
カメラ映像入力部２３は、ヘッドマウントディスプレイ２に取り付けられるカメラ３が撮影する映像（電子出版物閲覧用書籍１に記載されるマーカの映像）を入力する。
【００２５】
閲覧位置計算部２４は、カメラ映像入力部２３の入力するカメラ映像からマーカを抽出して、マーカ配置情報蓄積部２０からそのマーカの掲載ページの情報を取得するとともに、マーカ配置情報蓄積部２０からそのマーカの配置情報を取得して、その抽出したマーカの映像情報とその取得したマーカの配置情報とに従って、ユーザが電子出版物閲覧用書籍１が取得した掲載ページのどのページ内位置を閲覧しているのかを計算により求める。
【００２６】
閲覧電子情報読出部２５は、閲覧出版物選択部２２により選択された電子出版物と、閲覧位置計算部２４により求められた閲覧位置の情報とを受けて、電子出版物情報蓄積部２１に管理される閲覧対象の電子出版物の中から、ユーザにより閲覧されている電子出版物の情報を読み出す。
【００２７】
表示デバイス書込部２６は、閲覧電子情報読出部２５の読み出した電子出版物の情報をヘッドマウントディスプレイ２に表示する。
【００２８】
ここで、本発明を実現すべく用意される電子出版物閲覧装置１０の備える各処理手段はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供することができる。
【００２９】
先ず最初に、ヘッドマウントディスプレイ２を取り付けたユーザが、電子出版物閲覧用書籍１と並行に向き合う姿勢（マーカが本来の正方形に見える姿勢）でもって、電子出版物閲覧用書籍１を閲覧操作するときに実行する本発明の処理について説明する。
【００３０】
図４に、ユーザがこの姿勢で閲覧操作を行うときに閲覧位置計算部２４が実行する処理フローの一実施形態例を図示する。
【００３１】
閲覧位置計算部２４は、ユーザの閲覧要求に応答して起動されると、図４の処理フローに示すように、先ず最初に、ステップ１で、ヘッドマウントディスプレイ２に取り付けられたカメラ３の撮影するカメラ映像（説明の便宜上、４００×４００ピクセルの大きさを持つとともに、縦横とも同一の分解能[mm/ピクセル] を持つことを想定する）を入力し、続くステップ２で、その入力したカメラ映像からマーカを抽出する。
【００３２】
電子出版物閲覧用書籍１に記載されるマーカは、電子出版物閲覧用書籍１の用紙が白色である場合には、例えば正方形の台紙部分が灰色で、その台紙部分に黒色の２次元パターンが印刷される形態で用意されているので、閲覧位置計算部２４は、例えば、白色と灰色とを区画するスライスレベルを使って正方形の台紙部分を切り出すとともに、灰色と黒色とを区画するスライスレベルを使って２次元パターンを切り出して、その切り出した２つをマージすることで、入力したカメラ映像からマーカを抽出することになる。
【００３３】
続いて、ステップ３で、抽出したマーカから、左上頂点のピクセル位置で定義されるマーカの基点位置ｍｂを求める。例えば、図５に示す例で説明するならば、マーカの基点位置ｍｂとして、（８０ピクセル，４０ピクセル）を求めるのである。
【００３４】
続いて、ステップ４で、抽出したマーカから、正方形の１辺の長さで定義されるマーカの大きさｃｌを求める。図５に示す例で説明するならば、マーカの大きさｃｌとして、８０ピクセルを求めるのである。
【００３５】
続いて、ステップ５で、抽出したマーカの持つ２次元パターンを検索キーにして、マーカ配置情報蓄積部２０を検索する（２次元パターンの一致するエントリーのデータを取得する）ことで、抽出したマーカの掲載ページと、紙上位置ｍｐと、紙上での大きさｍｌとを取得する。例えば、掲載ページが２４ページで、紙上位置ｍｐが（１００ｍｍ，１５０ｍｍ）で、紙上での大きさｍｌが１００ｍｍであるということを取得するのである。
【００３６】
続いて、ステップ６で、マーカの基点位置から映像の中心位置へのベクトルｘを求める。図５に示す例で説明するならば、映像の中心位置は（２００ピクセル，２００ピクセル）であるので、マーカの基点位置から映像の中心位置へのベクトルｘとして、（１２０ピクセル，１６０ピクセル）を求めるのである。
【００３７】
続いて、ステップ７で、ステップ４で取得したマーカのカメラ映像での大きさｃｌと、ステップ５で取得したマーカの紙上での大きさｍｌとの間の変換係数ｙ（＝ｍｌ／ｃｌ）を求める。図５に示す例で説明するならば、変換係数ｙとして、“１００／８０＝１.2５”を求めるのである。
【００３８】
続いて、ステップ８で、“ｃｃ＝ｍｐ＋ｘ＊ｙ”という算出式に従って、カメラ映像中心点の紙上での位置ｃｃを求める。図５に示す例で説明するならば、
0003993423.tif 000002
に従って、カメラ映像中心点の紙上での位置ｃｃとして、（２５０ｍｍ，３３０ｍｍ）を求めるのである。
【００３９】
続いて、ステップ９で、“ｚ＝４００＊ｙ”という算出式に従って、カメラ映像の撮影範囲の大きさに対応する紙上での大きさｚを求める。図５の例で説明するならば、
ｚ＝（４００，４００）＊１.2５＝（５００，５００）
に従って、カメラ映像の撮影範囲の大きさに対応する紙上での大きさｚとして、（５００ｍｍ，５００ｍｍ）を求めるのである。
【００４０】
続いて、ステップ１０で、“α＝ｃｃ±（１／２）＊ｚという算出式に従って、閲覧箇所を示すページ内位置αを算出する。図５の例で説明するならば、
0003993423.tif 000003
に従って、閲覧箇所を示すページ内位置αとして、（０ｍｍ〜５００ｍｍ，１００ｍｍ〜６００ｍｍ）を算出するのである。
【００４１】
すなわち、マーカの映像位置の情報とその紙上での配置位置の情報とに基づいて算出したカメラ映像中心点の紙上位置ｃｃを中心として、カメラ映像の撮影範囲の大きさｚを左右上下に半分ずつ割り振ることで、閲覧箇所を示すページ内位置αを算出するのである。
【００４２】
続いて、ステップ１１で、閲覧電子情報読出部２５に対して、ステップ５で取得した掲載ページと、ステップ１０で算出したページ内位置αとを指定して、電子出版物情報の表示を指示してから、ステップ１に戻ることで、ユーザの閲覧操作により変化する次のカメラ映像を入力していくように処理する。
【００４３】
このようにして、閲覧位置計算部２４は、図６に示すように、ヘッドマウントディスプレイ２に取り付けられたカメラ３の撮影する映像からマーカを抽出し、その抽出したマーカの掲載ページを特定するとともに、そのマーカの映像位置の情報とそのマーカの紙上位置の情報とに基づいて、その掲載ページのどの部分を閲覧しているのかを特定して、閲覧電子情報読出部２５に対して、その特定した閲覧位置の情報を指定して、電子出版物情報の表示を指示していくように処理するのである。
【００４４】
この指示を受け取ると、閲覧電子情報読出部２５は、図６に示すように、閲覧出版物選択部２２により選択された電子出版物と、指定された閲覧位置の情報とに基づいて、電子出版物情報蓄積部２１に管理される閲覧対象の電子出版物の中から、ユーザにより閲覧されている電子出版物の情報を読み出し、これを受けて、表示デバイス書込部２６は、図７に示すように、その読み出された電子出版物の情報をヘッドマウントディスプレイ２に表示するように処理する。
【００４５】
図５の例で説明するならば、電子出版物蓄積部２１から、閲覧出版物選択部２２により選択された電子出版物の第２４ページの横０〜５００ｍｍ、縦１００〜６００ｍｍの範囲の電子データを読み出して、ヘッドマウントディスプレイ２に表示するように処理することになる。
【００４６】
このときに行うヘッドマウントディスプレイ２への電子出版物の電子データの表示形態については、どのようなものであってもよい。
【００４７】
例えば、ヘッドマウントディスプレイ２に取り付けられているカメラ３で見たらこのように見えるであろうという表示形態（大きさ）でもって、電子出版物の電子データをヘッドマウントディスプレイ２に表示するようにしてもよい。この方法を用いる場合には、カメラ３の分解能[mm/ピクセル] とヘッドマウントディスプレイ２の表示分解能[mm/ピクセル] とを予めキャリブレーションしておく必要がある。
【００４８】
また、カメラ映像の大きさと、ヘッドマウントディスプレイ２の表示解像度とが異なる場合には、例えば、ヘッドマウントディスプレイ２の表示範囲に合わせた大きさの電子データを読み出して、ヘッドマウントディスプレイ２に表示するように処理してもよい。
【００４９】
すなわち、カメラ映像の大きさが４００×４００ピクセルで、ヘッドマウントディスプレイ２の表示解像度が６４０×４８０ピクセルのときには、上述したアルゴリズムで求めた範囲より大きな範囲である、横方向については“６４０／４００＝1.６”倍で、縦方向については“４８０／４００＝1.４”倍した範囲にある電子データを読み出して、ヘッドマウントディスプレイ２に表示するように処理してもよい。
【００５０】
このような表示形態を用いると、ヘッドマウントディスプレイ２の表示領域を一杯に使った形態で電子出版物を表示できるようになるとともに、電子出版物を歪ませない形態で表示できるようになることで、ユーザの違和感もなくなる。
【００５１】
このようにして、本発明の電子出版物閲覧装置１０は、ユーザが電子出版物閲覧用書籍１に頭を近づけると電子出版物の内容を拡大したり、ユーザが電子出版物閲覧用書籍１のページをめくるときに、電子出版物のページをめくるように処理することで、ユーザがあたかも普通の本を読む如く電子出版物を閲覧できるように処理することを実現するのである。
【００５２】
以上の説明では、カメラ映像の中に複数のマーカが撮影されている場合について説明していなかったが、カメラ映像の中に複数のマーカが撮影されている場合には、その中に含まれる１つのマーカを使って上述の処理を行うことになる。
【００５３】
すなわち、ユーザはあるページを閲覧するのであって、その閲覧するページには、マーカ配置情報蓄積部２０に同一の掲載ページが登録されているマーカが印刷されることになる。従って、カメラ映像から抽出したどのマーカを検索キーにしてマーカ配置情報蓄積部２０にアクセスしても、結局の所、同一の掲載ページを取得できることになる。
【００５４】
また、カメラ映像から抽出したどのマーカを使って、上述のアルゴリズムに従ってページ内位置αを算出しても、それらのページ内位置αは、いずれもユーザの閲覧箇所を示していることから誤差の範囲で同一となる。これから、カメラ映像の中に複数のマーカが撮影されている場合には、その中に含まれる１つのマーカを使って上述の処理を行えばよいのである。
【００５５】
ここで、ページ内位置αの算出については、カメラ映像から抽出した複数のマーカのそれぞれについてページ内位置αを算出して、その平均値を算出することにより最終的なページ内位置αを算出するようにしてもよい。
【００５６】
次に、ヘッドマウントディスプレイ２を取り付けたユーザが、電子出版物閲覧用書籍１と並行に向き合う姿勢とはならない姿勢でもって、電子出版物閲覧用書籍１を閲覧操作するときに実行する本発明の処理について説明する。
【００５７】
このときには、カメラ映像の中で、マーカが本来の正方形とは異なる形状に見えることになるので、閲覧位置計算部２４は、このマーカ形状の変形の情報を使って実世界座標系を推定するように処理する。
【００５８】
マーカの形状が正方形から崩れると、マーカの持つ２次元パターンも本来のものとは異なるものになるので、マーカ配置情報蓄積部２０を検索することはできない。
【００５９】
そこで、閲覧位置計算部２４は、先ず最初に、以下に説明する手順に従って、正方形のマーカの持つ４つの頂点（ｘ1,ｙ1),(ｘ2,ｙ2),(ｘ3,ｙ3),(ｘ4,ｙ4)と、カメラ映像中のマーカに対応した矩形の持つ４つの頂点（Ｘ1,Ｙ1),(Ｘ2,Ｙ2),(Ｘ3,Ｙ3),(Ｘ4,Ｙ4)との間に成立する変換式を作成し、それに従って、カメラ映像中の各矩形頂点を正方形の各頂点に射影することで、カメラ３の姿勢によって歪んで撮影されたマーカの矩形を正方形に射影しなおす処理を行う。
【００６０】
よく知られているように、実世界中の平面上の点（ｘi,ｙi,０）を、ある並進・回転運動によって移動し、それを透視変換で画像座標系に射影した点を（Ｘi,Ｙi ）とすると、両者の間には、
Ｘi ＝（ａ1 ｘi ＋ａ2 ｙi ＋ａ3 ）／（ａ7 ｘi ＋ａ8 ｙi ＋１）
Ｙi ＝（ａ4 ｘi ＋ａ5 ｙi ＋ａ6 ）／（ａ7 ｘi ＋ａ8 ｙi ＋１）
という関係がある。ここで、ａ1 〜ａ8 は未知の係数で、カメラ３の外部パラメータ（位置と方向）及び内部パラメータ（焦点距離など）を表現している。
【００６１】
これらの係数ａ1 〜ａ8 の値は、実世界中の既知の点と、その画像座標上での対応点が４組あれば、図８に示す方程式を解くことによって得られる。
【００６２】
そこで、閲覧位置計算部２４は、正方形のマーカの持つ４つの頂点（ｘ1,ｙ1),(ｘ2,ｙ2),(ｘ3,ｙ3),(ｘ4,ｙ4)と、カメラ映像中のマーカに対応した矩形の持つ４つの頂点（Ｘ1,Ｙ1),(Ｘ2,Ｙ2),(Ｘ3,Ｙ3),(Ｘ4,Ｙ4)とに基づいて、図８に示す方程式を解くことで、係数ａ1 〜ａ8 の値を求めて、それに従って上述の変換式を作成することで、カメラ３の姿勢によって歪んで撮影されたマーカの矩形を正方形に射影しなおす処理を行い、その正方形に戻したマーカの持つ２次元パターンを検索キーにして、マーカ配置情報蓄積部２０を検索することで、カメラ映像から抽出したマーカの掲載ページを取得するように処理する。
【００６３】
続いて、閲覧位置計算部２４は、マーカの形状から実世界座標系を推定する。上述した係数ａ1 〜ａ8 をそのまま利用して変換行列を求めることも可能であるが、より高い精度で座標系を推定するために、マーカの形状が正方形であるという制約条件を利用して、その制約条件の下で誤差を最小にするように変換行列を推定する処理を行う。
【００６４】
なお、この方法については、「暦本純一,"２次元マトリックスコードを利用した拡張現実感の構成手法",インタラクティブシステムとソフトウェア研究会（ＷＩＳＳ)'９６」や、「高橋章，石井郁夫，牧野秀夫，中静真：ＶＲ．インターフェースのための単眼による長方形マーカー位置高精度実時間推定法，３次元画像コンファレンス '96,1996,pp.167-172．」に紹介されている。
【００６５】
すなわち、マーカの各辺に相当する（カメラ座標系での）方向ベクトルをベクトルｖ0,ベクトルｖ1,ベクトルｖ2,ベクトルｖ3 、対角線に相当する方向ベクトルをベクトルｖ4,ベクトルｖ5 とすると、正方形の制約条件は、隣接する２辺と２つの対角線がそれぞれ直交することなので、
【００６６】
【数１】
0003993423.tif 000004
【００６７】
と表現することができる。ここで、「・」はベクトルの内積を示している。
【００６８】
これから、ベクトルｖ0 〜ベクトルｖ5 をマーカが含まれる平面のカメラ座標系における法線ベクトルｎで表現し、「Ｅ（法線ベクトルｎ）→０」とするように法線ベクトルｎを推定する。そして、この推定処理により新たに得られた法線ベクトルｎから、ベクトルｖ0 〜ベクトルｖ5 を再計算する。
【００６９】
空間中での点の実世界座標系での座標（ｘ，ｙ，ｚ）T と、カメラ座標系での座標（Ｘ，Ｙ，Ｚ）T とは、
【００７０】
【数２】
0003993423.tif 000005
【００７１】
という変換行列で関連付られる。
【００７２】
ここで、ベクトルｅx,ベクトルｅy,ベクトルｅz はカメラ３の回転を表す成分、ベクトルｅt はカメラ３の移動を表す成分であり、
【００７３】
【数３】
0003993423.tif 000006
【００７４】
で表される。ここで、Ｎは正規化演算を示している。
【００７５】
このようにして、カメラ３の姿勢情報（位置と姿勢）を推定できるので、掲載ページのどの部分を閲覧しているのかを特定できることになる。
【００７６】
これから、閲覧位置計算部２４は、ユーザが電子出版物閲覧用書籍１と並行に向き合う姿勢で電子出版物閲覧用書籍１を閲覧操作するときの処理と同様に、閲覧電子情報読出部２５に対して、特定した閲覧位置の情報を指定して、電子出版物情報の表示を指示していくように処理する。
【００７７】
この指示を受け取ると、閲覧電子情報読出部２５は、閲覧出版物選択部２２により選択された電子出版物と、指定された閲覧位置の情報とに基づいて、電子出版物情報蓄積部２１に管理される閲覧対象の電子出版物の中から、ユーザにより閲覧されている電子出版物の情報を読み出し、これを受けて、表示デバイス書込部２６は、その読み出された電子出版物の情報を、カメラ３から見た形態に変換しつつ、ヘッドマウントディスプレイ２に表示するように処理することになる。
【００７８】
このとき、表示デバイス書込部２６は、読み出された電子出版物の情報を、カメラ３から見た形態に変換しないで、そのままヘッドマウントディスプレイ２に表示するように処理してもよい。
【００７９】
この処理構成を採ると、ユーザは、電子出版物閲覧用書籍１と並行に向き合う姿勢で電子出版物閲覧用書籍１を閲覧操作するときに見る表示形態と同一の表示形態の電子出版物情報を見ることになり、実際に見るときの表示形態とは異なるものの、見やすいという利点が得られることになる。
【００８０】
このようにして、本発明の電子出版物閲覧装置１０は、ユーザが電子出版物閲覧用書籍１に対して頭を斜めにしたり、横から見るような動きをする場合にも、そのユーザの頭の動きに合わせて表示する電子出版物の内容を動かすことで、ユーザがあたかも普通の本を読む如く電子出版物を閲覧できるように処理することを実現するのである。
【００８１】
以上に説明した実施形態例では、電子出版物閲覧用書籍１に記載されるマーカが２次元パターンを有することで説明したが、本発明はこのようなマーカを用いることに限られるものではない。
【００８２】
例えば、電子出版物閲覧用書籍１に記載されるマーカとして、マーカ配置情報蓄積部２０に登録されている情報を記録するバーコードを用いたり、閲覧位置計算部２４が数字認識機能を持つ場合には、電子出版物閲覧用書籍１に記載されるマーカとして、マーカ配置情報蓄積部２０に登録されている情報を示す数字列を記録するものを用いることもできる。このような構成を用いると、マーカ配置情報蓄積部２０を省略することができるという利点が得られる。
【００８３】
また、実施形態例では、説明の便宜上、閲覧対象となる電子出版物の電子情報を電子出版物情報蓄積部２１から取得することで説明したが、ネットワークを介して取得するといったように、電子出版物の電子情報の取得の方法については、どのようなものであってもよい。
【００８４】
また、実施形態例では、説明の便宜上、カメラの分解能[mm/ピクセル] が縦横とも同一となることで説明したが、この分解能が縦横で異なっていても、単純な比例計算処理を行うことだけで、本発明はそのまま適用可能である。
【００８５】
【発明の効果】
以上説明したように、本発明では、電子出版物を見るときに生じる拡大縮小、画面スクロールをマウス操作などにより行うのではなくて、各ページに電子出版物のページ及びページ内位置を特定可能にするマーカを記載する電子出版物閲覧用書籍を用意して、カメラ付きのヘッドマウントディスプレイを用いて、そのカメラから得られる情報により、ユーザがどのページのどの部分を見ているのか認識して、そのユーザが見ている部分をヘッドマウントディスプレイに表示するように処理するのである。
【００８６】
この電子出版物閲覧用書籍については１冊用意すればよく、この電子出版物閲覧用書籍にリンクする電子出版物が様々なものに変わることで、様々な電子出版物を閲覧することが可能になる。
【００８７】
これらにより、本発明によれば、ユーザは普通に本を読んでいる感覚で電子出版物を読むことができるようになることに加えて、出版物保管のための物理的なスペースを大幅に削減することができるようになる。
【図面の簡単な説明】
【図１】電子出版物閲覧用書籍の一実施形態例である。
【図２】電子出版物閲覧装置の一実施形態例である。
【図３】マーカ配置情報蓄積部の一実施形態例である。
【図４】閲覧位置計算部の実行する処理フローの一実施形態例である。
【図５】カメラ映像の一例である。
【図６】本発明の説明図である。
【図７】本発明の説明図である。
【図８】実世界中の既知点と画像座標上での対応点との間に成立する方程式の説明図である。
【符号の説明】
１    電子出版物閲覧用書籍
２    ヘッドマウントディスプレイ
３    カメラ
１０  電子出版物閲覧装置
２０  マーカ配置情報蓄積部
２１  電子出版物情報蓄積部
２２  閲覧出版物選択部
２３  カメラ映像入力部
２４  閲覧位置計算部
２５  閲覧電子情報読出部
２６  表示デバイス書込部
【図１】
0003993423.tif 000007
【図２】
0003993423.tif 000008
【図３】
0003993423.tif 000009
【図４】
0003993423.tif 000010
【図５】
0003993423.tif 000011
【図６】
0003993423.tif 000012
【図７】
0003993423.tif 000013
【図８】
0003993423.tif 000014