(57)【要約】【課題】  特定の閲覧者が閲覧したい秘匿情報と、全ての閲覧者が閲覧したい共通情報を区別して投影する。【解決手段】  本発明の情報処理装置は、投影範囲に画像を投影する投影手段と、前記投影範囲における乱反射面である第一領域の位置情報と指向性反射面である第二領域の位置情報とを取得する取得手段と、を備える情報処理装置であって、前記投影手段は、前記第一領域に第一画像を投影し、前記第二領域に第二画像を投影することを特徴とする。【選択図】  図２
2015126237.tif 000002
【特許請求の範囲】
【請求項１】
投影範囲に画像を投影する投影手段と、
前記投影範囲における乱反射面である第一領域の位置情報と指向性反射面である第二領域の位置情報とを取得する取得手段と、
を備える情報処理装置であって、
前記投影手段は、前記第一領域に第一画像を投影し、前記第二領域に第二画像を投影することを特徴とする情報処理装置。
【請求項２】
投影範囲に画像を投影する投影手段と、
前記投影範囲を撮像する撮像手段と、
前記投影範囲の撮像画像から、前記投影範囲における乱反射面である第一領域の位置情報と指向性反射面である第二領域の位置情報を特定する領域特定手段と、を備える情報処理装置であって、
前記投影手段は、前記第一領域に第一画像を投影し、前記第二領域に第一画像と異なる第二画像を投影することを特徴とする情報処理装置。
【請求項３】
前記第一領域は、データに基づいて印刷された乱反射面の紙面の領域であって、
前記投影手段は、前記データに関連付けられた前記第一画像を前記第一領域に投影し、前記データに関連付けられた前記第二画像を前記第二領域に投影することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
一つのデータに基づいて印刷された前記紙面が複数ある場合に、
前記投影手段は、複数の前記紙面のいずれかの前記紙面に対応する前記データに関連付けられた前記第二画像を前記第二領域に投影することを特徴とする請求項３記載の情報処理装置。
【請求項５】
前記投影手段は、前記データに関連付けられた前記第二画像を、特定の位置に最も近い前記紙面の近傍に投影することを特徴とする請求項４記載の情報処理装置。
【請求項６】
前記第一画像は任意の位置から閲覧可能な共通情報であり、前記第二画像は特定の位置から閲覧可能な秘匿情報であることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項７】
前記第二領域が指向性反射面のテーブル面の領域であることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
前記第二領域が指向性反射面の紙面領域であることを特徴とする請求項３に記載の情報処理装置。
【請求項９】
複数ある前記第一領域の紙面の重なりによって発生した前記紙面の隠れ領域を検知する検知手段と、をさらに備え、
前記投影手段は、前記隠れ領域への第一画像の投影を制限することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項１０】
前記第一領域の紙面と前記第二領域の紙面との重なりによって発生した前記第一領域の紙面又は前記第二領域の紙面の隠れ領域を検知する検知手段と、をさらに備え、
前記投影手段は、前記第一領域の紙面の前記隠れ領域が検知された場合に、前記隠れ領域への第一画像の投影を制限し、前記第二領域の紙面の前記隠れ領域が検知された場合に、前記隠れ領域への第二画像の投影を制限することを特徴とする請求項８記載の情報処理装置。
【請求項１１】
前記第一領域の紙面は前記第二領域の紙面の下に重ねられた場合に、
前記投影手段は、前記重ねられた前記第一領域の紙面に対応する前記データと関連付けられた前記第二画像を前記第二領域に投影することを特徴とする請求項１０記載の情報処理装置。
【請求項１２】
両面が指向性反射面である前記第二領域の紙面の裏返しを検出する検出手段をさらに備え、
前記紙面の裏返しは検出されていない場合に、
前記投影手段が前記第二領域への前記第二画像の投影を維持することを特徴とする請求項１１記載の情報処理装置。
【請求項１３】
前記第二領域の紙面の位置が変更された場合は、前記投影手段が変更後の前記第二領域の紙面の位置に合わせて、前記第二画像の投影位置を変更することを特徴とする請求項８、１０乃至１２のいずれか１項に記載の情報処理装置。
【請求項１４】
両面が指向性反射面である前記第二領域の紙面の裏返しを検出する検出手段をさらに備え、
前記紙面の裏返しは検出された場合に、
前記投影手段は、前記第二領域への前記第二画像の投影を停止することを特徴とする請求項１１記載の情報処理装置。
【請求項１５】
前記投影手段は、前記データと関連付けられた前記第一画像を、前記投影範囲における前記第二領域以外の領域に投影することを特徴とする請求項３、８、１０乃至１４のいずれか１項に記載の情報処理装置。
【請求項１６】
投影装置および制御装置から構成される情報処理システムであって、
前記投影装置は、投影範囲に画像を投影する投影手段を備え、
前記制御装置は、前記投影範囲における乱反射面である第一領域の位置情報と指向性反射面である第二領域の位置情報を取得する取得手段と、
前記投影手段に、前記第一領域に第一画像を投影させ、前記第二領域に第二画像を投影させる制御手段と、を備える情報処理システム。
【請求項１７】
投影装置、撮像装置および制御装置から構成される情報処理システムであって、
前記投影装置は、投影範囲に画像を投影する投影手段を備え、
前記撮像装置は、前記投影装置の投影範囲を撮像する撮像手段を備え、
前記制御装置は、前記投影範囲の撮像画像から、前記投影範囲における乱反射面である第一領域の位置情報と指向性反射面である第二領域の位置情報を特定する領域特定手段と、
前記投影手段に、前記第一領域に第一画像を投影させ、前記第二領域に第二画像を投影させる制御手段と、を備えることを特徴とする情報処理システムである。
【請求項１８】
投影手段は投影範囲に画像を投影する投影工程と、
前記投影範囲における乱反射面である第一領域の位置情報と指向性反射面である第二領域の位置情報を取得する位置情報取得工程と、
前記投影手段は、前記第一領域に第一画像を投影し、前記第二領域に第一画像と異なる第二画像を投影する投影工程と、を備えることを特徴とする情報処理方法。
【請求項１９】
投影手段は、投影範囲に画像を投影する投影工程と、
撮像手段は、前記投影範囲を撮像する撮像工程と、
前記投影範囲の撮像画像から、前記投影範囲における前記第一領域の位置情報と前記第二領域の位置情報を特定する領域特定工程と、
前記投影手段は、前記第一領域に第一画像を投影し、前記第二領域に第一画像と異なる第二画像を投影する工程と、を備えることを特徴とする情報処理方法。
【請求項２０】
コンピュータに、
投影手段によって、投影範囲に画像を投影させる投影手順と、
取得手段によって、前記投影範囲における乱反射面である第一領域の位置情報と指向性反射面である第二領域の位置情報を取得させる取得手順と、
前記投影手段によって、前記第一領域に第一画像を投影させ、前記第二領域に第一画像と異なる第二画像を投影させる投影手順と、
を実行させるためのプログラム。
【請求項２１】
コンピュータに、
投影手段によって、投影範囲に画像を投影させる投影手順と、
撮像手段によって、前記投影範囲を撮像させる撮像手順と、
前記投影範囲の撮像画像から、前記投影範囲における前記第一領域の位置情報と前記第二領域の位置情報を特定する領域特定手順と、
前記投影手段によって、前記第一領域に第一画像を投影させ、前記第二領域に第一画像と異なる第二投影画像を投影させる投影手順と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を投影する情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、従来の書画カメラとプロジェクタを組み合わせて、原稿台に置いた原稿をカメラで撮像し、原稿台をスクリーンとして撮像した画像をプロジェクタで投影する情報処理装置が提案されている。このような装置では、液晶ディスプレイなどと違い、原稿に関連情報としての画像を重畳投影することもできる。
【０００３】
例えば特許文献１では、手書き入力領域と画像投影領域を有する紙面を撮像し、ある紙面の手書き入力領域の画像を他の紙面の画像投影領域に投影する会議情報共有支援装置が開示されている。この装置を用いると、自然な入力デバイスである紙とペンを用いて書き込んだ手書き情報を、複数のユーザ間でリアルタイムに共有することが可能となり、円滑な会議の進行が期待できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４２９３１３５号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の方法では、投影された画像を全てのユーザが閲覧することができる。例えば、特定の位置にいるユーザが資料の説明を行い、他のユーザがその説明を聞く、というシーンを想定する。このシーンにおいて、説明のためのマニュアルなど、説明を行うユーザだけが見るべき補足情報を、紙面に投影してしまうと他のユーザからも閲覧できてしまう。
【０００６】
本発明は、上記の点に鑑みなされたもので、複数のユーザが存在するシーンで、特定の位置にいるユーザに絞って閲覧させる情報と、ユーザを絞らず閲覧させる情報とを区別して投影する情報処理装置を提供することを目的とする。また、その方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の情報処理装置は、投影範囲に画像を投影する投影手段と、前記投影範囲における乱反射面である第一領域の位置情報と指向性反射面である第二領域の位置情報とを取得する取得手段と、を備える情報処理装置であって、前記投影手段は、前記第一領域に第一画像を投影し、前記第二領域に第二画像を投影することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数のユーザが存在するシーンで、特定の位置にいるユーザに絞って閲覧させる情報と、ユーザを絞らずに閲覧させる情報とを区別して投影することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る情報処理システムの構成の一例を示す模式図
【図２】情報処理システムの制御装置１００の機能ブロック図の一例
【図３】本発明の第１の実施形態における利用シーンの概念図
【図４】投影情報格納部２０４に格納される投影情報の一例を示す表
【図５】本発明の第１の実施形態に係る情報処理システムにおける処理手順の一例を示すフローチャート
【図６】紙面へ重畳する投影画像を作成の処理手順の一例を示すフローチャート
【図７】紙面外への投影画像を作成の処理手順の一例を示すフローチャート
【図８】本発明の第２の実施形態における利用シーンの概念図
【図９】本発明の第２の実施形態に係る情報処理システムにおける処理手順の一例を示すフローチャート
【図１０】指向性反射面へ投影する投影画像を作成の処理手順の一例を示すフローチャート
【図１１】本発明の実施形態に係る情報処理装置の構成の一例を示す模式図
【発明を実施するための形態】
【００１０】
以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。
【００１１】
＜第１の実施形態＞
図１は本実施形態の情報処理システムの構成の一例を示す模式図である。
【００１２】
制御装置１００は、各種の制御や処理を施すためのプログラムを実行するＣＰＵ１０１、該プログラムを実行する際のワークメモリやデータの一時保存などに利用されるメモリ１０２、該プログラムや撮像画像などのデータを格納するハードディスク１０３、撮像装置１１０および投影装置１２０とデータの入出力を行うネットワークＩ／Ｆ１０４とから成る。制御装置１００がＣＰＵ１０１にメモリ１０２に保存されている該プログラムを実行させることによって撮像装置１１０および投影装置１２０の各種制御を行う。
【００１３】
撮像装置１１０は、撮像制御や画像符号化処理などを施すためのプログラムを実行するＣＰＵ１１１、該プログラムや該プログラムを実行する際のワークメモリやデータの一時保存などに利用されるメモリ１１２、外光を画像データに変換するカメラユニットより構成される撮像部１１３、制御装置１００および投影装置１２０とデータの入出力を行うネットワークＩ／Ｆ１１４とから成る。
【００１４】
投影装置１２０は、投影制御や画像変換処理などを施すためのプログラムを実行するＣＰＵ１２１、該プログラムや該プログラムを実行する際のワークメモリやデータの一時保存などに利用されるメモリ１２２、画像データを投影するプロジェクタユニットより構成される投影部１２３、制御装置１００および撮像装置１１０とデータの入出力を行うネットワークＩ／Ｆ１２４とから成る。
【００１５】
制御装置１００、撮像装置１１０、および投影装置１２０は、それぞれネットワークＩ／Ｆ１０４、１１４、１２４を介してＬＡＮやインターネットなどの有線または無線のネットワーク１３０に接続される。そのため、撮像装置１１０から撮像画像が送信され、制御装置１００で受信しハードディスク１０３に蓄積する、あるいは制御装置１００から投影装置１２０へ投影画像が送信され、プロジェクタユニット１２３によって投影する、などが可能である。撮像装置１１０が動的に撮像できる装置である。例えばビデオカメラである。
【００１６】
また、画像処理装置１００、撮影装置１１０、および投影装置１２０は、それぞれのＣＰＵ、メモリなどを共有し、同一の情報処理装置で実施することが可能である。  図１１を用いてその情報処理装置１３０の構成を説明する。情報処理装置１３０は、ＣＰＵ１３１、記憶部１３２、制御部１３３、投影部１３４、撮像部１３５及びＵＩ部１３６とから成る。
【００１７】
ＣＰＵ１０１は各種の制御や処理を施すためのプログラムを実行する。記憶部１０５はプログラムを実行する際のワークメモリやデータの一時保存などに利用されるメモリ及び、該プログラムや撮像画像などのデータを格納するハードディスクから構成される。
【００１８】
制御部１０６は、記憶部１０５にあるプログラムを実行することによって投影部１０７や撮像部１０８を制御する。ＵＩ部１０９はユーザの各種設定を受けるユーザインタフェースである。
【００１９】
投影部１０７は、画像データに基づいて投影するプロジェクタユニットにより構成される。撮像部１０８は、外光を画像データに変換するカメラユニットにより構成される。
【００２０】
本発明の各実施形態は、図１に示す情報処理システムを例に説明するが、図１に示す制御装置１００、撮像装置１１０および投影装置１２０の機能は、それぞれ図１１に示す情報処理装置１３０の制御部１３３、投影部１３４及び撮像部１３５を用いて実現することができる。そのために、図１に示す情報処理システムを用いて説明する本発明の各実施形態の処理機能及び処理方法は、図１１に示す情報処理装置１３０においても同様に実現できるので、その説明は省略する。
【００２１】
図２は、本実施形態の制御装置１００の機能ブロック図の一例である。制御装置１００は、撮像制御部２０１、領域特定部２０２、投影情報取得部２０３、投影情報格納部２０４、指向性識別部２０５、重なり検知部２０６、裏返し検知部２０７、隠れ紙面検知部２０８、隠れ領域検知部２０９、投影画像作成部２１０、画像変換部２１１、投影制御部２１２を有する。投影情報格納部２０４は制御装置１００のハードディスク１０３又はメモリ１０２を使うことができる。その他の撮像制御部２０１、領域特定部２０２や投影情報取得部２０３等は、ＣＰＵ１０１が対応するプログラムを実行することにより実現されるものである。
【００２２】
撮像制御部２０１の制御により撮像装置１１０から投影範囲を含む投影面の撮像画像が得られる。該撮像画像から、投影範囲における紙面領域（本実施形態の乱反射面）及び紙面領域以外の領域（本実施形態の指向性反射面）を該撮像画像から判断する。そして、撮像された投影面の画像と実際の投影面とマッピングして位置合わせすることによって、領域特定部２０２により投影面における紙面領域（乱反射面）とそれ以外の領域（指向性反射面）の位置情報が特定される。なお、投影範囲を特定するための画像を投影装置１２０に投影させた状態で撮像された投影面の画像から投影範囲を判断する。
【００２３】
また、事前に投影範囲の位置情報や投影範囲における紙面領域や紙面以外の領域の位置情報を特定し、ハードディスク１０３に格納し、領域特定部２０２は紙面領域や紙面以外の領域の位置情報をハードディスク１０３から取得することができる。あるいは、領域特定部２０２の替わりに位置情報取得部（非図示）を設けて、位置情報取得部は上記位置情報を取得する。
【００２４】
投影面（テーブル面）に対して投影装置１２０の位置や紙面の位置が相対的に固定された状態で利用するのであれば、このような方法を用いることが可能となり、投影装置１２０の立上げから投影可能な状態になるまでの時間が短いという利点がある。
【００２５】
投影情報取得部２０３は、前記紙面領域の撮像画像をもとに関連情報の検索を行い、投影情報格納部２０４から前記紙面領域に関連付く投影情報を取得する。同様に指向性識別部２０５は、前記撮像画像と前記紙面領域をもとに、各領域の指向性を識別する。指向性とは、入射した光をどの方向に反射するかを表す性質である。
【００２６】
通常の紙面は、紙面表面が乱反射面であるため、紙面表面の乱反射面に投影した画像は全ての方向で閲覧できる。一方、指向性がある反射面では、投影した画像は特定方向でのみ閲覧が可能となる。
【００２７】
前記投影情報は、紙面と紙面の重なりを検知する重なり検知部２０６、紙面の表裏を判定する裏返し検知部２０７、紙面に隠れ領域が存在するか否かを検知する隠れ紙面検知部２０８、紙面内の隠れが生じた領域を特定する隠れ領域検知部２０９の出力をもとに、投影画像作成部２１０によって投影画像に変換される。さらに画像変換部２１１によって適切な投影画像に変換される。最後に投影制御部２１２によって、投影面に対して前記投影画像を投影する。
【００２８】
なお図２の構成はあくまで一例であり、例えば投影面の指向性が既知であれば指向性識別部２０５は必須ではない。同様に、重なり検知部２０６、裏返し検知部２０７、隠れ紙面検知部２０８、および隠れ領域検知部２０９は、本実施形態を実施する上で必須ではない。さらに、投影面における紙面領域（乱反射面）とそれ以外の領域（指向性反射面）の位置情報が既知であれば、領域特定部２０２も必須ではない。
【００２９】
本実施形態は、入射光と同一方向に光を反射する指向性を持った指向性反射面のテーブルの上に光を反射する指向性の無く乱反射の複数の紙面を置き、２人の閲覧者が向かい合って紙面を閲覧する場合を想定した形態である。各紙面の乱反射の表面領域を第一領域とし、指向性反射面であるテーブル面の領域を第二領域とする。
【００３０】
図３は、本発明の第１の実施形態における利用シーンの概念図である。図３（ａ）は本実施形態に係る情報処理システムの処理を行う前の状態、図３（ｂ）は処理を行ったあとの状態である。
【００３１】
図３（ａ）では、閲覧者３０１および閲覧者３０２が、指向性反射面のテーブル３０３を挟んで向かい合って位置する。投影装置１２０の画像投影範囲はテーブル３０３全体であり、撮像装置１１０は画像投影範囲を撮像可能な画角を持つ。投影装置１２０の画像投影範囲は投影面であるテーブル３０３と位置を合わせるために、投影装置１２０の設置時にキャリブレーション用の画像を投影し、投影装置１２０の画像投影範囲が投影面内に収まるように投影装置１２０の設置位置を調整して固定する。
【００３２】
投影装置１２０は閲覧者３０１に隣接する位置に固定される。投影装置１２０がテーブル３０３に投影した画像は、投影装置１２０方向にのみ反射する。そのため、投影装置１２０と同一方向に位置する閲覧者３０１のみが閲覧可能であり、投影画像を閲覧者３０２が閲覧することはできない。テーブル３０３上には、同一の原本データ（印刷データ）から印刷された紙面３０４から３０６がある。紙面３０４および紙面３０５は閲覧者３０１向きであり、紙面３０５は紙面３０４によって一部が隠されている。紙面３０６は閲覧者３０２向きである。投影装置１２０から各紙面に投影された画像は、閲覧者３０１および閲覧者３０２のいずれも閲覧できる。
【００３３】
図３（ｂ）では、閲覧者３０１からのみ閲覧が可能な秘匿情報である投影情報が、投影画像３０７、３０８、３０９として投影される。即ち、投影画像３０７、３０８、３０９は秘匿情報を表示するための投影画像（第二投影画像）である。また、紙面３０４および３０６には、閲覧者３０１および３０２のいずれも閲覧可能な共通情報である投影情報が、投影画像３１０、３１１として重畳投影される。即ち、投影画像３１０、３１１は共通情報を表示するための投影画像（第一投影画像）である。
【００３４】
図４は、投影情報格納部２０４に格納される投影情報の一例を示す表である。投影情報は、共通情報であるか秘匿情報であるかを表す投影情報の種類４０２、文字か画像かを表す形式４０３、位置４０４、投影情報の内容４０５、によって構成される。位置４０４は、原本データ上の相対座標のみではなく、投影情報に関連するキーワードや、投影情報が原本データ４０１全体に関する内容である場合のフラグなどを保持しても良い。位置４０４に関連付けられる情報の種類によって、投影される場所は異なる。例えば秘匿情報である投影情報４０６は位置４０４に関連付けて登録され、紙面外に投影される。また秘匿情報である投影情報４０７は、キーワード“○○保険”に関連付けて登録され、原本データ中の前記キーワードに関連付けられて投影情報４０７が紙面外に投影される。また投影情報４０８は画像全体に関する秘匿情報であり、画像全体に関連付けられて紙面外に投影される。なお、共通情報である投影情報４０９は、原本データ上の相対座標である位置４０４に関連付けられて登録され、原本データ上の同じ位置に投影される。なお、共通情報は紙面外に投影することもできる。図４では原本データ４０１に対して、５件の投影情報４０６から４１０が関連付けられて登録されている。
【００３５】
図５は、本発明の第１の実施形態に係る情報処理システムにおける処理手順の一例を示すフローチャートである。図５〜図７に示すフローチャートは、ＣＰＵ１０１が制御プログラムを実行することにより実現されるものとする。
【００３６】
まず、ステップＳ５０１において、撮像制御部２０１を用いて撮像指示を出し、撮像装置１１０に投影装置１２０の投影範囲を含む投影面（テーブル３０３）を撮像させる。
【００３７】
次に、ステップＳ５０２において、領域特定部２０２によって紙面領域を特定する。領域特定部２０２は、撮像画像に対してエッジ強調フィルタを適用後、ハフ変換によって直線群を検出し、直線群が構成する四角形を探索することで紙面領域を特定する。エッジ強調フィルタには、Ｓｏｂｅｌフィルタ、Ｃａｎｎｙオペレータ、あるいは、その他の公知のフィルタの適用が可能である。
【００３８】
次に、ステップＳ５０３において、全ての前記紙面領域に対して１枚ずつ処理を行って投影画像を作成する。その詳細はステップＳ５０４〜ステップＳ５０６で説明する。まずステップＳ５０４において、投影情報取得部２０３によって、前記紙面領域の撮像画像から投影情報格納部２４に格納されている原本データを検索する。原本データには、全ての閲覧者が閲覧可能な共通情報と、特定方向にいる閲覧者のみが閲覧する秘匿情報が関連付けられる。原本データは図４に示す投影情報格納部２０４に格納されている。なお、投影情報格納部２０４は制御装置１００のハードディスク１０３又はメモリ１０２を使うことができる。撮像装置１１０の撮像した投影面の撮像画像から、領域特定部２０２によって投影領域における紙面領域を特定し、投影情報取得部２０３が通常の画像検索の方法を用いて原本データを特定する。
【００３９】
そして、ステップＳ５０５では、前記共通情報をもとに、前記紙面領域に重畳投影する投影画像を作成する。ステップＳ５０６では、前記秘匿情報をもとに、前記紙面領域外の指向性反射面に投影する投影画像を作成する。前記共通情報及び前記秘匿情報は、図４に示すように、原本データと関連付けられた状態で投影情報格納部２０４に格納されている。
【００４０】
最後に、ステップＳ５０７において、投影制御部２１２によって投影装置１２０へ投影指示を出し、前記投影画像を各紙面領域および指向性反射面に投影する。ここで、各紙面領域への投影画像は、まず画像変換部２１１によってステップＳ５０２で取得した紙面領域の位置、向き、および大きさに合わせて透視投影変換され、投影される。一方、紙面外への投影画像は、特定方向にいる閲覧者が閲覧しやすくするために、常に閲覧者方向を下向きとして投影される。
【００４１】
ステップＳ５０５、およびステップＳ５０６の詳細は図６及び図７を用いてさらに詳細に説明する。
【００４２】
図６では、図５のステップＳ５０５で説明した紙面へ重畳する投影画像を作成する処理について、その処理手順の一例を示すフローチャートを用いてさらに詳細に説明する。
【００４３】
まず、ステップＳ６０１において、対象とする紙面領域の画像に関連付く共通情報の有無を確認する。ここで共通情報が存在しなければ本処理は終了する。共通情報がある場合にはステップＳ６０２に進む。
【００４４】
ステップＳ６０２では、隠れ紙面検知部２０８によって、対象とする紙面領域の画像の隠れ有無を検知する。具体的には、前記紙面領域の撮像画像と原本データ４０１の画像を比較し、その差分を取り、閾値以上の差があれば隠れが存在すると判定する。隠れがあると判定した場合、ステップＳ６０３へ進み、隠れが無いと判定した場合、ステップＳ６０５へ進む。
【００４５】
ステップＳ６０３では、前記紙面領域の隠れ領域を特定する。具体的には、図５のステップＳ５０２で特定された複数の紙面領域と、本処理で対象とする紙面領域との間で重なりによって本処理で対象とする紙面領域の見えない領域を隠れ領域とする。第１の実施形態では、第一領域の紙面が複数ある場合は、紙面の移動によって第一領域の紙面同士が重なり、隠れ領域が発生することがある。なお、隠れ領域の特定方法は、例えば、撮像画像から紙面部分に対応する画像領域を特定し、その画像領域おける画素の変化領域を特定し、隠れ領域として推定する。
【００４６】
ステップＳ６０４では、投影情報の関連付けられた位置４０４が前記隠れ領域に内包される場合には、その投影情報を投影対象から外す。これにより、隠れを生じさせる紙面への誤った重畳投影を回避する。あるいは、例えば投影情報の形式４０３が文字であれば、隠れが生じない位置および大きさに変更する、隠れる文字を削除し省略文字を付加する、などしても良い。また該形式４０３が画像であれば、投影情報の内容４０５の隠れが生じる領域のみを投影しないように画像の一部を削除しても良い。即ち、前記隠れ領域に対応する投影画像は重畳して投影しない。
【００４７】
ステップＳ６０５では、投影対象となる投影情報を前記紙面領域に重畳投影するための投影画像を作成し、本処理を終了する。ここでは、前記紙面領域の画像と同じアスペクト比の投影画像を作成し、投影先となる紙面領域の位置、大きさ、形状を共に保持する。
【００４８】
図７では、図５のステップＳ５０６で説明した紙面外の投影領域への投影画像を作成する処理について、その処理手順の一例を示すフローチャートを用いて説明する。本実施形態では、紙面外の投影領域は指向性反射面の投影領域である。
【００４９】
まず、ステップＳ７０１において、対象とする紙面領域の画像に関連付く秘匿情報の有無を確認する。ここで秘匿情報が存在しなければ本処理は終了する。秘匿情報がある場合にはステップＳ７０２に進む。
【００５０】
ステップＳ７０２では、同じ原本データを持つ紙面がテーブル３０３上に複数あるかを判定する。具体的には、ステップＳ７０１において対象とした前記紙面領域の撮像画像と図５のステップＳ５０２で取得した他の紙面領域の撮像画像とを比較し、それぞれの画像特徴量計算し、その差分を取り、差が閾値以下であれば同一の紙面と判定する。あるいは、前記複数の紙面領域の撮像画像をもとに投影情報取得部２０３によって原本データを取得し、同一の原本データを持つ紙面があるか探索しても良い。同じ原本データの紙面が無い場合にはステップＳ７０４に進み、同じ原本データの紙面がある場合にはステップＳ７０３に進む。
【００５１】
ステップＳ７０３では、ステップＳ７０２で取得した同じ原本データを持つ他の紙面領域と比較して、対象とする紙面領域が閲覧者３０１に最も近いかを判定する。対象とする紙面領域が最近傍でない場合には本処理は終了する。これは、同じ原本の紙面が複数存在する場合に、同じ内容の秘匿情報が複数投影されることで情報過多になり、可読性が低下することを防ぐためである。具体的には、投影装置１２０と各紙面領域の距離は閲覧者３０１と各紙面領域の距離に近似的に等しい、と仮定して、投影装置１２０と各紙面領域の距離を測る。
【００５２】
そして対象とする紙面領域が距離最小であるかを判定する。前記紙面領域が距離最小である場合にはステップＳ７０４に進む。あるいは、最近傍かつその距離が閾値以下である場合にステップＳ７０４に進む、としても良い。この場合に前記閾値は、例えば５０ｃｍとする定数や、テーブルの大きさの１／２とする可変値とすることができる。前記距離が最小又は閾値以下と判定された上記紙面領域に関連付けられた秘匿情報だけを取得する。そして、取得した秘匿情報を上記紙面領域の近傍に投影する。このように処理することによって、同じ内容の秘匿情報が複数投影されることを避けるだけではなく、秘匿情報を見せたい閲覧者３０１に最も近いテーブル面に秘匿情報を投影することになるメリットがある。
【００５３】
ステップＳ７０４では、秘匿情報を投影するための投影領域を取得する。まず、撮像装置１１０から得た撮像画像から、テーブル３０３の外接領域を取得する。これはあらかじめ、空にしたテーブル３０３を撮像した画像から図５のステップＳ５０２と同様に取得し、保持しておく。あるいはテーブル３０３の形状と撮像装置１１０との位置関係が既知であれば、それらをもとに取得する。次に、前記外接領域から、図５のステップＳ５０２で取得した紙面領域を除外した領域を、テーブル３０３の領域として得る。続いて、テーブル３０３の領域から、対象とする紙面の投影情報毎に、位置４０４の近傍かつ閾値以上の大きさを持つ領域を投影領域として探索する。前記閾値は定数ではなく、投影情報の内容４０５に基づき変化させても良い。
【００５４】
なお本実施形態では、図３（ａ）に示すようにテーブル３０３の全体が指向性反射面であるが、テーブル３０３の一部のみを指向性反射面とすることも可能である。この場合、対象とする紙面の位置がテーブル３０３の指向性反射面の領域内であるかを両者の座標を用いて判定し、領域外であれば本処理を終了する。あるいは投影情報の位置４０４に応じて領域外か否かを判定しても良い。なお、テーブル３０３の指向性反射面の領域範囲は既知ではない場合は、図２に示す指向性識別部２０５によって指向性反射面の領域範囲の座標が特定される。
【００５５】
ステップＳ７０５では、ステップＳ７０４で得た投影領域の幅、高さ、あるいは形状に合わせて、投影情報の内容４０５を重畳投影するための投影画像を作成し、投影領域と共に保持する。
【００５６】
本実施形態によれば、複数の閲覧者が共通して閲覧したい共通情報と、特定方向の閲覧者のみが閲覧したい秘匿情報を、閲覧者数より少ない投影装置で投影することができる。さらに紙面に対し付加情報を重畳投影する際に、投影対象の紙面の隠れを考慮して投影画像を作成するため、誤った重畳投影を回避できる。さらに共通情報と秘匿情報の投影をそれぞれに適した方法で行うため、閲覧者にわかりやすく情報提示できる。
【００５７】
＜第２の実施形態＞
本発明に係る第２の実施形態は、通常のテーブルの上に、指向性が無い複数の通常紙面と、入射光と同一方向に光を反射する指向性紙面を置き、２人の閲覧者が向かい合って通常紙面および指向性紙面を閲覧する場合を想定した形態である。本実施形態では、指向性がない複数の通常紙面領域を第一領域、指向性紙面領域を第二領域とする。
【００５８】
図８に、本発明の第２の実施形態における利用シーンの概念図を示す。
【００５９】
図８（ａ）は本実施形態に係る情報処理システムの処理を行う前の状態である。テーブル８０１上に、通常紙面８０２から８０４が配置され、通常紙面８０２に重なる位置に指向性紙面８０５が配置される。通常紙面８０２と８０４は同一の原本データ（印刷データ）から印刷された紙面であり、通常紙面８０３は異なる原本データ（印刷データ）から印刷された紙面である。指向性紙面８０５は表面と裏面の両面が指向性紙面であり、表面には表面を示すビジュアルマーカー８０６、裏面には裏面を示すビジュアルマーカー８１０がそれぞれ印刷されている。基準線８０７は、指向性紙面８０５を閲覧する閲覧者に隣接するテーブル８０１の辺である。
【００６０】
図８（ｂ）は図８（ａ）に対して処理を行ったあとの状態である。本実施形態の情報処理システムによって、通常紙面８０２から８０４にそれぞれの原本データに関連付けられた共通情報が投影され、指向性紙面８０５に通常紙面８０２の原本データに関連付けられた秘匿情報である投影画像８０８が投影される。なお、第２の実施形態では、通常の乱反射面のテーブルを用いるので、共通情報が通常紙面８０２から８０４の原本データに関連付けられて、通常紙面８０２から８０４の紙面外のテーブル面に投影されてもよい。
【００６１】
図８（ｂ）では重なり検知部２０６が指向性紙面８０５と通常紙面８０２の重なりを検知した時の投影状態である。重なりの検知は、例えば、撮像画像から通常紙面８０２に対する画像領域を特定し、その原本データとの一致度をモニターする。一致度が一定量以上に低下すれば、通常紙面８０２が指向性紙面８０５の下に重ねられたと推定する。
【００６２】
図８（ｃ）は図８（ｂ）から指向性紙面８０５を裏返しせずに移動させて本実施形態の処理を行ったあとの状態である。図８（ｃ）では、図８（ｂ）で指向性紙面８０５に関連付けられた秘匿情報が指向性紙面８０５の位置及び向きに合わせて横長にレイアウトされ、投影画像８０８と同じ内容の投影画像８０９として投影される。
【００６３】
図８（ｄ）は図８（ｃ）から指向性紙面８０５を裏返して本実施形態の処理を行ったあとの状態である。図８（ｃ）での指向性紙面８０５の表面を示すビジュアルマーカー８０６と異なる指向性紙面８０５の裏面であることを示すビジュアルマーカー８１０を読み取ることで、指向性紙面８０５と通常紙面８０２の秘匿情報との関連付けが解除され、秘匿情報の投影が停止される。次に、新たに通常紙面８０３との重なりを検知され場合は、通常紙面８０３の原本データに関連付けられた秘匿情報が取得され、投影画像８１１として投影される。
【００６４】
図９は、本発明の第２の実施形態に係る情報処理システムにおける処理手順の一例を示すフローチャートである。ステップＳ９０１からＳ９０３、および、Ｓ９０６、Ｓ９０７は、第１の実施形態で説明した図５に示すステップＳ５０１からＳ５０３、および、Ｓ５０４、Ｓ５０５と同様の処理であるため説明を省略する。また、第１の実施形態と同様に、図９〜図１０に示すフローチャートは、ＣＰＵ１０１が制御プログラムを実行することにより実現されるものとする。
【００６５】
ステップＳ９０４では、指向性識別部２０５によって、対象とする紙面領域が指向性紙面であるかを判定する。具体的には、指向性紙面にあらかじめビジュアルマーカーを印刷しておき、それを読み取ることで判定する。ビジュアルマーカーには、紙面の表裏が判別可能な情報を付加する。例えば図８（ａ）において、ビジュアルマーカー８０６は、指向性紙面８０５が指向性反射面であることと、前記紙面が表面であることを表す。また、ビジュアルマーカーに紙面の識別番号などを付加しても良い。ここで対象領域が指向性紙面であればステップＳ９０５へ進み、そうでなければステップＳ９０６へ進む。
【００６６】
ステップＳ９０５では、対象領域である指向性紙面へ投影する投影画像を作成する。本処理は後述される。
【００６７】
最後に、ステップＳ９０８では、ステップＳ９０５およびＳ９０７で作成した投影画像を、ステップＳ９０２で取得した紙面の位置および大きさと、対象紙面の回転に合わせて、各紙面領域へ重畳投影する。例えば図８（ｂ）では、指向性紙面８０５の短辺あるいは長辺と基準線８０７が成す角に合わせて投影画像８０８を回転させ、投影する。
【００６８】
図１０では、図９のステップＳ９０５で説明した指向性紙面へ投影する投影画像を作成する処理について、その処理手順の一例を示すフローチャートを用いてさらに詳細に説明する。
【００６９】
まず、ステップＳ１００１において、対象領域の撮像画像から得られた原本データに関連付けされた秘匿情報があるかを確認する。該秘匿情報がなければステップＳ１００２へ進み、あればステップＳ１００６へ進む。
【００７０】
ステップＳ１００２では、まず対象の指向性紙面の近傍の通常紙面を探索する。最近傍の通常紙面との距離が閾値以下であれば、該紙面の投影情報を検索する。図１０に示さないが、ここで該紙面との距離が閾値より大、あるいは、該紙面の投影情報に秘匿情報が存在しない場合には、本処理を終了する。例えば図８（ｂ）において、指向性紙面８０５の最近傍の通常紙面は通常紙面８０２である。
【００７１】
ステップＳ１００３では、ステップＳ１００２で得た近傍の通常紙面から秘匿情報の投影画像を作成する。秘匿情報の投影画像は、対象の指向性紙面領域の位置、大きさ、および方向に基づいてレイアウトされる。指向性紙面領域の方向は、該紙面に対するビジュアルマーカーの位置によって判定できる。あるいは、該紙面の長辺および短辺のうち、基準線と成す角が閾値以下になる辺を下向きとする判定を行っても良い。例えば図８（ｂ）では、指向性紙面８０５は該紙面の閲覧者に対し、短辺を下向きとする縦長の投影画像８０８が作成される。一方（ｃ）では、指向性紙面８０５の長辺を下向きとする横長の投影画像８０９が作成される。
【００７２】
ステップＳ１００４では、対象の指向性紙面領域と前記近傍の通常紙面の領域に重なりがあるかを判定する。これは、図６のステップＳ６０３と同様に判定する。重なりがある場合にはステップＳ１００５へ進み、無い場合には本処理を終了する。なお、第２の実施形態では、通常紙面が複数ある場合は、その紙面同士の重なりが発生することがある。また、通常紙面と指向性紙面との重なりが発生することがある。何れの場合においても、重なりによって発生した隠れ領域に対する第２の実施形態の処理は第１の実施形態の処理と同様である。
【００７３】
ステップＳ１００５では、対象の指向性紙面領域と投影する秘匿情報とを関連付け、さらに対象の指向性紙面領域の表裏の状態に関する情報を保持し、本処理を終了する。例えば図８（ｂ）において、指向性紙面８０５は通常紙面８０２と重なりがあるため、通常紙面８０２の原本データに関連付けられた秘匿情報が指向性紙面８０５に関連付けられて保持される。
【００７４】
ステップＳ１００６では、対象の指向性紙面領域の表裏が上記保持されている表裏の状態と異なるかの判定を行い、異なれば秘匿情報との関連付けを解除した上でステップＳ１００２へ進み、同じであればステップＳ１００７へ進む。具体的には、ビジュアルマーカーから対象領域の表裏を読み取り、保持時の表裏と比較する。例えば図８において、ビジュアルマーカー８０６および８１０は、それぞれ指向性紙面８０５の表裏を表す。図８（ｃ）では、指向性紙面８０５の表裏は図８（ｂ）と変わらないためステップＳ１００７に進む。一方図８（ｄ）では、指向性紙面８０５が表から裏に変化している。そのため図８（ｂ）および図８（ｃ）で関連付けされていた秘匿情報は関連付けが解除され、ステップＳ１００２からステップＳ１００５の処理により投影画像８１１が作成される。
【００７５】
ステップＳ１００７では、対象の指向性紙面領域に関連付けて保持している秘匿情報をもとに、ステップＳ１００３と同様に投影画像を作成する。
【００７６】
図１０には示さないが、指向性紙面に隠れが生じた場合には、隠れ領域への投影は行わない。これは、図６のステップＳ６０２と同様に、指向性紙面領域の撮像画像と、指向性紙面の元画像との差分を取り、差が閾値以上であれば指向性紙面に隠れが生じたと判定することで実施できる。
【００７７】
また、本実施形態ではテーブルは指向性の無い領域としたが、第１の実施形態と同様に、一部あるいは全体を指向性反射面のテーブルとしても良い。その場合、図９において、図９のステップＳ９０７の紙面へ重畳する投影画像を作成した後に図５のステップＳ５０６の紙面外への投影画像を作成する処理と同様の処理を行う。ここでテーブルの指向性反射面の位置が未知の場合には、テーブル上に指向性反射面の領域を示すビジュアルマーカーを配置し、撮像画像からビジュアルマーカーを検知し内容を読み取ることで指向性反射面の領域を特定する。あるいは撮像画像から指向性反射面の色分布などを利用して領域を特定しても良い。
【００７８】
本実施形態によれば、移動可能な指向性紙面を用いて、特定方向の閲覧者のみ閲覧したい情報を投影することができる。また、紙面型の指向性反射面に対して、移動、他の紙面との重ね、裏返しなどの自然な操作を行うことで、複数の紙面の秘匿情報を効率良く閲覧者に提示することができる。
【００７９】
なお、本実施形態では１枚の指向性紙面を例に説明したが、複数枚の指向性紙面を用いても上記と同様な構成及び方法が適用できるために、同様な効果が得られる。
【００８０】
また、本実施形態は第１の実施形態と同様に撮像装置１１０が動的に撮像できる装置である。そのために、複数の紙面の移動に対して、上記処理を繰り返して、移動された紙面に対してそれぞれの投影位置を変更できる。
【００８１】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。
【００８２】
即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００８３】
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。
【００８４】
なお、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００８５】
１００  制御装置
１１０  撮像装置
１２０  投影装置
２０１  撮像制御部
２０２  領域特定部
２０３  投影情報取得部
２０４  投影情報格納部
２１０  投影画像作成部
２１１  画像変換部
２１２  投影制御部
【図１】
2015126237.tif 000003
【図２】
2015126237.tif 000004
【図３】
2015126237.tif 000005
【図４】
2015126237.tif 000006
【図５】
2015126237.tif 000007
【図６】
2015126237.tif 000008
【図７】
2015126237.tif 000009
【図８】
2015126237.tif 000010
【図９】
2015126237.tif 000011
【図１０】
2015126237.tif 000012
【図１１】
2015126237.tif 000013