(57)【要約】【課題】文書の内容に関する補足情報を文書外に表示する際、文書の内容に応じて定められた補足情報のレイアウト候補の中から文書の位置情報や補足情報の表示先の状態情報に応じて適切なレイアウトを選択し、補足情報を表示することを目的とする。【解決手段】文書の内容についての補足情報を取得する取得手段と、補足情報のレイアウト候補情報を取得する候補取得手段と、補足情報の表示先の状態情報を取得する状態情報取得手段と、補足情報の表示先の状態情報と文書の位置情報とに基づいて、補足情報のレイアウト候補の中から補足情報のレイアウトを選択する選択手段と、選択されたレイアウトに基づいて補足情報を表示する表示手段と、を有する。【選択図】図３
2016045786.tif 000002
【特許請求の範囲】
【請求項１】
文書の内容についての補足情報を取得する取得手段と、
前記補足情報のレイアウト候補情報を取得する候補取得手段と、
前記補足情報の表示先の状態情報を取得する状態情報取得手段と、
前記補足情報の表示先の状態情報と前記文書の位置情報とに基づいて、前記補足情報のレイアウト候補情報の中から前記補足情報のレイアウト情報を選択する選択手段と、
前記選択された前記レイアウト情報に基づいて前記補足情報を表示する表示手段と、
を有する画像処理装置。
【請求項２】
前記補足情報の表示先を撮影する撮影手段を更に有し、
前記状態情報取得手段は、前記撮影手段により撮影された前記表示先の画像から前記補足情報の表示先の状態情報を取得する請求項１記載の画像処理装置。
【請求項３】
前記表示手段は、投影面に前記補足情報を投影することで前記補足情報を表示する請求項１又は２記載の画像処理装置。
【請求項４】
前記投影面に配置された前記文書の位置情報を取得する位置情報取得手段を更に有する請求項３記載の画像処理装置。
【請求項５】
前記文書は、前記投影面に置かれた物理的媒体である請求項４記載の画像処理装置。
【請求項６】
前記投影面に前記物理的媒体が置かれたことを検知する検知手段を更に有する請求項５記載の画像処理装置。
【請求項７】
前記取得手段は、前記物理的媒体に対応する電子データから前記補足情報を取得し、
前記候補取得手段は、前記電子データから前記補足情報のレイアウト候補情報を取得する請求項５又は６記載の画像処理装置。
【請求項８】
前記文書は、前記投影面に投影された画像である請求項４記載の画像処理装置。
【請求項９】
前記画像の指定を受け付ける受付手段と、
前記画像を前記投影面に投影する投影手段と、
を更に有する請求項８記載の画像処理装置。
【請求項１０】
前記選択手段は、前記補足情報の表示先の状態情報に基づき前記補足情報の表示可能範囲を決定し、前記表示可能範囲と前記文書の位置情報とから前記補足情報の表示可能方向を決定し、前記表示可能方向に基づき、前記補足情報のレイアウト候補情報の中から前記補足情報のレイアウト情報を選択する請求項１乃至９何れか１項記載の画像処理装置。
【請求項１１】
前記投影面の周囲の人物の位置情報を検知する位置情報検知手段を更に有し、
前記選択手段は、前記補足情報の表示先の状態情報と前記文書の位置情報と前記周囲の人物の位置情報とに基づいて、前記補足情報のレイアウト候補情報の中から前記補足情報のレイアウト情報を選択する請求項３乃至９何れか１項記載の画像処理装置。
【請求項１２】
文書の内容についての補足情報を取得する取得手段と、
前記補足情報のレイアウト候補情報を取得する候補取得手段と、
前記補足情報の表示先の状態情報を取得する状態情報取得手段と、
前記補足情報の表示先の状態情報と前記文書の位置情報とに基づいて、前記補足情報のレイアウト候補情報の中から前記補足情報のレイアウト情報を選択する選択手段と、
前記選択された前記レイアウト情報に基づいて前記補足情報を表示する表示手段と、
を有するシステム。
【請求項１３】
画像処理装置が実行する情報処理方法であって、
文書の内容についての補足情報を取得する取得ステップと、
前記取得ステップにより取得された前記補足情報のレイアウト候補情報を取得する候補取得ステップと、
前記取得ステップにより取得された前記補足情報の表示先の状態情報を取得する状態情報取得ステップと、
前記状態情報取得ステップにより取得された前記補足情報の表示先の状態情報と前記文書の位置情報とに基づいて、前記補足情報のレイアウト候補情報の中から前記補足情報のレイアウト情報を選択する選択ステップと、
前記選択ステップにより選択された前記レイアウト情報に基づいて前記補足情報を表示する表示ステップと、
を含む情報処理方法。
【請求項１４】
コンピュータに、
文書の内容についての補足情報を取得する取得ステップと、
前記取得ステップにより取得された前記補足情報のレイアウト候補情報を取得する候補取得ステップと、
前記取得ステップにより取得された前記補足情報の表示先の状態情報を取得する状態情報取得ステップと、
前記状態情報取得ステップにより取得された前記補足情報の表示先の状態情報と前記文書の位置情報とに基づいて、前記補足情報のレイアウト候補情報の中から前記補足情報のレイアウト情報を選択する選択ステップと、
前記選択ステップにより選択された前記レイアウト情報に基づいて前記補足情報を表示する表示ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、システム、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、プロジェクタによる投影を用いて、机上に置かれた紙面の内容を装飾したり補足情報を追加投影したりする技術が開示されている。
プロジェクタで任意の机上にデジタル画像を投影する際、投影先である机の大きさや形は利用毎に異なる場合がある。また、机の上に利用者が本や鞄を置く等して、机の全面を投影に利用できない場合がある。特許文献１では、このような課題に対し、机の撮影画像から投影可能な範囲を認識して補足情報の投影位置を選択していた。また特許文献１では、十分な投影可能範囲が無い場合は補足情報を縮小する等していた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−３１９５５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ある紙面の補足情報を紙面外に表示する場合、その望ましい表示位置は紙面内容によって定まる。例えば紙面右側にある内容に対する補足情報の表示位置は、一般的にはその最近傍となる紙面右方が望ましい。しかし紙面が机の右端にあったり右側に障害物が置かれたりして、右方への表示が不可能な場合は、内容の紙面内の上下位置や周囲の別内容の状態によって、次の表示位置が定まるのが好ましい。
【課題を解決するための手段】
【０００５】
そこで、本発明の画像処理装置は、文書の内容についての補足情報を取得する取得手段と、補足情報のレイアウト候補情報を取得する候補取得手段と、補足情報の表示先の状態情報を取得する状態情報取得手段と、補足情報の表示先の状態情報と前記文書の位置情報とに基づいて、前記補足情報のレイアウト候補情報の中から前記補足情報のレイアウト情報を選択する選択手段と、選択された前記レイアウト情報に基づいて前記補足情報を表示する表示手段と、を有する。
【発明の効果】
【０００６】
本発明によれば、文書の内容に関する補足情報を文書外に表示する際、文書の内容に応じて定められた補足情報のレイアウト候補の中から文書の位置情報や補足情報の表示先の状態情報に応じて適切なレイアウトを選択し、補足情報を表示することができる。
【図面の簡単な説明】
【０００７】
【図１】画像処理装置のハードウェア構成の一例を示す図である。
【図２】図１の画像処理装置の一形態の外観及びその使用の一例を示す図である。
【図３】第１の実施形態のおける情報処理の一例を示すフローチャートである。
【図４】検知される紙の一例を示す図である。
【図５】電子データの一例を示す図である。
【図６】第１の実施形態における投影面の状態を表す情報の一例を示す図である。
【図７】補足情報を投影可能な方向を取得する処理の一例を示す図である。
【図８】補足情報の投影例を示す図である。
【図９】第３の実施形態のおける情報処理の一例を示すフローチャートである。
【図１０】第３の実施形態における投影面の状態を表す情報の一例を示す図である。
【図１１】電子文書の一例を示す図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について図面に基づいて説明する。
【０００９】
＜第１の実施形態＞
図１は、画像処理装置のハードウェア構成の一例を示す図である。
投影部１０１は、表示先である机やスクリーン等の投影面へと画像を投影する。撮影部１０２は、投影部１０１による投影可能範囲を少なくとも含むように撮影し、デジタルの画像へと変換するデジタルカメラ、又はビデオカメラである。ＵＩ部１０３は、ユーザが画像処理装置への投影内容や投影方法の指示を行うためのユーザインタフェースである。ＵＩ部１０３は、例えば、画像処理装置に備えられたボタン等である。ＵＩ部１０３は、また、ユーザの操作指示ジェスチャーを認識する仕組みを備えていてもよい。制御部１０４は、ＵＩ部１０３から得たユーザ指示に基づき、投影部１０１への画像データを提供したり、撮影部１０２から得た画像データに対して処理を行ったりする。制御部１０４は、例えば画像処理装置のＣＰＵやＧＰＵ等が記憶部１０５等に記憶されているプログラムを実行することによって実現される。記憶部１０５は、制御部１０４の動作プログラムや、動作のためのデータ、投影内容のデータ等を記憶するメモリ、ＨＤＤ等からなる。通信部１０６は、画像処理装置と他の装置（例えば、画像処理装置やサーバ等）とネットワーク等を介して通信を行う。
ＣＰＵ又はＧＰＵが記憶部１０５等に記憶されているプログラムに基づき処理を実行することによって、後述するフローチャートの処理が実現される。
【００１０】
図２は、図１の画像処理装置の一形態の外観及びその使用の一例を示す図である。
図１の画像処理装置に相当する図２中の投影装置２００は、投影部１０１に相当するプロジェクタ２０１、撮影部１０２に相当するカメラ２０２を有する。投影装置２００は、机等の投影面２１０上に画像を投影するよう配置される。カメラ２０２は、撮影部１０２として、プロジェクタ２０１の投影面２１０の状態、即ち面形状や投影面２１０上に置かれた物体等を認識可能な撮影画像を制御部１０４に提供する。撮影部１０２は、カメラ２０２が投影面に正対しない場合に生じるひずみを補正し、直上から撮影したように画像を補正する仕組みを備えていてもよい。また撮影部１０２は、投影装置２００に対するユーザ指示のジェスチャーを認識するためのビデオカメラやセンサー等を更に備えていてもよい。
図２の例では、ＵＩ部１０３、制御部１０４、記憶部１０５及び通信部１０６はすべて投影装置２００内に一体化されているものとする。但しこれはあくまで一例であって、前述の部分は投影装置２００から分離されていてもよい。即ち、上述した機能は１つの装置に実装されていてもよいし、複数の装置から構成されるシステムに実装されていてもよい。例えば、投影装置２００は、パーソナルコンピュータと接続され、１０３〜１０６は前記パーソナルコンピュータ内に存在していてもよい。又は記憶部１０５のうち、投影内容のデータを記憶する部分のみがイントラネットやインターネット上のサーバにあって、投影装置２００は、そのデータを有線や無線通信により通信部１０６を介して取得してもよい。また制御部１０４に係るプログラムの一部又は全部はサーバ上のＣＰＵ等で動作してもよい。
【００１１】
図２において、物理的媒体２２０は、投影面２１０上に置かれた紙等である。物理的媒体２２０（以下、紙２２０という）は、その内容として媒体上に記載された文書情報を含む。内容２２１は文書情報中のひとつの内容を示す。内容２２１の例としては、写真や図、表、ひとまとまりの文章やそれらの組み合わせがある。補足情報２２２は投影装置２００によって投影される内容２２１の補足情報である。補足情報２２２は対象である写真や図、表、文章の関連情報であって、例えば、対象を説明する文章や表、図や写真等である。
ユーザが紙２２０を投影面２１０上に置くと、投影装置２００は、紙２２０の配置を検知し、紙２２０内の内容を補足する補足情報２２２を投影面２１０上の適切な位置に投影する。ここでユーザが紙２２０の位置を投影面２１０上で移動した場合、投影装置２００は、それに合わせて補足情報２２２の投影位置を適切な位置に移動させる。これらの動作を実現するより具体的な処理例を以下に説明する。
【００１２】
図３は、投影装置２００の第１の実施形態のおける情報処理の一例を示すフローチャートである。
ステップＳ３０１では、制御部１０４は、ユーザが投影面２１０上に紙が置かれたことを検知する。例えば、制御部１０４は、撮影部１０２としてビデオカメラが用いられていれば、得られたフレーム画像間の差分から四角いオブジェクトの出現として前記紙が置かれたことを検知すればよい。又は、制御部１０４は、ＵＩ部１０３が赤外線センサーを備えている場合、投影面中の紙面領域として赤外線反射率の異なる四角領域を検知することにより前記紙が置かれたことを検知するようにしてもよい。
ステップＳ３０２では、制御部１０４は、検知された紙の撮影画像データを利用して、紙に対応する電子データを特定する。対応する電子データとは、同紙の内容及び補足情報を電子的に記述したデータで、記憶部１０５に検索可能な形で格納されているものとする。制御部１０４は、紙の撮影画像を、前述のビデオカメラの画像から検出された紙の範囲を切り出すことによって得ることができる。又は、制御部１０４は、紙の撮影画像を、別センサーで紙の配置を検知した後に撮影部が撮影した静止画像から切り出すようにしてもよい。制御部１０４は、紙の撮影画像から検索のための特徴量を抽出し、記憶部１０５から検索することで前記特定を行う。制御部１０４は、検索のための特徴量として、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）等の画像特徴量や、紙のヘッダやタイトル文字、本文部のＯＣＲ結果等を用いることができる。又は、対応電子データを一意に特定するようなコード情報が予め紙内に印刷されている場合、制御部１０４は、このコード情報を抽出して特徴量として用いるようにしてもよい。コード情報としては、１次元や２次元のバーコード、電子すかし等がある。
【００１３】
検知される紙の一例と対応する電子データの一例を、それぞれ図４、図５に示す。図４の紙４００は、上部にタイトルを持つ２カラムのページである。右カラムの途中には写真４０１が配置されている。紙４００に対応するのが図５の電子データ５００である。本例において電子データ５００はＨＴＭＬ＋ＣＳＳを模した形式で書かれている。主な構成は、ページ内容記述５１０と同内容のレイアウトに関するスタイル記述５２０とである。ページ内容記述とスタイル記述との対応付けは、ページ内容記述中の各要素に付与される属性ｉｄにより行われる。例えばページ内容記述５１０中の＜ｄｉｖ＞、即ちブロック要素５１１は、そのｉｄ属性値によりページの幅と高さとを規定するスタイル"ｐａｇｅ"と対応づけられページ相当にレイアウトされる。ページ内には、"ｔｉｔｌｅ"スタイルに対応づけられた＜ｐ＞即ちパラグラフ要素と、それぞれ浮動枠であるスタイル"ｃｏｌ１"、"ｃｏｌ２"と対応づけられ左詰めの２カラムとしてレイアウトされるブロック要素５１２、５１３とがある。左のカラムに対応するブロック要素５１２内には、「Ａｂｃ〜」で始まるパラグラフ要素がある。右のカラムには、「Ｄｅｆ〜」で始まるパラグラフ要素、＜ｉｍｇ＞即ち画像要素５１４、「Ｇｈｉ〜」で始まるパラグラフ要素の３つがある。これらページ内容記述をスタイル記述に従ってレイアウトし、紙面上に印刷されたものが、図４の紙４００となる。即ち紙４００中の写真４０１は、電子データ５００の画像要素５１４に対応する。
【００１４】
ステップＳ３０３では、制御部１０４は、紙に対応する電子データから、紙の内容に対する補足情報とそのレイアウト候補とを取得する。図５の例では、補足情報は＜ｅｘ：ｐ＞という要素名を持つ補足情報要素５１５として記述されている。ここで補足情報は、親要素である画像要素５１４を説明するパラグラフである。補足情報要素５１５は、対応するスタイルを表わす属性としてｉｄ、ｉｄ２、ｉｄ３の３つの属性を持っている。それら順番を持った属性値"ｅｘ−ｒｉｇｈｔ"，"ｅｘ−ｂｏｔｔｏｍ"，"ｅｘ−ｔｏｐ"の組が補足情報のレイアウト候補となる。レイアウト候補は、レイアウト候補情報の一例である。補足情報のレイアウト候補は、紙の内容のレイアウトに応じて予め設定されるものである。例えば補足情報要素５１５の対象である画像要素５１４の画像は、図４における写真４０１のように、ページの右側やや下よりにレイアウトされる。したがって、ページ外に補足情報を表示する場合は近傍となるページの右側にレイアウトするのが最も好ましい。右側が表示不可能な場合は下側、下側も不可能なら上側が順に好ましく、左コラムを跨ぐ形になるページの左側は好ましくない。このような判断により、補足情報要素５１５のレイアウト候補を示す属性値は予め設定される。但し、レイアウト候補の属性値の設定の根拠は別のものであってもよい。例えば、ページ中央にある内容の補足情報を、その周囲において間にあっても視認や理解の妨げになるような別内容がない方向を、好ましい方向として設定してもよい。制御部１０４は、例えば、ＵＩ部１０３等を介したユーザの操作に応じて前記属性値を変更するようにしてもよい。
ステップＳ３０３の処理は、候補取得の処理の一例である。
【００１５】
ステップＳ３０４では、制御部１０４は、投影面２１０の状態を表す情報を取得する。本例における投影面の状態は、投影可能な範囲及び同範囲内の各位置において補足情報をどの方向に投影可能かという情報を含む。投影面の状態を表す情報の例を図６に示す。
図６（ａ）は、長方形の机６０１を投影面とした場合の投影面の状態の情報の一例である。投影可能範囲６００を７×６のブロックに分割し、各ブロックから机６０１の投影面内に端まで２ブロック以上存在する方向を、補足情報が投影可能な方向として矢印で表している。図６（ｂ）は同様の規準による、６０２が示す楕円形の机の内部を投影面とした場合の投影面の状態の情報の一例である。投影可能範囲は、表示可能範囲の一例である。
ここで、制御部１０４は、投影面と投影可能範囲との関係を、撮影部１０２によって撮影される投影面の画像から得ることができる。例えば、制御部１０４は、投影部１０１により投影可能範囲全域にパターンを投影し、撮影画像内から同パターンが検出される範囲を投影可能範囲と判断する。又は、制御部１０４は、パターンの投影を使わずに、撮影画像における投影面の色から投影可能範囲を推定したり、エッジ情報を利用して投影面の境界を推定し、内部を投影可能範囲と判断したりしてもよい。
制御部１０４は、撮影による投影面の状態の情報取得を、本フローチャートの動作に前もって一度行ってもよいし、本ステップＳ３０４においてその都度撮影して状態を更新するようにしてもよい。又は、制御部１０４は、本フローチャートの動作中、ビデオカメラで常時撮影しながら状態を更新するようにしてもよい。制御部１０４が状態を更新するよう制御することで、投影面の動的な変化にも対応することができる。例えば、図６（ａ）のケースで、動作途中に投影面の机６０１の右下に立体的な障害物が置かれた場合、投影面の状態は図６（ｃ）のように更新される。制御部１０４は、投影面に置かれた障害物６０３を検知し、立体物が占める範囲３×３を除いた投影可能範囲６０４に基づいて、各ブロックの補足情報を投影可能な投影可能方向を更新する。なお、制御部１０４は、更新時に、動作中のステップＳ３０１で検知した紙自体が障害物として検出されないようにする。そのため、制御部１０４は、検知した紙の範囲を障害物認識対象から除外したり、又は距離情報を計るセンサーを用いて立体物のみを検出するようにしたりする。又は、制御部１０４は、動作中に投影面に置かれた紙のサイズや向きによって投影面の状態を変えてもよい。例えば、制御部１０４は、紙のサイズやアスペクト比に基づいて前述のブロックのサイズやアスペクト比を変えてもよい。
ステップＳ３０４の処理は、状態情報取得の処理の一例である。投影可能方向は、表示可能方向の一例である。
【００１６】
図３の説明に戻る。
ステップＳ３０５では、制御部１０４は、紙の位置に基づいて、補足情報を投影可能な方向を取得する。より具体的には、制御部１０４は、ステップＳ３０４で取得した投影面の状態の情報から、紙の重心位置を含むブロックの投影可能方向を取得する。この処理は、紙の位置情報を取得する位置情報取得の処理の一例である。図７に例を示す。制御部１０４は、投影可能範囲７００において、紙が位置７０１にある場合は、その重心を含むブロック７０２に示される右、上、左の３方向を投影可能方向として取得する。制御部１０４は、紙が位置７０３にある場合は、ブロック７０４に示される上、左、下の３方向を投影可能方向として取得する。
ステップＳ３０６では、制御部１０４は、補足情報の仮投影方向Ａを、ステップＳ３０３で取得したレイアウト候補中でトップ候補の方向に定める。図５の補足情報要素５１５の例では、先頭のｉｄ属性値"ｅｘ−ｒｉｇｈｔ"から仮投影方向Ａは右方向となる。
【００１７】
ステップＳ３０７では、制御部１０４は、仮投影方向Ａが投影可能かどうかを、ステップＳ３０５で得た情報に基づいて判断する。制御部１０４は、投影可能な場合はステップＳ３０８に進み、Ａ方向のレイアウト候補をレイアウトに選択する。そして、制御部１０４は、選択したレイアウトのスタイルに従って補助情報を投影する。制御部１０４は、投影不可の場合はステップＳ３０９に進む。ステップＳ３０８で選択されたレイアウトは、レイアウト情報の一例である。
例えば図７の位置７０１に紙がある場合、その重心位置のブロック７０２では右、上、左が投影可能方向となる。したがって、図５の補足情報要素５１５のレイアウト候補中トップ候補の方向である右方向は投影可能である。よって、制御部１０４は、ステップＳ３０８に進み、"ｅｘ−ｒｉｇｈｔ"に対応するスタイル記述５２１のレイアウトを用いて、パラグラフ内の文字列"Ｔｈｉｓ  ｆｉｇｕｒｅ  ｉｓ  Ａ"を補足情報として紙の右側に投影する。図８（ａ）の８０１にこの補足情報の投影例を示す。一方、図７の位置７０３に紙がある場合、その重心位置のブロック７０４では上、左、下が投影可能方向であり、右方向は投影可能方向では無い。そのため、制御部１０４は、ステップＳ３０９に進む。
【００１８】
ステップＳ３０９では、制御部１０４は、ステップＳ３０３で取得したレイアウト候補に、現在候補の次候補があるか否かを判定する。次候補がある場合、制御部１０４は、ステップＳ３１０に進み、次候補方向を新たな仮投影方向ＡとしてステップＳ３０７以下の処理を繰り返す。次候補が無い場合、制御部１０４は、ステップＳ３１１に進み、補助情報の投影は行わずにステップＳ３１２に進む。このとき、制御部１０４は、投影や音声で補助情報が行えない旨をユーザに警告してもよい。又は、制御部１０４は、縮小表示の投影やレイアウト候補にない方向への投影、紙面内の空き領域への投影等を行ってもよい。
図７の位置７０３に紙がある場合、ステップＳ３０９〜Ｓ３１０でトップ候補の次候補、即ちｉｄ２属性値"ｅｘ−ｂｏｔｔｏｍ"から下方向が仮投影方向Ａとなる。そしてステップＳ３０７に戻って、仮投影方向Ａは投影可能方向であるため、制御部１０４は、ステップＳ３０８に進む。そして、制御部１０４は、"ｅｘ−ｂｏｔｔｏｍ"に対応するスタイル記述５１３によるレイアウトを用いて、パラグラフ内の文字列"Ｔｈｉｓ  ｆｉｇｕｒｅ  ｉｓ  Ａ"を補足情報として紙の下側に投影する。図８（ｂ）の８０２にこの補足情報の投影例を示す。
ステップＳ３１２では、制御部１０４は、ユーザによる紙の移動が検知されるまでステップＳ３１２の処理を繰り返す。紙の移動が検知されると、制御部１０４は、ステップＳ３０５に戻って以下の処理を繰り返す。例えば、図７の位置７０３から位置７０１へユーザが紙を移動した場合、移動元では第２のレイアウト方向候補を用いて紙の下側に投影されていた補足情報は、移動先ではその投影可能方向に従い第１のレイアウト方向候補である右側に投影される。
【００１９】
以上説明したように、第１の実施形態によれば、以下のことが可能となる。即ち、投影面に置かれた紙の内容に関する補足情報を紙外に投影する際、紙の内容に応じて定められた補足情報のレイアウト方向候補の中から紙の位置によって決定される投影可能方向と合致する中で最も好ましい方向が選択されてレイアウトされる。また、前記の投影可能方向は投影面を撮影した画像から決定されるので、投影面の形状変化や障害物の有無に従った方向が選択されてレイアウトされる。
なお、上記実施形態の説明で使用した電子データは一例であって、他のフォーマット、例えばＳＶＧやＰＤＦ、ＸＰＳ等の電子データであってもよい。補足情報は文字以外のグラフィック表現や画像であってもよいし、紙面の内容と補足情報との対応を明示するために両者を結ぶ直線等を重畳投影するようなグラフィカルな表現を含んでいてもよい。補足情報の方向は上下左右以外に斜め方向を含んだり、任意の角度で指定されたりしてもよい。また、投影情報のレイアウト候補の中に、紙面内のマージン領域等へ重畳投影するようなレイアウトを含んでいてもよい。
【００２０】
＜第２の実施形態＞
複数の紙が投影面に置かれる場合、制御部１０４は、第１の実施形態における図３のフローチャートの処理を、それぞれの紙に対し、置かれた順に適用してもよい。その際、２枚目の紙を処理する際には、制御部１０４は、ステップＳ３０４における投影面の状態において、先に処理した１枚目の紙が置かれた範囲を投影不可能な障害物の範囲として扱えばよい。同様にＮ枚目以降の紙を処理する際には、制御部１０４は、１〜Ｎ−１枚目の紙の範囲を障害物の範囲とする。このようにすることで、複数の紙が置かれるケースに対しても、それぞれの紙の補足情報を、その内容と投影面の状態に従って好ましい方向にレイアウトすることができる。
【００２１】
＜第３の実施形態＞
紙等の物理的媒体の代わりに、制御部１０４は、ユーザの指定操作に応じて、電子データを紙相当のレイアウトのページ画像として投影面に投影した電子データに対して上述したような処理を適用することができる。図９のフローチャートを用いてその動作例を説明する。
ステップＳ９０１では、制御部１０４は、ユーザによる投影する電子データの指定を受け付ける。より具体的には、制御部１０４は、投影装置２００等を用いて電子データの選択メニューのようなＵＩを投影する。そして、制御部１０４は、それらに対するユーザのボタン操作やタッチ等のジェスチャー操作を、ＵＩ部１０３を介して取得し、認識し、電子データの指定を受け付ける。又は、制御部１０４は、投影装置２００等を用いてソフトウェアキーボードを投影して、ユーザによるソフトウェアキーボードを介した電子データのファイル名やＵＲＬの入力を介して、電子データの指定を受け付けるようにしてもよい。
ステップＳ９０１の処理は、電子データの指定を受け付ける受付処理の一例である。
ステップＳ９０２では、制御部１０４は、ステップＳ９０１で指定された電子データをページにレイアウトして投影面上に投影する。制御部１０４は、ユーザが投影面上の任意の位置をタッチする等して投影の位置を指定し、その指定を受け取り、前記位置に指定された電子データを投影するものとする。本例では、第１の実施形態に使用したものと同じ図５の電子データ５００が指定され、そのレイアウト結果としては図４の紙４００と見た目の同じページ画像が投影される。
【００２２】
続くステップＳ９０３〜Ｓ９１１は、第１の実施形態における図３のステップＳ３０３〜Ｓ３１１の説明にて、「紙」の部分が「ページ画像」になるだけで、他は同一となるため処理内容の説明は省略する。処理例についても同様で、補足情報のレイアウト候補"ｅｘ−ｒｉｇｈｔ"，"ｅｘ−ｂｏｔｔｏｍ"，"ｅｘ−ｔｏｐ"に対し、例えば図７の位置７０１にページ画像が投影されている場合、投影可能方向は右、上、左である。したがってトップのレイアウト候補である"ｅｘ−ｒｉｇｈｔ"が選択され、補足情報はページ画像の右側にレイアウトされ投影される。位置７０３にページ画像が投影されている場合、投影可能方向は上、左、下である。したがって次点のレイアウト候補である"ｅｘ−ｂｏｔｔｏｍ"が選択され、補足情報はページ画像の下側にレイアウトされ投影される。
ステップＳ９１２では、制御部１０４は、ジェスチャーによるページ画像の投影位置の移動指示を検知して、ステップＳ９０５に戻り、以下の処理を繰り返す。ジェスチャーによる移動指示とは、例えばページ画像の投影部分をタッチし、そのままスライドして移動先で離す、といったジェスチャーを制御部１０４が、ＵＩ部１０３を介して取得し、解釈して行う。第１の実施形態での説明と同様、図７の位置７０３から位置７０１へユーザがページ画像の投影を移動したとする。この場合、移動元では第２のレイアウト方向候補を用いて紙の下側に投影されていた補足情報は、移動先では、その投影可能方向に従った第１のレイアウト方向候補である右側に投影される。
【００２３】
以上説明したように、第３の実施形態によれば、以下のことが可能となる。即ち、投影面に投影されるデータに関する補足情報を投影する際、データの内容に応じて定められた補足情報のレイアウト方向候補の中からデータの投影の位置によって決定される投影可能方向と合致する好ましい方向が選択されてレイアウトされる。また、前記の投影可能方向は投影面を撮影した画像から決定されるので、投影面の形状変化や障害物の有無に従った方向が選択されてレイアウトされる。
【００２４】
＜第４の実施形態＞
第１〜第３の実施形態では、制御部１０４は、投影面の状態の情報として、投影可能範囲をブロックに分割し、各ブロックに補足情報の投影可能方向を示す情報を設定した。このように投影可能範囲全域に対する情報を生成するのではなく、制御部１０４は、補足情報のレイアウト候補順に、同候補のレイアウト先の範囲が投影可能か否かを撮影画像により順にチェックし、最初に投影可能となる候補を採用するよう動作してもよい。
以上説明したように、第４の実施形態によれば、以下のことが可能となる。即ち、紙又は投影面に投影されるページ画像の内容に関して補足情報を投影する際、内容に応じて定められた補足情報のレイアウト方向候補の中から紙やページ画像投影の位置により決定される投影可能方向と合致する方向を選択してレイアウトすることができる。
【００２５】
＜第５の実施形態＞
補足情報のレイアウト候補を選択する際に、投影可能な方向を候補順ではなく、特定の条件を満たす候補を優先して選択するようにしてもよい。例えば、投影装置２００がユーザの視線検出機能を有している場合、制御部１０４は、現在のユーザの視線先に対象補足情報を投影可能な範囲があれば、優先してレイアウト先に選択するようにしてもよい。
【００２６】
＜第６の実施形態＞
対面商談のように、机を挟んだ両側に店員と顧客とが座り、店員が机上で書類の説明をする場合がある。この机を投影面として、投影装置２００により紙の書類の補足情報を投影表示する場合、制御部１０４は、机上の店員側と顧客側とでレイアウトとを変えるようにしてもよい。図１０は、店員であるユーザ１００１と顧客であるユーザ１００２とが投影面である机１０００を挟み座っている場合の、投影面の状態の情報の一例を示す図である。投影可能範囲１００３を７×６のブロックに分割し、その上半分であるユーザ１００２側では、制御部１０４は、投影可能方向を第１の実施形態の図６と同じルールで設定している。一方、下半分であるユーザ１００１側では、制御部１０４は、図６と同様のルールだが上方は投影可能方向としないように設定している。このように投影可能方向を設定することで、顧客側では補足説明を投影可能な全方向に投影可能とするのに対し、店員側は左右か下のみにして顧客側の投影可能範囲を妨げないようにすることができる。
例えば、制御部１０４は、ビデオカメラやセンサー等から投影面の周囲の人物の位置情報を検知することができる。この処理は、位置情報検知処理の一例である。
【００２７】
図１０の場合で、紙の代わりにページ画像の投影を説明書類として用いてもよい。このとき、制御部１０４は、投影面の状態の情報に、補足情報の投影可能方向のみではなく、ページ内容に対するレイアウト指示を含めてもよい。例えば、投影可能範囲の上半分と下半分とに、ページ内容のレイアウトとして用いるべきスタイルとして各々異なるスタイルの使用指示を設定しておく。図１０のケースに好適な図１１の電子文書１１００の例を示す。電子文書１１００中のスタイル記述１１２０内には、下半分に投影するときのユーザ１００１向きのスタイル記述１１２１と、上半分に投影するときに１８０度回転したユーザ１００２向きのスタイル記述１１２２と、が併記される。ページ内容記述１１１０内の要素には、ユーザ１００１向きの対応スタイルとしてｉｄ属性値、ユーザ１００２  向きの対応スタイルとしてａｌｔ＿ｉｄ属性値が記述されている。そして、ページ画像の表示位置に応じて、制御部１０４は、前述の通り、この２種の属性値を使いわけてレイアウトしたページ画像を生成し投影する。補足情報の要素１１１５においても、同様にユーザ１００１向きのレイアウト候補の対応スタイルとしてｉｄ、ｉｄ２、ｉｄ３、ユーザ１００２向きのレイアウト候補の対応スタイルとしてａｌｔ＿ｉｄ、ａｌｔ＿ｉｄ２、ａｌｔ＿ｉｄ３が記述される。そして、制御部１０４は、ページ画像の位置に応じて投影可能方向な中からレイアウト候補を選択して補助情報の投影を行う。
【００２８】
前述のスタイルは一例であって、回転以外にもフォントサイズや段組み等、様々なレイアウトを投影面の位置に従って適用するようにしてもよい。更に、投影装置２００がユーザの現在位置を検知する人物検知センサーを備えている場合、制御部１０４は、ユーザの現在位置に応じて投影面の位置毎のスタイル指定情報を変更するようにしてもよい。加えて、制御部１０４は、ユーザの属性を示すプロファイル等を取得して、ユーザ属性によって使用レイアウトを変更するようにしてもよい。例えば、制御部１０４は、店員と顧客とで、補足情報のレイアウトを変更したり、レイアウトのオンオフにより表示内容を異なるものにしたりしてもよい。
【００２９】
以上説明したように、第６の実施形態によれば、以下のことが可能となる。即ち、紙や投影面に投影されるデータ内容に関する補足情報を投影する際、内容に応じて定められた補足情報のレイアウト方向候補の中からデータの投影の位置によって決定される投影可能方向と合致する好ましい方向が選択されてレイアウトされる。更に、投影されるデータ内容のレイアウト自体を投影位置によって定まるスタイル指定によって変更することができる。
【００３０】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００３１】
以上、上述した各実施形態によれば、以下のことが可能となる。即ち、文書の内容に関する補足情報を文書外に表示する際、文書の内容に応じて定められた補足情報のレイアウト候補の中から文書の位置情報や補足情報の表示先の状態情報に応じて適切なレイアウトを選択し、補足情報を表示することができる。
【符号の説明】
【００３２】
１０１  投影部、１０２  撮影部、１０３  ＵＩ部、１０４  制御部、１０５  記憶部、１０６  通信部
【図１】
2016045786.tif 000003
【図２】
2016045786.tif 000004
【図３】
2016045786.tif 000005
【図４】
2016045786.tif 000006
【図５】
2016045786.tif 000007
【図６】
2016045786.tif 000008
【図７】
2016045786.tif 000009
【図８】
2016045786.tif 000010
【図９】
2016045786.tif 000011
【図１０】
2016045786.tif 000012
【図１１】
2016045786.tif 000013