(57)【要約】【課題】対象物に提示情報を投影表示する際におけるユーザの視認性を向上する。【解決手段】撮像デバイスと表示デバイスとを備えた情報処理装置において、撮像デバイスを通じて得られた撮像画像に含まれるマーカーのマーカーＩＤと位置を認識し、撮像画像にマーカーが１つ以上含まれているか否かを判定する（Ｓ２０３）。撮像画像にマーカーが含まれている場合（Ｓ２０３：Ｙ）、関連情報取得部は、マーカーＩＤに対応する関連情報を取得する（Ｓ２０４）。この際、画像に含まれるマーカーの大きさから、情報処理装置とマーカーとの距離を求める（Ｓ２１２）。距離が短い場合には、複数のマーカーのそれぞれについて、マーカーに関連した提示情報を表示する。距離が長い場合には、１つの提示情報のみを表示する。【選択図】図２
2017058657.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置であって、
対象物を撮像する撮像手段と、
前記撮像手段が撮像した撮像画像を用いて、前記対象物に対応する関連情報を前記対象物の位置に基づいて特定される位置に表示するための提示情報を生成する生成手段と、
前記生成された提示情報を含んだ画像を表示する画像表示手段と、
前記対象物と前記情報処理装置までの距離を取得する距離取得手段と、を備え、
前記生成手段は、前記撮像画像および前記距離取得手段が取得した距離が所定値より大きくなったときに、前記提示情報に含まれる情報量を変化させて前記提示情報を生成することを特徴とする、
情報処理装置。
【請求項２】
前記生成手段は、前記取得した距離が前記所定値より大きくなったときに、前記提示情報の表示形態を変化させて前記提示情報を生成することを特徴とする、
請求項１に記載の情報処理装置。
【請求項３】
前記生成手段は、前記取得した距離が前記所定値より大きくなったときに、前記提示情報に含まれる情報量を減少させて前記提示情報を生成することを特徴とする、
請求項１に記載の情報処理装置。
【請求項４】
前記対象物がマーカーであることを特徴とする請求項１〜３のいずれかに記載の情報処理装置。
【請求項５】
前記マーカーの大きさが既知であり、
前記距離取得手段は、前記マーカーが占める領域であるマーカー領域の大きさを求め、求められたマーカー領域の大きさと前記マーカーの大きさとを用いて距離を決定することを特徴とする、
請求項４に記載の情報処理装置。
【請求項６】
前記対象物の大きさが既知であり、
前記距離取得手段は、前記対象物が占める領域の大きさを求め、求めた領域の大きさと前記対象物の大きさとを用いて距離を決定することを特徴とする、
請求項１に記載の情報処理装置。
【請求項７】
前記撮像画像には前記対象物が複数含まれ、
前記生成手段は、前記距離が所定値未満の場合には、前記対象物ごとに前記提示情報を生成し、前記距離が所定値以上の場合には、前記対象物の個数よりも少ない前記提示情報を生成することを特徴とする、
請求項１に記載の情報処理装置。
【請求項８】
前記撮像手段は、光学系撮像手段であり、
前記距離取得手段は、前記光学系撮像手段の焦点距離から前記距離を求めることを特徴とする、
請求項１に記載の情報処理装置。
【請求項９】
前記画像表示手段は、光学系画像投影手段であり、
前記距離取得手段は、前記光学系画像投影手段の焦点距離から前記距離を求めることを特徴とする、
請求項１に記載の情報処理装置。
【請求項１０】
前記生成手段は、前記対象物に対して、前記対象物の近傍にあってかつ表示された提示情報の視認が可能な領域に前記画像を表示するように前記画像表示手段を制御することを特徴とする、
請求項１に記載の情報処理装置。
【請求項１１】
前記生成手段は、前記対象物に隣接してかつ色の勾配が所定値以下である領域に前記画像を表示するように前記画像表示手段を制御することを特徴とする、
請求項１に記載の情報処理装置。
【請求項１２】
前記撮像画像には前記対象物が複数含まれ、
前記生成手段は、複数の前記対象物を、それぞれ１つ以上の対象物を含んだグループにグループ化し、それぞれのグループに対して１つの提示情報を対応させることを特徴とする、
請求項１に記載の情報処理装置。
【請求項１３】
前記生成手段は、前記対象物に対応する関連情報に基づいてグループ分けを行うことを特徴とする、
請求項１２に記載の情報処理装置。
【請求項１４】
前記生成手段は、前記グループに含まれる前記対象物に共通する関連情報を前記グループの提示情報として生成することを特徴とする、
請求項１３に記載の情報処理装置。
【請求項１５】
前記生成手段は、前記対象物の位置に基づいてグループ分けを行うことを特徴とする、
請求項１２に記載の情報処理装置。
【請求項１６】
前記生成手段は、前記グループに含まれる対象物のうち少なくとも２つ以上に共通する関連情報を前記グループの提示情報として生成することを特徴とする、
請求項１２に記載の情報処理装置。
【請求項１７】
前記生成手段は、前記取得した距離が所定値より大きくなったときには前記提示情報に含まれる文字を削除することで、情報量を減少させることを特徴とする、
請求項１２に記載の情報処理装置。
【請求項１８】
前記生成手段は、前記グループに含まれる対象物の組合せが複数通り存在する場合は、前記グループを構成する対象物同士の類似度を求め、各グループについて求められた類似度から、前記グループに含まれる対象物の組合せを決定することを特徴とする、
請求項１２に記載の情報処理装置。
【請求項１９】
前記生成手段は、前記グループに含まれる対象物の組合せが複数通り存在する場合は、前記グループを構成する対象物同士の距離を求め、各グループについて求められた距離から、前記グループに含まれる対象物の組合せを決定することを特徴とする、
請求項１２に記載の情報処理装置。
【請求項２０】
対象物を撮像する撮像手段と、
前記撮像手段が撮像した撮像画像を用いて、前記対象物に対応する関連情報を前記対象物の位置に基づいて特定される位置に表示するための提示情報を生成する生成手段と、
前記生成された提示情報を含んだ画像を表示する画像表示手段と、を備え、
前記撮像画像には、その大きさが既知である対象物が含まれ、
前記生成手段は、前記撮像画像における前記対象物が占める領域の大きさを求め、求められた前記領域の大きさと前記対象物の大きさとを用いて前記提示情報に含まれる情報量を決定することを特徴とする、
情報処理装置。
【請求項２１】
前記生成手段は、前記領域が所定値よりも小さくなったときに前記提示情報に含まれる情報量を減少させて前記提示情報を生成することを特徴とする、
請求項２０に記載の情報処理装置。
【請求項２２】
情報処理装置の制御方法であって、
撮像手段により、対象物を撮像する工程と、
距離取得手段により、前記対象物と前記情報処理装置までの距離を取得する工程と、
生成手段により、前記撮像手段が撮像した撮像画像を用いて、前記対象物に対応する関連情報を前記対象物の位置に基づいて特定される位置に表示するための提示情報を生成するとともに、前記撮像画像、および、前記距離取得手段が取得した距離を用いて、距離が所定値より大きくなったときに前記提示情報に含まれる情報量を減少させて前記提示情報を生成する工程と、
画像表示手段により、前記生成された提示情報を含んだ画像を表示する工程と、を有することを特徴とする、
情報処理装置の制御方法。
【請求項２３】
コンピュータを、
対象物を撮像する撮像手段と、
前記撮像手段が撮像した撮像画像を用いて、前記対象物に対応する関連情報を前記対象物の位置に基づいて特定される位置に表示するための提示情報を生成する生成手段と、
前記生成された提示情報を含んだ画像を表示する画像表示手段と、
前記対象物と前記コンピュータまでの距離を取得する距離取得手段と、を備え、
前記生成手段は、前記撮像画像、および、前記距離取得手段が取得した距離を用いて、距離が所定値より大きくなったときに前記提示情報に含まれる情報量を減少させて前記提示情報を生成することを特徴とする、
情報処理装置として機能させためのコンピュータプログラム。
【請求項２４】
請求項２３記載のコンピュータプログラムが格納された、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像から認識した物体に関する情報を表示する技術に関する。
【背景技術】
【０００２】
従来、ユーザが着目する対象に、関連情報を投影表示する技術が知られている。例えば、特許文献１には、対象物を撮像し、撮像した対象物に関連する関連情報を検索し、対象物に対して投影する技術が開示されている。この技術においては、対象物の位置及び形状を検出し、検出された位置及び形状に基づいて検索された関連情報を対象物に投影している。
また、特許文献２には、情報を投影する際、情報を投影する装置から投影対象までの距離に応じて投影する画像の大きさや位置を変更する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−８６６１５号公報
【特許文献２】国際公開第２０１１／１０５５０２号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
実世界に存在する物体に対してその物体の関連情報を投影する場合に、ユーザが視認しやすい関連情報の情報量は、投影環境に応じて異なる。例えば、ユーザが投影装置を把持して運ぶことができるモバイル型の投影装置では、ユーザと投影面となる物体との間の距離が可変となる。一般的には、投影装置が同じ画像を投影し続けている間に投影装置が投影面から離れると、投影面のうち投影光が照射される範囲は広がる。このとき投影面上では、投影画像に含まれる文字や画像は拡大されるように見える。しかしながら、実世界に存在する物体上を投影面として用いる場合、物体の大きさは、ユーザと投影面の距離によらず変化しない。従って、ユーザが投影面から遠ざかるにつれ、拡大されていく投影画像に対し、物体の見た目は相対的に小さくなる。つまり、ユーザと投影面の距離が離れるにつれて、投影画像全体に対して、物体の関連情報を投影すべき部分領域は小さくなる。このように投影範囲の大きさが限られる状況では、投影する情報量が多いと、その内容の視認が困難になる。
【０００５】
特許文献１では、投影内容は、装置と投影対象の相対位置に基づいて生成される。しかし、特許文献１は、投影する関連情報の情報量を投影環境で変化させることについては何等記載していない。特許文献２は、投影面の距離に応じて投影画像の大きさや位置を変えることについての記述はあるものの、投影する関連情報の情報量を投影環境で変化させることについては記述していない。本発明は、上記課題を鑑みてなされたものであり、投影装置と投影面となる物体の間の距離が可変な環境で物体上に該物体の関連情報を投影させる場合の関連情報の視認性を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明にかかる情報処理装置は、対象物を撮像する撮像手段と、前記撮像手段が撮像した撮像画像を用いて、前記対象物に対応する関連情報を前記対象物の位置に基づいて特定される位置に表示するための提示情報を生成する生成手段と、前記生成された提示情報を含んだ画像を表示する画像表示手段と、前記対象物と前記情報処理装置までの距離を取得する距離取得手段と、を備える。前記生成手段は、前記撮像画像および前記距離取得手段が取得した距離が所定値より大きくなったときに、前記提示情報に含まれる情報量を変化させて前記提示情報を生成する。
【発明の効果】
【０００７】
本発明によれば、投影装置と投影面となる物体の間の距離が可変な環境で、物体上に該物体の関連情報を投影させる場合の関連情報の視認性を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】（ａ）は、第１実施形態にかかる情報処理装置のハードウェア構成図、（ｂ）は、情報処理装置に形成される機能を表す機能ブロック図。
【図２】（ａ）は、第１実施形態における処理を示すフローチャート、（ｂ）は、提示情報の作成処理を示すフローチャート。
【図３】（ａ）は、関連情報の一例、（ｂ）及び（ｃ）は、作成される提示情報の一例、（ｄ）及び（ｅ）は、投影結果の説明図。
【図４】（ａ）は、単一のマーカーに対応する提示情報の作成処理を示すフローチャート、（ｂ）及び（ｃ）は、作成される提示情報の一例、（ｄ）及び（ｅ）は投影結果の説明図。
【図５】（ａ）は、複数マーカーの提示情報を作成する処理を示すフローチャート、（ｂ）及び（ｃ）は、作成される提示情報の一例、（ｄ）及び（ｅ）は、投影結果の一例の説明図。
【図６】（ａ）は、複数のマーカーに対応する提示情報の作成処理を示すフローチャート、（ｂ）及び（ｃ）は、作成される提示情報の一例、（ｄ）及び（ｅ）は、投影結果の説明図。
【図７】投影画像の説明図。
【図８】（ａ）、（ｂ）及び（ｃ）は、第２実施形態における提示情報を作成する対象のマーカー群の一例の説明図。
【図９】（ａ）は、マーカー群の決定処理を示すフローチャート、（ｂ）は、マーカー間距離を求める式の説明図。
【図１０】第２実施形態におけるマーカー間の距離と項目の値に基づいてグループ分けした場合の提示情報の投影結果の説明図。
【図１１】（ａ）〜（ｃ）は、第２実施形態における提示情報数の上限を設定した場合の提示情報の投影結果の説明図。
【図１２】（ａ）〜（ｃ）は、第２実施形態における投影中心近傍のグループの提示情報を優先して投影した場合の投影結果の説明図。
【図１３】（ａ）〜（ｃ）は、第２実施形態におけるおおまかなグループ分けを行なった場合の投影結果の説明図。
【図１４】（ａ）〜（ｄ）は、第２実施形態における時分割で情報提示を行った場合の提示情報の投影結果の説明図。
【図１５】（ａ）〜（ｃ）は、第２実施形態における文字を使わないことで情報量を減少させる場合の提示情報の投影結果の説明図。
【発明を実施するための形態】
【０００９】
＜第１実施形態＞
図１（ａ）は、本発明の第１実施形態にかかる情報処理装置１０のハードウェア構成図である。情報処理装置１０は、機能部品としてＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２及びＲＡＭ（Random Access Memory）１０３を有する。また、情報処理装置１０は、ＨＤＤ（Hard Disk Drive）１０４、機能部品として光学系撮像手段としてのカメラ１０５及び光学系画像投影手段としてのプロジェクタ１０６を有する。各機能部品は、バス１０７を介して相互にデータを受け渡すことができる。
【００１０】
ＣＰＵ１０１は、ＲＯＭ１０２及びＨＤＤ１０４に格納されたプログラムを読み出して実行する。これにより、ＣＰＵ１０１は、各ハードウェア部品を制御する。
【００１１】
このプログラムには、例えば後述する各機能、シーケンス、処理を実現するための制御プログラムが含まれる。ＲＯＭ１０２には、上述した制御プログラムのほか、その実行の際に参照される各種データが記録されている。ＲＡＭ１０３には、ＣＰＵ１０１に使用されるワーク領域、上記制御プログラムのロード領域などが記録される。
【００１２】
ＨＤＤ１０４は、ストレージの一種であり、上記制御プログラムが格納されＣＰＵ１０１等により適宜読み出される。カメラ１０５は、撮像対象となる対象物の画像を撮像し、撮像した撮像画像をＲＡＭ１０３やＨＤＤ１０４に格納する。プロジェクタ１０６は、ＲＡＭ１０３やＨＤＤ１０４に格納された情報を投影する。カメラ１０５とプロジェクタ１０６は、情報処理装置１０に対し、カメラ１０５の撮像可能範囲とプロジェクタ１０６の投影可能範囲が重なるように取り付けられている。バス１０７は、ＣＰＵ１０１が制御する構成要素を指示するアドレス信号、各構成要素を制御するためのコントロール信号、各構成機器相互間で受け渡されるデータの転送などを行う。
【００１３】
なお、制御プログラムは、ＲＯＭ１０２又はＨＤＤ１０４に予め記録されていてもよく、あるいは、必要に応じて外部装置あるいは外部記録媒体などからＲＯＭ１０２又はＨＤＤ１０４に格納されてもよい。ＣＰＵ１０１は、ＲＯＭ１０２又はＨＤＤ１０４等に記録されている上記制御プログラムを実行することにより各機能を実現する。
また、本実施形態では画像表示手段の一例としてプロジェクタを用いるが、本発明はこれに限定されるものではなく、ヘッドマウントディスプレイ、スマートフォン、タブレット等のライブビュー画像を表示可能な任意のデバイスを用いてもよい。
【００１４】
図１（ｂ）は、ＣＰＵ１０１が制御プログラムを実行することにより情報処理装置１０に形成される機能ブロック図である。本実施形態では、ＣＰＵ１０１は、認識部１１１、関連情報取得部１１２、投影環境推定部１１３、提示情報作成部１１４という機能モジュールを形成する。
【００１５】
認識部１１１は、カメラ１０５が撮像した撮像画像の中に含まれている特定の形状をした物体の物体ＩＤと位置を認識する。本実施形態においては、特定の形状をした物体としてマーカーを用い、物体ＩＤはマーカーＩＤとした。マーカーとは、数値や文字などの情報が埋め込まれた特定のパターンであり、代表的な例として１次元バーコードや２次元バーコードがある。マーカーＩＤとは、マーカーに埋め込まれた情報であり、パターンが異なるマーカーを区別するためのＩＤとして用いる。
【００１６】
関連情報取得部１１２は、認識されたマーカーＩＤに対応づけられている関連情報を取得する。マーカーＩＤと関連情報の対応関係は、ＲＯＭ１０２やＨＤＤ１０４に予め格納されている。装置外部のサーバーに格納されている関連情報を、通信デバイスを用いて取得してもよい。本実施形態では、マーカーＩＤの１つ１つに対し、１以上の項目と、いずれかの項目に分類される値の組が関連情報として対応づけられる。例えば、１つのマーカーＩＤに対して、物品の「製品名」、「サイズ」、「色」といった複数の項目の関連情報が対応づけられる場合がある。
【００１７】
投影環境推定部１１３は、情報処理装置１０と投影面の距離、投影面の色、環境光など、投影に影響を与える環境的要因に関する情報（以下、投影環境と記載する）を撮像画像に基づいて推定する。提示情報作成部１１４は、関連情報をグループ化し、グループ化された関連情報に基づいて提示情報を作成する。プロジェクタ１０６は、提示情報作成部１１４から提示情報を受けて、提示情報を投影する。提示情報とは、関連情報の内容をユーザに提示される情報をいう。例えば、ユーザに提示するためにプロジェクタ１０６に画像として出力される情報である。
【００１８】
ただし、本実施形態では、一度に複数のマーカーを認識して、同時に複数の提示情報を投影することが可能である。従って、プロジェクタ１０６が出力している１画面を表す画像に含まれる、複数の部分画像のそれぞれを指して提示情報という場合もある。提示情報作成部１１４は、投影環境に基づいて提示情報の数や提示情報に含まれる情報量を変更する。例えば、認識されたマーカーＩＤの数が複数であっても、投影環境によっては、投影する提示情報の１つに集約するといった制御を行う。
【００１９】
次に、上記のように構成される情報処理装置１０の動作例を説明する。図２（ａ）に、情報処理装置１０を構成する各機能部品が実行する処理のフローチャートを示す。ＣＰＵ１０１は、この処理を一定時間おきに実行する。なお、特に断りのない限り、以下に説明する処理は、いずれも認識部１１１、関連情報取得部１１２等を通じてＣＰＵ１０１により実行される。
【００２０】
図２（ａ）に示されるように、認識部１１１は、カメラ１０５を通じて得られた撮像画像を認識し、前回の実行時から撮像画像が更新されているか否かを判定する（Ｓ２０１）。なお、情報処理装置１０が起動されてから最初にこのシーケンスを実行するときは、撮像画像が更新されたと判定する。更新されていない場合（Ｓ２０１：Ｎ）、ＣＰＵ１０１は、本シーケンスを終了する。更新されている場合（Ｓ２０１：Ｙ）、認識部１１１は、撮像画像に含まれるマーカーのマーカーＩＤと位置を取得する（Ｓ２０２）。マーカーＩＤと位置は、例えば画像認識により取得することができる。
【００２１】
次に、認識部１１１は、撮像画像にマーカーが１つ以上含まれているか否かを判定する（Ｓ２０３）。撮像画像にマーカーが含まれていない場合（Ｓ２０３：Ｎ）、ＣＰＵ１０１は、本シーケンスを終了する。
撮像画像にマーカーが含まれている場合（Ｓ２０３：Ｙ）、関連情報取得部１１２は、Ｓ２０２で認識部１１１が認識したマーカーＩＤに対応する関連情報を取得する（Ｓ２０４）。次に、提示情報作成部１１４は、マーカーＩＤの数が複数か否かを判定する（Ｓ２０５）。例えば、マーカーの数が複数である場合とは、側面にマーカーが１つずつ印刷された箱が積み上げられた面を投影面とする場合などが想定される。マーカーＩＤに、箱に納められた物（製品）に関する情報を関連付けておけば、情報処理装置１０を使うことで、箱を開くことなく必要に応じた箱の中身の詳細情報を参照することが可能となる。
【００２２】
マーカーＩＤの数が１つの場合（Ｓ２０５：Ｎ）、提示情報作成部１１４は、単一マーカーについて提示情報を作成する（Ｓ２０６）。マーカーＩＤの数が複数の場合（Ｓ２０５：Ｙ）、提示情報作成部１１４は、複数マーカーのそれぞれについて、あるいは、複数マーカーに対応する情報をまとめて、提示情報を作成する（Ｓ２０７）。いずれの処理を実行するかは、後述するようにマーカーに対応づいた関連情報の内容や、マーカーと装置との間の距離によって定まるとする。最後に、提示情報作成部１１４は、プロジェクタ１０６に提示情報の投影を指示し（Ｓ２０８）、処理を終了する。
【００２３】
Ｓ２０２において、認識部１１１は、撮像画像に含まれるマーカーのマーカーＩＤと位置を取得する。なお、この例では、撮像領域とプロジェクタ１０６の投影領域が一致、または、撮像領域が投影領域より小さいことを前提としている。一方で、撮像領域が投影領域よりも広い場合も考えられる。その場合は、撮像画像に含まれ、かつ、投影領域にも含まれるマーカーのマーカーＩＤと位置を取得すればよい。撮像画像における投影領域を取得する方法としては既存の方法を用いることができる。簡単な方法としては、プロジェクタで全画素赤色を投影し、それを撮像装置で撮像する。撮像画像中で画素が赤色の範囲を投影領域とみなすことにより、撮像画像中の投影領域を決定できる。
【００２４】
図２（ｂ）は、図２（ａ）のＳ２０６における単一マーカーの提示情報を作成の詳細を示すフローチャートである。投影環境推定部１１３は、撮像画像に含まれているマーカーの大きさを取得する（Ｓ２１１）。次に提示情報作成部１１４は、撮像画像に含まれているマーカーの大きさを用いてマーカーと装置間の投影距離を求める（Ｓ２１２）。距離取得の方法に関しては、予めマーカーの実寸サイズがわかっている場合、カメラ１０５の画角と撮像画像の画素数から、撮像画像に映るマーカーとの距離を求めることができる。
【００２５】
例えば、水平画角が９０度、撮像画像の画素数が幅６４０ピクセル、高さ４８０ピクセルの場合、１ｍの距離にある長さ１ｍの対象物は、撮像画像内に３２０ピクセルで映ることになる。事前にマーカーの幅が１０ｃｍとわかっている場合、もし撮像画像内のマーカーの幅が３２ｃｍなら距離は１ｍ、２０ｃｍなら１．６ｍであると推定できる。推定に用いる画角と画素数は、一般にカメラ１０５を構成する部品の１つであるレンズや撮像センサの特性により決まる。
次に、提示情報作成部１１４は、マーカーに対応する関連情報、マーカーとの距離、及びマーカーの位置に応じて、提示情報を作成し（Ｓ２１３）、処理を終了する。
【００２６】
図３（ａ）に、関連情報取得部１１２が図２（ａ）のＳ２０４で取得する関連情報の例を示す。本実施形態において、関連情報は、各マーカーＩＤに対して一意的に定められる。また、この実施形態では、関連情報には、項目と値の組が複数含まれるものとした。例えば、Ｓ１＿ＬＣ２０４＿２４０ＢＫというマーカーＩＤに対しては、図３（ａ）に示されるように、５つの項目と値の組から構成される関連情報が存在している。
このマーカーにおいては、「製品名」という項目について、その値は「ＬＣ２０４」となっている。このほか、項目として「サイズ」、「色」、「製品ＩＤ」及び「画像」が設定され、その値は、それぞれ「２０ｃｍ」、「黒」、「ＬＣ２０４＿２４０ＢＫ」及び「２０２２４０ＢＫ．ｊｐｇ」となっている。なお、値は任意の情報とすることができ、文字情報あるいは画像情報とすることもできる。図３（ａ）の例では、「画像」の値が画像情報とされている。
【００２７】
図３（ｂ）に、情報処理装置１０とマーカーとの距離が２ｍの場合に、図２（ｂ）のＳ２１３で図３（ａ）に示される関連情報に基づいて提示情報作成部１１４が作成した投影画像及びその中に含まれる提示情報の例を示す。これらの図において、投影画像３０１は、カメラ１０５が撮像した対象物に対してプロジェクタ１０６が投影する投影画像である。提示情報３０５は、情報処理装置１０とマーカーとの距離が２ｍの場合における投影画像３０１内の提示情報を示す。正方形状の領域で示されるマーカー領域３０６は、投影画像内のうち、実世界に存在するマーカー(マーカーＩＤがＳ１＿ＬＣ２０４＿２４０ＢＫであるマーカー)と重畳されるべき部分の位置と大きさを示す。
【００２８】
このマーカー領域３０６は、情報処理装置１０が実世界におけるマーカーに重畳するように投影画像を出力する場合に、位置合わせ処理のために定義される領域である。投影画像に画像として表現されるわけではない。図３（ｂ）、（ｃ）において、マーカー領域３０６は、画像として表現されるテキストや図形と区別するために、点線で示されている。このように実世界のマーカーの位置や大きさを考慮したマーカー領域を、投影画像内に配置して、位置合わせ処理を行うことで、実世界の対象物の近傍に関連情報を投影することが可能となる。ここで対象物の近傍とは、少なくとも対象物に近接する範囲であって、対象物に重なる範囲も含む。 
【００２９】
図３（ｃ）に、情報処理装置１０とマーカーとの距離が１ｍの場合に、図２（ｂ）のＳ２１３で図３（ａ）に示される関連情報に基づいて提示情報作成部１１４が作成した提示情報の例を示す。この図において、提示情報３０７は、情報処理装置１０とマーカーとの距離が１ｍの場合における投影画像３０１内の提示情報を示す。また、図３（ｂ）と同様に、正方形状の領域で示されるマーカー領域３０６は、投影画像３０１のうち、マーカーＩＤがＳ１＿ＬＣ２０４＿２４０ＢＫであるマーカーの重畳すべき部分の位置と大きさを示す。
【００３０】
この実施形態では、提示情報作成部は、投影画像３０１内にマーカーの画像は生成しないので、図３（ｂ）、（ｃ）においてマーカーの画像自体は示されていない。これらの図において、マーカー領域３０６は、カメラ１０５により撮像された対象物に投影画像３０１を投影したときに、マーカー領域３０６内にマーカーが重なるように作成される。
【００３１】
図３（ｂ）、（ｃ）に示されるように、提示情報作成部１１４は、情報処理装置１０とマーカーとの距離が近い場合、より多くの関連情報を含む提示情報を作成する。本実施形態では、この距離が１．５ｍ以上かつ２．０ｍ未満のときに、提示情報作成部１１４は、関連情報のうち３つの値を１つの提示情報に含ませる。また、この距離が２．０ｍ以上のときには、図３（ｂ）に示されるように、提示情報作成部１１４は、関連情報のうち２つの値、すなわち「ＬＣ２０４」と「２４ｃｍ」とを１つの提示情報に含ませる。なお、情報量を関連情報の値の数に対応させてカウントしているが、項目の数でカウントするようにしても構わない。情報処理装置１０とマーカーとの距離が１．５ｍ未満のとき、図３（ｃ）に示されるように、提示情報作成部１１４は、関連情報のすべて、すなわち、「ＬＣ２０４」、「２４ｃｍ」、「黒」、「ＬＣ２０４＿２４０ＢＫ」及び画像を含む提示情報を作成する。
【００３２】
なお、この投影画像内におけるマーカーの位置と大きさは、撮像画像に含まれるマーカー領域３０６の位置と大きさを、補正パラメータを用いて変換することで求める。一般に、情報処理装置１０におけるカメラ１０５とプロジェクタ１０６は、その取り付け位置、及び投影角度、レンズの焦点距離が互いに異なる。
【００３３】
そのため、カメラ１０５で対象物を撮像し、その撮像画像をそのままプロジェクタ１０６で投影しても、撮像画像に映る対象物は、実際の対象物と同じ位置と大きさでは投影されない。撮像画像に含まれる対象物の位置やサイズに合わせて情報を投影するには、撮像画像に含まれるマーカーの形状を、投影画像における形状に変換する必要がある。この変換に使う補正パラメータは、例えば、プロジェクタ１０６が投影したテストパターン画像をカメラ１０５で撮像し、撮像された画像に基づいて決定することができる。
【００３４】
このように変換を行うことで、撮像画像におけるマーカー領域３０６に情報を投影すると、その情報は、以下の図３（ｄ）、（ｅ）に示される、実世界におけるマーカー３０３に重畳される。また、上述したように、マーカー３０３はマーカー領域３０６内に位置するが、マーカー領域３０６自体は投影画像には表示されない。また、この例では、提示情報作成部１１４が情報処理装置１０とマーカーとの距離から作成した提示情報は、マーカー領域３０６の左下の位置を原点として表示される。しかし、原点はこの位置に限られるものではなく、原点を設定する手法には特に制限はない。
【００３５】
図３（ｄ）と図３（ｅ）は、情報処理装置１０による実世界への投影結果を示す。なお、図３（ｄ）に示されるマーカー３０３のマーカーＩＤは、Ｓ１＿ＬＣ２０４＿２４０ＢＫである。投影可能面３０４は、情報処理装置１０が投影している範囲である。図３（ｄ）において、マーカー３０３と情報処理装置１０との距離は２ｍであるので、情報処理装置１０は、図３（ｂ）に示される、２つの値を含む提示情報３０５を投影する。図３（ｅ）において、マーカーと情報処理装置１０の距離は１ｍであるため、情報処理装置１０は、図３（ｃ）に示される、すべての値を含む提示情報３０７を投影する。
【００３６】
図４（ａ）は、図２（ａ）のＳ２０６に示す、単一マーカーの提示情報を作成する処理について、図２（ｂ）の処理とは異なる処理を示すフローチャートである。
投影環境推定部１１３は、投影可能面の大きさを、撮像画像を元に推定する（Ｓ４０１）。例えば、複数のマーカーに囲まれた領域や、マーカーの周囲の領域を投影可能面としてもよい。特に、マーカーの近傍にあってかつ投影された提示情報の視認が可能な領域を投影可能面とすることができる。この例では、投影画像の色の勾配を利用して投影可能面を決定する。投影環境推定部１１３は、色の勾配を撮像画像から認識し、マーカーに隣接してかつ色の勾配が所定値以下である領域を投影可能面として投影画像を投影する。色の勾配が大きいと、投影画像の視認が困難となり、その一方で、色の勾配が小さければ、投影画像の視認が容易だからである。提示情報作成部１１４は、マーカーに対応する関連情報、マーカーの周囲の投影可能面及びマーカーの位置に応じて提示情報を作成し（Ｓ４０２）、処理を終了する。
【００３７】
図４（ｂ）に、提示情報作成部１１４が作成した、図３（ａ）に示す関連情報に基づいて作成した投影画像４０１を示す。この図において、提示情報４１１は、投影可能面の面積が６０,０００平方ピクセルの場合の提示情報であり、関連情報のうち３つの項目の３つの値、すなわち「ＬＣ２０４、２４ｃｍ、黒」が格納されている。また、投影可能面４１３は、投影画像４０１内における投影可能面を示す。また、図４（ｃ）に、提示情報作成部１１４が作成した、図３（ａ）に示される関連情報に基づいて作成した投影画像４０２を示す。図４（ｃ）は、図４（ｂ）よりも投影可能面が小さい場合を表す。提示情報４１２は、投影可能面の面積が２５,０００平方ピクセルの場合の提示情報であり、関連情報のうち１つの値、すなわち「ＬＣ２０４」のみが格納されている。また、投影可能面４１４は、投影画像４０２内における投影可能面を示す。
【００３８】
以下、投影可能面に応じた提示情報の作成方法の一例を示す。投影環境推定部１１３は、まず、映像に含まれる投影可能面の面積を算出する。この実施形態では、投影可能面の面積は平方ピクセル単位で算出した。次に、提示情報作成部１１４は、投影可能面の面積に収まる量の関連情報を提示情報に含める。本実施形態では、提示情報作成部１１４は、マーカー領域３０６の左下の位置を原点として、提示情報４１１、４１２を表示する。
【００３９】
図４（ｄ）は、図４（ｂ）に示される提示情報を情報処理装置１０により投影した結果を示す。同様に、図４（ｅ）は、図４（ｃ）に示される提示情報を情報処理装置１０が投影した結果を示す。これらの図において、投影可能面４１３は、投影環境推定部１１３が投影可能面と推定した領域を示す。図４（ｄ）において、投影可能面４１４の大きさは６０,０００平方ピクセルであるので、情報処理装置１０は提示情報４１１を投影する。図４（ｅ）において、投影可能面の面積は２５,０００平方ピクセルであるので、情報処理装置１０は提示情報４１２を投影する。
【００４０】
なお、図２（ｂ）のＳ２１２においては、撮像画像に映るマーカーの大きさを利用してマーカーとの距離を求めたが、情報処理装置１０とマーカーとの距離は任意の手法で求めることができる。例えば、超音波や赤外線などを利用した距離センサを用いて距離を推定してもよい。距離センサを用いることで、マーカーの大きさが事前にわからない場合でも、マーカーとの距離を推定できる。また、この実施形態のように、プロジェクタ１０６のような光学系投影手段やカメラ１０５のような光学系撮像手段を用いる場合、その焦点距離からマーカーとの距離を推定してもよい。この場合、ユーザはプロジェクタ１０６やカメラ１０５のフォーカスがマーカーに合うよう、焦点距離やマーカーとの距離を調整する。そのためプロジェクタ１０６やカメラ１０５のフォーカスはマーカーに合っていると仮定できる。従って、現在の焦点距離からフォーカスの合う距離を推定し、その値を距離に用いることができる。焦点距離からマーカーとの距離を推定することで、マーカーの大きさが事前にわからない場合でも、マーカーとの距離を推定できる。
【００４１】
図２（ｂ）のＳ２１３及び図４（ａ）のＳ４０２において、提示情報作成部１１４は、プロジェクタ１０６の絞り値に応じて提示情報を作成してもよい。一例として、絞り値が最小、つまり最大まで開放されている場合、提示情報作成部１１４は、関連情報に含まれる情報量を減らし、その分情報を拡大して表示してもよい。プロジェクタ１０６の絞りを開放することは、プロジェクタ１０６の輝度を増す代わり、映像のコントラストを低減させる効果がある。ユーザが絞りを最大まで開放していることは、プロジェクタ１０６の輝度を最大まで高める必要があるほど、プロジェクタ１０６の投影映像が見にくいことを意味する。そのため、絞りが最大まで解放されているときに文字や画像を大きく表示することは、ユーザの視認性を向上させる効果がある。
【００４２】
なお、上述の例では、絞り値が最小のときに情報量を減らしているが、絞り値が所定の値より小さいときに情報量を減らすようにしてもよい。
あるいは、絞り値が最小であるか、または所定値より小さい場合、提示情報作成部１１４は、提示情報の表示形態を変化させるようにしてもよい。この場合、好ましくは提示情報の視認性が向上するように表示形態を変化させる。例えば、文字を大きくする、字間を拡大する、または、文字の表示に変えてアイコン表示を行うことで、表示形態を変化させる。
【００４３】
更に、図４（ａ）のＳ４０１において、認識部１１１は、認識したマーカーＩＤに対応する投影可能面の大きさをＲＯＭ１０２、ＨＤＤ１０４、あるいは装置外に定義されたデータベースから取得してもよい。情報処理装置１０とマーカーとの位置が既知である場合には、両者の位置情報をＲＯＭ１０２等に記憶しておくことで、各マーカーに対応する認識可能面の位置と大きさを事前に定義することができる。
【００４４】
提示情報はさまざまな手法で作成可能である。投影可能面の大きさを基準として、その大きさに収めることが可能な情報から順に格納してもよい。この場合、提示情報には、文字数が少ない情報等の、必要な表示面積が小さくてすむ情報から優先的に格納される。また、関連情報に含まれる各値に対して、優先度を決めておき、優先度の高い値から順番に提示情報へ含めてもよい。
【００４５】
この場合、提示情報に優先度順に値を格納していくと、必要な表示面積が大きい値（以下、値Ａとする）を格納することはできないが、より優先度が低くかつ必要な表示面積が小さい値を格納することはできるという状況も発生し得る。この場合、提示情報には値Ａを格納せず、次に優先度が高い値について、提示情報に格納可能であるか否かを判断することもできる。この優先度は、事前に決めてもよいし、ユーザが指定してもよい。また、上述した実施形態では、提示情報は、マーカーとは別の領域に投影されている。しかし、提示情報をマーカーの上に重畳投影するよう位置とサイズを決めてもよいし、マーカーと重畳投影しないよう、マーカーのいずれかの方向に情報を投影してもよい。マーカーの色勾配が強い場合は、マーカーの上に重畳投影しないことで視認性を確保できる。
【００４６】
図５（ａ）は、図２（ａ）のＳ２０７に示す複数マーカーの提示情報を作成する処理を示すフローチャートである。投影環境推定部１１３は、撮像画像に含まれるすべてのマーカーに対し、マーカーと情報処理装置１０との距離を求める（Ｓ５０１）。距離の求め方としては、Ｓ２１１とＳ２１２の処理と同様、撮像画像に映るマーカーの大きさを用いて推定する手法がある。また、距離センサやプロジェクタ１０６やカメラ１０５の焦点距離を用いてもよい。
【００４７】
次に、提示情報作成部１１４は、マーカーと情報処理装置１０との距離に応じて提示情報量を決定する（Ｓ５０２）。特に、この実施形態では、情報量を増減させる処理の一例として、作成する提示情報の数を、マーカーと情報処理装置１０との距離に応じて決定する。詳細には、情報処理装置１０とマーカーとの距離を求め、その値に応じて提示情報の数を決定する。ここで提示情報の数とは、プロジェクタ１０６が出力する全体の投影画像の中に、独立した部分領域として配置する画像の数に相当する。
【００４８】
例えば、矩形や吹き出し形状等の図形オブジェクト内にテキスト情報を配置し、それを実物体に重畳するように投影を行うアプリケーションを考える場合、図形オブジェクトの数を提示情報の数とみなすことができる。本実施形態では、マーカーと情報処理装置１０との距離が所定値以上なら、複数のマーカーに対してまとめて１つの提示情報を作成し、所定値未満なら認識したマーカーの数と同数の提示情報を作成するものとした。ここで、１つの提示情報に含まれる情報量は略一定であるとする。従って、マーカーの数と同数の複数の提示情報を作成することは、提示情報を１つだけ生成する場合と比較して、投影可能な情報量が増えることを意味する。なお、情報処理装置１０と個々のマーカーとの距離がそれぞれ異なる場合には、その平均値を情報処理装置１０とマーカーとの距離とする。以下、この所定値を１．５ｍとして説明する。
【００４９】
次に、提示情報作成部１１４は、Ｓ５０２で決定した情報量に従って、提示情報を作成する（Ｓ５０３）。この実施形態では、決定された数の提示情報を作成する。図５（ｂ）は、図５（ａ）のＳ５０３において提示情報作成部１１４が図３（ａ）に示す関連情報に基づいて投影画像５０１内に作成する提示情報の例を示す。図５（ｂ）において、領域５１１は、マーカーＩＤがＳ１＿ＬＣ２０４＿２４０ＢＫであるマーカーの、投影画像５０１内における位置とサイズを示す。領域５１２は、マーカーＩＤがＳ１＿ＬＣ２０４＿２４０ＷＨであるマーカーの、投影画像内における位置とサイズを示す。
【００５０】
領域５１３は、マーカーＩＤがＳ１＿ＬＣ２０４＿２３０ＢＫであるマーカーの、投影画像内における位置とサイズを示す。提示情報５１５は、情報処理装置１０とマーカーとの距離が２ｍの場合に提示情報作成部１１４が作成した提示情報を示す。また、この例では、距離が２ｍの場合、提示情報作成部１１４はＳ５０２で１つの提示情報を作成すると決定する。
【００５１】
図５（ｃ）に、情報処理装置１０とマーカーとの距離が１ｍの場合に提示情報作成部１１４が投影画像５０２内に作成する提示情報５１６、５１７、５１８及び５１９を示す。なお、情報処理装置１０とマーカーとの距離が１．５ｍ未満であるので、認識したマーカーと同数の提示情報が作成されている。作成された提示情報５１６及び５１７のマーカーＩＤは、それぞれＳ１＿ＬＣ２０４＿２４０ＢＫ及びＳ１＿ＬＣ２０４＿２４０ＷＨである。また、作成された提示情報５１８及び５１９のマーカーＩＤは、それぞれＳ１＿ＬＣ２０４＿２３０ＢＫ及びＳ１＿ＬＣ２０４＿２３０ＷＨである。
提示情報作成部１１４は、複数の提示情報を作成する場合、それぞれの提示情報の内容が異なるように提示情報を作成する。具体的には、各マーカーに対応する関連情報のうち、すべてのマーカーＩＤにおいて値が異なる情報を提示情報に優先的に含める。
【００５２】
図３（ａ）に示すように、各マーカーＩＤにおいて、製品名はいずれもＬＣ２０４であり共通している。また、サイズと色については、その値は一部のマーカーにおいて共通している。例えばマーカーＩＤがＳ１＿ＬＣ２０４＿２４０ＢＫ、Ｓ１＿ＬＣ２０４＿２３０ＢＫにおいて、いずれも色は黒であり共通している。一方、すべてのマーカーＩＤにおいて、製品ＩＤと画像についてはその値が異なっている。従って、提示情報５１６、５１７、５１８及び５１９については製品ＩＤを優先して提示情報に含めている。
【００５３】
図５（ｄ）と図５（ｅ）は、情報処理装置１０による投影結果を示す。マーカー５２１、５２２のマーカーＩＤは、Ｓ１＿ＬＣ２０４＿２４０ＢＫ及びＳ１＿ＬＣ２０４＿２４０ＷＨである。また、マーカー５２３、５２４のマーカーＩＤは、Ｓ１＿ＬＣ２０４＿２３０ＢＫ及びＳ１＿ＬＣ２０４＿２３０ＷＨである。
【００５４】
図５（ｄ）において、マーカー５２１、５２２、５２３及び５２４と情報処理装置１０との距離は２ｍであり、１．５ｍ以上となっている。従って、情報処理装置１０は提示情報５１５を投影する。
図５（ｅ）において、マーカー５２１、５２２、５２３及び５２４と情報処理装置１０の距離は１ｍであり、１．５ｍ未満となっている。従って、情報処理装置１０は、提示情報５１６、５１７、５１８、５１９を投影する。
【００５５】
図６（ａ）は、図２（ａ）のＳ２０７が示す、複数マーカーの提示情報を作成する処理について、図５（ａ）が示す処理とは異なる方法を示すフローチャートである。
提示情報作成部１１４は、撮像画像に含まれるすべてのマーカーに対し、マーカーを含む投影可能面を推定する（Ｓ６０１）。投影可能面の推定は図４（ａ）のＳ４０１の処理と同様、撮像画像の色の勾配から求めてもよいし、認識したマーカーＩＤに対する投影可能面を外部に問い合わせてもよい。
【００５６】
次に、提示情報作成部１１４は、各マーカーの投影可能面の大きさから、作成する提示情報の数を決定する（Ｓ６０２）。提示情報の数を決定する方法の一例としては、投影可能面の面積の合計値に応じて決定する方法がある。本実施形態では、投影可能面の面積が５０,０００平方ピクセル未満の場合には１つの提示情報を、５０,０００平方ピクセル以上の場合には認識したマーカーの数と同数の提示情報を作成する。次に提示情報作成部１１４は、Ｓ６０２で決定した数だけ提示情報を作成する（Ｓ６０３）。
【００５７】
図６（ｂ）、（ｃ）は、図６（ａ）のＳ６０３で、提示情報作成部１１４が、図３（ａ）が示す関連情報に基づいて作成した提示情報の例を示す。  図６（ｂ）において、投影画像６０１内に配置された提示情報６１１は、投影可能面の面積が２５,０００平方ピクセルの場合に提示情報作成部１１４が作成した提示情報である。投影可能面の面積が５０,０００平方ピクセル未満であることから、図６（ｂ）の例では１つの提示情報６１１のみが投影されている。
【００５８】
また、図６（ｃ）において、投影画像６０２内に配置された提示情報６１２、６１３、６１４及び６１５は、投影可能面の面積が６０,０００平方ピクセルの場合に提示情報作成部１１４が作成した提示情報である。投影可能面の面積が５０,０００平方ピクセル以上であることから、図６（ｃ）の例ではマーカーの数と同数の４つの提示情報が作成されている。これら提示情報６１２及び６１３は、マーカーＩＤがＳ１＿ＬＣ２０４＿２４０ＢＫ及びＳ１＿ＬＣ２０４＿２４０ＷＨであるマーカーに対応する提示情報である。また、提示情報６１４及び６１５は、マーカーＩＤがＳ１＿ＬＣ２０４＿２３０ＢＫ及びＳ１＿ＬＣ２０４＿２３０ＷＨであるマーカーに対応する提示情報である。
【００５９】
図６（ｄ）及び図６（ｅ）に、情報処理装置１０による投影結果を示す。図６（ｄ）において、マーカー６２１、６２２、６２３及び６２４を含む投影可能面６３３の面積の合計は２５,０００平方ピクセルである。従って、情報処理装置１０は、提示情報６１１を投影する。図６（ｅ）において、マーカー６２１、６２２、６２３及び６２４を含む投影可能面６３４の面積の合計は６０.０００平方ピクセルであるので、情報処理装置１０は、提示情報６１２、６１３、６１４及び６１５を投影する。
【００６０】
図５及び図６（ａ）〜（ｅ）の例では、１つの投影可能面にすべてのマーカーが含まれている場合を対象として、投影可能面の面積が５０,０００平方ピクセル未満の場合には、１つの投影可能面に１つの提示情報を投影した。
しかし、投影面の色によっては、投影可能面において、あるマーカーを含む領域と、他のマーカーを含む領域とが連続しない場合がある。その一例として、色の勾配が小さい複数の領域が、色の勾配が大きい領域で分断されている場合が挙げられる。
【００６１】
そのような場合、１つの投影可能面内で複数の領域にまたがって提示情報を投影すると、色の勾配の差などにより視認性が低下するおそれがある。そこで、図７に示す例では、提示情報作成部１１４は、１つの投影可能面を分断された各領域に分割した。以下、このように分割された領域を分割面と称する。そして、各分割面に含まれる１つ又は複数のマーカーに対して１つの提示情報を作成する。以下、その詳細を説明する。
【００６２】
図７は、図６（ａ）のＳ６０２において、投影可能面内に投影する提示情報の数が「１」と判定され、かつ、１つの提示情報内には１つの値を含む場合における投影画像の一例を示す。図７に示されるように、認識部１１１は、投影画像７０１内において４つのマーカー６２１、６２２、６２３及び６２４を認識している。
また、この例では、投影可能面内には色の勾配が大きい領域が存在するので、投影可能面は、提示情報作成部１１４によって第１分割面７１１と第２分割面７１２とに分割されている。第１分割面７１１にはマーカー６２３、６２４が含まれる。また、第１分割面７１１とは連続しない別個の領域にある第２分割面７１２には、マーカー６２１と６２２とが含まれる。
【００６３】
上述のように、Ｓ６０２においては、投影可能面内に作成する提示情報の個数は１つであると決定している。しかし、提示情報作成部１１４は、第１分割面７１１と第２分割面７１２のそれぞれについて１つの提示情報を作成する。その結果、分割前の投影可能面には２つの提示情報が投影される。
図７に示すように、第１分割面７１１には提示情報７１３、第２分割面７１２には提示情報７１４が投影される。これにより、提示情報が色の勾配が大きい領域に投影されて視認性が低下することを防ぐことができる。
以上のように、情報処理装置１０とマーカーとの距離や投影可能面の面積、形状に応じて提示情報の内容や数を変えることで、投影環境に応じた適切な情報量の提示情報を投影することができる。
【００６４】
なお、Ｓ５０２やＳ６０２において、提示情報作成部１１４は、プロジェクタ１０６の絞り値に応じて提示情報の数を決定してもよい。一例として、絞り値が最小、つまり最大まで開放されている場合、提示情報作成部１１４は、提示情報の数を減らし、その分文字や画像を大きく表示してもよい。ユーザが絞りを最大まで開放していることは、プロジェクタ１０６の輝度を最大まで高める必要があるほど、プロジェクタ１０６の投影映像が見にくいことを意味する。そのため、絞りが最大まで解放されているときに提示情報の数を減らし、その分文字や画像を大きく表示することは、ユーザの視認性を向上させる効果がある。また、提示情報の数を減らすことに代えて、提示情報の表示形態を、その視認性が高くなるように変化させてもよい。
【００６５】
また、本実施形態では画像表示手段の一例としてプロジェクタを用いたが、これに限定されるものではなく、ヘッドマウントディスプレイ、スマートフォン、タブレット等のライブビュー画像を表示可能な任意のディスプレイデバイスを用いてもよい。画像表示手段としてプロジェクタを使用する場合の距離とは、情報処理装置から投影面までの距離を意味する。一方、画像表示手段としてディスプレイデバイスを使用する場合は投影面という概念が当てはまらないため、距離は、情報処理装置から対象物までの距離を意味する。
画像表示手段としてディスプレイデバイスを使用する場合、対象物とは異なる位置にも情報を表示することが可能である。例えば、対象物の周辺の空間にも情報を表示することが可能である。
【００６６】
本実施形態とは異なる手段（例えば、対象物上以外にも情報を表示）も有効である。しかしながら、画面いっぱいに複数の対象物が並べられており対象物上以外に情報を表示するすき間がないような場合には、前記手段は有効でなく、本実施形態による方法でユーザの視認性を向上させる効果が得られる。更に、本実施形態では、認識部１１１がマーカーを認識する場合について説明したが、認識部１１はマーカー以外のものを認識に用いてもよい。例えば、認識部１１は、マーカーではなく物体を認識してもよい。この場合、認識部１１は、物体の形状を認識することで物体ＩＤを特定する。従って、対象物自体をマーカーとして認識することになる。
【００６７】
物体の形状認識には既存の技術を利用する。簡単な方法としては、事前に物体の形状を複数の角度から撮像した画像を用意しておき、撮像画像と部分マッチングする方法が有効である。また、物体の形状を３Ｄモデルとして用意しておき、距離画像（この場合は距離画像センサやステレオカメラ等の距離取得可能なデバイスが必要）でマッチングするという手法も有効である。
【００６８】
＜第２実施形態＞
第１実施形態では、マーカーが撮像画像内に複数存在するときに、それぞれのマーカーに対して1つずつ提示情報を作成する例と、提示情報を1つだけ作成する例とを示した。各マーカーに対して1つずつ提示情報を作成した場合、提示情報とマーカーとは「１対１」で対応し、両者の関係は明白である。また、提示情報が１つの場合には、その提示情報はすべてのマーカーに対応する「１：全」の対応であることが明白である。従って、これらの例ではマーカーと提示情報との対応関係は自明である。
【００６９】
一方、提示情報の数はこれに限定されるものではなく、例えば２以上でかつマーカーの個数未満の数の任意の数とすることもできる。提示情報の数をこの範囲で増加あるいは減少させることで、投影環境に応じて情報量をきめ細かく調整することができ、視認性を向上することが可能である。しかし、この場合は、提示情報、マーカーともに複数存在し、提示情報とマーカーとの対応関係は自明ではない。
【００７０】
第２実施形態では、このようにマーカーと提示情報との関係が自明ではない場合に、両者の関係を明確にするように提示情報の位置を決定する手法を示す。この実施形態では、複数のマーカーを、それぞれ１つ以上のマーカーを含むＮ個のマーカー群（グループ）にグループ分けし、それぞれのマーカー群に対して１つの提示情報を対応させた。なお、Ｎは、２以上でかつマーカーの個数未満の数である。
【００７１】
なお、マーカー群に含まれるマーカーの組合せが複数通り存在する場合があることから、複数の組合せのうち、視認性が高くなるものを選択することが望ましい。そこで、この実施形態では、マーカー群に含まれるマーカー同士の類似度が高いマーカーが同じマーカー群に配置され、類似度が低いマーカーが異なるマーカー群に配置される組合せを選択した。具体的には、マーカー群を構成するマーカー同士の類似度を求め、各類似度を用いてマーカー群に含まれるマーカーの組合せを決定した。
【００７２】
また、１つのマーカー群に含まれるマーカー同士の距離が離れていると、提示情報をどこに表示しても、少なくとも一方のマーカーから離間した位置に提示情報が表示されることになる。そのためユーザは提示情報に対応するマーカーを識別することが困難である。従って、この実施形態では、マーカー群を構成するマーカー同士の距離を求め、各マーカー群について求められた距離を用いてマーカー群に含まれるマーカーの組合せを決定した。なお、上述のように対象物自体をマーカーとして用いることもできる。この場合には対象物同士の距離を求めて、対象物群に含まれる対象物の組合せを決定する。
【００７３】
図８（ａ）に、カメラ１０５で撮像した画像に含まれる４個のマーカーを表す。図示されるように、この例では、撮像した画像にはマーカー６２１、６２２、６２３及び６２４が含まれる。図８（ｂ）は、図８（ａ）が示す撮像画像に含まれる４個のマーカーのＩＤと画像中の位置の説明図である。  図８（ｃ）は、マーカー数が４でありかつ２つのマーカー群を生成する場合における、マーカー群に対するマーカーの選び方の全組合せを示す。ただし、１つのマーカー群には必ず１つ以上のマーカーが割り当てられるものとした。
【００７４】
図８（ａ）に示されるように、この例ではマーカーは４つであり、４つのマーカーを２つのマーカー群に割り当てている。
また、図８（ｂ）に示されるように、各マーカーは、投影画像内で画面の左下を原点、図面における横方向をｘ軸、縦方向をｙ軸として、その位置が指定される。例えば、マーカーＩＤがＳ１＿ＬＣ２０４＿２３０ＷＨのマーカーは、(100, 100)の位置にあり、図８（ａ）において左下に位置するマーカー６２１に対応する。同様に、マーカーＩＤがＳ１＿ＬＣ２０４＿２４０ＢＫのマーカーは、(100, 500)の位置にあるマーカー６２４、マーカーＩＤがＳ１＿ＬＣ２０４＿２４０ＷＨのマーカーは、(700, 500)の位置にあるマーカー６２３に対応する。更に、マーカーＩＤがＳ１＿ＬＣ２０４＿２３０ＢＫのマーカーは、(700, 100)の位置にあるマーカー６２２に対応する。
【００７５】
図８（ｃ）に示されるように、マーカーの割り当て方には大きくわけて２種類ある。すなわち、一方のマーカー群に１つのマーカー、他方のマーカー群に３つのマーカーを割り当てる選び方（ＳＥＬ１〜４）と、双方のマーカー群に２つずつマーカーを割り当てる選び方（ＳＥＬ５〜７）である。
【００７６】
ＳＥＬ１〜４は、４つのマーカーのうちから１つのマーカーを選んでマーカー群１に割り当て、残りの３つのマーカーをマーカー群２に割り当てた結果を示している。  一方、ＳＥＬ５〜７は、４つのマーカーのうちから２つのマーカーを選んでマーカー群１に割り当て、残りの２つのマーカーをマーカー群２に割り当てた結果を示す。図示されるように、１つのマーカー群には必ず１つ以上のマーカーが割り当てられるようにして、４つのマーカーを２つのマーカー群に割り当てる場合、７通りの組合せがある。
【００７７】
図９（ａ）は、図８（ｂ）が示すマーカー群の組合せのうち、どの組合せを採用するかを決定する処理を示すフローチャートである。
提示情報作成部１１４は、マーカー群の各組合せに対し、各マーカー群に割り当てられたマーカーを識別する（Ｓ９０１）。例えば、図８（ｃ）に示されるＳＥＬ１においては、マーカー群１、マーカー群２にそれぞれ割り当てられたマーカーを識別する。その結果、マーカー群１にはマーカーＩＤがＳ１＿ＬＣ２０４＿２０４ＢＫのマーカーが割り当てられ、マーカー群２には、他の３つのマーカーが割り当てられていることがわかる。
【００７８】
次に、提示情報作成部１１４は、各マーカー群に含まれるマーカー間の類似度を算出する（Ｓ９０２）。本実施形態では、類似度を求める方法として、各マーカーに対応する関連情報の類似度を利用する。類似度は任意の手法で定めることができるが、この実施形態では、グループに含まれるすべてのマーカーで同じ値となる関連情報の数により、類似度を定める。同じ値となる関連情報の数が多いほど類似度が高いと判定する。なお、グループに含まれるマーカーの数が１個の場合、類似度は０とする。
従って、例えば図８（ｃ）に示されるＳＥＬ１において、マーカー群１に含まれるマーカーの数は１であるので、類似度は０となる。マーカー群２は、図３に示されるように、関連情報のうち製品名の値（ＬＣ２０４）のみがすべてのマーカーで共通し、他の値はいずれも異なる。従って、類似度は１となる。
【００７９】
提示情報作成部１１４は、Ｓ９０２の処理がすべてのマーカー群に対して完了したか否かを判定する（Ｓ９０３）。完了していない場合には、再度Ｓ９０２を実行する（Ｓ９０３：Ｎ）。完了している場合には、マーカー群のすべての選び方に対して処理が完了したか否かを判定する（Ｓ９０４）。図８（ｃ）の例では、すべてのＳＥＬ１〜７について処理が完了したか否かを判定する。処理が完了していない場合には（Ｓ９０４：Ｎ）、再度Ｓ９０１を実行する。処理が完了している場合には（Ｓ９０４：Ｙ）、提示情報作成部１１４は、各選び方について、各マーカー群の類似度の合計を求め、その合計が一番高くなる選び方が複数あるか否かを判定する（Ｓ９０５）。図８（ｃ）の例では、ＳＥＬ１〜７について、各マーカー群の類似度の合計を求め、類似度の合計が一番高い選び方が１つか否かを判定する。
類似度の合計が一番高くなる選び方が一通りである場合（Ｓ９０５：Ｎ）、その選び方を用いて提示情報を作成する（Ｓ９０８）。類似度の合計が一番高くなる選び方が複数ある場合（Ｓ９０５：Ｙ）、それらの選び方について、マーカー群内のマーカー間距離を算出する（Ｓ９０６）。
【００８０】
この実施形態では、マーカー群内のマーカー間距離は、図９（ｂ）に示される式で求める。この式において、Ｋはマーカー群に含まれるマーカーの数を示しており、Ｘ０，Ｘ１,,Ｘi，，ＸＫは各マーカーの撮像画像におけるＸ方向の位置、Ｙ０，Ｙ１，，Ｙi，，ＹＫは各マーカーの撮像画像におけるＹ方向の位置を表す。
提示情報作成部１１４は、類似度が最も高いグループの選び方のうち、グループ内マーカー間距離の合計が最も小さい選び方を用いて提示情報を作成し、（Ｓ９０７）処理を終了する。
【００８１】
以下、図８（ｃ）が示すマーカー群の選び方のうちどの選び方を用いて提示情報を作成するかの決定を行う処理を、図９（ａ）を参照して具体的に示す。
提示情報作成部１１４は、まず選び方ＳＥＬ１に含まれる２つのマーカー群に対して、Ｓ９０２に対する処理を実行する。ＳＥＬ１のマーカー群１には１つのマーカーしか含まれていないため類似度は０、マーカー群２に含まれるマーカーに共通な値は製品名のＬＣ２０４のため類似度は１である。そのためＳＥＬ１の類似度は、マーカー群１の類似度とマーカー群２の類似度を合計して１となる。同様に、ＳＥＬ２、ＳＥＬ３、ＳＥＬ４の類似度はすべて１となる。
【００８２】
一方、ＳＥＬ５については、マーカー群１は、関連情報においてのＬＣ２０４とサイズの２３ｃｍが一致するので類似度は２となり、かつ、マーカー群２も、関連情報において製品名とサイズが一致するので類似度は２となる。従って、類似度の合計は４となる。
ＳＥＬ６については、マーカー群１において関連情報のサイズは異なるものの、色が一致するので、類似度は２となる。同様に、マーカー群２の類似度も２となり、類似度の合計は４となる。
【００８３】
ＳＥＬ７は、マーカー群１、マーカー群２ともに、関連情報は製品名しか一致しないので、類似度はそれぞれ１となる。従って、類似度の合計は２となる。
従って、提示情報作成部１１４は、Ｓ９０５で、類似度の最も高い選び方がＳＥＬ５とＳＥＬ６の２つあると判定する。次に提示情報作成部１１４は、Ｓ９０６で、ＳＥＬ５とＳＥＬ６に含まれる各マーカー群に対してマーカー群内マーカー間距離を算出する。
【００８４】
ここで、図９（ｂ）の計算式において、ＸＭはマーカー群内のマーカーにおけるＸ座標の平均値である。ＳＥＬ５のマーカー群１において、マーカー６２４のＸ座標は１００、マーカー６２３のＸ座標は７００であるので、ＸＭは４００となる。Ｙ座標については、これらのマーカーのＹ座標はいずれも５００であるので、ＹＭも５００となる。
次に、図８（ｂ）が示すマーカーの位置と、図９（ｂ）の計算式より、ＳＥＬ５のマーカー群１のマーカー間距離を算出する。この値は、 [√｛(100-400)2+(500-500)2｝+√｛(700-400)2+(500-500)2｝]、つまり６００である。
また、ＳＥＬ５のマーカー群２のマーカー間距離も６００であると求められる（ＸＭ＝４００、ＹＭ＝１００）。そのためＳＥＬ５に含まれるマーカー群のマーカー群内マーカー間距離の合計は１２００である。
【００８５】
次に、ＳＥＬ６のマーカー群１のマーカー間距離は約７２１であると求められる（ＸＭ＝４００、ＹＭ＝３００）。またＳＥＬ６のマーカー群２のマーカー間距離は約７２１であると求められる（ＸＭ＝４００、ＹＭ＝３００）。そのため、ＳＥＬ６に含まれるマーカー群内のマーカー間距離の合計は約１４４２である。従って、Ｓ９０７において、提示情報作成部１１４は、マーカー群内でのマーカー間距離の合計が小さいＳＥＬ５で提示情報を作成すると決定する。マーカー６２３とマーカー６２４とにより構成されるマーカー群１に対して提示情報を投影する。かつ、マーカー６２１とマーカー６２２とにより構成されるマーカー群２に対して提示情報を投影する。
図１０に、情報処理装置１０がこの処理の結果作成した提示情報を投影した様子を示す。この図において、投影画像７０２には、４つのマーカー６２１、６２２、６２３及び６２４が示される。
【００８６】
図１０に示されるように、ＳＥＬ５で提示情報を作成したことにより、投影画像７０２は、第１分割面７２１と第２分割面７２２とに分割されている。そして、２つのマーカー６２３、マーカー６２４に対して提示情報７２３が投影される。提示情報７２３の値としては、「ＬＣ２０４」、「２４ｃｍ」が投影されている。
また、２つのマーカー６２１、マーカー６２２に対しては、提示情報７２４が投影される。提示情報７２４の値として「ＬＣ２０４」、「２３ｃｍ」が投影されている。その結果、類似度が高いマーカーを含むマーカー群を生成し、各マーカー群に提示情報を提示することが可能となっている。更に、マーカーと提示情報との対応関係も明確になっている。
【００８７】
このように、マーカーの関連情報、及び撮像画像に含まれるマーカーの位置をもとにマーカー群の選び方を決定することで、内容の関連度が高く、かつ互いに近くにあるマーカー群に対して提示情報を提示できる。
【００８８】
図８、図９、図１０では、複数のマーカーをグループ分けしグループごとに情報提示する場合について説明した。その際、すべてのマーカーがいずれかのグループに分類されることを前提とした。しかしながらこれに限定されるものではなく、あるマーカーについてはいずれのグループにも分類されることがなく、情報提示もされないようにしてもよい。同様に、あるグループについては、情報提示を行わないようにしてもよい。
例えば、事前に決めた優先度にしたがい、優先度が高い上位Ｍ個（Ｍは事前に決めておく個数）のグループの情報提示を行う。グループの数がＭより大きい場合は、優先度が低いいくつかのグループの情報提示を行なわない。
【００８９】
図１１（ａ）〜（ｃ）は、Ｍ＝２の場合のグループの情報提示例を示す模式図である。図１１（ａ）において、１１０１〜１１１２は商品を入れた箱であり、縦３列、横４列に配置されている。箱１１０１〜１１０５には商品Ａが、箱１１０６には商品Ｃが、箱１１０７〜１１１２には商品Ｂがそれぞれ入っているものとする。各商品の箱にはマーカーが取り付けられているが、簡素化のためにマーカーの表示は省略した。図１１（ｂ）は、図１１（ａ）で示した商品の箱に対してグループ分けを行い、情報提示数の制限なく表示した場合の結果である。図中において提示情報１１１３は、商品Ａのグループに対する提示情報であり、この例では「商品Ａ」という文字と対象商品を囲む黒の太実線により情報提示がなされている。
【００９０】
同様に、提示情報１１１４は商品Ｂ、提示情報１１１５は商品Ｃについての提示情報である。例えば、この店舗では商品Ａと商品Ｂの販売に注力しており、優先度を商品Ａ＞商品Ｂ＞商品Ｃ、また、情報提示数Ｍ＝２とする。図１１（ｃ）は、この場合の情報提示結果を表示したものである。Ｍ＝２であることから商品Ａと商品Ｂに関する情報提示のみが行われるので、情報処理装置を使用する顧客が商品Ａと商品Ｂに注目しやすくなる。
また、他の形態として、投影中心からの距離が短い商品の優先度を高くしてもよい。この場合、投影中心に近い順にグループの情報提示が行われる。更に他の形態として、提示する個数を予め決めておいてもよいし、投影可能領域のサイズに応じて個数を決めてもよい。
【００９１】
図１２（ａ）〜（ｃ）は、投影中心からの距離が短い商品の優先度を高くすることで、投影中心に近い２グループ（Ｍ＝２）の情報提示を行う場合の投影結果の説明図である。
図１２（ａ）においては、図１１（ａ）と同様に、１１０１〜１１１２は商品を入れた箱を表し、箱１１０１〜１１０５には商品Ａが、１１０６には商品Ｃが、１１０７〜１１１２には商品Ｂがそれぞれ入っているものとする。
図１２（ｂ）は、商品Ｂが入っている箱のうち、商品Ａに近い位置にある箱１１０９付近に投影中心１２０１がある場合の投影結果である。Ｍ＝２であるので、３つの商品Ａ〜Ｃのうち、投影中心１２０１に近い商品Ｂと商品Ａの２グループについて情報が提示される。従って、商品Ｃのグループについては情報提示を行わない。
【００９２】
図１２（ｃ）は、商品Ａが入っている箱１１０３付近に投影中心１２０２がある場合の投影結果である。商品Ｃと投影中心１２０２との距離は、商品Ｂと投影中心１２０２との距離よりも短い。従って、商品Ａと商品Ｃの２グループの情報が提示され、商品Ｂのグループの情報は提示されない。これにより、ユーザが情報処理装置により指し示す付近の情報が優先的に提示されることになり、ユーザが注目したい場所の商品情報に対する視認性が向上する。  なお、図８および図１０では、複数のマーカーについて、関連情報の少なくとも一部が共通するマーカーごとにグループ分けして情報提示する場合について説明した。
【００９３】
しかしながら、本発明はこれに限定されるものではなく、関連情報が一致しないマーカーがグループに存在するようにしてもよい。従って、関連情報が一致しないマーカーを含めてグループを形成し、そのグループに対して情報提示を行うことができる。
例えば、遠距離から全体を俯瞰したい場合など、多少の情報誤差を許容して視認性を優先した情報提示を行うことが求められる場合もある。この場合、関連情報が一致しないマーカーを含めてグループを形成することで、ユーザが全体を概略的に把握しやすくなるという利点がある。
【００９４】
図１３（ａ）〜（ｃ）は、グループ内に項目の値が一致しないマーカーを含むことを可能とした概略的なグループ分けの結果を表示する例の説明図である。この例では、あるマーカーに属する商品数が２未満の場合は、単独のグループとはせずに他のグループに所属させる。
【００９５】
図１３（ａ）においては、図１１（ａ）と同様に、１１０１〜１１１２は商品を入れた箱を表し、箱１１０１〜１１０５には商品Ａが、１１０６には商品Ｃが、１１０７〜１１１２には商品Ｂがそれぞれ入っている。図１３（ｂ）は、この例における情報提示結果を示している。図示されるように、商品Ａのグループには提示情報１３０１が、商品Ｂには提示情報１１１４が示されている。箱１１０６には実際には商品Ｃが配置されているが、商品Ｃに関する提示情報は表示されない。図示されるように、箱１１０６は、商品Ａについての提示情報１３０１の領域に含まれている。箱１１０６に配置された商品Ｃは、商品数が２未満であるため、単独のグループとしての情報提示は行われないからである。
【００９６】
なお、この例では、商品Ｃは、商品Ａのグループに含まれるものとしたが、商品Ｃを商品Ａのグループに含めるか、商品Ｂのグループに含めるかは任意に定めることができる。例えば、商品Ｃに対する商品Ａ及び商品Ｂの各相対位置に基づいて、商品Ｃをどちらのグループに含めるかを決めてもよい。例えば、商品Ａと商品Ｂの各グループの中心位置と、商品Ｃの中心位置との距離を求め、距離が小さい方の商品に商品Ｃを含めてグループを形成することもできる。
また、グループを囲む枠の角の数が少なくなるように所属グループを決定してもよい。図１３（ｂ）はこの方法を実行した結果と一致している。図１３（ｂ）の場合は、商品Ａのグループを囲む枠における角の数は４、商品Ｂのグループを囲む枠における角の数も４であり、角の数は合計８となる。
【００９７】
一方、商品Ｃを商品Ｂに所属させた例を図１３（ｃ）に示す。この例では、商品Ａのグループを囲む枠は図１２（ｂ）に示されるものと同様となり、その角の数は６となる。一方、商品Ｂのグループを囲む枠における角の数は、図１３（ｃ）に示されるように６となる。図８および図１０では、グループ分けした結果を同時に情報提示する場合について説明したがこれに限定されるものではなく、グループごとに提示情報を時分割表示してもよい。
【００９８】
図１４は、時分割でグループごとに情報提示を行う場合の模式図である。図１４（ａ）は図１１の（ａ）と同じであるため説明を省略する。情報提示を行う場合には事前に決めた時間（例えば３秒）ごとに、図１４（ｂ）、図１４（ｃ）、図１４（ｄ）の順にグループの情報提示を切り替える。このように時分割で情報提示を行うことで、視認性を向上させることができる。なお、図１４（ｄ）のように情報提示を行った後に、再度図１４（ｂ）から順次表示を繰り返すようにしてもよい。
【００９９】
また、図８および図１０では、距離が遠くなるにつれて情報量を減らす手段として文字数を減らす場合について説明したが、情報量を減らす手法はこれに限定されるものではなく、文字を使わずに情報提示を行ってもよい。例えばグループを囲む枠だけを表示したり、グループを色分け表示したり、グループの種類を表すアイコンや画像、イラストなどを表示してもよい。
【０１００】
図１５（ａ）〜（ｃ）は、文字を使わずに情報提示する例の説明図である。
図１５（ａ）は、グループを囲む枠だけを表示している。この場合、ユーザは、商品の色やサイズ、型番等の詳細な情報を知ることはできない。しかし、ユーザは、図示される３×４＝１２個の箱に３種類の商品が配置されていること、及び各種類の商品が配置された位置を視覚的に容易に理解することができる。従って、ユーザは、自分の求める商品があるか否かの確認する場合、すべての箱を確認する必要はなく、３種類の商品についてそれぞれ１箱だけ確認するだけですむ。
【０１０１】
図１５（ｂ）は、グループごとに色分けした場合の例である。この例では、図１５（ａ）の例と同様に、ユーザは、商品の詳細な情報を知ることはできない。しかし、図示のように色分けをすることで、ユーザは、各種類の商品が配置された位置等を視覚的に一層容易に理解することができる。
図１５（ｃ）は、文字の代わりに画像として靴の絵を表示した場合の例である。この例では、図１５（ａ）、（ｂ）の例と同様に、各種類の商品が配置された位置等を視覚的に容易に理解することができる。更に、画像を用いることで、商品が靴であることや靴の色、靴紐式かマジックテープ式か等の情報を視覚的に容易に理解することができる。
以上のように、図１５（ａ）〜（ｃ）の例では、文字を削除することで情報量を低減し、視認性を向上させることが可能である。更に、商品の画像を用いることで、ユーザは、商品の色や外観等に関する情報を容易に理解することができる。
【０１０２】
以上説明したように、本発明によれば、撮像画像を用いて関連情報の情報量を変更することで、提示情報を投影する際におけるユーザの視認性を向上することができる。また、上述した各実施形態は例示的なものであり、種々の変形が可能である。例えば、上述した実施形態ではマーカーとして２次元バーコードを用いたが、識別可能であれば、バーコードに限らず任意の図形等をマーカーとして用いることができる。また、カラーバーコード等を用いてもよい。
【０１０３】
なお、本発明は、上述した各実施形態の機能を実現するソフトウェアのプログラムコード（制御プログラム）あるいはコンピュータプログラムを記録した記憶媒体を、システムあるいは装置に供給することで実施することも可能である。また、そのシステムあるいは装置のコンピュータ(又はＣＰＵやＭＰＵ)が記憶媒体に格納されたコンピュータ読み取り可能なプログラムコードを読み出し実行することにより実施することも可能である。
【０１０４】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
また、コンピュータが読出したコンピュータプログラムあるいはプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１０５】
更に、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ１０１などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【図１】
2017058657.tif 000003
【図２】
2017058657.tif 000004
【図３】
2017058657.tif 000005
【図４】
2017058657.tif 000006
【図５】
2017058657.tif 000007
【図６】
2017058657.tif 000008
【図７】
2017058657.tif 000009
【図８】
2017058657.tif 000010
【図９】
2017058657.tif 000011
【図１０】
2017058657.tif 000012
【図１１】
2017058657.tif 000013
【図１２】
2017058657.tif 000014
【図１３】
2017058657.tif 000015
【図１４】
2017058657.tif 000016
【図１５】
2017058657.tif 000017