(57)【要約】【課題】ＴＵＩを利用する際にアプリケーションを利用する際の手間を省略し、直接的な操作のユーザビリティや操作性を向上させる情報処理装置を提供する。【解決手段】スクリーン表面上に配置又は接近した操作用物体の画像を抽出する画像抽出部と、物体の画像から物体を識別するＩＤ情報を取得するＩＤ認識部と、ＩＤ情報テーブルと、ＩＤ情報と対応する属性情報をＩＤ情報テーブルから取得する属性情報取得部と、属性情報取得部によって取得された属性情報のアプリケーション情報に対応する起動画像をスクリーン上に表示させる起動画像表示部と、ＩＤ情報のスクリーン面上の配置角度から起動画像表示部によって表示された起動画像の選択を受け付け、該起動画像に対応するアプリケーションの実行開始を制御する角度認識部と、角度認識部からの実行開始指令に対応するアプリケーションを実行する処理実行部とを備えて構成する。【選択図】図４
2010079529.tif 000002
【特許請求の範囲】
【請求項１】
スクリーン表面上に配置または接近した操作用物体が撮像されたときの前記物体の画像を抽出する画像抽出部と、
前記画像抽出部によって抽出された物体の画像から前記物体を識別するＩＤ情報を取得するＩＤ認識部と、
表示内容と選択表示内容、次のステップ、承認表示を対応づけて記憶部に記憶されたアプリケーション情報と、
前記ＩＤ情報と前記アプリケーション情報を含む属性情報とを対応付けて記憶部に記憶されたＩＤ情報テーブルと、
前記ＩＤ認識部によって取得したＩＤ情報と対応する属性情報を前記ＩＤ情報テーブルから取得する属性情報取得部と、
前記属性情報取得部によって取得された属性情報のアプリケーション情報に対応する起動画像を前記スクリーン上に表示させる起動画像表示部と、
前記ＩＤ認識部が取得したＩＤ情報の前記スクリーン面上の配置角度から前記起動画像表示部によって表示された起動画像の選択を受け付け更には当該起動画像に対応するアプリケーションの実行開始を制御する角度認識部と、
前記角度認識部からの実行開始指令に対応するアプリケーションを実行する処理実行部と、を備えたことを特徴とする情報処理装置。
【請求項２】
前記ＩＤ情報テーブルには、一般表示情報があり、一般表示情報テーブルに記載されている情報を合わせて表示できることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記画像抽出部によって抽出された物体の画像は、バーコード画像によって構成されており、
前記ＩＤ認識部は、前記物体の画像がバーコード画像であるかを解析し、前記物体の画像がバーコード画像であると判定された場合には、前記バーコード画像から前記ＩＤ情報を取得することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記アプリケーション情報テーブルは、承認動作に対応し、承認可能なＩＤを元に承認動作として利用できることを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記角度認識部において、前記起動画像の選択に、３６０度から前記起動画面の数を割ることによって求めた角度の閾値を用いることを特徴とする請求項１に記載の情報処理装置。
【請求項６】
動作対象のオブジェクトが前記スクリーンに投影されているものであるときに、その前に利用していたオブジェクトを利用して角度を変更できることを特徴とする請求項１に記載の情報処理装置。
【請求項７】
計時を行うタイマーを備え、前記タイマーにより、任意の時間毎に前記ＩＤ情報の角度を認識することを特徴とする請求項１に記載の情報処理装置。
【請求項８】
角度の認識毎にカウント値を加算し、任意のカウント値に達した場合に選択状態となることを特徴とする請求項１に記載の情報処理装置。
【請求項９】
ＩＤ情報と表示内容と選択表示内容、次のステップ、承認表示を対応づけて記憶部に記憶されたアプリケーション情報を含む属性情報とを対応付けて記憶部に記憶されたＩＤ情報テーブルを用意しておき、
スクリーン表面上に配置または接近した操作用物体が撮像されたときの前記物体の画像を抽出する画像抽出ステップと、
前記画像抽出ステップによって抽出された物体の画像から前記物体を識別するＩＤ情報を取得するＩＤ認識ステップと、
前記ＩＤ認識ステップによって取得されたＩＤ情報と対応する属性情報を、前記ＩＤ情報テーブルから、取得する属性情報取得ステップと、
前記属性情報取得ステップによって取得された属性情報のアプリケーション情報に対応する起動画像を前記スクリーン上に表示させる起動画像表示ステップと、
前記ＩＤ認識ステップによって取得されたＩＤ情報の前記スクリーン面上の配置角度から前記起動画像表示ステップによって表示された起動画像の選択を受け付け更には当該起動画像に対応するアプリケーションの実行開始を制御する角度認識ステップと、
前記角度認識ステップからの実行開始指令に対応するアプリケーションを実行する処理実行ステップと、を含み構成されたことを特徴とする情報処理方法。
【請求項１０】
スクリーン表面上に配置または接近した操作用物体が撮像されたときの前記物体の画像を抽出する画像抽出処理と、
前記画像抽出処理によって抽出された物体の画像から前記物体を識別するＩＤ情報を取得するＩＤ認識処理と、
前記ＩＤ認識処理によって取得されたＩＤ情報と対応する属性情報を、ＩＤ情報テーブルから、取得する属性情報取得処理と、
前記属性情報取得処理によって取得された属性情報のアプリケーション情報に対応する起動画像を前記スクリーン上に表示させる起動画像表示処理と、
前記ＩＤ認識処理によって取得されたＩＤ情報の前記スクリーン面上の配置角度から前記起動画像表示処理によって表示された起動画像の選択を受け付け更には当該起動画像に対応するアプリケーションの実行開始を制御する角度認識処理と、
前記角度認識処理による実行開始指令に対応するアプリケーションを実行する処理実行処理と、をコンピュータに実行させる情報処理装置用プログラム。
【請求項１１】
請求項１０に記載の情報処理プログラムを記録したコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の処理や表示を行う情報処理装置、情報処理方法、そのプログラムおよび記録媒体に関する。
【背景技術】
【０００２】
今日、コンピュータを操作する際には、利用者がマウスおよびディスプレイなどを使用する形態となるＧＵＩ（Graphical User Interface）が広く普及している。例えば、利用者が文書データを含む電子ファイルをディスプレイに表示する場合は、電子ファイル名およびこの電子ファイルに対応付いた文書表示用のアプリケーションプログラムを表すアイコンと呼ばれるディスプレイ上の画像をマウスでクリックすることで、文書表示用のアプリケーションプログラムが起動されると共に文書データがディスプレイに表示される。以下、アプリケーションプログラムを単にアプリケーションという。
【０００３】
しかしながら、それらＧＵＩは、視覚、聴覚によるインタラクションであって、ディスプレイ上に表示される画像を介した間接的な操作である。直接的な操作性を高めるためには個々の情報特有な触覚的なフィードバックが必要であるという思想の下、「情報と物理世界を融合するタンジブル・ユーザ・インタフェース(ＴＵＩ：Tangible User Interface)」が提唱されている。
【０００４】
ＴＵＩを利用する画像表示装置としては、スクリーン上にある物体を撮影するＣＣＤカメラと、画像をスクリーンに表示するプロジェクタを備えている（例えば、特許文献１参照）。また、片手で持つことが可能な大きさの模型や用紙などの物体にサーキュラバーコードが付着されており、利用者がこの物体をスクリーン上に置くと、特許文献１に記載の画像表示装置は、ＣＣＤカメラにより撮影された撮像データから物体に付着しているサーキュラバーコードを読取ってサーキュラバーコードから物体の情報を取得し、物体に関する画像をスクリーンに投影したり、スクリーンに載せた物体を人手で移動させたときに、その物体の動きを認識した移動情報に応じてスクリーンにすでに投影されている画像に動きを与えるなどを行うものが知られている。
【０００５】
上述したＴＵＩを利用する画像表示装置では、実際の物体を手に取って操作するため、ＧＵＩを利用するものと比較すれば、直接的に物体を操作することで、操作に応じたスクリーンの表示や物体に係る情報をユーザに提供することが可能である。
【特許文献１】特開２００７−０１１２７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、ＧＵＩを利用するコンピュータなどでは、アプリケーションを起動する際、アイコンをクリックすることで電子ファイルと共にアプリケーションの起動および電子ファイルを利用することができるが、上述したＴＵＩを利用する従来の画像表示装置では、利用者が、使用したいアプリケーションを予め起動しておき、物体に付着されたサーキュラバーコードを読取らせ、読取られた物体の情報を起動中のアプリケーションに設定する等といった作業を行わなくてはならないという手間が生じていた。
【０００７】
本発明は、上述した課題を解決するためになされたものであり、ＴＵＩを利用する際にアプリケーションを利用する際の手間を省略し、直接的な操作のユーザビリティや操作性を向上させることができる情報処理装置、情報処理方法、そのプログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、請求項１に記載の本発明の情報処理装置は、スクリーン表面上に配置または接近した操作用物体が撮像されたときの前記物体の画像を抽出する画像抽出部と、前記画像抽出部によって抽出された物体の画像から前記物体を識別するＩＤ情報を取得するＩＤ認識部と、表示内容と選択表示内容、次のステップ、承認表示を対応づけて記憶部に記憶されたアプリケーション情報と、前記ＩＤ情報と前記アプリケーション情報を含む属性情報とを対応付けて記憶部に記憶されたＩＤ情報テーブルと、前記ＩＤ認識部によって取得したＩＤ情報と対応する属性情報を前記ＩＤ情報テーブルから取得する属性情報取得部と、前記属性情報取得部によって取得された属性情報のアプリケーション情報に対応する起動画像を前記スクリーン上に表示させる起動画像表示部と、前記ＩＤ認識部が取得したＩＤ情報の前記スクリーン面上の配置角度から前記起動画像表示部によって表示された起動画像の選択を受け付け更には当該起動画像に対応するアプリケーションの実行開始を制御する角度認識部と、前記角度認識部からの実行開始指令に対応するアプリケーションを実行する処理実行部と、を備えた構成を有している。
【０００９】
この構成により、物体がスクリーン上に配置または接近したとき、物体の属性情報に対応付けたアプリケーションに対応する起動画像をスクリーン上に表示させ、表示された起動画像の選択を受け付けた起動画像に対応するアプリケーションを実行するため、ＴＵＩを利用する際にアプリケーションを利用する際の手間を省略し、直接的な操作のユーザビリティや操作性を向上させることができる。
【００１０】
また、請求項２に記載の発明は、請求項１に記載の情報処理装置において、前記ＩＤ情報テーブルには、一般表示情報があり、一般表示情報テーブルに記載されている情報を合わせて表示できることを特徴とする。従って、前記ＩＤ情報テーブルには、前記ＩＤ情報と起動画面が対応付けられており、前記表示内容と選択表示内容、次のステップ、承認表示を対応づけたアプリケーション情報が対応づけられており、前記処理実行部は、前記起動画像に対応するアプリケーションを起動する構成とすることができる。これにより、物体に対応したアプリケーションを起動するため、アプリケーションの起動と共に物体の属性に応じたスクリーンの表示や物体に係る情報をユーザに提供することができる。
【００１１】
また、請求項３に記載の発明は、請求項１に記載の情報処理装置において、前記画像抽出部によって抽出された物体の画像は、バーコード画像によって構成されており、前記ＩＤ認識部は、前記物体の画像がバーコード画像であるかを解析し、前記物体の画像がバーコード画像であると判定された場合には、前記バーコード画像から前記ＩＤ情報を取得する構成を有している。この構成では、バーコード画像が使用されているため、物体の認識が容易に行うことができる。
【００１２】
また、請求項４に記載の発明は、請求項１に記載の情報処理装置において、前記アプリケーション情報テーブルは、承認動作に対応し、承認可能なＩＤを元に承認動作として利用できることを特徴とする。また、請求項５に記載の発明は、請求項１に記載の情報処理装置において、前記角度認識部において、前記起動画像の選択に、３６０度から前記起動画面の数を割ることによって求めた角度の閾値を用いることを特徴とする。
【００１３】
また、請求項６に記載の発明は、請求項１に記載の情報処理装置において、動作対象のオブジェクトが前記スクリーンに投影されているものであるときに、その前に利用していたオブジェクトを利用して角度を変更できることを特徴とする。
【００１４】
また、請求項７に記載の発明は、請求項１に記載の情報処理装置において、計時を行うタイマーを備え、前記タイマーにより、任意の時間毎に前記ＩＤ情報の角度を認識することを特徴とする。
【００１５】
また、請求項８に記載の発明は、請求項１に記載の情報処理装置において、角度の認識毎にカウント値を加算し、任意のカウント値に達した場合に選択状態となることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、ＴＵＩを利用する際にアプリケーションを利用する際の手間を省略し、直接的な操作のユーザビリティや操作性を向上させることができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について、図面を用いて説明する。
（本発明の第１の実施形態）
図１は、本発明の第１の実施の形態に係る画像表示装置の側面図である。図２は、本発明の第１の実施の形態に係る画像表示装置の斜視図である。図１に示すように、本実施形態としての画像表示装置１は、表面１１と、スクリーン１２と、投影面１３と、筐体１４と、筐体１４内に設置されたプロジェクタ１５およびＣＣＤ（Charge Coupled Device）カメラ１６（撮像部）と、および入力機器１７（操作入力部）が接続された情報処理装置１００とから構成されている。
【００１８】
スクリーン１２は、拡散処理が施されている透過性のあるスクリーンである。プロジェクタ１５は、スクリーン１２に向けて設置されており、スクリーン１２にプロジェクタ１５からの画像が投影されるようになっている。ＣＣＤカメラ１６は、スクリーン１２を撮影し続けるようになっている。情報処理装置１００には、プロジェクタ１５およびＣＣＤカメラ１６が接続されており、ＣＣＤカメラ１６からの入力画像と、プロジェクタ１５への出力画像を処理するようになっている。表面１１は、デスクとして使用するためのある程度の強度を持った透明な部材からなる。入力機器１７は、マウスなどのポインティングデバイスなどによって構成される。
【００１９】
図２に示すように、本実施形態の画像表示装置１は、矩形の平面部（表面１１）を有し、デスク状の表示部（スクリーン１２）と、情報処理装置１００とを備えている。表示部（スクリーン１２）は矩形の平面部（表面１１）の中央部分に、筐体１４の内部から投影された画像が表示されるようになっている。
【００２０】
また、図１に示すように画像表示装置１は、スクリーン１２とスクリーン１２を支える筐体１４と、筐体１４内に設けられ、投影面１３に画像を投影するプロジェクタ１５と、筐体１４内のスクリーン１２の裏面側全体が視野角となる位置に配置され、スクリーン１２を裏面側から撮影するＣＣＤカメラ１６とを備えている。筐体１４内に配置されたＣＣＤカメラ１６と情報処理装置１００とはコードによって接続され、筐体１４内に配置されたプロジェクタ１５と情報処理装置１００とは光学的に結合されている。
【００２１】
スクリーン１２は、２重構造をなし、スクリーン１２の裏面側には投影画像が投影される投影面１３が設けられ、投影面１３と表面１１とは密着させて一体化されている。例えば、情報処理装置１００が起動した時、投影面１３には、情報処理装置１００にインストールされたオペレーティングシステムのディスクトップ画像と共に、マウスなどの操作に応じて移動するポインタ（例えば矢印型のポインタ）等が表示される。ユーザは投影面１３に投影されている投影画像をスクリーン１２の表面側から見ることで、スクリーン１２上に「表示」されているように感じることができる。また、利用者が情報処理装置１００を操作することにより、プロジェクタ１５から投影面１３に投影される投影画像が変化することで、スクリーン１２に「表示」される内容が随時変化していく。
【００２２】
表面１１及び投影面１３はともに透明であるが、投影面１３の表面１１と密着する側の表面には微細な凹凸が設けられており、投影面１３に画像が投影されると、その光はわずかに拡散して透過するので、表面１１が設けられたスクリーン１２の表面側からは色々な角度からその投影された画像を視認することができるようになっている。ここで、表面１１には傷がつきにくいように、透明保護シートを被覆するようにしても良いし、透明な塗料などによりコーティングするようにしても良い。
【００２３】
情報処理装置１００は、ＣＣＤカメラ１６で撮影され得られた画像に応じて、プロジェクタ１５からスクリーン１２の裏面側に投影される投影画像を操作するようにすることができる。なお、情報処理装置１００は、本実施形態の画像表示装置１に専用に作成されたものであっても良いし、パーソナルコンピュータに所定のソフトウェアがインストールされたもので構成しても良い。また、情報処理装置１００は、筐体１４内に配置しても良い。
【００２４】
プロジェクタ１５は、図示しない反射ミラーやビームスプリッタなどの光学系によって情報処理装置１００の図示しないディスプレイと結合され、情報処理装置１００で生成された画像をスクリーン１２の投影面１３に投影することができるようになっている。
【００２５】
ＣＣＤカメラ１６は、例えばＵＳＢ（Universal Serial Bus）インタフェースを介して情報処理装置１００にコードで接続され、スクリーン１２の表面側、即ち、表面１１に載置された物体や、表面１１に描画された図形や表面１１に映った影などを、スクリーン１２の裏面側、即ち投影面１３側から所定の時間間隔で撮影し、撮像データを得ることができるようになっている。撮影された画像に対応する画像データは、情報処理装置１００に供給されるようになっている。
【００２６】
また、図２では、ユーザＭが、画像表示装置１の前に着席するなどして画像表示装置１を使用する形態を示している。例えば、片手で持つことが可能な大きさの物体にサーキュラバーコードが貼付されており、ユーザＭが手で持った物体をスクリーン１２の表面１１上に置くか接近させることで、画像表示装置１は、サーキュラバーコードを読取って物体に関する処理を行うようになっている。
【００２７】
物体は、ビルディングのミニチュア、コピー機のミニチュア、木のミニチュア、カメラなどの小型機器、または用紙などであり、スクリーン１２の表面１１上に置くか接近させることが可能でバーコードなどの物体を識別可能な画像が付着できるものであれば、如何なるものでも良い。
【００２８】
図９では、物体に貼付されたサーキュラバーコードを表している。物体は、写真用紙５０、ミニチュアのプリンタ３０、ミニチュアの複合機２０、ミニチュアの木４０、ミニチュアのカメラ６０、ＩＤカード７０などとして示している。これらの物体の底面などに、図９に示すようなサーキュラバーコード画像が貼付されている。また、写真用紙５０では、その裏面にサーキュラバーコード画像が貼付されている。
【００２９】
本発明でいうＩＤ情報（識別情報）として機能する上記サーキュラバーコードについて説明する。サーキュラバーコード画像は、それぞれの物体を識別するＩＤ情報を標示している。サーキュラバーコード３０１は、所定点を中心に１次元のバーコードを円形に配置したバーコードである。１次元バーコードは、縞模様状の線の太さ及びその間隔によって数値等を表すバーコードであるが、サーキュラバーコード３０１のバーは円形に配置されているため、中心から半径方向の距離に応じて線及び間隔が太くなる。すなわち、バーコードの各線はくさび状の形状となる。サーキュラバーコード３０１は、バーコードの開始点３０１ｓと終了点３０１ｅの判別を容易にするため、また、物体の方向識別のため、白の部分を長く取ってあることが特徴である。開始点３０１ｓと終了点３０１ｅを解析することでサーキュラバーコード３０１のスクリーン上の位置と姿勢を取得できる。
【００３０】
図３は、本発明の第１の実施の形態に係る画像表示装置の装置構成図を示す。画像表示装置１は、上述したようにプロジェクタ１５、ＣＣＤカメラ１６、入力機器１７、および情報処理装置１００によって構成されている。情報処理装置１００は、ＣＰＵ（Central Processing Unit）などの処理装置１０１、主にアプリケーションや短期的に必要なデータがロードされているＲＡＭ（Random Access Memory）などの主記憶装置１０２、および長期的に記憶が必要なデータが記憶されているＨＤＤ（Hard Disk Drive）などの補助記憶装置１０３（記憶部）によって構成されている。
【００３１】
図４は、本発明の第１の実施の形態に係る情報処理装置の機能的な構成例を示す図であり、点線で囲っている部分は、本発明の第１の実施の形態に係る情報処理装置の機能的な構成を示しており、画像抽出部１１０、ＩＤ認識部１２０、属性情報取得部１３０、投影画像生成部１４０、処理選択受付部１５０、処理実行部１６０、登録部１７０、および角度認識部１８０によって構成されている。これらの部材は、ＣＰＵなどの処理装置によって実行されるプログラムのモジュールなどである。
【００３２】
画像抽出部１１０は、例えば、ＣＣＤカメラから出力された画像を２値化し、スクリーン１２上に載置された物体のサーキュラバーコード画像や人の指などの影など、特定の画像の部分を抽出するようになっている。画像抽出部１１０が抽出する画像は、特にサーキュラバーコード画像や人の指などの影に限定することはないが、本発明の実施の形態では、サーキュラバーコード画像または指の影を例にとって説明する。また、画像抽出部１１０は、特定の画像を抽出しやすいようにＣＣＤカメラから出力された画像に対して加工を施すようにしている。
【００３３】
ＩＤ認識部１２０は、画像抽出部１１０によって抽出された物体の画像からＩＤ情報を取得するようになっている。ＩＤ情報は、例えば、物体に一意に割り当てられたＩＤである。例えば、ＩＤ認識部１２０は、画像抽出部１１０によって抽出された画像がサーキュラバーコード画像であれば、サーキュラバーコード画像内のバーの配列のパタンを読取り、読取ったバーの配列のパタンから物体のＩＤを特定するようになっている。パタンは、黒バーが所定位置にある場合には１、無い場合には０として特定され、バイナリで表現される。
【００３４】
なお、サーキュラバーコード画像を読取る具体的な実施例としては、特許文献１：特開２００７−０１１２７６号公報に記載されており、特に特許文献１の図３８〜図４２に関する説明に記載されている。ＩＤ認識部１２０（特許文献１におけるＩＤ認識部）は、このような実施例同等機能でサーキュラバーコード画像を読取るようにしてもよい。
【００３５】
属性情報取得部１３０は、ＩＤ認識部１２０によって取得したＩＤと対応する属性情報を取得するようになっている。例えば、属性情報取得部１３０は、補助記憶装置１０３に記憶されているＩＤ情報テーブル（属性情報テーブル）を参照して物体のＩＤから属性情報を取得するようになっている。
【００３６】
ＩＤ情報テーブルは、ＩＤと表示内容、承認動作の情報が保管されている。ここで、ＩＤ情報テーブルの一例を図５に示す。図５に示したＩＤ情報テーブルは、物体のＩＤと表示内容と承認動作情報（アプリケーション情報）などの属性情報を対応させた情報である。なお、起動画面の生成（後述する）のためには、ＩＤ情報テーブルには、一般表示内容と特殊表示内容がある。一般表示内容は、そのオブジェクトが保持する汎用的な起動画面を現し、図６に一例を示す如き一般表示情報テーブルに記載されている。また、特殊表示内容は、そのオブジェクトに固有の起動画面であり、ＩＤ情報テーブルに記載されている。なお、特殊表示内容に記載されているものは、複数のＩＤに関連づけられていても良い。アプリケーション情報は、例えば、アプリケーションを識別する名前やＩＤである。なお、登録部１７０は、ＩＤ情報テーブルを生成およびＩＤ情報テーブルの内容を追加削除したり、属性ファイルを生成および属性ファイルの内容を追加削除したりするものである。
【００３７】
また、アプリケーション情報テーブルは、アプリケーション情報とアプリケーションの実行ファイルの所在を表すパスとが対応付けられている情報である。ここで、アプリケーション情報テーブルの一例を図７に示す。なお、情報処理装置１００は、図８に一例を示す如き承認動作情報テーブル（図４では明示されていない）も有している。
【００３８】
角度認識部１８０は、ＩＤ認識部１２０によって取得したＩＤ情報のスクリーン上の角度を取得し、後で詳述する一連の処理をするようになっている。また、取得した角度をメモリに保存する。以降もＩＤ認識部１２０によって取得したＩＤの角度が角度認識部１８０により監視等される。
【００３９】
投影画像生成部１４０（起動画像表示部）は、属性情報取得部１３０によって取得されたアプリケーション名に対応した起動画像をスクリーン１２の裏面側の投影面１３にプロジェクタ１５を介して投影させるようになっている。起動画像は、ユーザによって選択されるアプリケーションを起動するための画像である。スクリーン１２上に表示させたイメージを図１１に示す。図１１では、スクリーン１２上にミニチュアの複合機２０があり、その周辺に４つの起動画像１９が投影されている様子が表されている。４つの起動画像１９は、アプリケーション毎に対応したものであり、それぞれ起動画像１９ａから起動画像１９ｄとして区別している。
【００４０】
処理実行部１６０は、角度認識部１８０によって選択されたアプリケーションを実行するようになっている。例えば、処理実行部１６０は、アプリケーション名が角度認識部１８０から出力され、補助記憶装置１０３に記憶されているアプリケーション情報テーブルを参照して、アプリケーション名からアプリケーションのパスを取得してアプリケーションを実行するようになっている。なお、パスは、アプリケーションの実行ファイルの所在を表すものである。タイマーは、任意の間隔で計時する機能を持つ。角度確認分に対して、角度を確認するタイミングを通知する。
【００４１】
以上のように構成された本発明の第１の実施の形態に係る情報処理装置の処理について説明する。図１０は、本発明の第１の実施の形態に係る情報処理装置が実行するプログラムの一例を示すフローチャートである。なお、本発明の実施の形態に係る情報処理装置が実行するプログラムは、ＣＤ−ＲＯＭなどの記録媒体に格納されていてもよい。
【００４２】
図１０を参照すると、まず、ＣＣＤカメラ１６は、スクリーン１２上のもの（本例では、ミニチュアの複合機２０）を撮影した画像を画像抽出部１１０に出力する（ステップＳ１）。なお、ＣＣＤカメラ１６がスクリーン１２上のものを撮影するタイミングは、特定の時間間隔（例えば１秒間で７．５フレーム程度）である。画像抽出部１１０は、ユーザＭがスクリーン１２上にサーキュラバーコード画像が付着された物体を置いた状況などで、ＣＣＤカメラ１６から出力された画像から、物体に付着されたサーキュラバーコード画像など、特定の画像の部分を抽出する（ステップＳ２）。
【００４３】
ＩＤ認識部１２０は、画像抽出部１１０によって抽出されたサーキュラバーコード画像など、特定の画像から物体のＩＤを数値などの形で物体認識する（ステップＳ３）。次いで、ＩＤ認識部１２０が、サーキュラバー画像を認識し、サーキュラバーコード画像内のバーの配列のパタンを読取り、読取った配列のパタンから物体のＩＤを特定し、処理がステップＳ５に進む。また、画像がサーキュラバーコードでないその他のものである場合、処理がステップＳ１に進む。
【００４４】
続いて、属性情報取得部１３０は、図５に示したＩＤ情報テーブルを参照し、該当するＩＤがテーブルに記載されているかどうか照合する（ステップＳ５）。認識されたＩＤがＩＤ情報テーブルに無い場合には（ステップＳ６：Ｎｏ）、ＩＤの認識フローに戻る。もし、認識された物体のＩＤがＩＤ情報テーブルにある場合には（ステップＳ６：Ｙｅｓ）、対応する物体の属性情報を取得する（ステップＳ７）。例えば、物体のＩＤが「１」であった場合には、ＩＤ「１」の物体に対応するアプリケーション名であるカタログ表示アプリ、レイアウトシミュレーション、環境シミュレーション、および説明書表示アプリが物体のＩＤ「１」の属性情報として取得される。
【００４５】
投影画像生成部１４０は、属性情報取得部１３０によって取得されたＩＤ情報を元にアプリケーション名毎に対応する起動画像を生成し（ステップＳ８）、起動画像を投影面１３に起動画面としてプロジェクタ１５を介して投影させる（ステップＳ９）。例えば、投影面１３の全面に投影される画像は、特定の時間間隔（例えば１秒間で７．５フレーム程度）毎に更新されて投影されており、起動画像は、投影面１３の全面の画像の更新時とともに投影される。
【００４６】
例えば起動画面は、図１１に記載されているような形になる。ここに、ＩＤが「１」である物体がミニチュアの複合機２０、ＩＤが「２」である物体がミニチュアのプリンタ３０、ＩＤが「１１」である物体がミニチュアの木４０、ＩＤが「３３」である物体が写真用紙５０、ＩＤが「５５」である物体がカメラ６０であったとする。例えば、ミニチュアの複合機２０が情報処理装置１００で認識された場合、ステップＳ９では、図１１に示すようにスクリーン１２上に、アプリケーション名に対応した４つの起動画像１９が投影される。個々の説明は省略するが、その他の異なるＩＤの物体が認識された場合には、認識された物体の個々のＩＤに対応した１以上の起動画像１９が投影されることになる。ステップＳ９以降では、ユーザが物体を操作（スクリーン表面上での物体の移動、また、姿勢の角度変化）して次なる指示を与える。
【００４７】
角度認識部１８０は、ＩＤ認識部１２０からの出力に基づいて、ユーザＭが物体を操作しているのか否かを判定する（ステップＳ８）。すなわち、先ず、起動画面の数を計測し、３６０度を除算して商を求めて閾値の角度とする（ステップＳ１０）。そして、タイマーに、計時を開始させ（ステップＳ１１）、ＩＤ認識部１２０で認識したＩＤの角度情報を取得してメモリに保持する（ステップＳ１２）。また、上部に位置する起動画像（１９ａ）の色を変更する（斜線にて表す）ように、投影画像生成部１４０に通知する（ステップＳ１３）。プロジェクタ１５が結果を画面に表示する。変更がなされた様子を図１２に示す。
【００４８】
そして、明示しない制御部は、ある設定した任意のタイミングで角度認識部１８０に対して、ＩＤの角度の確認を促す。角度認識部１８０は、ＩＤの角度情報を取得し、既にメモリに保持している角度から減算し、その値が先に設定した閾値と比較して閾値を超えているかを判定する（ステップＳ１４）。閾値を超えているようであれば（ステップＳ１４：Ｙｅｓ）、タイマーにリセット信号を送る（ステップＳ１５）。リセット信号が送られタイマーが初めからカウントスタートした後、ステップＳ１２からのＩＤの角度情報を取得する（監視する）フローに戻る。ユーザＭがこのアプリケーションを選択しているものと判断し、メモリに保持されている直近に取得されたＩＤの角度情報に対応する（アプリケーション）起動画像の色を変更するように、投影画像生成部１４０に通知する（ステップＳ１３）。プロジェクタ１５が結果を画面に表示する。変更がなされた様子の一例を、図１３に示す。図１３では物体を左回り方向に回転させ、閾値を超えたために、次の起動画像（１９ｂ）の色が変更（斜線にて表す）されている状態となっている。
【００４９】
ステップＳ１４における、閾値を超えているかの判定で閾値を超えていないようであれば（ステップＳ１４：Ｎｏ）、カウントを加算する（ステップＳ１６）。その後、現在のカウント値が任意の値を超えているか判定し（ステップＳ１７）、超えていないようであれば（ステップＳ１７：Ｎｏ）、ステップＳ１４からのフローに戻る。ステップＳ１７で、超えているようであれば（ステップＳ１７：Ｙｅｓ）、ユーザＭがこのアプリケーション実行を選択しているものと判断し、メモリに保持されている直近に取得されたＩＤの角度情報に対応する（アプリケーション）起動画像の色をそれまでと異なった色に変更するように、投影画像生成部１４０に通知する（ステップＳ１８）。プロジェクタ１５が結果を画面に表示する。変更がなされた様子の一例を、図１４に示す。図１４では起動画像（１９ｂ）の色が変更（網線にて表す）されている状態となっている。
【００５０】
そして、処理実行部１６０は、ＩＤの番号と角度から、図７に示したアプリケーション情報テーブルを参照することで、属性情報取得部１３０によって取得された物体のＩＤに関連づけられ、角度で特定されているアプリケーションのパスを取得し（ステップＳ１９）、対象アプリケーションを実行する（ステップＳ２０）。
【００５１】
ステップＳ２０でアプリケーションが実行された後は、スクリーン１２上にアプリケーション固有のウィンドや画像が表示され、ステップＳ９で投影された起動画像は消滅する。
【００５２】
なお、図５に示したＩＤ情報テーブルについては、物体のＩＤと属性ファイルとが１対１に対応するように表現されていたが、物体のＩＤが複数の属性ファイルに対応付けられていてもよい。
【００５３】
また、詳細説明は省略するが、ＩＤ情報テーブルおよびアプリケーション情報テーブルに対しては、予め情報を登録することができ、物体のＩＤ、および、ＩＤに対応する物体がフィジカルオブジェクトかドキュメントであるかが予め登録されている。フィジカルオブジェクトとは、ミニチュアの複合機２０、プリンタ３０、木４０などである。ドキュメントとは、写真用紙５０などであって、写真用紙５０の内容である画像データが情報処理装置１００にあるものである。
【００５４】
以上説明したように、本発明の第１の実施の形態に係る情報処理装置１００は、物体がスクリーン上に配置または接近したとき、物体の属性情報に対応付けたアプリケーションに対応する起動画像をスクリーン上に表示させ、表示された起動画像の選択を受け付けた起動画像に対応するアプリケーションを実行するため、ＴＵＩを利用する際にアプリケーションを利用する際の手間を省略し、直接的な操作のユーザビリティや操作性を向上させることができる。
【００５５】
（本発明の第２の実施形態）
本発明の第第２の実施の形態は、複数の物体（サーキュラバーコードが貼付された複数のオブジェクト）に関する情報を認識するように、また、認証機能を備えている場合の形態である。
【００５６】
本発明の第２の実施の形態に係る情報処理装置の構成ならびに機能的な構成については、本発明の第１の実施の形態に係る情報処理装置１００の構成と同様であるため図示せず、重複説明は省略し、また、本発明の第２の実施の形態に係る情報処理装置を構成する構成要素のうち、本発明の第１の実施の形態に係る情報処理装置を構成する構成要素と同一の構成要素には同一の符号を付し、それぞれの説明を省略する。以下では、２つの物体（オブジェクト）に関する情報を認識した場合を例にとって説明する。
【００５７】
第１実施形態同様に物体は、写真用紙、ミニチュアのプリンタ、ミニチュアの複合機、ミニチュアの木、カメラの他、メンバーカードであり（先の図９参照）、写真用紙やメンバーカードでは、その裏面にサーキュラバーコード画像が貼付されている。
【００５８】
続いて、本発明の第２の実施の形態に係る情報処理装置の処理について説明する。図１５は、本発明の第２の実施の形態に係る情報処理装置が実行するプログラムの一例を示すフローチャートである。なお、本発明の実施の形態に係る情報処理装置が実行するプログラムは、ＣＤ−ＲＯＭなどの記録媒体に格納されていてもよい。
【００５９】
図１５によれば、第１実施形態と同様に、まず、ＣＣＤカメラ１６は、スクリーン１２上のものを撮影した画像を画像抽出部１１０に出力する（ステップＳ１）。なお、ＣＣＤカメラ１６がスクリーン１２上のものを撮影するタイミングは、特定の時間間隔（例えば１秒間で７．５フレーム程度）である。画像抽出部１１０は、ユーザＭがスクリーン１２上にサーキュラバーコード画像が付着された物体であるカメラ６０を置いた状況などで、ＣＣＤカメラ１６から出力された画像から、物体に付着されたサーキュラバーコード画像など、特定の画像の部分を抽出する（ステップＳ２）。
【００６０】
ＩＤ認識部１２０は、画像抽出部１１０によって抽出されたサーキュラバーコード画像など、特定の画像から物体のＩＤを数値などの形で物体認識する（ステップＳ３）。次いで、ＩＤ認識部１２０が、サーキュラバーコード画像を認識し、サーキュラバーコード画像内のバーの配列のパタンを読取り、読取った配列のパタンから物体のＩＤを特定し、処理がステップＳ５に進む。また、画像がサーキュラバーコードでないその他のものである場合、処理がステップＳ１に進む。
【００６１】
続いて、属性情報取得部１３０は、図５に示したＩＤ情報テーブルを参照し、該当するＩＤがテーブルに記載されているかどうか照合する（ステップＳ５）。認識されたＩＤがＩＤ情報テーブルに無い場合には（ステップＳ６：Ｎｏ）、また、ＩＤの認識フローに戻る。もし、認識された物体のＩＤがＩＤ情報テーブルにある場合には（ステップＳ６：Ｙｅｓ）、対応する物体の属性情報を取得する（ステップＳ７）。例えば、物体のＩＤが「１」であった場合には、ＩＤ「１」の物体に対応するアプリケーション名であるカタログ表示アプリ、レイアウトシミュレーション、環境シミュレーション、および説明書表示アプリが物体のＩＤ「１」の属性情報として取得される。
【００６２】
投影画像生成部１４０は、属性情報取得部１３０によって取得されたＩＤ情報を元にアプリケーション名毎に対応する起動画像を生成し（ステップＳ８）、起動画像を投影面１３に起動画面としてプロジェクタ１５を介して投影させる（ステップＳ９）。例えば、投影面１３の全面に投影される画像は、特定の時間間隔（例えば１秒間で７．５フレーム程度）毎に更新されて投影されており、起動画像は、投影面１３の全面の画像の更新時とともに投影される。
【００６３】
なお、起動画面の生成のためには、ＩＤ情報テーブルには、一般表示内容と特殊表示内容がある。一般表示内容は、そのオブジェクトが保持する汎用的な起動画面を現し、一般表示情報テーブルに記載されている。また、特殊表示内容は、そのオブジェクトに固有の起動画面であり、ＩＤ情報テーブルに記載されている。なお、特殊表示内容に記載されているものは、複数のＩＤに関連づけられていても良い。
【００６４】
例えば起動画面は、図１６に記載されているような形になる。例えば、カメラ６０が情報処理装置１００で認識された場合、ステップＳ９では、図１６に示すようにスクリーン１２上に、アプリケーション名に対応した７つの起動画像１９が投影される。
【００６５】
角度認識部１８０は、ＩＤ認識部１２０からの出力に基づいて、ユーザＭが物体を操作しているのか否かを判定する（ステップＳ８）。すなわち、先ず、起動画面の数を計測し、３６０度を除算して商を求めて閾値の角度とする（ステップＳ１０）。そして、タイマーに、計時を開始させ（ステップＳ１１）。ＩＤ認識部で認識したＩＤの角度情報を取得してメモリに保持する（ステップＳ１２）。また、上部に位置する起動画像（１９ａ）の色を変更（斜線にて表す）するように、投影画像生成部１４０に通知する（ステップＳ１３）。プロジェクタ１５が結果を画面に表示する。変更がなされた様子を図１７に示す。
【００６６】
そして、明示しない制御部は、ある設定した任意のタイミングで角度認識部１８０に対して、ＩＤの角度の確認を促す。角度認識部１８０は、ＩＤの角度情報を取得し、既にメモリに保持している角度から減算し、その値が先に設定した閾値と比較して閾値を超えているかを判定する（ステップＳ１４）。閾値を超えているようであれば（ステップＳ１４：Ｙｅｓ）、タイマーにリセット信号を送る（ステップＳ１５）。リセット信号が送られタイマーが初めからカウントスタートした後、ステップＳ１２からのＩＤの角度情報を取得する（監視する）フローに戻る。ユーザＭがこのアプリケーションを選択しているものと判断し、メモリに保持されている直近に取得されたＩＤの角度情報に対応する（アプリケーション）起動画像の色を変更するように、投影画像生成部１４０に通知する（ステップＳ１３）。プロジェクタ１５が結果を画面に表示する。変更がなされた様子の一例を、図１８に示す。図１８では物体を左回り方向に回転させ、閾値を超えたために、次の起動画像（１９ｂ）の色が変更（斜線にて表す）されている状態となっている。
【００６７】
ステップＳ１４における、閾値を超えているかの判定で閾値を超えていないようであれば（ステップＳ１４：Ｎｏ）、カウントを加算する（ステップＳ１６）。その後、現在のカウント値が任意の値を超えているか判定し（ステップＳ１７）、超えていないようであれば（ステップＳ１７：Ｎｏ）、ステップＳ１４からのフローに戻る。ステップＳ１７で、超えているようであれば（ステップＳ１７：Ｙｅｓ）、ユーザＭがこのアプリケーション実行を選択しているものと判断し、メモリに保持されている直近に取得されたＩＤの角度情報に対応する（アプリケーション）起動画像の色をそれまでと異なった色に変更するように、投影画像生成部１４０に通知する（ステップＳ１８）。プロジェクタ１５が結果を画面に表示する。変更がなされた様子の一例を、図１９に示す。図１９では起動画像（１９ｂ）の色が変更（網線にて表す）されている状態となっている。
【００６８】
ここで、特に本第２実施形態においては、承認の要否を判定する（ステップＳ２１）。図７に示したアプリケーション情報テーブルを参照すると、実行指示された、特定ファイル一覧アプリの「承認表示」には「ＩＤ」と記載があるため（ステップＳ２１：Ｙｅｓ）、ＩＤオブジェクトを設置するようにメッセージ（例えば、『ＩＤを載せてください』）を表示する（ステップＳ２２）。この状態で、ＩＤ情報テーブルの承認動作が「ＩＤ」であるものを接すると、図８に一例を示す如き承認動作情報テーブルに従ってＩＤ情報が処理部に渡される（ステップＳ２３）。
【００６９】
図２０はメンバーカードを載せた状態を示す。ＩＤを載せ承認を受けることにより、受け付けたことを示すために、投影画像生成部に、色の変化を通知し変更している（斜線で表す）。ＩＤ情報が処理部に渡され、受け取った処理部は、ＩＤ情報を元に、特定のファイル（起動画像相当）を表示する。図２１にファイルを表示している状態を示す。角度認識部１８０によって、メンバーカードを対象としてその角度が監視される。
【００７０】
メンバーカードを回転させると（図２２参照）、角度認識部１８０が角度を認識し、既述したと同様の処理が行われて閾値を超えることで、オブジェクトの色を変更する。その後、カウントが特定の値を超えると選択され、ドキュメントであるため、一般表示情報テーブルのDocumentにある表示内容が起動画面として表示される。図２３にその状態を示す。起動画面の選択にも、事前に使っていたメンバーカードを利用して、その角度の変更を角度認識部１８０で認知する。図２４に『プリントアウト』が色変更（仮選択）されている状態を示す。
【００７１】
角度変更の無いままカウントが特定の値を超えると選択状態となる。図２５にその状態を示す。図２５の例では、『プリントアウト』が選択されているため、アプリケーション情報テーブルを参照すると、プリントアウトの場合、承認表示に「Print」があるため、ＩＤ情報テーブルの承認動作が「Printer」である物体（ここではミニチュアの複合機２０）を載せると、認識・承認されプリントアウトが指令される。図２６にその状態を示す。
【００７２】
そして、処理実行部１６０は、ＩＤの番号と角度から、図７に示したアプリケーション情報テーブルを参照することで、属性情報取得部１３０によって取得された物体のＩＤに関連づけられ、角度で特定されているアプリケーションのパスを取得し（ステップＳ１９）、対象アプリケーションを実行する（ステップＳ２０）。
【００７３】
以上説明したように、本発明の第２の実施の形態に係る情報処理装置１００は、マウスなどの入力機器を用いずに起動画像が選択でき、複数のオブジェクトがあっても操作し続けられ承認可能なＩＤを元に承認動作として利用できるため、さらにセキュリティ性を向上させることができ操作性も良い。
【００７４】
なお、実施形態装置では、マウスなどの入力機器１７を操作してスクリーン上のポインタをスクリーン１２上の起動画像１９の何れかの上に置き、クリックするなどの動作によっても同様に指示を与えることも出来るものとするが、ここでは、触れない。
【産業上の利用可能性】
【００７５】
以上のように、本発明は、ＴＵＩを利用する際にアプリケーションを利用する際の手間を省略し、直接的な操作のユーザビリティや操作性を向上させることができるという効果を有し、画像の処理や表示を行う情報処理装置などに有用である。
【図面の簡単な説明】
【００７６】
【図１】本発明の第１、第２の実施の形態に係る画像表示装置の側面図である。
【図２】本発明の第１、第２の実施の形態に係る画像表示装置の斜視図である。
【図３】本発明の第１、第２の実施の形態に係る画像表示装置の装置構成図である。
【図４】本発明の第１、第２の実施の形態に係る情報処理装置の機能的な構成を示す図である。
【図５】ＩＤ情報テーブルの一例を示す図である。
【図６】一般表示情報テーブルの一例を示す図である。
【図７】アプリケーション情報テーブルの一例を示す図である。
【図８】承認動作情報テーブルの一例を示す図である。
【図９】物体に貼付されたサーキュラバーコードを示す図である。
【図１０】本発明の第１の実施の形態に係る情報処理装置の処理の一例を示すフローチャートである。
【図１１】複合機のミニチュアをスクリーン上に接地させたときのイメージを示す図である。
【図１２】起動画面が選択前状態になったときのイメージを示す図である。
【図１３】複合機のミニチュアを回転させて起動画面が選択前状態になったときのイメージを示す図である。
【図１４】起動画面が選択状態になったときのイメージを示す図である。
【図１５】本発明の第２の実施の形態に係る情報処理装置の処理の一例を示すフローチャートである。
【図１６】カメラをスクリーン上に接地させたときのイメージを示す図である。
【図１７】起動画面が選択前状態になったときのイメージを示す図である。
【図１８】カメラを回転させて起動画面が選択前状態になったときのイメージを示す図である。
【図１９】起動画面が選択状態になり、メンバーカード待ちとなったときのイメージを示す図である。
【図２０】メンバーカードを載せて選択状態となったときのイメージを示す図である。
【図２１】メンバーカードとカメラに関連するファイルが一覧表示されたときのイメージを示す図である。
【図２２】メンバーカードを回転させて、起動画面が選択前状態になったときのイメージを示す図である。
【図２３】Documentに合わせて起動画面が投影されたときのイメージを示す図である。
【図２４】起動画面が選択前状態になったときのイメージを示す図である。
【図２５】起動画面が選択され、プリンタ待ち状態になったときのイメージを示す図である。
【図２６】複合機のミニチュアをスクリーン上に接地させプリントアウトが選択されたときのイメージを示す図である。
【符号の説明】
【００７７】
１    画像表示装置
１０    ファイル一覧
１１    表面
１２    スクリーン
１３    投影面
１４    筐体
１５    プロジェクタ（投影部）
１６    ＣＣＤカメラ（撮像部）
１９    起動画像
２０    ミニチュアの複合機
３０    ミニチュアのプリンタ
４０    ミニチュアの木
５０    写真用紙
６０    カメラ
７０    ＩＤカード
１００    情報処理装置
１０１    処理装置
１０２    主記憶装置
１０３    補助記憶装置（記憶部）
１１０    画像抽出部
１２０    ＩＤ認識部（物体認識部）
１３０    属性情報取得部
１４０    投影画像生成部（起動画像表示部）
１６０    処理実行部
１７０    登録部
１８０    角度認識部
２２０    物体認識部
２５０    処理選択受付部
３０１    サーキュラバーコード
３８０    関連ＩＤ情報検索部
３９０    表示処理部
【図１】
2010079529.tif 000003
【図２】
2010079529.tif 000004
【図３】
2010079529.tif 000005
【図４】
2010079529.tif 000006
【図５】
2010079529.tif 000007
【図６】
2010079529.tif 000008
【図７】
2010079529.tif 000009
【図８】
2010079529.tif 000010
【図９】
2010079529.tif 000011
【図１０】
2010079529.tif 000012
【図１１】
2010079529.tif 000013
【図１２】
2010079529.tif 000014
【図１３】
2010079529.tif 000015
【図１４】
2010079529.tif 000016
【図１５】
2010079529.tif 000017
【図１６】
2010079529.tif 000018
【図１７】
2010079529.tif 000019
【図１８】
2010079529.tif 000020
【図１９】
2010079529.tif 000021
【図２０】
2010079529.tif 000022
【図２１】
2010079529.tif 000023
【図２２】
2010079529.tif 000024
【図２３】
2010079529.tif 000025
【図２４】
2010079529.tif 000026
【図２５】
2010079529.tif 000027
【図２６】
2010079529.tif 000028