(57)【要約】【課題】コンピュータ等を直接操作することなく、実空間内の物体の外観をコピーして、実空間内の任意の位置に表示する。【解決手段】実空間における対象領域に対するユーザの操作を検出する操作検出部と、対象領域に対してユーザが予め定められたコピー操作をしたことに応じて、対象領域を撮像した画像におけるコピー操作により指定された範囲を取得する画像取得部と、対象領域に対してユーザが予め定められたペースト操作をしたこと応じて、実空間に画像を表示するための表示装置を制御して、コピー操作により取得された画像をペースト操作により指定された位置に表示する表示制御部と、を備える表示システムを提供する。【選択図】図１
2013114467.tif 000002
【特許請求の範囲】
【請求項１】
実空間における対象領域に対するユーザの操作を検出する操作検出部と、
前記対象領域に対してユーザが予め定められたコピー操作をしたことに応じて、前記対象領域を撮像した画像における前記コピー操作により指定された範囲を取得する画像取得部と、
前記対象領域に対して前記ユーザが予め定められたペースト操作をしたこと応じて、前記実空間に画像を表示するための表示装置を制御して、前記コピー操作により取得された画像を前記ペースト操作により指定された位置に表示する表示制御部と、
を備える表示システム。
【請求項２】
前記対象領域を撮像する撮像装置と、
前記対象領域に画像を表示する表示装置と
を更に備える請求項１に記載の表示システム。
【請求項３】
前記実空間における物体までの距離を検出する距離検出装置を更に備え、
前記操作検出部は、前記対象領域から予め定められた距離内に位置するユーザの身体の予め定められた部位の動きに基づき、前記対象領域に対するユーザの操作を検出する
請求項２に記載の表示システム。
【請求項４】
前記表示制御部は、前記対象領域に対して表示している画像に対して前記ユーザが予め定められた移動操作をしたことに応じて、当該画像の表示位置を前記移動操作により指定された方向に移動する
請求項１から３の何れか１項に記載の表示システム。
【請求項５】
前記表示制御部は、前記対象領域に対して表示している画像に対して前記ユーザが予め定められた拡大縮小操作をしたことに応じて、当該画像の大きさを前記拡大縮小操作により指定された大きさに変更する
請求項１から３の何れか１項に記載の表示システム。
【請求項６】
前記表示制御部は、前記対象領域に対して表示している画像に対して前記ユーザが予め定められた消去操作をしたことに応じて、当該画像を消去する
請求項１から３の何れか１項に記載の表示システム。
【請求項７】
前記操作検出部は、前記対象領域に対してユーザが手のみで操作をしたことを条件として、ユーザの操作を検出する
請求項１から６の何れか１項に記載の表示システム。
【請求項８】
前記画像取得部は、前記対象領域の全体を画角内に含めて撮像している状態より撮像倍率を大きくして撮像された画像から、前記対象領域における前記コピー操作により指定された範囲を取得する
請求項１から７の何れか１項に記載の表示システム。
【請求項９】
前記画像取得部は、前記対象領域の平面度が基準値以上となるタイミングにおいて撮像された画像における、前記対象領域における前記コピー操作により指定された範囲を取得する
請求項１から８の何れか１項に記載の表示システム。
【請求項１０】
前記画像取得部は、異なるタイミングで撮像された複数の画像のそれぞれから前記コピー操作により指定された範囲における障害物により隠れていない部分を抽出し、抽出した部分を合成して前記コピー操作により指定された範囲を取得する
請求項１から９の何れか１項に記載の表示システム。
【請求項１１】
前記表示制御部は、前記対象領域に対してユーザが前記コピー操作を開始してから前記コピー操作を完了するまでの間において、前記コピー操作において指定されている範囲を示す枠を表示する
請求項１から１０の何れか１項に記載の表示システム。
【請求項１２】
前記表示制御部は、前記対象領域に対してユーザが前記コピー操作を開始してから前記コピー操作を完了するまでの間において、前記コピー操作において指定されている範囲の画像を、前記対象領域における前記コピー操作において指定されている範囲外に表示する
請求項１から１０の何れか１項に記載の表示システム。
【請求項１３】
前記表示制御部は、予め指定された操作が割り付けられたボタンを有する操作パネルを表示し、
前記操作検出部は、前記操作パネルが有するボタンに対してユーザが操作したことに応じて、当該ボタンに割り付けられた操作を検出する
請求項１から１２の何れか１項に記載の表示システム。
【請求項１４】
前記操作検出部は、前記対象領域上にユーザが手で予め定められた方向に直線を描いたことに応じて、コピー操作がされたことを検出し、
前記画像取得部は、一連の動作で描いた１または複数の前記直線を含む矩形の範囲を、前記コピー操作において指定された範囲として取得するとともに、前記ユーザが引いた直線の種類に応じて異なる解像度で前記コピー操作において指定された範囲の画像を取得する
請求項１から１３の何れか１項に記載の表示システム。
【請求項１５】
前記操作検出部は、ユーザが何れの指でコピー操作またはペースト操作をしたかを検出し、
前記画像取得部は、ユーザが前記コピー操作をしたことに応じて、操作をした指に対応付けて画像を取得し、
前記表示制御部は、ユーザが前記ペースト操作をしたことに応じて、操作をした指に対応して取得した画像を表示する
請求項１から１３の何れか１項に記載の表示システム。
【請求項１６】
前記操作検出部は、ユーザが予め指定された属性が割り付けられた物体を持って前記対象領域に対して操作をしているか否かを検出し、
前記画像取得部は、前記操作検出部が検出した物体に割り付けられた属性で、前記対象領域を撮像した画像における前記コピー操作により指定された範囲を取得する
請求項１から１４の何れか１項に記載の表示システム。
【請求項１７】
前記操作検出部は、前記対象領域に対して操作をしたユーザを識別し、
前記画像取得部は、前記対象領域に対してユーザが前記コピー操作をしたことに応じて、コピー操作をしたユーザに対応付けて前記コピー操作により指定された範囲を取得し、
前記表示制御部は、前記対象領域に対してユーザが前記ペースト操作をしたことに応じて、前記ペースト操作をしたユーザに対応して取得した画像を表示する
請求項１から１５の何れか１項に記載の表示システム。
【請求項１８】
保存されたデータを読み出すデータ読出部を更に備え、
前記操作検出部は、前記対象領域に記載されたファイル名、および、予め定められたデータ読出操作を検出し、
前記データ読出部は、前記データ読出操作がされたことに応じて前記ファイル名で表されるデータを読み出し、
前記表示制御部は、前記データ読出部により読み出されたデータを表示する
請求項１から１６の何れか１項に記載の表示システム。
【請求項１９】
前記操作検出部は、前記対象領域に記載された人物名を検出し、
前記表示制御部は、前記データ読出操作がされたことに応じて前記人物名で表される人物に関するデータを読み出し、
前記表示制御部は、前記データ読出部により読み出されたデータを表示する
請求項１８に記載の表示システム。
【請求項２０】
実空間における対象領域に対するユーザの操作を検出する操作検出ステップと、
前記対象領域に対してユーザが予め定められたコピー操作をしたことに応じて、前記対象領域を撮像した画像における前記コピー操作により指定された範囲を取得する画像取得ステップと、
前記対象領域に対して前記ユーザが予め定められたペースト操作をしたこと応じて、前記実空間に画像を表示するための表示装置を制御して、前記画像取得ステップにより取得された画像を前記実空間における前記ペースト操作により指定された位置に表示する表示制御ステップと、
を備える表示方法。
【請求項２１】
コンピュータを、
実空間における対象領域に対するユーザの操作を検出する操作検出部と、
前記対象領域に対してユーザが予め定められたコピー操作をしたことに応じて、前記対象領域を撮像した画像における前記コピー操作により指定された範囲を取得する画像取得部と、
前記対象領域に対して前記ユーザが予め定められたペースト操作をしたこと応じて、前記実空間に画像を表示するための表示装置を制御して、前記画像取得部により取得された画像を前記実空間における前記ペースト操作により指定された位置に表示する表示制御部と、
を備える制御装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示システム、表示方法およびプログラムに関する。
【背景技術】
【０００２】
特許文献１には、コピー対象を正確に選択するための方法が記載されている。特許文献２には、マルチタッチパネルにおいて、指のジェスチャーにより情報を入力する方法が記載されている。特許文献３には、対象物を含む領域に注釈画像を表示する方法が記載されている。特許文献４には、複数のデプスセンシングカメラと複数のプロジェクタとの座標を一致させて、３次元空間の任意の位置に仮想的なオブジェクトを表示する方法が記載されている。
特許文献１  特許第４０５６４７７号明細書
特許文献２  特表２０１０−５３２０５５号公報（ＷＯ２００９／００２７５８）
特許文献３  特開２００９−２９０４８８号公報
特許文献４  ＵＳ２０１１／０２０５３４１
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかし、従来、コンピュータ等を直接操作することなく、実空間内の物体の外観をコピーして、実空間内の任意の位置に表示させることはできなかった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、実空間における対象領域に対するユーザの操作を検出する操作検出部と、前記対象領域に対してユーザが予め定められたコピー操作をしたことに応じて、前記対象領域を撮像した画像における前記コピー操作により指定された範囲を取得する画像取得部と、前記対象領域に対して前記ユーザが予め定められたペースト操作をしたこと応じて、前記実空間に画像を表示するための表示装置を制御して、前記コピー操作により取得された画像を前記ペースト操作により指定された位置に表示する表示制御部と、を備える表示システム、及び、このような表示システムに関連する表示方法およびプログラムを提供する。
【０００５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００６】
【図１】本実施形態に係る表示システム１０の構成を示す。
【図２】本実施形態に係る制御装置３０の機能構成を示す。
【図３】スクリーン１４（対象平面）に設けられたポスター６２および表示された画像オブジェクトの一例を示す。
【図４】初期化処理のフローを示す。
【図５】通常処理のフローを示す。
【図６】コピー操作の一例を示す。
【図７】コピー操作がされた場合の処理フローを示す。
【図８】ペースト操作の一例を示す。
【図９】ペースト操作がされた場合の処理フローを示す。
【図１０】移動操作の一例を示す。
【図１１】移動操作または拡大縮小操作がされた場合の処理フローを示す。
【図１２】コピー操作時に表示される枠６６および画像６８の一例を示す。
【図１３】低解像度でコピーする場合および高解像度でコピーする場合のコピー操作の一例を示す。
【図１４】操作する指毎に異なる画像を対応付けてコピーする場合のコピー操作およびペースト操作の一例を示す。
【図１５】本実施形態の変形例に係る制御装置３０の機能ブロックを示す。
【図１６】本実施形態の変形例に係る表示システム１０によるデータの表示例を示す。
【図１７】本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。
【発明を実施するための形態】
【０００７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００８】
図１は、本実施形態に係る表示システム１０の構成を示す。表示システム１０は、ユーザがコピーを表す動作（コピー操作）をしたことに応じて、対象領域（本実施形態においては対象平面）におけるユーザにより指定された範囲の画像を撮像して取得する。そして、表示システム１０は、ユーザがペーストを表す動作（ペースト操作）をしたことに応じて、コピー操作によって取得した画像を対象領域（本実施形態においては対象平面）のユーザにより指定された位置に例えば投影して表示する。
【０００９】
表示システム１０は、撮像装置２２と、表示装置２４と、距離検出装置２６と、制御装置３０とを備える。撮像装置２２は、実空間における対象平面の少なくとも一部を撮像する。本実施形態において、対象平面は、部屋１２内に設けられたスクリーン１４である。しかし、対象領域は、スクリーン１４に限らず、机上の面、部屋の側壁、床面等の他の領域であってもよい。また、対象領域は、平面に限らず、曲面または段差が付いた面等であってもよい。
【００１０】
表示装置２４は、実空間における対象平面の少なくとも一部に画像を表示する。表示装置２４は、一例として、対象平面に画像を投影するプロジェクタである。また、表示装置２４は、スクリーン１４と一体的に設けられたフラットパネルディスプレイであってもよい。
【００１１】
なお、撮像装置２２の撮像範囲と表示装置２４の表示範囲とは、互いに重複する範囲であってもよいし、重複しない範囲であってもよい。例えば、スクリーン１４の全面が対象平面である場合、撮像装置２２の撮像範囲がスクリーン１４における左半分の範囲であり、表示装置２４の表示範囲がスクリーン１４における右半分の範囲である。
【００１２】
距離検出装置２６は、実空間における物体までの距離を検出する。距離検出装置２６は、一例として、右側カメラと左側カメラとを有するステレオカメラである。このような距離検出装置２６は、右側カメラにより撮像された画像と左側カメラにより撮像された画像との間の視差により、画面内の各物体までの被写体距離を表すことができる。本実施形態においては、距離検出装置２６は、ステレオ画像に基づき画面内に含まれる物体の表面の各位置までの距離を示す距離画像を生成して出力する。
【００１３】
制御装置３０は、コンピュータである。制御装置３０は、撮像装置２２、表示装置２４および距離検出装置２６の動作を制御する。より具体的には、制御装置３０は、撮像装置２２を制御して、撮像装置２２により撮像された撮像画像を取得する。また、制御装置３０は、距離検出装置２６を制御して、距離検出装置２６により生成された距離画像を取得する。さらに、制御装置３０は、表示装置２４を制御して、対象平面に画像を表示する。
【００１４】
図２は、本実施形態に係る制御装置３０の機能構成を示す。制御装置３０は、距離取得部４２と、対象平面特定部４４と、平面パラメータ記憶部４６と、操作検出部４８と、メイン制御部５０と、画像取得部５２と、コピー画像記憶部５４と、オブジェクト記憶部５６と、表示制御部５８とを有する。
【００１５】
距離取得部４２は、距離検出装置２６から、実空間における各物体までの距離を示す距離画像を取得する。対象平面特定部４４は、距離取得部４２により取得された距離画像に基づき、対象平面の位置を特定する。対象平面特定部４４は、一例として、初期化処理において、対象平面の位置を特定する。平面パラメータ記憶部４６は、対象平面特定部４４により特定された対象平面の位置を表す平面パラメータを記憶する。
【００１６】
操作検出部４８は、通常処理において、距離取得部４２により取得された距離画像、および、平面パラメータ記憶部４６に記憶された平面パラメータに基づき、実空間における対象平面に対するユーザの操作を検出する。本実施形態においては、操作検出部４８は、対象平面から予め定められた距離内に位置するユーザの身体の予め定められた部位（例えば手）の動きに基づき、対象平面に対するユーザの操作を検出する。
【００１７】
操作検出部４８は、一例として、ユーザの手が対象平面に触れた状態で右に動いた場合、コピー操作がされたと検出する。操作検出部４８は、一例として、ユーザの手が対象平面に触れた状態で左に動いた場合、ペースト操作がされたと検出する。操作検出部４８は、一例として、ユーザの手が対象平面に触れた状態で下に動いた場合、消去操作がされたと検出する。操作検出部４８は、一例として、ユーザの手が表示されている画像に触れている場合、移動操作または拡大縮小操作がされたと検出する。
【００１８】
メイン制御部５０は、操作検出部４８により検出されたユーザの操作に応じて、画像取得部５２、コピー画像記憶部５４、オブジェクト記憶部５６および表示制御部５８を制御する。さらに、メイン制御部５０は、距離取得部４２を制御して距離画像を取得させる。
【００１９】
画像取得部５２は、撮像装置２２により撮像された画像を入力する。そして、画像取得部５２は、対象平面に対してユーザがコピー操作をしたことに応じて、対象平面を撮像した画像におけるコピー操作により指定された範囲を取得する。コピー画像記憶部５４は、画像取得部５２が取得した範囲の画像を、コピー画像として一時的に記憶する。
【００２０】
オブジェクト記憶部５６は、対象平面に表示するべき１または複数の画像オブジェクトを記憶する。ここで、画像オブジェクトは、画像データとともに、当該画像の表示上の大きさを示す大きさデータおよび表示位置を表す座標データを含むデータである。
【００２１】
表示制御部５８は、表示装置２４を制御して、オブジェクト記憶部５６に含まれる１または複数の画像オブジェクトを対象平面上に表示する。この場合において、表示制御部５８は、１または複数の画像オブジェクトのそれぞれに含まれる画像データが、座標データにより表させる座標に表示され、且つ、大きさデータにより表される大きさで表示されるように、１または複数の画像オブジェクトに含まれる画像データを合成して表示する。
【００２２】
さらに、表示制御部５８は、対象平面に対してユーザがペースト操作をしたこと応じて、表示装置２４を制御して、画像取得部５２により取得されたコピー画像を実空間におけるペースト操作により指定された位置に表示する。この場合、メイン制御部５０は、対象平面に対してユーザがペースト操作をしたことに応じて、コピー画像記憶部５４に記憶されているコピー画像にペースト操作により指定された座標データおよび大きさデータを付加して新たな画像オブジェクトを生成し、生成した新たな画像オブジェクトをオブジェクト記憶部５６に記憶させる。
【００２３】
そして、表示制御部５８は、オブジェクト記憶部５６に記憶された新たな画像オブジェクトを含む１または複数の画像オブジェクトを合成して対象平面に表示する。これにより、表示制御部５８は、ペースト操作により指定された位置に、コピー画像を表示することができる。
【００２４】
なお、制御装置３０は、対象平面の座標を１つの物理オブジェクトとして予め登録し、物理オブジェクトとして登録された対象平面に対する各種の操作入力があったことに応じて対応するメソッドを呼び出してデータの入出力をするプログラムを実行する。これにより、ユーザは、対象平面を１つのコンピュータにより制御可能な物理オブジェクトとして認識しながら制御プログラムを記述することができるので、容易にプログラミングをすることができる。
【００２５】
図３は、スクリーン１４（対象平面）に設けられたポスター６２および表示された画像オブジェクトの一例を示す。表示システム１０によれば、ユーザがあたかも対象平面上の物体の外観をコピーして指定された位置にペーストしているように、画像の撮像および表示をすることができる。
【００２６】
例えば、図３に示されるように、人物およびカレンダーが描かれたポスター６２がスクリーン１４上に設けられていたとする。このような場合において、表示システム１０は、スクリーン１４に対するユーザの動作によって、ポスター６２内の人物の画像とカレンダーの画像とをそれぞれ別個にコピーして、それぞれの画像をスクリーン１４上の指定された位置にペーストすることができる。また、さらに、表示システム１０は、スクリーン１４に対するユーザの動作によって、ペーストした画像を移動したり、ペーストした画像を拡大縮小したり、ペーストした画像を消去したりすることもできる。
【００２７】
図４は、初期化処理のフローを示す。表示システム１０の制御装置３０は、ユーザによる操作に先立って、図４に示すステップＳ１１からステップＳ１５の初期化処理を実行する。
【００２８】
まず、ステップＳ１１において、制御装置３０は、距離検出装置２６から距離画像を取得する。この場合において、制御装置３０は、少なくとも対象平面を含む距離画像を取得する。
【００２９】
続いて、ステップＳ１２において、制御装置３０は、距離画像に基づき対象平面の位置を特定する。制御装置３０は、一例として、距離画像内の各点から、ＲＡＮＳＡＣ法等により、空間内における平面を表す式（ａ・ｘ＋ｂ・ｙ＋ｃ・ｚ＝ｄ）に一致する点を抽出して、対象平面の位置を特定する。なお、平面を表す式において、ａ、ｂ、ｃ、ｄは、定数である。また、平面を表す式において、ｘは、実空間における横軸方向の位置を表す変数であり、ｙは、実空間における縦軸方向の位置を表す変数であり、ｚは、実空間における高さ軸方向の位置を表す変数である。
【００３０】
続いて、ステップＳ１３において、制御装置３０は、表示装置２４を制御して、対象平面上に予め定められた模様のチェッカーパターンを表示する。制御装置３０は、一例として、格子状のチェッカーパターンを表示する。続いて、ステップＳ１４において、制御装置３０は、チェッカーパターンが表示された対象平面を撮像装置２２および距離検出装置２６のそれぞれにより撮像して、画像を取得する。
【００３１】
続いて、ステップＳ１５において、制御装置３０は、表示装置２４により表示される画像の座標、撮像装置２２により撮像される画像の座標、および、距離検出装置２６により検出される距離画像の座標のそれぞれを互いに位置合わせする。このような初期化処理を実行することにより、制御装置３０は、対象平面に対するユーザの操作位置、対象平面に対する画像の撮像位置、および、対象平面に対する画像の表示位置を一致させることができる。
【００３２】
図５は、通常処理のフローを示す。表示システム１０の制御装置３０は、初期化処理を終了した後に、図５に示すステップＳ２１からステップＳ３５の通常処理を実行する。
【００３３】
まず、ステップＳ２１において、制御装置３０は、距離画像を取得する。続いて、ステップＳ２２において、制御装置３０は、距離画像に基づき、対象平面から予め定められた距離範囲内に位置する物体の表面領域Ｔを検出する。例えば、制御装置３０は、ユーザの手等が、対象平面であるスクリーン１４から予め定められた距離（例えば５ｃｍ）以内に位置する場合、当該手の表面領域Ｔを検出する。これにより、制御装置３０は、ユーザの手が対象平面であるスクリーン１４に触った或いは接触しているといえるほどに近づいたことを検出することができる。
【００３４】
続いて、ステップＳ２３において、制御装置３０は、ステップＳ２２で検出した表面領域Ｔを、初期化処理のステップＳ１２で特定した対象平面に射影した領域Ｔ´に変換する。続いて、ステップＳ２４において、制御装置３０は、領域Ｔ´の重心座標Ｐを算出する。
【００３５】
続いて、ステップＳ２５において、制御装置３０は、重心座標Ｐが、対象平面上に表示されている画像オブジェクト上に位置するか否かを判断する。すなわち、制御装置３０は、例えばユーザの手が画像オブジェクト上にあるか否かを判断する。制御装置３０は、重心座標Ｐが画像オブジェクト上に位置する場合（ステップＳ２５のＹｅｓ）、処理をステップＳ２６に進めて、画像オブジェクトの移動操作または拡大縮小操作に応じた処理を実行する。そして、制御装置３０は、移動操作または拡大縮小操作に応じた処理を終了すると、処理をステップＳ２１に戻す。
【００３６】
制御装置３０は、重心座標Ｐが画像オブジェクト上に位置しない場合（ステップＳ２５のＮｏ）、処理をステップＳ２７に進める。ステップＳ２７において、制御装置３０は、重心座標Ｐが、右方向に移動したか否かを判断する。制御装置３０は、重心座標Ｐが右方向に移動した場合（ステップＳ２７のＹｅｓ）、処理をステップＳ２８に進めて、コピー操作に応じた処理を実行する。そして、制御装置３０は、コピー操作に応じた処理を終了すると、処理をステップＳ２１に戻す。
【００３７】
制御装置３０は、重心座標Ｐが右方向に移動していない場合（ステップＳ２７のＮｏ）、処理をステップＳ２９に進める。ステップＳ２９において、制御装置３０は、重心座標Ｐが左方向に移動したか否かを判断する。制御装置３０は、重心座標Ｐが左方向に移動した場合（ステップＳ２９のＹｅｓ）、処理をステップＳ３０に進めて、ペースト操作に応じた処理を実行する。そして、制御装置３０は、ペースト操作に応じた処理を終了すると、処理をステップＳ２１に戻す。
【００３８】
制御装置３０は、重心座標Ｐが左方向に移動していない場合（ステップＳ２９のＮｏ）、処理をステップＳ３１に進める。ステップＳ３１において、制御装置３０は、重心座標Ｐが上方向に移動したか否かを判断する。制御装置３０は、重心座標Ｐが上方向に移動した場合（ステップＳ３１のＹｅｓ）、処理をステップＳ３２に進めて、保存操作に応じた処理を実行する。ここで、制御装置３０は、保存操作がされた場合には、例えば、対象平面上に表示している画像オブジェクトをデータ格納部内に保存する処理を実行する。そして、制御装置３０は、保存操作に応じた処理を終了すると、処理をステップＳ２１に戻す。
【００３９】
制御装置３０は、重心座標Ｐが上方向に移動していない場合（ステップＳ３１のＮｏ）、処理をステップＳ３３に進める。ステップＳ３３において、制御装置３０は、重心座標Ｐが下方向に移動したか否かを判断する。制御装置３０は、重心座標Ｐが下方向に移動した場合（ステップＳ３３のＹｅｓ）、処理をステップＳ３４に進めて、消去操作に応じた処理を実行する。ここで、制御装置３０は、消去操作がされた場合には、例えば、対象平面上に表示している画像オブジェクトを消去する処理を実行する。そして、制御装置３０は、消去操作に応じた処理を終了すると、処理をステップＳ２１に戻す。
【００４０】
制御装置３０は、重心座標Ｐが、対象平面上において下方向に移動していない場合（ステップＳ３３のＮｏ）、処理をステップＳ３５に進める。ステップＳ３５において、制御装置３０は、ユーザにより予め定められた停止指示がされたか否かを判断する。制御装置３０は、ユーザにより停止指示がされた場合（ステップＳ３５のＹｅｓ）、当該フローを抜けて、通常処理を終了する。制御装置３０は、ユーザにより停止指示がされていない場合（ステップＳ３５のＮｏ）、処理をステップＳ２１に戻す。
【００４１】
このような通常処理を実行することにより、制御装置３０は、対象平面に対するユーザの操作に応じた処理を実行することができる。より具体的には、制御装置３０は、対象平面に対するコピー操作、ペースト操作、移動操作、拡大縮小操作、保存操作および消去操作に応じた処理を実行することができる。
【００４２】
図６は、コピー操作の一例を示す。制御装置３０の画像取得部５２は、対象平面に対してユーザがコピー操作をしたことに応じて、撮像装置２２により撮像された対象平面を撮像した画像における、コピー操作により指定された範囲を取得する。
【００４３】
画像取得部５２は、一例として、対象平面に対してユーザが手を触れた状態で、縦方向に平行に並んだ複数の直線を一連の動作で描いた場合、これらの複数の直線を含む矩形の範囲の画像を、コピー操作において指定された範囲の画像として取得する。より詳しくは、画像取得部５２は、ユーザが、対象平面上に右から左へ且つ上方向から下方向へと複数本の直線を描いた場合、これら複数の直線を囲む矩形の範囲の画像を、撮像装置２２により撮像された画像から取得する。
【００４４】
図７は、コピー操作がされた場合の処理フローを示す。表示システム１０の制御装置３０は、図５のステップＳ２８のコピー操作に応じた処理として、ステップＳ４１からステップＳ５２の処理を実行する。
【００４５】
まず、ステップＳ４１において、制御装置３０は、コピー範囲Ｗを０とする。続いて、ステップＳ４２において、制御装置３０は、距離画像を取得する。
【００４６】
続いて、ステップＳ４３において、制御装置３０は、距離画像に基づき、対象平面から予め定められた距離範囲内に位置する物体の表面領域Ｔを検出する。続いて、ステップＳ４４において、制御装置３０は、ステップＳ４３で検出した表面領域Ｔを、対象平面に射影した領域Ｔ´に変換する。
【００４７】
続いて、ステップＳ４５において、制御装置３０は、コピー範囲Ｗと領域Ｔ´との論理和を演算して、演算結果をコピー範囲Ｗに代入する。これにより、制御装置３０は、ユーザが対象平面を手で触って移動させた場合、手の移動範囲をコピー範囲として検出することができる。
【００４８】
続いて、ステップＳ４６において、制御装置３０は、領域Ｔ´の面積Ｓを算出する。続いて、ステップＳ４７において、制御装置３０は、面積Ｓが予め定められた面積Ｃより大きいか否かを判断する。制御装置３０は、面積Ｓが予め定められた面積Ｃより大きい場合（ステップＳ４７のＹｅｓ）、処理をステップＳ４２に戻す。これにより、制御装置３０は、ユーザの手が対象平面に接触し続けている場合には、コピー操作が継続していると判断して、コピー範囲Ｗの選択動作を継続することができる。
【００４９】
制御装置３０は、面積Ｓが予め定められた面積Ｃ以下の場合（ステップＳ４７のＮｏ）、処理をステップＳ４８に進める。これにより、制御装置３０は、例えばユーザの手が対象平面から離れた場合には、ユーザによるコピー操作が終了したと判断して、コピー範囲Ｗの選択動作を抜けて、次の処理に進むことができる。
【００５０】
続いて、ステップＳ４８において、制御装置３０は、撮像装置２２を制御して、実空間を撮像し、撮像画像Ｘを取得する。この場合において、制御装置３０は、コピー範囲Ｗを含む範囲を撮像する。続いて、ステップＳ４９において、制御装置３０は、撮像画像Ｘを対象平面に射影した射影画像Ｘ´に変換する。
【００５１】
続いて、ステップＳ５０において、制御装置３０は、射影画像Ｘ´とコピー範囲Ｗとをアンド演算して、射影画像Ｘ´からコピー範囲Ｗの画像（コピー画像Ｒ）を取得する。続いて、ステップＳ５１において、制御装置３０は、取得したコピー画像Ｒに、識別番号を割り当てる。そして、ステップＳ５２において、制御装置３０は、コピー画像Ｒ、当該コピー画像Ｒの大きさ（例えば横方向の長さおよび縦方向の長さ）、および、識別番号の組をコピー画像記憶部５４に一時的に保存する。
【００５２】
以上の処理により、制御装置３０は、対象平面に対してユーザがコピー操作をした場合、コピー操作により指定された範囲の画像を取得することができる。
【００５３】
図８は、ペースト操作の一例を示す。制御装置３０の表示制御部５８は、対象平面に対してユーザがペースト操作をしたことに応じて、表示装置２４を制御して、コピー操作により取得されたコピー画像Ｒをペースト操作により指定された位置に表示する。
【００５４】
表示制御部５８は、一例として、ユーザが対象平面に対して手を触れた後に予め定められた方向（例えば左方向）に直線を描いたことに応じて、図７のステップＳ４１からステップＳ５２の処理により取得されたコピー画像Ｒを表示する。この場合において、表示制御部５８は、例えば、対象平面上におけるユーザが手を触れた座標から、予め定められたベクトルを加算した位置にコピー画像Ｒを表示する。
【００５５】
図９は、ペースト操作がされた場合の処理フローを示す。表示システム１０の制御装置３０は、図５のステップＳ３０のペースト操作に応じた処理として、ステップＳ６１からステップＳ６７の処理を実行する。
【００５６】
まず、ステップＳ６１において、制御装置３０は、距離画像を取得する。続いて、ステップＳ６２において、制御装置３０は、距離画像に基づき、対象平面から予め定められた距離範囲内に位置する物体の表面領域Ｔを検出する。
【００５７】
続いて、ステップＳ６３において、制御装置３０は、ステップＳ６２で検出した表面領域Ｔを、対象平面に射影した領域Ｔ´に変換する。続いて、ステップＳ６４において、制御装置３０は、領域Ｔ´の重心座標Ｐを算出する。
【００５８】
続いて、ステップＳ６５において、制御装置３０は、領域Ｔ´の重心座標Ｐから、コピー画像Ｒを表示するための開始座標を算出する。制御装置３０は、一例として、領域Ｔ´の重心座標Ｐを開始座標としてもよいし、領域Ｔ´の重心座標Ｐに予め定められたベクトルを加算した座標を開始座標としてもよい。
【００５９】
続いて、ステップＳ６６において、制御装置３０は、コピー画像記憶部５４に一時的に保存されたコピー画像Ｒに、ステップＳ６５で算出した開始座標および当該コピー画像Ｒの大きさデータを付加して、新たな画像オブジェクトとしてオブジェクト記憶部５６に保存する。これにより、オブジェクト記憶部５６には、新たな画像オブジェクトが記憶される。
【００６０】
続いて、ステップＳ６７において、制御装置３０は、オブジェクト記憶部５６に記憶された１または複数の画像オブジェクトを合成して、対象平面上に表示する。より詳しくは、制御装置３０は、オブジェクト記憶部５６に記憶された１または複数の画像オブジェクトに含まれる画像データのそれぞれを、開始座標に示された位置、且つ、大きさデータに示された大きさで表示されるように合成する。
【００６１】
以上の処理により、制御装置３０は、対象平面に対してユーザがペースト操作をした場合、コピー画像Ｒをペースト操作により指定した位置に表示することができる。
【００６２】
図１０は、移動操作の一例を示す。制御装置３０の表示制御部５８は、対象平面に対して表示している画像に対してユーザが移動操作をしたことに応じて、表示装置２４を制御して、当該画像の表示位置を移動操作により指定された方向に移動する。表示制御部５８は、一例として、対象平面上に表示している画像に対してユーザが手を接触させた後に手を移動させたことに応じて、当該画像をユーザが手を移動させた方向に移動する。
【００６３】
また、制御装置３０の表示制御部５８は、対象平面に対して表示している画像に対してユーザが拡大縮小操作をしたことに応じて、表示装置２４を制御して、当該画像の大きさを拡大縮小操作により指定された大きさに変更する。表示制御部５８は、一例として、対象平面上に表示している画像の４つの角の何れかにユーザが手を接触させた後に手を移動させたことに応じて、手を接触させた角の座標位置をユーザが手を移動させた方向に移動して当該画像を拡大縮小する。
【００６４】
また、制御装置３０の表示制御部５８は、対象平面に対して表示している画像に対してユーザが予め定められた消去操作をしたことに応じて、当該画像を消去する。表示制御部５８は、一例として、対象平面に対して表示している画像の近傍において、ユーザが手を接触させた後に手を下側に移動させたことに応じて、当該画像を消去する。
【００６５】
図１１は、移動操作または拡大縮小操作がされた場合の処理フローを示す。表示システム１０の制御装置３０は、図５のステップＳ２６の移動操作および拡大縮小操作に応じた処理として、ステップＳ７１からステップＳ８１の処理を実行する。
【００６６】
まず、ステップＳ７１において、制御装置３０は、ユーザの手等に重なっている画像オブジェクトＬの開始座標および大きさデータを取得する。続いて、ステップＳ７２において、制御装置３０は、距離画像を取得する。ステップＳ７３において、制御装置３０は、距離画像に基づき、対象平面から予め定められた距離範囲内に位置する物体の表面領域Ｔを検出する。
【００６７】
続いて、ステップＳ７４において、制御装置３０は、ステップＳ７３で検出した表面領域Ｔを、対象平面に射影した領域Ｔ´に変換する。続いて、ステップＳ７５において、制御装置３０は、領域Ｔ´の重心座標Ｐを算出する。続いて、ステップＳ７６において、制御装置３０は、画像オブジェクトＬの重心座標から、領域Ｔ´の重心座標ＰへのベクトルＶを算出する。
【００６８】
続いて、ステップＳ７７において、制御装置３０は、領域Ｔ´の重心座標Ｐが、画像オブジェクトＬの４つの角から予め定められた範囲内に含まれているか否かを判断する。領域Ｔ´の重心座標Ｐが画像オブジェクトＬの４つの角から予め定められた範囲内に含まれていない場合（ステップＳ７７のＮｏ）、制御装置３０は、処理をステップＳ７８に進める。また、領域Ｔ´の重心座標Ｐが画像オブジェクトＬの４つの角から予め定められた範囲内に含まれている場合（ステップＳ７７のＹｅｓ）、制御装置３０は、処理をステップＳ７９に進める。
【００６９】
ステップＳ７８において、制御装置３０は、画像オブジェクトＬの開始座標に、ベクトルＶを加算する。これにより、制御装置３０は、画像オブジェクトＬの表示位置を領域Ｔ´の重心座標Ｐの移動量分、移動させることができる。
【００７０】
また、ステップＳ７８において、制御装置３０は、画像オブジェクトＬの大きさデータ（横方向の長さおよび縦方向の長さ）に、ベクトルＶを加算する。さらに、ステップＳ７８において、制御装置３０は、領域Ｔ´の重心座標Ｐが画像オブジェクトＬの４つの角のいずれの領域に含まれているかに応じて、領域Ｔ´の重心座標Ｐの近傍の角が移動して、領域Ｔ´の重心座標Ｐの近傍の角に対して対向している角が固定するように、開始座標を併せて変更してもよい。これにより、制御装置３０は、画像オブジェクトＬを領域Ｔ´の重心座標Ｐの移動量分、拡大または縮小することができる。
【００７１】
続いて、ステップＳ８０において、制御装置３０は、オブジェクト記憶部５６に記憶された対応する画像オブジェクトＬの開始座標および大きさデータを更新する。続いて、ステップＳ８１において、制御装置３０は、オブジェクト記憶部５６に記憶された１または複数の画像オブジェクトを合成して、対象平面上に表示する。
【００７２】
以上の処理により、制御装置３０は、対象平面に対してユーザが移動操作または拡大縮小操作をした場合、表示している画像を移動または拡大縮小することができる。
【００７３】
図１２は、コピー操作時に表示される枠６６および画像６８の一例を示す。例えば、制御装置３０の表示制御部５８は、対象平面に対してユーザがコピー操作を開始してからコピー操作を完了するまでの間において、コピー操作において指定されている範囲を示す枠６６を表示してもよい。これにより、表示システム１０は、コピー操作により選択されている範囲を、ユーザに視覚的にフィードバックすることができる。この結果、表示システム１０は、ユーザに正確な範囲指定をさせることができる。
【００７４】
また、例えば、制御装置３０の表示制御部５８は、対象平面に対してユーザがコピー操作を開始してからコピー操作を完了するまでの間において、コピー操作において指定されている範囲の画像６８を、対象平面におけるコピー操作において指定されている範囲外に表示してもよい。このようにしても、表示システム１０は、コピー操作により選択されている範囲を、ユーザに視覚的に認識させることができる。
【００７５】
また、制御装置３０の表示制御部５８は、予め指定された操作が割り付けられたボタンを有する操作パネルを表示してもよい。例えば、表示制御部５８は、コピー操作、ペースト操作、移動操作、拡大縮小操作および消去操作等が割り付けられたボタンを有する操作パネルを、対象平面の上部等に表示してもよい。そして、この場合、制御装置３０の操作検出部４８は、操作パネルが有するボタンに対してユーザが操作したことに応じて、当該ボタンに割り付けられた操作を検出する。これにより、表示システム１０は、ユーザの操作内容を確実に判別することができる。
【００７６】
図１３は、低解像度でコピーする場合および高解像度でコピーする場合のコピー操作の一例を示す。操作検出部４８は、対象平面上にユーザが手で予め定められた方向に直線を描いたことに応じて、コピー操作がされたことを検出する。この場合において、画像取得部５２は、一連の動作で描いた１または複数の直線を含む矩形の範囲を、コピー操作において指定された範囲として取得するとともに、ユーザが引いた直線の種類に応じて異なる解像度でコピー操作において指定された範囲の画像を取得してもよい。これにより、表示システム１０は、ユーザの動作に応じて、コピーする画像の画質等の属性を変更することができる。
【００７７】
例えば、画像取得部５２は、ユーザが引いた複数の直線の間隔に応じて、異なる解像度の画像を取得する。より具体的には、画像取得部５２は、間隔が広い場合には低解像度の画像を取得し、間隔が狭い場合には高解像度の画像を取得する。
【００７８】
また、例えば、画像取得部５２は、ユーザが引いた複数の直線の太さに応じて、異なる解像度の画像を取得する。より具体的には、画像取得部５２は、直線が太い場合には低解像度の画像を取得し、直線が細い場合には高解像度の画像を取得する。
【００７９】
同様に、画像取得部５２は、直線を描く速度に応じて異なる解像度の画像を取得してもよい。さらに、画像取得部５２は、画像の解像度に代えて、直線の種類に応じて異なる色深度で画像を取得してもよい。
【００８０】
図１４は、操作する指毎に異なる画像を対応付けてコピーする場合のコピー操作およびペースト操作の一例を示す。操作検出部４８は、ユーザが何れの指でコピー操作またはペースト操作をしたかを検出してもよい。この場合、画像取得部５２は、ユーザがコピー操作をしたことに応じて、操作をした指に対応付けて画像を取得する。そして、表示制御部５８は、ユーザがペースト操作をしたことに応じて、操作をした指に対応して取得した画像を表示する。
【００８１】
例えば、図１４に示されるように、表示制御部５８は、ユーザが親指でペースト操作をした場合には、親指でコピー操作をして取得したコピー画像（例えば人の画像）を表示する。また、図１４に示されるように、表示制御部５８は、ユーザが人差し指でペースト操作をした場合には、人差し指でコピー操作をして取得したコピー画像（例えばカレンダー画像）を表示する。これにより、表示システム１０は、指毎に区別して画像のコピーおよびペースト等をすることができる。
【００８２】
また、操作検出部４８は、ユーザが、予め指定された属性が割り付けられた物体を持って対象平面に対して操作をしているか否かを検出してもよい。そして、この場合、画像取得部５２は、操作検出部４８が検出した物体に割り付けられた属性で、対象平面を撮像した画像におけるコピー操作により指定された範囲を取得してもよい。
【００８３】
例えば、ボールには高解像度の属性が割り当てられ、箱には低解像度の属性が割り当てられているとする。この場合、操作検出部４８は、ユーザがボールを持ってコピー操作をしているか、箱を持ってコピー操作をしているかを検出する。そして、画像取得部５２は、ユーザがボールを持ってコピー操作をした場合には、コピー画像を高解像度で取得し、ユーザが箱を持ってコピー操作をした場合には、コピー画像を低解像度で取得する。これにより、表示システム１０は、ユーザが保持している物に応じて、コピーする画像の画質等の属性を変更することができる。
【００８４】
また、操作検出部４８は、対象平面に対してユーザが手のみで操作をしたことを条件として、ユーザの操作を検出してもよい。例えば、操作検出部４８は、ペン等を持って対象平面に対して文字を記入している場合には、ユーザの操作を検出しない。すなわち、操作検出部４８は、ユーザが予め定められた物を持って操作をした場合にはユーザの操作を検出せず、何ら物を持たずに操作した場合にユーザの操作を検出する。これにより、表示システム１０は、ペン等を持って対象平面に対して文字を記入している場合に、ユーザが対象平面に対して何らかの操作をしていると誤って判断してしまうことを無くすことができる。
【００８５】
また、複数のユーザが対象平面に対して操作をしている場合、操作検出部４８は、対象平面に対して操作をしたユーザを識別してもよい。この場合、画像取得部５２は、対象平面に対してユーザがコピー操作をしたことに応じて、コピー操作をしたユーザに対応付けてコピー操作により指定された範囲を取得する。そして、表示制御部５８は、対象平面に対してユーザがペースト操作をしたことに応じて、ペースト操作をしたユーザに対応して取得した画像を表示する。これにより、表示システム１０は、ユーザ毎に区別して、区別して画像のコピーおよびペースト等をすることができる。
【００８６】
また、画像取得部５２は、対象平面の平面度が基準値以上となるタイミングにおいて撮像された画像における、対象平面におけるコピー操作により指定された範囲を取得してもよい。これにより、画像取得部５２は、例えばユーザが対象平面の前に立っていることにより、対象平面に設けられた物体の外観がユーザに隠れて撮像装置２２により撮像できない場合であっても、ユーザが対象平面の前から他の場所へ移動したタイミングにおいて撮像された画像から、コピー操作により指定された範囲を取得することができる。これにより、表示システム１０によれば、障害物が写りこんでいないコピー画像を確実に取得することができる。
【００８７】
また、画像取得部５２は、異なるタイミングで撮像された複数の画像のそれぞれからコピー操作により指定された範囲における障害物により隠れていない部分を抽出し、抽出した部分を合成してコピー操作により指定された範囲を取得してもよい。このようにしても、表示システム１０によれば、障害物が写りこんでいないコピー画像を確実に取得することができる。
【００８８】
また、画像取得部５２は、画像取得部５２は、対象平面の全体を画角内に含めて撮像している状態より撮像倍率を大きくして撮像された画像から、対象平面におけるコピー操作により指定された範囲を取得してもよい。これにより、表示システム１０によれば、鮮明なコピー画像を取得することができる。
【００８９】
図１５は、本実施形態の変形例に係る制御装置３０の機能ブロックを示す。本変形例に係る表示システム１０は、図１から図１４を参照して説明した本実施形態に係る表示システム１０と略同一の機能および構成を採るので、略同一の機能および構成を有する構成要素には同一の符号を付けて、相違点を除き説明を省略する。
【００９０】
本変形例に係る制御装置３０は、読出部７０を更に有する。読出部７０は、メイン制御部５０からの制御に応じて、保存されたデータを読み出す。読出部７０は、ネットワークを介して外部サーバ等からデータを読み出してもよいし、当該制御装置３０内のデータ記憶装置からデータを読み出してもよい。読出部７０は、読み出したデータを画像オブジェクトに変換してオブジェクト記憶部５６に転送する。
【００９１】
オブジェクト記憶部５６は、読出部７０により読み出されたデータを一つの画像オブジェクトとして記憶する。そして、表示制御部５８は、表示装置２４を制御して、オブジェクト記憶部５６に記憶された１または複数の画像オブジェクトを表示する。これにより、表示制御部５８は、読出部７０により読み出されたデータを含む画像を対象平面に表示することができる。
【００９２】
図１６は、本実施形態の変形例に係る表示システム１０によるデータの表示例を示す。操作検出部４８は、ユーザによって対象平面に記載されたファイル名を検出する。例えば、操作検出部４８は、記載された文字８０を認識して、ファイル名を検出する。そして、操作検出部４８は、ユーザによる対象平面に対する予め定められたデータ読出操作を検出する。
【００９３】
メイン制御部５０は、データ読出操作がされると、読出部７０に対して検出したファイル名およびデータ読出指示を与える。データ読出部７０は、データ読出操作がされたことに応じて、与えられたファイル名で表されるデータを読み出す。そして、読出部７０は、読み出したデータの内容を画像オブジェクトとしてオブジェクト記憶部５６に記憶させる。例えば、読出部７０は、読み出したデータが文書データである場合には、文書を開いた状態の画像データをオブジェクト記憶部５６に記憶させる。そして、表示制御部５８は、データ読出部７０により読み出されたデータを含む画像オブジェクトを対象平面に表示する。これにより、本変形例に係る表示システム１０によれば、対象平面に対するユーザの動作に応じて、データを読み出して表示することができる。
【００９４】
また、操作検出部４８は、対象平面に記載された人物名を検出してもよい。この場合、メイン制御部５０は、データ読出操作がされると、読出部７０に対して検出した人物名およびデータ読出指示を与える。データ読出部７０は、データ読出操作がされたことに応じて、人物名で表される人物に関するデータを検索して読み出す。そして、読出部７０は、読み出したデータの内容を画像オブジェクトとしてオブジェクト記憶部５６に記憶させる。そして、表示制御部５８は、データ読出部７０により読み出されたデータを含む画像オブジェクトを対象平面に表示する。これにより、本変形例に係る表示システム１０によれば、対象平面に対するユーザの動作に応じて、人物に関するデータを読み出して表示することができる。
【００９５】
図１７は、本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部とを備える。
【００９６】
ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００９７】
入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。
【００９８】
また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。
【００９９】
ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。
【０１００】
コンピュータ１９００にインストールされ、コンピュータ１９００を制御装置３０として機能させるプログラムは、距離取得モジュールと、対象平面特定モジュールと、平面パラメータ記憶モジュールと、操作検出モジュールと、メイン制御モジュールと、画像取得モジュールと、コピー画像記憶モジュールと、オブジェクト記憶モジュールと、表示制御モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、距離取得部４２、対象平面特定部４４、平面パラメータ記憶部４６、操作検出部４８、メイン制御部５０、画像取得部５２、コピー画像記憶部５４、オブジェクト記憶部５６および表示制御部５８としてそれぞれ機能させる。
【０１０１】
これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である距離取得部４２、対象平面特定部４４、平面パラメータ記憶部４６、操作検出部４８、メイン制御部５０、画像取得部５２、コピー画像記憶部５４、オブジェクト記憶部５６および表示制御部５８として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の制御装置３０が構築される。
【０１０２】
一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
【０１０３】
また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。
【０１０４】
また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。
【０１０５】
また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。
【０１０６】
以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。
【０１０７】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１０８】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１０９】
１０  表示システム、１２  部屋、１４  スクリーン、２２  撮像装置、２４  表示装置、２６  距離検出装置、３０  制御装置、４２  距離取得部、４４  対象平面特定部、４６  平面パラメータ記憶部、４８  操作検出部、５０  メイン制御部、５２  画像取得部、５４  コピー画像記憶部、５６  オブジェクト記憶部、５８  表示制御部、６２  ポスター、６６  枠、６８  画像、７０  読出部、８０  文字、１９００  コンピュータ、２０００  ＣＰＵ、２０１０  ＲＯＭ、２０２０  ＲＡＭ、２０３０  通信インターフェイス、２０４０  ハードディスクドライブ、２０５０  フレキシブルディスク・ドライブ、２０６０  ＣＤ−ＲＯＭドライブ、２０７０  入出力チップ、２０７５  グラフィック・コントローラ、２０８０  表示装置、２０８２  ホスト・コントローラ、２０８４  入出力コントローラ、２０９０  フレキシブルディスク、２０９５  ＣＤ−ＲＯＭ
【図１】
2013114467.tif 000003
【図２】
2013114467.tif 000004
【図３】
2013114467.tif 000005
【図４】
2013114467.tif 000006
【図５】
2013114467.tif 000007
【図６】
2013114467.tif 000008
【図７】
2013114467.tif 000009
【図８】
2013114467.tif 000010
【図９】
2013114467.tif 000011
【図１０】
2013114467.tif 000012
【図１１】
2013114467.tif 000013
【図１２】
2013114467.tif 000014
【図１３】
2013114467.tif 000015
【図１４】
2013114467.tif 000016
【図１５】
2013114467.tif 000017
【図１６】
2013114467.tif 000018
【図１７】
2013114467.tif 000019