(57)【要約】【課題】ヒューマンエラーを抑止することができ、かつエンターテイメント性に富んだ表示制御を実現することができるコンテンツ表示システム等を提供する。【解決手段】制御装置５は、コンテンツ構成要素、軌跡情報及び制御コマンドを対応付けて、制御コマンド軌跡ＤＢ５１に記憶しておく。そして、制御装置５は、各ＤＢの初期化を行い（Ｓ２１）、撮影装置３から撮影画像を取得し（Ｓ２２）、特定領域の抽出・処理画像への射影を行い（Ｓ３３）、処理画像内の輝点の座標を抽出し（Ｓ２４）、レーザー光発振装置２の光の軌跡を抽出し（Ｓ２５）、制御コマンド軌跡ＤＢ５１を参照して、抽出された軌跡が、いずれかの制御コマンドに対応しているか確認する（Ｓ２６）。軌跡が制御コマンドに対応している場合（Ｓ２６のＹＥＳ）、制御装置５は、対応している制御コマンドに従ってコンテンツの表示制御を行う（Ｓ２７）。【選択図】図４
2013037420.tif 000002
【特許請求の範囲】
【請求項１】
操作者が実空間内の物体に対してレーザー光発振装置の光を照射することによってコンテンツの表示制御を指示するコンテンツ表示システムであって、
前記レーザー光発振装置と、
前記レーザー光発振装置の光が照射される領域を撮影する撮影装置と、
前記コンテンツを表示するコンテンツ表示装置と、
前記撮影装置及び前記コンテンツ表示装置を制御する制御装置と、
によって構成され、
前記制御装置は、
前記コンテンツを構成するコンテンツ構成要素毎に、前記レーザー光発振装置の光の軌跡を識別する軌跡情報と対応付けて、特定の表示制御を実現する制御コマンドを記憶する第１記憶手段と、
前記撮影装置によって撮影される撮影画像を取得する取得手段と、
前記撮影画像から前記レーザー光発振装置の光の軌跡を抽出する抽出手段と、
前記抽出手段によって抽出された光の軌跡について、前記第１記憶手段を参照し、対応する前記制御コマンドを判定する判定手段と、
前記判定手段によって判定された前記制御コマンドに基づいて、前記コンテンツの表示制御を行うコンテンツ表示制御手段と、
を備えることを特徴とするコンテンツ表示システム。
【請求項２】
前記軌跡情報は、判定時間及び判定領域の組からなり、
前記判定手段は、前記抽出手段によって抽出された光の軌跡を構成する輝点の照射時間及び照射位置が、前記軌跡情報における前記判定時間及び前記判定領域に含まれるか否かによって、対応する前記制御コマンドを判定し、
前記制御装置は、
前記コンテンツ構成要素の画像に前記判定領域の位置を示す画像を重畳して、前記コンテンツ表示装置を含む任意の表示装置に表示させる軌跡情報表示制御手段、
を更に具備することを特徴とする請求項１に記載のコンテンツ表示システム。
【請求項３】
前記制御装置は、
前記判定領域の位置の変更を受け付けて、前記第１記憶手段の内容を更新する軌跡情報更新手段、
を更に具備することを特徴とする請求項２に記載のコンテンツ表示システム。
【請求項４】
前記制御装置は、
前記撮影画像内の特徴点の座標情報と対応付けて、前記制御装置の内部処理における座標空間の対応点の座標情報を記憶する第２記憶手段と、
前記撮影画像から特定領域画像を生成し、前記特定領域画像から特徴点を抽出し、前記第２記憶手段を参照して特徴点を前記制御装置の内部処理における座標空間の対応点にマッピングすることによって前記特定領域画像を射影し、処理画像を生成する射影手段と、
を更に具備し、
前記抽出手段は、複数の前記処理画像に対して輝点の座標を抽出し、抽出された座標の集合を、前記レーザー光発振装置の光の軌跡とする
ことを特徴とする請求項１から請求項３のいずれかに記載のコンテンツ表示システム。
【請求項５】
前記制御装置は、
実行環境に合わせた前記撮影装置の撮影パラメータを記憶する第３記憶手段、
を更に具備し、
前記取得手段は、前記第３記憶手段を参照して前記撮影画像を取得する
ことを特徴とする請求項１から請求項４のいずれかに記載のコンテンツ表示システム。
【請求項６】
操作者が実空間内の物体に対してレーザー光発振装置の光を照射することによってコンテンツの表示制御を指示するコンテンツ表示システムにおいて、前記レーザー光発振装置の光が照射される領域を撮影する撮影装置、及び前記コンテンツを表示するコンテンツ表示装置を制御するコンテンツ表示制御装置を制御し、前記コンテンツを構成するコンテンツ構成要素毎に、前記レーザー光発振装置の光の軌跡を識別する軌跡情報と対応付けて、特定の表示制御を実現する制御コマンドを記憶する第１記憶手段を備える制御装置によるコンテンツ表示制御方法であって、
前記撮影装置によって撮影される撮影画像を取得する取得ステップと、
前記撮影画像から前記レーザー光発振装置の光の軌跡を抽出する抽出ステップと、
前記抽出ステップによって抽出された光の軌跡について、前記第１記憶手段を参照し、対応する前記制御コマンドを判定する判定ステップと、
前記判定ステップによって判定された前記制御コマンドに基づいて、前記コンテンツの表示制御を行うコンテンツ表示制御ステップと、
を含むことを特徴とするコンテンツ表示制御方法。
【請求項７】
操作者が実空間内の物体に対してレーザー光発振装置の光を照射することによってコンテンツの表示制御を指示するコンテンツ表示システムにおいて、前記レーザー光発振装置の光が照射される領域を撮影する撮影装置、及び前記コンテンツを表示するコンテンツ表示装置を制御するコンテンツ表示制御装置であって、
前記コンテンツを構成するコンテンツ構成要素毎に、前記レーザー光発振装置の光の軌跡を識別する軌跡情報と対応付けて、特定の表示制御を実現する制御コマンドを記憶する第１記憶手段と、
前記撮影装置によって撮影される撮影画像を取得する取得手段と、
前記撮影画像から前記レーザー光発振装置の光の軌跡を抽出する抽出手段と、
前記抽出手段によって抽出された光の軌跡について、前記第１記憶手段を参照し、対応する前記制御コマンドを判定する判定手段と、
前記判定手段によって判定された前記制御コマンドに基づいて、前記コンテンツの表示制御を行うコンテンツ表示制御手段と、
を備えることを特徴とするコンテンツ表示制御装置。
【請求項８】
コンピュータを、請求項７に記載のコンテンツ表示制御装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作者が実空間内の物体に対してレーザー光発振装置の光を照射することによって、コンテンツの表示制御を指示するコンテンツ表示システム等に関するものである。
【背景技術】
【０００２】
従来から、コンピュータとプロジェクタとを用いるプレゼンテーションでは、操作者がプロジェクタによって投影されたコンテンツ（例えば、動画像や静止画像等）における特定の位置を指し示す為に、レーザーポインタ等のレーザー光発振装置が利用されている。レーザー光発振装置は、指示棒の役割しか果たさないので、コンテンツの表示制御を行う為には、操作者は、別途、コンピュータに接続された入力装置を操作しなければならない。このような煩雑な操作を回避する為に、レーザー光発振装置によってコンテンツの表示制御を指示することができるシステムが望まれている。
【０００３】
例えば、特許文献１に開示されたインタラクティブプレゼンテーション制御システムでは、ディスプレイ・コンピュータ、コンピュータ制御の画像プロジェクタ、レーザーポインタ、投写スクリーンの他に、デジタルカメラおよび制御モジュールを備え、ディスプレイ・コンピュータは電子画像を生成し、その画像はプレゼンテーション画像として投写スクリーン上に投写される。講演者はレーザーポインタを用い所定のジェスチャ空間パターンをプレゼンテーション画像上に描き、デジタルカメラはこれらのプレゼンテーション画像を獲得し、制御モジュール内の処理部はそれらの画像を解析し、ジェスチャ空間パターンを特定する。所定のジェスチャ空間パターンの集合と比較され、マッチするものが見つけられ、続いてそれに関係したディスプレイ・コマンドが選択される。
【０００４】
また、特許文献２に開示されたプロジェクタシステムでは、ライトペンによりプロジェクタスクリーン上の任意の位置をレーザー光の照射により指定する。同一位置での指定が一定時間以上続くことを受光器の撮影イメージに基づいてパソコンで検出する。一定時間以上経過後、パソコンでは、マウスのクリックボタン操作に相当するオンのフラグ信号を発生する。
【０００５】
また、特許文献３には、展示物の部位に照準を定めて、レーザー図形を形成させるレーザーポインタと、レーザー図形が形成された展示物を撮影して撮影画像データを生成する撮像手段と、撮影画像データを図形認識用データと照合して、レーザー図形を認識して、そのレーザー図形の属性情報を作成する図形認識手段と、レーザー図形の照準座標を算出する図形座標算出手段と、照準座標と図形属性情報とを手掛りにして、展示物情報から、レーザー図形に関連付けられる展示物部位の説明情報を読み取る提供情報取得手段と、展示物の部位を説明した情報を展示物画像に重畳させて、表示させる提供情報表示手段と、を備える情報管理装置と、を備える展示物情報提供システムが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−１２５７３８号公報
【特許文献２】特開２００８−２２５５５６号公報
【特許文献３】特開２０１０−２２４６４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１では、コンテンツの内容とは無関係に、ジェスチャ空間パターンとディスプレイ・コマンドとが対応付けられている為、プレゼンテーションを実演する際、ヒューマンエラーによって意図していない表示制御がなされる可能性が高い。例えば、操作者が、特定の位置を指し示すことだけを意図して、レーザーポインタの光を照射していたとしても、レーザーポインタを把持している手を無意識に揺らしてしまった場合、何らかのジェスチャ空間パターンとマッチすると判定され、意図していない表示制御（例えば、「次の画像に進む」等。）がなされてしまう。
【０００８】
また、特許文献２では、マウスのクリックボタンを押下する操作と解除する操作しか実現していない。その為、観者が驚くようなダイナミックな操作が実現できず、エンターテイメント性に乏しい。また、特許文献１と同様、コンテンツの内容とは無関係に、マウスのクリックボタン操作に相当するフラグ信号を発生させる為、ヒューマンエラーによって意図していない表示制御がなされる可能性が高い。
【０００９】
一方、特許文献３では、表示させる情報が、展示物の特定部位を示す照準エリア情報、及びレーザーポインタごとに異なるレーザー図形の図形属性情報に関連付けられている為、レーザーポインタを正しく選択すれば、意図していない表示制御がなされる可能性は低い。しかしながら、操作者の操作としては、照準エリア情報にレーザーポインタの光を照射させるだけであり、観者が驚くようなダイナミックな操作を実現できず、エンターテイメント性に乏しい。
【００１０】
本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、ヒューマンエラーを抑止することができ、かつエンターテイメント性に富んだ表示制御を実現することができるコンテンツ表示システム等を提供することである。
【課題を解決するための手段】
【００１１】
前述した目的を達成するために第１の発明は、操作者が実空間内の物体に対してレーザー光発振装置の光を照射することによってコンテンツの表示制御を指示するコンテンツ表示システムであって、前記レーザー光発振装置と、前記レーザー光発振装置の光が照射される領域を撮影する撮影装置と、前記コンテンツを表示するコンテンツ表示装置と、前記撮影装置及び前記コンテンツ表示装置を制御する制御装置と、によって構成され、前記制御装置は、前記コンテンツを構成するコンテンツ構成要素毎に、前記レーザー光発振装置の光の軌跡を識別する軌跡情報と対応付けて、特定の表示制御を実現する制御コマンドを記憶する第１記憶手段と、前記撮影装置によって撮影される撮影画像を取得する取得手段と、前記撮影画像から前記レーザー光発振装置の光の軌跡を抽出する抽出手段と、前記抽出手段によって抽出された光の軌跡について、前記第１記憶手段を参照し、対応する前記制御コマンドを判定する判定手段と、前記判定手段によって判定された前記制御コマンドに基づいて、前記コンテンツの表示制御を行うコンテンツ表示制御手段と、を備えることを特徴とするコンテンツ表示システムである。第１の発明によって、コンテンツに応じた適切な表示制御を行い、ヒューマンエラーを抑止することができ、かつエンターテイメント性に富んだ表示制御を実現することができる。
【００１２】
第１の発明における前記軌跡情報は、判定時間及び判定領域の組からなり、前記判定手段は、前記抽出手段によって抽出された光の軌跡を構成する輝点の照射時間及び照射位置が、前記軌跡情報における前記判定時間及び前記判定領域に含まれるか否かによって、対応する前記制御コマンドを判定し、前記制御装置は、前記コンテンツ構成要素の画像に前記判定領域の位置を示す画像を重畳して、前記コンテンツ表示装置を含む任意の表示装置に表示させる軌跡情報表示制御手段、を更に具備することが望ましい。これによって、コンテンツの製作者や操作者は、表示制御のテスト中に判定領域を視覚的に確認することができ、コンテンツの製作作業や確認作業が容易になる。
【００１３】
また、第１の発明における前記制御装置は、前記判定領域の位置の変更を受け付けて、前記第１記憶手段の内容を更新する軌跡情報更新手段、を更に具備することが望ましい。これによって、コンテンツの製作者や操作者は、表示制御のテストを行った結果、ヒューマンエラーが発生し易いと判断した軌跡情報を容易に修正することができる。特に、実行環境下で軌跡判定を視覚的に表示し、調整することによって、実際の操作者によるレーザー光発振装置の動作に合わせた調整が可能となる。
【００１４】
また、第１の発明における前記制御装置は、前記撮影画像内の特徴点の座標情報と対応付けて、前記制御装置の内部処理における座標空間の対応点の座標情報を記憶する第２記憶手段と、前記撮影画像から特定領域画像を生成し、前記特定領域画像から特徴点を抽出し、前記第２記憶手段を参照して特徴点を前記制御装置の内部処理における座標空間の対応点にマッピングすることによって前記特定領域画像を射影し、処理画像を生成する射影手段と、を更に具備し、前記抽出手段は、複数の前記処理画像に対して輝点の座標を抽出し、抽出された座標の集合を、前記レーザー光発振装置の光の軌跡とすることが望ましい。これによって、撮影装置の撮影方向やコンテンツ表示装置の投影方向が制約されず、コンテンツ表示システムを様々な環境の実空間に適用することができる。
【００１５】
また、第１の発明における前記制御装置は、実行環境に合わせた前記撮影装置の撮影パラメータを記憶する第３記憶手段、を更に具備し、前記取得手段は、前記第３記憶手段を参照して前記撮影画像を取得することが望ましい。これによって、制御装置によるいくつかの画像処理の手順が不要となり、制御装置の処理効率が向上する。ひいては、コンテンツ表示システムの応答性能を向上させることができる。
【００１６】
第２の発明は、操作者が実空間内の物体に対してレーザー光発振装置の光を照射することによってコンテンツの表示制御を指示するコンテンツ表示システムにおいて、前記レーザー光発振装置の光が照射される領域を撮影する撮影装置、及び前記コンテンツを表示するコンテンツ表示装置を制御するコンテンツ表示制御装置を制御し、前記コンテンツを構成するコンテンツ構成要素毎に、前記レーザー光発振装置の光の軌跡を識別する軌跡情報と対応付けて、特定の表示制御を実現する制御コマンドを記憶する第１記憶手段を備える制御装置によるコンテンツ表示制御方法であって、前記撮影装置によって撮影される撮影画像を取得する取得ステップと、前記撮影画像から前記レーザー光発振装置の光の軌跡を抽出する抽出ステップと、前記抽出ステップによって抽出された光の軌跡について、前記第１記憶手段を参照し、対応する前記制御コマンドを判定する判定ステップと、前記判定ステップによって判定された前記制御コマンドに基づいて、前記コンテンツの表示制御を行うコンテンツ表示制御ステップと、を含むことを特徴とするコンテンツ表示制御方法である。第２の発明によって、コンテンツに応じた適切な表示制御を行い、ヒューマンエラーを抑止することができ、かつエンターテイメント性に富んだ表示制御を実現することができる。
【００１７】
第３の発明は、操作者が実空間内の物体に対してレーザー光発振装置の光を照射することによってコンテンツの表示制御を指示するコンテンツ表示システムにおいて、前記レーザー光発振装置の光が照射される領域を撮影する撮影装置、及び前記コンテンツを表示するコンテンツ表示装置を制御するコンテンツ表示制御装置であって、前記コンテンツを構成するコンテンツ構成要素毎に、前記レーザー光発振装置の光の軌跡を識別する軌跡情報と対応付けて、特定の表示制御を実現する制御コマンドを記憶する第１記憶手段と、前記撮影装置によって撮影される撮影画像を取得する取得手段と、前記撮影画像から前記レーザー光発振装置の光の軌跡を抽出する抽出手段と、前記抽出手段によって抽出された光の軌跡について、前記第１記憶手段を参照し、対応する前記制御コマンドを判定する判定手段と、前記判定手段によって判定された前記制御コマンドに基づいて、前記コンテンツの表示制御を行うコンテンツ表示制御手段と、を備えることを特徴とするコンテンツ表示制御装置である。第３の発明によって、第１の発明のコンテンツ表示システムを構成し、第２の発明のコンテンツ表示方法を実行することができる。
【００１８】
第４の発明は、コンピュータを、第３の発明のコンテンツ表示制御装置として機能させるためのプログラムである。第４の発明のプログラムを、汎用のコンピュータにインストールすることによって、第４の発明のコンテンツ表示制御装置を得ることができる。
【発明の効果】
【００１９】
本発明のコンテンツ表示システム等により、ヒューマンエラーを抑止することができ、かつエンターテイメント性に富んだ表示制御を実現することができる。
【図面の簡単な説明】
【００２０】
【図１】コンテンツ表示システムの構成図
【図２】コンテンツ表示システムの概略斜視図
【図３】実行時のシーケンス図
【図４】制御装置の処理の流れを示すフローチャート
【図５】特定領域抽出・射影機能を説明する図
【図６】制御コマンド軌跡画像のテンプレートの一例を示す図
【図７】制御コマンド軌跡ＤＢの登録処理を説明する図
【図８】制御コマンド軌跡ＤＢに登録されるデータの一例
【図９】制御コマンド軌跡ＤＢの更新処理を説明する図
【図１０】データの対応関係を示す模式図
【図１１】第１の表示制御例を説明する図
【図１２】第２の表示制御例を説明する図
【図１３】第２の表示制御例を説明する図
【発明を実施するための形態】
【００２１】
以下図面に基づいて、本発明の実施形態を詳細に説明する。本発明の実施形態では、「コンテンツ」とは、動画像データ、静止画像データ（写真、図、表、文書等コンピュータの画面に表示されるもの全てを含む。）、テキストデータ、音声データ、音楽データ等を含む。本発明の実施形態におけるコンテンツの典型例としては、複数の静止画像データや動画像データが１つのシナリオに基づいて纏められたものであり、特に、視覚によって知覚されるものである。
【００２２】
以下では、コンテンツを構成する静止画像データや動画像データ等のデータを、「コンテンツ構成要素」と呼ぶことにする。静止画像データの場合、典型的には、１枚ずつが「シーン」として、異なるコンテンツ構成要素となる。また、動画像データの場合、典型的には、複数のフレームが纏められた「チャプタ」ごとに、異なるコンテンツ構成要素となる。本発明の実施形態におけるコンテンツ表示システムでは、コンテンツ構成要素ごとに様々な表示制御を実現する。
【００２３】
最初に、図１〜図３を参照しながら、コンテンツ表示システムの概要について説明する。
【００２４】
図１は、コンテンツ表示システムの構成図である。図１に示すように、コンテンツ表示システム１は、レーザー光発振装置２、撮影装置３、コンテンツ表示装置４、制御装置５等から構成される。また、コンテンツ表示システム１では、実空間６の物体７が前提となる。物体７は、図１に示すように、球体等の３次元物体でも良いし、図２に示すように、壁面や床面等の２次元物体でも良い。
【００２５】
レーザー光発振装置２は、例えば、レーザーポインタ等である。撮影装置３は、例えば、デジタルビデオカメラ等である。コンテンツ表示装置４は、例えば、プロジェクタ等である。制御装置５は、例えば、コンピュータ等である。
【００２６】
制御装置５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、記憶装置（ハードディスク等）、表示装置（液晶ディスプレイ等）、入力装置（マウス、キーボード等）等を備える。制御装置５の記憶装置には、画像処理部１１及びコンテンツ処理部１３を実現する為のプログラムが記憶されている。また、制御装置５の記憶装置には、画像処理情報記憶部１２及びコンテンツ情報記憶部１４を実現する為のデータベースシステム（又は単なるファイル群でも良い。）等が構築されている。
【００２７】
画像処理部１１は、撮影画像取得機能２１、特定領域抽出・射影機能２２、輝点抽出機能２３、軌跡抽出機能２４等を含む。画像処理情報記憶部１２は、撮影画像抽出データベース（以下、「ＤＢ」と省略する。）３１、特定領域抽出ＤＢ３２、輝点抽出ＤＢ３３、軌跡抽出ＤＢ３４等を含む。コンテンツ処理部１３は、制御コマンド軌跡判定機能４１、コンテンツ表示制御機能４２等を含む。コンテンツ情報記憶部１４は、制御コマンド軌跡ＤＢ５１、コンテンツＤＢ５２等を含む。
【００２８】
図２は、コンテンツ表示システムの概略斜視図である。図２に示すように、操作者８は、レーザー光発振装置２を把持している。撮影装置３は、撮影画像領域６１（一点鎖線の矩形）を撮影し、制御装置５に撮影画像を送信する。コンテンツ表示装置４は、制御装置５からの制御に従い、コンテンツ表示領域６２（点線の矩形）にコンテンツを表示する。コンテンツ表示システム１では、操作者８が実空間６内の物体７に対してレーザー光発振装置２の光を照射すると、制御装置５がレーザー光発振装置２の光の軌跡に対応したコンテンツの表示制御を行う。制御装置５は、光の軌跡を、点、線、図形等として特定する。
【００２９】
図２の例では、撮影画像領域６１が、コンテンツ表示領域６２を含んでいる。この場合、操作者８がコンテンツ表示領域６２の内側にレーザー光発振装置２の光を照射すれば、後述する制御装置５の処理によって、レーザー光発振装置２の光の軌跡を抽出できる。
【００３０】
また、例えば、撮影画像領域６１及びコンテンツ表示領域６２を一致させることによって、制御装置５による撮影画像領域６１及びコンテンツ表示領域６２の位置合わせが不要となり、処理内容を軽減することができる。ひいては、コンテンツの表示制御の応答性能を向上させることができる。尚、撮影画像領域６１及びコンテンツ表示領域６２が一致する場合であっても、後述するように、制御装置５によって、撮影装置３の撮影方向及びコンテンツ表示装置４の投影方向のずれに起因した歪みの補正が行われる。
【００３１】
また、例えば、撮影画像領域６１とコンテンツ表示領域６２とを別々の場所にしたり、複数にしたりすることによって、よりエンターテイメント性を高めることができる。例えば、図２の状態から、別のコンテンツ表示装置４を追加し、床面に別のコンテンツ表示領域６２を設けると、壁面に表示されているコンテンツを、あたかも床面に飛ばすような表示制御を実現できる。つまり、操作者８が壁面に表示されているコンテンツにレーザー光発振装置２の光を照射して、床面方向にレーザー光発振装置２の光を移動させていくと、あるタイミングで、壁面に表示されているコンテンツが消えて、床面に同じコンテンツが表示されるという表示制御を実現できる。
【００３２】
以下では、説明を分かり易くする為に、撮影装置３及びコンテンツ表示装置４が各１台、物体７が壁面、撮影画像領域６１がコンテンツ表示領域６２を含む平面領域とする。但し、以下に示す制御装置５の処理は、撮影装置３及びコンテンツ表示装置４の数が複数台の場合、物体７が３次元物体の場合、並びに撮影画像領域６１及びコンテンツ表示領域６２が異なる領域の場合にも適用可能である。
【００３３】
図３は、実行時のシーケンス図である。尚、図３に示すＳ４〜Ｓ９の処理については、ハードウエアである制御装置５が、図１に示すソフトウエアの各機能に従って実行するものである。以下では、説明を分かり易くする為に、便宜上、ソフトウエアの各機能を主体として記載する。
【００３４】
図３に示すように、操作者８は、レーザー光発振装置２を把持し（Ｓ１）、レーザー光を物体７に照射する。これに対して、撮影装置３は、所定のフレームレート（例えば、３０フレーム／秒）によって、物体７を含む実空間６の撮影画像領域６１を撮影する（Ｓ３）。
【００３５】
撮影画像取得機能２１は、撮影画像抽出ＤＢ３１を参照して、撮影装置３から撮影画像を取得する（Ｓ４）。特定領域抽出・射影機能２２は、特定領域抽出ＤＢ３２を参照して、撮影画像から特定領域を抽出し、処理画像に射影する（Ｓ５）。輝点抽出機能２３は、輝点抽出ＤＢ３３を参照して、処理画像内の輝点の位置を抽出する（Ｓ６）。軌跡抽出機能２４は、軌跡抽出ＤＢ３４を参照して、輝点の軌跡を抽出する（Ｓ７）。
【００３６】
制御コマンド軌跡判定機能４１は、制御コマンド軌跡ＤＢ５１を参照して、制御コマンドを判定する（Ｓ８）。コンテンツ表示制御機能４２は、制御コマンドに応じて、コンテンツＤＢ５２に記憶されているコンテンツの表示制御を行う（Ｓ９）。
【００３７】
コンテンツ表示装置４は、コンテンツ表示制御機能４２による表示制御に従って、物体７にコンテンツを表示する（Ｓ１０）。操作者８や観者は、物体７に表示されたコンテンツを視聴する（Ｓ１１）。
【００３８】
操作者８は、レーザー光を物体７に照射することもあるし、照射しないこともある。一方、制御装置５は、撮影装置３のフレームレートに合わせて処理を繰り返す。制御装置５が、Ｓ８において新たに制御コマンドを判定すると、コンテンツ表示装置４に表示させるコンテンツを変更する。そして、コンテンツ表示装置４が物体７に表示するコンテンツが変わる。
【００３９】
次に、図４〜図１３を参照しながら、制御装置５の処理の詳細について説明する。
【００４０】
図４は、制御装置の処理の流れを示すフローチャートである。撮影装置３及びコンテンツ表示装置４を所定の位置にセットした後、図３に示すシーケンスを実行する前に、制御装置５は、実行環境に合わせた撮影装置３のキャリブレーションの結果を各ＤＢに反映し、各ＤＢの初期化を行う（Ｓ２１）。
【００４１】
撮影画像領域６１には、実空間６の照明光とコンテンツ表示装置４の投影光が重ねて照らされている。このような撮影画像領域６１から、レーザー光の輝点を正確に抽出する為に、制御装置５は、撮影装置３の撮影パラメータを、実行環境に合わせた最適値に設定し、撮影画像抽出ＤＢ３１に数値情報として記憶する。
【００４２】
制御装置５は、実行環境に合わせて、レーザー光の輝点が抽出し易いように撮影パラメータを調整し、その撮影パラメータに従って撮影された撮影画像を入力データとする。これによって、制御装置５によるいくつかの画像処理の手順（入力データに応じた輝点を抽出するための前処理等）が不要となり、制御装置５の処理効率が向上する。ひいては、操作者８がレーザー光発信装置２を操作してから所望の表示制御が実現されるまでの応答時間を短縮し、コンテンツ表示システム１の応答性能を向上させることができる。
【００４３】
また、一般に、撮影画像の座標空間と、制御装置５が記憶しているコンテンツの座標空間は、一致しない。しかし、後述するように、レーザー光発振装置２の光がコンテンツ構成要素のどの位置に照射されたかによって、コンテンツの表示制御を切り替える為には、制御装置５の内部処理において両者の座標空間を一致させる必要がある。そこで、制御装置５は、事前に撮影画像を取得し、撮影画像内の特徴点の座標情報と対応付けて、制御装置５の内部処理における座標空間の対応点の座標情報を、特定領域抽出ＤＢ３２に数値情報として記憶する。
【００４４】
また、一般に、レーザー光発振装置２の光の属性情報（輝度、色、形状等）は様々である。そこで、レーザー光の輝点を正確に抽出する為に、例えば、撮影画像領域６１に照射させたレーザー光発振装置２の光を事前に撮影する等して、レーザー光発振装置２の光の属性情報を得て、輝点抽出ＤＢ３３に数値情報として記憶する。
【００４５】
図３に示すシーケンスの実行を開始すると、制御装置５の撮影画像取得機能２１は、撮影画像抽出ＤＢ３１を参照し、撮影装置３から撮影画像を取得する（Ｓ２２）。制御装置５は、撮影装置３からの入力データが、撮影画像抽出ＤＢ３１に記憶されている撮影パラメータに従って撮影されたものとし、必要に応じた画像処理を行う。例えば、レーザー光の輝点を抽出し易いように、制御装置５は、入力データとは無関係に、撮影画像抽出ＤＢ３１に記憶されている撮影パラメータのみに依存して、入力データに対する明るさやコントラストの変換処理等を行い、撮影画像とする。通常であれば、入力データから変換処理のパラメータを決定する必要があるが、本発明の実施の形態では、撮影画像抽出ＤＢ３１に記憶されている撮影パラメータのみに基づいて変換処理のパラメータを決定するので、処理を高速に実行することができる。
【００４６】
次に、制御装置５の特定領域抽出・射影機能２２は、特定領域抽出ＤＢ３２を参照して、特定領域の抽出・処理画像への射影を行う（Ｓ２３）。
【００４７】
図５は、特定領域抽出・射影機能を説明する図である。特定領域抽出・射影機能２２は、撮影画像領域６１の画像データである撮影画像６３から、特定領域を抽出する。特定領域とは、コンテンツの製作者がレーザー光発振装置２の光の照射を許容した領域である。図５の例であれば、特定領域は、コンテンツ表示領域６２である。尚、撮影装置３の撮影方向とコンテンツ表示装置４の投影方向は一致しないので、図５に示すように、正面から見れば長方形の領域であっても、撮影画像６３内では歪んだ形状となる。
【００４８】
前述した通り、特定領域抽出ＤＢ３２には、撮影画像６３内の特徴点の座標情報と対応付けて、制御装置５の内部処理における座標空間の対応点の座標情報が記憶されている。そこで、特定領域抽出・射影機能２２は、撮影画像６３から特定領域画像６４を生成し、特定領域画像６４から複数の特徴点を抽出し、特定領域抽出ＤＢ３２を参照して制御装置５の内部処理における座標空間の対応点にマッピングすることによって特定領域画像６４を射影し、処理画像６５を生成する。例えば、制御装置５は、複数の特徴点及び対応点の組から、撮影画像６３の座標空間における画像を内部処理における座標空間に射影するための射影行列を算出し、算出された射影行列に基づいて、特定領域画像６４の全ての画素を、内部処理における座標空間に射影し、処理画像６５とする。
【００４９】
尚、物体７が３次元物体の場合であっても、特定領域抽出・射影機能２２は、射影変換の３次元拡張や、複数の撮影装置３及びコンテンツ表示装置４の同期による拡張を行うことによって、同様に処理画像６５を生成することができる。
【００５０】
図４の説明に戻る。輝点抽出機能２３は、輝点抽出ＤＢ３３を参照して、処理画像６５内の輝点の座標を抽出する（Ｓ２４）。前述した通り、輝点抽出ＤＢ３３には、レーザー光発振装置２の光の属性情報が記憶されていることから、精度良く、輝点の座標を抽出することができる。
【００５１】
次に、軌跡抽出機能２４は、軌跡抽出ＤＢ３４を参照して、Ｓ２４によって抽出された輝点の座標群から、レーザー光発振装置２の光の軌跡を抽出する（Ｓ２５）。
【００５２】
軌跡抽出ＤＢ３４には、軌跡存在判定時間（単位は秒でも良いし、フレーム数でも良い。）が、数値情報として記憶されている。例えば、撮影装置３のフレームレートが３０フレーム／秒であれば、制御装置５には１秒間に３０枚が入力される。つまり、特定領域抽出・射影機能２２は、１秒間に３０枚の処理画像６５を生成する。そして、軌跡存在判定時間を１秒（＝３０フレーム）とした場合、軌跡抽出機能２４は、軌跡存在判定時間ごとに３０枚の処理画像６５を確認し、それぞれに輝点が含まれているか否かを確認する。輝点が含まれた処理画像６５が１枚もない場合、軌跡抽出機能２４は、輝点が存在していないという軌跡（いわゆる、ＮＵＬＬ値）とする。一方、輝点が含まれた処理画像６５がある場合、軌跡抽出機能２４は、時間的に最も早い時間の処理画像６５に含まれる輝点を始点、時間的に最も遅い時間の処理画像６５に含まれる輝点を終点とし、始点と終点の座標情報から、長さと方向を持つベクトルを算出し、算出されたベクトルを軌跡とする。
【００５３】
次に、制御コマンド軌跡判定機能４１は、制御コマンド軌跡ＤＢ５１を参照して、Ｓ２５において抽出された軌跡が、いずれかの制御コマンドに対応しているか確認する（Ｓ２６）。Ｓ２６の処理については、図６〜図９を参照しながら後述する。
【００５４】
軌跡が制御コマンドに対応していない場合（Ｓ２６のＮＯ）、Ｓ２２から処理を繰り返す。一方、軌跡が制御コマンドに対応している場合（Ｓ２６のＹＥＳ）、コンテンツ表示制御機能４２は、コンテンツＤＢ５２を参照し、コンテンツの表示制御を行い（Ｓ２７）、Ｓ２２から処理を繰り返す。尚、制御コマンド軌跡ＤＢ５１及びコンテンツＤＢ５２は、コンテンツ構成要素の識別情報をキーとして関連付けられている。
【００５５】
ところで、物体７が空間６内を動く場合、撮影装置３の撮影方向やコンテンツ表示装置４の投影方向も変える必要がある。つまり、物体７の位置、撮影装置３の撮影方向及びコンテンツ表示装置４の投影方向が変わる。従って、各ＤＢの初期化を再度行う必要がある。そこで、物体７が空間６内を動く場合、Ｓ２６においてＮＯと判定した後、及びＳ２７の処理の後、図４の点線によって示すように、Ｓ２１から処理を繰り返す。
【００５６】
以下では、図６〜図９を参照しながら、図２９の処理について説明する。また、図２９の処理の前提となる制御コマンド軌跡ＤＢ５２の登録処理及び更新処理についても説明する。
【００５７】
図６は、制御コマンド軌跡画像のテンプレートの一例を示す図である。制御コマンドとは、特定の表示制御を実現するプログラムである。制御コマンド軌跡画像６６は、制御コマンドと、レーザー光発振装置２の光の軌跡を対応付ける為の画像である。
【００５８】
制御コマンド軌跡画像６６は、処理画像６５やコンテンツ構成要素の画像と同一のサイズであり、複数の分割領域が定義されている。図６（ａ）に示す制御コマンド軌跡画像６６ａには、２行×４列＝８個の分割領域Ａ〜Ｈが定義されている。また、図６（ｂ）に示す制御コマンド軌跡画像６６ｂには、３行×３列＝９個の分割領域Ａ〜Ｈが定義されている。
【００５９】
図７は、制御コマンド軌跡ＤＢの登録処理を説明する図である。図８は、制御コマンド軌跡ＤＢ５１に登録されるデータの一例である。制御コマンド軌跡ＤＢ５１の登録処理は、コンテンツの製作者と制御装置５が対話処理によって行う。
【００６０】
まず、コンテンツの製作者は、制御装置５に接続されている表示装置（コンテンツ表示装置４を含む。）に、コンテンツ構成要素を表示させる。図７（ａ）に示す画像６７は、コンテンツ構成要素の一例である。
【００６１】
次に、コンテンツの製作者は、制御装置５に接続されている表示装置に、コンテンツ構成要素と制御コマンド軌跡画像６６を重畳した画像を表示させる。図７（ｂ）に示す画像６８は、画像６７と制御コマンド軌跡画像６６ｂを重畳した画像である。
【００６２】
次に、コンテンツの製作者は、予め定義された制御コマンドのリスト（不図示）から１つの制御コマンドを選択する。制御コマンドのリストは、例えば、登録処理の開始が指示されると、制御装置５が表示装置に表示させておく。図７、図８に示す例では、コンテンツの製作者は、制御コマンドとして「次のシーンを表示」を選択する。
【００６３】
次に、コンテンツの製作者は、制御装置５の入力装置を介して、制御コマンド軌跡画像６６の分割領域を選択していき、軌跡情報を入力する。図７（ｃ）では、レーザー光発振装置２の光を左から右にフリックする操作に関する軌跡情報を入力する場合の例を示している。
【００６４】
コンテンツの製作者が領域Ｄを選択すると、制御装置５は、領域Ｄが始点領域に設定されたことを認識する（図７（ｃ）では、ハッチング７１、矢印７３の始点として図示）。次に、コンテンツの製作者が領域Ｆを選択すると、制御装置５は、領域Ｆが終点領域に設定されたことを認識する（図７（ｃ）では、ハッチング７２、矢印７３の終点として図示）。また、コンテンツの製作者は、フリックスピードに一定のゆとりを持たせる為の判定時間（図８参照）も入力する。つまり、制御装置５は、判定時間内に始点領域から終点領域へとレーザー光の輝点が移動すれば、レーザー光発振装置２の光を左から右にフリックする操作がなされたと判定することになる。
【００６５】
そして、制御装置５は、コンテンツ構成要素、軌跡情報及び制御コマンドを対応付けて、制御コマンド軌跡ＤＢ５１に記憶する。制御装置５は、領域Ｄが始点領域、領域Ｆが終点領域であることを、判定領域（図８参照）として制御コマンド軌跡ＤＢ５１に記憶する。また、制御装置５は、判定時間も制御コマンド軌跡ＤＢ５１に記憶する。
【００６６】
図８に示すデータ７６では、コンテンツ構成要素が「シーン１」、判定時間が「ａ〜ｂ秒」、判定領域が「Ｄ→Ｆ」、制御コマンドが「次のシーンを表示」である。判定領域は、より厳密には、例えば、各領域の左上座標及び右下座標が記憶される。つまり、判定領域は、始点領域の左上座標（ｘ１、ｙ１）及び右下座標（ｘ２、ｙ２）、並びに、終点領域の左上座標（ｘ３、ｙ３）及び右下座標（ｘ４、ｙ４）が記憶される。また、制御コマンドは、より厳密には、例えば、「次のシーンを表示」を実現させるためのプログラムの識別情報等が記憶される。
【００６７】
データ７６の例では、「シーン１」のコンテンツ構成要素に対するレーザー光発振装置２の光の軌跡が、ａ〜ｂ秒の間に、分割領域ＤからＦへと移動するものであった場合、対応する制御コマンドとして「次のシーンを表示」が実行される。尚、「シーン１」のコンテンツ構成要素の画像は、図７（ａ）に示す画像６７である。
【００６８】
図９は、制御コマンド軌跡ＤＢの更新処理を説明する図である。操作者８が、制御コマンド軌跡ＤＢ５１に登録された表示制御を試してみると、意図していない表示制御がなされる場合がある。例えば、図７、図８に示す例では、操作者８が、観者に画像６７の中央部分に注目を促すために、画像６７の中央部分にレーザー光発振装置２の光を照射させたところ、操作者８が意図していないにも関わらず、次のシーンが表示されてしまうエラーが発生する場合がある。これは、始点領域である分割領域Ｄと、終点領域である分割領域Ｆが大きすぎたことに起因したヒューマンエラーである。そこで、本発明の実施の形態では、分割領域の大きさを容易に変更可能な画面インタフェースを提供する。
【００６９】
図９（ａ）には、図７（ｃ）と同じ軌跡情報が設定されている。コンテンツの製作者が、制御装置５の入力装置を介して、各領域の境界線７４を、矢印７５の方向に移動すると、制御装置５は、例えば、図９（ｂ）のように、各領域の大きさを変更する。図９（ｂ）に示す例では、境界線７４の移動量に応じて、４つの境界線が連動して、中央部分から外側の方向に移動している。そして、分割領域Ａ〜Ｄ、Ｆ〜Ｉが小さくなり、分割領域Ｅが大きくなっている。
【００７０】
そして、制御装置５は、図９（ｂ）に設定された軌跡情報に基づいて、制御コマンド軌跡ＤＢ５１を更新する。具体的には、制御装置５は、始点領域の左上座標（ｘ１、ｙ１）及び右下座標（ｘ２、ｙ２）、並びに、終点領域の左上座標（ｘ３、ｙ３）及び右下座標（ｘ４、ｙ４）を更新する。このように、更新処理を行うことによって、前述した、分割領域Ｄ及び分割領域Ｆが大きすぎたことに起因したヒューマンエラーを回避することができる。
【００７１】
図１０は、データの対応関係を示す模式図である。図１０では、「シーン１」と「シーン３」のコンテンツ構成要素に対する、制御コマンド軌跡ＤＢ５１及びコンテンツＤＢ５２のデータを示している。
【００７２】
図１０には、「シーン１」のコンテンツ構成要素として「画像６７」、及び「シーン３」のコンテンツ構成要素として「画像７７」が示されている。また、図１０には、「シーン１」のコンテンツ構成要素に対応付けられたデータ７６、及び「シーン３」のコンテンツ構成要素に対応付けられたデータ７８が示されている。
【００７３】
例えば、コンテンツの製作者や操作者８が、「シーン１」のコンテンツ構成要素に対応付けられた制御コマンド軌跡画像６６の表示を指示すると、制御装置５は、データ７６から制御コマンド軌跡画像６６ｃを生成し、表示装置に表示する。或いは、制御装置５は、データ７６を記憶する際に制御コマンド軌跡画像６６ｃを生成して記憶装置に記憶しておき、記憶装置から制御コマンド軌跡画像６６ｃを読み出して、表示装置に表示しても良い。
【００７４】
尚、図１０に示す例では、１つのコンテンツ構成要素に対して、１つの制御コマンドが対応付けられているが、複数の異なる制御コマンドが対応付けられても良い。複数の異なる制御コマンドを対応付ける場合、制御装置５は、登録処理において判定時間や判定領域が重複しないように制御する。
【００７５】
制御装置５の制御コマンド軌跡判定機能４１は、図１０に示すようなデータを参照し、軌跡抽出機能２４によって抽出された軌跡が、いずれかの制御コマンドに対応しているかを確認する。例えば、コンテンツ表示装置４によって「シーン１」のコンテンツ構成要素の画像が物体７に表示されている場合、制御コマンド軌跡判定機能４１は、「シーン１」に対応付けられているデータ７６を参照し、軌跡抽出機能２４によって抽出された軌跡が、判定時間[ａ〜ｂ秒]内に始点領域Ｄから終点領域Ｆへとレーザー光の輝点が移動する軌跡であれば、「次のシーンを表示」の制御コマンドに対応していると判定する。
【００７６】
図１１は、第１の表示制御例を説明する図である。図１１に示す第１の表示制御例は、図１０に示す「シーン１」のコンテンツ構成要素に対して、データ７６（＝「次のシーンを表示」の制御コマンド）に従った表示制御例である。
【００７７】
図１１（ａ）に示す太線８１は、物体７に投影されている画像６７（＝「シーン１」のコンテンツ構成要素の画像）に対して、操作者８がレーザー光発振装置２の光を照射させた軌跡を示している。矢印８２は、軌跡の方向を示している。つまり、太線８１の軌跡は、左から右に向かって、ほぼ直線である。
【００７８】
図１１（ａ）の状態において、撮影装置３が、画像６７を含む撮影画像領域６１を撮影し、制御装置５に送信する。制御装置５の画像処理部１１は、画像６７に対する軌跡を抽出し、制御装置５のコンテンツ処理部１３は、太線８１の軌跡に対応する制御コマンドが「次のシーンを表示」であることを判定し、次のシーンの画像８３（＝「シーン２」のコンテンツ構成要素の画像）を、コンテンツ表示装置４に表示させるように表示制御を行う。そして、コンテンツ表示装置４は、図１１（ｂ）に示すように、制御装置５の表示制御に従って、画像８３を物体７に投影する。
【００７９】
第１の表示制御例に示すように、操作者８は、制御装置５の入力装置等を操作することなく、レーザー光発振装置２のみを操作することによって、次のシーンを表示させることができる。つまり、本発明の実施の形態では、操作者８に負担をかけない表示制御を実現することができる。
【００８０】
図１２、図１３は、第２の表示制御例を説明する図である。図１２、図１３に示す第２の表示制御例は、図１０に示す「シーン３」のコンテンツ構成要素に対して、データ７８（＝「軌跡内部にコンテンツを表示」の制御コマンド）に従った表示制御例である。尚、「軌跡内部にコンテンツを表示」の制御コマンドの場合、コンテンツ構成要素の画像として、画像７７のほかに、マスク画像が対応付けられている。マスク画像は、画像７７よりも上位のレイヤーであり、初期状態では画像７７全体を覆っている。図１２（ａ）に示すマスク画像９１は、画像７７をマスクしていることが理解し易いように、全ての画素を同一色としている。
【００８１】
図１２（ａ）に示す太線９２は、物体７に投影されているマスク画像９１に対して、操作者８がレーザー光発振装置２の光を照射させた軌跡を示している。矢印９３は、軌跡の方向を示している。つまり、太線９２の軌跡は、時計回りに、ほぼ楕円形である。
【００８２】
図１２（ａ）の状態において、撮影装置３が、マスク画像９１を含む撮影画像領域６１を撮影し、制御装置５に送信する。制御装置５の画像処理部１１は、マスク画像９１に対する軌跡を抽出し、制御装置５のコンテンツ処理部１３は、太線９２の軌跡に対応する制御コマンドが「軌跡内部にコンテンツを表示」であることを判定し、太線９２の軌跡内部に、画像７７（＝「シーン３」のコンテンツ構成要素の画像）を、コンテンツ表示装置４に表示させるように表示制御を行う。より具体的には、制御装置５のコンテンツ処理部１３は、マスク画像９１に対して、太線９２の軌跡よりも内側の領域を削る画像処理を行う。マスク画像９１の下のレイヤーには画像７７が配置されているので、削られた領域に画像７７が表示されることになる。そして、コンテンツ表示装置４は、図１２（ｂ）に示すように、制御装置５の表示制御に従って、軌跡内部の領域が削られたマスク画像９１と画像７７を重畳した画像を物体７に投影する。
【００８３】
図１３では、図１２（ｂ）の状態から、更に、操作者８がレーザー光発振装置２を操作し、より広い範囲に画像７７を表示させる指示を行った状態を示している。
【００８４】
図１３（ａ）に示す太線９４は、物体７に投影されているマスク画像９１に対して、操作者８がレーザー光発振装置２の光を照射させた軌跡を示している。矢印９５は、軌跡の方向を示している。つまり、太線９４の軌跡は、時計回りに、ほぼ楕円形であり、太線９２よりも外側に位置している。
【００８５】
図１３（ａ）の状態において、撮影装置３が、マスク画像９１及び画像７７を含む撮影画像領域６１を撮影し、制御装置５に送信する。制御装置５の画像処理部１１は、マスク画像９１に対する軌跡を抽出し、制御装置５のコンテンツ処理部１３は、太線９４の軌跡に対応する制御コマンドが「軌跡内部にコンテンツを表示」であることを判定し、太線９４の軌跡内部に、画像７７（＝「シーン３」のコンテンツ構成要素の画像）を、コンテンツ表示装置４に表示させるように表示制御を行う。より具体的には、制御装置５のコンテンツ処理部１３は、マスク画像９１に対して、太線９４の軌跡よりも内側の領域を削る画像処理を行う。尚、太線９２の軌跡よりも内側の領域は、既に削られているものとして扱う。そして、コンテンツ表示装置４は、図１３（ｂ）に示すように、制御装置５の表示制御に従って、軌跡内部の領域が削られたマスク画像９１と画像７７の重畳画像を物体７に投影する。
【００８６】
第２の表示制御例に示すように、操作者８は、制御装置５の入力装置等を操作することなく、レーザー光発振装置２のみを操作することによって、レーザー光発振装置２の光の軌跡内部に、徐々にコンテンツを表示させていくという表示制御を実現することができる。つまり、本発明の実施の形態では、操作者８にとっても、観者にとってもエンターテイメント性に富んだ表示制御を実現することができる。
【００８７】
以上の通り、コンテンツ表示システム１における制御装置５は、コンテンツ構成要素ごとに対応付けられたレーザー光発振装置２の光の軌跡を識別する軌跡情報と対応付けて、特定の表示制御を実現する制御コマンドを制御コマンド軌跡ＤＢ５１に記憶しておく。そして、制御装置５は、撮影装置３によって撮影される撮影画像６３を取得し、撮影画像６３からレーザー光発振装置２の光の軌跡を抽出し、抽出された光の軌跡について、記憶されている情報を参照し、対応する制御コマンドを判定し、判定された制御コマンドに基づいてコンテンツの表示制御を行う。これによって、コンテンツ表示システム１では、コンテンツに応じた適切な表示制御を行い、ヒューマンエラーを抑止することができ、かつエンターテイメント性に富んだ表示制御を実現することができる。
【００８８】
また、制御コマンド軌跡ＤＢ５１に記憶される軌跡情報は、判定時間及び判定領域の組からなり、制御装置５は、抽出された光の軌跡を構成する各輝点の照射時間及び照射位置が、軌跡情報における判定時間及び判定領域に含まれるか否かによって、対応する制御コマンドを判定する。そして、制御装置５は、コンテンツ構成要素の画像に判定領域の位置を示す画像を重畳して、コンテンツ表示装置４を含む任意の表示装置に表示させる。これによって、コンテンツの製作者や操作者８は、表示制御のテスト中に判定領域を視覚的に確認することができ、コンテンツの製作作業や確認作業が容易になる。
【００８９】
また、制御装置５は、判定領域の位置の変更を受け付けて、制御コマンド軌跡ＤＢ５１の内容を更新する。これによって、コンテンツの製作者や操作者８は、表示制御のテストを行った結果、ヒューマンエラーが発生し易いと判断した軌跡情報を容易に修正することができる。
【００９０】
つまり、制御装置５は、実行環境下で軌跡判定を視覚的に表示し、調整する機能を有する。このような調整機能は、操作者８が、自然な動作（速度や距離）によってレーザー光発振装置２を操作できるようになるという顕著な効果を奏する。例えば、プロジェクタによってコンテンツを表示する場合、物理的な投影サイズ（コンテンツの位置や大きさ）は、実行環境によって様々である。前述の調整機能を有さず、例えば、記憶された判定領域（時間や範囲）が設計時に固定されたままでは、以下に示す問題が発生すると考えられる。
・人間の動作として無理が生じると、輝点検出のロスト、過剰検出等のエラー要因となる。
・操作者８の熟練を必要とし、操作者８がシステムに合わせる負荷が発生して望ましくない。
・開発時の実験と設計の繰り返しや後戻りの作業が発生する。
・異なる実行環境下で同じシステムを再利用するときに再開発が必要となる。
・開発現場では、制御装置５のディスプレイ上での見え方や動作確認しかできず、現場での動作が想像しづらい。
そこで、実行環境下で軌跡判定を視覚的に表示し、調整する機能を利用して、制御コマンド軌跡ＤＢ５１の内容を更新することによって、実際の操作者８によるレーザー光発振装置２の動作に合わせた調整が可能となり、前述の問題を解消することができる。
【００９１】
また、制御装置５は、撮影画像６３内の特徴点の座標情報と対応付けて、内部処理における座標空間の対応点の座標情報を特定領域抽出ＤＢ３２に記憶しておく。そして、制御装置５は、撮影画像６３から特定領域画像６４を生成し、特定領域画像６４から特徴点を抽出し、特定領域抽出ＤＢ３２を参照して特徴点を内部処理における座標空間の対応点にマッピングすることによって特定領域画像６４を射影し、処理画像６５を生成する。また、制御装置５は、複数の処理画像６５に対して輝点の座標を抽出し、抽出された座標の集合を、レーザー光発振装置２の光の軌跡とする。これによって、撮影装置３の撮影方向やコンテンツ表示装置４の投影方向が制約されず、コンテンツ表示システム１を様々な環境の実空間６に適用することができる。
【００９２】
また、制御装置５は、実行環境に合わせた撮影装置３の撮影パラメータを撮影画像抽出ＤＢ３１に記憶しておく。そして、制御装置５は、撮影画像抽出ＤＢ３１を参照して撮影画像６３を取得する。これによって、制御装置５によるいくつかの画像処理の手順が不要となり、制御装置５の処理効率が向上する。ひいては、コンテンツ表示システム１の応答性能を向上させることができる。
【００９３】
尚、前述の説明では、制御コマンドの例として、「次のシーンを表示」、「軌跡内部にコンテンツを表示」の２種類を説明したが、本発明はこれらの例に限定されない。例えば、制御コマンドとして、「現在のシーンの開始」、「前のシーンを表示」、「シーンの切り替え」、「シーン内でのアニメーション」等が実現可能である。また、前述した通り、別のコンテンツ表示装置４を追加し、床面に別のコンテンツ表示領域６２を設けることによって、「壁面から床面への画像飛ばし」等、よりダイナミックな制御コマンドも実現することができる。
【００９４】
また、前述の説明では、本発明によって回避できるヒューマンエラーの例として、図７（ｃ）における分割領域Ｄ及び分割領域Ｆが大きすぎたことに起因したヒューマンエラーを説明したが、本発明によって回避できるヒューマンエラーはこの例に限定されない。
【００９５】
例えば、全てのシーンを一通り説明した後、次回の説明の為に先頭のシーンに戻しておくことがある。このときに、誤ってレーザー光発振装置２の光を照射した場合、制御コマンドに従って何らかの表示制御（例えば、「次のシーンを表示」など）がなされてしまう。そこで、全てのシーンを表示し終えた後、先頭のシーンを表示するときは、一定の時間が経過するまで表示制御を全く行わないようにして、ヒューマンエラーを回避することが考えられる。具体的には、制御コマンド軌跡ＤＢ５１に、判定時間が「表示開始からｘ秒」、判定領域が「全て」、制御コマンドが「何もしない」という内容のデータを、先頭のシーンのコンテンツ構成要素に対応付けて記憶させれば良い。
【００９６】
以上、添付図面を参照しながら、本発明に係るコンテンツ表示システム等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００９７】
１………コンテンツ表示システム
２………レーザー光発振装置
３………撮影装置
４………コンテンツ表示装置
５………制御装置
６………実空間
７………物体
８………操作者
１１………画像処理部
１２………画像処理情報記憶部
１３………コンテンツ処理部
１４………コンテンツ情報記憶部
２１………撮影画像取得機能
２２………特定領域抽出・射影機能
２３………輝点抽出機能
２４………軌跡抽出機能
３１………撮影画像抽出ＤＢ
３２………特定領域抽出ＤＢ
３３………輝点抽出ＤＢ
３４………軌跡抽出ＤＢ
４１………制御コマンド軌跡判定機能
４２………コンテンツ表示制御機能
５１………制御コマンド軌跡ＤＢ
５２………コンテンツＤＢ
６１………撮影画像領域
６２………コンテンツ表示領域
６３………撮影画像
６４………特定領域画像
６５………処理画像
６６、６６ａ、６６ｂ、６６ｃ、６６ｄ………制御コマンド軌跡画像
【図１】
2013037420.tif 000003
【図２】
2013037420.tif 000004
【図３】
2013037420.tif 000005
【図４】
2013037420.tif 000006
【図５】
2013037420.tif 000007
【図６】
2013037420.tif 000008
【図７】
2013037420.tif 000009
【図８】
2013037420.tif 000010
【図９】
2013037420.tif 000011
【図１０】
2013037420.tif 000012
【図１１】
2013037420.tif 000013
【図１２】
2013037420.tif 000014
【図１３】
2013037420.tif 000015