(57)【要約】【課題】  実写画像のオブジェクトと仮想画像とを重ね合わせた画像において、実写画像のオブジェクトが仮想画像のオブジェクトを操作することができること。【解決手段】  処理手段は、抽出した実写画像のオブジェクトと、取り出した仮想画像データとに基づいて、算出した仮想位置識別子に対応する仮想画像の位置に当該実写画像のオブジェクトを配置すると共に、当該実写画像のオブジェクトと仮想画像とを重ね合わせて、表示手段に表示する（Ｓ３０）。また、処理手段は、操作方法データベースを参照し、算出した実写画像のオブジェクトの仮想位置識別子に関連付けられた仮想画像のオブジェクトの操作方法を取り出す（Ｓ３５）。そして、処理手段は、取り出した仮想画像のオブジェクトの操作方法に基づいて、仮想画像のオブジェクトを操作する（Ｓ４０）。【選択図】  図５
2005115467.tif 000002
【特許請求の範囲】
【請求項１】
情報の記憶手段、実写画像の撮像手段、情報の表示手段、及びこれら各手段の動作を制御する情報の処理手段を備えた端末装置に用いられる仮想オブジェクト操作プログラムであって、
前記記憶手段に、
実写画像のオブジェクトの形状を識別する形状識別子と、仮想画像のオブジェクトの操作方法とを関連付けて予め格納している操作方法データベースと、
仮想画像のオブジェクト及びその背景を含む仮想画像データを予め格納している仮想画像データベースと、を備えると共に、
前記処理手段に、
ａ）前記撮像手段から実写画像を撮像し、実写画像のオブジェクトを抽出するステップと、
ｂ）抽出した実写画像のオブジェクトに基づいて、当該実写画像のオブジェクトの形状識別子を算出するステップと、
ｃ）前記仮想画像データベースを参照し、仮想画像データを取り出すステップと、
ｄ）前記抽出した実写画像のオブジェクトと、取り出した仮想画像データとに基づいて、当該実写画像のオブジェクトと仮想画像とを重ね合わせて、前記表示手段に表示するステップと、
ｅ）前記操作方法データベースを参照し、前記算出した実写画像のオブジェクトの形状識別子に関連付けられた仮想画像のオブジェクトの操作方法を取り出すステップと、
ｆ）取り出した仮想画像のオブジェクトの操作方法に基づいて、仮想画像のオブジェクトを操作するステップと、
を実行させることを特徴とした仮想オブジェクト操作プログラム。
【請求項２】
情報の記憶手段、実写画像の撮像手段、情報の表示手段、及びこれら各手段の動作を制御する情報の処理手段を備えた端末装置に用いられる仮想オブジェクト操作プログラムであって、
前記記憶手段に、
仮想画像の座標系における実写画像のオブジェクトの位置を識別する仮想位置識別子と、仮想画像のオブジェクトの操作方法とを関連付けて予め格納している操作方法データベースと、
仮想画像のオブジェクト、その背景、及びこれらの位置を特定する仮想座標系を含む仮想画像データを予め格納している仮想画像データベースと、を備えると共に、
前記処理手段に、
ａ）前記撮像手段から実写画像を撮像し、実写画像のオブジェクトを抽出するステップと、
ｂ）抽出した実写画像のオブジェクトに基づいて、実写画像の座標系における当該実写画像のオブジェクトの位置を識別する実写位置識別子を算出するステップと、
ｃ）前記仮想画像データベースを参照し、仮想画像データを取り出すステップと、
ｄ）取り出した仮想画像データに含まれる仮想座標系と、前記実写画像の座標系と、前記算出した実写画像のオブジェクトの実写位置識別子とに基づいて、当該実写画像のオブジェクトの仮想位置識別子を算出するステップと、
ｅ）前記抽出した実写画像のオブジェクトと、取り出した仮想画像データとに基づいて、前記算出した仮想位置識別子に対応する仮想画像の位置に当該実写画像のオブジェクトを配置すると共に、当該実写画像のオブジェクトと仮想画像とを重ね合わせて、前記表示手段に表示するステップと、
ｆ）前記操作方法データベースを参照し、前記算出した実写画像のオブジェクトの仮想位置識別子に関連付けられた仮想画像のオブジェクトの操作方法を取り出すステップと、
ｇ）取り出した仮想画像のオブジェクトの操作方法に基づいて、仮想画像のオブジェクトを操作するステップと、
を実行させることを特徴とした仮想オブジェクト操作プログラム。
【請求項３】
情報の記憶手段、実写画像の撮像手段、情報の表示手段、及びこれら各手段の動作を制御する情報の処理手段を備えた端末装置に用いられる仮想オブジェクト操作プログラムであって、
前記記憶手段に、
実写画像のオブジェクトの速度を識別する速度識別子と、仮想画像のオブジェクトの操作方法とを関連付けて予め格納している操作方法データベースと、
仮想画像のオブジェクト及びその背景を含む仮想画像データを予め格納している仮想画像データベースと、を備えると共に、
前記処理手段に、
ａ）前記撮像手段から実写画像を撮像し、実写画像のオブジェクトを抽出するステップと、
ｂ）抽出した実写画像のオブジェクトに基づいて、当該実写画像のオブジェクトの速度識別子を算出するステップと、
ｃ）前記仮想画像データベースを参照し、仮想画像データを取り出すステップと、
ｄ）前記抽出した実写画像のオブジェクトと、取り出した仮想画像データとに基づいて、当該実写画像のオブジェクトと仮想画像とを重ね合わせて、前記表示手段に表示するステップと、
ｅ）前記操作方法データベースを参照し、前記算出した実写画像のオブジェクトの速度識別子に関連付けられた仮想画像のオブジェクトの操作方法を取り出すステップと、
ｆ）取り出した仮想画像のオブジェクトの操作方法に基づいて、仮想画像のオブジェクトを操作するステップと、
を実行させることを特徴とした仮想オブジェクト操作プログラム。
【請求項４】
情報の記憶手段、実写画像の撮像手段、情報の表示手段、及びこれら各手段の動作を制御する情報の処理手段を備えた端末装置に用いられる仮想オブジェクト操作プログラムであって、
前記記憶手段に、
実写画像のオブジェクトの形状を識別する形状識別子、仮想画像の座標系における実写画像のオブジェクトの位置を識別する仮想位置識別子、及び実写画像のオブジェクトの速度を識別する速度識別子の組合せと、仮想画像のオブジェクトの操作方法とを関連付けて予め格納している操作方法データベースと、
仮想画像のオブジェクト、その背景、及びこれらの位置を特定する仮想座標系を含む仮想画像データを予め格納している仮想画像データベースと、を備えると共に、
前記処理手段に、
ａ）前記撮像手段から実写画像を撮像し、実写画像のオブジェクトを抽出するステップと、
ｂ）抽出した実写画像のオブジェクトに基づいて、当該実写画像のオブジェクトの形状識別子、実写画像の座標系における当該実写画像のオブジェクトの位置を識別する実写位置識別子、及び当該実写画像のオブジェクトの速度識別子を算出するステップと、
ｃ）前記仮想画像データベースを参照し、仮想画像データを取り出すステップと、
ｄ）取り出した仮想画像データに含まれる仮想座標系と、前記実写画像の座標系と、前記算出した実写画像のオブジェクトの実写位置識別子とに基づいて、当該実写画像のオブジェクトの仮想位置識別子を算出するステップと、
ｅ）前記抽出した実写画像のオブジェクトと、取り出した仮想画像データとに基づいて、前記算出した仮想位置識別子に対応する仮想画像の位置に当該実写画像のオブジェクトを配置すると共に、当該実写画像のオブジェクトと仮想画像とを重ね合わせて、前記表示手段に表示するステップと、
ｆ）前記操作方法データベースを参照し、前記算出した実写画像のオブジェクトの形状識別子、仮想位置識別子、及び速度識別子の組合せに関連付けられた仮想画像のオブジェクトの操作方法を取り出すステップと、
ｇ）取り出した仮想画像のオブジェクトの操作方法に基づいて、仮想画像のオブジェクトを操作するステップと、
を実行させることを特徴とした仮想オブジェクト操作プログラム。
【請求項５】
請求項１乃至４の仮想オブジェクト操作プログラムにおいて、
仮想画像のオブジェクトが、表示手段に表示されるアイコンであることを特徴とした仮想オブジェクト操作プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実写画像とコンピュータグラフィックス等の仮想画像との合成に関し、特に、合成された画像において、実写画像のオブジェクトが仮想画像のオブジェクトを操作することができる仮想オブジェクト操作プログラムに関する。
【背景技術】
【０００２】
従来、実写画像のオブジェクトと仮想画像を合成することができる画像表示制御装置等の発明が開示されている（例えば、特許文献１参照。）。
【０００３】
当該画像表示制御装置は、実写画像から所定のオブジェクトを検出する検出手段と、検出手段で検出された実写画像中の所定のオブジェクトと、仮想画像中のオブジェクトとの位置関係を求める位置算出手段と、位置算出手段の算出結果を参照して、仮想画像中のオブジェクトの所定の部分画像を除去する画像除去手段と、画像除去手段で除去された仮想画像の部分画像の位置に実写画像の所定のオブジェクトが合致するように、仮想画像と実写画像とを合成する合成手段と、合成手段で合成された画像を表示手段に表示する表示制御手段とを備えたことを特徴としている。
【０００４】
これによると、実写画像のオブジェクトと仮想画像のオブジェクトの前後関係を正確に把握して、３次元的に整合のとれた高精度の複合現実空間を提示することができる。
【０００５】
しかしながら、上記従来例では、実写画像のオブジェクトと仮想画像とを重ね合わせた画像において、実写画像のオブジェクトは、仮想画像のオブジェクトに何ら作用を与えることはなく、実写画像のオブジェクトが仮想画像のオブジェクトを操作することはできなかった。
【特許文献１】特開２００２−１５７６０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、かかる従来例の有する不都合を改善し、特に、実写画像のオブジェクトと仮想画像とを重ね合わせた画像において、実写画像のオブジェクトが仮想画像のオブジェクトを操作することができることを課題とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明では次のような構成を採っている。
【０００８】
請求項１記載の発明は、情報の記憶手段、実写画像の撮像手段、情報の表示手段、及びこれら各手段の動作を制御する情報の処理手段を備えた端末装置に用いられる仮想オブジェクト操作プログラムである。記憶手段は、実写画像のオブジェクトの形状を識別する形状識別子と、仮想画像のオブジェクトの操作方法とを関連付けて予め格納している操作方法データベースを備えている。また、記憶手段は、仮想画像のオブジェクト及びその背景を含む仮想画像データを予め格納している仮想画像データベースを備えている。そして、処理手段は、前記撮像手段から実写画像を撮像し、実写画像のオブジェクトを抽出する。次に、処理手段は、抽出した実写画像のオブジェクトに基づいて、当該実写画像のオブジェクトの形状識別子を算出する。続いて、処理手段は、前記仮想画像データベースを参照し、仮想画像データを取り出す。そして、処理手段は、前記抽出した実写画像のオブジェクトと、取り出した仮想画像データとに基づいて、当該実写画像のオブジェクトと仮想画像とを重ね合わせて、前記表示手段に表示する。また、処理手段は、前記操作方法データベースを参照し、前記算出した実写画像のオブジェクトの形状識別子に関連付けられた仮想画像のオブジェクトの操作方法を取り出す。そして、処理手段は、取り出した仮想画像のオブジェクトの操作方法に基づいて、仮想画像のオブジェクトを操作する。
【０００９】
ここで、オブジェクトとは、画像中の対象物をいう。実写画像のオブジェクトとしては、例えば、ビデオカメラで撮像した実写画像中の「手」等が該当する。一方、仮想画像のオブジェクトとしては、例えば、コンピュータグラフィックス、ＣＡＤ（Ｃｏｍｐｕｔｅｒ  Ａｉｄｅｄ  Ｄｅｓｉｇｎ）等で作成された３次元形状や、ディスプレイに表示されるデスクトップ環境のアイコン等が該当し、３次元形状であると２次元形状であるとを問わない。
【００１０】
また、形状識別子とは、形状を識別するものであって、例えば、オブジェクトの画像データや、輪郭を表す点の集合等が該当する。
【００１１】
請求項２記載の発明は、情報の記憶手段、実写画像の撮像手段、情報の表示手段、及びこれら各手段の動作を制御する情報の処理手段を備えた端末装置に用いられる仮想オブジェクト操作プログラムである。前記記憶手段は、仮想画像の座標系における実写画像のオブジェクトの位置を識別する仮想位置識別子と、仮想画像のオブジェクトの操作方法とを関連付けて予め格納している操作方法データベースを備えている。また、記憶手段は、仮想画像のオブジェクト、その背景、及びこれらの位置を特定する仮想座標系を含む仮想画像データを予め格納している仮想画像データベースを備えている。そして、処理手段は、前記撮像手段から実写画像を撮像し、実写画像のオブジェクトを抽出する。次に、処理手段は、抽出した実写画像のオブジェクトに基づいて、実写画像の座標系における当該実写画像のオブジェクトの位置を識別する実写位置識別子を算出する。続いて、処理手段は、前記仮想画像データベースを参照し、仮想画像データを取り出す。そして、処理手段は、取り出した仮想画像データに含まれる仮想座標系と、前記実写画像の座標系と、前記算出した実写画像のオブジェクトの実写位置識別子とに基づいて、当該実写画像のオブジェクトの仮想位置識別子を算出する。次に、処理手段は、前記抽出した実写画像のオブジェクトと、取り出した仮想画像データとに基づいて、前記算出した仮想位置識別子に対応する仮想画像の位置に当該実写画像のオブジェクトを配置すると共に、当該実写画像のオブジェクトと仮想画像とを重ね合わせて、前記表示手段に表示する。また、処理手段は、前記操作方法データベースを参照し、前記算出した実写画像のオブジェクトの仮想位置識別子に関連付けられた仮想画像のオブジェクトの操作方法を取り出す。そして、処理手段は、取り出した仮想画像のオブジェクトの操作方法に基づいて、仮想画像のオブジェクトを操作する。
【００１２】
ここで、位置識別子とは、位置を識別するものであって、例えば、所定の座標系におけるオブジェクトの中心座標、重心座標等が該当する。特に、実写位置識別子とは、実写画像の座標系におけるオブジェクトの位置を識別するものであり、仮想位置識別子とは、仮想画像の座標系におけるオブジェクトの位置を識別するものである。
【００１３】
請求項３記載の発明は、情報の記憶手段、実写画像の撮像手段、情報の表示手段、及びこれら各手段の動作を制御する情報の処理手段を備えた端末装置に用いられる仮想オブジェクト操作プログラムである。記憶手段は、実写画像のオブジェクトの速度を識別する速度識別子と、仮想画像のオブジェクトの操作方法とを関連付けて予め格納している操作方法データベースを備えている。また、記憶手段は、仮想画像のオブジェクト及びその背景を含む仮想画像データを予め格納している仮想画像データベースを備えている。そして、処理手段は、前記撮像手段から実写画像を撮像し、実写画像のオブジェクトを抽出する。次に、処理手段は、抽出した実写画像のオブジェクトに基づいて、当該実写画像のオブジェクトの速度識別子を算出する。続いて、処理手段は、前記仮想画像データベースを参照し、仮想画像データを取り出す。そして、処理手段は、前記抽出した実写画像のオブジェクトと、取り出した仮想画像データとに基づいて、当該実写画像のオブジェクトと仮想画像とを重ね合わせて、前記表示手段に表示する。また、処理手段は、前記操作方法データベースを参照し、前記算出した実写画像のオブジェクトの速度識別子に関連付けられた仮想画像のオブジェクトの操作方法を取り出す。そして、処理手段は、取り出した仮想画像のオブジェクトの操作方法に基づいて、仮想画像のオブジェクトを操作する。
【００１４】
ここで、速度識別子とは、速度を識別するものであって、具体的には、所定の座標系におけるオブジェクトの速度ベクトル等が該当する。
【００１５】
請求項４記載の発明は、情報の記憶手段、実写画像の撮像手段、情報の表示手段、及びこれら各手段の動作を制御する情報の処理手段を備えた端末装置に用いられる仮想オブジェクト操作プログラムである。前記記憶手段は、実写画像のオブジェクトの形状を識別する形状識別子、仮想画像の座標系における実写画像のオブジェクトの位置を識別する仮想位置識別子、及び実写画像のオブジェクトの速度を識別する速度識別子の組合せと、仮想画像のオブジェクトの操作方法とを関連付けて予め格納している操作方法データベースを備えている。また、記憶手段は、仮想画像のオブジェクト、その背景、及びこれらの位置を特定する仮想座標系を含む仮想画像データを予め格納している仮想画像データベースを備えている。そして、処理手段は、前記撮像手段から実写画像を撮像し、実写画像のオブジェクトを抽出する。次に、処理手段は、抽出した実写画像のオブジェクトに基づいて、当該実写画像のオブジェクトの形状識別子、実写画像の座標系における当該実写画像のオブジェクトの位置を識別する実写位置識別子、及び当該実写画像のオブジェクトの速度識別子を算出する。続いて、処理手段は、前記仮想画像データベースを参照し、仮想画像データを取り出す。そして、処理手段は、取り出した仮想画像データに含まれる仮想座標系と、前記実写画像の座標系と、前記算出した実写画像のオブジェクトの実写位置識別子とに基づいて、当該実写画像のオブジェクトの仮想位置識別子を算出する。次に、処理手段は、前記抽出した実写画像のオブジェクトと、取り出した仮想画像データとに基づいて、前記算出した仮想位置識別子に対応する仮想画像の位置に当該実写画像のオブジェクトを配置すると共に、当該実写画像のオブジェクトと仮想画像とを重ね合わせて、前記表示手段に表示する。また、前記操作方法データベースを参照し、前記算出した実写画像のオブジェクトの形状識別子、仮想位置識別子、及び速度識別子の組合せに関連付けられた仮想画像のオブジェクトの操作方法を取り出す。そして、処理手段は、取り出した仮想画像のオブジェクトの操作方法に基づいて、仮想画像のオブジェクトを操作する。
【００１６】
請求項５記載の発明は、請求項１乃至４の仮想オブジェクト操作プログラムにおいて、仮想画像のオブジェクトが、表示手段に表示されるアイコンであることを特徴とした仮想オブジェクト操作プログラムである。
【発明の効果】
【００１７】
これによると、処理手段が、抽出した実写画像のオブジェクトと、仮想画像データとに基づいて、当該実写画像のオブジェクトと仮想画像とを重ね合わせて、表示手段に表示すると共に、処理手段が、操作方法データベースを参照して、実写画像のオブジェクトの形状識別子、実写画像のオブジェクトの位置識別子、又は実写画像のオブジェクトの速度識別子に関連付けられた仮想画像のオブジェクトの操作方法に基づいて、仮想画像のオブジェクトを操作するので、上記重ね合わせた画像において、実写画像のオブジェクトが仮想画像のオブジェクトを操作することができるという従来にない優れた仮想画像オブジェクト操作プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照しながら、本発明の実施形態について説明する。
【００１９】
図１は、本願の仮想オブジェクト操作プログラム１１１を適用する端末装置１００として一般的なＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）の構成を示している。バス１０１に対し、入力手段としてのキーボード１０６及びマウス１０７、表示手段としてのディスプレイ１０８、処理手段としてのＣＰＵ１０２、記憶手段としてのＲＡＭ１０３、ＲＯＭ１０４、及びＨＤＤ１１０（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、通信手段としてのＮＩＣ１０５（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）、並びに撮像手段としてのビデオカメラ１０９が接続されている。Ｉ／Ｆはバス１０１と各種デバイスとのインターフェースを示している。ＨＤＤ１１０には、仮想オブジェクト操作プログラム１１１、操作方法データベース１１２、仮想画像データベース１１３、及び形状データベース１１４等が記憶されている。端末装置１００のＣＰＵ１０２は、ＨＤＤ１１０に記憶されている仮想オブジェクト操作プログラム１１１をＲＡＭ１０３に読み出して実行することにより、ビデオカメラ１０９から撮像した実写画像と、仮想画像とを合成して、ディスプレイ１０８に表示する機能等を提供する。また、操作方法データベース１１２には、仮想画像のオブジェクトの操作方法に関する情報が予め格納されている。端末装置１００のＣＰＵ１０２は、操作方法データベース１１２を参照して、仮想画像のオブジェクトを操作するようになっている。さらに、仮想画像データベース１１３には、コンピュータグラフィックス等で作成された仮想画像のオブジェクト、その背景、及びこれらの位置を特定する仮想座標系を含む画像データが予め格納されている。端末装置１００のＣＰＵ１０２は、仮想画像データベース１１３を参照して、仮想画像のオブジェクトをディスプレイ１０８に表示するようになっている。そして、形状データベース１１４には、オブジェクトの形状に関する情報が格納されている。端末装置１００のＣＰＵ１０２は、形状データベース１１４を参照して、ビデオカメラ１０９により撮像された実写画像のオブジェクトの形状を識別するようになっている。
【００２０】
図２は、端末装置１００のＨＤＤ１１０に格納されている操作方法データベース１１２の構造を示している。本実施形態では、操作方法データベース１１２に、実写画像のオブジェクトの形状を識別する形状識別子、仮想画像の座標系における実写画像のオブジェクトの位置を識別する仮想位置識別子、及び実写画像のオブジェクトの速度を識別する速度識別子の組合せと、仮想オブジェクトの操作方法とを関連付けて予め格納している。
【００２１】
図３は、端末装置１００のＨＤＤ１１０に格納されている仮想画像データベース１１３の構造を示している。仮想画像データベース１１３は、仮想画像データを格納している。特に、本実施形態では、仮想画像データとして、コンピュータグラフィックスで作成した直方体のオブジェクト３０１、その背景、及びこれらの位置を特定する仮想座標系３０２を含む画像データを格納している。ここで、仮想座標系３０２は、ディスプレイに実際に表示されるか否かを問わない。
【００２２】
図４は、端末装置１００のＨＤＤ１１０に格納されている形状データベース１１４の構造を示している。形状データベース１１４は、形状識別子と、標準形状画像とを関連付けて予め格納している。ここで、標準形状画像とは、所定の形状からなるオブジェクトの画像であって、実写画像であると仮想画像であるとを問わない。
【００２３】
次に、本実施形態の端末装置１００の動作について説明する。
【００２４】
図５は、端末装置１００のＣＰＵ１０２が仮想オブジェクト操作プログラム１１１をＲＡＭ１０３に読み出して実行することにより行う処理を表すフローチャートである。
【００２５】
まず、端末装置１００のＣＰＵ１０２は、ビデオカメラ１０９により、実写画像のオブジェクトを含まない実写画像を初期画像として撮像する。例えば、実写画像のオブジェクトが「手」の場合には、端末装置１００のＣＰＵ１０２は、「手」を含まない実写画像を初期画像として撮像する。ここで、実写画像のオブジェクトは、「手」に限定されず、ビデオカメラ１０９の撮像範囲において、動作可能な物であればよい。また、実写画像のオブジェクトは、複数あってもよい。例えば、実写画像として「両手」をビデオカメラ１０９で撮像する場合が該当する。
【００２６】
その後、端末装置１００のＣＰＵ１０２は、ビデオカメラ１０９により、実写画像のオブジェクトとしての「手」を含む実写画像を継続的に撮像する。そして、端末装置１００のＣＰＵ１０２は、初期画像と現在撮像している画像との差分をとり「手」の画像を抽出する（Ｓ１０）。ここで、端末装置１００のＣＰＵ１０２は、実写画像のオブジェクトとしての「手」の抽出を、時系列的に継続して行っている。また、本実施形態では、次のようにして「手」の画像を抽出している。端末装置１００のＣＰＵ１０２は、現在撮像している実写画像のビットマップ形式の点から、初期画像のビットマップ形式の点と、同一の位置かつ同一の色彩であるものを削除することによって、実写画像のオブジェクトとしての「手」の画像を抽出している。
【００２７】
端末装置１００のＣＰＵ１０２は、抽出した「手」の形状識別子、実写位置識別子、及び速度識別子を次のように算出する（Ｓ１５）。
【００２８】
〔形状識別子の算出〕
【００２９】
端末装置１００のＣＰＵ１０２は、抽出した「手」の画像と、形状データベース１１４に格納されている標準形状画像とを比較し、その差分をとる。そして、端末装置１００のＣＰＵ１０２は、当該差分が最も少ない標準形状画像を特定し、特定した標準形状画像に関連付けられた形状識別子を形状データベース１１４から取り出す。本実施形態では、端末装置１００のＣＰＵ１０２は、標準形状画像のオブジェクトの輪郭を表すビットマップ形式のそれぞれの点に対して、一定の距離にある領域を算出する。次に、端末装置１００のＣＰＵ１０２は、標準形状画像のオブジェクトの輪郭を表すビットマップ形式のそれぞれの点に対して算出された複数の領域の和集合からなる基準領域を算出する。続いて、端末装置１００のＣＰＵ１０２は、抽出した「手」の輪郭を表すビットマップ形式の点のうち、当該基準領域内にある点の個数を算出する。そして、端末装置１００のＣＰＵ１０２は、当該基準領域内にある点の個数が最大となる標準形状画像を差分が最も少ない標準形状画像として特定し、特定した標準形状画像に関連付けられた形状識別子を形状データベース１１４から取り出す。
【００３０】
〔実写位置識別子の算出〕
【００３１】
端末装置１００のＣＰＵ１０２は、抽出した「手」の画像に基づいて、中心座標を算出し、これを実写位置識別子としている。ここで、実写画像の座標系における「手」の輪郭を表す点の座標を（Ｘ，Ｙ，Ｚ）とすると、中心座標は、「手」の輪郭を表す点の集合から、Ｘ座標の最大値と最小値との平均値、Ｙ座標の最大値と最小値との平均値、Ｚ座標の最大値と最小値との平均値を求めることにより算出する。本実施形態では、上記中心座標を実写位置識別子として採用しているが、その他所定の方法により算出される点の座標を実写位置識別子として採用してもよい。
【００３２】
また、「手」の輪郭を表す点の座標の精度をあげるため、次のような処理をおこなってもよい。端末装置１００のＣＰＵ１０２は、ビデオカメラ１０９により、撮像対象となっている「手」の静止状態を第一の実写オブジェクト初期画像として撮像する。続いて、端末装置１００のＣＰＵ１０２は、ビデオカメラ１０９により、撮像対象となっている「手」の静止状態を第二の実写オブジェクト初期画像として撮像する。そして、端末装置１００のＣＰＵ１０２は、第二の実写オブジェクト初期画像に基づいて、第一の実写オブジェクト初期画像における「手」の輪郭のぶれを補正する。その後、端末装置１００のＣＰＵ１０２は、補正した第一の実写オブジェクト初期画像に基づいて、実写画像の座標系における現在の「手」の輪郭を表す点の座標を補正する。
【００３３】
〔速度識別子の算出〕
【００３４】
また、端末装置１００のＣＰＵ１０２は、上記算出した「手」の中心座標に関して、単位時間あたりの変化量を算出し、これを速度識別子としている。速度識別子は、抽出した「手」の画像に基づいて、その他所定の方法により算出される点の単位時間あたりの変化量であってもよい。
【００３５】
次に、端末装置１００のＣＰＵ１０２が、形状識別子、実写位置識別子、速度識別子を算出した後の動作について説明する。
【００３６】
端末装置１００のＣＰＵ１０２は、仮想画像データベース１１３を参照して、仮想画像データを取り出す（Ｓ２０）。本実施形態では、端末装置１００のＣＰＵ１０２は、仮想画像データとして、コンピュータグラフィックスで作成した直方体のオブジェクト３０１、その背景、及びこれらの位置を特定する仮想座標系３０２を含む仮想画像データを取り出す。
【００３７】
そして、端末装置１００のＣＰＵ１０２は、取り出した仮想画像データに含まれる仮想座標系と、実写画像の座標系と、ステップＳ１５で算出した実写画像のオブジェクトの実写位置識別子とに基づいて、仮想座標系における実写画像のオブジェクトの位置を識別する仮想位置識別子を算出する（Ｓ２５）。本実施形態では、実写画像の座標系及び仮想座標系は共に直交座標系を採用している。また、端末装置１００のＣＰＵ１０２は、実写画像における座標系の原点と、仮想座標系の原点の位置を合わせ、かつ、それぞれの座標系の軸方向を合わせることによって、実写画像のオブジェクトの仮想座標系における位置を特定し、仮想位置識別子を算出している。ここで、仮想位置識別子の算出の方法は、実写画像の座標系における座標を、仮想画像の座標系の座標に変換する方法に帰着し、その変換方法は上記以外の方法、例えば、並行移動、回転、正射影等によるものであってもよい。
【００３８】
次に、端末装置１００のＣＰＵ１０２は、ステップＳ１０で抽出した実写画像のオブジェクトと、ステップＳ２０で取り出した仮想画像データに基づいて、上記算出した仮想位置識別子に対応する仮想画像の位置に、抽出した「手」の画像を配置すると共に、この「手」の画像と、仮想画像とを重ね合わせて、ディスプレイ１０８に表示する（Ｓ３０）。ここで、「手」の画像と、仮想画像のオブジェクトが重なる場合は、仮想画像における「手」の位置と、仮想画像のオブジェクトの位置との関係により、「手」の画像と仮想画像のオブジェクトの画像との、重ね合わせ順を変えるようにしてもよい。また、端末装置１００のＣＰＵ１０２は、実写画像のオブジェクトである「手」の画像に代えて、記憶手段に予め格納している所定の画像を用い、上記仮想画像を重ね合わせて表示してもよい。所定の画像としては、「手」の形状をしたアイコンの画像等が該当する。
【００３９】
そして、端末装置１００のＣＰＵ１０２は、操作方法データベース１１２を参照して、上記算出した「手」の形状識別子、「手」の仮想位置識別子、「手」の速度識別子の組合せに関連付けられた仮想画像のオブジェクトの操作方法を取り出す（Ｓ３５）。仮想画像のオブジェクトの操作方法としては、例えば、仮想画像のオブジェクトを移動したり、回転したりする操作が該当する。また、仮想画像のオブジェクトが、デスクトップ画面に表示されたアイコンの場合には、当該アイコンに関連付けられた所定のコマンドの実行を、仮想画像のオブジェクトの操作方法としてもよい。
【００４０】
次に、端末装置１００のＣＰＵ１０２は、取り出した仮想画像のオブジェクトの操作方法に基づいて、仮想画像のオブジェクトを操作する（Ｓ４０）。ここで、仮想オブジェクトを操作するとは、操作方法データベースから取り出した操作方法に対応する実行命令（コマンド）又は実行命令を複数記述したスクリプト等を、端末装置１００のＣＰＵ１０２が実行することによって実現される。
【００４１】
図６は、当該仮想画像のオブジェクトの操作方法が、仮想画像のオブジェクトを回転する操作である場合における、仮想画像のオブジェクトの状態を示している。端末装置１００のＣＰＵ１０２は、回転する操作に対応する「回転コマンド」を実行することによって仮想画像のオブジェクトを回転している。
【００４２】
以上により、実写画像から抽出したオブジェクトである「手」の形状識別子、位置識別子、及び速度識別子の組合せに応じて、仮想画像のオブジェクトを操作することができる。これによると、実写画像から抽出したオブジェクトである「手」が仮想画像のオブジェクトをつかんだり、投げたりすることができる。また、オブジェクトをつかんだ状態で、ビデオカメラ１０９の撮像対象である「手」を動かすことによって、所定の処理を行うことができる。例えば、仮想画像のオブジェクトがデスクトップ画面に表示されたアイコンである場合に、実写画像のオブジェクトである「手」を所定のアイコンの位置に配置して、所定の形状、所定の速度で動かすと、当該アイコンに関連付けられたファイルのコピーや、削除、フォルダ移動等といったコマンドを実行することが可能になる。
【図面の簡単な説明】
【００４３】
【図１】端末装置の構成を示すブロック図である。
【図２】操作方法データベースの構造図である。
【図３】仮想画像データベースの構造図である。
【図４】形状データベースの構造図である。
【図５】端末装置が行う処理を示すフローチャートである。
【図６】実写画像のオブジェクトが仮想画像のオブジェクトを操作する一例を示す図である。
【符号の説明】
【００４４】
１００  端末装置
１０１  バス
１０２  ＣＰＵ（処理手段）
１０３  ＲＡＭ（記憶手段）
１０４  ＲＯＭ（記憶手段）
１０５  ＮＩＣ（通信手段）
１０６  キーボード（入力手段）
１０７  マウス（入力手段）
１０８  ディスプレイ（表示手段）
１０９  ビデオカメラ（撮像手段）
１１０  ＨＤＤ（記憶手段）
１１１  仮想オブジェクト操作プログラム
１１２  操作方法データベース
１１３  仮想画像データベース
１１４  形状データベース
【図１】
2005115467.tif 000003
【図２】
2005115467.tif 000004
【図３】
2005115467.tif 000005
【図４】
2005115467.tif 000006
【図５】
2005115467.tif 000007
【図６】
2005115467.tif 000008