(57)【要約】【課題】講習の場所、時間等の制約を減らし、より受講者の希望に添った講習を実現すること。【解決手段】受講者の動きを受講者に取り付けた位置姿勢センサと、例えばゴルフクラブやテニスラケットに取り付けた位置姿勢センサの出力に基づいて測定する。そして、複合現実感提示技術を利用し、インストラクターや受講者、ボール等を仮想物体として受講者の装着するＨＭＤに表示しながら、レッスンを行う。【選択図】      図１
2005034195.tif 000002
【特許請求の範囲】
【請求項１】
仮想物体としてのインストラクターの画像を生成するためのモデル情報と、前記インストラクターの指導により受講者に予め定められた講習を行うための講習データを記憶する記憶手段と、
受講者の頭部位置姿勢を検出するための第１のセンサと、
前記受講者が操作する道具又は前記受講者の身体の一部分の位置姿勢を検出するための第２のセンサと、
前記第１及び前記第２のセンサの出力から、前記受講者の位置姿勢を検出する位置姿勢検出手段と、
前記講習データ、前記モデル情報及び前記受講者の位置姿勢に従って、前記インストラクターの画像を生成し、前記受講者の装着するＨＭＤに表示させる画像生成手段とを有することを特徴とする講習支援システム。
【請求項２】
前記記憶手段が、さらに、前記受講者が直接又は前記道具を用いて操作する物体の画像を生成するためのモデル情報を記憶し、
前記画像生成手段が、前記講習データ、前記モデル情報及び前記受講者の位置姿勢に従って、前記物体の画像をも生成し、前記受講者の装着するＨＭＤに表示させることを特徴とする請求項１記載の講習支援システム。
【請求項３】
前記画像生成手段が、前記インストラクターによる手本動作を前記受講者に呈示するための画像を生成し、前記ＨＭＤに表示させることを特徴とする請求項１又は請求項２記載の講習支援システム。
【請求項４】
前記画像生成手段が、前記インストラクターの画像として、前記受講者の体型と類似したインストラクターの画像を前記受講者が前記インストラクターの画像と自分の身体が重なっているように視認するような位置に存在するものとして生成することを特徴とする請求項１乃至請求項３のいずれか１項に記載の講習支援システム。
【請求項５】
さらに、前記前記受講者の位置姿勢を記録する記録手段を有し、
前記画像生成手段が、前記記録手段に記録された前記受講者の位置姿勢を用いて前記受講者の動作を再現する画像を生成し、前記受講者の装着するＨＭＤに表示させることを特徴とする請求項１乃至請求項４のいずれか１項に記載の講習支援システム。
【請求項６】
受講者の頭部位置姿勢を検出するための第１のセンサと、前記受講者が操作する道具又は前記受講者の身体の一部分の位置姿勢を検出するための第２のセンサとの出力から、前記受講者の位置姿勢を検出する位置姿勢検出ステップと、
仮想物体としてのインストラクターの画像を生成するためのモデル情報と、前記インストラクターの指導により前記受講者に予め定められた講習を行うための講習データ及び前記位置姿勢検出ステップで検出した前記受講者の位置姿勢に従って、前記インストラクターの画像を生成する画像生成ステップと、
前記画像生成ステップで生成した画像を、前記受講者の装着するＨＭＤに表示させる表示ステップとを有することを特徴とする講習支援方法。
【請求項７】
前記画像生成ステップが、さらに、前記受講者が直接又は前記道具を用いて操作する物体の画像を生成するためのモデル情報を用いて、前記講習データ、前記モデル情報及び前記受講者の位置姿勢に従って、前記物体の画像をも生成することを特徴とする請求項６記載の講習支援方法。
【請求項８】
前記画像生成ステップが、前記インストラクターによる手本動作を前記受講者に呈示するための画像を生成することを特徴とする請求項６又は請求項７記載の講習支援方法。
【請求項９】
前記画像生成ステップが、前記インストラクターの画像として、前記受講者の体型と類似したインストラクターの画像を、前記受講者が前記インストラクターの画像と自分の身体が重なっているように視認するような位置に存在するものとして生成することを特徴とする請求項６乃至請求項８のいずれか１項に記載の講習支援方法。
【請求項１０】
さらに、前記前記受講者の位置姿勢を記録手段に記録する記録ステップを有し、
前記画像生成ステップが、前記記録手段に記録された前記受講者の位置姿勢を用いて前記受講者の動作を再現する画像を生成することを特徴とする請求項６乃至請求項９のいずれか１項に記載の講習支援方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、場所や時間の少ない制約でスポーツ等の講習の受講を可能にする講習支援技術に関する。
【０００２】
【従来の技術】
現在世の中には様々なスポーツがあり、各々のスポーツにおいてより専門化および高度化が進んでいる。そのため人々は専門家から講習を受けることなしには、なかなかスポーツを習得できない。そのため、テニス教室、ゴルフ教室など、スポーツ講習のビジネスも盛んである。
【０００３】
【発明が解決しようとする課題】
しかしながらこの種の講習は特定の場所で、かつ特定のスケジュールに従って開催されているため、思うように講習を受けられない場合がある。又、スポーツの上達には講習者自身のフォームやプレイをビデオ等で撮影し、客観的に観察することが効果的であることが多いが、通常講習は多人数で同時に行うことが多く、講習者毎にビデオカメラを用意し、かつ常に講習者を追いかけて撮影することは一般的にはかなり困難である。
【０００４】
また、教則ビデオ等も市販されているが、一般には、ビデオ鑑賞する部屋でゴルフのスイング練習等のスポーツ練習を行うことはできないのが実情であり、結局はイメージトレーニング程度に利用することしかできない。
【０００５】
受講者のスイングをビデオで撮影し、それを指導者に送付し、指導者の指導映像を録画して返送することによる指導なども提案されている（特許文献１）が、自分が練習をしてから結果が帰ってくるまでに時間がかかったり、やはりビデオを見ながら練習することが困難であるなど、依然として問題点も多い。
【０００６】
本発明はこのような従来技術の課題に鑑みなされたものであり、スポーツ等の講習の場所と時間の制約を減少させ、また講習者自身の動作の撮影及び再生を容易に行うことが可能な講習支援システム及び講習支援方法を提案するものである。
【０００７】
【特許文献１】
特開平５−３２８２７５号公報
【０００８】
【課題を解決するための手段】
上述の目的を達成するため、本発明による講習支援システムは、仮想物体としてのインストラクターの画像を生成するためのモデル情報と、インストラクターの指導により受講者に予め定められた講習を行うための講習データを記憶する記憶手段と、受講者の頭部位置姿勢を検出するための第１のセンサと、受講者が操作する道具又は受講者の身体の一部分の位置姿勢を検出するための第２のセンサと、第１及び第２のセンサの出力から、受講者の位置姿勢を検出する位置姿勢検出手段と、講習データ、モデル情報及び受講者の位置姿勢に従って、インストラクターの画像を生成し、受講者の装着するＨＭＤに表示させる画像生成手段とを有することを特徴とする。
【０００９】
また、本発明による講習支援方法は、受講者の頭部位置姿勢を検出するための第１のセンサと、受講者が操作する道具又は受講者の身体の一部分の位置姿勢を検出するための第２のセンサとの出力から、受講者の位置姿勢を検出する位置姿勢検出ステップと、仮想物体としてのインストラクターの画像を生成するためのモデル情報と、インストラクターの指導により受講者に予め定められた講習を行うための講習データ及び位置姿勢検出ステップで検出した受講者の位置姿勢に従って、インストラクターの画像を生成する画像生成ステップと、画像生成ステップで生成した画像を、受講者の装着するＨＭＤに表示させる表示ステップとを有することを特徴とする。
【００１０】
【発明の実施の形態】
以下、図面を参照しながら本発明をその好適な実施形態に基づいて詳細に説明する。
本実施形態に係る講習支援システムは、複合現実感提示装置により実現される。複合現実感提示装置は、現実空間又はその画像に、観察者の視点位置、姿勢に対応する仮想物体の画像（仮想物体画像）を重畳して観察者に呈示することで、あたかも現実空間に仮想物体が存在しているかのような感覚を体感させるものである。
【００１１】
本実施形態に係る複合現実感提示装置は、スポーツインストラクター、例えばゴルフインストラクターを仮想物体としてユーザ（受講者）に呈示することにより、あたかもその場にインストラクターが存在してゴルフを指導してくれるような感覚を受講者に体感させるものである。
【００１２】
図１に本実施形態における複合現実感提示装置内部の概略構成をブロック図で示す。
ＣＰＵ１０１は、ＲＯＭ１１１に格納されたデータやプログラムコードを用いて、本装置全体の制御を行うと共に、後述の講習進行管理部１１０内の不図示のメモリや、ＲＡＭ１１２に格納されたデータやプログラムコードを用いて、後述する各画像処理や数値計算等を行う。なお、上述の各データやプログラムコードの所在は特に限定すべきものではなく、例えば本装置全体の制御プログラムコードが外部記憶装置１１３やＲＡＭ１１２に格納されていても良い。
【００１３】
頭部用位置姿勢センサ１０２は、ユーザの頭部に装着することにより、ユーザの頭部の絶対的な位置、姿勢（絶対座標系におけるユーザの頭部の位置、姿勢）を示す信号を後述の位置姿勢計測部１０３に出力する。上記絶対座標系を以下、世界座標系と呼ぶことがある。
【００１４】
この世界座標系は、図２に示すとおり、適当な位置を原点とし、ｚ−ｘ平面を水平面とする座標系で、重力方向を−ｙ方向とする。ここでは原点として、後述する位置姿勢計測部１０３が固定されている位置を原点とするが、世界座標系が一意に決まっていればこの原点は任意に設定可能である。
【００１５】
位置姿勢計測部１０３は、頭部用位置姿勢センサ１０２から入力した上述の信号から、ユーザの頭部の位置、姿勢を特定する。一方、後述のゴルフクラブ位置姿勢センサ１０４より入力する信号から、世界座標系におけるユーザーの持つゴルフクラブの位置、姿勢を特定する。なお、特定した上述のユーザの頭部の位置、姿勢のデータと、ゴルフクラブの位置、姿勢のデータはＣＰＵ１０１に出力される。
【００１６】
ゴルフクラブ位置姿勢センサ１０４は、頭部用位置姿勢センサ１０２と同じものを用いても良く、ゴルフクラブに装着することにより、世界座標系におけるゴルフクラブの位置、姿勢を示す信号を位置姿勢計測部１０３に出力する。なお、センサは、例えばグリップ内部に取り付けることが可能であり、またクラブのフェースの向きが正しく検出できるよう、出力信号とフェースの向きの基準をキャリブレーションしておくことが望ましい。
【００１７】
位置姿勢計測部が特定した世界座標系におけるユーザの頭部の位置、姿勢及び、ゴルフクラブの位置、姿勢は、以下の通り表される。
時刻ｔにおけるユーザの頭部の位置：ｈ！（ｔ）
ｈ！（ｔ）＝（ｈｘ，ｈｙ，ｈｚ）      （１）
ただし、ｈ！はｈのベクトル表記。
時刻ｔにおけるユーザの頭部の姿勢：
θｒ    ロール角
θｐ    ピッチ角
θｙ    ヨー角（方位角）
時刻ｔにおけるゴルフクラブの位置：Ｐ！（ｔ）      （２）
Ｐ！（ｔ）＝（Ｐｘ，Ｐｙ，Ｐｚ）
ただし、Ｐ！はＰのベクトル表記。
時刻ｔにおけるゴルフクラブの姿勢：
φｒ    ロール角
φｐ    ピッチ角
φｙ    ヨー角（方位角）
【００１８】
以上のユーザの頭部の位置、姿勢のデータと、ゴルフクラブの位置、姿勢のデータがＣＰＵ１０１に入力される。ここでＣＰＵ１０１がこれらのデータから、ゴルフクラブの動きを検知する方法について説明する。
【００１９】
ユーザの頭部の位置、方位角を基準とした手の位置Ｐ’！は、（ＣＰＵ１０１内で）以下の演算を行うことで求めることができる。
Ｐ’！＝Ｐ！×Ｔ＿（ｈ！）×Ｒｙ＿（θｙ）    （３）
但し、Ｔ＿は平行移動変換Ｔの逆変換、Ｒｙ＿はｙ軸周りの回転変換Ｒｙの逆変換である。
【００２０】
又、ユーザの頭部の向きを基準とし、時刻ｔ＋Δｔにおける手の位置Ｐ’！の移動ベクトルｄ！は以下のようにして求めることができる。
ｄ！＝Ｐ’！（ｔ＋Δｔ）−Ｐ’！（ｔ）    （４）
【００２１】
そして手の移動速度を示す速度ベクトルｖ！は以下のようにして求めることができる。
ｖ！＝ｄ！／Δｔ    （５）
【００２２】
その結果、この速度ベクトルｖ！のｘ、ｙ、ｚの各方向の成分（ｖｘ、ｖｙ、ｖｚ）により、ユーザの頭部を基準とした手の動きは以下のようにして検知することができる。
ｖｘ＞０：右に動いた    ｖｘ＜０：左に動いた
ｖｙ＞０：上に動いた    ｖｙ＜０：下に動いた
ｖｚ＞０：後に動いた    ｖｚ＜０：前に動いた
【００２３】
図１に戻って、ヘッドマウントディスプレイ（以下、ＨＭＤ）１０５は、内部に撮像装置としてのＣＣＤ１０５ｂと表示部１０５ｃを備え、後述の画像生成部１０６により合成された映像（ＣＣＤ１０５ｂで撮像された実写映像と、仮想空間に存在するインストラクター及びゴルフボールの映像（仮想物体画像）との合成映像）を表示部１０５ｃに表示することで、このＨＭＤ１０５を頭部に装着したユーザに、あたかもインストラクターとゴルフボールが実際に存在するかのように感じさせることができる。
【００２４】
なお、複合現実感呈示装置に用いられるＨＭＤ１０５には、周知のように光学シースルー方式と、ビデオシースルー方式の２種類が存在し、本実施形態ではビデオシースルー方式のＨＭＤを用いた場合を説明するが、ＨＭＤ１０５に光学シースルー方式のＨＭＤを用いることも可能である。ＨＭＤ１０５が光学シースルー方式である場合、ＣＣＤ１０５ｂは備わっていない。
【００２５】
画像生成部１０６は、ＨＭＤ１０５がビデオシースルー方式のものであった場合、ＣＣＤ１０５ｂから入力した実写映像に対して任意の画像処理（ガンマ補正、階調変換など）を行ってもよい。そして、ＣＰＵ１０１から与えられるユーザの頭部位置、姿勢情報、クラブの位置、姿勢情報及び例えば外部記憶装置１１３に予め記憶されたインストラクター及びゴルフボールの３次元モデル情報及び、後述する講習進行管理部から与えられるインストラクターとゴルフボールの位置姿勢情報とに基づいて、ユーザの視点位置、姿勢に適合したインストラクター及びゴルフボールの画像（仮想物体画像）を既知のコンピュータグラフィックス技術を用いて生成する。そして、この画像をＣＣＤ１０５ｂで撮像した実写映像、あるいはその実写映像に任意の画像処理を施した実写映像と合成して、合成映像を表示部１０５ｃに出力する。
【００２６】
なお、仮想物体画像の生成時に、ユーザの頭部位置姿勢を視点位置姿勢に変換したり、ＨＭＤ１０５で立体視可能なように右目用、左目用画像を生成する処理については複合現実感提示技術において既知の任意の方法を利用可能である。
【００２７】
一方、ＨＭＤ１０５が光学シースルー方式である場合、上述の通りＨＭＤ１０５にはＣＣＤ１０５ｃが備わっていないために、画像生成部１０６は、ビデオシースルー方式のＨＭＤに呈示するためのインストラクター及びゴルフボールの画像のみを表示部１０５ｃに出力する。
【００２８】
スピーカ１０７は、後述する音声合成部１０８で生成された音声を出力する。なお、このスピーカ１０７から出力されるのは音声に限定されず、他にも例えば、ボールとゴルフクラブの衝突音等の効果音を出力することが可能である。スピーカは通常のスピーカの他、例えばユーザが装着するイヤホンやヘッドホンとして構成することが可能である。
【００２９】
１０８は音声合成部で、インストラクターが何か音声を発したりする場合、その音声を生成する。また、上述の通り、効果音を生成することも可能である。音声や効果音のデータは例えば外部記憶装置１１３に予め記憶され、講習進行管理部１１０の制御により音声合成部１０８に与えられる。
【００３０】
講習進行管理部１１０は、説明上機能ブロックとして記載しているが、実際にはＣＰＵ１０１によって実現される機能の一部であり、予め定められた講習内容を実現するためゴルフ講習の進行を管理する。
【００３１】
ＲＯＭ１１１は、ＣＰＵ１０１が本装置全体の制御を行うために必要なプログラムコードやデータの少なくとも１部を格納する。また、本装置が起動する際に必要となる設定や、文字を表示部に表示するための文字コードなども格納する。
【００３２】
ＲＡＭ１１２は、後述する外部記憶装置１１３からロードしたプログラムコードやデータなど一時的に格納するエリアを備えていると共に、ＣＰＵ１０１が各種のプログラムコードを実行する際に使用するワークエリアも備えている。
【００３３】
外部記憶装置１１３はＨＤＤ等の記憶装置から構成され、ＣＤ−ＲＯＭやフロッピー（登録商標）ディスクなどの記憶媒体からインストールされた各種のプログラムコードやデータなどを保存する。また、前述のＲＡＭ１１２内のワークエリアに不足が生じた場合、仮想的なワークエリアとしてのテンポラリファイルを、この外部記憶装置１１３内のエリアに作成することもできる。
【００３４】
講習記録再生部１１４は、後述するように、ゴルフ講習の進行を外部記憶装置１１３に記録し、又、記録されたデータを再生することが出来る。
操作部１１５はユーザがシステムに対して指示を与えるための入力デバイスであり、例えば矢印キーやテンキーなどが設けられたリモコンである。
【００３５】
図３は上述の構成を備える複合現実感提示装置を用いたＭＲゴルフ講習システムの基本概観を表した図である。３０１はＨＭＤ１０５を装着したユーザー、３０２はユーザーに見える仮想インストラクターで、３０３ａ、３０３ｂは仮想ゴルフボールである。ユーザー３０１はＨＭＤ１０５を通して仮想インストラクター３０２や仮想ゴルフボール３０３ａ、３０３ｂを見ることが出来る。
このシステムのユーザー３０２はこの講習システムの受講者であるので、以下ユーザーのことを受講者と呼ぶ。
【００３６】
＜全体処理＞
次に、図４に示すフローチャートを用いて、本実施形態における複合現実感提示装置の全体処理について説明する。
まず、装置が起動されると、オペレーティングシステムの読み込みなど各種初期化処理が行われる。初期化処理が終了すると、ログイン画面を表示部１０５ｃに表示する。ログイン画面は例えばユーザ名とパスワードを入力するためのテキストボックスを有する一般的なものであって良い。ユーザは予め登録した自分のユーザ名とパスワードを入力し、操作部１１５の実行キー等を用いてログインを実行する。
【００３７】
なお、本実施形態において、ＧＵＩの操作はユーザが操作部１１５を用いて行う。操作部１１５がリモコンのようなキーの少ない装置である場合には、例えば従来ビデオゲームなどで採用されているような、ソフトキーボードを用いた文字入力を利用することが可能である。
【００３８】
初めて受講するユーザは、例えばログイン画面中に表示される「新規ユーザ登録」ボタンを選択、実行する。
ステップＳ１２０では、新規ユーザ登録ボタンが選択、実行されたか否かを判断し、そうであればステップＳ１３０へ、通常のログイン処理が実行された場合にはステップＳ１４０へ移行する。
【００３９】
ステップＳ１３０ではユーザ登録処理を行う。ここでは、ログイン用ユーザ名及びパスワードの設定、後述するユーザモデル生成のためのパラメータ（性別、年齢、身長、体重、腕や手の長さなど）の登録、その他個人情報の登録（受講が有料である場合にはクレジット情報等の登録）を行う。登録した情報は外部記憶装置１１３に含まれるユーザデータベースに記憶する。
【００４０】
一方、ステップＳ１４０では、ログイン画面で入力されたユーザ名、パスワードを用いてユーザデータベースを参照し、ユーザの認証処理を行う。そして、認証が正常になされた場合には、ユーザデータベースから前回までに行った講習の内容などの初期情報を取得する。なお、ユーザ名とパスワードとが対応しない場合など、認証が正常終了しなかった場合には、例えばエラーメッセージを表示し、ステップＳ１１０にもどる。
【００４１】
ステップＳ１５０では、講習メニュー画面を表示する。ここで、既登録ユーザにのみ「前回の続き」ボタンを画面中に表示する等、既登録ユーザと新規登録ユーザ間で異なるメニュー画面を表示することが可能である。もちろん、ユーザ毎に個別のメニュー画面を表示するように構成しても良い。
【００４２】
本実施形態に係るシステムでは、後述するように３つの練習方法（インストラクターお手本、重ね合わせお手本、講習記録再生）が存在するため、講習メニュー画面もこれら練習方法を選択可能に構成される。もちろん、自動レッスンとして、予め定めたプログラム（例えば、初級、中級、上級コースや、◎◎ショット集中レッスン等）を選択するようにし、各プログラムの中で上述した３種類の練習を行うようにしても構わない。ここでは、説明を簡単にするため、ユーザが３種類の練習方法から自分の希望するものを選択するものとする。
【００４３】
また、講習メニュー画面には、講習の終了を指示するためのボタンが含まれており、ステップＳ１６０では終了が指示されたかどうかを判定する。終了が指示された場合には、ユーザデータベース中のユーザ情報のうち、所定の項目（例えば終了した日時に関する情報、講習を行った内容など、講習履歴に関する情報、課金情報等）を記録、更新して、処理を終了する。
【００４４】
終了指示がなされていなければ、選択された練習方法に応じた処理がステップＳ１７０〜Ｓ１９０で行われ、ユーザの指示。所定時間の経過、或いは所定のレッスン内容の終了等をトリガとしてステップＳ１５０に戻る。
【００４５】
以下、本実施形態に係るシステムで実現される３通りの練習内容及びそれを実現するための処理について説明する。
【００４６】
＜インストラクターお手本＞
この練習は、インストラクターが行う手本動作を受講者が観察しながら練習を行うものである。
図３を用いて説明する。
講習進行管理部１１０は、予め記憶された手本動作のモデルデータを用いて仮想物体であるインストラクター３０２及びゴルフボール３０３ａの画像を生成もしくは再生し、手本となる動作を示す。この動作表示時に受講者は操作部１１５を操作して、任意の方向からインストラクターの動作を観察することが可能である。
【００４７】
受講者は、インストラクターによる手本の観察と、仮想ボール３０３ｂを用いた練習とを行う。仮想インストラクター３０２の説明やアドバイスは、文字データや音声データとして外部記憶装置１１３に予め記憶されており、仮想物体画像としてＨＭＤ１０５に文字表示されたり、音声合成部１０８で音声信号に変換されてスピーカ１０７より再生される。
【００４８】
講習者が練習（試打）を行う場合には、例えば操作部１１５から指示を行う。この指示に応答して講習進行管理部１１０は、受講者の頭部位置に基づいて適切な場所（例えば受講者が移動せずにボールを打つことが可能な場所）に仮想ティー及び仮想ゴルフボールの画像を表示させる。そして、クラブに取り付けた位置姿勢センサ１０４からの信号によって位置姿勢計測部が決定したクラブの位置姿勢を元に、仮想ボールとクラブとの接触有無を検出し、接触したらその時点のヘッドスピードやフェースの向き、ボールとフェースの当たり方等に応じてボールの初速、方向を算出し、ボールの画像を順次生成、更新しながら表示する。
【００４９】
そして、スイングの軌跡やスピード、フェースの向きなどに応じて、予め記憶した文字や音声データによるアドバイスを受講者に与える。なお、ヘッドスピード及びヘッドの位置姿勢の算出は、グリップに装着した位置姿勢センサの出力と予め設定したクラブの長さから求めることも可能であるし、ヘッドに別途加速度センサ等を設け、位置姿勢計測部１０３で得た値から算出しても良い。
【００５０】
この方法で可能な練習内容に特に制限はなく、ゴルフクラブの握り方、スタンス等の基本からフェードボールやバンカーショット等の応用までゴルフに関すること全てである。グリーンやバンカーなどのゴルフ場を構成する要素が必要な場合はそれらのモデル情報を記憶しておき、仮想画像として表示するようにしても良い。
【００５１】
なお、本実施形態においては、頭部用位置姿勢センサ１０２とゴルフクラブ位置姿勢センサ１０４のデータから、位置姿勢計測部１０３で頭部とゴルフクラブの位置姿勢関係を計算し、そのデータを元に講習進行管理部１１０が受講者の利き腕を推測する。受講者の利き腕に合わせて仮想インストラクターの利き腕が決まるが、受講者の好みによって右利き、左利きを選択可能としてもよい。
【００５２】
＜重ね合わせお手本＞
次に、重ね合わせお手本について説明する。この練習方法は、受講者とインストラクターとがあたかも重なっているように表示することで、インストラクターの動きと自分の動きとの違いをより明確したり、インストラクターの動きに合わせた練習を行うことを可能にするものである。
【００５３】
講習進行管理部は１１０は、ユーザデータベースに記憶したユーザモデル生成用パラメータを用いるか、頭部用位置姿勢センサ１０２のデータとゴルフクラブ位置姿勢センサ１０４のデータから位置姿勢計測部１０３で頭部とゴルフクラブの位置姿勢関係を計算し、そのデータを元に推定した受講者の身長や足の長さ、手の長さを用いて、受講者とほぼ同じ体型を有するインストラクター（仮想分身インストラクター）を生成する。
【００５４】
そして、仮想分身インストラクターを受講者と重なり合うように表示する。従って、受講者は、自分が仮想インストラクターになったかのように仮想インストラクターの動作を認識でき、また自分の動きを仮想分身インストラクターの動きに合わせることが可能になる。そのため、通常行われるレッスンのように、インストラクターの動作を第３者視点から見て、その動作を真似する場合に比べ、より容易かつ適切にインストラクターの動きを真似することが可能になる。
【００５５】
例えば、仮想分身インストラクターが受講者の位置でスイング等を行い、受講者はその仮想分身インストラクターの動きに合わせてスイング等を行い、練習する。仮想分身インストラクターの説明は音声合成部１０８で音声信号となり、スピーカ１０７より再生される。この方法により行うことの可能な練習内容は＜インストラクターお手本＞と同様、ゴルフに関すること全てである。
【００５６】
なお、自動的に推定された受講者の身長や足の長さ、手の長さは操作部１１５を用いてユーザが調整することもできる。また、講習者のくせに応じて各関節の角度を調整することも出来る。
なお、通常は受講者の利き腕に合わせて仮想分身インストラクターの利き腕が決まるが、受講者が右利きか、左利きかを選択することも出来る。
【００５７】
＜講習記録再生＞
次に、講習記録再生について説明する。この処理は講習記録再生部１１４が行う。
上述した＜インストラクターお手本＞と＜重ね合わせお手本＞の進行は外部記憶装置１１３に記録することが出来る。
【００５８】
講習記録再生部１１４では講習の進行自体を記録すると共に受講者の動きも記録する。その方法を以下に示す。
頭部用位置姿勢センサ１０２のデータとゴルフクラブ位置姿勢センサ１０４のデータから位置姿勢計測部１０３で頭部とゴルフクラブの位置姿勢関係を計算し、そのデータを時系列に講習記録再生部１１４が収集し、外部記憶装置１１３に記録する。
【００５９】
その記録されたデータと、ユーザデータベースに記憶された受講者の身体データ（利き腕、身長、足の長さ、手の長さ、間接の角度の調整値等）とから、受講者の身体の位置、姿勢を推測し、受講者の姿を仮想インストラクターのように表示することが出来る。すなわち、頭部とゴルフクラブの位置姿勢関係データは時系列にそって記録されているので、位置姿勢関係データから受講者の姿を推定し、順次仮想物体画像を生成して表示すると、受講者のスイング等の動きを再現映像としてビデオのように再現することが出来る。この推定においては、講習の進行を参照しても良い（すなわち、記録されている受講者の動きがどのような練習を行っているものなのかを、受講者の動きの推定の助けとしても良い）。また、仮想物体として表示する受講者のテクスチャデータ（顔や服装等）は、予め設定された既存のデータを用いても良いし、例えば顔については実際に受講者の顔を撮影したデータを用いる等ができる。
【００６０】
講習記録再生において再生するデータの選択は、任意の方法で行うことが可能であるが、例えば記録済みのデータ内容を特定できる情報（例えば、”ＸＸスイング練習  ２００３−５−５”とそのファイルパス）を、記録毎に受講者のユーザデータベースに登録しておき、再生処理時に再生可能なファイルのリストを受講者に呈示し、操作部１１５からの選択指示に応じていずれかのファイルを再生するように構成することが可能である。
【００６１】
頭部位置姿勢情報とクラブ位置姿勢情報とに基づくその再現映像の再生は、これら位置姿勢情報の収集後であればいつでも可能であるため、受講者は練習した直後でも一週間後でも、外部記憶装置１１３に記録されている限りいつでも再現映像を見ることが出来る。
【００６２】
再現映像は位置姿勢関係のデータをもとにするために、任意の視点から見た映像でも再生することが可能で、また再生中に操作部１１５から指示して視点を動かすことも可能である。従って、自分のスイングを任意の角度から観察することが可能で、効率的な練習を実現することができる。
【００６３】
また、単位時間に生成する仮想物体画像の数を変化させることで再生スピードを変えることが出来るし、同じデータを再生しつづけることによって静止画表示することも出来る。
【００６４】
またデータを時系列と逆に再生するとことによって映像を逆転再生することも出来るし、再生するデータを飛び飛びにすることによってコマ送り再生も出来る。
【００６５】
＜講習記録お手本同時再生＞
上述の３通りの練習方法以外にも、他の練習方法を採用することが可能である。例えば、＜講習記録再生＞で再生するの受講者の映像と、＜重ね合わせお手本＞に登場する仮想分身インストラクターの映像を重畳させ、受講者が客観的に仮想分身インストラクターの動きと受講者自身の動きとの違いを見ることが出来る。
【００６６】
＜他の実施形態＞
上述の実施形態においては、本発明の仮想現実感提示装置を用いてゴルフ講習を行うシステムのみを説明したが、他の任意のスポーツの講習を実現することが可能である。例えば、図１におけるクラブ位置姿勢センサ１０４に代えてラケット位置姿勢センサ（センサ自体は同一のものでよく、取り付ける対象物がテニスラケットとなる）を用い、また講習内容を変更することにより、図５に概念的に示すようなテニス講習システムを実現することが可能である。
【００６７】
また、ラケット等の器具を使用しないスポーツや、スポーツ以外の講習にも本発明を適用可能であることは言うまでもない。例えば、バレエやダンスなどの講習を行う場合には、受講者の手や足に位置姿勢センサを取り付けることで、手や足の動かし方等を習得することが可能である。また、楽器の演奏の講習に対しても適用可能である。
【００６８】
また、上述の実施形態においては、受講者の位置姿勢を検出するセンサと、クラブやラケットの位置姿勢を検出するセンサのみを用いた複合現実感提示装置を用いてスポーツ講習支援システムを実現した場合を説明した。しかし、受講者の身体の位置、姿勢をより細かく検出するために、３つ以上の位置姿勢センサを用いることも可能である。具体的には、受講者の両手、両足に位置姿勢センサを取り付けても良い。
【００６９】
また、本発明の仮想現実感提示装置と同等の機能を複数の機器から構成されるシステムによって実現しても良い。
尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
【００７０】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００７１】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００７２】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００７３】
有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。
【００７４】
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
【００７５】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００７６】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００７７】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００７８】
【発明の効果】
以上説明したように、本発明によれば、複合現実感提示技術を用いて講習支援を行うことにより、練習場所や時間の制約が少ない講習を実現することが可能になる。
【図面の簡単な説明】
【図１】本発明の実施形態における複合現実感提示装置の内部の概略構成を示すブロック図である。
【図２】世界座標系を示す図である。
【図３】本発明の実施形態において実現されるスポーツ講習の実施イメージを説明する図である。
【図４】本発明の実施形態における複合現実感提示装置の全体処理を説明するフローチャートである。
【図５】本発明の別の実施形態において実現されるスポーツ講習の実施イメージを説明する図である。
【符号の説明】
１０１    ＣＰＵ
１０２    頭部用位置姿勢センサ
１０３    位置姿勢計測部
１０４    ゴルフクラブ位置姿勢センサ
１０５    ＨＭＤ
１０５ｂ  ＣＣＤ
１０５ｃ  表示部
１０６    画像生成部
１０７    スピーカ
１０８    音声合成部
１１０    講習進行管理部
１１１    ＲＯＭ
１１２    ＲＡＭ
１１３    外部記憶装置
１１４    講習記録再生部
３０１    ユーザー（受講者）
３０２    仮想インストラクター
【図１】
2005034195.tif 000003
【図２】
2005034195.tif 000004
【図３】
2005034195.tif 000005
【図４】
2005034195.tif 000006
【図５】
2005034195.tif 000007