(57)【要約】【課題】  撮像画像と教示画像とを簡易かつ適切に提示することが可能な画像生成システム等を提供すること。【解決手段】  視点を示す視点設定情報を入力する入力部１６０と、教示者の動作を示す３Ｄモーションデータ１２１、撮像対象者の動作を示す撮像データ１２３等を記憶する記憶部１２０と、視点設定情報と、３Ｄモーションデータ１２１に基づき、指定された視点から見た場合の教示者の動作を示す教示画像を生成するとともに、撮像データ１２３に基づき、撮像対象者の動作を示す撮像画像を生成する画像生成部１１１とを含んで画像生成システムを構成する。【選択図】      図３
2006318385.tif 000002
【特許請求の範囲】
【請求項１】
視点を示す視点設定情報を入力する入力部と、
教示者の動作を示す３次元モーションデータと、撮像対象者の動作を示す撮像データとを記憶する記憶部と、
前記視点設定情報と、前記３次元モーションデータとに基づき、前記視点から見た場合の前記教示者の動作を示す教示画像を生成するとともに、前記撮像データに基づき、前記撮像対象者の動作を示す撮像画像を生成する画像生成部と、
を含むことを特徴とする画像生成システム。
【請求項２】
請求項１において、
前記教示画像における前記教示者以外の部分は、透明または半透明であって、
前記画像生成部は、前記教示画像と前記撮像画像とを重ねた比較画像を生成することを特徴とする画像生成システム。
【請求項３】
請求項２において、
前記教示画像における前記教示者を構成する少なくとも１つの色と、前記撮像画像における前記動作対象者を構成する少なくとも１つの色とが一致するかどうかを判定する判定部を含み、
前記画像生成部は、前記判定部によって色が一致すると判定された場合、前記教示画像または前記撮像画像における一致した色の部分を別の色に変更して前記比較画像を生成することを特徴とする画像生成システム。
【請求項４】
請求項１において、
前記画像生成部は、前記教示画像と前記撮像画像とがそれぞれ異なる領域に配置された比較画像を生成することを特徴とする画像生成システム。
【請求項５】
請求項１〜４のいずれかにおいて、
前記記憶部は、前記３次元モーションデータのうち、前記教示画像の少なくとも１つのキーフレームとなる部分のアドレスを示すアドレスデータを記憶し、
前記入力部は、前記キーフレームを示す指定情報を入力し、
前記画像生成部は、前記指定情報と、前記アドレスデータと、前記３次元モーションデータとに基づき、前記キーフレームを基準とする部分の前記教示画像を生成することを特徴とする画像生成システム。
【請求項６】
コンピュータを、
視点を示す視点設定情報を入力する入力部と、
教示者の動作を示す３次元モーションデータと、撮像対象者の動作を示す撮像データとを記憶する記憶部と、
前記視点設定情報と、前記３次元モーションデータとに基づき、前記視点から見た場合の前記教示者の動作を示す教示画像を生成するとともに、前記撮像データに基づき、前記撮像対象者の動作を示す撮像画像を生成する画像生成部として機能させることを特徴とするプログラム。
【請求項７】
請求項６に記載のプログラムを記憶した、コンピュータ読み取り可能な情報記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、教示画像を生成する画像生成システム、プログラムおよび情報記憶媒体に関する。
【背景技術】
【０００２】
例えば、ゴルフのスイングやダンス等を行うユーザーは、教示画像における教師の動作をまねる場合、教示画像としてビデオ画像を再生していた。
【０００３】
しかし、この手法では、ユーザーは、教示画像における教師の動作と自分の動作が適合しているかどうかを判断することは困難である。
【０００４】
このような適合性を判断する場合、例えば、ユーザーが、自分の動作をビデオ等で撮像して当該撮像画像を再生することにより、教師の動作と自分の動作が適合しているかどうかを比較することが考えられる。
【０００５】
しかし、一般的に、教示画像の視点、教示画像内の教師の大きさ等と、撮像画像の視点、撮像画像内のユーザーの大きさ等とは一致しておらず、ユーザーは、適切に比較することは困難であった。
【０００６】
このような問題を解決するためには、ユーザーが、自分の動作をモーションデータ化することが考えられる。例えば、特許文献１では、自分の手足等にマーカーを取り付ける手法が記載されており、特許文献２では、複数のカメラを用いる手法が記載されている。
【特許文献１】特開平７−１８５１３１号公報
【特許文献２】特開２００１−２９３１２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１、２の手法では、ユーザーは、自分の手足等にマーカーを取り付けたり、複数のカメラを、モーションデータを適切に得るために適切な位置に配置する必要があり、多大な手間がかかる上、大きな設備も必要となり、家庭で気軽に行える作業ではなかった。
【０００８】
本発明の目的は、撮像画像と教示画像とを簡易かつ適切に提示することが可能な画像生成システム、プログラムおよび情報記憶媒体を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明に係る画像生成システムは、
視点を示す視点設定情報を入力する入力部と、
教示者の動作を示す３次元モーションデータと、撮像対象者の動作を示す撮像データとを記憶する記憶部と、
前記視点設定情報と、前記３次元モーションデータとに基づき、前記視点から見た場合の前記教示者の動作を示す教示画像を生成するとともに、前記撮像データに基づき、前記撮像対象者の動作を示す撮像画像を生成する画像生成部と、
を含むことを特徴とする。
【００１０】
また、本発明に係るプログラムは、
コンピュータを、
視点を示す視点設定情報を入力する入力部と、
教示者の動作を示す３次元モーションデータと、撮像対象者の動作を示す撮像データとを記憶する記憶部と、
前記視点設定情報と、前記３次元モーションデータとに基づき、前記視点から見た場合の前記教示者の動作を示す教示画像を生成するとともに、前記撮像データに基づき、前記撮像対象者の動作を示す撮像画像を生成する画像生成部として機能させることを特徴とする。
【００１１】
また、本発明に係る情報記憶媒体は、コンピュータ読み取り可能な情報記憶媒体であって、上記プログラムを記憶したことを特徴とする。
【００１２】
本発明によれば、画像生成システムは、教示者の動作を示す３次元モーションデータを用いることにより、ユーザーの所望の視点から見た場合の教示者の動作を示す教示画像を生成することができる。これにより、ユーザーは、自分の撮像画像の視点に合わせた視点から教示者の動作を確認することができる。
【００１３】
したがって、画像生成システムは、撮像画像と教示画像とを簡易かつ適切に提示することができる。
【００１４】
また、前記画像生成システム、前記プログラムおよび前記情報記憶媒体において、
前記教示画像における前記教示者以外の部分は、透明または半透明であって、
前記画像生成部は、前記教示画像と前記撮像画像とを重ねた比較画像を生成してもよい。
【００１５】
これによれば、画像生成システムは、教示画像と撮像画像とを重ねた比較画像を生成することにより、撮像画像と教示画像の両者の相違をわかりやすく提示することができる。
【００１６】
また、前記画像生成システムは、前記教示画像における前記教示者を構成する少なくとも１つの色と、前記撮像画像における前記動作対象者を構成する少なくとも１つの色とが一致するかどうかを判定する判定部を含み、
前記画像生成部は、前記判定部によって色が一致すると判定された場合、前記教示画像または前記撮像画像における一致した色の部分を別の色に変更して前記比較画像を生成してもよい。
【００１７】
また、前記プログラムおよび前記情報記憶媒体は、前記教示画像における前記教示者を構成する少なくとも１つの色と、前記撮像画像における前記動作対象者を構成する少なくとも１つの色とが一致するかどうかを判定する判定部としてコンピュータを機能させ、
前記画像生成部は、前記判定部によって色が一致すると判定された場合、前記教示画像または前記撮像画像における一致した色の部分を別の色に変更して前記比較画像を生成してもよい。
【００１８】
これによれば、画像生成システムは、色を変更することにより、教示画像と撮像画像とを重ねた比較画像を生成する場合に、撮像画像と教示画像の両者の相違をよりわかりやすく提示することができる。
【００１９】
また、前記画像生成システム、前記プログラムおよび前記情報記憶媒体において、
前記画像生成部は、前記教示画像と前記撮像画像とがそれぞれ異なる領域に配置された比較画像を生成してもよい。
【００２０】
これによれば、画像生成システムは、教示画像と撮像画像とをそれぞれ異なる領域に配置することにより、撮像画像と教示画像の両者の相違をわかりやすく提示することができる。
【００２１】
また、前記画像生成システム、前記プログラムおよび前記情報記憶媒体において、
前記記憶部は、前記３次元モーションデータのうち、前記教示画像の少なくとも１つのキーフレームとなる部分のアドレスを示すアドレスデータを記憶し、
前記入力部は、前記キーフレームを示す指定情報を入力し、
前記画像生成部は、前記指定情報と、前記アドレスデータと、前記３次元モーションデータとに基づき、前記キーフレームを基準とする部分の前記教示画像を生成してもよい。
【００２２】
これによれば、画像生成システムは、ユーザー等の指定に応じてキーフレームを基準とする部分の教示画像をスムーズに生成することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明を、画像生成システムとして機能する携帯電話に適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施例は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施例に示す構成のすべてが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
【００２４】
図１は、本実施例における画像生成システムが用いられるシステムの全体図である。
【００２５】
図１に示すシステムは、画像生成システムとして機能する携帯電話１０と、サーバー２０と、ネットワーク３０とを含んで構成されている。
【００２６】
携帯電話１０は、ネットワーク３０を介してサーバー２０と種々の情報を送受信する。携帯電話１０のユーザーは、携帯電話１０のディスプレイに種々の画像を表示する。本実施例では、ユーザーは、携帯電話１０のカメラを用いて自分のダンスの動作を撮像した後、携帯電話１０のディスプレイにダンスの動作を比較するための比較画像を表示する。
【００２７】
図２は、本実施例における比較画像２００の一例を示す図である。
【００２８】
比較画像２００では、上半分の領域に教示者の動作を示す教示画像２１０が表示され、下半分の領域にユーザー（撮像対象者）の動作を示す撮像画像２２０が表示される。
【００２９】
このように、携帯電話１０は、教示画像２１０と、撮像画像２２０を並べて表示することにより、ユーザーに自分の動作が教示者の動作と適合しているか簡易に確認させることができる。
【００３０】
また、本実施例における教示画像２１０は、任意の視点から教示者の動作を確認することができるように、３次元モーションデータ（以下、「３Ｄモーションデータ」という。）から生成される。これにより、ユーザーは、撮像画像２２０の視点に合わせて教示画像２１０の視点を調整することができ、図２に示すように、ほぼ同じ視点に設定された教示画像２１０と撮像画像２２０を比較しながら動作の適合性を判断することができる。
【００３１】
次に、このような機能を携帯電話１０に実装する場合の機能ブロックについて説明する。
【００３２】
図３は、本実施例における携帯電話１０の機能ブロック図である。
【００３３】
携帯電話１０は、画像生成等を行う処理部１１０と、種々のデータを記憶する記憶部１２０と、視点を示す視点設定情報等を入力する入力部１６０と、撮像部１７０と、ディスプレイ１９１と、音出力部１９２と、通信部１９６と、情報記憶媒体１８０とを含んで構成されている。
【００３４】
また、処理部１１０は、種々の画像を生成する画像生成部１１１と、種々の判定を行う判定部１１２と、撮像部１７０等を制御する制御部１１３と、データを更新する更新部１１４と、音情報を生成する音生成部１１５とを含んで構成されている。
【００３５】
また、記憶部１２０は、教示者の動作を示す３Ｄモーションデータ１２１、３Ｄモーションデータ１２１のうちの教示画像のキーフレームとなる部分のアドレスを示すアドレスデータ１２２、撮像部１７０によって生成される撮像データ１２３等を記憶している。
【００３６】
なお、３Ｄモーションデータ１２１は、光学式、磁気式、機械式等のモーションキャプチャーシステムによって教示者の動作を示す３次元化されたデータとして生成されたものである。
【００３７】
画像生成部１１１は、画像を生成し、ディスプレイ１９１は、画像生成部１１１によって生成される画像を表示する。また、音生成部１１５は、音情報を生成し、音出力部１９２は、当該音情報に基づいて効果音等を出力する。
【００３８】
なお、図３に示す各部は、例えば、処理部１１０としては、ＣＰＵ、画像処理回路等、記憶部１２０としては、ＲＡＭ、ＨＤＤ等、入力部１６０としては、ボタン等、撮像部１７０としては、ＣＭＯＳカメラ、ＣＣＤカメラ等、ディスプレイ１９１としては、一般的に用いられているＬＣＤ等、音出力部１９２としては、スピーカー等、通信部１９６としては、無線通信モジュール等を用いてコンピュータに実装できる。
【００３９】
さらに、コンピュータが、情報記憶媒体１８０やサーバー２０から通信部１９６を介してプログラムを読み取ることにより、画像生成部１１１等の機能を実装することも可能である。なお、情報記憶媒体１８０としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＩＣカード、ＲＯＭ、ＲＡＭ、メモリカード、ＨＤＤ等のレーザーや磁気等を用いた記憶媒体を適用できる。また、情報記憶媒体１８０からのプログラムの読み取り方式は、接触式でも非接触式でもよい。
【００４０】
次に、これらの各部を用いた確認処理から比較処理までの処理の流れについて説明する。なお、ユーザーは、最初に教示者の動作を確認してから教示者の動作と自分の動作が適合しているかどうかを判断する。
【００４１】
図４は、本実施例における確認処理から比較処理までの処理の流れを示すフローチャートである。
【００４２】
まず、携帯電話１０は、確認処理を実行する（ステップＳ１）。
【００４３】
図５は、本実施例における確認処理のフローチャートである。
【００４４】
判定部１１２は、入力部１６０からの操作情報に基づき、教示画像２１０の表示指示があるかどうかを判定する（ステップＳ１１）。
【００４５】
表示指示があった場合、判定部１１２は、入力部１６０からの操作情報に視点設定情報が含まれるかどうか、すなわち、視点変更指示があるかどうかを判定する（ステップＳ１２）。
【００４６】
視点変更指示があった場合、画像生成部１１１は、視点設定情報に基づき、視点（視点位置および視線方向）を変更し（ステップＳ１３）、３Ｄモーションデータ１２１に基づき、当該視点から見た場合の教示画像２１０を生成する（ステップＳ１４）。
【００４７】
一方、視点変更指示がなかった場合、画像生成部１１１は、３Ｄモーションデータ１２１に基づき、既定の視点から見た場合の教示画像２１０を生成する（ステップＳ１４）。
【００４８】
そして、ディスプレイ１９１は、教示画像２１０を表示する（ステップＳ１５）。
【００４９】
以上の手順により、教示画像２１０が表示され、ユーザーは、教示者の動作を確認することができる。
【００５０】
ユーザーは、教示者の動作を確認した後、撮像部１７０を用いて自分の動作を撮像する。より具体的には、入力部１６０によって撮像指示の操作情報が入力された場合、制御部１１３は、撮像部１７０を制御して撮像させる。
【００５１】
そして、判定部１１２は、撮像部１７０から撮像データ１２３の入力があるかどうかを判定する（ステップＳ２）。
【００５２】
撮像データ１２３の入力があった場合、更新部１１４は、撮像データ１２３を記憶部１２０に記憶する。
【００５３】
そして、携帯電話１０は、教示者の動作とユーザーの動作を比較するための比較処理を実行する（ステップＳ４）。
【００５４】
図６は、本実施例における比較処理のフローチャートである。
【００５５】
判定部１１２は、入力部１６０からの操作情報に基づき、比較画像２００の表示指示があるかどうかを判定する（ステップＳ２１）。
【００５６】
表示指示があった場合、判定部１１２は、入力部１６０からの操作情報に視点設定情報が含まれるかどうか、すなわち、視点変更指示があるかどうかを判定する（ステップＳ２２）。
【００５７】
視点変更指示があった場合、画像生成部１１１は、視点設定情報に基づき、視点を変更し（ステップＳ２３）、３Ｄモーションデータ１２１に基づき、撮像画像２２０と当該視点から見た場合の教示画像２１０を含む比較画像２００を生成する（ステップＳ１４）。
【００５８】
一方、視点変更指示がなかった場合、画像生成部１１１は、３Ｄモーションデータ１２１に基づき、撮像画像２２０と既定の視点から見た場合の教示画像２１０を含む比較画像２００を生成する（ステップＳ２４）。
【００５９】
そして、ディスプレイ１９１は、比較画像２００を表示する（ステップＳ２５）。
【００６０】
以上の手順により、比較画像２００が表示され、ユーザーは、教示者の動作と、自分の動作を比較しながら確認することができる。
【００６１】
以上のように、本実施例によれば、画像生成システムは、ユーザーの所望の視点から見た場合の教示者の動作を示す教示画像２１０を生成することができる。これにより、ユーザーは、自分の撮像画像２２０の視点に合わせた視点、あるいは、自分の所望の視点から教示者の動作を確認することができる。
【００６２】
これにより、ユーザーは、従来のビデオ画像等の教示画像では隠れてしまっていた部分も確認することができる。
【００６３】
また、本実施例によれば、画像生成システムは、教示画像２１０と撮像画像２２０とがそれぞれ異なる領域に配置された比較画像２００を生成することにより、ユーザーは、両者の相違を把握しやすく、自分の動作が適切かどうかを容易に判別できる。
【００６４】
さらに、本実施例によれば、ユーザーは、携帯電話１０に内蔵されているカメラで撮像することによって撮像画像２２０を簡易に生成することができる。
【００６５】
したがって、画像生成システムは、撮像画像２２０と教示画像２１０とを簡易かつ適切に提示することができる。
【００６６】
（変形例）
なお、本発明の適用は上述した実施例に限定されず、種々の変形が可能である。
【００６７】
例えば、上述した実施例では、携帯電話１０は、教示画像２１０と撮像画像２２０を上下に並べて表示したが、左右に並べて表示したり、重ねて表示したり、教示画像２１０と撮像画像２２０を交互に表示したりしてもよい。
【００６８】
図７は、本実施例における比較画像２０２の他の一例を示す図である。
【００６９】
比較画像２０２では、教示画像２１０における教示者の背景部分が透明（半透明でもよい。）になっている。画像生成部１１１は、撮像画像２２０に教示画像２１０を重ねて比較画像２０２を生成する。
【００７０】
これにより、図７に示すように、教示者とユーザーが重なった状態の比較画像２０２が表示されるため、ユーザーは、動作の相違を判別しやすい。
【００７１】
また、この場合、判定部１１２が、教示画像２１０における教示者を構成する少なくとも１つの色と、撮像画像２２０におけるユーザーを構成する少なくとも１つの色とが一致するかどうかを判定してもよい。
【００７２】
そして、画像生成部１１１は、判定部１１２によって色が一致すると判定された場合、教示画像２１０または撮像画像２２０における一致した色の部分を別の色に変更して比較画像２０２を生成してもよい。
【００７３】
これによれば、画像生成システムは、色を変更することにより、教示画像２１０と撮像画像２２０とを重ねた比較画像２０２を生成する場合に、撮像画像２２０と教示画像２１０の両者の相違をよりわかりやすく提示することができる。
【００７４】
また、画像生成部１１１は、入力部１６０からのユーザーの操作情報に基づき、図７に示すように、比較画像２０２における教示者の位置をユーザーの位置とずらして比較画像２０２を生成してもよい。
【００７５】
また、入力部１６０は、キーフレームを示す指定情報を入力してもよい。そして、画像生成部１１１は、指定情報と、アドレスデータ１２２と、３Ｄモーションデータ１２１に基づき、キーフレームを基準とする部分（例えば、キーフレームの前後数フレーム、キーフレーム以後の数フレーム、キーフレーム以前の数フレーム等）の教示画像２１０を生成してもよい。
【００７６】
これによれば、画像生成システムは、ユーザーの指定に応じてキーフレームを基準とする部分の教示画像２１０をスムーズに生成することができる。
【００７７】
より具体的には、例えば、ゴルフのスイング動作の場合、携帯電話１０は、アドレス、トップ、インパクト、フィニッシュのそれぞれをキーフレームとして設定し、ユーザーがトップを指定した場合、トップ状態の前後数フレームの教示画像２１０を表示してもよい。
【００７８】
また、携帯電話１０は、３Ｄモーションデータ１２１を用いることにより、教示者の部位（右腕、左足、頭等）ごとに教示画像２１０を生成したり、拡大または縮小して教示画像２１０を生成したり、教示画像２１０の再生速度を調整したり、教示画像２１０の再生開始位置を調整したりしてもよい。
【００７９】
また、教示画像２１０における教示者の画像は、教示者の撮像画像であってもよいし、キャラクターの画像であってもよい。
【００８０】
また、ユーザーの撮像データ１２３は、１種類だけでなく、複数種類であってもよい。例えば、画像生成部１１１は、ユーザーの指定された撮像データに基づく撮像画像と、最新の撮像データに基づく撮像画像を並べた比較画像を生成してもよい。これによれば、ユーザーは、自分の過去の動作と現在の動作を比較することができる。
【００８１】
また、携帯電話１０は、撮像データ１２３に基づく撮像画像２２０を、いわゆる待ち受け画像として用いてもよい。
【００８２】
また、通信部１９６は、撮像データ１２３を他の携帯電話等に送信してもよい。そして、撮像データ１２３が送信された携帯電話等が撮像画像を表示してもよい。
【００８３】
また、サーバー２０が、３Ｄモーションデータ１２１を携帯電話１０に配信してもよい。これによれば、３Ｄモーションデータ１２１が更新されるため、教示画像２１０も更新されることにより、長期的にユーザーに本システムを使用させることができる。
【００８４】
また、３Ｄモーションデータ１２１をワイヤーフレームで構成してもよい。この場合、画像生成部１１１は、当該ワイヤーフレームにテクスチャーデータに基づくテクスチャーを貼り付けて教示画像２１０を生成してもよい。
【００８５】
また、画像生成システムは、携帯電話１０だけでなく、家庭用ゲーム装置、業務用ゲーム装置、携帯型ゲーム装置、ＰＣ、ＰＤＡ等の種々の装置に実装可能である。
【００８６】
例えば、画像生成システムを携帯型ゲーム装置に実装する場合、携帯型ゲーム装置は、デジタルビデオカメラ等で撮像されたユーザーの撮像データ１２３を入力することにより、上述した携帯電話１０と同様の作用効果を奏することができる。
【００８７】
また、本発明の適用対象は、上述したダンスに限定されず、例えば、ゴルフ、野球等のスポーツ、バレエ、演劇、フィットネス、楽器演奏等にも本発明を適用可能である。
【図面の簡単な説明】
【００８８】
【図１】本実施例における画像生成システムが用いられるシステムの全体図である。
【図２】本実施例における比較画像の一例を示す図である。
【図３】本実施例における携帯電話の機能ブロック図である。
【図４】本実施例における確認処理から比較処理までの処理の流れを示すフローチャートである。
【図５】本実施例における確認処理のフローチャートである。
【図６】本実施例における比較処理のフローチャートである。
【図７】本実施例における比較画像の他の一例を示す図である。
【符号の説明】
【００８９】
１０  携帯電話（画像生成システム）
２０  サーバー
１１１  画像生成部
１１２  判定部
１２０  記憶部
１２１  ３Ｄモーションデータ
１２２  アドレスデータ
１２３  撮像データ
１６０  入力部
１７０  撮像部
１８０  情報記憶媒体
１９６  通信部
２００、２０２  確認画像
２１０  教示画像
２２０  撮像画像
【図１】
2006318385.tif 000003
【図２】
2006318385.tif 000004
【図３】
2006318385.tif 000005
【図４】
2006318385.tif 000006
【図５】
2006318385.tif 000007
【図６】
2006318385.tif 000008
【図７】
2006318385.tif 000009