(57)【要約】【課題】運動中の人物を比較的簡単な処理により常に適切な状態で撮像可能とする。【解決手段】利用者端末ＵＴ１〜ＵＴｎにおいて、運動開始前に利用者が運動を行う部屋全体をカメラ１８により撮像してその映像データを背景画像データとして背景画像記憶部１４１に保存し、運動開始直後にカメラ１８により撮像された映像データと上記背景画像データとの差分映像を求めて、この差分映像をもとに利用者の存在位置を表す人物領域を抽出する。そして、この抽出された人物領域を撮像範囲とするべく、カメラＩ／Ｆ１５を介してカメラ１８の倍率さらには姿勢（パン及びチルト）を制御し、これにより運動中の利用者をズームアップした映像データをカメラ１８により撮像して表示デバイス２０に表示するようにしたものである。【選択図】      図２
2007288682.tif 000002
【特許請求の範囲】
【請求項１】
運動する人物をカメラにより撮像し、撮像された映像データをディスプレイに表示する運動支援システムの撮像制御方法において、
前記人物が運動を開始する前の背景画像を前記カメラにより撮像し、この撮像された背景画像データを保存する過程と、
前記人物が運動を開始する際に、当該人物を含む前記背景画像を前記カメラにより撮像して映像データを得る過程と、
前記得られた映像データと前記保存された背景画像データとの差分を求め、この差分をもとに前記背景画像中における前記人物の存在領域を抽出する過程と、
前記抽出された人物の存在領域を限定して前記カメラに撮像させるべく、前記カメラの倍率及び撮像姿勢を含む複数のパラメータを選択的に可変制御する過程と
を具備することを特徴とする撮像制御方法。
【請求項２】
前記人物の存在領域を前記カメラにより一定の時間間隔で撮像し、この撮像された映像データ間の時間差分を検出する過程と、
前記検出された時間差分をもとに、前記人物の存在領域の移動を検出する過程と、
前記人物の存在領域の移動の検出結果に基づいて、当該人物の存在領域の移動にカメラの撮像範囲を追従させるべく前記カメラの複数のパラメータを選択的に可変制御する過程と
を、さらに具備することを特徴とする請求項１記載の撮像制御方法。
【請求項３】
前記人物の運動を指導するための指導映像データを、データ管理装置から通信ネットワークを介して受信して前記ディスプレイに表示する過程と、
前記指導映像データ中に出現する運動姿勢の可動範囲を表すメタデータを、前記データ管理装置から通信ネットワークを介して受信して保存する過程と、
前記保存されたメタデータをもとに、前記運動中の人物の存在領域の移動を予測する過程と、
前記人物の存在領域の移動の検出結果と、前記人物の存在領域の移動の予測結果とに基づいて、当該人物の存在領域の移動にカメラの撮像範囲を追従させるべく前記カメラの複数のパラメータを選択的に可変制御する過程と
を、さらに具備することを特徴とする請求項２記載の撮像制御方法。
【請求項４】
運動する人物をカメラに撮像させ、撮像された映像データをディスプレイに表示させる撮像制御装置において、
前記カメラの倍率及び撮像姿勢を含む複数のパラメータを可変するカメラパラメータ可変手段と、
前記人物が運動を開始する前の背景画像を前記カメラに撮像させ、撮像された背景画像データを保存する手段と、
前記人物が運動を開始する際に、当該人物を含む前記背景画像を前記カメラに撮像させ、撮像された映像データを得る手段と、
前記得られた映像データと前記保存された背景画像データとの差分を求め、この差分をもとに前記背景画像中における前記人物の存在領域を抽出する手段と、
前記抽出された人物の存在領域を限定して前記カメラに撮像させるべく、前記カメラパラメータ可変手段を制御する第１の制御手段と
を具備することを特徴とする撮像制御装置。
【請求項５】
前記人物の存在領域を前記カメラに一定の時間間隔で撮像させ、撮像された映像データ間の時間差分を検出する手段と、
前記検出された時間差分をもとに、前記人物の存在領域の移動を検出する手段と、
前記人物の存在領域の移動の検出結果に基づいて、当該人物の存在領域の移動にカメラの撮像範囲を追従させるべく前記カメラパラメータ可変手段を制御する第２の制御手段と
を、さらに具備することを特徴とする請求項４記載の撮像制御装置。
【請求項６】
前記人物の運動を指導するための指導映像データを通信ネットワークを介して配信して前記ディスプレイに表示させる手段と、前記指導映像データ中に出現する運動姿勢の可動範囲を表すメタデータを記憶する手段とを備えるデータ管理装置に対し通信ネットワークを介して接続可能な場合に、
前記データ管理装置から通信ネットワークを介してメタデータを取得し、取得したメタデータを保存する手段と、
前記保存されたメタデータをもとに、前記運動中の人物の存在領域の移動を予測する手段と
をさらに具備し、
前記第２の制御手段は、前記人物の存在領域の移動の検出結果と、前記人物の存在領域の移動の予測結果とに基づいて、当該人物の存在領域の移動にカメラの撮像範囲を追従させるべく前記カメラパラメータ可変手段を制御することを特徴とする請求項５記載の撮像制御装置。
【請求項７】
運動する人物をカメラに撮像させて、撮像された映像データをディスプレイに表示させる処理を、コンピュータにより制御する撮像制御装置に使用されるプログラムであって、
前記人物が運動を開始する前の背景画像を前記カメラに撮像させ、撮像された背景画像データを保存する処理と、
前記人物が運動を開始する際に、当該人物を含む前記背景画像を前記カメラに撮像させて映像データを得る処理と、
前記得られた映像データと前記保存された背景画像データとの差分を求め、この差分をもとに前記背景画像中における前記人物の存在領域を抽出する処理と、
前記抽出された人物の存在領域を限定して前記カメラに撮像させるべく、前記カメラの倍率及び撮像姿勢を含む複数のパラメータを選択的に可変制御する処理と
を、前記コンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば高齢者が自宅において行う運動をパーソナル・コンピュータと通信ネットワークを利用して支援する運動支援システムにおいて、上記運動中の高齢者等を撮像するために使用される撮像制御方法及び撮像制御装置とそのプログラムに関する。
【背景技術】
【０００２】
高齢者の転倒事故は、主に加齢による筋力の低下など身体機能の衰えが原因で起こる。転倒事故による骨折は様々な障害を招き、そのまま寝たきりにつながるおそれもある。転倒事故を未然に防ぎ、骨折や寝たきりになることを予防するには、衰えていく身体機能を筋力アップによって改善することが重要であり、そのために対象者に筋力アップ体操等を行わせるための種々システムが提案されている。
【０００３】
例えば、サーバ装置から高齢者宅に設置されたパーソナル・コンピュータに、通信ネットワークを介して指導用の映像データが配信されディスプレイに表示される。高齢者は、上記表示された指導用の映像データを見ながら運動を行う。この運動中の高齢者の状況は上記パーソナル・コンピュータに付属するカメラにより撮像され、その映像データは上記ディスプレイに表示される。またそれと共に、パーソナル・コンピュータから通信ネットワークを介して上記サーバ装置に伝送され記憶される。この記憶された映像データは、サーバ装置から指導者が使用するパーソナル・コンピュータにダウンロードされてディスプレイに表示される。このため、保健師などの指導者は、自身のパーソナル・コンピュータにより高齢者の運動の状態を確認することが可能となる。
【０００４】
ところが、このような従来のシステムでは、一般に運動中の高齢者の移動を考慮して撮像対象の高齢者を含む比較的広範囲をカメラで撮像するようにしている。このため、高齢者の映像が比較的小さくなり、高齢者自身及び指導者にとっては視認しにくくなる。一方、運動中の高齢者のみを撮像するようにカメラの撮像範囲を調整すると、次のような別の問題が発生する。すなわち、介護予防を目的とした運動の中には、立った状態で行うものばかりでなく座った状態で行うものもある。このような場合、高齢者が立った状態にカメラの撮像範囲を調整しておくと、高齢者が座った場合にその状況がカメラの撮像範囲から外れ、この結果運動中の高齢者の状況が撮像されなくなる。
【０００５】
一方、検出領域に進入した人間などの複数の物体の移動を、カメラを用いて検出する運動物体検出装置が知られている。この装置は、例えばテレビジョンカメラにより撮像された映像データから変化領域を検出し、この検出された変化領域を２個の追跡装置により追跡してこれらの追跡装置間の仮想的な結合強度を求める。そして、この結合強度が所定値以上となる追跡要素の集合を運動物体の候補として分離抽出し、これらの抽出結果をもとに運動物体候補の移動経路を表す情報を生成するものである。
【０００６】
【特許文献１】特開平５−４６７７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところが、仮にこのような検出装置を運動支援システムに適用したとすると以下のような問題点が発生する。すなわち、上記従来の検出装置では運動物体候補の移動経路を検出するために、２個の追跡装置とこれらの追跡装置間の仮想的な結合強度を求める演算処理等が必要となる。このため映像データのデータ処理量が多く、高齢者の予期しない動きに追跡が間に合わなくなることがある。また、データ処理速度を高速化して対応しようとすると、追跡装置を２個必要とすることと相俟って、システムが大掛かりで高価になる。
【０００８】
この発明は上記事情に着目してなされたもので、その目的とするところは、運動中の人物を比較的簡単な処理により常に適切な状態で撮像できるようにした、運動支援システムで使用される撮像制御方法、撮像制御装置及びそのプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するためにこの発明の一つの観点は、運動する人物をカメラにより撮像し、撮像された映像データをディスプレイに表示する運動支援システムの撮像制御方法において、先ず上記人物が運動を開始する前の背景画像を上記カメラにより撮像して、この撮像された背景画像データを保存しておく。次に、上記人物が運動を開始する際に当該人物を含む上記背景画像を上記カメラにより撮像して、この撮像により得られた映像データと上記保存された背景画像データとの差分を求め、この差分をもとに上記背景画像中における上記人物の存在領域を抽出する。そして、上記抽出された人物の存在領域を限定して上記カメラに撮像させるべく、上記カメラの倍率及び撮像姿勢を含む複数のパラメータを選択的に可変制御するようにしたものである。
【００１０】
したがって、背景画像中における人物の存在領域が背景差分法を用いた比較的簡単な処理により抽出され、その抽出結果をもとにカメラのパラメータが可変制御されて人物が適切な大きさで撮像される。すなわち、人物が背景画像中のどこにいてもその存在領域が自動的に抽出されてズームアップ撮像される。このため、運動者自身御及び指導者は、運動中の人の状態を常に最適な大きさで視認することが可能となる。
【００１１】
また、この発明は以下のような各種過程又は手段をさらに備えることも特徴とする。  
その一つは、人物の存在領域をカメラにより一定の時間間隔で撮像して、この撮像された映像データ間の時間差分を検出し、この検出された時間差分をもとに上記人物の存在領域の移動を検出する。そして、上記人物の存在領域の移動の検出結果に基づいて、当該人物の存在領域の移動にカメラの撮像範囲を追従させるべく上記カメラの複数のパラメータを選択的に可変制御するものである。  
このようにすると、運動中の人物の存在位置の時間変化が比較的簡単な処理により検出され、その検出結果をもとにカメラの撮像姿勢が追従変化する。すなわち、運動中の人物の位置の時間的な移動に応じて、カメラの撮像方向が自動的に追従する。このため、運動中に人物の位置が移動した場合でも、それに追従して人物を常に適切な大きさでかつ確実に撮像することが可能となる。
【００１２】
他の一つは、人物の運動を指導するための指導映像データをデータ管理装置から通信ネットワークを介して受信してディスプレイに表示すると共に、上記指導映像データ中に出現する運動姿勢の可動範囲を表すメタデータを上記データ管理装置から通信ネットワークを介して受信して保存する。そして、上記保存されたメタデータをもとに運動中の人物の存在領域の移動を予測し、この予測結果と、上記人物の存在領域の移動の検出結果とに基づいて、当該人物の存在領域の移動にカメラの撮像範囲を追従させるべくカメラの複数のパラメータを選択的に可変制御するものである。  
このようにすると、指導映像データにより表される運動姿勢の変化を表すメタデータをもとに、当該指導映像データに応じて運動している人物の存在領域の移動が予測され、その予測結果によりカメラの撮像範囲の追従制御が補助される。このため、運動中の人物の存在領域の移動を検出する際の精度を緩和して、装置の処理負担を軽減することが可能となる。
【発明の効果】
【００１３】
要するにこの発明によれば、運動中の人物を比較的簡単な処理により常に適切な状態で撮像することを可能にした運動支援システムで使用される撮像制御方法、撮像制御装置及びそのプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照してこの発明に係わる実施形態を説明する。  
図１は、この発明に係わる運動支援システムの一実施形態を示す概略構成図である。  
この実施形態の運動支援システムは、高齢者等の運動支援サービスを受ける利用者の自宅等にそれぞれ利用者端末ＵＴ１，ＵＴ２，…ＵＴｎを設置し、これらの利用者端末ＵＴ１，ＵＴ２，…ＵＴｎを、保健センタ、スポーツクラブ又はフィットネスクラブ等に設置される運動支援サーバ装置ＳＶに対し通信ネットワークＮＷを介して接続可能としている。またそれと共に、保健師などの指導者が使用する指導者端末ＭＴを、例えばＬＡＮ（Local Area Network）を介して上記運動支援サーバ装置ＳＶに接続可能としている。
【００１５】
通信ネットワークＮＷは、例えばインターネットに代表されるＩＰ（Internet Protocol）網と、このＩＰ網にアクセスするための複数のアクセス網とから構成される。アクセス網としては、例えばＤＳＬ（Digital Subscriber Line）や光伝送路を使用する有線加入者網、ＣＡＴＶ（Cable Television）網、無線ＬＡＮ（Local Area Network）網、移動通信網、専用線網が用いられる。
【００１６】
運動支援サーバ装置ＳＶはＷｅｂサーバにより構成されるもので、主たる機能として、指導映像データ配信機能と、指導映像データ管理機能と、利用者映像管理機能とを備えている。これらの機能はいずれも、アプリケーション・プログラムを中央処理ユニット（ＣＰＵ：Central Processing Unit）に実行させることにより実現される。
【００１７】
指導映像データ配信機能は、指導者端末ＭＴにおいて生成され送信された指導用の映像データ（以後指導映像データと称する）を受信して記憶部に記憶する。そして、運動を行う利用者の端末ＵＴ１〜ＵＴｎへ、当該利用者に適した指導映像データを上記記憶部から読み出して配信する。
【００１８】
指導映像データ管理機能は、上記指導映像データ中に出現する運動姿勢の可動範囲を表すメタデータを記憶部に記憶している。そして、運動を行う利用者の端末ＵＴ１〜ＵＴｎへ上記指導映像データを配信する際に、当該指導映像データに対応するメタデータを上記記憶部から読み出して配信する。
【００１９】
利用者映像管理機能は、各利用者端末ＵＴ１〜ＵＴｎから送信される利用者の映像データをそれぞれ受信し、この受信された利用者の映像データを利用者の識別情報に対応付けて記憶部に蓄積する。また、指導者端末ＭＴからの利用者映像データの閲覧要求に応じて、該当する利用者映像データを上記記憶部から読み出して指導者端末ＭＴへダウンロードする。
【００２０】
一方、利用者端末ＵＴ１〜ＵＴｎは例えばパーソナル・コンピュータからなり、次のような機能を備えている。図２はその構成を示すブロック図である。  
すなわち、利用者端末ＵＴ１〜ＵＴｎは、中央処理ユニット（ＣＰＵ：Central Processing Unit）４１を備える。このＣＰＵ１１には、バス１２を介してプログラムメモリ１３及びデータメモリ１４が接続され、さらに、カメラインタフェース（カメラＩ／Ｆ）１５、通信インタフェース（通信Ｉ／Ｆ）１５、入出力インタフェース（入出力Ｉ／Ｆ）１７がそれぞれ接続されている。
【００２１】
カメラＩ／Ｆ１５にはカメラ１８が接続される。カメラＩ／Ｆ１５は、ＣＰＵ１１の制御の下で、利用者の運動期間中にカメラ１８が撮像した利用者の映像データを取り込む。また、カメラＩ／Ｆ１５は駆動機構を備え、ＣＰＵ１１の制御に従いカメラ１８の撮像条件を決定する複数のカメラパラメータを可変制御する。カメラパラメータは、撮像倍率（ズーム）と撮像姿勢とを含み、このうち撮像姿勢はパン、チルト及び高さにより表される。
【００２２】
通信Ｉ／Ｆ１６は、ＣＰＵ１１の制御の下で、運動支援サーバ装置ＳＶとの間で通信ネットワークＮＷにより規定される通信プロトコルに従って双方向の通信を行う。通信プロトコルとしては、例えばＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）が使用される。
【００２３】
入出力Ｉ／Ｆ１７にはキーボードやマウスなどの入力デバイス１９と、液晶ディスプレイからなる表示デバイス２０が接続される。入出力Ｉ／Ｆ１７は、上記入力デバイス１９により入力されてコマンドや入力データを取り込んでＣＰＵ１１へ転送する。またそれと共に、ＣＰＵ１１の制御の下、上記カメラ１８により撮像された利用者自身の運映像データと、上記通信Ｉ／Ｆ１６により受信された指導映像データを、並べて表示デバイス２０に表示する。さらに、同一時間帯に同一の運動を行っている他の利用者が存在する場合には、当該他の利用者端末ＵＴ２〜ＵＴｎから送信された運映像データも、上記表示デバイス２０に並べて一覧表示する。
【００２４】
データメモリ１４は、例えばハードディスクやフラッシュメモリ等を記憶媒体として使用したもので、背景画像記憶部１４１と、メタデータ記憶部１４２とを備えている。背景画像記憶部１４１には、利用者が運動を開始する前にカメラ１８により撮像された背景画像データが格納される。メタデータ記憶部１４２には、運動支援サーバ装置ＳＶから送られた指導映像データのメタデータが格納される。なお、データメモリ１４には、会員登録時に利用者自身が入力した個人データや、カメラ１８により撮像された利用者自身の運映像データも記憶される。
【００２５】
プログラムメモリ１３には、この発明を実施するためのアプリケーション・プログラムとして、映像データ送受信制御プログラムに加え、背景画像取得制御プログラム１３１と、メタデータ取得制御プログラム１３２と、人物領域特定制御プログラム１３３と、人物領域追従制御プログラム１３４が新たに格納されている。
【００２６】
上記各アプリケーション・プログラム１３１〜１３４は、会員登録後に運動支援サーバ装置ＳＶからダウンロードされてインストールされる。なお、上記各アプリケーション・プログラムをＣＤ−ＲＯＭやメモリカード等の外部記録媒体から読み込んでセットアップすることも勿論可能である。
【００２７】
映像データ送受信制御プログラムは、利用者が運動を行う際に、運動支援サーバ装置ＳＶから指導映像データを受信して表示デバイスに表示させ、かつカメラ１８により撮像された利用者の映像データを上記表示デバイスに表示させると共に運動支援サーバ装置ＳＶへ送信する制御を、上記ＣＰＵ１１に実行させる。また、同一時間帯に同一の運動を行っている他の利用者端末ＵＴ２〜ＵＴｎから送られる運映像データを受信して、上記表示デバイス２０に並べて一覧表示させる制御を、上記ＣＰＵ１１に実行させる。
【００２８】
背景画像取得制御プログラム１３１は、利用者が運動を開始する前に、カメラＩ／Ｆ１５を介してカメラ１８の撮像倍率及び姿勢を制御することにより、カメラ１８の撮像範囲を利用者が運動を行う部屋全体となるように設定する。そしてこの状態で、上記利用者が運動を行う部屋全体を上記カメラ１８により撮像させ、その映像データを背景画像データとして取り込んで上記データメモリ１４の背景画像記憶部１４１に記憶させる制御を、上記ＣＰＵ１１に実行させる。
【００２９】
メタデータ取得制御プログラム１３２は、利用者が運動を開始する前に、運動支援サーバ装置ＳＶから運動に使用する指導映像データに対応するメタデータをダウンロードし、このダウンロードされたメタデータを上記データメモリ１４のメタデータ記憶部１４２に記憶させる制御を、上記ＣＰＵ１１に実行させる。
【００３０】
人物領域特定制御プログラム１３３は、以下の制御を上記ＣＰＵ１１に実行させる。すなわち、先ず運動開始直後にカメラ１８により撮像された映像データから、上記背景画像記憶部１４１に記憶された背景画像データを、対応する画素ごとに引き算することにより映像データの各部位の差分値を算出する。そして、この差分値が一定値より大きい領域を人物が存在する領域、つまり人物領域として抽出する。次に、この抽出された人物領域を撮像範囲とするべく、カメラＩ／Ｆ１５を介してカメラ１８の撮像姿勢及び倍率を制御し、人物領域をズームアップした映像データが得られるようにする。
【００３１】
人物領域追従制御プログラム１３４は、以下の制御を上記ＣＰＵ１１に実行させる。すなわち、利用者の運動中に、先ず表示デバイス２０に表示される指導映像データの運動姿勢に対応するメタデータを上記メタデータ記憶部１４２から読み出し、このメタデータをもとに運動中の人物の動きを予測する。そして、この予測された動きにカメラ１８の撮像範囲が追従するように、カメラＩ／Ｆ１５を介してカメラ１８の撮像姿勢、つまりパン及びチルトを大まかに制御する。次に、カメラ１８により撮像される上記人物領域の映像データの時間差分を算出して、この時間差分の算出結果をもとに上記人物領域の重心の実際の移動方向及び移動量を算出する。そして、この算出された人物領域の重心の移動方向及び移動量をもとに、上記カメラ１８の撮像範囲の微調整を行うべく、カメラＩ／Ｆ１５を介してカメラ１８の撮像姿勢、つまりパン及びチルトを制御する。
【００３２】
上記各アプリケーション・プログラム１３１〜１３４は、会員登録後に運動支援サーバ装置ＳＶからダウンロードされてインストールされる。なお、上記各アプリケーション・プログラムをＣＤ−ＲＯＭやメモリカード等の外部記録媒体から読み込んでセットアップすることも勿論可能である。
【００３３】
次に、以上のように構成された運動支援システムの動作を、利用者端末ＵＴ１の動作を中心に説明する。  
このシステムの運動支援サービスを利用する場合、利用者は先ず会員登録を行う。この会員登録処理は、利用者端末ＵＴ１から運動支援サーバ装置ＳＶに対しアクセスし、この運動支援サーバ装置ＳＶからダウンロードされる会員登録画面において会員登録のための入力操作を行うことによりなされる。入力される情報には、利用者の氏名と属性情報、運動能力に関する情報、及び運動の目的を表す情報が含まれる。
【００３４】
これに対し運動支援サーバ装置ＳＶは、上記利用者端末ＵＴ１から会員登録のための入力情報を受信すると、登録要求元の利用者に対して利用者ＩＤとパスワードを発行し、この発行した利用者ＩＤとパスワードを利用者端末ＵＴ１へ送信する。そして、上記受信された入力情報を個人データとして記憶する。利用者端末ＵＴ１は、上記運動支援サーバ装置ＳＶから送られた利用者ＩＤとパスワードを通信Ｉ／Ｆ１６を介して受信し、上記入力した個人データと共にデータメモリ１４内の個人データ記憶部（図示せず）に格納する。
【００３５】
また、上記利用者ＩＤとパスワードの送信によって個人データの登録受け付けが完了すると、運動支援サーバ装置ＳＶは続いて利用者がこのシステムが提供する運動支援サービスを利用するために必要なアプリケーション・プログラムを上記利用者端末ＵＴ１へダウンロードする。ダウンロードされるアプリケーション・プログラムには、映像送受信制御プログラムと、背景画像取得制御プログラム１３１と、メタデータ取得制御プログラム１３２と、人物領域特定制御プログラム１３３と、人物領域追従制御プログラム１３４とがある。これに対し利用者端末ＵＴ１は、上記運動支援サーバ装置ＳＶからダウンロードされた各アプリケーション・プログラムを受信し、この受信された各アプリケーション・プログラムをプログラムメモリ１３に格納する。
【００３６】
さて、そうして利用者の会員登録に係わる一連の処理が終了すると、運動支援サーバ装置ＳＶは、個人データ記憶エリアに記憶された利用者の個人データを分析し、先ず利用者に適した運動メニューを選択する。運動メニューとしては、例えば介護予防のための転倒予防体操（転倒リスクの高い高齢者向けの筋力アップ体操）、生活習慣病予防やダイエットのための健康体操（脂肪燃焼体操）、ジャズダンスやヨガ、太極拳、フラダンス、エアロビクス等があげられる。
【００３７】
次に運動支援サーバ装置ＳＶは、上記選択された運動メニューを実行するためのスケジュールを作成する。例えば、運動メニューが転倒予防体操（筋力アップ体操）の場合、運動スケジュールは複数種類の準備運動と、複数種類の筋力アップ運動と、複数種類の整理運動とを時系列的に組み合わることにより構成される。準備運動としては、指の曲げ伸ばしや肘の上げ下げ、腰の曲げ伸ばし等があり、また筋力アップ運動としては爪先と踵の上げ下げや膝合わせなどがある。整理運動には呼吸運動などが含まれる。上記スケジュールには、利用者ＩＤ、担当指導者のＩＤ、上記運動の種類とその内容を表す情報、及び運動開始時刻が含まれる。  
上記作成されたスケジュールデータは、運動支援サーバ装置ＳＶの個人データ記憶エリアに保存されると共に、運動支援サーバ装置ＳＶから利用者端末ＵＴ１及び指導者端末ＭＴへ通知される。
【００３８】
上記スケジュールデータが通知されると、以後利用者端末ＵＴ１では次のように運動支援制御が行われる。  
（１）人物領域特定処理  
上記スケジュールにより決められた運動準備時刻（例えば運動開始の５分前）になると、利用者端末ＵＴ１のＣＰＵ１１は、先ずカメラ１８の撮像範囲を初期設定するための人物領域特定処理を以下のように実行する。図３はその制御手順と制御内容を示すフローチャートである。
【００３９】
すなわち、利用者端末ＵＴ１のＣＰＵ１１は、図３に示すように先ずステップＳ３１において背景画像の生成処理を実行する。例えば、カメラＩ／Ｆ１５を介してカメラ１８の撮像倍率及び姿勢を制御し、これによりカメラ１８の撮像範囲を利用者が運動を行う部屋全体となるように設定する。この状態で、上記利用者が運動を行う部屋全体を上記カメラ１８により撮像させ、その映像データをカメラＩ／Ｆ１５を介して背景画像データとして取り込む。そして、この取り込んだ背景画像データをステップＳ３２によりデータメモリ１４の背景画像記憶部１４１に保存させる。図４（ａ）にこの背景画像データの一例を示す。
【００４０】
次にＣＰＵ１１は、運動開始直前において、ステップＳ３３においてカメラ１８で撮像された映像データをカメラＩ／Ｆ１５を介して取り込み、ステップＳ３４により人物領域の抽出処理を以下のように実行する。すなわち、上記撮像された映像データから、背景画像記憶部１４１に記憶された背景画像データを、位置的に対応する画素ごとに引き算することにより、映像データの各部位の差分値を算出する。そして、この差分値がしきい値より大きい領域を人物が存在する領域、つまり人物領域として抽出する。
【００４１】
例えば、いまカメラ１８により図４（ｂ）に示すように背景画像中に利用者の映像Ｗを含む映像データが得られたとすると、この映像データと上記保存された図４（ａ）に示す背景画像データとの差分映像が図４（ｃ）に示すように得られる。そして、この差分映像がしきい値以上となる映像領域が、図４（ｃ）に示すように人物領域ＷＥとして抽出される。
【００４２】
続いてＣＰＵ１１は、上記抽出された人物領域ＷＥを表す情報をステップＳ３５によりデータメモリ１４に記憶させる。また、それと共にステップＳ３６において、カメラＩ／Ｆ１５を介してカメラ１８の撮像姿勢及び倍率を制御することにより、人物領域ＷＥをズームアップした映像データが得られるようにカメラ１８の撮像範囲を調整する。そして、この調整後に得られる人物領域ＷＥの映像データを入出力Ｉ／Ｆ１７を介して表示デバイス２０に表示させる。
【００４３】
かくして、以後表示デバイス２０には、利用者がズームアップされて撮像された適切な倍率の映像データが表示される。図９はその表示結果の一例を示すものである。同図に示すように、表示デバイス２０の表示画面の上半分には、指導者端末ＭＴから運動指導サーバ装置ＳＶを介してダウンロードされた指導用の映像データと、利用者自身のズームアップされた映像データが横に並んだ状態で比較的大きなウィンドウサイズで表示される。さらに、表示画面の下半分には、同時に並行して同一の運動を行っている他の利用者の映像データが、上記指導映像データ及び利用者自身の映像データより小さいウィンドウサイズで表示される。なお、表示画面の右下に表示されたボタンＢ１は運動を止める場合に利用者が操作する停止ボタンである。
【００４４】
（２）人物領域追従処理  
利用者端末ＵＴ１のＣＰＵ１１は、利用者が運動を開始する前に、運動支援サーバ装置ＳＶから運動に使用する指導映像データに対応するメタデータをダウンロードし、このダウンロードされたメタデータをデータメモリ１４のメタデータ記憶部１４２に記憶させる。このメタデータは、指導映像データに順に出現する運動の種類ごとにその姿勢の変更の有無を表した第１のデータと、姿勢変更する際の姿勢の可動範囲を表す第２のデータとから構成される。図７は上記第１のデータの一例を示すもので、腕体操２の立ち姿勢に姿勢の変更があり、また足体操２の座り姿勢に姿勢の変更がある場合を例示している。また図８は上記第２のデータの一例を示すもので、上記姿勢変更がある各姿勢のチルト値がそれぞれ設定されている。
【００４５】
利用者が運動を開始すると、利用者端末ＵＴ１のＣＰＵ１１は、先ず表示デバイス２０に図９に示したように表示される指導映像データの運動姿勢に対応するメタデータを上記メタデータ記憶部１４２から読み出し、このメタデータをもとに運動中の人物の動きを予測する。そして、この予測された動きにカメラ１８の撮像範囲が追従するように、カメラＩ／Ｆ１５を介してカメラ１８の撮像姿勢、つまりパン及びチルトを大まかに制御する。
【００４６】
例えば、いま利用者が図７に示す腕体操２を実行しようとしている場合には、当該腕体操の姿勢は図８に示すようにチルト値θ＝−５の範囲で変化する。このため、上記腕体操２の実行開始タイミングに合わせて、カメラ１８の撮像姿勢を上記チルト値θ＝−５に従い制御する。同様に、利用者が図７に示す足体操２を実行しようとしている場合には、当該足体操の姿勢は図８に示すようにチルト値θ＝２０の範囲で変化する。このため、上記足体操２の実行開始タイミングに合わせて、カメラ１８の撮像姿勢を上記チルト値θ＝２０に従い制御する。
【００４７】
またそれと共にＣＰＵ１１は、図５に示すようにステップＳ５１でカメラ１８により撮像された利用者の映像データを新たに取り込むごとに、ステップＳ５２において当該新たな映像データと過去に取り込んだ映像データとの時間差分を算出する。例えば、いまタイミングｔにおいて図６（ａ）に示す映像データが得られたとすると、このタイミングｔにおける映像データと、それより一つ前のタイミングｔ−１において得られた図６（ｂ）に示す映像データとの差分映像を算出する。図６（ｃ）にこの差分映像の一例を示す。
【００４８】
続いてＣＰＵ１１は、ステップＳ５４において、上記時間差分の差分映像をもとに上記人物領域の重心に移動が発生したか否かを判定する。そして、移動が発生した場合にはステップＳ５５に移行し、ここで上記差分映像をもとに人物領域の重心の移動方向及び移動量を算出する。そして、この算出された人物領域の重心の移動方向及び移動量をもとに、上記カメラ１８の撮像範囲の追従調整を行うべく、カメラＩ／Ｆ１５を介してカメラ１８の撮像姿勢、つまりパン及びチルトを制御する。
【００４９】
例えば、人物領域の重心が図６（ｃ）に示すｘ方向に移動した場合には、カメラ１８の姿勢をチルト制御して人物領域の重心が撮像範囲の中央に位置するように調整する。また、人物領域の重心が図６（ｃ）に示すｙ方向に移動した場合には、カメラ１８の姿勢をパン制御して人物領域の重心が撮像範囲の中央に位置するように調整する。なお、上記カメラ１８の撮像範囲の制御は常時に行う必要はなく、人物領域の重心の移動量が所定値以上になった場合、例えば人物領域の上下端又は左右端に移動した場合に、行うようにしてもよい。
【００５０】
一方、上記ステップＳ５４における判定の結果、人物領域の重心の移動が検出されなかったとする。この場合ＣＰＵ１１は、ステップＳ５６に移行してここで人物領域がカメラ１８の撮像範囲外か否かを判定する。この撮像範囲外か否かは、例えば一定時間以上連続して人物領域の重心移動が検出されない場合や、先に述べたメタデータで姿勢変更があると定義されているにもかかわらず重心移動が検出されなかった場合に撮像範囲外と判定される。
【００５１】
そして、人物領域がカメラ１８の撮像範囲外と判定されると、ステップＳ５５に移行してカメラ１８の撮像範囲が人物領域を含むようにカメラ１８の姿勢を制御する。この撮像範囲外だった時のカメラ１８の姿勢制御は、例えば運動が行われている部屋全体を撮像し直し、この全体映像データ中から先に記憶しておいた人物領域の映像データを探すことにより行い得る。また、人物領域がカメラ１８の撮像範囲内と判定された場合には、ステップＳ５１に戻り、以上述べたステップＳ５１からステップＳ５６による人物領域へのカメラ撮像範囲の追従制御を繰り返し実行する。
【００５２】
以上述べたようにこの実施形態では、利用者端末ＵＴ１〜ＵＴｎにおいて、運動開始前に利用者が運動を行う部屋全体をカメラ１８により撮像してその映像データを背景画像データとして取り込み、運動開始直後にカメラ１８により撮像された映像データと上記背景画像データとの差分映像を求めて、この差分映像をもとに人物領域を抽出する。そして、この抽出された人物領域を撮像範囲とするべく、カメラＩ／Ｆ１５を介してカメラ１８の撮像姿勢及び倍率を制御し、これにより運動中の利用者をズームアップした映像データをカメラ１８により撮像して表示デバイス２０に表示するようにしている。したがって、運動中において表示デバイス２０には、利用者がズームアップされて撮像された適切な倍率の映像データが表示される。
【００５３】
またこの実施形態では、運動中にカメラ１８により撮像される人物領域の映像データの時間差分を算出して、この時間差分の算出結果をもとに上記人物領域の重心の実際の移動方向及び移動量を算出する。そして、この算出された人物領域の重心の移動方向及び移動量をもとに、カメラ１８の撮像範囲の微調整を行うべくカメラＩ／Ｆ１５を介してカメラ１８の撮像姿勢、つまりパン及びチルトを制御している。このため、運動中に利用者が移動しても、この移動に追従してカメラ１８の撮像範囲を移動させることができ、これにより利用者をズームアップしたまま常に撮像し表示することができる。
【００５４】
さらにこの実施形態では、利用者の運動中に、表示デバイス２０に表示される指導映像データの運動姿勢に対応するメタデータをメタデータ記憶部１４２から読み出し、このメタデータをもとに運動中の利用者の動きを予測する。そして、この予測された動きにカメラ１８の撮像範囲が追従するようにカメラ１８の撮像姿勢を制御するようにしている。したがって、利用者の動きを予測してカメラ１８の撮像姿勢を制御することができ、これにより上記時間差分を用いた人物領域の追従制御の処理負荷を軽減することができる。  
さらにこの実施形態によれば、上記人物領域特定処理及び人物領域追従処理を背景差分法や時間差分法を用いた比較的簡単な処理により実現できる利点がある。
【００５５】
なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態では利用者端末ＵＴ１〜ＵＴｎにおいて、人物領域特定処理及び人物領域追従処理を実行させるようにした。しかしそれに限らず、上記人物領域特定処理及び人物領域追従処理を運動支援サーバＳＶで実行させるようにしてもよく、また利用者端末ＵＴ１〜ＵＴｎと通信ネットワークＮＷを介して接続可能な画像処理装置を設けてこの画像処理装置において上記人物領域特定処理及び人物領域追従処理を実行させるようにしてもよい。
【００５６】
その他、利用者端末の種類や構成、人物領域特定処理及び人物領域追従処理の手順と内容、運動の種類などについても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。  
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００５７】
【図１】この発明に係わる運動支援システムの一実施形態を示す概略構成図である。
【図２】図１に示した運動支援システムで使用される利用者端末の機能構成を示すブロック図である。
【図３】図２に示した利用者端末により実行される人物領域特定制御の手順と内容を示すフローチャートである。
【図４】図３に示した人物領域特定制御の内容を説明するための図である。
【図５】図２に示した利用者端末により実行される人物領域追従制御の手順と内容を示すフローチャートである。
【図６】図５に示した人物領域追従制御の内容を説明するための図である。
【図７】図５に示した人物領域追従制御に使用する運動姿勢メタデータの一例を示す図である。
【図８】図５に示した人物領域追従制御に使用する可動範囲メタデータの一例を示す図である。
【図９】図２に示した利用者端末の表示デバイスに表示される映像データの一例を示す図である。
【符号の説明】
【００５８】
ＵＴ１〜ＵＴｎ…利用者端末、ＳＶ…運動支援サーバ装置、ＭＴ…指導者端末、ＮＷ…通信ネットワーク、１１…ＣＰＵ、１２…バス、１３…プログラムメモリ、１３１…背景画像取得制御プログラム、１３２…メタデータ取得制御プログラム、１３３…人物領域特定制御プログラム、１３４…人物領域追従制御プログラム、１４…データメモリ、１４１…背景画像記憶部、１４２…メタデータ記憶部、１５…カメラインタフェース（カメラＩ／Ｆ）、１６…通信インタフェース（通信Ｉ／Ｆ）、１７…入出力インタフェース（入出力Ｉ／Ｆ）、１８…カメラ、１９…入力デバイス、２０…表示デバイス。
【図１】
2007288682.tif 000003
【図２】
2007288682.tif 000004
【図３】
2007288682.tif 000005
【図４】
2007288682.tif 000006
【図５】
2007288682.tif 000007
【図６】
2007288682.tif 000008
【図７】
2007288682.tif 000009
【図８】
2007288682.tif 000010
【図９】
2007288682.tif 000011