(57)【要約】【課題】介護動作や各種運動の動作のビデオ画像に骨格情報をポーズして、介護動作や各種運動の動作などがビデオを見ながら理解できる動作サポート装置を提供する。【解決手段】実施形態の動作サポート装置は、基本となる動画像から支援者と被支援者の骨格データを抽出する骨格データ抽出手段と、前記基本の動画像に前記骨格データをポーズした新たな動画像を作成する手段と、前記新たな動画像を表示する端末と、を有することを特徴とする。【選択図】  図１
2016059658.tif 000002
【特許請求の範囲】
【請求項１】
基本となる動画像から支援者と被支援者の骨格データを抽出する骨格データ抽出手段と、
前記基本の動画像に前記骨格データをポーズした新たな動画像を作成する手段と、
前記新たな動画像を表示する端末と、
を有することを特徴とする動作サポート装置。
【請求項２】
前記支援者は介護人であり、前記被支援者は介護を受ける患者であることを特徴とする請求項１に記載の動作サポート装置。
【請求項３】
前記骨格データは、前記支援者と被支援者とが識別可能な形式で表示したデータであることを特徴とする請求項１に記載の動作サポート装置。
【請求項４】
前記骨格データは、少なくとも「頭」、「肩」、「肘」、「手」、「腰」、「膝」、「足」内の複数の部位を区別して表示したマークであることを特徴とする請求項１又は請求項３に記載の動作サポート装置。
【請求項５】
お手本画像と、前記お手本画像と同じ動きをした比較画像とを見比べ、前記マークの位置関係から動作の違いを確認すること特徴とする請求項１又は４に記載の動作サポート装置。
【請求項６】
前記お手本画像の前記複数の部位と、それに対応する前記比較画像の前記複数の部位との位置を数値化したデータを比較することにより、前記お手本画像と前記比較画像の違い点のコメントを自動作成することを特徴とする請求項５に記載の動作サポート装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、介護動作や各種運動の動作などの動作サポート装置に関する。
【背景技術】
【０００２】
家庭内での介護は深刻な状態になっており、年寄りが年寄りを介護する時代になってきている。多くの家庭では、特別な指導を受けることなく、見よう見真似で介護人の世話をしている。このため、介護人も、それを世話する介護者も無駄な動きが多く、世話をする度に疲れを感じることが多い。そのような状態での介護が長く続くと、介護者が疲れてしまい、介護人のお世話ができなくなることもある。
【０００３】
一般家庭における介護者の負担を軽減する方法として、専用機器／ロボットの導入や、ボディメカニクス／古武術の習得などがある。
【０００４】
専用機器／ロボットの導入は、技術・コスト面から普及は望めない。ボディメカニクス／古武術の習得は、ＤＶＤや講習会などの参加機会が安価で用意されているが、使用方法や頻度の問題から「習得」するのは困難である。例えば、数回の講習を受けただけでは、十分理解できるまでに至らない。また、介護用の学習ＤＶＤを見ながら作業するのは手の位置や肩・足の位置が分かりにくく、正しいやり方かどうかの確認ができない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−２１５２４６号公報
【特許文献２】特開平１０−２３４７９６号公報
【特許文献３】特開平０８−２３５３４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
そこで、本発明が解決しようとする課題は、介護動作や各種運動の動作のビデオ画像に骨格情報をポーズして、介護動作や各種運動の動作などがビデオを見ながら理解できる動作サポート装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、実施形態に係る動作サポート装置は、基本となる動画像から支援者と被支援者の骨格データを抽出する骨格データ抽出手段と、前記基本の動画像に前記骨格データをポーズした新たな動画像を作成する手段と、前記新たな動画像を表示する端末と、を有することを特徴とする。
【０００８】
実施形態によれば、ビデオ画像の骨格情報を見ながら、正しい動作を理解することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る動作サポート装置の構成を示すブロック図である。
【図２】実施形態に係る動作サポート装置の動作を示す図である。
【図３】実施形態に係る動作サポート装置の骨格データの抽出例を示す図である。
【図４】仰臥位から端座位への移動介助のビデオに骨格データをポーズした３コマの画像を示す図である。
【図５】お手本画像と同じ動作を行っている自分の動画を比較して、正しい動作を学習するための処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら本発明の実施形態を説明する。
【００１１】
図１は、実施形態に係る動作サポート装置の構成を示すブロック図である。図１において、ビデオ１００は、市販されている介護人のお世話をするビデオで、例えば仰臥位から端座位への移動介助、ベッドから車椅子への移乗介助、ベッドからポータブルトイレへの移乗介助などの画像を収録したビデオである。記録媒体としてはＤＶＤ、ビデオテープ、ＵＳＢメモリなどのメディアに記録されている。ここでは、市販ビデオとしたが、実際の介護動作をキネクトで撮影したものを使用しても良い。実施形態では、介護支援画像を用いた例を示すが、これに限定されず、各種運動の動作の画像であっても良い。例えば、テニス、野球、サッカー、ゴルフなどで教材の動作サポート装置としても適用できる。
【００１２】
ビデオ再生装置２００は、ビデオ１００を再生して、その再生した動画像を骨格データ抽出装置３００に出力する。骨格データ抽出装置３００は、受信した動画像から介護人（介護が必要な患者であり被支援者）および介護者（支援者）の、例えば「頭」、「肩」、「肘」、「手」、「腰」、「膝」、「足」、「補助具」などの位置を抽出した骨格データを作成する。そして、骨格データ抽出装置３００で作成した骨格データとビデオ再生装置２００の動画像とをビデオ画像生成装置４００に出力する。
【００１３】
ビデオ画像生成装置４００は、動画像に骨格データをポーズした動画像を作成する。作成した動画像は、ビデオメモリ５００に格納しても良い。ビデオメモリ５００は、ＤＶＤ、ビデオテープ、ＵＳＢメモリなどのメディアに記録される。携帯端末６００は、介護者と介護人が見える位置に置き、ビデオ画像生成装置４００又はビデオメモリ５００からの「動画像に骨格データをポーズした動画像」を表示する。介護者は、この動画像の骨格の位置（「頭」、「肩」、「肘」、「手」、「腰」、「膝」、「足」、「補助具」）を確認することで、正しい動作に従って介護のお世話をする。また、介護人も携帯端末６００に映し出されるビデオの動画像と介護者の言葉に従って身動きすればよく負担が軽減される。
【００１４】
上述したビデオ１００、ビデオ再生装置２００、骨格データ抽出装置３００、ビデオ画像生成装置４００、ビデオメモリ５００は、パーソナルコンピュータなどで実現することができる。なお、骨格データ抽出装置３００は、専用のアプリケーションであっても良い。携帯端末６００としては、スマートフォンやタブレット端末などを用いることができる。
【００１５】
図２は、動画像から骨格データを生成する動作を示すフローチャートである。
【００１６】
骨格データ抽出装置３００は、受信した教材用の動画像から介護人（介護が必要な患者）および介護者の、例えば「頭」、「肩」、「肘」、「手」、「腰」、「膝」、「足」、「補助具」などの部位をマークしてデータを変換する（Ｓ１０）。次に、体の形（姿勢）と位置関係を数値化する（Ｓ２０）。次に、教材用の動画像に作成した骨格データをポーズした新しい動画像を作成する（Ｓ３０）。
【００１７】
なお、ビデオ１００からの音声はそのまま、画像もそのまま別レイヤで保存する。また、ポーズタイミングも任意に設定することができるようにする。更に、ポーズポイントの解除は音声で行い、位置の違いの再チェックも音声操作で行う。
【００１８】
図３は、骨格データの抽出例を示す。ここでは、テーブル３ａに示すように、患者を○、介護者を△で区別している。更に、「頭」、「肩」、「肘」、「手」、「腰」、「膝」、「足」、「補助具」の各部位の位置に応じて色を変えることで、一目で関節の動きが分かるようにしている。例えば、「頭」は赤、「肩」は黄、「肘」は緑、「手」は青、「腰」は紫、「膝」は黒、「足」は黒、「補助具」は黒としている。なお、ここでは色を変えるとしたが、色以外の表示（例えば、網掛け）で区別しても良い。
【００１９】
動画像３ｂの患者には、各部位に色分けしたマーク○を表示し、介護者には各部位に色分けしたマーク△を表示している。骨格データ抽出装置３００は、そのマークした位置を座標値に変換して、体の形（姿勢）と位置関係を数値化した骨格データ３ｃ、３ｄを生成する。そして、教材用の動画像に各部位のマークを追跡した骨格データをポーズして新しい動画像を作成して利用する。
【００２０】
図４は、仰臥位から端座位への移動介助のビデオに骨格データをポーズした３コマの画像を表示するものである。このような動画像であれば、介護者は負担が少ない動作で介護を行うことができるようになる。
【００２１】
介護以外にもテニス、野球、サッカー、ゴルフなどで教材の動作サポート装置に適用した場合も、指導者の動きと受講者の動きが分かりやすく表示できるので、指導効果が高まることになる。
【００２２】
図５は、お手本画像と、お手本画像と同じ動作を行っている自分の動画（比較画像）とを比較して、正しい動作を学習するための処理を示すフローチャートである。
【００２３】
まず、お手本画像を作成するために、お手本者の骨格部に予めセンサー（リストバンドやシールのマーカーなど）を付けて動画を撮影する（Ｓ１００）。お手本画像をセンサーなしで撮影した場合や市販の動画をお手本画像として使用する場合は、図２で示したステップでマークを付与しても良い。
【００２４】
次に、お手本画像と同じ動作を行っている自分の動画（比較画像）を撮影する（Ｓ１１０）。
【００２５】
次に、自分の動画をコンピュータ（ＰＣなど）で再生し、任意の時点で停止して骨格部に図３で示したようなマークを付ける（Ｓ１２０）。
【００２６】
あるいは、自分の動画を撮影する際、骨格部にあらかじめセンサー（リストバンドやシールのマーカーなど）を付けて撮影してもよい。
【００２７】
次に、Ｓ１２０の動画について、対象画像の動きに合せてマーク位置を調整し（Ｓ１３０）、その動画を記録媒体に記録する（Ｓ１４０）。
【００２８】
そして、Ｓ１００の動画とＳ１４０の動画を再生して、指導者の動作と自分の動作を見比べて、同じ動作であるかを確認する。自分の動画も骨格位置は数値化されているので、手本と数値的に比較して、もしも、自分の動作がお手本の動作と違っている場合は、その違う点に対しコメント（音声又は画像に吹き出し図形でコメントを記入）をシステムで自動的に作成して保存する（Ｓ１５０）。
【００２９】
このような、比較動作を段階的に実施することで、正しい動作をしっかりと身に付けることができる。なお、２つの動画の再生は同時に表示しても良いし、個別に表示しても良い。また、お手本画像の動作と自分の動作の違いは、マーク間の位置関係（体格の違いを考慮して相対的な位置関係）で判断すれば、より分かりやすい。また、コメントは、マークの位置に付与することで、正しい動作の理解が深まる。
【００３０】
また、自分の動画を撮影する際、骨格部にあらかじめセンサー（リストバンドやシールのマーカーなど）を付けて撮影する場合は、撮影しながらお手本動画を表示させ、ポーズ操作・解除、位置の違いのチェックを音声操作することで、リアルタイムに、動作の違いなどを表示するとともに音声でガイドすることも可能となる。
【００３１】
上述した実施形態によれば、ビデオ画像の骨格情報を見ながら、正しい動作を理解することができる。また、お手本との比較により正しい動作を学習することができ、介護者に安心を与えることができる。
【００３２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００３３】
１００‥ビデオ
２００‥ビデオ再生装置
３００‥骨格データ抽出装置
４００‥ビデオ画像生成装置
５００‥ビデオメモリ
６００‥携帯端末
【図１】
2016059658.tif 000003
【図２】
2016059658.tif 000004
【図３】
2016059658.tif 000005
【図４】
2016059658.tif 000006
【図５】
2016059658.tif 000007