(57)【要約】【課題】より操作性を高めたジェスチャーをユーザが実行できるユーザインタフェースを可能とすることができる技術を提供する。【解決手段】再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示する信号を出力するコンテンツ再生部と、現在表示中の前記コンテンツの内容によって実行結果が変化するユーザ操作を認識するジェスチャー認識部と、ユーザが特定の操作に対応する手の形を示しながらその手を動かす動作を行うことによりこの操作を実行する再生位置を調整する再生位置制御部と、前記操作を実行する操作実行部とを備えたコンテンツ再生装置。【選択図】  図１
2015038664.tif 000002
【特許請求の範囲】
【請求項１】
再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示する信号を出力するコンテンツ再生部と、
現在表示中の前記コンテンツの内容によって実行結果が変化するユーザ操作を認識するジェスチャー認識部と、
ユーザが特定の操作に対応する手の形を示しながらその手を動かす動作を行うことによりこの操作を実行する再生位置を調整する再生位置制御部と、
前記操作を実行する操作実行部とを
備えたコンテンツ再生装置。
【請求項２】
前記操作実行部は、前記動作を終了することにより前記操作を実行する請求項１に記載のコンテンツ再生装置。
【請求項３】
前記操作実行部は、前記動作を開始することにより前記操作を実行し、前記動作を終了した後は前記操作の次の操作を前記動作の次の動作に基づいて実行可能な状態にする請求項１に記載のコンテンツ再生装置。
【請求項４】
前記特定の操作は、シーク操作である請求項１に記載のコンテンツ再生装置。
【請求項５】
再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示する信号を出力する出力工程と、
現在表示中の前記コンテンツの内容によって実行結果が変化するユーザ操作を認識する認識工程と、
ユーザが特定の操作に対応する手の形を示しながらその手を動かす動作を行うことによりこの操作を実行する再生位置を調整する位置制御工程と、
前記操作を実行する操作実行工程とを含んだコンテンツ再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、ジェスチャー操作可能なコンテンツ再生装置及びコンテンツ再生方法に関する。
【背景技術】
【０００２】
表示される情報が時間経過に伴い変化するコンテンツを再生するソフトウェアや装置は数多く存在する。例として動画プレイヤー、写真スライドショー、デジタルサイネージ、RSSティッカーなどが挙げられる。これらには一時停止や関連リンクの表示といった、操作時にそのソフトウェアや装置が何を表示しているかによって、操作後の表示内容や新たに表示される情報が変化するインタフェースと、早送りや巻き戻し、シークバーといった、ユーザが所望の再生位置を探索する操作インタフェースを備えることが多い。また、タッチフリー機能を搭載する装置においては、これらの操作を直接装置に触れることなく、手の形や動作（以下、ジェスチャー）を認識させることで、そのジェスチャーに対応する操作を実行する。例としては、ユーザが装置に向かって手を開くと一時停止するといった動作が挙げられる。
【０００３】
従来のユーザインタフェースでは、ユーザが所望する操作の種類を装置が認識した瞬間に、その操作が実行される。また、一時停止や関連リンク表示のジェスチャーと、再生位置を探索するジェスチャーは異なっており、コンテンツ上の特定の再生位置に移動して何らかの操作を実行したい場合は、複数のジェスチャーをひとつずつ行う必要がある。（例えば、特許文献１参照。）。
【０００４】
これらのジェスチャーに対して、より操作性を高めたジェスチャーをユーザが実行できるユーザインタフェースへの要望があるが、かかる要望を実現するための手段は知られていない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−７０４１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施の形態は、より操作性を高めたジェスチャーをユーザが実行できるユーザインタフェースを可能とすることができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、実施形態によればコンテンツ再生装置は、再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示する信号を出力するコンテンツ再生部と、現在表示中の前記コンテンツの内容によって実行結果が変化するユーザ操作を認識するジェスチャー認識部と、ユーザが特定の操作に対応する手の形を示しながらその手を動かす動作を行うことによりこの操作を実行する再生位置を調整する再生位置制御部と、前記操作を実行する操作実行部とを備える。
【発明の効果】
【０００８】
発明の効果は特には記載しない。
【図面の簡単な説明】
【０００９】
【図１】この発明の一実施形態を示すコンテンツ再生装置のブロック構成図。
【図２】同実施形態のコンテンツ再生装置内部のシーケンス図。
【図３】同実施形態のハンドジェスチャー検知前の状態を説明するために示す図。
【図４】同実施形態の一時停止ハンドジェスチャー検知時の状態を説明するために示す図。
【図５】同実施形態のシーク時の状態を説明するために示す図。
【図６】同実施形態のハンドジェスチャー終了時の状態を説明するために示す図。
【図７】同他の形態に用いられるハンドジェスチャー認識時にも操作を実行する場合のシーケンス図。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施形態を説明する。
（第１の実施形態）
第１の実施形態を図１乃至図６を参照して説明する。
<背景（もととしている技術）>
以下に図面を用いて述べる本コンテンツ再生装置はディスプレイのような表示装置に接続されることにより、時間経過に伴い表示内容が変化するコンテンツを出力するための装置である。例としては動画プレイヤー、写真スライドショー、デジタルサイネージ、RSSティッカー等が挙げられる。本装置では実行するタイミングによって結果が異なる操作がひとつないし複数用意されている。例えば、一時停止や関連リンク表示といった操作がありうる。一時停止操作は、実行時に出力されていた表示内容で画面が停止する。関連リンク表示操作は、実行時の表示内容に関連したリンクをWebブラウザ等を用いて表示する。本装置ではこれらの操作をタッチフリーで実行する。タッチフリーとはユーザが直接装置に触れずに、ユーザの手の形や動きを認識して装置を制御する仕組みである。手の形や動きの認識には装置に接続されたカメラを用い、得られた画像を解析することで行う。
【００１１】
ここで本稿実施形態では、操作に対応する特定の手の形をすることをハンドジェスチャーと定義する。また、ハンドジェスチャーをしたまま手を動かす動作をムーブジェスチャーと定義する。また、これらを合わせてジェスチャーと定義する。
【００１２】
<装置の構成>
次に本コンテンツ再生装置の構成を説明する。図１は、実施形態を示すコンテンツ再生装置のブロック構成図である。
コンテンツ再生装置１（以下単に、装置）は、ジェスチャー認識部１１、再生位置制御部１２、コンテンツ再生部１３、操作実行部１４などを含んで構成されている。またカメラ２は、コンテンツ再生装置１（以下単に、装置）に接続され、装置前方のある領域の映像を撮影しており、取得要求に対して映像の最新のスクリーンショットを画像として提供できるように構成されている。
【００１３】
ジェスチャー認識部１１は、カメラから取得した画像を解析して、ハンドジェスチャーとそれが認識された座標を得る。ハンドジェスチャーの認識はいかなる方法であってもよい。例えば、あらかじめ標準的なハンドジェスチャーの画像を装置内に保存しておき、カメラから取得した画像に似た部分が存在するかを調べるパターンマッチング等の手法が用いられる。
【００１４】
再生位置制御部１２は、コンテンツ再生部１３を制御してシークを行う。またコンテンツ再生部１３は、コンテンツの再生や、ユーザが所望の再生位置を探索するための機能（早送り、巻き戻し、シーク等）を有する。
【００１５】
操作実行部１４は、ジェスチャー認識部から受け取った操作を実行する。操作の実行に必要な情報がある場合コンテンツ再生部１３や外部から情報を取得することができる。例えば関連リンクを表示するといった場合、コンテンツ再生部１３から現在表示している情報を取得し、関連するURLを算出して外部のWebサーバから該当するWebページを取得して表示するといった動作が実行される。
【００１６】
<シーケンス図による動作説明>
次に図 2のシーケンス図を用いて装置内部の動作について説明する。
（ハンドジェスチャー未検出時）
ジェスチャー認識部１１は、カメラ２から画像を短い時間間隔で定期的に取得してハンドジェスチャー判定を行う。ハンドジェスチャー判定では、装置に登録されたハンドジェスチャーが画像内に存在するかを判定する。ハンドジェスチャーが検出されるまで、画像の取得とハンドジェスチャー判定を繰り返す（ステップＳ２１）。
【００１７】
（ハンドジェスチャー検出時）
ハンドジェスチャーが検出されると、ジェスチャー認識部１１は、ハンドジェスチャーに対応している操作の種類を操作実行部１４に通知する（ステップＳ２２）。操作実行部１４はその操作の実行を予約しておく（ステップＳ２３）。続けてジェスチャー認識部１１は、ハンドジェスチャーが検出された座標を開始座標として再生位置制御部１２に通知する（ステップＳ２４）。検出された座標とは、例えばカメラから取得した画像に対し、画像の最も左上の点を原点とするx,y座標で表す方法が採られる。このときハンドジェスチャーが検出された座標を点として算出するが、この算出方法はいかなる方法であってもよく、例えば手と判定されている領域の最も上の点と最も下の点の中央をy座標、最も右の点と最も左の点の中央をx座標とする方法でもよい。さらにジェスチャー認識部１１はハンドジェスチャーの移動判定用に、このとき検出されたハンドジェスチャーを保存しておく（ステップＳ２５）。また、再生位置制御部１２は開始座標が通知されると、コンテンツ再生部１３にシーク開始通知を行うと共に（ステップＳ２６）、そのときの再生位置をコンテンツ再生部１３から取得し、シーク基準位置として保存する（ステップＳ２７）。シークが開始されるとコンテンツ再生部１３は開始前の再生状態（再生中・一時停止中・早送り中等）を保存しつつ（ステップＳ２８）、コンテンツを現在の再生位置の表示内容のまま静止させる。
【００１８】
（ハンドジェスチャー移動時）
再びジェスチャー認識部１１が画像をカメラから取得するとハンドジェスチャー判定を行うが、検出されたハンドジェスチャーが保存中のハンドジェスチャーと同じであった場合、検出された座標を移動座標として再生位置制御部１２に送る。再生位置制御部１２は最初に通知された開始座標と移動座標、及びシーク基準位置を用いてシークを行う（ステップＳ２９）。ここでのシークとは、指示された位置に再生位置を変更し、そこでのコンテンツの表示内容を表示させた状態で静止させる動作を意味する。再生位置制御部１２は開始座標と移動座標の差分から、対応する時間量を算出し、シーク基準位置からその時間量分変更した位置に再生位置を変更するようコンテンツ再生部１３に指示を出す。開始座標と移動座標から変更する時間量を算出する方法はいかなるものであってもよく、例えばx方向に1移動するごとに+0.01秒といった算出方法が採用できうる。また、開始座標と移動座標の差分に比例した時間量にする必要はなく、毎回移動座標を保存することで最新の移動座標とその直前の移動座標を比較してハンドジェスチャーが移動した速度を算出して計算に反映してもよい。例えばハンドジェスチャーを同じ距離だけ動かすとき、速く動かす方が、ゆっくり動かすより変更する時間量が大きいといった算出方法にしてもよい。
【００１９】
（ハンドジェスチャー終了時）
ハンドジェスチャー判定において、ハンドジェスチャーが検出されなくなった場合、あるいは保存されているハンドジェスチャーと異なるハンドジェスチャーが検出された場合、装置は操作実行部１４に予約されている操作の実行を行う。まずジェスチャー認識部１１は再生位置制御部１２にシーク終了通知を送る（ステップＳ３１）。再生位置制御部１２はシーク終了通知をコンテンツ再生部１３に送ることで（ステップＳ３２）、コンテンツ再生部１３は保存していたシーク前の再生状態に戻る（ステップＳ３３）。続けてジェスチャー認識部１１は操作実行部１４に操作実行命令を送ることで（ステップＳ３４）、操作実行部１４は予約されていた操作を実行する（ステップＳ３５）。この実行において必要なデータがあれば、コンテンツ再生部１３からのメタデータ取得や外部データの取得を行う。その後操作が実行され、一時停止や関連リンク表示が行われる。ジェスチャー認識部１１に保存されていたハンドジェスチャーは削除される（ステップＳ３６）。保存されているハンドジェスチャーと異なるハンドジェスチャーが検出された場合については、続けてハンドジェスチャー検出時の処理が実行される。
【００２０】
<ユーザインタフェースの例>
本装置のユーザインタフェースの例を図を用いて説明する。ここでは、車が画面左から右へ走行する動画コンテンツを視聴中、車が画面中央にあるときの再生位置で一時停止を行う場合を例に説明する。
【００２１】
図 3は、本装置において動画コンテンツの再生結果の出力をディスプレイに表示している状態を表している。カメラもディスプレイが向いているのと同じ方向に向けて設置されているとする。また、装置は再生状態であるとする。コンテンツとしては、ケーブルＴＶやＢｌｕ−ｒａｙ（登録商標）によるものその他いろいろと用いることができる。
【００２２】
図 4は図 3の後、ユーザが一時停止したかった再生位置を過ぎてから一時停止ハンドジェスチャーが認識された時点の状況を表している。図の下部にある手Ｈは、ユーザが一時停止のハンドジェスチャーを行っていることを示す。ユーザのハンドジェスチャーを本装置のカメラが撮影して、内部のジェスチャー認識部が一時停止のハンドジェスチャーを検出することでシークが開始される。シーク時は画面は静止状態になる。図の例のように、ハンドジェスチャーが正しく認識されているかどうかをユーザが確認できるよう、認識されているハンドジェスチャーに対応するアイコンを画面上に表示してもよい。
【００２３】
図 5は図 4で行ったハンドジェスチャーのままムーブジェスチャーを行った状況を表している。図の例ではハンドジェスチャーを保ったまま手を左に動かすことで（Ｈ`へ）、対応する量だけ再生位置を戻している。動かしている間はシーク状態であるため、再生位置はムーブジェスチャーに合わせて変化し、映像はその再生位置での静止状態になる。
【００２４】
図 6は図 5の操作を行い所望の再生位置にシークできた時点で、ユーザがハンドジェスチャーを終了した状況を表している。ハンドジェスチャーが検知されなくなると、ジェスチャー認識部は操作実行部に操作の実行を指示し、この例の場合は一時停止が実行される。
【００２５】
（第２の実施形態）
本発明による第２の実施形態を図７を参照して説明する。実施形態１と共通する部分は説明を省略する。
実施形態１で残る問題は、ハンドジェスチャー認識時には処理が実行されず、ハンドジェスチャー終了時に処理が実行される点である。再生位置の調整なしに操作を実行したい場合においては、従来の方式に比べ、ハンドジェスチャー終了の認識が必要な分、時間が余計にかかってしまう。しかし、例えば一時停止はハンドジェスチャー認識時に一度実行された後、再生位置を変更して再度一時停止しても問題ないと推察される。関連リンク表示であっても、ハンドジェスチャー認識時のリンク表示を一度終了し、改めて関連リンク表示を行えばよい。
【００２６】
そこでハンドジェスチャーを認識時にも操作を実行する場合について、シーケンス図を図 7に示す。先の実施例と異なる点は、ハンドジェスチャー検知時に（ステップＳ２１）、ジェスチャー認識部１１は操作実行部１４に操作即時実行命令を送ることで（ステップＳ７２）、これを受けて操作実行部１４が直ちに操作を実行していることである（ステップＳ７３）。この操作即時実行命令には操作の種類の情報も含まれている。このとき、画面は静止状態にはならない。その後、保存ハンドジェスチャーの検知状態に遷移し（ステップＳ７５）、ジェスチャー認識部１１は移動が検知されて初めて、操作の種類通知や開始座標通知を行ってシークを行う状態になる。後は先の実施例と同様の動作となる（Ａ、図２参照）。移動が検知されないまま保存ジェスチャーが検知されなくなった場合は、保存ジェスチャーを削除して最初の状態の戻る。
【００２７】
ユーザがコンテンツのある位置にて一時停止や関連リンク表示の操作を行いたいと思ったときに、ユーザの操作の遅れや装置の認識処理の遅れにより、所望の位置で操作を実行できないことがある。このときユーザは一度早送りや巻き戻し、シークによって再生位置を調整してから所望の操作を実行する。このときの、ユーザがジェスチャーを開始してから終了するまでの動作を説明する。
【００２８】
最初に、従来技術において早送りや巻き戻しを用いる場合を想定する。早送りや巻き戻しにひとつのハンドジェスチャーが割り振られると想定すると、以下の４つの動作になる。
【００２９】
1.           所望操作のハンドジェスチャー（遅れて認識される）
2.           早送り・巻き戻しハンドジェスチャー
3.           所望操作のハンドジェスチャー
4.           ジェスチャー終了
次にシークジェスチャーを用いる場合を想定する。シークは連続的に再生位置を変化させるようなジェスチャーが必要であるため、シークを開始するハンドジェスチャーと、手を横（あるいは縦、前後、円）に動かすムーブジェスチャーで行うことが一般的に想定される。
【００３０】
1.           所望操作のハンドジェスチャー（遅れて認識される）
2.           シーク開始ハンドジェスチャー
3.           シークムーブジェスチャー
4.           所望操作のハンドジェスチャー（一時停止や再生の場合、シークの機能によっては不要）
5.           ジェスチャー終了
最後に本実施形態のユーザインタフェースで行った場合を説明する。
1.           所望操作のハンドジェスチャー（遅れて認識される）
2.           再生位置を調整するムーブジェスチャー
3.           ジェスチャー終了
すなわち、所望の再生位置で所望の操作を実行できず再生位置を再度調整して実行する場合、本稿提案のユーザインタフェースを用いるのが、最もユーザの動作が少ない。一方で再生位置の調整が不要だった場合は、いずれの方式も、
【００３１】
1.           所望操作のハンドジェスチャー
2.           ジェスチャー終了
となるため、調整不要時に実施形態のユーザインタフェースが余計な動作をユーザに要求することはない。これらにより、実施形態のユーザインタフェースはコンテンツ視聴時のユーザの労力を削減することができるため、ユーザはより快適にコンテンツを視聴することができるようになる。
【００３２】
以上説明した実施例のユーザインタフェースによれば、手の形のジェスチャーで操作の種類を、手を動かすジェスチャーで操作を実行する再生位置を決定し、ジェスチャーの終了によって実行する。
【００３３】
ユーザがコンテンツのある位置にて一時停止や関連リンク表示の操作を行いたいと思ったときに、ユーザの操作の遅れや装置の認識処理の遅れにより、所望の位置で操作を実行できないことがある。このときユーザは一度早送りや巻き戻し、シークバー操作を用いて再生位置を調整してから所望の操作を実行する。このとき、再生位置を調整するジェスチャーと、所望の操作に対応するジェスチャーを一つずつ行う従来の方式と比較し、先行技術と比べた実施形態の効果として、ユーザインタフェースはジェスチャーの認識が遅れたのが確認できた時点で手を動かすだけで再生位置を調整でき、かつ所望の操作に対応するジェスチャーをやり直す必要はない。これによりユーザの労力の削減となり、ユーザは快適にコンテンツを楽しむことができる。
【００３４】
（実施形態の補足）
（１）．再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示でき、現在表示中の内容によって実行結果が変化する操作を実行可能であって、ユーザが特定の操作に対応する手の形を示しながらその手を動かす動作を行うことで操作を実行する再生位置を調整でき、動作を終了することで操作を実行することができる装置。
【００３５】
（２）．再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示でき、現在表示中の内容によって実行結果が変化する操作を実行可能であって、ユーザが特定の操作に対応する手の形を示すことで所望の操作が実行され、そのまま手を動かす動作を行うことで操作を実行する再生位置を調整でき、動作を終了することで再度操作を実行することができる装置。
【００３６】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００３７】
１１  ジェスチャー認識部
１２  再生位置制御部
１３  コンテンツ再生部
１４  操作実行部
【図１】
2015038664.tif 000003
【図２】
2015038664.tif 000004
【図３】
2015038664.tif 000005
【図４】
2015038664.tif 000006
【図５】
2015038664.tif 000007
【図６】
2015038664.tif 000008
【図７】
2015038664.tif 000009
【手続補正書】
【提出日】平成24年4月27日(2012.4.27)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、ジェスチャー操作可能なコンテンツ再生装置及びコンテンツ再生方法に関する。
【背景技術】
【０００２】
表示される情報が時間経過に伴い変化するコンテンツを再生するソフトウェアや装置は数多く存在する。例として動画プレイヤー、写真スライドショー、デジタルサイネージ、RSSティッカーなどが挙げられる。これらには一時停止や関連リンクの表示といった、操作時にそのソフトウェアや装置が何を表示しているかによって、操作後の表示内容や新たに表示される情報が変化するインタフェースと、早送りや巻き戻し、シークバーといった、ユーザが所望の再生位置を探索する操作インタフェースを備えることが多い。また、タッチフリー機能を搭載する装置においては、これらの操作を直接装置に触れることなく、手の形や動作（以下、ジェスチャー）を認識させることで、そのジェスチャーに対応する操作を実行する。例としては、ユーザが装置に向かって手を開くと一時停止するといった動作が挙げられる。
【０００３】
従来のユーザインタフェースでは、ユーザが所望する操作の種類を装置が認識した瞬間に、その操作が実行される。また、一時停止や関連リンク表示のジェスチャーと、再生位置を探索するジェスチャーは異なっており、コンテンツ上の特定の再生位置に移動して何らかの操作を実行したい場合は、複数のジェスチャーをひとつずつ行う必要がある。（例えば、特許文献１参照。）。
【０００４】
これらのジェスチャーに対して、より操作性を高めたジェスチャーをユーザが実行できるユーザインタフェースへの要望があるが、かかる要望を実現するための手段は知られていない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−７０４１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施の形態は、より操作性を高めたジェスチャーをユーザが実行できるユーザインタフェースを可能とすることができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、実施形態によればコンテンツ再生装置は、再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示する信号を出力するコンテンツ再生部と、現在表示中の前記コンテンツの内容によって実行結果が変化するユーザ操作を認識するジェスチャー認識部と、ユーザが特定の操作に対応する手の形を示しながらその手を動かす動作を行うことによりこの操作を実行する再生位置を調整する再生位置制御部と、前記操作を実行する操作実行部とを備える。
【図面の簡単な説明】
【０００８】
【図１】この発明の一実施形態を示すコンテンツ再生装置のブロック構成図。
【図２】同実施形態のコンテンツ再生装置内部のシーケンス図。
【図３】同実施形態のハンドジェスチャー検知前の状態を説明するために示す図。
【図４】同実施形態の一時停止ハンドジェスチャー検知時の状態を説明するために示す図。
【図５】同実施形態のシーク時の状態を説明するために示す図。
【図６】同実施形態のハンドジェスチャー終了時の状態を説明するために示す図。
【図７】同他の形態に用いられるハンドジェスチャー認識時にも操作を実行する場合のシーケンス図。
【発明を実施するための形態】
【０００９】
以下、本発明の一実施形態を説明する。
（第１の実施形態）
第１の実施形態を図１乃至図６を参照して説明する。
<背景（もととしている技術）>
以下に図面を用いて述べる本コンテンツ再生装置はディスプレイのような表示装置に接続されることにより、時間経過に伴い表示内容が変化するコンテンツを出力するための装置である。例としては動画プレイヤー、写真スライドショー、デジタルサイネージ、RSSティッカー等が挙げられる。本装置では実行するタイミングによって結果が異なる操作がひとつないし複数用意されている。例えば、一時停止や関連リンク表示といった操作がありうる。一時停止操作は、実行時に出力されていた表示内容で画面が停止する。関連リンク表示操作は、実行時の表示内容に関連したリンクをWebブラウザ等を用いて表示する。本装置ではこれらの操作をタッチフリーで実行する。タッチフリーとはユーザが直接装置に触れずに、ユーザの手の形や動きを認識して装置を制御する仕組みである。手の形や動きの認識には装置に接続されたカメラを用い、得られた画像を解析することで行う。
【００１０】
ここで本稿実施形態では、操作に対応する特定の手の形をすることをハンドジェスチャーと定義する。また、ハンドジェスチャーをしたまま手を動かす動作をムーブジェスチャーと定義する。また、これらを合わせてジェスチャーと定義する。
【００１１】
<装置の構成>
次に本コンテンツ再生装置の構成を説明する。図１は、実施形態を示すコンテンツ再生装置のブロック構成図である。
コンテンツ再生装置１（以下単に、装置）は、ジェスチャー認識部１１、再生位置制御部１２、コンテンツ再生部１３、操作実行部１４などを含んで構成されている。またカメラ２は、コンテンツ再生装置１（以下単に、装置）に接続され、装置前方のある領域の映像を撮影しており、取得要求に対して映像の最新のスクリーンショットを画像として提供できるように構成されている。
【００１２】
ジェスチャー認識部１１は、カメラから取得した画像を解析して、ハンドジェスチャーとそれが認識された座標を得る。ハンドジェスチャーの認識はいかなる方法であってもよい。例えば、あらかじめ標準的なハンドジェスチャーの画像を装置内に保存しておき、カメラから取得した画像に似た部分が存在するかを調べるパターンマッチング等の手法が用いられる。
【００１３】
再生位置制御部１２は、コンテンツ再生部１３を制御してシークを行う。またコンテンツ再生部１３は、コンテンツの再生や、ユーザが所望の再生位置を探索するための機能（早送り、巻き戻し、シーク等）を有する。
【００１４】
操作実行部１４は、ジェスチャー認識部から受け取った操作を実行する。操作の実行に必要な情報がある場合コンテンツ再生部１３や外部から情報を取得することができる。例えば関連リンクを表示するといった場合、コンテンツ再生部１３から現在表示している情報を取得し、関連するURLを算出して外部のWebサーバから該当するWebページを取得して表示するといった動作が実行される。
【００１５】
<シーケンス図による動作説明>
次に図 2のシーケンス図を用いて装置内部の動作について説明する。
（ハンドジェスチャー未検出時）
ジェスチャー認識部１１は、カメラ２から画像を短い時間間隔で定期的に取得してハンドジェスチャー判定を行う。ハンドジェスチャー判定では、装置に登録されたハンドジェスチャーが画像内に存在するかを判定する。ハンドジェスチャーが検出されるまで、画像の取得とハンドジェスチャー判定を繰り返す（ステップＳ２１）。
【００１６】
（ハンドジェスチャー検出時）
ハンドジェスチャーが検出されると、ジェスチャー認識部１１は、ハンドジェスチャーに対応している操作の種類を操作実行部１４に通知する（ステップＳ２２）。操作実行部１４はその操作の実行を予約しておく（ステップＳ２３）。続けてジェスチャー認識部１１は、ハンドジェスチャーが検出された座標を開始座標として再生位置制御部１２に通知する（ステップＳ２４）。検出された座標とは、例えばカメラから取得した画像に対し、画像の最も左上の点を原点とするx,y座標で表す方法が採られる。このときハンドジェスチャーが検出された座標を点として算出するが、この算出方法はいかなる方法であってもよく、例えば手と判定されている領域の最も上の点と最も下の点の中央をy座標、最も右の点と最も左の点の中央をx座標とする方法でもよい。さらにジェスチャー認識部１１はハンドジェスチャーの移動判定用に、このとき検出されたハンドジェスチャーを保存しておく（ステップＳ２５）。また、再生位置制御部１２は開始座標が通知されると、コンテンツ再生部１３にシーク開始通知を行うと共に（ステップＳ２６）、そのときの再生位置をコンテンツ再生部１３から取得し、シーク基準位置として保存する（ステップＳ２７）。シークが開始されるとコンテンツ再生部１３は開始前の再生状態（再生中・一時停止中・早送り中等）を保存しつつ（ステップＳ２８）、コンテンツを現在の再生位置の表示内容のまま静止させる。
【００１７】
（ハンドジェスチャー移動時）
再びジェスチャー認識部１１が画像をカメラから取得するとハンドジェスチャー判定を行うが、検出されたハンドジェスチャーが保存中のハンドジェスチャーと同じであった場合、検出された座標を移動座標として再生位置制御部１２に送る。再生位置制御部１２は最初に通知された開始座標と移動座標、及びシーク基準位置を用いてシークを行う（ステップＳ２９）。ここでのシークとは、指示された位置に再生位置を変更し、そこでのコンテンツの表示内容を表示させた状態で静止させる動作を意味する。再生位置制御部１２は開始座標と移動座標の差分から、対応する時間量を算出し、シーク基準位置からその時間量分変更した位置に再生位置を変更するようコンテンツ再生部１３に指示を出す。開始座標と移動座標から変更する時間量を算出する方法はいかなるものであってもよく、例えばx方向に1移動するごとに+0.01秒といった算出方法が採用できうる。また、開始座標と移動座標の差分に比例した時間量にする必要はなく、毎回移動座標を保存することで最新の移動座標とその直前の移動座標を比較してハンドジェスチャーが移動した速度を算出して計算に反映してもよい。例えばハンドジェスチャーを同じ距離だけ動かすとき、速く動かす方が、ゆっくり動かすより変更する時間量が大きいといった算出方法にしてもよい。
【００１８】
（ハンドジェスチャー終了時）
ハンドジェスチャー判定において、ハンドジェスチャーが検出されなくなった場合、あるいは保存されているハンドジェスチャーと異なるハンドジェスチャーが検出された場合、装置は操作実行部１４に予約されている操作の実行を行う。まずジェスチャー認識部１１は再生位置制御部１２にシーク終了通知を送る（ステップＳ３１）。再生位置制御部１２はシーク終了通知をコンテンツ再生部１３に送ることで（ステップＳ３２）、コンテンツ再生部１３は保存していたシーク前の再生状態に戻る（ステップＳ３３）。続けてジェスチャー認識部１１は操作実行部１４に操作実行命令を送ることで（ステップＳ３４）、操作実行部１４は予約されていた操作を実行する（ステップＳ３５）。この実行において必要なデータがあれば、コンテンツ再生部１３からのメタデータ取得や外部データの取得を行う。その後操作が実行され、一時停止や関連リンク表示が行われる。ジェスチャー認識部１１に保存されていたハンドジェスチャーは削除される（ステップＳ３６）。保存されているハンドジェスチャーと異なるハンドジェスチャーが検出された場合については、続けてハンドジェスチャー検出時の処理が実行される。
【００１９】
<ユーザインタフェースの例>
本装置のユーザインタフェースの例を図を用いて説明する。ここでは、車が画面左から右へ走行する動画コンテンツを視聴中、車が画面中央にあるときの再生位置で一時停止を行う場合を例に説明する。
【００２０】
図 3は、本装置において動画コンテンツの再生結果の出力をディスプレイに表示している状態を表している。カメラもディスプレイが向いているのと同じ方向に向けて設置されているとする。また、装置は再生状態であるとする。コンテンツとしては、ケーブルＴＶやＢｌｕ−ｒａｙ（登録商標）によるものその他いろいろと用いることができる。
【００２１】
図 4は図 3の後、ユーザが一時停止したかった再生位置を過ぎてから一時停止ハンドジェスチャーが認識された時点の状況を表している。図の下部にある手Ｈは、ユーザが一時停止のハンドジェスチャーを行っていることを示す。ユーザのハンドジェスチャーを本装置のカメラが撮影して、内部のジェスチャー認識部が一時停止のハンドジェスチャーを検出することでシークが開始される。シーク時は画面は静止状態になる。図の例のように、ハンドジェスチャーが正しく認識されているかどうかをユーザが確認できるよう、認識されているハンドジェスチャーに対応するアイコンを画面上に表示してもよい。
【００２２】
図 5は図 4で行ったハンドジェスチャーのままムーブジェスチャーを行った状況を表している。図の例ではハンドジェスチャーを保ったまま手を左に動かすことで（Ｈ`へ）、対応する量だけ再生位置を戻している。動かしている間はシーク状態であるため、再生位置はムーブジェスチャーに合わせて変化し、映像はその再生位置での静止状態になる。
【００２３】
図 6は図 5の操作を行い所望の再生位置にシークできた時点で、ユーザがハンドジェスチャーを終了した状況を表している。ハンドジェスチャーが検知されなくなると、ジェスチャー認識部は操作実行部に操作の実行を指示し、この例の場合は一時停止が実行される。
【００２４】
（第２の実施形態）
本発明による第２の実施形態を図７を参照して説明する。実施形態１と共通する部分は説明を省略する。
実施形態１で残る問題は、ハンドジェスチャー認識時には処理が実行されず、ハンドジェスチャー終了時に処理が実行される点である。再生位置の調整なしに操作を実行したい場合においては、従来の方式に比べ、ハンドジェスチャー終了の認識が必要な分、時間が余計にかかってしまう。しかし、例えば一時停止はハンドジェスチャー認識時に一度実行された後、再生位置を変更して再度一時停止しても問題ないと推察される。関連リンク表示であっても、ハンドジェスチャー認識時のリンク表示を一度終了し、改めて関連リンク表示を行えばよい。
【００２５】
そこでハンドジェスチャーを認識時にも操作を実行する場合について、シーケンス図を図 7に示す。先の実施例と異なる点は、ハンドジェスチャー検知時に（ステップＳ２１）、ジェスチャー認識部１１は操作実行部１４に操作即時実行命令を送ることで（ステップＳ７２）、これを受けて操作実行部１４が直ちに操作を実行していることである（ステップＳ７３）。この操作即時実行命令には操作の種類の情報も含まれている。このとき、画面は静止状態にはならない。その後、保存ハンドジェスチャーの検知状態に遷移し（ステップＳ７５）、ジェスチャー認識部１１は移動が検知されて初めて、操作の種類通知や開始座標通知を行ってシークを行う状態になる。後は先の実施例と同様の動作となる（Ａ、図２参照）。移動が検知されないまま保存ジェスチャーが検知されなくなった場合は、保存ジェスチャーを削除して最初の状態の戻る。
【００２６】
ユーザがコンテンツのある位置にて一時停止や関連リンク表示の操作を行いたいと思ったときに、ユーザの操作の遅れや装置の認識処理の遅れにより、所望の位置で操作を実行できないことがある。このときユーザは一度早送りや巻き戻し、シークによって再生位置を調整してから所望の操作を実行する。このときの、ユーザがジェスチャーを開始してから終了するまでの動作を説明する。
【００２７】
最初に、従来技術において早送りや巻き戻しを用いる場合を想定する。早送りや巻き戻しにひとつのハンドジェスチャーが割り振られると想定すると、以下の４つの動作になる。
【００２８】
1. 所望操作のハンドジェスチャー（遅れて認識される）
2. 早送り・巻き戻しハンドジェスチャー
3. 所望操作のハンドジェスチャー
4. ジェスチャー終了
次にシークジェスチャーを用いる場合を想定する。シークは連続的に再生位置を変化させるようなジェスチャーが必要であるため、シークを開始するハンドジェスチャーと、手を横（あるいは縦、前後、円）に動かすムーブジェスチャーで行うことが一般的に想定される。
【００２９】
1. 所望操作のハンドジェスチャー（遅れて認識される）
2. シーク開始ハンドジェスチャー
3. シークムーブジェスチャー
4. 所望操作のハンドジェスチャー（一時停止や再生の場合、シークの機能によっては不要）
5. ジェスチャー終了
最後に本実施形態のユーザインタフェースで行った場合を説明する。
1. 所望操作のハンドジェスチャー（遅れて認識される）
2. 再生位置を調整するムーブジェスチャー
3. ジェスチャー終了
すなわち、所望の再生位置で所望の操作を実行できず再生位置を再度調整して実行する場合、本稿提案のユーザインタフェースを用いるのが、最もユーザの動作が少ない。一方で再生位置の調整が不要だった場合は、いずれの方式も、
【００３０】
1. 所望操作のハンドジェスチャー
2. ジェスチャー終了
となるため、調整不要時に実施形態のユーザインタフェースが余計な動作をユーザに要求することはない。これらにより、実施形態のユーザインタフェースはコンテンツ視聴時のユーザの労力を削減することができるため、ユーザはより快適にコンテンツを視聴することができるようになる。
【００３１】
以上説明した実施例のユーザインタフェースによれば、手の形のジェスチャーで操作の種類を、手を動かすジェスチャーで操作を実行する再生位置を決定し、ジェスチャーの終了によって実行する。
【００３２】
ユーザがコンテンツのある位置にて一時停止や関連リンク表示の操作を行いたいと思ったときに、ユーザの操作の遅れや装置の認識処理の遅れにより、所望の位置で操作を実行できないことがある。このときユーザは一度早送りや巻き戻し、シークバー操作を用いて再生位置を調整してから所望の操作を実行する。このとき、再生位置を調整するジェスチャーと、所望の操作に対応するジェスチャーを一つずつ行う従来の方式と比較し、先行技術と比べた実施形態の効果として、ユーザインタフェースはジェスチャーの認識が遅れたのが確認できた時点で手を動かすだけで再生位置を調整でき、かつ所望の操作に対応するジェスチャーをやり直す必要はない。これによりユーザの労力の削減となり、ユーザは快適にコンテンツを楽しむことができる。
【００３３】
（実施形態の補足）
（１）．再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示でき、現在表示中の内容によって実行結果が変化する操作を実行可能であって、ユーザが特定の操作に対応する手の形を示しながらその手を動かす動作を行うことで操作を実行する再生位置を調整でき、動作を終了することで操作を実行することができる装置。
【００３４】
（２）．再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示でき、現在表示中の内容によって実行結果が変化する操作を実行可能であって、ユーザが特定の操作に対応する手の形を示すことで所望の操作が実行され、そのまま手を動かす動作を行うことで操作を実行する再生位置を調整でき、動作を終了することで再度操作を実行することができる装置。
【００３５】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００３６】
１１  ジェスチャー認識部
１２  再生位置制御部
１３  コンテンツ再生部
１４  操作実行部
【手続補正書】
【提出日】平成24年10月25日(2012.10.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示する信号を出力するコンテンツ再生部と、
操作に対応するジェスチャー情報を認識するジェスチャー認識部と、
第１のジェスチャーと前記第１のジェスチャーの動作を含む第２のジェスチャーとに基づいて、前記コンテンツの再生位置を調整する再生位置制御部と、
を備えたコンテンツ再生装置。
【請求項２】
前記第２のジェスチャーが終了すると前記第１のジェスチャーに基づいて操作を実行する操作実行部をさらに備えた請求項１に記載のコンテンツ再生装置。
【請求項３】
前記第２のジェスチャーが開始されると、前記操作実行部は、前記第１のジェスチャーに基づいて操作を実行し、
前記第２のジェスチャーが終了した後、前記操作実行部は、前記第２のジェスチャーの次の他のジェスチャーに基づいて他の操作を実行可能な状態にする、
請求項１に記載のコンテンツ再生装置。
【請求項４】
前記操作は、シーク操作を含む請求項１に記載のコンテンツ再生装置。
【請求項５】
再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示する信号を出力する出力工程と、
第１の操作に対応する第１のジェスチャーと第２の操作に対応する第２のジェスチャーとを認識する認識工程と、
前記第１のジェスチャーと前記第１のジェスチャーの動作を含む前記第２のジェスチャーとに基づいて、前記コンテンツの再生位置を調整する位置制御工程と、
を含んだコンテンツ再生方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上記の課題を解決するために、実施形態によればコンテンツ再生装置は、再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示する信号を出力するコンテンツ再生部と、操作に対応するジェスチャー情報を認識するジェスチャー認識部と、第１のジェスチャーと前記第１のジェスチャーの動作を含む第２のジェスチャーとに基づいて、前記コンテンツの再生位置を調整する再生位置制御部と、を備える。
【手続補正書】
【提出日】平成25年2月8日(2013.2.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示する信号を出力するコンテンツ再生部と、
ジェスチャーを検出するジェスチャー認識部と、
検出された第１のジェスチャーと、前記第１のジェスチャーが検出された後、その検出された位置からの前記第１のジェスチャーの移動量とに応じて第１処理を実行する実行部と、
を備えたコンテンツ再生装置。
【請求項２】
前記第１処理は、前記コンテンツの再生位置を調整する処理を含む、
請求項１に記載のコンテンツ再生装置。
【請求項３】
前記実行部は、前記第１のジェスチャーが検出された後、当該第１のジェスチャーが検出されなくなったとき、若しくは、前記第１のジェスチャーが検出された後、当該第１のジェスチャーとは異なるジェスチャーが検出されたとき、に前記第１処理を実行する、
請求項１に記載のコンテンツ再生装置。
【請求項４】
前記第１処理は、前記コンテンツの再生位置を変更し、変更したその再生位置で前記コンテンツを静止状態で表示させる処理を含む、
請求項１に記載のコンテンツ再生装置。
【請求項５】
前記第１処理は、前記第１のジェスチャーに対応するアイコンを画面上に表示させる処理を含む、
請求項１に記載のコンテンツ再生装置。
【請求項６】
前記ジェスチャー認識部は、カメラを介して取得される画像を解析して前記第１のジェスチャーを検出し、当該第１のジェスチャーの検出位置を、前記画像上に定めた座標系から得る、
請求項１に記載のコンテンツ再生装置。
【請求項７】
前記第１のジェスチャーを移動させるジェスチャーは、第２のジェスチャーであり、
前記実行部は、前記第２のジェスチャーが終了すると前記第１処理を実行する、
請求項１に記載のコンテンツ再生装置。
【請求項８】
前記第１のジェスチャーは、特定の手の形をつくるジェスチャーであり、かつ、当該特定の手の形を移動させるジェスチャーは、第２のジェスチャーであり、
前記実行部は、前記第２のジェスチャーとして前記特定の手の形を移動させるその移動量に応じて、前記コンテンツの再生位置を調整する、
請求項１に記載のコンテンツ再生装置。
【請求項９】
前記第１処理は、シークを含む請求項１に記載のコンテンツ再生装置。
【請求項１０】
再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示しているときに、第１のジェスチャーが検出された場合、この第１のジェスチャーと、前記第１のジェスチャーが検出された後、その検出された位置からの前記第１のジェスチャーの移動量とに応じて第１処理を実行する実行部、
としてコンピュータを機能させるコンテンツ再生プログラム。
【請求項１１】
再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示する信号を出力する出力工程と、
ジェスチャーを検出する工程と、
検出された第１のジェスチャーと、前記第１のジェスチャーが検出された後、その検出された位置からの前記第１のジェスチャーの移動量とに応じて第１処理を実行する工程と、
を含んだコンテンツ再生方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明の実施形態は、ジェスチャー操作可能なコンテンツ再生装置、コンテンツ再生プログラム及びコンテンツ再生方法に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上記の課題を解決するために、実施形態によればコンテンツ再生装置は、再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示する信号を出力するコンテンツ再生部と、ジェスチャーを検出するジェスチャー認識部と、検出された第１のジェスチャーと、前記第１のジェスチャーが検出された後、その検出された位置からの前記第１のジェスチャーの移動量とに応じて第１処理を実行する実行部と、を備える。