(57)【要約】【課題】  手指のジェスチャにより身体的な操作を行なうことができる動画編集システムの提供。【解決手段】  画像投影用計算機１１０に接続されたプロジェクタ１３０からスクリーン１５０に投影された動画編集画面上で、ユーザ１６０は手指のジェスチャにより動画編集の各操作を行なう。画像処理用計算機１２０に接続されたカメラ１４０はそのジェスチャを撮影し、画像処理用計算機１２０が手指の位置を認識する。画像投影用計算機１１０はユーザ１６０の手指の位置からジェスチャの意味を認識し、そのジェスチャに従って画像編集処理を行ない、動画編集画面を再びスクリーン１５０に投影する。上記のインターフェースにより、マウス等で操作していた従来の動画編集システムの問題点を解決した。【選択図】図１
2005301693.tif 000002
【特許請求の範囲】
【請求項１】
動画編集画面を表示し、それに対するユーザのジェスチャをカメラで入力して動画編集操作を行なう動画編集システムにおいて、
前記動画編集画面を表示する動画編集表示手段と、
前記カメラが撮影した画像を入力する画像入力手段と、
入力した画像からユーザの手指の位置を認識する手指認識手段と、
前記ユーザの手指の位置からユーザのジェスチャの意味を認識するジェスチャ認識手段と、
前記ジェスチャに対応した動画編集を行なう動画編集手段と
を備え、動画編集の結果を動画編集画面として表示する
ことを特徴とする動画編集システム。
【請求項２】
請求項１に記載の動画編集システムにおいて、
さらに、ユーザの手指が写る前の画像を記憶する初期画面記憶手段を備えており、
前記手指認識手段は、入力した前記画像と前記初期画面記憶手段からの画像とを比較してユーザの手指の領域を取得し、円形テンプレートマッチングによりユーザの指先の位置を取得して、ユーザの手指の位置を認識する
ことを特徴とする動画編集システム。
【請求項３】
請求項２に記載の動画編集システムにおいて、
前記手指認識手段における前記円形テンプレートマッチングは、ユーザの手の中心の位置を中心とする正方形の領域に対して行なう
ことを特徴とする動画編集システム。
【請求項４】
請求項１〜３のいずれかに記載の動画編集システムにおいて、
前記動画編集表示手段は、前記動画編集画面上に複数の動画を横一列に並べ、それぞれの動画を再生する際に、隣り合う動画が右から左に行くにつれ再生位置が一定時間ずつ遅れた状態で再生する
ことを特徴とする動画編集システム。
【請求項５】
請求項１〜４のいずれかに記載の動画編集システムにおいて、
前記ジェスチャ認識手段は、前記ユーザの手指の位置が、前記編集画面上の同じ場所で手を開いた状態から手を閉じた状態になった場合に、ユーザがその位置に表示されている画像又は動画をつかんだと認識する
ことを特徴とする動画編集システム。
【請求項６】
請求項１〜５のいずれかに記載の動画編集システムにおいて、
前記ジェスチャ認識手段は、前記ユーザの手指の位置が、前記編集画面上の同じ場所で指を一本出した状態である場合に、ユーザがその位置に表示されている画像又は動画を選択したと認識する
ことを特徴とする動画編集システム。
【請求項７】
請求項１〜６のいずれかに記載の動画編集システムにおいて、
前記ジェスチャ認識手段は、前記ユーザの両手の手指の位置がそれぞれ、前記編集画面上の同じ場所で指を一本出した状態である場合に、ユーザがそれぞれの手の位置に表示されている画像又は動画およびそれらの間に表示されている画像又は動画を選択したと認識する
ことを特徴とする動画編集システム。
【請求項８】
請求項７に記載の動画編集システムにおいて、
前記ジェスチャ認識手段は、前記ユーザが画像又は動画を選択した後に、両手を近づけた場合に、選択した画像又は動画を一つに連結したと認識する
ことを特徴とする動画編集システム。
【請求項９】
請求項１〜８のいずれかに記載の動画編集システムにおいて、
前記ジェスチャ認識手段は、前記ユーザの手指の位置が、手を開いた状態のまま上下左右のいずれかに移動した場合、その移動方向および移動速度および移動距離を、動画編集の量であると認識する
ことを特徴とする動画編集システム。
【請求項１０】
請求項１〜９のいずれかに記載の動画編集システムの機能をコンピュータ・システムに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャ認識を用いた動画編集システムに関するものである。
【背景技術】
【０００２】
近年、デジタルビデオやデジタルカメラの普及に伴い、自分で撮影した動画や静止画をＰＣへ保存し編集作業を個人的に行うことが可能になった。撮影機材がアナログであった頃は、動画の編集作業にはジョグシャトルやスライダなどさまざまなダイヤルやボタンの並んだ入力機器（以下「アナログ入力機器」という）を備えた固有の機器が用いられてきた。これらの入力機器は、全ての操作情報が常に目で見えるように設計されているため、一見複雑なものであるかのように見える。そのため初心者には扱いづらいものと考えられるが、ユーザが使用を重ねるにつれて動作方法を身体的感覚により覚え、直感的な動作が可能となる。そのため、ユーザのスキルが上がるにつれて、よりリアルタイムでの操作が可能になるといった特徴を兼ね備えていると言える。
最近では、例えば非特許文献１，非特許文献２，非特許文献３などの、映像データをＰＣ上で編集するためのソフトウェアが広く普及している。その理由として、先に挙げた固有の機器を用意することなく編集作業を行うことができ、さらにマウスの扱いに慣れているユーザであれば、すぐに利用できるという点が挙げられる。
しかしながら、アナログ入力機器が用いられてきた作業を、上述した従来の動画編集ソフトウェアのようなＧＵＩアプリケーション上でマウスを用いて行うことの問題点として、以下のものが考えられる。
【０００３】
（１）アナログ入力機器で実現されていたような身体的な動作が行なえないため、操作を行なった量などを身体的に理解することができない。このため、操作に身体的経験が反映されず、スキルが操作に反映されない。
（２）アナログ入力機器では複数の手指で同時操作を行いながら、入力がどのように出力に反映されるかをリアルタイムに知ることができるが、マウスを用いた入力では、一般的にポインティングを行える箇所は１つに限られている。このため、同時に複数の操作を行うことができない。
（３）従来のＧＵＩアプリケーションではプルダウンメニューが用いられていることが多く、操作に必要な複数の情報を常に目で見えるようにすることが難しい。
（４）モニターに大型のディスプレイを用いる際にマウスが必ずしも適切な入力であるとは限らない。すなわち、大型のディスプレイを用いる場合には、マウスカーソルを画面の端から端まで移動させるために、マウスの相対的な移動を何度も繰り返す必要がある。これを解決するために、マウスが描く軌跡の速度を上げる設定を行うこともできるが、その場合には細かいマウスの移動を行うことが困難となる。
【０００４】
これらの問題点を解決する方法として、大型ディスプレイを用い、その入力機器としてアナログ入力機器の良さを持ち合わせたインタフェースを構築することが考えられる。
発明者らは机型実世界指向インタフェースであるEnhancedDeskの研究を進めてきた（例えば、非特許文献４）。EnhancedDeskでは手指の位置やジェスチャおよび物体の位置をシステムへの入力とすることができ、そのアプリケーションとして両手を用いる描画ツールや少人数での会議を支援するシステムなどを実現した（例えば、非特許文献５，非特許文献６）。これらのシステムでは、手指を入力手段とすることにより身体的な操作を可能とし、量の指定を身体的に感じながらより直感的にシステムを操作することができる。また、個々の指先の位置を認識しているため、最大で同時に１０箇所のポインティングを行うことができ、同時に複数のデジタル情報を操作することが可能である。さらにプロジェクタの投影面として机を用いているため、大型ディスプレイとしての環境を実現している。これらの点から、従来はアナログ入力機器が用いられてきた作業を大型のディスプレイを用いてデジタル的に行う環境として、EnhancedDeskは有効なものの１つであると思われる。
しかしながら、従来の動画編集ソフトウェア（例えば非特許文献１〜３）の問題点を解決し、ジェスチャで動画編集作業を指示することができる動画編集システムは開発されておらず、上記の問題点は解決されていない。
【０００５】
【非特許文献１】Adobe, Premiere. http://www.adobe.com/products/premiere/
【非特許文献２】Apple, Final Cut Pro. http://www.apple.com/finalcutpro/
【非特許文献３】Apple, iMovie. http://www.apple.com/imovie/
【非特許文献４】小林貴訓, 他, “EnhancedDesk のための赤外線画像を用いた実時間指先認識インタフェース”, 日本ソフトウェア科学会WISS 1999, pp.49-54, 1999.
【非特許文献５】陳欣蕾, 他, “机型インタフェースにおける両手直接操作による描画システム”, 日本ソフトウェア科学会WISS 2001, pp.179-184, 2001.
【非特許文献６】永嶋慎一郎, 他, “EnhancedTable: 紙を取りまくミーティング支援システム”, 日本ソフトウェア科学会WISS 2002, pp.111-116, 2002.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の課題は、アナログ入力機器が持っていた長所である、操作の直感性やスキルの作業性への反映が可能であり、さらに同時複数操作が行なえる動画編集システムを提供し、従来の動画編集ソフトウェアの問題点を解決することである。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明は、動画編集画面を表示し、それに対するユーザのジェスチャをカメラで入力して動画編集操作を行なう動画編集システムにおいて、前記動画編集画面を表示する動画編集表示手段と、前記カメラが撮影した画像を入力する画像入力手段と、入力した画像からユーザの手指の位置を認識する手指認識手段と、前記ユーザの手指の位置からユーザのジェスチャの意味を認識するジェスチャ認識手段と、前記ジェスチャに対応した動画編集を行なう動画編集手段とを備え、動画編集の結果を動画編集画面として表示することを特徴とする動画編集システムである。
動画編集システムは、さらに、ユーザの手指が写る前の画像を記憶する初期画面記憶手段を備えており、前記手指認識手段は、入力した前記画像と前記初期画面記憶手段からの画像とを比較してユーザの手指の領域を取得し、円形テンプレートマッチングによりユーザの指先の位置を取得して、ユーザの手指の位置を認識することを特徴とすることもできる。
また、前記手指認識手段における前記円形テンプレートマッチングは、ユーザの手の中心の位置を中心とする正方形の領域に対して行なうことを特徴とすることもできる。
また、前記動画編集表示手段は、前記動画編集画面上に複数の動画を横一列に並べ、それぞれの動画を再生する際に、隣り合う動画が右から左に行くにつれ再生位置が一定時間ずつ遅れた状態で再生することを特徴とすることもできる。
【０００８】
前記ジェスチャ認識手段は、前記ユーザの手指の位置が、前記編集画面上の同じ場所で手を開いた状態から手を閉じた状態になった場合に、ユーザがその位置に表示されている画像又は動画をつかんだと認識することを特徴とすることもできる。
また、前記ジェスチャ認識手段は、前記ユーザの手指の位置が、前記編集画面上の同じ場所で指を一本出した状態である場合に、ユーザがその位置に表示されている画像又は動画を選択したと認識することを特徴とすることもできる。
また、前記ジェスチャ認識手段は、前記ユーザの両手の手指の位置がそれぞれ、前記編集画面上の同じ場所で指を一本出した状態である場合に、ユーザがそれぞれの手の位置に表示されている画像又は動画およびそれらの間に表示されている画像又は動画を選択したと認識することを特徴とすることもできる。さらに、前記ユーザが画像又は動画を選択した後に、両手を近づけた場合に、選択した画像又は動画を一つに連結したと認識することを特徴とすることもできる。
また、前記ジェスチャ認識手段は、前記ユーザの手指の位置が、手を開いた状態のまま上下左右のいずれかに移動した場合、その移動方向および移動速度および移動距離を、動画編集の量であると認識することを特徴とすることもできる。
上記のいずれかに記載の動画編集システムの機能をコンピュータ・システムに実現させるためのプログラムも、本発明である。
【発明の効果】
【０００９】
本発明の画編集システムは、画面への入力に手指認識システムを用いている。このため、ユーザはジェスチャにより動画編集の各操作を行なうことができる。本発明により、従来のアナログ入力機器が持ち合わせていた身体的な動作に基づく入力や同時複数操作が可能となり、従来の動画編集ソフトウェアの問題点を解決することができる。
【発明を実施するための最良の形態】
【００１０】
以降、本発明の動画編集システムの実施形態を詳細に説明する。
＜１．システム構成＞
まず、図１に示すシステム構成図を参照しながら、本実施形態の動画編集システムのシステム構成を説明する。
図１に示すように、本実施形態の動画編集システムは、手指認識を行う画像処理用計算機１２０と、動画編集処理およびスクリーン１５０への画像投影を行なう画像投影用計算機１１０とを接続し、画像投影用計算機１１０にはプロジェクタ１３０を、画像処理用計算機１２０にはカメラ１４０を、それぞれ接続して構成している。プロジェクタ１３０およびカメラ１４０は、スクリーン１５０の上方に設置する。ここで、カメラ１４０の画像取得領域とプロジェクタ１３０による投影範囲はほぼ同じ広さとする。なお、本実施形態ではプロジェクタ１３０を用いてスクリーン１５０への投影を行なう場合を例として説明するが、プロジェクタ１３０を用いず、通常の大型ディスプレイ等に画面を表示してもよい。
ユーザ１６０は、プロジェクタ１３０からスクリーン１５０に投影された画面上で、手指を用いたジェスチャにより動画編集の各操作を行なう。カメラ１４０で撮影されるスクリーン１５０上の画像は画像処理用計算機１２０に送信され、画像処理用計算機１２０でその手指の位置を認識する。認識した手指の位置を画像投影用計算機１１０に送ることで、プロジェクタ１３０で投影された画面上のオブジェクト（画像や動画など）と手指とのインタラクションを実現している。すなわち、画像投影用計算機１１０では画像処理用計算機１２０から送られた手指の位置をもとにユーザ１６０のジェスチャを認識し、そのジェスチャに対応して動画編集の各処理を行なって、動画編集後の画面を再びプロジェクタ１３０からスクリーン１５０へ投影する。
【００１１】
画像投影用計算機１１０には「ジェスチャ認識プログラム」を実装し、画像処理用計算機１２０から送られた手指の位置からユーザ１６０のジェスチャの意味を認識するジェスチャ認識処理を行なう。また、「動画編集アプリケーション」を実装しており、ユーザ１６０の操作による動画編集処理を行なう。
一方、画像処理用計算機１２０には「手指認識プログラム」および「画像処理ライブラリ」を搭載し、手指認識プログラムは、この画像処理ライブラリを用いてカメラ１４０がとらえたユーザ１６０の手指の位置（スクリーン１５０上の位置）を認識する手指認識処理を行なう。発明者らは従来、指先を認識する画像処理のために画像処理ボードなどのハードウェアを用いてきた。ハードウェアで画像処理を行なうことの利点は、低スペックのコンピュータでも高度な画像処理を行える点である。しかし、ハードウェアで処理を行うにはコンピュータ１台に対して１つの処理ボードが必要となる。新たに画像処理を行うコンピュータを増やす場合、増えたコンピュータの数だけ画像処理ボードが必要になるため拡張性の欠如に繋がる。近年では、コンピュータの処理速度が格段に速くなってきたため、もはや画像処理をハードウェアに依存する必要性が無くなっており、逆にハードウェアを用いることの欠点が目立ってきた。
そこで本実施形態では、例えば、ソフトウェアで画像処理の行なえる画像処理ライブラリOpenCV (Intel Open Computer Vision Library) を画像処理用計算機１２０に搭載する。これにより利便性、拡張性の高いシステムとすることができる。さらに当ライブラリはオープンソースで公開されているため、より柔軟なシステムを構築することが可能であると考えられる。
【００１２】
また、カメラ１４０には例えばIEEE1394カメラを用いる。赤外線カメラやCCDカメラを用いることもできるが、これらのカメラは入出力端子がアナログであるため、デジタル信号で撮った画像データをアナログ信号へ変換しコンピュータに取り込み、再びデジタル信号へ戻す必要がある。また、カメラからの入力を取り込むには特殊なハードウェアが必要である。このため、本実施形態ではIEEE1394カメラを用いることでこれらの問題点を解決する。IEEE1394はコンピュータ環境に適した新たなインタフェース規格である。データのリアルタイム転送に優れ価格も安価なため、導入が容易であり現在広く普及している。このインタフェースを備えたIEEE1394カメラを用いることで、より汎用的なシステムとなると考えられる。
また、本実施形態では実時間での処理を目的としているため、手指認識の高速化を実現する必要がある。従って、カメラ１４０の画像から手指の領域を認識する際、スクリーン１５０と手指との差分を取りやすくする必要がある。このため、スクリーン１５０には単色である白いテーブルを使用する。
なお、図１のシステム構成図においては、画像処理用計算機１２０と画像投影用計算機１１０の２台の計算機を用意しているが、これに限らず、例えば画像処理用計算機や画像投影用計算機を必要に応じて複数台用いることも可能であるし、１台の計算機で画像処理と画像投影の両方を行なうようにしてもよい。
【００１３】
＜２．手指認識＞
次に、本実施形態の動画編集システムにおける、手指認識処理の流れについて説明する。上述したように、手指認識処理は、画像処理用計算機１２０に実装されている手指認識プログラムが、搭載された画像処理ライブラリ（本実施形態では例えば上述のOpenCV）を用いて、カメラ１４０がとらえたユーザ１６０の手指の位置（スクリーン１５０上の位置）を認識する処理を行なう処理である。
手指認識処理を起動する前に、プロジェクタ１３０から動画編集アプリケーションの初期画面をスクリーン１５０に投影する。
手指認識処理を起動すると、まず、上記の初期画面が投影された状態のスクリーン１５０の画像をカメラ１４０より取得し、これを初期画像として記憶する。以降、カメラ１４０が実時間でキャプチャした画像と上記で記憶した初期画像との差分により、手指の領域を取得する。その後、ユーザ１６０のジェスチャにより動画編集が行なわれるなどして動画編集アプリケーションの画面が遷移した場合には、遷移後の画面を初期画像として記憶し、再び上述の方法で手指の領域を取得する。
手指の領域を取得することにより、スクリーン１５０に投影された動画編集画面上のどのオブジェクト（画像や動画など）の上にユーザ１６０の手が置かれているかを認識することができる。
【００１４】
また、本実施形態では手を開いた状態、閉じた状態、指を１本出した状態などのジェスチャを用いる。このため、スクリーン１５０上にあるユーザ１６０の指先を認識する必要がある。
指先の認識には、指先形状の輪郭が円に近いことに基づき、円形テンプレートによるテンプレートマッチングを用いる。テンプレートマッチングは、処理結果に信頼性がある反面、計算コストがかかるという問題点が挙げられている。そこで本実施形態では処理速度を上げるため、あらかじめ手のひらの中心を求めておき、その点を中心とした、60pixel×60pixelの正方形の領域にのみテンプレートマッチングを行うものとする。60pixelの値は、カメラからキャプチャした画像において手のひらが全て入る大きさとして、経験上設定された値であるが、他の適切な値であってもよい。また、テンプレートとして円を用いているため、通常は回転に弱いテンプレートマッチングの処理を問題無く行うことができる。
手指認識処理は、上述のようにしてユーザ１６０の手指の位置を認識する。
本実施形態ではIEEE1394カメラおよびOpenCVを用いているため、従来の赤外線カメラやCCDカメラを用い、ハードウェアで画像処理を行なっていた場合に比べて、手指認識の処理速度が改善された。
【００１５】
＜３．手指認識を用いた動画編集システム＞
本実施形態の動画編集システムでは、アナログ入力装置に代わる入力装置としてユーザの手指を用いる。マウスなどの媒体を用いること無くシステムの操作が行えるため、ユーザはより直感的に操作することが可能になると考えられる。本実施形態の動画編集システムで使用するライブラリとして、例えば、動画ファイルの操作に長けているJMF(Java(R) Media Framework)2.1.1とQuickTime for Java(R)を用いる。
【００１６】
（３−１．ジェスチャの認識）
ユーザ１６０は、スクリーン１５０に投影された動画編集アプリケーションの画面上で手指によるジェスチャを行なって、本実施形態の動画編集システムの各操作を行なう。図２は、動画編集アプリケーションの画面の例である。図２に示すように、本実施形態における動画編集の画面には幾つものオブジェクト（画像や動画など）が表示されており、ユーザは所望のオブジェクトの真上で、手指によるジェスチャを行なう。なお、図２に示す動画編集アプリケーションの画面構成については、後で詳しく説明する。
【００１７】
ジェスチャ認識処理は、画像投影用計算機１１０で行なわれる。上述したように、画像処理用計算機１２０の手指認識システムでユーザの手指の位置が認識されると、その手指の位置の情報を画像投影用計算機１１０が受け取って、ジェスチャ認識処理によりユーザのジェスチャの意味を認識する。本実施形態では、図３の（ａ）〜（ｄ）に示す４種類の意味を認識する。
（ａ）スクリーンに投影されているオブジェクトの上で、指を開いた状態（３１１）から、閉じる（３１２）ジェスチャ：そのオブジェクトをつかんだと認識される。
（ｂ）スクリーンに投影されているオブジェクトの上で指を一本出したジェスチャ：そのオブジェクトを選択したと認識される。また両手でこのジェスチャを行った場合、左手の指で選択されたオブジェクトから右手の指で選択されたオブジェクトまでが、操作の対象として選択されたと認識される。
（ｃ）手を開いた状態で上下左右に動かすジェスチャ：手が移動した量（移動方向、移動距離、移動速度など）を、システムへ渡すジェスチャであると認識される。
（ｄ）両手でそれぞれ上記（ｂ）の選択を行ない（図では左手３４１でオブジェクト３４３を、右手３４２でオブジェクト３４５を選択している）、その両手を離した状態から近付けるジェスチャ：両手の下にあるオブジェクト（３４３，３４４，３４５）を、１つ（３４７）にまとめたと認識される。ここで、図示されているオブジェクト３４６は、選択されていない。
なお、本実施形態のジェスチャ認識プログラムは、手を開いた状態や閉じた状態、指を１本出した状態のまま一定時間（例えば、０．５秒など）が経過した場合に、それらをジェスチャとして認識する。また、上記の（ａ）〜（ｄ）は一例であり、同様に他のジェスチャにも意味を持たせることが可能である。
【００１８】
（３−２．ジェスチャによる動画編集）
手指認識を用いて動画編集を行なう動画編集システムを構築するにあたり、本実施形態では、従来の一般的なＰＣ向けの動画編集システムで行われる操作の中から、次の５つの主要な機能に対してアナログ入力機器が持つ特徴を取り入れることにより、動画編集システムの実装を行なった。
（Ａ）選択
（Ｂ）移動
（Ｃ）動画ファイルの早送り／巻戻し
（Ｄ）動画の切り取り
（Ｅ）動画の連結
すなわち、本実施形態の動画編集システムを用いれば、ユーザは上述の（ａ）〜（ｄ）の４つのジェスチャの組み合わせにより、（Ａ）〜（Ｅ）に示す動画編集の機能を利用することができる。
なお、上記の（Ａ）〜（Ｅ）の動画編集機能は一例であり、同様に、他の機能を実装することも可能である。
【００１９】
以降、図２に示す動画編集アプリケーションの画面および、その画面上での操作の例を示した図４〜８を参照しながら、「元になる動画ファイルから必要な部分を切り出し、切り出した動画を連結して新たな動画ファイルを作成する」操作を例として、上記の（Ａ）〜（Ｅ）の操作を説明する。なお、本実施形態の動画編集アプリケーションで行なわれる（Ａ）〜（Ｅ）の動画編集の処理自体や、画面表示の処理自体は、従来の動画編集ソフトウェアと同様である。
【００２０】
図２は、本実施形態の動画編集アプリケーションの画面構成の一例である。画面２００は、スクリーン（図１に示したスクリーン１５０）に投影される画面である。ユーザは、画面２００上で手指のジェスチャを行なう。画面２００の各エリア２１０〜２８０には、ユーザがその上で操作を行なうためのオブジェクト（画像や動画など）を表示する。
画面右上のエリア２２０は、本実施形態の動画編集システムで編集される元となる動画ファイルを表示するエリア（以降「ｃｌｉｐＤｏｃｋ」と呼ぶ）である。元となる動画ファイル（例えばｍｏｖファイルなど）は、例えば、あらかじめ画像投影用計算機１１０の特定のディレクトリ内に記憶しておき、それをアプリケーション起動時に自動的に読み出してｃｌｉｐＤｏｃｋ２２０に表示するようにするとよい。ユーザはスクリーンに投影されたｃｌｉｐＤｏｃｋ２２０から編集したい動画ファイルを選択する。ｃｌｉｐＤｏｃｋ２２０の下にあるエリア２３０には、ｃｌｉｐＤｏｃｋ２２０に表示されている動画ファイルの再生時間を表示する。
画面中央のエリア２５０は、動画ファイルを再生表示するエリア（以降「ｆｌｏｗＶｉｅｗｅｒ」と呼ぶ）であり、ユーザはここで動画ファイルを閲覧して必要な部分の切り取りなどの操作や、動画の早送りや巻戻しなどを行なう。ｆｌｏｗＶｉｅｗｅｒ２５０の上部のエリア２４０（以降「ｔｉｍｅｌｉｎｅＶｉｅｗｅｒ２４０」と呼ぶ）には、再生表示している動画ファイルの再生位置（タイムライン）などを表示する。
【００２１】
画面左のエリア２１０は、ユーザが操作中の画像を表示するエリアであり、以降「ｉｎ／ｏｕｔＶｉｅｗｅｒ」と呼ぶ。例えば切り取りの操作の場合に、ユーザが指定した切り取りの始点の画像を、終点を指定するまでｉｎ／ｏｕｔＶｉｅｗｅｒ２１０に表示して、ユーザに分かりやすいようにしている。また、画面中央下のエリア２６０は、切り取った動画ファイルをサムネイル等で表示するエリアであり、以降「ｃｌｉｐＶｉｅｗｅｒ」と呼ぶ。実際には、例えば、切り取りの操作が行なわれると、切り取られた部分を新たな動画ファイルとして別のディレクトリ（ｃｌｉｐＶｉｅｗｅｒ用に用意したディレクトリ）に格納する。
ｃｌｉｐＶｉｅｗｅｒ２６０の下にあるエリア２７０は、ｃｌｉｐＶｉｅｗｅｒ２６０に表示された動画ファイルの中からユーザが加工（例えば連結など）の対象として指定したものを表示するエリアであり、以降「ｃｏｍｐｉｌｅＶｉｅｗｅｒ」と呼ぶ。実際には、例えば、上述のｃｌｉｐＶｉｅｗｅｒ２６０に表示している動画ファイル（切り取った動画ファイル）を記憶しているディレクトリ（ｃｌｉｐＶｉｅｗｅｒ用のディレクトリ）から、別のディレクトリ（ｃｏｍｐｉｌｅＶｉｅｗｅｒ用のディレクトリ）へのファイルの移動を行なう。
画面下のエリア２８０には、ｃｏｍｐｉｌｅＶｉｅｗｅｒ２７０にある動画ファイルの合計再生時間を表示する。
【００２２】
（１）動画ファイルの選択
まず、撮影などで得た動画ファイルから、編集したいものを選択する。上述したように、撮影された動画ファイルは、あらかじめ、画像投影用計算機１１０に記憶されており、画面２００の右上のｃｌｉｐＤｏｃｋ２２０には、その動画ファイルを表示している。
ユーザがｃｌｉｐＤｏｃｋ２２０内で指を一本出した状態のまま一定時間（例えば、０．５秒）静止するジェスチャを行うと、指の下に表示されている動画ファイルが選択され、後述するｆｌｏｗＶｉｅｗｅｒ２５０での再生が開始される。この時、再生しているファイルがどれであるか分かりやすくするため、ｃｌｉｐＤｏｃｋ２２０内に表示されている画像の表示方法を変更するとよい。例えば、選択された画像を実際の色で表示し、それ以外のファイルを赤みがかった画像で表示する。
【００２３】
（２）動画ファイルの再生
動画編集の作業の中で、撮影した動画ファイルから必要な部分を切り出す、切り取りの作業がある。この作業は、動画ファイルの中で必要な始点と終点を指定することにより行われる。その際にユーザは前後の場面との比較を行うことで場面を特定する。しかし、従来の一般的な動画編集ソフトウェアでは動画ファイルを再生表示する画面が一つであることが多く、マウスによりタイムラインを移動させながら動画ファイルの再生・巻戻し・早送りを何度も繰り返すことで場面の特定を行っている。
そこで、本実施形態では、編集対象としている動画ファイルを同一画面内に複数枚（本実施形態では例えば７枚とする）横に並べた状態で動画ファイルの再生を行うｆｌｏｗＶｉｅｗｅｒ２５０を備えている。
ｆｌｏｗＶｉｅｗｅｒ２５０での再生の様子を、図４に示す。ｆｌｏｗＶｉｅｗｅｒ２５０には４１０〜４７０まで７つの画像で同じ動画ファイルを再生表示する。ここで、本実施形態では、隣り合う画像が右から左に行くにつれ再生位置が一定時間（例えば100msec）ずつ遅れた状態で再生する。これによりユーザには、動画ファイルが右から左に流れていくかのように見える。そのためユーザは動画ファイルの流れを一度に見ることができ、前後の場面との比較を自然に行うことで、従来のタイムラインによる方法に比べ、ユーザの求めている場面を素早く選択することが可能となる。また、ｆｌｏｗＶｉｅｗｅｒ２５０の上部には、各々のエリアについて、動画ファイルの現在の再生位置をタイムライン等で表示するｔｉｍｅｌｉｎｅＶｉｅｗｅｒ２４０を備えている。
【００２４】
（３）再生速度の制御
ユーザが動画ファイルの再生の制御（早送り／巻戻しなど）を行なうにあたって、従来の動画編集ソフトウェアに実装されているスライドバーを用いたインタフェースでは、動画の再生位置が一目でわかるという利点がある一方、スライドバーが画面比率と比べ非常に小さいためポインティングが難しく、マウスを用いて正確に場面の位置を探しにくいという問題点が挙げられる。その問題点を補うため、キーボードで数値を入力する方法などがとられるが、動画ファイルの再生位置を数値入力により決定することは直感的とは言えず、非常に不自然なインタフェースであると言える。
その解決法の１つとして、マウスの移動量を動画の表示速度や表示サイズに対応させる方法がある(例えば、http://www.yugop.com/)。この方法では、マウスを左右に動かすことにより、オブジェクトを対応する方向へ移動させるが、その際に画面中央から離れるにつれオブジェクトの移動速度も速くなる。マウスの移動距離とオブジェクトの移動速度が対応しているため、ユーザにとって理解し易い操作方法であると言える。
本実施形態でも、手の移動方向や移動距離により、動画ファイルの再生を制御する。手を開いた状態で手をスライドさせる（図３（ｃ）に示すジェスチャ）と、その移動方向や移動距離により、再生されている動画の再生速度や、表示サイズを変更する。
【００２５】
本実施形態では、動画ファイルの再生のコントロール（早送り／巻戻し）として二種類のインタフェースを構築した。一つは手の移動した位置により決定する方法である。この方法では、スクリーンに投影された画面の中心を原点とし、手の座標を用いて再生スピードを変更する。例えば画面の中心から右を早送り、中心から左を巻戻しとして、手を画面の一番端へスライドさせることで動画ファイルの早送り、巻戻しを高速で行ない、手が画面の中心に近づくにつれそのスピードを遅くする。
もう一つは、スライドさせた手の移動速度により再生スピードを変更する方法である。これは手をスライドさせた速度により、動画ファイルの再生スピードが変化する。具体的には手を右方向へスライドさせた場合、再生速度が上がり、左方向へスライドさせた場合には再生速度が下がる。上昇率、下降率ともに手をスライドさせる速度により増減し、より速くスライドさせた場合には、一度に再生速度が５段階変化するなどの制御を行なう。これにより、ユーザは場面の位置を素早く、かつ身体的に変更することが可能である。
手を右方向にスライドさせることにより再生速度を上げ、左方向にスライドさせることにより再生速度を下げる場合において、図５（ａ）〜（ｃ）に、再生速度を上げるジェスチャを示す。図５（ａ）に示すように、まず、スクリーン上に投影された画面のｆｌｏｗＶｉｅｗｅｒ２５０の上で左手５１０を開いた状態にする。次に（ｂ）（ｃ）に示すように、左手５１０を開いたまま右方向へスライドさせると、ｆｌｏｗＶｉｅｗｅｒ２５０で再生されている動画ファイルの再生速度を上げることができる。  
【００２６】
また、開いた手を上下にスライドさせるジェスチャにより、ｆｌｏｗＶｉｅｗｅｒ２５０に並んだ動画ファイルの表示サイズを変更する。例えば、同時に表示する画像の数の初期値を図４に示したように７つとして、開いた手を上にスライドさせる程、画像の表示サイズを小さくし、同時に表示する画像の数を増やす。逆に下にスライドさせる程、表示サイズを大きくし、同時に表示する画像の数を減らす。これは、場面の選択候補を増やしたい場合や、場面を大きく表示したい場合に便利である。
このように、ｆｌｏｗＶｉｅｗｅｒ２５０で隣の場面と同時に比較しながら、身体的な操作（ジェスチャ）により再生・早送り・巻戻しを行うことができるため、従来のスライドバーや数値入力よりも、ユーザが求める場面の位置を感覚的に探しやすい。
【００２７】
（４）動画ファイルの切り取り
ユーザがｆｌｏｗＶｉｅｗｅｒ２５０上で「つかむ」ジェスチャ（上述の図３（ａ）のジェスチャ）を行うと、手の真下にある場面で切り取りの始点と終点を決定することができる。切り取りの始点が指定されると、図２に示す画面２００のｉｎ／ｏｕｔＶｉｅｗｅｒ２１０に、その場面の画像が表示され、終点が指定されると、自動的に、もとの動画ファイルから始点から終点まで動画の切り取りを行なう。切り取られた動画は画面下部のｃｌｉｐＶｉｅｗｅｒ２６０に表示される。
ユーザが切り取りの始点を指定するジェスチャを、図６（ａ）〜（ｃ）に示す。ここでは右手６２０で始点を指定する操作を行なっている。まず、（ａ）に示すように、ｆｌｏｗＶｉｅｗｅｒ２５０上で始点の場面が表示されている上に、右手６２０を開いた状態で置き、次に、（ｂ）に示すように手を閉じて、「つかむ」ジェスチャを行なう。これで、切り取りの始点が指定され、（ｃ）に示すように、ｉｎ／ｏｕｔＶｉｅｗｅｒ２１０に始点の画像が表示される。次に、同様の「つかむ」ジェスチャで、終点を指定する。
【００２８】
（５）切り取った動画ファイルの連結と再生
次に、切り取った複数の動画ファイルを連結して、１つの動画ファイルを作成する。
ユーザはまず、ｃｌｉｐＶｉｅｗｅｒ２６０内の画像上で、選択のジェスチャ（図３（ｂ）に示すジェスチャ）を行なって、連結したい動画ファイルを選択し、それをｃｏｍｐｉｌｅＶｉｅｗｅｒ２７０に移動させる。また、逆のジェスチャを行うことでｃｏｍｐｉｌｅＶｉｅｗｅｒ２７０に表示された動画ファイルをｃｌｉｐＶｉｅｗｅｒ２６０へ戻すことも可能である。
また、図７（ａ）〜（ｃ）に示すように、両手により選択のジェスチャを行った場合、選択された両ファイルとその間のファイルを全て移動することができる。この場合、まず図７の（ａ）に示すようにｃｌｉｐＶｉｅｗｅｒ２６０で右手７２０と左手７１０により１つずつ画像を選択（図３（ｂ）に示すジェスチャ）する。次に、（ｂ）に示すように両手の指を出したままｃｏｍｐｉｌｅＶｉｅｗｅｒ２７０に移動させる。すると、ｃｌｉｐＶｉｅｗｅｒ２６０に表示されていた動画ファイルのうち、ユーザの両手の指で選択された２つのファイルと、その２つのファイルの間に表示されていた１つのファイルの、計３つのファイルが、図７（ｃ）に示すように、ｃｏｍｐｉｌｅＶｉｅｗｅｒ２７０に表示され、ｃｌｉｐＶｉｅｗｅｒ２６０から削除される。
上記のジェスチャを繰り返し行なって、ユーザは切り取った動画ファイルの中から、連結したい動画ファイルのみを選択することができる。
画面右下にはｃｏｍｐｉｌｅＶｉｅｗｅｒ２７０に表示された動画ファイルの合計再生時間２８０が自動的に表示される。
【００２９】
次に、ｃｏｍｐｉｌｅＶｉｅｗｅｒ２７０に移動した動画ファイルを連結させる。ｃｏｍｐｉｌｅＶｉｅｗｅｒ２７０上で、両手の指を一本ずつ出して、それぞれ始まりとなる動画ファイルと終わりとなる動画ファイルを選択し、それらの指を近付けるジェスチャ（図３（ｄ）に示すジェスチャ）を行なう。そうすると、ｃｏｍｐｉｌｅＶｉｅｗｅｒ２７０に格納されている動画ファイルが連結され、１つの動画ファイルを作成することができる。
ここで、ｃｏｍｐｉｌｅＶｉｅｗｅｒ２７０に表示されたファイルで作られる動画を、実際に連結を行なう前に再生して、確認することもできる。この操作のジェスチャを図８（ａ）〜（ｃ）に示す。まず（ａ）に示すように左手８１０と右手８２０の指で、それぞれ再生の始まりとなる動画ファイルと終わりとなる動画ファイルを選択する（両手で選択された動画ファイルとその間の動画ファイルが選択されたことになる）。次に、そのジャスチャのまま両手を画面の中央８３０に移動させる（ｂ）。すると、（ｃ）に示すように、画面中央８３０に、（ａ）で選択された動画ファイルを、ｃｏｍｐｉｌｅＶｉｅｗｅｒ２７０に表示されている順に（例えば、左から順に）再生表示する。このようにして、出来上がる動画のプレビューを事前に確認することができる。
【００３０】
本実施形態の動画編集システムを用いれば、上述のように、ユーザは動画ファイルの編集を身体的な感覚で行なうことができる。
なお、上記は一例であり、同様にして、上記の（ａ）〜（ｄ）の４つのジェスチャを組み合わせた操作で、上記の（Ａ）〜（Ｅ）の５つ以外の動画編集機能を実現させることができる。さらに、（ａ）〜（ｄ）に示した以外のジェスチャを認識させるようにすれば、さらに多くの動画編集機能を実現させることが可能である。
【図面の簡単な説明】
【００３１】
【図１】本実施形態の動画編集システムのシステム構成図である。
【図２】スクリーンに投影する画面の構成例を示した図である。
【図３】本実施形態で認識するジェスチャを示した図である。
【図４】ｆｌｏｗＶｉｅｗｅｒの表示の一例を示した図である。
【図５】動画ファイルの再生速度を上げるジェスチャを示した図である。
【図６】動画ファイルの切り取りの始点を指定するジェスチャを示した図である。
【図７】複数の動画ファイルを一度に選択して移動させるジェスチャを示した図である。
【図８】複数の動画ファイルを１つにまとめるジェスチャを示した図である。
【図１】
2005301693.tif 000003
【図２】
2005301693.tif 000004
【図３】
2005301693.tif 000005
【図４】
2005301693.tif 000006
【図５】
2005301693.tif 000007
【図６】
2005301693.tif 000008
【図７】
2005301693.tif 000009
【図８】
2005301693.tif 000010