(57)【要約】【課題】より簡単に所望するパスを入力する。【解決手段】入力部１１が入力したパスに節追加部１３が節を設定して節情報記憶部１４に記憶し、節マージ部１５が既存のパスＰｔ−１の節と新たなパスＣの節とをマージする。これにより、ユーザの意図に沿った１本のパスＰｔを容易に得ることができる。節マージ部１５は、新たなパスＣが入力される度に既存のパスＰｔ−１とのマージ処理を実行するので、ユーザはマージした結果のパスを確認し、逐次調整するようにパスを入力することができる。そのため、従来のような複数のパスを描画してから最後に代表のパスを描画する作業に比べて、パスを描く手間が減り、またパスを徐々に微調整・修正できるために所望のパスを得やすい。【選択図】図１
2014123186.tif 000002
【特許請求の範囲】
【請求項１】
パスを入力してパス上に節を設定し、当該節の座標を記憶手段に記憶させる節追加手段と、
前記記憶手段に記憶させた複数のパスの節の座標を読み出し、前記複数のパス間で節同士の距離が所定の範囲内に存在する節については、それらの節の座標の平均値を算出して節の座標を補正し、補正された節の座標を前記記憶手段に記憶させる節マージ手段と、
前記記憶手段から補正された節の座標を読み出してパスを表示する表示手段と、
を有することを特徴とする線情報入力装置。
【請求項２】
前記節マージ手段は、新たなパスが入力される度に、当該新たなパスの節の座標を前記記憶手段に記憶させた既存のパスの節の座標で補正することを特徴とする請求項１記載の線情報入力装置。
【請求項３】
前記節マージ手段は、複数のパスを入力後に、前記記憶手段から入力された時間が古い順でパスを読み出し、読み出されたパスよりも前に入力されたパスを用いて節の座標の補正を繰り返すことを特徴とする請求項１記載の線情報入力装置。
【請求項４】
前記節追加手段が設定した複数の節の位置関係に基づいてパスの折り返しを判定し、パスが折り返されたと判定した場合は、折り返した点でパスを分割する折り返し判定手段をさらに有することを特徴とする請求項１乃至３のいずれかに記載の線情報入力装置。
【請求項５】
前記折り返し判定手段は、連続する３つの節で形成される角度が所定のしきい値以下の場合あるいはある節と当該節から２つ前の節との間の距離が所定のしきい値以下の場合にパスが折り返されたと判定することを特徴とする請求項４記載の線情報入力装置。
【請求項６】
処理対象の映像を構成する各フレーム画像から動き情報を検出し、前記映像上の各領域に、当該領域における動きの大きさが最大となるフレーム番号を付与した動き検出情報を蓄積した動き検出情報蓄積手段と、
映像上の指定された位置座標を入力する入力手段と、
前記位置座標に対応する前記映像上の領域に付与されたフレーム番号を前記動き検出情報から取得するフレーム番号特定手段と、
前記フレーム番号特定手段が特定したフレーム番号の示すフレーム画像を前記映像から取得するフレーム画像取得手段と、を有し、
請求項１乃至５のいずれかに記載の線情報入力装置を接続し、当該線情報入力装置は、前記入力手段が入力した位置座標により前記パスを入力するとともに、前記フレーム画像取得手段が取得したフレーム画像に重ねてパスを表示することを特徴とする映像再生装置。
【請求項７】
パスを入力してパス上に節を設定するステップと、
前記節の座標を記憶手段に記憶させるステップと、
前記記憶手段に記憶させた複数のパスの節の座標を読み出し、前記複数のパス間で節同士の距離が所定の範囲内に存在する節については、それらの節の座標の平均値を算出して節の座標を補正し、補正された節の座標を前記記憶手段に記憶させるステップと、
前記記憶手段から補正された節の座標を読み出してパスを表示するステップと、
を有することを特徴とする線情報入力方法。
【請求項８】
前記節を設定するステップで設定した複数の節の位置関係に基づいてパスの折り返しを判定するステップと、
パスが折り返されたと判定した場合は、折り返した点でパスを分割するステップと、
をさらに有することを特徴とする請求項７記載の線情報入力方法。
【請求項９】
請求項１乃至５のいずれかに記載の線情報入力装置の各手段としてコンピュータを動作させることを特徴とする線情報入力プログラム。
【請求項１０】
請求項６記載の映像再生装置の各手段としてコンピュータを動作させることを特徴とする映像再生プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、線情報を入力する技術に関する。
【背景技術】
【０００２】
座標空間上のある２点の座標と、それらを繋ぐ経路について記憶したものをパス（線情報）と定義する。パスの経路は２点の座標を最短で結ぶ直線の他、ある点で経路の方向が変わる折れ線、経路が連続的に曲がる曲線なども含まれる。
【０００３】
ドローソフトに含まれるツールでは、マウスの押下やタッチパネルへの接触を起点とし、ドラッグ操作やスワイプ動作によってポイントが移動した先の座標を取得し、座標と座標を結ぶことでパスが描画される（非特許文献１，２参照）。ラスタ形式のドローソフトの場合、画像はピクセル単位で保存されるので、周囲と十分なコントラストでもって着色されたピクセルの集合でパスが表現される。ベクタ方式のドローソフトの場合、パス上の起点や終点、節（折り曲がりに対応する頂点）の座標を保存し、それらの座標間を直線で、あるいは曲率が指定された曲線で結ぶことによってパスを表現している。
【０００４】
一方、物の動きをパスを用いて表現するソフトウェアもある。例えば、映像中から所望の再生フレームを指定するためのインタフェースとして、スライダ型のＧＵＩ（パス）を映像中の被写体の動きや変形の軌跡と重なるように画面内に配置し、そのパス上をなぞるように操作することにより、あたかも映像中の被写体を掴んで動かしているような感覚をユーザに提供する技術がある（特許文献１参照）。この技術では、複数のフレームを通して人間や物体が運動するような映像を対象とし、ユーザが注目する被写体の移動軌跡とパスとを空間的に対応付け、さらに被写体がパス上の近接する位置に対応するように、パス上の座標と映像中のフレーム番号とを時間的に対応つけている。例えば、図３３のような投球の動作を撮影した映像を特許文献１の映像再生装置に入力して図３４のようにベクタ方式として保存されたパスを設定し、パス上の各節に映像中のフレーム番号を対応付けておく。そして、図３５のように、被写体（ボール）の移動軌跡に沿った入力を行うと、ポインタの座標とパスの位置関係から対応するフレームを決定してフレーム画像を表示する。
【０００５】
パスの描画については、ペンや鉛筆でデッサンをする場合でも、形体の輪郭を一本の線でいきなり描くことは少なく、複数のパスを何本も重ねて描き、徐々にずらすことで輪郭として整えていく作業がある。これら複数のパスは一般的に迷い線（Ｒｏｕｇｈ  Ｌｉｎｅｓ）と呼ばれている。図３６（ａ）に模範図形、図３６（ｂ）に単一の線で模写した図形、図３６（ｃ）に迷い線で模写した図形を示す。図３６（ｃ）に示すように、迷い線は複数のパスからなるため、パスの方向、位置、曲がり方を多数含んでおり、それらのブレを内包しているともいえる。迷い線によって描かれた輪郭やパスを見たとき、そのブレの範囲内にユーザが理想とする線が含まれていることが多いため、整った形状として受け入れられやすい。図３６（ｂ）に示すように、長いパスを一度に描こうとすると、往々にして途中で方向がずれてしまったり、歪んでしまったりして、結果的にユーザが理想とする形状を得られないことが多い。一方、迷い線を利用するとパスの一回当たりの描画距離を短くすることができるため毎回の描画が安定し、また失敗を補完するように描画することでそれらを微調整あるいは修正できるため、結果的にユーザは好ましい形状を描きやすい。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３３２５８５９号公報
【非特許文献】
【０００７】
【非特許文献１】“ペイントの概要”、［online］、日本マイクロソフト株式会社、［平成24年12月3日検索］、インターネット〈 URL：http://windows.microsoft.com/ja-JP/windows7/Getting-started-with-Paint〉
【非特許文献２】“ペンツール、鉛筆ツールまたはフレアツールを使用した描画”、［online］、アドビシステムズ株式会社、［平成24年12月3日検索］、インターネット〈 URL：http://help.adobe.com/ja_JP/illustrator/cs/using/WS3f28b00cc50711d9-2cf89fa2133b344d448-8000.html〉
【発明の概要】
【発明が解決しようとする課題】
【０００８】
コンピュータにパスの情報を入力する場合、図３６（ｂ）で示したように、単一の線で入力することが多く、容易に所望のパスを得ることができないという課題がある。また、パスの微調整や修正が困難であるという課題がある。
【０００９】
迷い線でパスを描画した場合は、所望のパスに近い形状が得られるが、描かれた迷い線を一本にまとめたいとユーザやシステムが要求する場合がある。例えば、イラストレーションで迷い線を多用して輪郭を下書きしても、扱いをシンプルにしたり形状を整えたりするために、着色や清書の段階で単一の線を求めることが多い。特にパスの描画にベクタ方式を利用する場合、パスは各節の座標として保存されるため、採用するパスを一意に決定する必要がある。迷い線から所望のパスを求める作業は、迷い線を描画したレイヤに重畳して単一の線を描くなど二度手間になることが多い。
【００１０】
特許文献１の映像再生装置に設定されるパスも同様で、パスの形状を一意に決定するため、パスの始点と終点、折れ曲がりにあたる節をマウスクリックやタッチパネルへのタップ操作で設定する必要があり、パスを修正する際には該当の節を選択して移動するなど、煩雑な操作が必要となる。特にタッチパネルは入力精度が悪いため、所望のパス形状に修正することは困難である。
【００１１】
本発明は、上記に鑑みてなされたものであり、より簡単に所望するパスを入力することを目的とする。
【課題を解決するための手段】
【００１２】
第１の本発明に係る線情報入力装置は、パスを入力してパス上に節を設定し、当該節の座標を記憶手段に記憶させる節追加手段と、前記記憶手段に記憶させた複数のパスの節の座標を読み出し、前記複数のパス間で節同士の距離が所定の範囲内に存在する節については、それらの節の座標の平均値を算出して節の座標を補正し、補正された節の座標を前記記憶手段に記憶させる節マージ手段と、前記記憶手段から補正された節の座標を読み出してパスを表示する表示手段と、を有することを特徴とする。
【００１３】
上記線情報入力装置において、前記節マージ手段は、新たなパスが入力される度に、当該新たなパスの節の座標を前記記憶手段に記憶させた既存のパスの節の座標で補正することを特徴とする。
【００１４】
上記線情報入力装置において、前記節マージ手段は、複数のパスを入力後に、前記記憶手段から入力された時間が古い順でパスを読み出し、読み出されたパスよりも前に入力されたパスを用いて節の座標の補正を繰り返すことを特徴とする。
【００１５】
上記線情報入力装置において、前記節追加手段が設定した複数の節の位置関係に基づいてパスの折り返しを判定し、パスが折り返されたと判定した場合は、折り返した点でパスを分割する折り返し判定手段をさらに有することを特徴とする。
【００１６】
上記線情報入力装置において、前記折り返し判定手段は、連続する３つの節で形成される角度が所定のしきい値以下の場合あるいはある節と当該節から２つ前の節との間の距離が所定のしきい値以下の場合にパスが折り返されたと判定することを特徴とする。
【００１７】
第２の本発明に係る映像再生装置は、処理対象の映像を構成する各フレーム画像から動き情報を検出し、前記映像上の各領域に、当該領域における動きの大きさが最大となるフレーム番号を付与した動き検出情報を蓄積した動き検出情報蓄積手段と、映像上の指定された位置座標を入力する入力手段と、前記位置座標に対応する前記映像上の領域に付与されたフレーム番号を前記動き検出情報から取得するフレーム番号特定手段と、前記フレーム番号特定手段が特定したフレーム番号の示すフレーム画像を前記映像から取得するフレーム画像取得手段と、を有し、上記の線情報入力装置を接続し、当該線情報入力装置は、前記入力手段が入力した位置座標により前記パスを入力するとともに、前記フレーム画像取得手段が取得したフレーム画像に重ねてパスを表示することを特徴とする。
【００１８】
第３の本発明に係る線情報入力方法は、パスを入力してパス上に節を設定するステップと、前記節の座標を記憶手段に記憶させるステップと、前記記憶手段に記憶させた複数のパスの節の座標を読み出し、前記複数のパス間で節同士の距離が所定の範囲内に存在する節については、それらの節の座標の平均値を算出して節の座標を補正し、補正された節の座標を前記記憶手段に記憶させるステップと、前記記憶手段から補正された節の座標を読み出してパスを表示するステップと、を有することを特徴とする。
【００１９】
上記線情報入力方法において、前記節を設定するステップで設定した複数の節の位置関係に基づいてパスの折り返しを判定するステップと、パスが折り返されたと判定した場合は、折り返した点でパスを分割するステップと、をさらに有することを特徴とする。
【００２０】
第４の本発明に係る線情報入力プログラムは、上記の線情報入力装置の各手段としてコンピュータを動作させることを特徴とする。
【００２１】
第５の本発明に係る映像再生プログラムは、上記の映像再生装置の各手段としてコンピュータを動作させることを特徴とする。
【発明の効果】
【００２２】
本発明によれば、より簡単に所望するパスを入力することができる。
【図面の簡単な説明】
【００２３】
【図１】第１の実施の形態における線情報入力装置の構成を示す機能ブロック図である。
【図２】上記の線情報入力装置が入力されたパスをマージして出力する処理の全体的な流れを示すフローチャートである。
【図３】パスの入力処理の流れを示すフローチャートである。
【図４】指でパスを描く様子を示す図である。
【図５】パス上に設定された節の様子を示す図である。
【図６】既存のパスＰ０の近くに新たなパスＣを描画した様子を示す図である。
【図７】図６の新たなパスＣ上に設定された節Ｃ（ｎ）を示す図である。
【図８】既存のパスＰ０の節と新たなパスＣの節を示す図である。
【図９】既存のパスと新たなパスの節をマージする処理の流れを示すフローチャートである。
【図１０】各節からの節マージ距離を点線で示した図である。
【図１１】節のマージ処理によって得られたパスの節Ｐ１（ｎ）を示す図である。
【図１２】図１１の節Ｐ１（ｎ）を線でつなげたパスＰ１を示す図である。
【図１３】図１２のパスＰ１とマージ処理前のパスＰ０とパスＣを示す図である。
【図１４】不要な節を削除する処理の流れを示すフローチャートである。
【図１５】パスを残す設定の場合に残されたパスＰ０の様子を示す図である。
【図１６】第２の実施の形態における線情報入力装置の処理の流れを示すフローチャートである。
【図１７】入力された３本のパスを示す図である。
【図１８】図１７のパスに追加された節を示す図である。
【図１９】図１７のパスＣ１をマージ対象としたときの節マージ距離を示す図である。
【図２０】図１７のパスＣ２をマージ対象としたときの節マージ距離を示す図である。
【図２１】図１７の３本のパスをマージして得られた節Ｐ２（ｎ）を示す図である。
【図２２】図２１の節Ｐ２（ｎ）を線でつなげたパスＰ２を示す図である。
【図２３】図１７の３本のパスと図２２のパスＰ２を重畳して図である。
【図２４】パスを折り返して入力した様子を示す図である。
【図２５】第３の実施の形態における線情報入力装置の構成を示す機能ブロック図である。
【図２６】パスの折り返し判定を含む第３の実施の形態における入力処理のフローチャートである。
【図２７】３つの節を直線で結んだ角度で折り返しを判定する処理を説明する図である。
【図２８】節の間隔で折り返しを判定する処理を説明する図である。
【図２９】第４の実施の形態における線情報入力装置と映像再生装置の構成を示す機能ブロック図である。
【図３０】図２９の映像再生装置が保持する動き検出情報の例を示す図である。
【図３１】図３０の動き検出情報を基に対応するフレーム画像を表示する様子を示す図である。
【図３２】第４の実施の形態において何度もパスを入力する様子を示す図である。
【図３３】従来の映像再生装置に入力される映像を示す図である。
【図３４】図３３の映像上に設定したパスを示す図である。
【図３５】図３４のパスをなぞって映像を再生させる様子を示す図である。
【図３６】模範図形と単一の線で模写した図形と迷い線で模写した図形を示す図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態について図面を用いて説明する。
【００２５】
［第１の実施の形態］
図１は、第１の実施の形態における線情報入力装置の構成を示す機能ブロック図である。同図に示す線情報入力装置１は、入力部１１、節間距離計算部１２、節追加部１３、節情報記憶部１４、節マージ部１５、節削除部１６、および表示部１７を備える。線情報入力装置１が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは線情報入力装置１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。以下、各部について説明する。
【００２６】
入力部１１は、ユーザにより描かれるパスを入力し、現在のポインタの座標を節間距離計算部１２へ送信する。ユーザは、マウスやタッチパネルなどのポインティングデバイスを利用してポインタを移動させてパスを描く。
【００２７】
節間距離計算部１２は、現在のポインタの座標と最後に追加した節の座標との間の距離を計算する。節は、パス上に設定された、所定の間隔以上離れた点であり、座標を値として持つ。最初の節はパスの始点に設定される。
【００２８】
節追加部１３は、節間距離計算部１２の計算した距離が一定範囲を超えたときに、現在のポインタの座標を新しい節として追加し、節情報記憶部１４に記憶させる。始点を最初の節とし、最後に追加された節を終点とする。なお、パスの入力の終了点、つまりマウスのボタンが離されたときのポインタの座標を終点としてもよい。
【００２９】
節情報記憶部１４は、節追加部１３によって追加された節（節の座標）の集合を記憶する。本実施の形態では、節の集合によってパスを表現する。ユーザが複数のパスを描いた場合は、節の集合を複数記憶する。パスがマージされた場合は、マージ後の節の集合も記憶する。
【００３０】
節マージ部１５は、新たに描かれたパスの節と節情報記憶部１４に記憶されたパスの節との距離に基づき、それぞれのパスの節をマージして新たに描かれたパスの節の位置を補正する。具体的には、複数のパス間で節同士が予め定めた節マージ距離以内に存在する場合に、それらの節の座標の平均値を算出して節の位置を補正する。
【００３１】
節削除部１６は、節マージ部１５によってパスの節がマージされた後、マージされなかった節などの不要な節の削除を実施する。
【００３２】
表示部１７は、節情報記憶部１４から節の集合を読み出して節を線でつなきパスを表示する。また、パスの入力対象となる映像を同時に表示してもよい。
【００３３】
次に、本実施の形態における線情報入力装置の動作について説明する。
【００３４】
図２は、線情報入力装置１が入力されたパスをマージして出力する処理の全体的な流れを示すフローチャートである。
【００３５】
まず、入力部１１がユーザから新たなパスＣを入力し、節間距離計算部１２および節追加部１３がパスＣ上に節を設定する（ステップＳ１１）。
【００３６】
新たなパスＣの入力が終わると、節マージ部１５が、ステップＳ１１でパスＣ上に設定した節と節情報記憶部１４に記憶された既存のパスＰｔ−１の節をマージしてパスＰｔを作成する（ステップＳ１２）。パスＣが１つめのパスの場合は、パスＣをパスＰ０とする。なお、ｔはパスの番号を示し、パスのマージ処理により、新たなパスＣの節の座標が補正されて節情報記憶部１４に記憶される度にインクリメントされる。
【００３７】
そして、節削除部１６が節情報記憶部１４に記憶された古いパスＰｔ−１つまりパスＰｔ−１の節を削除する（ステップＳ１３）。なお、ステップＳ１２でマージされていないパスＰｔ−１の節を削除せずに、パスＰｔ−１として残してもよい。
【００３８】
そして、パスを再入力するか否か判定し（ステップＳ１４）、パスを再入力する場合は（ステップＳ１４のＹｅｓ）、ステップＳ１１に戻り、新たなパスを入力する。パスを再入力しない場合は（ステップＳ１４のＮｏ）、パスＰｔを確定パスとして出力する（ステップＳ１５）。なお、パスを再入力するか否かは、ユーザによるパスの再入力操作の有無で判定する。例えば、ユーザがパスを確定する操作を行った場合はパスの再入力は行わない。あるいは、パスの入力が終了後に無操作のまま所定の時間経過した場合はパスの再入力は行わず、パスの入力が終了後、所定の時間内に再びパスの再入力操作（例えばマウスがクリックされて始点が指定されるなど）が行われた場合はパスの再入力を行う。
【００３９】
以上の処理により、ステップＳ１１〜Ｓ１３を繰り返すことで、既存のパスと入力されたパスがマージされて、パスをユーザの所望する形状に近づけることができる。以下、パスの入力処理、節のマージ処理、および節の削除処理について詳細に説明する。
【００４０】
〈パスの入力処理〉
図３は、パスＣを入力してパスＣ上に節を設定するパスの入力処理の流れを示すフローチャートである。
【００４１】
ユーザがパスの入力を開始すると、入力部１１はパスの入力が開始された時点のポインタの座標を取得し、節追加部１３がそのポインタの座標を始点（節Ｃ（０））として節情報記憶部１４に追加する（ステップＳ２１）。パスの入力中、入力部１１はポインタの座標を取得して節間距離計算部１２へ送信する。例えば、ユーザがマウスでパスを描くときには、マウスのボタンを押下する、ドラッグする、マウスのボタンを離す、という操作でパスを描く。マウスのボタンが押下された位置が始点であり、離された位置が終点である。入力部１１は、ドラッグ中のマウスカーソル座標をポインタの座標として取得する。タッチパネルを用いる場合も同様に、タッチパネルに指を接触させる、スワイプする、タッチパネルから指を離す、という操作でパスを描き、入力部１１はスワイプ中の接触座標をポインタの座標として取得する。図４に、指でパスを描いている様子を示す。
【００４２】
ユーザによりパスが描かれている間つまりドラッグ中あるいはスワイプ中、以下のステップＳ２２〜Ｓ２４の処理を繰り返す。
【００４３】
節間距離計算部１２は、直前の節Ｃ（ｎ）の座標と入力部１１が取得した現在のポインタの座標との間の距離ｄｉを計算し（ステップＳ２２）、距離ｄｉと予め定めた節間距離とを比較する（ステップＳ２３）。
【００４４】
距離ｄｉが節間距離以上の場合（ステップＳ２３のＹｅｓ）、節追加部１３は、現在のポインタの座標を節Ｃ（ｎ＋１）として節情報記憶部１４に追加し、節の番号ｎをインクリメントする（ステップＳ２４）。
【００４５】
そして、ユーザによるパスの入力が終了していない場合は、現在のポインタの座標を更新し、ステップＳ２２に戻る。
【００４６】
ユーザによるパスの入力が終了すると、最後に追加した節を終点として節の集合Ｃ（ｎ）をパスＣとする（ステップＳ２５）。なお、パスの入力の終了点を終点の節として追加してもよい。
【００４７】
以上の処理により、パスＣは節間距離以上離れた節の集合Ｃ（ｎ）として節情報記憶部１４に記憶される。図５に、描かれたパス上に設定された節Ｃ（ｎ）を示す。
【００４８】
〈節のマージ処理〉
節のマージ処理は、複数のパスが入力されたときに行われる。図６に、既存のパスＰ０の近くに新たなパスＣを描画した様子を示す。新たなパスＣについても図３を用いて説明したパスの入力処理が実行されて、新たなパスＣ上に設定された節の集合が節情報記憶部１４に記憶される。図７に、新たなパスＣ上に設定された節Ｃ（ｎ）を示す。図８に、節情報記憶部１４に蓄積される、既存のパスＰ０の節Ｐ０（ｍ）と新たなパスＣの節Ｃ（ｎ）を示す。図８のように既存のパスＰ０の近くに新たなパスＣが描かれた場合、パスＰ０とパスＣの節をマージする。
【００４９】
図９は、既存のパスと新たなパスの節をマージする処理の流れを示すフローチャートである。
【００５０】
節のマージ処理では、パスＣのすべての節Ｃ（ｎ）について順番に着目し、着目した節Ｃ（ｎ）それぞれについて、既存のパスＰｔ−１のすべての節Ｐｔ−１（ｍ）との間の距離を計算し（ステップＳ３１）、節Ｃ（ｎ）と節Ｐｔ−１（ｍ）との間の距離を予め定めた節マージ距離と比較する（ステップＳ３２）。
【００５１】
節Ｃ（ｎ）と節Ｐｔ−１（ｍ）との間の距離が節マージ距離以下の場合は（ステップＳ３２のＹｅｓ）、節Ｐｔ−１（ｍ）をテンポラリ配列Ｍに追加する（ステップＳ３３）。図１０は、各節Ｃ（ｎ）からの節マージ距離を点線で示した図である。図１０の例で、節Ｃ（ｎ）の節マージ距離内に存在するパスＰ０の節は、テンポラリ配列Ｍに追加される。
【００５２】
節Ａ，Ｂ間の距離をｄｉｓ（Ａ，Ｂ）、節マージ距離をＤとすると、テンポラリ配列Ｍに追加される節は次式（１）で表される。
【数１】
2014123186.tif 000003
【００５３】
そして、着目した節Ｃ（ｎ）について、ステップＳ３１〜Ｓ３３の処理をすべての節Ｐｔ−１（ｍ）に対して実行した後、テンポラリ配列Ｍに含まれるすべての節と節Ｃ（ｎ）の座標の平均値（重心）を計算して、マージ後のパスＰｔの節Ｐｔ（ｎ）の座標とする（ステップＳ３４）。
【００５４】
テンポラリ配列Ｍの要素数をｌｅｎ（Ｍ）とすると節Ｐｔ（ｎ）は次式（２）で表される。
【数２】
2014123186.tif 000004
【００５５】
なお、座標の平均値を求める際に、例えば節Ｃ（ｎ）の座標により近くなるように重みを設定してもよい。
【００５６】
図１１に、節のマージ処理によって得られたパスＰ１の節Ｐ１（ｎ）を示し、図１２に、マージされた節Ｐ１（ｎ）を線でつなげたパスＰ１を示す。また、図１３に、マージ処理後のパスＰ１とマージ処理前のパスＰ０とパスＣを示す。
【００５７】
このように、節のマージ処理により、新しいパスが描かれるたびに、既存のパスＰｔ−１と新たなパスＣの中間を通るようなパスＰｔを得ることができる。パスＰｔを作成するときは、既存の節Ｐｔ−１（ｍ）のうち、新たな節Ｃ（ｎ）と近いものだけを参照するので、徐々にパスの位置や形状をずらすような迷い線の描画においてパス形状を繰り返し調整しやすい。
【００５８】
〈節の削除処理〉
上記の節のマージ処理で新たなパスの節の座標が既存のパスの節に基づいて補正される。このとき節情報記憶部１４には既存のパスの節の情報も記憶されているので、ここで説明する節の削除処理において不要な節を削除する。
【００５９】
図１４は、不要な節を削除する処理の流れを示すフローチャートである。
【００６０】
節の削除処理では、既存のパスＰｔ−１のすべての節Ｐｔ−１（ｍ）について、以前のパスを残す設定であるか否か（ステップＳ４１）、パスＰｔの作成に寄与したか否かを判定し（ステップＳ４２）、以前のパスを残さない設定である場合（ステップＳ４１のＮｏ）、あるいはパスＰｔの作成に寄与した場合は（ステップＳ４２のＹｅｓ）、その節Ｐｔ−１（ｍ）を削除する（ステップＳ４３）。
【００６１】
つまり、以前のパスを残さない設定である場合はすべての節Ｐｔ−１（ｍ）を削除する。以前のパスを残す設定である場合は、パスのマージに使われた節つまりテンポラリ配列Ｍに追加されたことがある節を削除し、使われなかった節、すなわち新たなパスＣから離れた位置にある節を残す。
【００６２】
図１５は、以前のパスを残す設定の場合に残されたパスＰ０の様子を示す図である。図１５に示す例は、図１０で示したように、新たなパスＣの各節から節マージ距離以上離れている節を線でつなげたパスＰ０が残されている。
【００６３】
節Ａ，Ｂ間の距離をｄｉｓ（Ａ，Ｂ）、節マージ距離をＤとすると、節の削除が完了したパスＰｔ−１は次式（３）のように定義できる。
【数３】
2014123186.tif 000005
【００６４】
以前のパスを残す設定にして、パスＰｔの作成に寄与していない節Ｐｔ−１を残すことにより、パスを徐々に伸ばすように輪郭を描くことが可能となる。例えば、図３６（ｃ）のように迷い線で円形を描くときに有効である。
【００６５】
以上説明したように、本実施の形態によれば、入力部１１が入力したパスに節追加部１３が節を設定して節情報記憶部１４に記憶し、節マージ部１５が既存のパスＰｔ−１の節と新たなパスＣの節とをマージすることにより、ユーザの意図に沿った１本のパスＰｔを容易に得ることができる。節マージ部１５は、新たなパスＣが入力される度に既存のパスＰｔ−１とのマージ処理を実行するので、ユーザはマージした結果のパスを確認し、逐次調整するようにパスを入力することができる。そのため、従来のような複数のパスを描画してから最後に代表のパスを描画する作業に比べて、パスを描く手間が減り、またパスを徐々に微調整・修正できるために所望のパスを得やすい。
【００６６】
［第２の実施の形態］
第１の実施の形態では、ユーザが新たなパスを入力する度に既存のパスとマージしていたが、第２の実施の形態では、ユーザが複数のパスを入力した後、まとめてパスのマージを行う。なお、第２の実施の形態における線情報入力装置の構成は第１の実施の形態とほぼ同じであるので、ここでの説明は省略する。以下、第２の実施の形態における線情報入力装置の動作について説明する。
【００６７】
図１６は、第２の実施の形態における線情報入力装置の処理の流れを示すフローチャートである。
【００６８】
第２の実施の形態では、ユーザからマージの指示が入力されるまで、パスＣｔの入力を繰り返す（ステップＳ５１）。パスの入力処理は、第１の実施の形態と同様に、入力されたパスに節を設定して記憶する。例えば、図１７に示すように、パスＣ０、パスＣ１、パスＣ２の３本のパスが入力されると、図１８に示すように、節間距離計算部１２および節追加部１３により、パスＣ０、パスＣ１、パスＣ２上に節が設定されて追加される。なお、節の追加は、パスの入力にともなって実施されてもよいし、全てのパスを入力した後、マージの指示が入力された後にまとめて実施してもよい。
【００６９】
すべてのパスＣｔの入力が終了すると、最初に入力されたパスＣ０をパスＰ０とし、パスＣ１から入力された順に、パスＣｔとパスＰｔ−１の節をマージしてパスＰｔを作成する（ステップＳ５２）。なお、ｔはパスの番号を示しており、マージ処理後にインクリメントされる。
【００７０】
図１９は、パスＣ１をマージ対象としたときの、各節を中心とした節マージ距離について示す図である。図１９の例では、パスＰ０のいずれの節もパスＣ１の節それぞれの節マージ距離以内には存在しない。そのため、パスＣ１の節がそのままパスＰ１の節となる。なお、このとき以前のパスを残す設定であり、古いパスＰ０は削除しないものとする。
【００７１】
図２０は、パスＣ２をマージ対象としたときの、各節を中心とした節マージ距離について示す図である。図２０の例では、パスＣ２の節それぞれについて、パスＣ２の節と、その節の節マージ距離以内に存在するパスＰ０、パスＰ１の節がマージされて、パスＰ２の節は、図２１に示すように、パスＣ２の節とパスＰ０、パスＰ１の節の平均値を求めた位置になる。図２２にマージ処理後の節を線で結んだパスＰ２を示し、図２３に入力されたパスＣ０、パスＣ１、パスＣ２とパスＰ２とを重畳して示す。パスが描画された順番でマージ処理を実施するので、図２３に示すように、最終的に得られたパスＰ２は最後に入力されたパスＣ２をベースとして、パスＣ０、パスＣ１によって微調整されている。
【００７２】
以上説明したように、本実施の形態によれば、節マージ部１５と節削除部１６の動作をユーザが指定のタイミングで実施するように設定することで、迷い線のように複数のパスを重畳して描画し、後でそれらをまとめてマージすることができる。
【００７３】
［第３の実施の形態］
第３の実施の形態では、図２４に示すように、ポインタを往復させてパスが入力された場合に、パスが折り返すごとに新たなパスが入力されたと判定する。つまり、図２４に示す例では、２本のパスが入力されたと判定する。
【００７４】
図２５は、第３の実施の形態における線情報入力装置１の構成を示す機能ブロック図である。同図に示す線情報入力装置１は、第１、第２の実施の形態における線情報入力装置の構成に、折り返し判定部１８を加えた構成である。
【００７５】
折り返し判定部１８は、節追加部１３が追加した節の座標を用いてパスが折り返されたか否かを判定し、パスが折り返されたと判定した場合は、折り返した点でパスを分割する。パスが折り返されたか否かは、３つの連続する節を直線で結んだときにできる角の大きさに基づいて判定する。以下、パスの折り返し判定を含む入力処理について説明する。
【００７６】
図２６は、パスの折り返し判定を含む第３の実施の形態における入力処理のフローチャートである。
【００７７】
図２６のステップＳ６１〜ステップＳ６４までの処理は、図３を用いて説明したパスを入力して節を追加する処理と同じであるので、ここでの説明は省略する。
【００７８】
ステップＳ６４で節Ｃ（ｎ＋１）が追加された後、折り返し判定部１８は、節Ｃ（ｎ＋１），Ｃ（ｎ），Ｃ（ｎ−１）を直線で結んだときにできる角度ａを計算する（ステップＳ６５）。
【００７９】
そして、求めた角度ａと予め定めた折り返し判定角度Ａｔｕｒｎとを比較する（ステップＳ６６）。
【００８０】
求めた角度ａが折り返し判定角度Ａｔｕｒｎより大きい場合は（ステップＳ６６のＮｏ）、ステップＳ６２に戻りパスの入力を継続する。パスの入力が終了していれば、最後に追加した節を終点としてパスＣを出力する（ステップＳ６７）。
【００８１】
一方、求めた角度ａが折り返し判定角度Ａｔｕｒｎ以下であった場合はパスが折り返したと判定し（ステップＳ６６のＹｅｓ）、折り返し点の節Ｃ（ｎ）を終点としてパスＣを出力する（ステップＳ６８）。そして、折り返し点の節Ｃ（ｎ）を新たなパスの始点として新たなパスＣの入力を開始する（ステップＳ６９）。なお、折り返し後に追加された節Ｃ（ｎ＋１）を新たなパスの始点としてもよい。
【００８２】
続いて、折り返し判定部１８による折り返し判定処理について説明する。
【００８３】
折り返し判定部１８は、３つの連続する節Ｃ（ｎ＋１），Ｃ（ｎ），Ｃ（ｎ−１）の座標を取得し、図２７に示すように、節Ｃ（ｎ）を中心、節Ｃ（ｎ＋１）と節Ｃ（ｎ−１）を腕とした角度を求め、求めた角度ａが折り返し判定角度Ａｔｕｒｎ以下であったとき、パスが折り返したと判定する。
【００８４】
節Ｃ（ｎ）の座標をＣｎ＝（ｘｎ，ｙｎ）とすると、角度ａは次式（４）で求められる。角度ａが次式（５）を満たす場合にパスが折り返したと判定する。
【数４】
2014123186.tif 000006
【００８５】
別の折り返し判定として、図２８に示すように、節Ｃ（ｎ−１）と節Ｃ（ｎ＋１）の距離が予め定めた折り返し判定距離以下の場合に、節Ｃ（ｎ−１）、節Ｃ（ｎ＋１）の間の節Ｃ（ｎ）で折り返したと判定する方法もある。図２８の点線で示す円の半径が予め定めた折り返し判定距離である。直線に並んでいる節を折り返しとして判定することを防ぐため、折り返し判定距離は節間距離の２倍未満にする必要がある。
【００８６】
以上説明したように、本実施の形態によれば、入力されたパスの折り返しを検出する折り返し判定部１８を備えて、パスが折り返されたと判定した場合は、折り返し点から新たなパスが入力されたものとして扱うことにより、往復してパスをなぞる動作で複数のパスを入力することができるので、より効率的にパスの位置や形状を調整することができる。
【００８７】
［第４の実施の形態］
第４の実施の形態は、映像中の被写体の動きと重なるパスの入力に第１〜第３の実施の形態における線情報入力装置を用いた実施例である。
【００８８】
図２９は、第４の実施の形態における線情報入力装置１と映像再生装置２の構成を示す機能ブロック図である。
【００８９】
図２９に示す映像再生装置２は、映像情報記憶部２１、フレーム画像情報復号部２２、動き検出部２３、動き検出情報記憶部２４、表示フレーム番号特定部２５、およびフレーム画像選択部２６を備える。なお、図２９に示す線情報入力装置１は、第１の実施の形態と同様であるので説明は省略する。
【００９０】
まず、映像再生装置２について説明する。
【００９１】
映像再生装置２は、映像情報記憶部２１に蓄積された映像を構成する各フレーム画像情報をフレーム画像情報復号部２２で復号し、動き検出部２３が各画像フレーム中の各座標・領域における動き情報を検出して動き検出情報記憶部２４に記憶させておき、表示フレーム番号特定部２５が、入力部１１で入力したポインタの座標と動き検出情報記憶部２４に記憶させた動き検出情報に基づいて表示させるフレーム画像を特定し、フレーム画像選択部２６が特定したフレーム画像を表示部１７に表示させる装置である。
【００９２】
動き検出部２３は、映像中のすべてのフレーム画像について、オプティカルフロー検出やフレーム間差分法などにより、フレーム画像中の各座標・領域における被写体の動きを検出し、各座標・領域において検出したオプティカルフローのベクトルの大きさが最大となるフレームの番号を各座標・領域に関連付けて動き検出情報記憶部２４に記憶させる。なお、オプティカルフローの検出処理は、フレーム画像の全画素について検出するのではなく、一定の距離間隔ごとの画素について実行する。
【００９３】
図３０に、動き検出情報記憶部２４に記憶させた動き検出情報の例を示す。図３０に示す例は、投球動作を含む映像から動きを検出した動き検出情報である。画面上の各座標・領域に、その座標・領域について動きが最大となったフレームの番号を付与している。投球動作では特に腕が大きく動くため、腕が通過したフレームにおいて大きさが最大のオプティカルフローが検出される。そのため、図３０の例では、腕が通過する領域において概ね左から右側にかけて付与されたフレームの番号が大きくなっている。
【００９４】
表示フレーム番号特定部２５が、入力部１１で入力したポインタの座標に応じたフレーム番号を動き検出情報記憶部２４から取得し、フレーム画像選択部２６が、取得したフレーム番号に対応するフレーム画像を表示部１７に表示させる。図３１に、入力された座標に基づいてフレーム画像を表示する様子を示す。図３１の例では、入力された座標・領域がフレーム番号３９番と紐づいており、表示部１７にはフレーム番号３９番に対応するフレーム画像が表示される。これにより、ユーザが映像中の被写体の動きをなぞることで、対応するフレーム画像が次々と表示され、映像中の被写体を掴んで動かしているかのように、直感的に映像をシークすることができる。
【００９５】
第４の実施の形態では、繰り返し再生したい、より動きを的確に表す軌跡で再生したい、という目的のため、映像再生装置２の入力部分に第１〜第３の実施の形態における線情報入力装置を用いて、ユーザが繰り返しパスを入力することを許可する。
【００９６】
ユーザがパスを入力している間は、入力部１１からポインタの座標が線情報入力装置１と映像再生装置２に送られて、線情報入力装置１がパスを入力するとともに、映像再生装置２の機能により対応するフレーム画像が表示部１７に次々と表示される。パスを入力し終えると、第１の実施の形態で説明した処理が行われて、新たに入力されたパスが過去に入力されたパスとマージされて表示部１７に表示される。ユーザは、マージされたパスに沿って対応するフレーム画像を表示させて再生フレームを確認し、所望の再生が行われるまで、図３２に示すように何度もパスが入力する。これにより、ユーザはパスの微調整や修正を結果の確認と並行して実施できるため、所望するパスを短時間で簡単に得ることが可能となる。
【００９７】
以上説明したように、本実施の形態によれば、映像から被写体の動きを検出し、映像中の各領域において動きが最大となるフレーム番号を記載した動き検出情報を作成しておき、ユーザが入力した座標に応じたフレーム番号を動き検出情報を参照して取得して表示させるとともに、その座標を線情報入力装置１に入力してパスを作成して表示させることにより、ユーザが被写体の動きをなぞることで再生フレームのシークとパスの設定を同時に行うことができる。また、繰り返して被写体の動きをなぞることで、パスの位置や形状を調整することができ、うまく再生できなかったパスを修正してユーザにとって好ましい映像のシークを提供するパスを簡単に設定することが可能となる。
【符号の説明】
【００９８】
１…線情報入力装置
１１…入力部
１２…節間距離計算部
１３…節追加部
１４…節情報記憶部
１５…節マージ部
１６…節削除部
１７…表示部
１８…判定部
２…映像再生装置
２１…映像情報記憶部
２２…フレーム画像情報復号部
２３…検出部
２４…検出情報記憶部
２５…表示フレーム番号特定部
２６…フレーム画像選択部
【図１】
2014123186.tif 000007
【図２】
2014123186.tif 000008
【図３】
2014123186.tif 000009
【図４】
2014123186.tif 000010
【図５】
2014123186.tif 000011
【図６】
2014123186.tif 000012
【図７】
2014123186.tif 000013
【図８】
2014123186.tif 000014
【図９】
2014123186.tif 000015
【図１０】
2014123186.tif 000016
【図１１】
2014123186.tif 000017
【図１２】
2014123186.tif 000018
【図１３】
2014123186.tif 000019
【図１４】
2014123186.tif 000020
【図１５】
2014123186.tif 000021
【図１６】
2014123186.tif 000022
【図１７】
2014123186.tif 000023
【図１８】
2014123186.tif 000024
【図１９】
2014123186.tif 000025
【図２０】
2014123186.tif 000026
【図２１】
2014123186.tif 000027
【図２２】
2014123186.tif 000028
【図２３】
2014123186.tif 000029
【図２４】
2014123186.tif 000030
【図２５】
2014123186.tif 000031
【図２６】
2014123186.tif 000032
【図２７】
2014123186.tif 000033
【図２８】
2014123186.tif 000034
【図２９】
2014123186.tif 000035
【図３０】
2014123186.tif 000036
【図３１】
2014123186.tif 000037
【図３２】
2014123186.tif 000038
【図３３】
2014123186.tif 000039
【図３４】
2014123186.tif 000040
【図３５】
2014123186.tif 000041
【図３６】
2014123186.tif 000042