(57)【要約】【課題】ユーザからの入力に応じて、最適な映像を取得すること。【解決手段】文字と映像ファイルを対応付けて記憶する単語辞書１２及び映像ファイル群１３と、入力された文字に対応する文字検索映像ファイルを映像ファイル群１３から検索するデータ選択部１１と、検索された文字検索映像ファイルを表示する表示部１４と、文字検索映像ファイルのうち確定されたファイルを確定映像ファイルとし、２以上の確定映像ファイルの間に挿入する合成画像を生成する合成部１５と、２以上の確定映像ファイルを、合成画像を用いて連結して出力する出力部１６と、を備える。【選択図】図１
2008294973.tif 000002
【特許請求の範囲】
【請求項１】
特定の概念を表す身体の動作に対応した動作映像を編集する映像編集装置であって、
文字と、手話若しくは特定の概念を表す身体の動作に対応した映像ファイルを対応付けて記憶する記憶部と、
入力された文字に対応する文字検索映像ファイルを前記記憶部から検索する映像ファイル検索部と、
検索された前記文字検索映像ファイルを候補映像ファイルとして表示する制御を行う表示制御部と、
前記候補映像ファイルのうち確定された前記候補映像ファイルを確定映像ファイルとし、２以上の確定映像ファイルの間に挿入する合成画像を生成する合成画像生成部と、
前記２以上の確定映像ファイルを、前記合成画像を用いて連結して出力する出力部と、
を備えることを特徴とする、映像編集装置。
【請求項２】
前記映像ファイル検索部は、前記候補ファイルの中から仮に選択された選択映像ファイルに基づいて、当該選択映像ファイルと類似する類似検索映像ファイルを前記記憶部から検索し、
前記表示制御部は、前記文字検索映像ファイルと前記類似検索映像ファイルを共に前記候補映像ファイルとして表示する制御を行うことを特徴とする、請求項１に記載の映像編集装置。
【請求項３】
前記表示制御部は、前記文字検索映像ファイル及び前記類似検索映像ファイルを表示画面上で異なる２方向に表示する制御を行うことを特徴とする、請求項２に記載の映像編集装置。
【請求項４】
前記表示制御部は、前記文字検索映像ファイル及び前記類似検索映像ファイルを水平方向及び垂直方向に表示する制御を行うことを特徴とする、請求項３に記載の映像編集装置。
【請求項５】
前記類似検索映像ファイルは文字ラベルと対応付けられたファイルであり、
前記映像ファイル検索部は、入力された文字に基づいて前記文字ラベルを検索し、入力された文字に対応する類似検索映像ファイルを前記記憶部から検索することを特徴とする、請求項２〜４のいずれかに記載の映像編集装置。
【請求項６】
映像が入力される映像入力部を更に備え、
前記映像ファイル検索部は、入力された映像に対応する映像ファイルを前記記憶部から検索することを特徴とする、請求項１に記載の映像編集装置。
【請求項７】
前記表示制御部は、前記合成画像の時間をオブジェクトの長さとして表示するための合成画像時間表示部を含み、
前記合成画像の時間の指定を受けて、前記合成画像の時間を変更する合成画像時間変更部を更に備えることを特徴とする、請求項１〜６のいずれかに記載の映像編集装置。
【請求項８】
前記合成画像時間変更部は、前記合成画像を構成する映像のフレーム数を変更することを特徴とする、請求項７に記載の映像編集装置。
【請求項９】
前記合成画像時間変更部は、前記合成画像のフレームレートを変更することを特徴とする、請求項７に記載の映像編集装置。
【請求項１０】
特定の概念を表す身体の動作に対応した動作映像を編集する映像編集方法であって、
入力された文字に対応する、手話若しくは特定の概念を表す身体の動作に対応した文字検索映像ファイルを検索する検索ステップと、
検索された前記文字検索映像ファイルを候補映像ファイルとして表示する表示ステップと、
前記候補映像ファイルのうち確定された前記候補映像ファイルを確定映像ファイルとし、２以上の確定映像ファイルの間に挿入する合成画像を生成する合成画像生成ステップと、
前記２以上の確定映像ファイルを、前記合成画像を用いて連結して出力する出力ステップと、
を備えることを特徴とする、映像編集方法。
【請求項１１】
前記検索ステップにおいて、前記候補ファイルの中から仮に選択された選択映像ファイルに基づいて、当該選択映像ファイルと類似する類似検索映像ファイルを検索し、
前記表示ステップにおいて、前記文字検索映像ファイルと前記類似検索映像ファイルを共に前記候補映像ファイルとして表示することを特徴とする、請求項１０に記載の映像編集方法。
【請求項１２】
前記表示ステップにおいて、前記文字検索映像ファイル及び前記類似検索映像ファイルを表示画面上で異なる２方向に表示することを特徴とする、請求項１１に記載の映像編集方法。
【請求項１３】
前記表示ステップにおいて、前記文字検索映像ファイル及び前記類似検索映像ファイルを水平方向及び垂直方向に表示することを特徴とする、請求項１２に記載の映像編集方法。
【請求項１４】
前記類似検索映像ファイルは文字ラベルと対応付けられたファイルであり、
前記検索ステップにおいて、入力された文字に基づいて前記文字ラベルを検索し、入力された文字に対応する類似検索映像ファイルを検索することを特徴とする、請求項１１〜１３のいずれかに記載の映像編集方法。
【請求項１５】
映像が入力される映像入力ステップを更に備え、
前記検索ステップにおいて、入力された映像に対応する映像ファイルを検索することを特徴とする、請求項１０に記載の映像編集方法。
【請求項１６】
前記表示ステップは、前記合成画像の時間をオブジェクトの長さとして表示するステップを含み、
前記合成画像の時間の指定を受けて、前記合成画像の時間を変更する時間変更ステップを更に備えることを特徴とする、請求項１０〜１５のいずれかに記載の映像編集方法。
【請求項１７】
前記時間変更ステップにおいて、前記合成画像を構成する映像のフレーム数を変更することを特徴とする、請求項１６に記載の映像編集方法。
【請求項１８】
前記時間変更ステップにおいて、前記合成画像のフレームレートを変更することを特徴とする、請求項１６に記載の映像編集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像編集装置及び映像編集方法に関する。
【背景技術】
【０００２】
従来、例えば特許文献１に記載されているような手話映像編集装置が知られている。特許文献１では、映像要素を複数保持した映像データベースから、手話文章を構成するのに必要な影像を検索する方法が課題とされており、描画した曲線を検索条件として、検索条件に適合する手話単語を検索する方法が採られている。また更に、任意の手の位置や手の形状、手の方向、肩・背中・腰・首・頭等の姿勢、表情等を指定し、検索条件として使用するなどの方法が採られていた。
【０００３】
また、他の背景技術として、例えば特許文献２に記載されているような手話映像合成装置が知られている。特許文献２では、手話の映像を複数連結した際に、映像間で生じるギャップを映像合成の手法を用いて減じるという工夫をしている。
【０００４】
【特許文献１】特開２００５−０９９９７７号公報
【特許文献２】特開２００６−１２９３７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された技術では、日本語ラベルを用いて必要となる手話映像を検索した際に生じる問題を解決できないという問題があった。
【０００６】
具体的には、例えば、数字で「３」を表す手話の形状（姿勢）は文脈によって変化し、「時間」を表す場合と、「順序」、「番号」を表す場合によって手のひらの向きが異なり、適宜選択する必要がある。しかし、文脈に合わせて、ふさわしい手話の形状の選択をシステムが自動的に行うことは困難である。
【０００７】
また、特許文献１でも指定されているが、手話単語に付けられる日本語ラベルは任意であるため、日本語のみに基づいて目的とする手話単語を見つけることが困難な場合がある。
【０００８】
また、特許文献２の手話映像合成装置においては、入力された単語から構成される手話文章の意味によって、手話の時間に関係する構造が変化するため、映像の種類によって合成する映像の時間パラメータを調整する必要が生じていた。そして、この作業はユーザに対して多大な手間を生じさせるものであった。
【０００９】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザからの入力に応じて、最適な映像を取得することが可能な、新規かつ改良された映像編集装置及び映像編集方法を提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のある観点によれば、特定の概念を表す身体の動作に対応した動作映像を編集する映像編集装置であって、文字と、手話若しくは特定の概念を表す身体の動作に対応した映像ファイルを対応付けて記憶する記憶部と、入力された文字に対応する文字検索映像ファイルを前記記憶部から検索する映像ファイル検索部と、検索された前記文字検索映像ファイルを候補映像ファイルとして表示する制御を行う表示制御部と、前記候補映像ファイルのうち確定された前記候補映像ファイルを確定映像ファイルとし、２以上の確定映像ファイルの間に挿入する合成画像を生成する合成画像生成部と、前記２以上の確定映像ファイルを、前記合成画像を用いて連結して出力する出力部と、を備える映像編集装置が提供される。
【００１１】
上記構成によれば、入力された文字に対応する文字検索映像ファイルが候補映像ファイルとして表示され、候補映像ファイルのうち確定されたものが確定映像ファイルとされ、２以上の確定映像ファイルの間に挿入する合成画像が生成される。そして、２以上の確定映像ファイルが合成画像を用いて連結されて出力される。従って、ユーザは、表示された候補映像ファイルの中から所望のファイルを選択して確定映像ファイルとすることができ、２以上の確定映像ファイルを連結した映像を出力することが可能となる。
【００１２】
また、前記映像ファイル検索部は、前記候補ファイルの中から仮に選択された選択映像ファイルに基づいて、当該選択映像ファイルと類似する類似検索映像ファイルを前記記憶部から検索し、前記表示制御部は、前記文字検索映像ファイルと前記類似検索映像ファイルを共に前記候補映像ファイルとして表示する制御を行うものであってもよい。かかる構成によれば、選択映像ファイルと類似する類似検索映像ファイルが検索され、文字検索映像ファイルと類似検索映像ファイルが共に候補映像ファイルとして表示されるため、ユーザは、表示された文字検索映像ファイルと類似検索映像ファイルの中から所望のファイルを選択することが可能となる。
【００１３】
また、前記表示制御部は、前記文字検索映像ファイル及び前記類似検索映像ファイルを表示画面上で異なる２方向に表示する制御を行うものであってもよい。かかる構成によれば、文字検索映像ファイルと類似検索映像ファイルを表示画面上で明確に区別して認識することが可能となる。
【００１４】
また、前記表示制御部は、前記文字検索映像ファイル及び前記類似検索映像ファイルを水平方向及び垂直方向に表示する制御を行うものであってもよい。かかる構成によれば、文字検索映像ファイルと類似検索映像ファイルを表示画面上で水平方向及び垂直方向に明確に区別して認識することが可能となる。
【００１５】
また、前記類似検索映像ファイルは文字ラベルと対応付けられたファイルであり、前記映像ファイル検索部は、入力された文字に基づいて前記文字ラベルを検索し、入力された文字に対応する類似検索映像ファイルを前記記憶部から検索するものであってもよい。かかる構成によれば、入力された文字に基づいて類似検索映像ファイルを検索できるため、ユーザの要求に応じた所望の類似検索映像ファイルを検索することが可能となる。
【００１６】
また、映像が入力される映像入力部を更に備え、前記映像ファイル検索部は、入力された映像に対応する映像ファイルを前記記憶部から検索するものであってもよい。かかる構成によれば、ユーザが映像を入力することにより、入力した映像に対応する所望の映像ファイルを検索することが可能となる。
【００１７】
また、前記表示制御部は、前記合成画像の時間をオブジェクトの長さとして表示するための合成画像時間表示部を含み、前記合成画像の時間の指定を受けて、前記合成画像の時間を変更する合成画像時間変更部を更に備えるものであってもよい。かかる構成によれば、ユーザが合成画像の時間を指定して変更することができるため、確定映像ファイル間の時間を任意に設定することが可能となり、所望の映像を出力することが可能となる。
【００１８】
また、前記合成画像時間変更部は、前記合成画像を構成する映像のフレーム数を変更するものであってもよい。かかる構成によれば、合成画像を構成する映像のフレーム数を変更することで、合成画像の時間を変更することが可能となる。
【００１９】
また、前記合成画像時間変更部は、前記合成画像のフレームレートを変更するものであってもよい。かかる構成によれば、合成画像のフレームレートを変更することで、合成画像の時間を変更することが可能となる。
【００２０】
また、上記課題を解決するために、本発明の他の観点によれば、特定の概念を表す身体の動作に対応した動作映像を編集する映像編集方法であって、入力された文字に対応する、手話若しくは特定の概念を表す身体の動作に対応した文字検索映像ファイルを検索する検索ステップと、検索された前記文字検索映像ファイルを候補映像ファイルとして表示する表示ステップと、前記候補映像ファイルのうち確定された前記候補映像ファイルを確定映像ファイルとし、２以上の確定映像ファイルの間に挿入する合成画像を生成する合成画像生成ステップと、前記２以上の確定映像ファイルを、前記合成画像を用いて連結して出力する出力ステップと、を備える映像編集方法が提供される。
【００２１】
上記構成によれば、入力された文字に対応する文字検索映像ファイルが候補映像ファイルとして表示され、候補映像ファイルのうち確定されたものが確定映像ファイルとされ、２以上の確定映像ファイルの間に挿入する合成画像が生成される。そして、２以上の確定映像ファイルが合成画像を用いて連結されて出力される。従って、ユーザは、表示された候補映像ファイルの中から所望のファイルを選択して確定映像ファイルとすることができ、  ２以上の確定映像ファイルを連結した映像を出力することが可能となる。
【００２２】
また、前記検索ステップにおいて、前記候補ファイルの中から仮に選択された選択映像ファイルに基づいて、当該選択映像ファイルと類似する類似検索映像ファイルを検索し、前記表示ステップにおいて、前記文字検索映像ファイルと前記類似検索映像ファイルを共に前記候補映像ファイルとして表示するものであってもよい。かかる構成によれば、選択映像ファイルと類似する類似検索映像ファイルが検索され、文字検索映像ファイルと類似検索映像ファイルが共に候補映像ファイルとして表示されるため、ユーザは、表示された文字検索映像ファイルと類似検索映像ファイルの中から所望のファイルを選択することが可能となる。
【００２３】
前記表示ステップにおいて、前記文字検索映像ファイル及び前記類似検索映像ファイルを表示画面上で異なる２方向に表示するものであってもよい。かかる構成によれば、文字検索映像ファイルと類似検索映像ファイルを表示画面上で明確に区別して認識することが可能となる。
【００２４】
また、前記表示ステップにおいて、前記文字検索映像ファイル及び前記類似検索映像ファイルを水平方向及び垂直方向に表示するものであってもよい。かかる構成によれば、文字検索映像ファイルと類似検索映像ファイルを表示画面上で水平方向及び垂直方向に明確に区別して認識することが可能となる。
【００２５】
また、前記類似検索映像ファイルは文字ラベルと対応付けられたファイルであり、前記検索ステップにおいて、入力された文字に基づいて前記文字ラベルを検索し、入力された文字に対応する類似検索映像ファイルを検索するものであってもよい。かかる構成によれば、入力された文字に基づいて類似検索映像ファイルを検索できるため、ユーザの要求に応じた所望の類似検索映像ファイルを検索することが可能となる。
【００２６】
また、映像が入力される映像入力ステップを更に備え、前記検索ステップにおいて、入力された映像に対応する映像ファイルを検索するものであってもよい。かかる構成によれば、ユーザが映像を入力することにより、入力した映像に対応する所望の映像ファイルを検索することが可能となる。
【００２７】
また、前記表示ステップは、前記合成画像の時間をオブジェクトの長さとして表示するステップを含み、前記合成画像の時間の指定を受けて、前記合成画像の時間を変更する時間変更ステップを更に備えるものであってもよい。かかる構成によれば、ユーザが合成画像の時間を指定して変更することができるため、確定映像ファイル間の時間を任意に設定することが可能となり、所望の映像を出力することが可能となる。
【００２８】
また、前記時間変更ステップにおいて、前記合成画像を構成する映像のフレーム数を変更するものであってもよい。かかる構成によれば、合成画像を構成する映像のフレーム数を変更することで、合成画像の時間を変更することが可能となる。
【００２９】
また、前記時間変更ステップにおいて、前記合成画像のフレームレートを変更するものであってもよい。かかる構成によれば、合成画像のフレームレートを変更することで、合成画像の時間を変更することが可能となる。
【発明の効果】
【００３０】
本発明によれば、ユーザからの入力に応じて、最適な映像を取得することが可能な映像編集装置を提供することができる。
【発明を実施するための最良の形態】
【００３１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３２】
図１は、第１の実施形態に係る映像編集装置の構成を示す模式図である。映像編集装置は、入力部１０、データ選択部１１、単語辞書１２、映像ファイル群１３、表示部１４、合成部１５、出力部１６、選択中映像ファイル１７、文字検索候補映像ファイル群１８、類似検索候補映像ファイル群１９、仮データ蓄積部１１０を有して構成される。
【００３３】
映像編集装置は、演算処理部（ＣＰＵ(Central Processing Unit)）を備えたコンピュータとして構成され、映像編集装置の各機能ブロックは、コンピュータを機能させるためのソフトウエア（プログラム）によって構成されることができる。また、映像編集装置は、これらのプログラムを格納するためのハードディスクドライブ等の記録媒体、または磁気ディスクなどの外部記録媒体を備えている。
【００３４】
映像編集装置は、日本語を入力して日本語に該当する日本語ラベルを有する映像の候補を複数同時に表示するとともに、ユーザがカーソル等で選択した映像と類似している映像の候補を同時に表示することで、ラベルによる検索と、映像間の類似による検索を同時に行うものである。映像編集装置は、例えば手話など、特定の記号など意味に対応付けることが可能である映像の編集において、映像を構成するのに必要な要素の選択を容易にする。
【００３５】
入力部１０は、例えばマウスやキーボードなどで実現され、ユーザからの日本語入力を受け付け、データ選択部１２に通知する。また、入力部１０は表示部１４に表示中の文字検索候補映像ファイル群１８と、類似検索候補映像ファイル群１９から選択中映像ファイル１７を選択する入力動作を受け付け、データ選択部１１や出力部１６に入力の結果を反映させる機能を有する機能ブロックである。
【００３６】
データ選択部１１は、入力部１０の入力を用いて、単語辞書１２を検索し、映像ファイル群１３から文字検索候補映像ファイル群１８を選択する機能を有する機能ブロックである。
【００３７】
またデータ選択部１１は、選択中映像ファイル１７を用いて、映像ファイル群１３を検索し、映像ファイルの類似度から、選択中映像ファイル１７に類似している類似映像検索候補映像ファイル群１９を選択する機能を有する機能ブロックである。
【００３８】
単語辞書１２は、例えば図２に示されるようなデータ構造を有し、入力された日本語ラベルと映像ファイル群１３中の映像を対応付けるためのデータである。
【００３９】
図２において、検索用日本語ラベルとは、入力部１０から入力された日本語と比較を行うためのデータである。表示用日本語ラベルとは、文字検索候補映像ファイル群１８と類似映像検索候補映像ファイル群１９を表示する際にユーザの利便となるよう表示するためのデータである。ファイル名とは映像ファイル群１３に蓄積されている映像ファイルを識別するためのデータである。
【００４０】
映像ファイル群１３は、最終的に連続映像を構成する要素となる表現すべき日本語の各単語と、手話を行う人物の動作が撮影された映像とを含んでいる複数の映像ファイルを示している。人物の動作は、日本語の音を手話で表現するための動作である指文字動作に対応する。なお、映像ファイルは、複数枚の静止画像を連続的に並べたものとして構成されており、その静止画像の１枚１枚をフレームという。
【００４１】
表示部１４は、実際に選択された、文章を構成する最終的な映像と、選択中映像ファイル１７、文字検索候補映像ファイル群１８、類似検索候補映像ファイル群１９を表示する機能ブロックである。また、表示部１４とは、仮データ蓄積部１１０に蓄積中の映像データをユーザに判り易く表示するための機能ブロックである。
【００４２】
合成部１５は、選択、蓄積された仮データ蓄積部１１０から前後する二つの映像ファイルを抜き出し、二つの映像ファイルの中間の映像ファイルを合成する処理を行う機能ブロックである。なお、合成処理は、例えば特許文献２に記載されている手法を採ることができる。
【００４３】
出力部１６は、例えばディスプレイで実現されるように、合成部１５によって作成された映像を映像として出力する機能ブロックである。
【００４４】
選択中映像ファイル１７は、文字検索候補映像ファイル群１８と、類似検索候補映像ファイル群１９の中からユーザによって選択されている映像に該当する。ユーザは、入力部１０からの入力によって選択中映像ファイル１７を変更することができる。
【００４５】
文字検索候補映像ファイル１８は、データ選択部１１によって検索された映像ファイルであり、データ選択部１１が入力部１０から入力された日本語を検索キーとして、単語辞書１２を検索した結果として出力される。文字検索候補映像ファイル１８は、入力された日本語に相当する日本語ラベルを持つ映像ファイル群である。
【００４６】
類似検索候補映像ファイル群１９とは、データ選択部１１によって検索された映像ファイルであり、選択中映像ファイル１７と類似度が高い映像ファイル群である。データ選択部１１による映像検索は、例えば特許文献３に記載された手法を用いることができる。映像中の人間の動きが手話である場合には、選択中映像ファイル１７と似た動作をしている映像が候補となる。
【００４７】
仮データ蓄積部１１０は、入力部１０からの指示に基づいて、選択中映像ファイル１７として選択された後、確定されたものを蓄積しておくデータ蓄積部である。また、仮データ蓄積部１１０は、表示部１４と通信し、映像出力に必要なデータを表示部１４に送信する機能ブロックである。また、仮データ蓄積部１１０は、合成部１５と通信し、映像合成に必要なデータを合成部１５に送信する。
【００４８】
次に、本実施形態の映像編集装置の動作について、図面を参照して説明する。図３は、第１の実施形態のシステムの外形を示す模式図である。ここでは、入力部１０から「７」という文字が入力された場合を例に挙げて説明する。
【００４９】
入力部１０から「７」という文字が入力されると、７（数字）、７（回数）、７（時間）という表示用日本語ラベルをもつ映像が文字検索候補映像ファイル群１８として垂直方向に表示される。
【００５０】
また、７（回数）という映像ファイルと類似している類似検索候補映像ファイル群１９が検索されて、７（回数）という表示用ラベルをもつ映像から水平方向に表示される。ここでは「はらう」、「うどん」、「８（回数）」という表示用日本語ラベルを持つファイルが水平方向に表示されている。ユーザは、図３に表示されている文字検索候補映像ファイル群１８、類似検索候補映像ファイル群１９の中から最終的な映像ファイルを選択し、確定する。
【００５１】
このように、本実施形態の映像編集装置は、日本語を入力してその意味を表す手話文章の映像を作成する装置において、必要となる手話映像を検索する際に、日本語ラベルに相当する候補の手話映像を複数表示し、ユーザに選択を促すことで、入力を容易にし、日本語ラベルに該当する映像を表示すると同時に日本語ラベルとは無関係に映像をキーとした類似映像検索を行い、カーソルなどによってユーザに選択されている映像と映像間の類似度が近い映像を複数選択候補として表示することで、ラベルによる検索と映像自体の類似度による検索をシームレスに実施することを可能とするものである。
【００５２】
図４は、本実施形態の映像編集装置の映像検索の処理を示すフローチャートである。先ず、ステップＳ４０１では、ユーザが入力部１０から文字を入力する。次のステップＳ４０２では、データ選択部１１がユーザの入力した文字列を検索キーとして、単語辞書１２内の検索用日本語ラベルを用いて映像ファイルを検索する。そして、データ選択部１１は、入力日本語を検索用日本語ラベル中に含んだ映像を検索結果とする。次のステップＳ４０３では、ステップＳ４０２で検索された結果である文字検索候補映像ファイル群１８を表示部１４に表示する。
【００５３】
次のステップＳ４０４では、ユーザが表示されている文字検索候補映像ファイル群１８から選択の候補となる映像ファイルを選択する。選択されたものが選択中映像ファイル１７となる。
【００５４】
次のステップＳ４０５では、選択中映像ファイル１７を用いて、データ選択部１１が映像間の類似度を用いて映像を検索し、選択中映像ファイル１７と類似度が高い映像ファイル名を得る。
【００５５】
ここで、映像検索の具体的な手法としては、例えば、ＤＰマッチングを用いることができる。ここで、ＤＰマッチングとは、パターン認識の分野で広く用いられている手法である。例えば、時系列データで与えられる系列長の異なる２つの時系列パターンの類似度を求めることができる。認識に用いる場合には、入力された時系列のパターンと、認識の対象となる比較対象時系列パターンとを、時間などの制約のもとで、可能な照合と類似度計算を実施する。各時点における類似度を所定の時間の範囲で累積した値を入力パターンと比較パターンとの距離とし、入力パターンと認識の対象となるすべてのデータのパターンとの距離を計算し、その中で最小の距離を示すデータを認識結果とする。この計算は、動的計画法を用いると効率よく解くことができるため、ＤＰマッチングと呼ばれている。これにより、選択中映像ファイル１７と類似度の高いデータを有する動作映像の映像ファイル名を取得することができる。
【００５６】
次のステップＳ４０６では、ステップＳ４０５の検索結果である類似映像候補ファイル群１９を、表示部１４上で文字検索候補映像ファイル群１８とは別の方向に表示する。すなわち、図３に示すように、垂直方向に表示された文字検索候補映像ファイル群１８に対して水平方向に類似映像候補ファイル群１９を表示する。なお、図３では文字検索候補映像ファイル群１８を垂直方向に表示し、類似映像候補ファイル群１９を水平方向に表示しているが、文字検索候補映像ファイル群１８と類似映像候補ファイル群１９を表示部１４の画面上で異なる２方向に表示すれば良く、例えば、文字検索候補映像ファイル群１８と類似映像候補ファイル群１９を表示部１４の画面上で斜めに交わる２方向に表示したり、３Ｄ表示の場合は、一方を表示部１４の画面の面方向に表示し、他方を奥行き方向に表示しても良い。
【００５７】
次のステップＳ４０７では、ユーザが表示されている映像から最終的に映像を確定したか否かを判定し、確定の入力があった場合には、次のステップＳ４０８で確定した映像を仮データ蓄積部１１０に蓄積する。一方、ユーザが最終的な選択をしておらず、映像を確定していない場合には、ステップＳ４０４へ戻り、ユーザへの選択を再度促す。
【００５８】
ステップＳ４０８で仮データ蓄積部１１０にデータを蓄積した後、ステップＳ４０９では、仮データ蓄積部１１０に２枚以上の映像が蓄積されているか否かを判定し、２枚以上の映像が蓄積されていない場合にはステップＳ４０１に戻る。一方、２枚以上の映像が蓄積されている場合には、ステップＳ４１０で合成フローへ進む。
【００５９】
図５及び図６は、ステップＳ４１０で行われる合成フローの処理を示すフローチャートである。合成フローの処理は特許文献２に記載された手法を用いることができ、ここでは概略を説明する。図５は、合成部１５の処理の流れを示している。また、図６は、処理の中で作られる中間データの関係を示している。
【００６０】
（ａ．映像ファイルの抜き出し）
先ず、合成部１５は、ステップＳ５０１で仮データ蓄積部１１０内の映像ファイルからまだ処理していない先行する単語を表す先映像ファイル６１１とそのすぐ後の単語を表す後映像ファイル６１２の２つを抜き出す。
【００６１】
次のステップＳ５０２では、合成部１５は、先映像ファイル６１１の最終フレーム６１３と、後映像ファイル６１２の先頭フレーム６１４とをそれぞれ抜き出す。
【００６２】
（ｂ．中間フレーム合成）
次のステップＳ５０３では、合成部１５は、最終フレーム６１３と先頭フレーム６１４を用い、モーフィング処理によって中間フレーム６１５を複数枚合成する。モーフィング処理とは、２つのフレーム間の映像の割合を徐々に変化させることで２つのフレーム間の中間フレームを作成する手法である。モーフィング処理としては、例えば公知のクロスディゾルブやワーピングなどの方法を用いることができる。ここでは、最終フレーム６１３から先頭フレーム６１４へ徐々に変化するようなフレームを合成する。
【００６３】
（ｃ．映像ファイル作成）
次のステップＳ５０４では、ステップＳ５０３で作成した中間フレーム６１５から合成映像ファイル６１６を作成する。ここでは、複数枚ある中間フレーム６１５に時間情報を追加して映像ファイル６１６としてまとめる。
【００６４】
（ｄ．映像ファイルの追加）
次のステップＳ５０５では、ステップＳ５０４で作成した映像ファイル６１６を、選択映像ファイルの当該部分に挿入する。ここでは、先映像ファイル６１１と後映像ファイル６１２の中間部分に映像ファイル６１６を挿入する処理を行う。
【００６５】
上記ａ．ｂ．ｃ．ｄの処理を、全ての仮データ蓄積部１１０内の映像ファイルを処理するまで反復し、ステップＳ５０６で映像ファイルを出力する。
【００６６】
図４の処理では、ステップＳ４１０の合成フロー処理が終了した後、次のステップＳ４１１では、表示部１４は表示される映像を更新する。表示部１４には蓄積された映像ファイル、また蓄積された映像ファイルから作られた合成された映像ファイルを含めた映像が表示される。
【００６７】
次のステップＳ４１２では、ユーザからの出力指示を待ち、文章が確定され、出力が行われる場合は、次のステップＳ４１３で出力を行う。一方、ユーザから出力指示がない場合は、ステップＳ４０１に戻る。
【００６８】
以上説明したように第１の実施形態によれば、日本語を用いて日本語の意味に相当する映像を検索でき、同一の日本語の日本語ラベルを持つ映像を複数表示して、ユーザが選択する構成とすることで、日本語の意味にふさわしい最適な映像を選択することができる。
【００６９】
また、同時に映像を選択する際に、ラベルで選択した映像と、ラベル以外の類似性で類似度が高いと判定した映像を表示することで、ユーザが必要となる映像に付加されている日本語ラベルを推測できない場合でも、形状の類似性から必要となる映像を検索できることが可能となる。
【００７０】
なお、選択した類似検索候補映像ファイル群１９内の映像を選択した際に、逆に映像ファイルの日本語ラベルから日本語ラベルに一致する映像を選択するような構成とすることもできる。また、類似映像検索の際に、たとえばカメラなどを用いてユーザが直接手話の一部をまねることによって映像を検索するような構成としてもよい。
【００７１】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。映像を合成する際には、合成される映像の時間長などを直感的にコントロールする必要が生じる場合がある。例えば、映像が日本語に対応付けられた手話であるような場合に、「小さい花」などのように形容詞と名刺の組み合わせで映像が並んでいる場合には、手話の意味を表現するために二つの映像間の時間を短くする、つまり合成された映像の時間を短くする必要がある。このような意味に応じて時間長を変更するためのルールは現状明明瞭ではなく、機械的に実行することはできない。また、映像を確認しつつパラメータの設定を行う必要があるため、ユーザの負担が大きかった。
【００７２】
第２の実施形態は、これらの課題を解決するものであり、表示部７０２上に仮データ蓄積部１１０上に蓄積された映像をフレームの一部を並べる形で表示し、表示されているフレーム群を配置したオブジェクトの長さを操作することで、合成される映像の時間の長さをユーザが直感的に変更できるようにしたものである。
【００７３】
図７は、第２の実施形態のシステム構成を示す模式図である。第２の実施形態のシステム構成は、第１の実施形態のシステム構成に加え、新たに時間長調整部７０１を備えている。時間長調整部７０１は、ユーザの操作によって、合成部７０３に例えば合成する映像の枚数を変化させて映像の合成を行わせる機能ブロックである。
【００７４】
表示部７０２は、第１の実施形態で説明した機能に加え、新たに仮データ蓄積部１１０に蓄積された映像ファイルのフレーム、またはその一部と、合成部７０３によって合成された中間フレームを、映像の時間に応じて長さを表す形で表示する機能を有する。
【００７５】
合成部７０３は、第１の実施形態で説明した機能に加え、新たに時間長調整部７０１からの時間長の変更指令を受け、時間を変更して映像を出力する機能を有する。
【００７６】
以下、第２の実施形態の映像編集装置の動作を図面に基づいて説明する。図８は、表示部７０２に表示される、仮データ蓄積部１１０に蓄積された映像ファイルのフレーム（先映像ファイル６１１、後映像ファイル６１２）、またはその一部と、合成部７０３によって合成された中間フレーム６１５の外形を示す模式図である。ここで、図８（Ａ）は時間長調整部７０１による中間フレーム６１５の数の変更を行わない場合を示している。また、図８（Ｂ）は、時間長調整部７０１の操作によって、中間フレーム６１５の数が変更され、時間長が変更された状態を示している。
【００７７】
このように、本実施形態の映像編集装置では、手話単語を選択の後に文章を表すような映像を合成する場合において、映像間に合成された映像を挿入する際に、合成された映像の時間長をユーザが直感的に変更できるようにすることにより、時間構造がより自然の手話に近い手話映像を作成することが可能である。
【００７８】
図９は、第２の実施形態における合成フローの処理を示すフローチャートであって、図４のステップＳ４１０に対応する処理である。第２の実施形態の動作の多くは第１の実施形態と共通するため、ここでは合成フローの処理のみを説明する。
【００７９】
図５の処理と異なる点は、ステップＳ５０５の後、時間長調整部７０１からの指令が変更されたか否かを判定するステップＳ９０２を新たに設けている点である。そして、ステップＳ９０２を追加したことにより、図５のステップＳ５０２の処理が変更され、新たにステップＳ９０１とされている。図９の他の処理は図５と同様である。
【００８０】
図９の処理において、ステップＳ９０２で時間を変更する指示があった場合には、ステップＳ９０１へ戻り、中間フレームの映像の枚数を変更して再度映像を合成する。一方、ステップＳ９０２で時間を変更する指示がない場合は、以前と同様の映像をＳ５０６で出力する。
【００８１】
表示部７０２上には、仮データ蓄積部１１０上に蓄積された映像がフレームの一部を並べる形で表示される。そして、ユーザが、適宜画面に現れる時間長を把握しながら表示されているフレーム群を配置したオブジェクトの長さを操作することで、合成される映像の時間をユーザが直感的に変更でき、自然な映像の作成に貢献することができる。
【００８２】
図８に示すように、時間長調整部７０１の動作により中間フレーム６１５の数を減少させた場合は、先映像ファイル６１１と後映像ファイル６１２とが接続される時間長を短くすることができる。また、中間フレーム６１５の数を増加させた場合は、先映像ファイル６１１と後映像ファイル６１２とが接続される時間長を長くすることができる。この調整は、ユーザが図８に示す表示画面上で入力部１０からの入力により行うことができる。
【００８３】
以上説明したように第２の実施形態によれば、表示部７０２上に仮データ蓄積部１１０上に蓄積された映像をフレームの一部を並べる形で表示し、表示されているフレーム群を配置したオブジェクトの長さを操作することで、合成される映像の時間の長さをユーザが変更することが可能となる。これにより、入力に応じた自然な流れの映像を作成することが可能となる。
【００８４】
なお、第２の実施形態において、時間を変更する際に、１秒間に何枚の画像を表示するというフレームレートを変更することによって時間を変更しても良い。
【００８５】
また、上述した各実施形態では、手話の映像の編集を例に挙げて説明したが、本発明は手話の映像の編集に限定されるものではなく、特定の概念を表す身体の動作に対応した映像の編集に広く適用することが可能である。本発明は、例えば、バレエ、ダンス、ヨガ、手旗信号などの特定の概念を表す身体の動作に対応した映像の編集などに適用することができる。
【００８６】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【図面の簡単な説明】
【００８７】
【図１】本発明の第１の実施形態に係る映像編集装置の構成を示す模式図である。
【図２】単語辞書のデータ構造を示す模式図である。
【図３】第１の実施形態の表示画面を示す模式図である。
【図４】第１の実施形態の映像編集装置の映像検索の処理を示すフローチャートである。
【図５】合成部の処理の流れを示すフローチャートである。
【図６】合成フローの処理の中で作られる中間データの関係を示す模式図である。
【図７】本発明の第２の実施形態のシステム構成を示す模式図である。
【図８】表示部に表示される映像ファイルのフレームと、合成部によって合成された中間フレームの外形を示す模式図である。
【図９】第２の実施形態における合成フローの処理を示すフローチャートである。
【符号の説明】
【００８８】
１０    入力部
１１    データ選択部
１２    単語辞書
１３    映像ファイル群
１４    表示部
１５    合成部
１６    出力部
【図１】
2008294973.tif 000003
【図２】
2008294973.tif 000004
【図３】
2008294973.tif 000005
【図４】
2008294973.tif 000006
【図５】
2008294973.tif 000007
【図６】
2008294973.tif 000008
【図７】
2008294973.tif 000009
【図８】
2008294973.tif 000010
【図９】
2008294973.tif 000011