(57)【要約】【課題】映像や音声などの時間属性を持った素材のみを編集するツールに対して、さらに時間属性を持たない静止画などの素材を組み合わせて編集するユーザインタフェースを設計する場合に、利用者に対して画面上でそれらの対応を見せやすく、かつ扱いやすくする編集ツール、及び編集および操作方法を提供する。【解決手段】映像と音声とを関連付けて扱う編集ツールであって、タイムラインを用いたツール、このツールを用いた編集方法などを主な特徴としている。【選択図】図４
2007235253.tif 000002
【特許請求の範囲】
【請求項１】
映像と音声とを関連付けて扱う編集ツールであって、
タイムラインを用いることを特徴とする編集ツール。
【請求項２】
請求項１記載の編集ツールを用いて時間パラメータを持たない画像である静止画像または動画像の瞬間静止状態の画像を音声と関連付けてユーザインタフェースに表示することを特徴とする編集および操作方法。
【請求項３】
タイムラインモードとサムネイルモードとを切り替え可能なことを特徴とする請求項２記載の編集および操作方法。
【請求項４】
前記時間パラメータを持たない画像である静止画像または動画像の瞬間静止状態の画像はスライドであり、タイムラインと平行して前記スライドのトラックを配置して前記タイムラインと前記スライドとの対応を顕在化することを特徴とする請求項３記載の編集および操作方法。
【請求項５】
映像音声トラックと前記スライドとの時間的な関係をストライプで連結して顕在化することを特徴とする請求項４に記載の編集および操作方法。
【請求項６】
前記映像音声のタイムラインの上をクリックすると前記クリックされた位置に同期して前記スライドが移動して対応するスライドが顕在化することを特徴とする請求項５記載の編集および操作方法。
【請求項７】
前記スライドのトラックをクリックすると前記映像音声のセグメントの先頭が移動して同期することにより対応する映像音声のセグメントが顕在化することを特徴とする請求項６記載の編集および操作方法。
【請求項８】
前記映像音声のタイムラインをスクロールすると外れたセグメントに伴って前記スライドが一枚ずつ表示上から消えることを特徴とする請求項５から７のいずれか１項記載の編集および操作方法。
【請求項９】
前記スライドのトラックをスクロールすると前記スクロールされたスライドが表示外に出るに伴って対応する映像音声のセグメントも表示外に出ることを特徴とする請求項５から８のいずれか１項記載の編集および操作方法。
【請求項１０】
前記タイムラインモードまたはサムネイルモードの際のスライドトラックにサムネイルが付加して前記スライドのセグメントが区別され、前記付加したサムネイルのスライドトラックの全表示が不可能なときには当該サムネイルを必要としないか、もしくはサムネイル以外の表示を付加して他と識別することを特徴とする請求項３から９のいずれか１項記載の編集および操作方法。
【請求項１１】
前記タイムラインモードのサムネイルに表示に余裕があるときには左端に、１スライドが表示不可の場合には１画面に表示可能なように、前記サムネイルの表示位置を移動することを特徴とする請求項３から１０のいずれか１項記載の編集および操作方法。
【請求項１２】
前記タイムラインの拡大または縮小率を変えて画面内に表示されるセグメント数の変化に応じてスライドの表示数も変えることを特徴とする請求項３から１１のいずれか１項記載の編集および操作方法。
【請求項１３】
前記時間パラメータを持たない画像である静止画像または動画像の瞬間静止状態の画像は時間の要素を有さないスライド以外の情報であることを特徴とする請求項２から１１のいずれか１項記載の編集および操作方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、編集ツール、及び編集および操作方法に関し、特に、映像音声を主に扱う編集ツールを用いた映像編集技術、タイムラインを主体とするユーザインタフェースの技術に係る編集ツール、及び編集および操作方法に関する。
【背景技術】
【０００２】
従来、特許文献１などの公報に見られるような編集システムの発明が知られている。このシステムでは映像や音声を編集対象とするツールの画面において、映像や音声の各セグメントの時間に比例した長さで表示を行うタイムラインモードと、同一の大きさのサムネイルとして扱うピクチャーモードを切り替えて使っている。このようなスライドのような時間的属性の存在しないメディアを、時間属性を持つ映像や音声と同時に扱う場合には、映像や音声に添った時間的長さを持つものと仮定して、タイムライン上に表示することが一般的である。
【０００３】
映像や音声を編集するツールとして、一般に各素材を利用者の所望する位置で、"切る"、"挿入する"、"重ね合わせる"などの操作を実行することによって最終的に目的のコンテンツを生成し、また、近年普及しつつあるマルチメディアコンテンツのように、映像や音声だけではなく、静止画などの素材を組み合わせ、更に複雑なコンテンツを作成するツールなどが知られている。
【０００４】
たとえば特許文献２にはコンテンツ構造編集装置の発明が記載されており、映像ストリームそのものではなく論理的な「コンテンツ」に対して構造化を行い、そのコンテンツに対し、必要に応じて映像ストリームの必要部分を割り付けること、換言すれば、記憶容量に物理的な制限のある条件や、ファイルサイズのような、仕様によって記憶容量に制約のある条件下で記憶されている映像ストリームを１単位の物理ストリームと定義し、複数の物理ストリームから１つのコンテンツの構造を作成および編集する発明が記載されている。
【０００５】
また特許文献３には、映像データの中から所望の映像を選択視聴できるように、映像情報に対して内容記述を行い、この記述情報を基に映像検索を行うが、このようなシステムでは、前記した所望の映像データを選択するために映像データに対して予め意味ベースに構造を区切り、これに対する情報を記述する必要があり、よって、映像データを編集するためには映像を再生巻き戻ししながら意味的に切れるシーンを検出し、その映像に合わせた内容を入力する必要がある旨、記載されている。
【特許文献１】特開平１０−１６４４９６号公報
【特許文献２】特開２００３−６８０５８号公報
【特許文献３】特開２００３−１７８０７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、映像や音声などの時間属性を持った素材のみを編集するツールに対して、さらに時間属性を持たない静止画などの素材を組み合わせて編集するユーザインタフェースを設計する場合に、利用者に対して画面上でそれらの対応を見せやすく、さらに扱いやすくした編集ツール、及び編集および操作方法を提供することを目的としている。
【課題を解決するための手段】
【０００７】
請求項１記載の発明は、映像と音声とを関連付けて扱う編集ツールであって、タイムラインを用いることを特徴とする。
【０００８】
請求項２記載の発明は、請求項１記載の編集ツールを用いて時間パラメータを持たない画像である静止画像または動画像の瞬間静止状態の画像を音声と関連付けてユーザインタフェースに表示することを特徴とする。
【０００９】
請求項３記載の発明は、請求項２記載の編集および操作方法において、タイムラインモードとサムネイルモードとを切り替え可能であることを特徴とする。
【００１０】
請求項４記載の発明は、請求項３記載の編集および操作方法において、前記時間パラメータを持たない画像である静止画像または動画像の瞬間静止状態の画像はスライドであり、タイムラインと平行して前記スライドのトラックを配置して前記タイムラインと前記スライドとの対応を顕在化することを特徴とする。
【００１１】
請求項５記載の発明は、請求項４記載の編集および操作方法において、映像音声トラックと前記スライドとの時間的な関係をストライプで連結して顕在化することを特徴とする。
【００１２】
請求項６記載の発明は、請求項５記載の編集および操作方法において、前記映像音声のタイムラインの上をクリックすると前記クリックされた位置に同期して前記スライドが移動して対応するスライドが顕在化することを特徴とする。
【００１３】
請求項７記載の発明は、請求項６記載の編集および操作方法において、前記スライドのトラックをクリックすると前記映像音声のセグメントの先頭が移動して同期することにより対応する映像音声のセグメントが顕在化することを特徴とする。
【００１４】
請求項８記載の発明は、請求項５から７のいずれか１項記載の編集および操作方法において、前記映像音声のタイムラインをスクロールすると外れたセグメントに伴って前記スライドが一枚ずつ表示上から消えることを特徴とする。
【００１５】
請求項９記載の発明は、請求項５から８のいずれか１項記載の編集および操作方法において、前記スライドのトラックをスクロールすると前記スクロールされたスライドが表示外となる（表示の外に出る）に伴って対応する映像音声のセグメントも表示外となることを特徴とする。
【００１６】
請求項１０記載の発明は、請求項３から９のいずれか１項記載の編集および操作方法において、前記タイムラインモードまたはサムネイルモードの際のスライドトラックにサムネイルが付加して前記スライドのセグメントが区別され、前記付加したサムネイルのスライドトラックの全表示が不可能なときには当該サムネイルを必要としないか、もしくはサムネイル以外の表示を付加して他（のスライド）と識別することを特徴とする。
【００１７】
請求項１１記載の発明は、請求項３から１０のいずれか１項記載の編集および操作方法において、前記タイムラインモードのサムネイルに表示に余裕があるときには左端に、１スライドが表示不可の場合には１画面に表示可能なように、前記サムネイルの表示位置を移動することを特徴とする。
【００１８】
請求項１２記載の発明は、請求項３から１１のいずれか１項記載の編集および操作方法において、前記タイムラインの拡大または縮小率を変えて画面内に表示されるセグメント数の変化に応じてスライドの表示数も変えることを特徴とする。
【００１９】
請求項１３記載の発明は、請求項２から１１のいずれか１項記載の編集および操作方法において、前記時間パラメータを持たない画像である静止画像または動画像の瞬間静止状態の画像は時間の要素を有さないスライド以外の情報であることを特徴とする。
【発明の効果】
【００２０】
本発明は、画像情報と音声とを関連つけて編集することが容易であり、この関連付けにより、明確に編集することが可能となる。また、タイムラインモードとサムネイルモードのどちらの表示モードかを指定して画像処理あるいはスライド化した画像情報などと関連付けて視覚的に表示して関連付けを明確に視覚化することが可能である。
【発明を実施するための最良の形態】
【００２１】
以下に本発明の映像編集方法を、実施の形態により、説明する。本発明の映像編集方法は、時間をパラメータとして有する素材（時間をパラメータとして有する画像情報：たとえばスライド（スライド上に一群の画像情報を１スライドとして表示可能なものを含む））と、時間のパラメータを有さない素材（時間をパラメータとして有さない画像情報：たとえば前記同様のスライド）とを平行に並べて、それぞれのセグメントの対応関係を保って表示させる。そのときに、時間の長さに比例して表示を行うタイムラインモードと、時間には関わらず同じ大きさで表示を行うサムネイルモードとを切り替えて実施する。
【００２２】
図１に示すタイムラインモードでは、中段（物差しの真下）にある映像と音声のタイムラインにおけるセグメントの大きさに比例し、下段にあるスライド（最下段に「ｓｌｉｄｅ」と表示されている部分）の各セグメントは一致した位置と長さで存在している。
【００２３】
これに対し図２に示すように、サムネイルモードでは、スライドのセグメントは各々が同じ大きさに表示され、中段にある映像と音声のセグメントはこの同大のｓｌｉｄｅと、ストライプでそれぞれの対応が分かるように表示されている。
【００２４】
映像音声トラックとスライド（ｓｌｉｄｅ）の時間的関係を、ストライプで連結して見せることを特徴としている（図３）。
【００２５】
映像音声のタイムライン上をクリックすると、クリックされたｓｌｉｄｅ位置に同期してスライドが移動し、これによって、対応するスライドが分かる（スライドの中心や、先頭）（図４）。
【００２６】
また図５に示すように、スライドトラックをクリックすることで、映像音声のセグメントの先頭が移動し同期する。このことにより、対応する映像音声セグメントが分かる（図５）。
【００２７】
映像音声のタイムラインをスクロールすると、画面から外れたセグメントにともなってスライドも一枚ずつ画面外に出て表示から消える（図６）。あるいはスライドトラックをスクロールすると、スライドが画面外に出るに伴って、対応する映像音声セグメントも画面外に出る（図６参照）。
【００２８】
タイムラインモード、サムネイルモードの両方ともに、スライドトラックにはサムネイルが付加する（図７）。このことにより、スライドセグメントの区別が付く。サムネイルは、表示が入りきれないときにはカットして表示するサムネイルを必要としないか、もしくはサムネイルが存在しない素材の場合には、連番による番号などを表示して識別しやすくすることもできる。このように、本発明では、識別するための識別子として順番機能を有するもの（数字、アルファベットの文字順、イロハ順など）を用いることができる。
【００２９】
サムネイルは（タイムラインモードの時）、表示に余裕があるときには左端、１スライドが長くてはみ出る場合には画面に入るように（図７上の左端等）サムネイルの表示位置を移動する。タイムラインの拡大縮小率を変えて画面内に収まるセグメント数が変わると、それに応じてスライドの同時表示数も追従して変わる。
【００３０】
以上、スライドを主な例として説明しているが、スライドに限らず時間概念を持たない素材全般を扱うことも含む。
【００３１】
図８にモジュール構成図を示す。本発明はユーザインタフェースに関するものであるため、「操作入力部」と「表示部」およびそれらの入出力を演算する「演算部」から構成される。図８における「操作入力部」はマウス等のポインティングデバイスを表し、「表示部」がグラフィックディスプレイ（ＣＲＴ、ＬＣＤ、ＰＤＰ、ＥＬ（ＯＥＬ：有機ＥＬ素子）など）を示している。表示部に描かれるユーザインタフェースが本発明の主要な要素である。
【００３２】
図９にシステム構成図を示す。図９に示すように、ユーザインタフェースは、ＣＰＵなどの演算素子と、メモリ（ＲＯＭ、ＲＡＭ、キャッシュメモリなど）と、外部記憶装置と、入力装置と、各種Ｉ／Ｆと、表示装置とがバスを介して接続されて構成されている。
【００３３】
図１０に、グラフィックユーザインタフェース（ＧＵＩ）の表示モードを変えるフローチャートを示す。この中の「タイムライン表示処理」（ステップＳ１００２）は従来公知の技術である。他方の「サムネイル表示処理」（ステップＳ１００３）は本発明で追加された処理である。
【００３４】
図１１に、サムネイル表示処理のフローチャートを示す。ユーザインタフェースの表示モードがタイムライン表示であった場合には（ステップＳ１００１／ＹＥＳ）、まず映像セグメントをタイムライン上に表示する（ステップＳ１００２、ステップＳ１１０１）。次に、タイムラインと並行してスライドを表示するが、このときに画面の中に納まるかぎりスライドをサムネイルとして並べて表示する（ステップＳ１１０２、ステップＳ１１０３）。最後に映像セグメントとスライドの間の関係が分かるように、図３に示すように対応するセグメントとスライドの間に線を入れてストライプ表示する（ステップＳ１１０４）。
【００３５】
図１はタイムラインモードを用いたマルチメディアコンテンツ編集ツールの画面の表示例を表している。図２は同マルチメディアコンテンツ編集ツールのサムネイルモード時の画面の表示例を表している。この二つの表示方法は任意に切り替えることができる。
【００３６】
図１のタイムラインモードでは、中段にある映像、音声のタイムラインにおけるセグメントに比例し、下段にあるスライドセグメントが一致した位置と長さで存在していることがわかる。図２のサムネイルモードでは、スライドのセグメントは各同じ大きさで表示されており、中段にある映像、音声セグメントとはストライプで対応が分かるように表示されている。
【００３７】
＜動作例＞
プレゼンテーションを記録するソフトウエアを用いてこれを例に説明する。たとえば、Microsoft PowerPointやApple Keynoteなどのスライド形式の画像情報を使ったプレゼンテーション素材と、発表者の映像とを、スライドをめくるタイミングと同期させた状態で、ビデオカメラ等で撮影し、プレゼンテーションの内容を自動的にコンテンツ化して記録するようなソフトウエアを用いているとする。このソフトウエアの生成するコンテンツは、スライドをめくるタイミング（時刻）を基準にした論理的なセグメントとして分割された映像音声と、対応するスライドの各ページの組み合わせとからなっている。
【００３８】
生成されたコンテンツを後から編集したい場合、たとえば、あるスライドをめくるタイミングを１秒前に変更したいとき、所望の箇所を探し出すのに、長いコンテンツの中から映像音声セグメントをプレビューして、所望の箇所を見つける第１の方法と、スライドをプレビューして所望の箇所を見つける第２の方法とがある。これらのどちらの方法を採用するかは自在であり、利用者の好み、場合などによって異なるが所望の箇所をユーザの利用しやすい方で見つけ出すことができ、効率的に動作を可能とすることができる。
【００３９】
映像音声から所望の箇所を探す場合には、タイムラインモードが便利である。映像のプレビューに位置するスライドが、図１に示すように、タイムライン上でも同じ位置に存在するほうが見やすく理解しやすい。スライドから所望の箇所を探す場合には、サムネイルモードが便利である。たとえば「何枚目のスライドか」が分かっている場合には、図２に示すように、映像音声のセグメントに合わせた長いスライドセグメントをたどる必要はないので、長時間目を酷使したり、あるいはいわゆる電磁場エリア下に長時間作業することを防止して、よい作業環境を提供する場ともなっている。
【図面の簡単な説明】
【００４０】
【図１】タイムラインモードを用いたマルチメディアコンテンツ編集ツールの画面の表示例を表した図である。
【図２】マルチメディアコンテンツ編集ツールのサムネイルモードモードでの画面の表示例を表した図である。
【図３】映像セグメントとスライドの間の関係が分かるように、対応するセグメントとスライドの間に線を入れてストライプ表示する例を示す図である。
【図４】映像音声のタイムライン上をクリックしたときに、クリックされた位置に同期してスライドを移動していくことで、対応するスライドが分かるように表示した図である。
【図５】スライドトラックをクリックすることで、映像音声のセグメントの先頭が移動し同期して、対応する映像音声セグメントが分かることを示す図である。
【図６】映像音声のタイムラインをスクロールして、画面から外れたセグメントにともなってスライドも一枚ずつ画面外に出て表示から消えたり、スライドトラックをスクロールしてスライドが画面外に出るに伴って、対応する映像音声セグメントを画面外に出ることを示した図である。
【図７】タイムラインモード、サムネイルモードともに、スライドトラックにはサムネイルが付加して、スライドセグメントの区別が付くことを示した図である。
【図８】モジュール構成を示す図である。
【図９】システムの構成を示す図である。
【図１０】グラフィックユーザインタフェース（ＧＵＩ）の表示モードを変えるフローチャートである。
【図１１】サムネイル表示処理のフローチャートである。
【符号の説明】
【００４１】
１０１    演算部
１０２    データベース
１０３    操作入力部
１０４    表示部
２０１    ＣＰＵ（Central Processing Unit：演算処理部）
２０２    メモリ（ＲＡＭ、ＲＯＭ（ＣＤ  ＲＯＭ、ＤＶＤ  ＲＯＭを含む））
２０３    表示装置
２０４    外部記憶装置
２０５    Ｉ／Ｆ
２０６    入力装置（画像入力装置）
【図１】
2007235253.tif 000003
【図２】
2007235253.tif 000004
【図３】
2007235253.tif 000005
【図４】
2007235253.tif 000006
【図５】
2007235253.tif 000007
【図６】
2007235253.tif 000008
【図７】
2007235253.tif 000009
【図８】
2007235253.tif 000010
【図９】
2007235253.tif 000011
【図１０】
2007235253.tif 000012
【図１１】
2007235253.tif 000013