(57)【要約】【課題】本発明は、映像をメディア認識技術を用いてシーンに区画することでインデックス情報を作成して、その処理結果を検出結果表示枠を使って一覧表示することで動画編集を支援するときに、効率的な動画編集を可能にすることを目的とする。【解決手段】映像からカメラ操作により撮影されたシーンの区間と、そのシーン区間の撮影に用いられたカメラパラメータ情報とを検出すると、シーン区間に含まれる１枚のフレーム画像を代表画像として選択するとともに、予め定めたマークを使ってカメラパラメータ情報を図形表現する情報を生成する。そして、代表画像と図形表現情報とをそのシーン区間に対応付けられる検出結果表示枠に表示する。これにより、検出結果一覧表示画面が同じ大きさの検出結果表示枠の並べられたもので構成されることを実現でき、従来よりも多くの検出結果表示枠を表示できるようになって、効率的な動画編集を実現できる。【選択図】図７
2006121265.tif 000002
【特許請求の範囲】
【請求項１】
処理対象となる映像をメディア認識技術を用いてシーンに区画することでインデックス情報を作成して、その処理結果を同一の大きさを持つ検出結果表示枠を使って一覧表示する映像処理方法であって、
処理対象となる映像からカメラ操作により撮影されたシーンの区間と、そのシーン区間の撮影に用いられたカメラパラメータ情報とを検出するステップと、
前記シーン区間に含まれる１枚のフレーム画像を、そのシーン区間に対応するシーン代表画像として選択するステップと、
予め定めたマークを使って、前記カメラパラメータ情報を図形表現する情報を生成するステップと、
前記シーン代表画像と前記図形表現情報とを、前記シーン区間に対応付けられる検出結果表示枠に表示するステップとを備えることを、
特徴とする映像処理方法。
【請求項２】
請求項１に記載の映像処理方法において、
前記図形表現情報を表示する検出結果表示枠に対して映像の表示要求がある場合に、その図形表現情報の生成元となったカメラパラメータ情報の検出対象となった映像をパノラマ表示するステップを備えることを、
特徴とする映像処理方法。
【請求項３】
請求項１又は２に記載の映像処理方法において、
音情報及びそれに該当する情報を使って映像の区画処理を実行する場合にあって、その情報を持つシーン代表画像を表示する検出結果表示枠に対して表示要求がある場合に、そのシーン代表画像とその情報とを対応をとりつつ表示するステップを備えることを、
特徴とする映像処理方法。
【請求項４】
処理対象となる映像をメディア認識技術を用いてシーンに区画することでインデックス情報を作成して、その処理結果を同一の大きさを持つ検出結果表示枠を使って一覧表示する映像処理装置であって、
処理対象となる映像からカメラ操作により撮影されたシーンの区間と、そのシーン区間の撮影に用いられたカメラパラメータ情報とを検出する手段と、
前記シーン区間に含まれる１枚のフレーム画像を、そのシーン区間に対応するシーン代表画像として選択する手段と、
予め定めたマークを使って、前記カメラパラメータ情報を図形表現する情報を生成する手段と、
前記シーン代表画像と前記図形表現情報とを、前記シーン区間に対応付けられる検出結果表示枠に表示する手段とを備えることを、
特徴とする映像処理装置。
【請求項５】
請求項４に記載の映像処理装置において、
前記図形表現情報を表示する検出結果表示枠に対して映像の表示要求がある場合に、その図形表現情報の生成元となったカメラパラメータ情報の検出対象となった映像をパノラマ表示する手段を備えることを、
特徴とする映像処理装置。
【請求項６】
請求項４又は５に記載の映像処理装置において、
音情報及びそれに該当する情報を使って映像の区画処理を実行する場合にあって、その情報を持つシーン代表画像を表示する検出結果表示枠に対して表示要求がある場合に、そのシーン代表画像とその情報とを対応をとりつつ表示する手段を備えることを、
特徴とする映像処理装置。
【請求項７】
請求項１ないし３のいずれか１項に記載の映像処理方法の実現に用いられる処理をコンピュータに実行させるための映像処理用プログラム。
【請求項８】
請求項１ないし３のいずれか１項に記載の映像処理方法の実現に用いられる処理をコンピュータに実行させるための映像処理用プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ番組映像やビデオ映像といった動画の編集に用いられる映像処理方法及びその装置と、その映像処理方法の実現に用いられる映像処理用プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関し、特に、効率的な動画の編集を可能にする映像処理方法及びその装置と、その映像処理方法の実現に用いられる映像処理用プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【背景技術】
【０００２】
動画編集装置では、動画の編集を効率的に行うことができるようにするために、映像の切り替わりや音声・音楽の有無やテロップの有無などを検出するメディア認識技術を用いて、入力した映像に対してインデックス作成処理（映像をシーンに区画し、各シーンについて代表画像を決定するなどの処理を行う）を施して、図１１に示すように、その処理結果を検出結果表示枠を使ってディスプレイに一覧表示することで、動画の編集者の作業を補助するための情報としている。
【０００３】
このメディア認識技術の検出要素のひとつとして、カメラの動き（パン、チルト、ズームなど）をもとにしたシーンの検出がある。ここで、パンとはカメラを水平方向に回転させる操作であり、チルトとはカメラを垂直方向に回転させる操作であり、ズームとはズームレンズの画角を変化させて被写体サイズを変化させる操作である。
【０００４】
従来では、カメラ操作（カメラワーク）を検出することで映像のシーンを検出する場合、カメラの動いた軌跡の映像全体を表示するようにするために、図１２に示すように、カメラ操作の軌跡の静止画像を移動量にあわせてずらしてつなぎ合わせて一つの静止画像として表すパノラマ画像表示を行うようにしている（例えば、特許文献１参照）。
【特許文献１】特開平１１−１５４０２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
動画の編集作業においては、映像シーンの内容を参照する場合、ひとつのインデックス結果だけではなくて前後のインデックス結果を見たり、異なるインデックス結果を比較したりするなどというように、複数のインデックス結果を見て編集すべきポイントを判断することが多い。
【０００６】
そのため、動画編集装置に、より多くの検出結果表示枠が一度に表示されることで、動画の編集者がより多くのインデックス結果を一度に見ることができた方が効率がよい。
【０００７】
しかるに、動画編集装置の作業画面の大きさには限りがあることから、従来技術に従っていると、以下の２つの課題がある。
【０００８】
まず、第一の課題として、図１２に示すように、インデックス結果の表示に用いられる検出結果表示枠の大きさが統一されておらず、これにより検出結果一覧表示画面（検出結果表示枠を並べて表示する画面）の一覧性の悪さがある。
【０００９】
すなわち、カメラ操作により撮影されたシーンを検出したシーン内容を表現するために、従来技術ではパノラマ画像表示を用いるようにしているが、パノラマ画像表示を用いると、画像が１枚のフレームの大きさよりも大きくなることで検出結果表示枠に必要なスペースが大きくなり、これにより検出結果一覧表示画面に表示可能となる検出結果表示枠の数が減少することになる。そのため、動画の編集者が前後のインデックス結果を見たり、異なるインデックス結果を比較したりするために、検出結果一覧表示画面をスクロールしたりページを送ったりする作業（動画編集装置を操作するアクションの数）が増加することになる。
【００１０】
さらに、パノラマ画像表示を用いると、パノラマ画像表示する検出結果表示枠がカメラの動きに対応して上下左右に広がり、これにより他の検出結果を表示する検出結果表示枠の大きさとそろわないことによって動画編集装置上の作業スペースが雑然となり、動画編集作業の効率化を妨げる要因となる。
【００１１】
この第一の課題を解決するために、前述のパノラマ画像を縮小することで、検出結果表示枠の大きさを統一するようにするという方法を用いることが考えられる。
【００１２】
しかしながら、この方法を用いると、パノラマ画像が示しているシーン情報、特に大きさや移動量を動画の編集者が直感的に認識することが困難になるという第二の課題が発生することになる。
【００１３】
すなわち、カメラ操作は検出された区間の映像ごとに移動量や拡大縮小率が異なることから、パノラマ画像の大きさにばらつきがある。したがって、検出結果表示枠の大きさを統一する場合、パノラマ画像の縮小率が検出結果により異なることになる。そのため、検出結果一覧表示画面の検出結果表示枠に表示される画像の大きさや移動量を、動画の編集者が直感的に捉えることができなくなるのである。
【００１４】
一方、パノラマ画像を縮小するのでなくて、カメラ操作のない検出結果表示枠の大きさを拡大することにより、検出結果表示枠の大きさを統一するようにするという方法を用いることも考えられる。
【００１５】
しかしながら、この方法を用いると、検出結果一覧表示画面に表示可能となる検出結果表示枠の数が減少することになる。そのため、第一の課題と同様に、動画の編集者が前後のインデックス結果を見たり、異なるインデックス結果を比較したりするために、検出結果一覧表示画面をスクロールしたりページを送ったりする作業（動画編集装置を操作するアクションの数）が増加することになる。
【００１６】
これらの理由により、従来技術では動画の編集を効率的に行うことができないという問題がある。
【００１７】
本発明はかかる事情に鑑みてなされたものであって、映像の切り替わりや音声・音楽の有無などのメディア認識技術を用いて、処理対象となる映像に対してインデックス作成処理を施して、その処理結果を検出結果表示枠を使ってディスプレイに一覧表示することで動画編集を支援するという構成を採るときにあって、効率的な動画の編集を可能にする新たな映像処理技術の提供を目的とする。
【課題を解決するための手段】
【００１８】
この目的を達成するために、本発明の映像処理装置は、処理対象となる映像をメディア認識技術を用いてシーンに区画することでインデックス情報を作成して、その処理結果を同一の大きさを持つ検出結果表示枠を使って一覧表示することを実現するために、（イ）処理対象となる映像からカメラ操作により撮影されたシーンの区間と、そのシーン区間の撮影に用いられたカメラパラメータ情報とを検出する検出手段と、（ロ）検出手段の検出したシーン区間に含まれる１枚のフレーム画像を、そのシーン区間に対応するシーン代表画像として選択する選択手段と、（ハ）予め定めたマークを使って、検出手段の検出したカメラパラメータ情報を図形表現する情報を生成する生成手段と、（ニ）選択手段の選択したシーン代表画像と生成手段の生成した図形表現情報とを、検出手段の検出したシーン区間に対応付けられる検出結果表示枠に表示する表示手段とを備える構成を採る。
【００１９】
さらに、この構成を採る場合に、図形表現情報を表示する検出結果表示枠に対して映像の表示要求がある場合に、その図形表現情報の生成元となったカメラパラメータ情報の検出対象となった映像をパノラマ表示する第２の表示手段を備えることがある。
【００２０】
また、音情報及びそれに該当する情報を使って映像の区画処理を実行する場合にあって、その情報を持つシーン代表画像を表示する検出結果表示枠に対して表示要求がある場合に、そのシーン代表画像とその情報とを対応をとりつつ表示する第３の表示手段を備えることがある。
【００２１】
以上の各処理手段が動作することで実現される本発明の映像処理方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００２２】
このように構成される本発明の映像処理装置では、処理対象となる映像からカメラ操作により撮影されたシーンの区間と、そのシーン区間の撮影に用いられたカメラパラメータ情報とを検出すると、その検出したシーン区間に含まれる１枚のフレーム画像を、そのシーン区間に対応するシーン代表画像として選択するとともに、予め定めたマークを使って、その検出したカメラパラメータ情報を図形表現する情報を生成する。
【００２３】
続いて、選択したシーン代表画像と生成した図形表現情報とを、検出したシーン区間に対応付けられる検出結果表示枠に表示する。
【００２４】
この表示を行っているときに、図形表現情報を表示する検出結果表示枠に対して映像の表示要求がある場合には、検出結果表示枠を拡大したり別画面を用いて、その図形表現情報の生成元となったカメラパラメータ情報の検出対象となった映像をパノラマ表示する。
【００２５】
そして、この表示を行っているときに、音情報及びそれに該当する情報（テロップなど）を使って映像の区画処理を実行する場合にあって、その情報を持つシーン代表画像を表示する検出結果表示枠に対して表示要求がある場合には、検出結果表示枠を拡大したり別画面を用いて、そのシーン代表画像とその情報とを対応をとりつつ表示する。
【発明の効果】
【００２６】
このようにして、本発明によれば、処理対象となる映像をメディア認識技術を用いてシーンに区画することでインデックス情報を作成して、その処理結果を検出結果表示枠を使って検出結果一覧表示画面に一覧表示するときに、カメラ操作により撮影されたシーンの内容を不足なく表示できるとともに、そのシーンをカメラ操作以外の検出要素による検出結果を表示する検出結果表示枠と同じ大きさの検出結果表示枠を用いて表示することができるようになるので、検出結果一覧表示画面をコンパクトに表示できるようになる。
【００２７】
そして、検出結果一覧表示画面に、従来よりも多くの検出結果表示枠を表示できるようになることで、動画の編集者は一度に多くの情報を参照することができるようになり、これにより、検出結果一覧表示画面をスクロールしたりページを送ったりする作業を行わずに多くの情報を見ることができるようになることで、動画編集装置を操作するアクションの数を減少させることができるようになる。
【００２８】
さらに、検出結果一覧表示画面が同じ大きさの検出結果表示枠の並べられたもので構成されることになることで、映像シーン内容の参照が簡素化できるようになって編集の効率化を図ることができるようになる。
【００２９】
しかも、カメラの動いた軌跡情報を図形情報を使い量的に表現することができるようになることで、定量的に他のカメラ操作により撮影されたシーン検出結果との比較ができるようになる。そして、映像の編集時にカメラ操作検出基準値などを設定することにより編集作業時の意思決定を容易にできるようになることで、従来と比較して編集の効率化を図ることができるようになる。
【発明を実施するための最良の形態】
【００３０】
以下、実施の形態に従って本発明を詳細に説明する。
【００３１】
図１に、本発明を具備する動画編集装置１の装置構成を図示する。
【００３２】
この図に示すように、本発明を具備する動画編集装置１は、処理対象となる映像を入力する映像入力部１０と、映像入力部１０の入力した映像を格納する映像ファイル１１と、映像ファイル１１に格納される映像を処理対象として、その処理対象となる映像をメディア認識技術を用いてシーンに区画することでインデックス情報を作成するインデックス作成部１２と、インデックス作成部１２の作業用に用意される作業用メモリ１３と、インデックス作成部１２の作成したインデックス情報を格納する検出結果用メモリ１４と、検出結果用メモリ１４に格納されるインデックス情報をディスプレイ１６に表示する検出結果一覧画面表示部１５と、検出結果一覧画面表示部１５の作業用に用意される作業用メモリ１７と、映像ファイル１１に格納される映像を処理対象として、その処理対象となる映像の編集を行う映像編集部１８とを備える。
【００３３】
このように構成される本発明を具備する動画編集装置１は、処理対象となる映像をメディア認識技術を用いてシーンに区画することでインデックス情報を作成して、図２に示すように、検出結果一覧表示画面に、その処理結果を同一の大きさを持つ検出結果表示枠を使って一覧表示することで、映像ファイル１１に格納される映像に対しての編集を支援する処理を実行するものである。
【００３４】
図３及び図４に、インデックス作成部１２の実行する処理フローの一例を図示し、図５及び図６に、検出結果一覧画面表示部１５の実行する処理フローの一例を図示する。
【００３５】
次に、これらの処理フローに従って、このように構成される本発明を具備する動画編集装置１の処理について詳細に説明する。
【００３６】
インデックス作成部１２は、映像ファイル１１に格納される映像に対してのインデックスの作成要求があると、図３の処理フローに示すように、先ず最初に、ステップ１０で、その処理対象となる映像の最後まで処理したのか否かを判断して、最後まで処理していないことを判断するときには、ステップ１１に進んで、前回処理した映像部分に続く映像部分に対して、映像の切り替わりや音声・音楽の有無やテロップの有無やカメラ操作の有無などのメディア認識技術を用いてシーンを検出する。
【００３７】
ここで、カメラ操作の有無を使ってシーンを検出する場合には、例えば、前述した特許文献１に記載されているように、映像中の隣り合う２枚の画像を重ね合わせたときの誤差が最小となるカメラパラメータ（移動方向、移動量、拡大縮小率）を求めることで、カメラ操作が行われている場合のカメラパラメータを求めて、それに従ってカメラ操作が行われているのか否かを判断することにより行う。なお、カメラにズーム操作（拡大縮小の操作）がある場合にも、特許文献１に記載されているように、「Akutsu,A. and Tonomura,Y.,Video Tomography:an Efficient Method for Camerawork Extraction and Motion Analysis.Proceedings of ACM Multimedia'94,ACM Press,pp.349-356」の方法を用いればカメラパラメータを求めることができる。
【００３８】
続いて、ステップ１２で、ステップ１１で検出したシーンがカメラ操作の有無を用いて検出したものであるのか否かを判断して、カメラ操作の有無を用いて検出したものではないことを判断するとき、すなわち、映像の切り替わりなどのようにそれ以外の検出要素を用いてシーンを検出したことを判断するときには、ステップ１３に進んで、検出したシーンについて代表画像を選択するとともに、音声情報やテロップ情報などがある場合にはそれを認識してテキストデータに変換することで、インデックス情報（どのような検出要素を用いてシーンを検出したのかを示す情報についても含める）を作成する。そして、続くステップ１４で、その作成したインデックス情報を検出結果用メモリ１４に保存してから、次のシーンの検出を行うべくステップ１０に戻る。
【００３９】
一方、ステップ１２で、ステップ１１で検出したシーンがカメラ操作の有無を用いて検出したものであることを判断するときには、ステップ１５に進んで、検出したシーンについて代表画像を選択する。
【００４０】
続いて、ステップ１６で、検出したシーンの映像を使って、カメラ操作の移動方向と移動量と拡大縮小率（ズーム量）とを算出する。すなわち、ステップ１１の処理で、特許文献１に記載されているような方法に従って、カメラ操作の開始時刻と終了時刻とを検出するとともに、そのカメラ操作区間におけるカメラパラメータを検出するので、その検出結果に基づいて、カメラ操作の開始から終了までの間に、カメラがどの方向にどの位移動したのかということと、カメラのズームがどのような形態でどの位変化したのかということを算出するのである。
【００４１】
続いて、ステップ１７で、誤差補正関数（誤差補正関数に代入する値の絶対値と規定の閾値との差分値を算出し、その差分値が規定の判断値より小さいことで概略ゼロであることを判断する場合には、その代入値が有意な値でないことを示す関数）を使って、算出したカメラ操作の移動方向と移動量と拡大縮小率とを評価して、カメラ操作を示すマークを決定する。
【００４２】
後述することから分かるように、検出結果一覧画面表示部１５は、図７に示すように、検出結果一覧表示画面の検出結果表示枠に、カメラ操作の移動方向を示すマークと、カメラ操作の拡大縮小を示すマークとを表示するとともに、それに対応付けて、カメラ操作の移動量の数値と拡大縮小率の数値とを表示するように処理するので、このステップ１７では、図８（ａ)(ｂ）に示す移動方向を示す８つのマークの中のどのマークを使用するのかということと、図８（ｃ）に示す拡大縮小を示す２つのマークの内のどのマークを使用するのかということを決定するのである。
【００４３】
このステップ１７では、編集対象となる映像内容の特徴や撮影環境などを考慮して、全体の移動量に対して十分小さい動きの場合などを誤差として扱うようにしている。
【００４４】
このステップ１７で実行する処理について詳述するならば、インデックス作成部１２は、図４の処理フローに示すように、先ず最初に、ステップ１７０で、拡大縮小率Ｃz を誤差補正関数ｆz に代入することで、その拡大縮小率Ｃz が有意な値を示すものであるのか否かを判断して、有意な値を示すものであることを判断するときには、ステップ１７１に進んで、Ｃz の値が拡大を示している場合には、図８（ｃ）の左側に示す拡大のマークを用いることを決定し、Ｃz の値が縮小を示している場合には、図８（ｃ）の右側に示す縮小のマークを用いることを決定する。そして、ステップ１７０で、拡大縮小率Ｃz が有意な値を示していないことを判断するときには、このステップ１７１の処理を省略する。
【００４５】
続いて、ステップ１７２で、左右方向の移動量Ｃx を誤差補正関数ｆx に代入したものと、上下方向の移動量Ｃy を誤差補正関数ｆy に代入したものとの乗算値を算出することで、その移動量Ｃx と移動量Ｃy とが共に有意な値を示すものであるのか否かを判断して、その２つが共に有意な値を示すものであることを判断するときには、ステップ１７７に進んで、移動方向のマークとして、図８（ｂ）に示す４つのマークの中に含まれる該当するマークを用いることを決定する。
【００４６】
一方、ステップ１７２で、移動量Ｃx と移動量Ｃy のいずれかが有意な値を示すものでないことを判断するときには、ステップ１７３に進んで、左右方向の移動量Ｃx を誤差補正関数ｆx に代入したものに従って、移動量Ｃx が有意な値を示すものであるのか否かを判断して、有意な値を示すものであることを判断するときには、ステップ１７４に進んで、移動方向のマークとして、図８（ａ）の左側に示す２つのマークの内の該当するマークを用いることを決定する。
【００４７】
一方、ステップ１７３で、移動量Ｃx が有意な値を示すものでないことを判断するときには、ステップ１７５に進んで、上下方向の移動量Ｃy を誤差補正関数ｆy に代入したものに従って、移動量Ｃy が有意な値を示すものであるのか否かを判断して、有意な値を示すものであることを判断するときには、ステップ１７６に進んで、移動方向のマークとして、図８（ａ）の右側に示す２つのマークの内の該当するマークを用いることを決定する。
【００４８】
このようにして、ステップ１７で、カメラ操作の移動方向と移動量と拡大縮小率とを評価してカメラ操作を示すマークを決定すると、続いて、ステップ１８で、ステップ１５で選択した代表画像と、ステップ１７で決定したカメラ操作を示すマークと、ステップ１６で算出したカメラ操作量（移動量、拡大縮小率）とに従って、インデックス情報（カメラ操作を用いてシーンを検出したことを示す情報についても含める）を作成する。そして、続くステップ１９で、その作成したインデックス情報を検出結果用メモリ１４に保存してから、次のシーンの検出を行うべくステップ１０に戻る。
【００４９】
そして、ステップ１０〜ステップ１９の処理を繰り返していくことで、ステップ１０で、処理対象となる映像の最後まで処理したことを終了すると、処理を終了する。
【００５０】
このようにして、インデックス作成部１２は、映像ファイル１１に格納される映像に対してのインデックスの作成要求があると、その処理対象となる映像をメディア認識技術を用いてシーンに区画することでインデックス情報を作成して、それを検出結果用メモリ１４に保存するように処理するのである。
【００５１】
この検出結果用メモリ１４に保存されるインデックス情報を受けて、検出結果一覧画面表示部１５は、インデックス作成部１２の作成したインデックス情報の表示要求があると、図５及び図６の処理フローに示すように、先ず最初に、ステップ２０で、検出結果一覧表示画面に同一の大きさを持つ検出結果表示枠を並べ、検出結果用メモリ１４に保存されるインデックス情報を読み出して、図２に示すように、それらの検出結果表示枠に、シーンの出現順序に従って、代表画像とどのような検出要素を用いてシーンを検出したのかを示す情報とを表示する。
【００５２】
このとき、カメラ操作により検出されたシーンについては、図７に示すように、代表画像に加えて、インデックス作成部１２の決定したカメラ操作の移動方向と拡大縮小を示すマークを表示するとともに、それに対応付ける形で、インデックス作成部１２の算出したカメラ操作の移動量の数値（方向により正負の値をとる）と拡大縮小率の数値を表示する。
【００５３】
なお、音声情報やテロップ情報により検出されたシーンについては、検出結果表示枠の大きさが限られていることで、その音声情報やテロップ情報についてのテキストデータを検出結果表示枠に表示することができないので、この段階では表示しないように処理している。
【００５４】
ここで、どのような検出要素を用いてシーンを検出したのかについては、例えば、映像のカット点により検出されたシーンであるときにはシーンの通し番号の頭に記号Ｃを付け、音声情報により検出されたシーンであるときにはシーンの通し番号の頭に記号Ｓを付け、テロップ情報により検出されたシーンであるときにはシーンの通し番号の頭に記号Ｔを付け、カメラ操作により検出されたシーンであるときにはシーンの通し番号の頭に記号Ｃａを付けるといったことにより動画編集者に知らせることができるようにしている。
【００５５】
続いて、ステップ２１で、このようにして表示する検出結果一覧表示画面に対して動画編集者による画面操作が行われるのを待って、検出結果一覧表示画面に対して画面操作が行われると、ステップ２２に進んで、その画面操作が検出結果一覧表示画面の表示終了指示であるのか否かを判断して、表示終了指示であることを判断する場合には、ステップ２３に進んで、検出結果一覧表示画面の表示を終了して、処理を終了する。
【００５６】
一方、ステップ２２で、検出結果一覧表示画面に対しての画面操作が表示終了指示でないことを判断するときには、ステップ２４に進んで、検出結果一覧表示画面に並べられる検出結果表示枠がクリックされたのか否かを判断する。
【００５７】
この判断処理に従って、検出結果表示枠がクリックされたことを判断するときには、ステップ２５に進んで、そのクリックされた検出結果表示枠がカメラ操作により検出されたシーンのインデックス情報を表示する検出結果表示枠であるのか否かを判断して、その検出結果表示枠であることを判断するときには、ステップ２６に進んで、図９に示すように、別ウィンドウを表示して、そこにパノラマ画像の形態でそのシーンの映像部分を表示してから（例えば、前述した特許文献１に記載される方法に従ってパノラマ表示する）、ステップ２１に戻る。
【００５８】
一方、ステップ２５で、クリックされた検出結果表示枠がカメラ操作により検出されたシーンのインデックス情報を表示する検出結果表示枠でないことを判断するときには、ステップ２７に進んで、クリックされた検出結果表示枠が音声情報により検出されたシーンのインデックス情報を表示する検出結果表示枠であるのか否かを判断する。
【００５９】
この判断処理に従って、クリックされた検出結果表示枠が音声情報により検出されたシーンのインデックス情報を表示する検出結果表示枠であることを判断するときには、ステップ２８に進んで、図１０に示すように、別ウィンドウを表示して、そこに代表画像と音声情報のテキストデータとを表示してから、ステップ２１に戻る。
【００６０】
一方、ステップ２７で、クリックされた検出結果表示枠が音声情報により検出されたシーンのインデックス情報を表示する検出結果表示枠でないことを判断するときには、ステップ２９に進んで、クリックされた検出結果表示枠がテロップ情報により検出されたシーンのインデックス情報を表示する検出結果表示枠であるのか否かを判断する。
【００６１】
この判断処理に従って、クリックされた検出結果表示枠がテロップ情報により検出されたシーンのインデックス情報を表示する検出結果表示枠であることを判断するときには、ステップ３０に進んで、別ウィンドウを表示して、そこに代表画像とテロップ情報のテキストデータとを表示してから、ステップ２１に戻る。
【００６２】
そして、ステップ２４で、検出結果一覧表示画面に対する画面操作が検出結果表示枠に対してのクリック操作でないことを判断するときには、ステップ３１に進んで、画面操作の要求する処理（ページ送りなどの処理）を実行してから、ステップ２１に戻る。
【００６３】
このようにして、検出結果一覧画面表示部１５は、インデックス作成部１２が処理対象となる映像をメディア認識技術を用いてシーンに区画することでインデックス情報を作成すると、検出結果一覧表示画面に、その処理結果を同一の大きさを持つ検出結果表示枠を使って一覧表示するように処理するのである。
【００６４】
なお、図５及び図６の処理フローでは、検出結果一覧画面表示部１５は、別ウィンドウを使ってパノラマ画像を表示したり音声情報やテロップ情報を表示するようにしているが、検出結果表示枠を拡大して表示するようにしてもよい。
【００６５】
以上に説明したように、本発明を具備する動画編集装置１によれば、処理対象となる映像をメディア認識技術を用いてシーンに区画することでインデックス情報を作成して、その処理結果を検出結果表示枠を使って検出結果一覧表示画面に一覧表示するときに、カメラ操作により撮影されたシーンの内容を不足なく表示できるとともに、そのシーンをカメラ操作以外の検出要素による検出結果を表示する検出結果表示枠と同じ大きさの検出結果表示枠を用いて表示することができるようになるので、検出結果一覧表示画面をコンパクトに表示できるようになる。
【産業上の利用可能性】
【００６６】
本発明は、動画編集装置に適用することができ、これにより、動画の編集者は、処理対象となる映像を効率的に編集できるようになる。
【図面の簡単な説明】
【００６７】
【図１】本発明を具備する動画編集装置の装置構成図である。
【図２】検出結果一覧表示画面の説明図である。
【図３】インデックス作成部の実行する処理フローである。
【図４】インデックス作成部の実行する処理フローである。
【図５】検出結果一覧画面表示部の実行する処理フローである。
【図６】検出結果一覧画面表示部の実行する処理フローである。
【図７】検出結果表示枠に表示される情報の一例を示す図である。
【図８】検出結果表示枠に表示されるマークの一例を示す図である。
【図９】検出結果一覧画面表示部の実行する表示処理の説明図である。
【図１０】検出結果一覧画面表示部の実行する表示処理の説明図である。
【図１１】動画編集装置の実行する表示処理の説明図である。
【図１２】従来の動画編集装置の実行する表示処理の説明図である。
【符号の説明】
【００６８】
１    動画編集装置
１０  映像入力部
１１  映像ファイル
１２  インデックス作成部
１３  作業用メモリ
１４  検出結果用メモリ
１５  検出結果一覧画面表示部
１６  ディスプレイ
１７  作業用メモリ
１８  映像編集部
【図１】
2006121265.tif 000003
【図２】
2006121265.tif 000004
【図３】
2006121265.tif 000005
【図４】
2006121265.tif 000006
【図５】
2006121265.tif 000007
【図６】
2006121265.tif 000008
【図７】
2006121265.tif 000009
【図８】
2006121265.tif 000010
【図９】
2006121265.tif 000011
【図１０】
2006121265.tif 000012
【図１１】
2006121265.tif 000013
【図１２】
2006121265.tif 000014