(57)【要約】【課題】本発明の目的は、専門的な知識やテクニックを有しないユーザでも簡単に画像編集を行うことができる動画像編集装置および動画像編集方法を提供することである。また、専門的な知識を有するユーザでもマルチアングルなどの用途を拡げる動画像編集装置および動画像編集方法を提供することである。【解決手段】動画像編集装置は、ディスプレイに映像として表示される複数の画像と画像の属性を示す付属情報とを対応付けて格納する記憶部と、付属情報に基づいて画像を自動的に編集する編集部とを具備している。【選択図】  図１
2004304486.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイに映像として表示される複数の画像と前記画像の属性を示す付属情報とを対応付けて格納する記憶部と、
前記付属情報に基づいて前記画像を自動的に編集する編集部と
を具備する動画像編集装置。
【請求項２】
前記付属情報は、日付と時刻とを含む時刻情報を備え、
前記編集部は、前記時刻情報に基づいて前記画像を編集する
請求項１に記載の動画像編集装置。
【請求項３】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、さらに再生を開始してから終了するまでの時間を示す再生時間情報を含み、
前記複数の画像のうち第２画像に対応する第２付属情報に含まれる第２時刻情報は、前記第１時刻情報と前記再生時間情報で示される時間帯にあり、
前記編集部は、前記第２時刻情報で示される時刻に対応する第１画像の位置に第２画像を挿入した画像を生成する
請求項２に記載の動画像編集装置。
【請求項４】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、さらに再生を開始してから終了するまでの時間を示す再生時間情報を含み、
前記複数の画像のうち第２画像に対応する第２付属情報に含まれる第２時刻情報は、前記第１時刻情報と前記再生時間情報で示される時間帯の前または後にあり、
前記編集部は、前記第１時刻情報で示される時刻と前記第２時刻情報で示される時刻の順に前記第１画像と前記第２画像を結合する
請求項２に記載の動画像編集装置。
【請求項５】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、さらに再生を開始してから終了するまでの時間を示す第１再生時間情報を含み、
前記複数の画像のうち第２画像に対応する第２付属情報は、第２時刻情報と、さらに再生を開始してから終了するまでの時間を示す第２再生時間情報を含み、
前記第２時刻情報と前記第２再生時間情報で示される第２時間帯は、前記第１時刻情報と前記再生時間情報で示される前記第１時間帯と全部または一部が重複し、
前記編集部は、前記第２時間帯と重複する時間帯に対応する前記第１画像の部分を前記第２画像で置換した画像を生成する
請求項２に記載の動画像編集装置。
【請求項６】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、さらに再生を開始してから終了するまでの時間を示す第１再生時間情報を含み、
前記複数の画像のうち第２画像に対応する第２付属情報は、第２時刻情報と、さらに再生を開始してから終了するまでの時間を示す第２再生時間情報を含み、
前記第２時刻情報と前記第２再生時間情報で示される第２時間帯は、前記第１時刻情報と前記再生時間情報で示される第１時間帯と全部または一部が重複し、
前記編集部は、前記第１時間帯と重複する時間帯に対応する前記第２画像の部分を、前記第１画像を表示する画面の一部を区切った区画内に表示する画像を生成する
請求項２に記載の動画像編集装置。
【請求項７】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、さらに再生を開始してから終了するまでの時間を示す第１再生時間情報を含み、
前記複数の画像のうち第２画像に対応する第２付属情報は、第２時刻情報と、さらに再生を開始してから終了するまでの時間を示す第２再生時間情報を含み、
前記第２時刻情報と前記第２再生時間情報で示される第２時間帯は、前記第１時刻情報と前記再生時間情報で示される第１時間帯と全部または一部が重複し、
前記編集部は、前記第１時間帯と重複する時間帯に対応する前記第２画像の部分と、前記第１画像の部分とのいずれかを選択して再生される同時進行する画像を生成する
請求項２に記載の動画像編集装置。
【請求項８】
前記第１画像と前記第２画像は、動画である
請求項３から請求項７のいずれかに記載の動画像編集装置。
【請求項９】
前記第１画像は動画であり、前記第２画像は静止画である
請求項３から請求項７のいずれかに記載の動画像編集装置。
【請求項１０】
前記第１画像は動画であり、前記第２画像は複数の静止画が順に設定された時間ごと再生される画像である
請求項３から請求項７のいずれかに記載の動画像編集装置。
【請求項１１】
前記第２画像の画素数を前記第１画像の画素数に等しくする画像処理を行う
請求項３から請求項１０のいずれかに記載の動画像編集装置。
【請求項１２】
前記第１画像と前記第２画像とを編集した画像は、指定された符号化方式で符号化されて前記記憶部に格納される
請求項１１に記載の動画像編集装置。
【請求項１３】
前記第２画像の先頭を、画像を区切るチャプタポイントとする
請求項３から請求項１２のいずれかに記載の動画像編集装置。
【請求項１４】
前記複数の画像のうち動画である第１画像に対応する第１付属情報は、第１時刻情報と、さらに再生を開始してから終了するまでの時間を示す再生時間情報を含み、
前記複数の画像のうち静止画である第２画像に対応する第２付属情報に含まれる第２時刻情報は、前記第１時刻情報と前記再生時間情報で示される時間帯にあり、
前記編集部は、前記第２時刻情報で示される時刻に対応する第１画像の位置を、前記第２画像で識別する、画像を区切るチャプタポイントとする
請求項２に記載の動画像編集装置。
【請求項１５】
前記チャプタポイントで区切られたチャプタに、前記第２画像を識別する名称を付加する
請求項１３または請求項１４に記載の動画像編集装置。
【請求項１６】
前記第１画像の第１時刻情報と、第１画像の再生を開始してから終了するまでの時間を示す再生時間情報で示される時間帯に基づいて前記複数の画像の時刻情報を検索し、検索結果を前記第２画像の候補として表示する
請求項３から請求項１５のいずれかに記載の動画像編集装置。
【請求項１７】
前記付属情報は、撮影した場所を示す位置情報を備え、
前記編集部は、前記位置情報に基づいて前記画像を編集する
請求項１に記載の動画像編集装置。
【請求項１８】
前記複数の画像のうち第１画像に対応する第１付属情報は、撮影した場所を示す第１位置情報を含み、
前記複数の画像のうち第２画像に対応する第２付属情報は、撮影した場所を示す第２位置情報を含み、
前記第２位置情報で示される場所は、前記第１位置情報で示される場所から予め定められた範囲内の地域にあり、
前記編集部は、前記第１画像と前記第２画像とのいずれかを選択して再生される同時進行する画像を生成する
請求項１７に記載の動画像編集装置。
【請求項１９】
前記第１画像の第１位置情報に基づいて前記複数の画像の位置情報を検索し、検索結果を前記第２画像の候補として表示する
請求項１８に記載の動画像編集装置。
【請求項２０】
ディスプレイに映像として表示される複数の画像と前記画像の属性を示す付属情報とを対応付けて格納する記憶ステップと、
前記付属情報に基づいて前記画像を自動的に編集する編集ステップと
を具備する動画像編集方法。
【請求項２１】
前記付属情報は、日付と時刻とを含む時刻情報を備え、
前記編集ステップは、前記時刻情報に基づいて前記画像を編集する
請求項２０に記載の動画像編集方法。
【請求項２２】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、さらに再生を開始してから終了するまでの時間を示す再生時間情報を含み、
前記複数の画像のうち第２画像に対応する第２付属情報に含まれる第２時刻情報は、前記第１時刻情報と前記再生時間情報で示される時間帯にあり、
前記編集ステップは、前記第２時刻情報で示される時刻に対応する第１画像の位置に第２画像を挿入した画像を生成する
請求項２１に記載の動画像編集方法。
【請求項２３】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、さらに再生を開始してから終了するまでの時間を示す再生時間情報を含み、
前記複数の画像のうち第２画像に対応する第２付属情報に含まれる第２時刻情報は、前記第１時刻情報と前記再生時間情報で示される時間帯の前または後にあり、
前記編集ステップは、前記第１時刻情報で示される時刻と前記第２時刻情報で示される時刻の順に前記第１画像と前記第２画像を結合する
請求項２１に記載の動画像編集方法。
【請求項２４】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、さらに再生を開始してから終了するまでの時間を示す第１再生時間情報を含み、
前記複数の画像のうち第２画像に対応する第２付属情報は、第２時刻情報と、さらに再生を開始してから終了するまでの時間を示す第２再生時間情報を含み、
前記第２時刻情報と前記第２再生時間情報で示される第２時間帯は、前記第１時刻情報と前記再生時間情報で示される前記第１時間帯と全部または一部が重複し、
前記編集ステップは、前記第２時間帯と重複する時間帯に対応する前記第１画像の部分を前記第２画像で置換した画像を生成する
請求項２１に記載の動画像編集方法。
【請求項２５】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、さらに再生を開始してから終了するまでの時間を示す第１再生時間情報を含み、
前記複数の画像のうち第２画像に対応する第２付属情報は、第２時刻情報と、さらに再生を開始してから終了するまでの時間を示す第２再生時間情報を含み、
前記第２時刻情報と前記第２再生時間情報で示される第２時間帯は、前記第１時刻情報と前記再生時間情報で示される第１時間帯と全部または一部が重複し、
前記編集ステップは、前記第１時間帯と重複する時間帯に対応する前記第２画像の部分を、前記第１画像を表示する画面の一部を区切った区画内に表示する画像を生成する
請求項２１に記載の動画像編集方法。
【請求項２６】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、さらに再生を開始してから終了するまでの時間を示す第１再生時間情報を含み、
前記複数の画像のうち第２画像に対応する第２付属情報は、第２時刻情報と、さらに再生を開始してから終了するまでの時間を示す第２再生時間情報を含み、
前記第２時刻情報と前記第２再生時間情報で示される第２時間帯は、前記第１時刻情報と前記再生時間情報で示される第１時間帯と全部または一部が重複し、
前記編集ステップは、前記第１時間帯と重複する時間帯に対応する前記第２画像の部分と、前記第１画像の部分とのいずれかを選択して再生される同時進行する画像を生成する
請求項２１に記載の動画像編集方法。
【請求項２７】
前記第１画像と前記第２画像は、動画である
請求項２２から請求項２６のいずれかに記載の動画像編集方法。
【請求項２８】
前記第１画像は動画であり、前記第２画像は静止画である
請求項２２から請求項２６のいずれかに記載の動画像編集方法。
【請求項２９】
前記第１画像は動画であり、前記第２画像は複数の静止画が順に設定された時間ごと再生される画像である
請求項２２から請求項２６のいずれかに記載の動画像編集方法。
【請求項３０】
前記第２画像の画素数を前記第１画像の画素数に等しくする画素数変換ステップをさらに備える
請求項２２から請求項２９のいずれかに記載の動画像編集方法。
【請求項３１】
前記第１画像と前記第２画像とを編集した画像を、指定された符号化方式で符号化する符号化ステップをさらに備える
請求項３０に記載の動画像編集方法。
【請求項３２】
前記第２画像の先頭を、画像を区切るチャプタポイントとする
請求項２２から請求項３１のいずれかに記載の動画像編集方法。
【請求項３３】
前記複数の画像のうち動画である第１画像に対応する第１付属情報は、第１時刻情報と、さらに再生を開始してから終了するまでの時間を示す再生時間情報を含み、
前記複数の画像のうち静止画である第２画像に対応する第２付属情報に含まれる第２時刻情報は、前記第１時刻情報と前記再生時間情報で示される時間帯にあり、
前記編集ステップは、前記第２時刻情報で示される時刻に対応する第１画像の位置を、前記第２画像で識別する、画像を区切るチャプタポイントとする
請求項２１に記載の動画像編集方法。
【請求項３４】
前記チャプタポイントで区切られたチャプタに、前記第２画像を識別する名称を付加する
請求項３２または請求項３３に記載の動画像編集方法。
【請求項３５】
前記第１画像の第１時刻情報と、第１画像の再生を開始してから終了するまでの時間を示す再生時間情報で示される時間帯に基づいて前記複数の画像の時刻情報を検索し、検索結果を前記第２画像の候補として表示する
請求項２２から請求項３４のいずれかに記載の動画像編集方法。
【請求項３６】
前記付属情報は、撮影した場所を示す位置情報を備え、
前記編集ステップは、前記位置情報に基づいて前記画像を編集する
請求項２０に記載の動画像編集方法。
【請求項３７】
前記複数の画像のうち第１画像に対応する第１付属情報は、撮影した場所を示す第１位置情報を含み、
前記複数の画像のうち第２画像に対応する第２付属情報は、撮影した場所を示す第２位置情報を含み、
前記第２位置情報で示される場所は、前記第１位置情報で示される場所から予め定められた範囲内の地域にあり、
前記編集ステップは、前記第１画像と前記第２画像とのいずれかを選択して再生される同時進行する画像を生成する
請求項３６に記載の動画像編集方法。
【請求項３８】
前記第１画像の第１位置情報に基づいて前記複数の画像の位置情報を検索し、検索結果を前記第２画像の候補として表示する
請求項３７に記載の動画像編集方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ディジタル符号化された画像を編集する動画像編集装置および動画像編集方法に関する。
【０００２】
【従来の技術】
ディジタルビデオカメラの普及などにより、ディジタル符号化された画像素材が手軽に入手できるようになり、個人でもオリジナル映像を作成したり、映像ライブラリを作成して楽しむことが広がりつつある。オリジナル映像を作成する際には、その素材映像を編集する必要があるが、オーサリングと呼ばれる編集作業は、これまで専門的知識・技術や装置を使う複雑で根気のいる作業であった。例えば、映像におけるしおりの役割をもつチャプタの設定は、映像を見ながらチャプタを設定したい位置まで再生し、その位置でチャプタポイントを設定する。つまり、始めから映像を再生して見ていなくてはならなかった。手軽に、５分ごとなどに自動的に設定する機能を持つ装置もあるが、映像の流れとは無関係に設定されるため、そのポイントの映像には特別の意味はなく単に時間経過の目安である。
このような画像編集に関する技術として、特開２００１−２１１４１９号公報では、映像データと時間軸を関連付けて表示し、時間軸に対して位置や範囲を指定するなどの操作することで製造データを編集できるような映像編集に関する技術が知られていた。
【０００３】
また、特開２００２−３３５４４２号公報では、シーン記述プログラムによって映像集する技術が知られていた。
【０００４】
【特許文献１】
特開２００１−２１１４１９号公報
特開２００２−３３５４４２号公報
【０００５】
【発明が解決しようとする課題】
本発明の目的は、専門的な知識やテクニックを有しないユーザでも簡単に画像編集を行うことができる動画像編集装置および動画像編集方法を提供することである。また、専門的な知識を有するユーザでもマルチアングルなどの用途を拡げる動画像編集装置および動画像編集方法を提供することである。
【０００６】
本発明の他の目的は、チャプタ設定を自動的に行う動画像編集装置および動画像編集方法を提供することである。
また、本発明の他の目的は、いくつかの画像をマルチアングル化する動画像編集装置および動画像編集方法を提供することである。
さらに本発明の他の目的は、専門的な知識を有するユーザが使用するような高度な機能をもつ動画像編集装置を安価に提供することである。
【０００７】
【課題を解決するための手段】
以下に、［発明の実施の形態］で使用される番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、［特許請求の範囲］の記載と［発明の実施の形態］との対応関係を明らかにするために付加されたものである。ただし、それらの番号・符号を、［特許請求の範囲］に記載されている発明の技術的範囲の解釈に用いてはならない。
【０００８】
本発明の観点では、動画像編集装置は、ディスプレイに映像として表示される複数の画像と前記画像の属性を示す付属情報とを対応付けて格納する記憶部（１１）と、前記付属情報に基づいて前記画像を自動的に編集する編集部（１２）とを具備している。
【０００９】
前記付属情報は、日付と時刻とを含む時刻情報を備えている。前記編集部（１２）は、前記時刻情報に基づいて前記画像を編集する。
【００１０】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、更に再生を開始してから終了するまでの時間を示す再生時間情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報に含まれる第２時刻情報は、前記第１時刻情報と前記再生時間情報で示される時間帯にある。前記編集部（１２）は、前記第２時刻情報で示される時刻に対応する第１画像の位置に第２画像を挿入した画像を生成する。
【００１１】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、更に再生を開始してから終了するまでの時間を示す再生時間情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報に含まれる第２時刻情報は、前記第１時刻情報と前記再生時間情報で示される時間帯の前または後にある。前記編集部（１２）は、前記第１時刻情報で示される時刻と前記第２時刻情報で示される時刻の順に前記第１画像と前記第２画像を結合する。
【００１２】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、更に再生を開始してから終了するまでの時間を示す第１再生時間情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報は、第２時刻情報と、更に再生を開始してから終了するまでの時間を示す第２再生時間情報を含んでいる。前記第２時刻情報と前記第２再生時間情報で示される第２時間帯は、前記第１時刻情報と前記再生時間情報で示される前記第１時間帯と全部または一部が重複し、前記編集部（１２）は、前記第２時間帯と重複する時間帯に対応する前記第１画像の部分を前記第２画像で置換した画像を生成する。
【００１３】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、更に再生を開始してから終了するまでの時間を示す第１再生時間情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報は、第２時刻情報と、更に再生を開始してから終了するまでの時間を示す第２再生時間情報を含んでいる。前記第２時刻情報と前記第２再生時間情報で示される第２時間帯は、前記第１時刻情報と前記再生時間情報で示される第１時間帯と全部または一部が重複している。前記編集部（１２）は、前記第１時間帯と重複する時間帯に対応する前記第２画像の部分を、前記第１画像を表示する画面の一部を区切った区画内に表示する画像を生成する。
【００１４】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、更に再生を開始してから終了するまでの時間を示す第１再生時間情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報は、第２時刻情報と、更に再生を開始してから終了するまでの時間を示す第２再生時間情報を含んでいる。前記第２時刻情報と前記第２再生時間情報で示される第２時間帯は、前記第１時刻情報と前記再生時間情報で示される第１時間帯と全部または一部が重複している。前記編集部（１２）は、前記第１時間帯と重複する時間帯に対応する前記第２画像の部分と、前記第１画像の部分とのいずれかを選択して再生される同時進行する画像を生成する。
【００１５】
前記第１画像と前記第２画像は、動画であり、動画像編集装置は、複数の動画を編集する。
【００１６】
前記第１画像は動画であり、前記第２画像は静止画である。動画像編集装置は、動画と静止画を編集する。
【００１７】
前記第１画像は動画であり、前記第２画像は複数の静止画が順に設定された時間ごと再生されるいわゆるスライドショウで再生される画像である。動画像編集装置は、動画とスライドショウで再生される静止画を編集する。
【００１８】
動画像編集装置は、前記第２画像の１画面を表示する画素数を前記第１画像の１画面を表示する画素数に等しくする画像処理を行う。
【００１９】
動画像編集装置は、前記第１画像と前記第２画像とを編集した画像を、指定された符号化方式で符号化して前記記憶部に格納する。指定された符号化方式は、画像を記録する媒体などにより異なり、画像を再生する機器に適合する符号化方式を採用する。
【００２０】
動画像編集装置は、前記第２画像の先頭を、画像を区切るチャプタポイントとする。
【００２１】
前記複数の画像のうち第１画像は、動画である。第１画像に対応する第１付属情報は、第１時刻情報と、さらに再生を開始してから終了するまでの時間を示す再生時間情報を含んでいる。前記複数の画像のうち第２画像は、静止画である。第２画像に対応する第２付属情報に含まれる第２時刻情報は、前記第１時刻情報と前記再生時間情報で示される時間帯にある。動画像編集装置の前記編集部は、前記第２時刻情報で示される時刻に対応する第１画像の位置を、画像を区切るチャプタポイントとする。そのチャプタポイントは、前記第２画像で識別する。いわゆるサムネイルによりチャプタポイントを示す。
【００２２】
動画像編集装置は、前記チャプタポイントで区切られたチャプタに、前記第２画像を識別する名称を付加する。
【００２３】
動画像編集装置は、前記第１画像の第１時刻情報と、第１画像の再生を開始してから終了するまでの時間を示す再生時間情報で示される時間帯に基づいて前記複数の画像の時刻情報を検索し、検索結果を前記第２画像の候補として表示する。
【００２４】
前記付属情報は、撮影した場所を示す位置情報を備えている。前記編集部（１２）は、前記位置情報に基づいて前記画像を編集する。
【００２５】
前記複数の画像のうち第１画像に対応する第１付属情報は、撮影した場所を示す第１位置情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報は、撮影した場所を示す第２位置情報を含んでいる。前記第２位置情報で示される場所は、前記第１位置情報で示される場所から予め定められた範囲内の地域にある。前記編集部（１２）は、前記第１画像と前記第２画像とのいずれかを選択して再生される同時進行する画像を生成する。
【００２６】
動画像編集装置は、前記第１画像の第１位置情報に基づいて前記複数の画像の位置情報を検索し、検索結果を前記第２画像の候補として表示する。
【００２７】
本発明の他の観点では、動画像編集方法は、ディスプレイに映像として表示される複数の画像と前記画像の属性を示す付属情報とを対応付けて格納する記憶ステップと、前記付属情報に基づいて前記画像を自動的に編集する編集ステップとを具備している。
【００２８】
前記付属情報は、日付と時刻とを含む時刻情報を備えている。前記編集ステップは、前記時刻情報に基づいて前記画像を編集する。
【００２９】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、更に再生を開始してから終了するまでの時間を示す再生時間情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報に含まれる第２時刻情報は、前記第１時刻情報と前記再生時間情報で示される時間帯にある。前記編集ステップは、前記第２時刻情報で示される時刻に対応する第１画像の位置に第２画像を挿入した画像を生成する。
【００３０】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、更に再生を開始してから終了するまでの時間を示す再生時間情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報に含まれる第２時刻情報は、前記第１時刻情報と前記再生時間情報で示される時間帯の前または後にある。前記編集ステップは、前記第１時刻情報で示される時刻と前記第２時刻情報で示される時刻の順に前記第１画像と前記第２画像を結合する。
【００３１】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、更に再生を開始してから終了するまでの時間を示す第１再生時間情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報は、第２時刻情報と、更に再生を開始してから終了するまでの時間を示す第２再生時間情報を含んでいる。前記第２時刻情報と前記第２再生時間情報で示される第２時間帯は、前記第１時刻情報と前記再生時間情報で示される前記第１時間帯と全部または一部が重複し、前記編集ステップは、前記第２時間帯と重複する時間帯に対応する前記第１画像の部分を前記第２画像で置換した画像を生成する。
【００３２】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、更に再生を開始してから終了するまでの時間を示す第１再生時間情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報は、第２時刻情報と、更に再生を開始してから終了するまでの時間を示す第２再生時間情報を含んでいる。前記第２時刻情報と前記第２再生時間情報で示される第２時間帯は、前記第１時刻情報と前記再生時間情報で示される第１時間帯と全部または一部が重複している。前記編集ステップは、前記第１時間帯と重複する時間帯に対応する前記第２画像の部分を、前記第１画像を表示する画面の一部を区切った区画内に表示する画像を生成する。
【００３３】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、更に再生を開始してから終了するまでの時間を示す第１再生時間情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報は、第２時刻情報と、更に再生を開始してから終了するまでの時間を示す第２再生時間情報を含んでいる。前記第２時刻情報と前記第２再生時間情報で示される第２時間帯は、前記第１時刻情報と前記再生時間情報で示される第１時間帯と全部または一部が重複している。前記編集ステップは、前記第１時間帯と重複する時間帯に対応する前記第２画像の部分と、前記第１画像の部分とのいずれかを選択して再生される同時進行する画像を生成する。
【００３４】
前記第１画像と前記第２画像は、動画であり、複数の動画の動画像編集方法を提供する。
【００３５】
前記第１画像は動画であり、前記第２画像は静止画である。動画と静止画の動画像編集方法を提供する。
【００３６】
前記第１画像は動画であり、前記第２画像は複数の静止画が順に設定された時間ごと再生されるいわゆるスライドショウで再生される画像である。動画とスライドショウで再生される静止画を編集する動画像編集方法を提供する。
【００３７】
前記第２画像の１画面を表示する画素数を前記第１画像の１画面を表示する画素数に等しくする画素数変換ステップをさらに備える動画像編集方法である。
【００３８】
前記第１画像と前記第２画像とを編集した画像は、指定された符号化方式で符号化する符号化ステップをさらに備える動画像編集方法である。指定された符号化方式は、画像を記録する媒体などにより異なり、画像を再生する機器に適合する符号化方式を採用する。
【００３９】
前記第２画像の先頭を、画像を区切るチャプタポイントとする動画像編集方法である。
【００４０】
前記複数の画像のうち第１画像は、動画である。第１画像に対応する第１付属情報は、第１時刻情報と、さらに再生を開始してから終了するまでの時間を示す再生時間情報を含んでいる。前記複数の画像のうち第２画像は、静止画である。第２画像に対応する第２付属情報に含まれる第２時刻情報は、前記第１時刻情報と前記再生時間情報で示される時間帯にある。前記編集ステップは、前記第２時刻情報で示される時刻に対応する第１画像の位置を、画像を区切るチャプタポイントとする動画像編集方法である。そのチャプタポイントは、前記第２画像で識別する。いわゆるサムネイルによりチャプタポイントを示す。
【００４１】
前記チャプタポイントで区切られたチャプタに、前記第２画像を識別する名称を付加する動画像編集方法である。
【００４２】
前記第１画像の第１時刻情報と、第１画像の再生を開始してから終了するまでの時間を示す再生時間情報で示される時間帯に基づいて前記複数の画像の時刻情報を検索し、検索結果を前記第２画像の候補として表示する動画像編集方法である。
【００４３】
前記付属情報は、撮影した場所を示す位置情報を備えている。前記編集ステップは、前記位置情報に基づいて前記画像を編集する。
【００４４】
前記複数の画像のうち第１画像に対応する第１付属情報は、撮影した場所を示す第１位置情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報は、撮影した場所を示す第２位置情報を含んでいる。前記第２位置情報で示される場所は、前記第１位置情報で示される場所から予め定められた範囲内の地域にある。前記編集ステップは、前記第１画像と前記第２画像とのいずれかを選択して再生される同時進行する画像を生成する。
【００４５】
前記第１画像の第１位置情報に基づいて前記複数の画像の位置情報を検索し、検索結果を前記第２画像の候補として表示する動画像編集方法である。
【００４６】
【発明の実施の形態】
上述のように符号化方式や記録媒体が多種多様であるが、編集作業は基本的におなじような操作であるため、本発明の実施の形態では、ＤＶＤ−Ｖｉｄｅｏ（ＤＶＤ：Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）を作成する際の編集作業を想定して説明する。ＤＶＤ−Ｖｉｄｅｏでは、符号化方式としてＭＰＥＧ−２（ＭＰＥＧ：Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅｓ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）が用いられる。
【００４７】
画像編集は、ビデオ素材となる画像データの取り込み、取り込んだビデオ素材の加工、再生状態の確認、記録媒体への書き込みなどの段階がある。ビデオ素材の加工では、まず、必要なシーンを切り出し、それぞれのシーンを繋ぎ合わせて映像を作成する。さらにチャプタポイントを設定してチャプタ分割する。必要な場合はイントロビデオを追加して、メニューを作成する。画像編集は、このような手順ばかりではなく、また、当業者には周知であるため、以下、画像の付属情報に基づく画像編集に係わる部分を中心に説明する。
【００４８】
図１に本発明の実施の形態に係る動画像編集装置の構成を示す。動画像編集装置は、記憶部１１、編集部１２、表示部１３、入力部１４、記録媒体書込部１５を備えている。記憶部１１は、画像データを格納している。編集部１２は、記憶部１１に格納されている画像データを読み出し、その付属情報に基づいて画像データを編集する。表示部１３は、記憶部１１に格納している画像データを画面に表示したり、画像データの付属情報を表示する。入力部１４は、キーボード、マウスなどによって画像名称や画像の付属情報を入力したり、キャプチャボードなどから画像の入力を行う。
【００４９】
動画像編集装置は、パーソナルコンピュータで例示される情報処理装置であり、パーソナルコンピュータに限らずＤＶＤビデオレコーダなどでもテンキーやリモコンを入力手段として用いたり、画像は表示できなくてもファイル名や時刻などは表示できる表示器を備えており、その入力方法や表示方法に制限はあるが動画像編集装置として用いることは可能である。さらに、ＤＶＤビデオレコーダなどとパーソナルコンピュータを接続すると、それぞれの機能を有効に使った動画像編集装置となる。
【００５０】
記憶部１１の画像は、付属情報とともに格納されている。画像は、ファイルとして格納されているため、ファイルが持つ情報が付属情報として付随している。ここではその情報以外にも画像編集の際に付加する情報も含めて編集作業に利用する編集管理テーブルで付属情報を管理していることにする。このようなテーブルを設けなくても管理可能である。付属情報には、画像の属性、時刻情報が含まれている。画像の属性として、画像が格納されているファイル名やファイルサイズ、符号化方式、動画／静止画の区別などが含まれている。時刻情報は、その画像の開始時刻と終了時刻が含まれている。開始時刻は、画像編集の基準となるので撮影開始の日付時刻または、それに相当する日付時刻とする方が編集作業は簡単になる。動画像編集装置に取り込んだ日付時刻でもよく、また、編集する際に開始時刻を変更してもよい。終了時刻は、符号化の方式が明確になっていればファイルサイズから再生時間を計算できるので、開始時間を基に計算できる。
【００５１】
静止画の場合は、その再生時間は予め設定しておくこともできるし、静止画を取り込んだ時に入力することもできるし、編集するときに入力したり変更することができる。また、フォルダ（ディレクトリ）などでひとまとめになっている静止画は、そのフォルダの単位で動画と同様に扱うこともできる。その場合、静止画はスライドショウと呼ばれる静止画を順次再生していく形式で再生する。
【００５２】
また、ディジタルビデオカメラやディジタルスチルカメラなどから動画像編集装置に画像を取り込む場合は撮影日時が入る。しかし、撮影日時が正確であるとは限らないし、アナログのビデオテープをキャプチャしたりすると撮影の日時ではなく、そのキャプチャした日時が反映されることもある。このような場合は、入力部から適切な日時の情報に変更しておく。
【００５３】
動画像編集装置に取り込まれている画像は、不要な部分を含んでいることが多いため、不要部分を削除しておく。このとき、時刻情報もそれに合わせて変更する。例えば、画像の開始時刻が２００３年１月１日１０時１０分１０秒で先頭の１５秒分の画像をトリミングで削除した場合、その画像の開始時刻は２００３年１月１日１０時１０分２５秒となる。このような作業を行って記憶部１１には、素材となる画像が付属情報と対応付けられて格納される。
【００５４】
動画像編集装置に取り込まれている画像は、１画面を表示するために必要な画素数が一定であるとは限らない。ディジタルスチルカメラで撮影した静止画は、１画面で数十万画素から数百万画素程度である。また、ディジタルビデオカメラで撮影した動画は、数十万画素から百万画素程度である。動画は、画像が動いているために解像度の低さを補ってしまうことが多く、一般的に静止画より１画面当たりの画素数が少ない傾向にある。しかし、一連の映像の中で編集位置の前後で極端に解像度が異なると視聴者は違和感を感ずることになる。このような画像の接続点での違和感を防止する上でも画像間の解像度を揃えておくことが望ましい。画面の画素数を揃える方法は、周知であるため詳細は説明しない。なお、画素数の変換処理をおこなってから挿入や結合などの画像編集をしてもよいが、処理時間や使用する記憶装置の作業領域などを考慮すると、画像編集後の画像確認時や編集した画像を記録媒体に格納する段階で実施する方が好ましい。
【００５５】
以上のようにして記憶部１１に画像が格納された状態で本発明の動画像編集装置の動作を以下に説明する。まず、編集する画像Ａを選択する。その画像Ａに別の画像を挿入しようとした場合、その候補となる画像は、図１８に示されるような手順で表示される。画像Ａが基準画像であり、その付属情報の開始時刻と終了時刻を取り出す。この開始時刻から終了時刻の間にある画像を検索することになる（ステップＳ７１）。
【００５６】
検索対象になる画像は、編集管理テーブルに時刻情報が登録されているので、開始時刻と終了時刻とを読み出す（ステップＳ７２）。読み出した開始時刻と終了時刻で示される時間帯が、画像Ａの開始時刻から終了時刻で示される時間帯と重複する期間があるかを判定する。重複期間がある場合（ステップＳ７４−範囲内）、その画像を候補画像として登録する（ステップＳ７５）。
【００５７】
範囲内になかったか（ステップＳ７４−範囲外）、登録し終わったら、編集管理テーブルに登録されている画像を全て検索し終わるまでステップＳ７２からステップＳ７７を繰り返す（ステップＳ７７−ＮＯ）。全て検索し終わると（ステップＳ７７−ＹＥＳ）、候補画像として登録された画像を表示部１３に表示する（ステップＳ７９）。候補画像の表示は、画像の代表映像であるサムネイル表示でもよいし、画像の付属情報にある画像名でもよい。このようにして編集候補画像Ｂを検索する。
【００５８】
画像編集するユーザは、基になる画像Ａを選択した後、映像効果を付ける画像Ｂを選んで編集方法を指定する。編集方法は、画像の挿入、置換、子画面表示、マルチアングルなどである。
【００５９】
このようにして表示された候補画像から画像Ｂを選択し、画像Ａに挿入する場合、図２に示すような動作となる。画像Ｂは、画像Ａの開始時刻から終了時刻で示される時間帯に含まれ、図３に示されるような時間関係となる。画像Ａは、開始時刻が「’０３年１月１日１０時１０分００秒」、終了時刻が「’０３年１月１日１０時２０分２０秒」であり、画像Ｂは、開始時刻が「’０３年１月１日１０時１３分３０秒」である。画像Ｂの開始時刻は、画像Ａの時間帯の範囲内であるから（ステップＳ１１−ＹＥＳ）、画像Ａを画像Ｂの開始時刻「’０３年１月１日１０時１３分３０秒」に対応する部分で分割する。画像Ａの前半部を画像Ａ１、後半部を画像Ａ２とする（ステップＳ１２）。画像Ａ１、画像Ｂ、画像Ａ２の順に画像を結合すると、画像Ａの間に画像Ｂを挿入した画像ができる（ステップＳ１３）。
【００６０】
以上のように画像Ａとその時間帯に含まれる画像Ｂを選択し、挿入を指示するだけで自動的に挿入する位置を決定して画像が挿入されることになる。できあがった画像Ａ’を再生した場合、画像Ａが動画で、画像Ｂが静止画であれば、動画Ａの間に静止画Ｂが現れる映像となる。
【００６１】
この画像Ｂを挿入した部分は、映像が変化するところであることが予想され、画像Ｂを挿入するとともにチャプタポイントを自動的に設定する。このときチャプタの名称は、挿入した画像Ｂのファイル名称や画像Ｂに付けられた画像の名称が用いられる。ファイル名称や画像の名称を付けることによって覚えやすく便利である。
【００６２】
画像Ｂを選択したときにその挿入位置をチャプタポイントに設定するか否かを指定するようにしておくと無駄に設定することはなくなる。チャプタを設けない場合は、このようなチャプタポイントを自動的に設定するような動作をさせない。
【００６３】
上記では、画像Ｂを画像Ａに挿入してチャプタポイントを設定できることを示したが、画像Ｂが静止画である場合に、画像Ａをそのままにして画像Ｂの開始時刻にチャプタポイントを設定することができる。画像Ａを画像Ｂの開始時刻「’０３年１月１日１０時１３分３０秒」に対応する部分で分割する。画像Ａの前半部を画像Ａ１、後半部を画像Ａ２とするところまでは上記と同様である。画像Ａ１のチャプタと画像Ａ２のチャプタができるので、この画像Ｂの開始時間に該当する部分をチャプタポイントとする。このとき、画像Ａ２のチャプタのサムネイルを画像Ｂにする。このように編集した画像Ａ’を始めから再生すると、画像Ａ１のチャプタ、画像Ａ２のチャプタが連続して再生される。また、メニュー画面で、サムネイル表示された画像Ｂを選択すると、画像Ａ２のチャプタ、つまり画像Ｂの開始時刻に該当する部分から再生させることができる。画像Ａ２のチャプタの名称は、挿入した画像Ｂのファイル名称や画像Ｂに付けられた画像の名称が用いられる。ファイル名称や画像の名称を付けることによって覚えやすく便利である。画像Ｂは、画像Ａ２を象徴する静止画にすることによって、より印象的な画像効果が得られる。
【００６４】
候補映像を検索せずに画像Ｂを選択すると、画像Ｂは、画像Ａの時間帯に含まれない場合がある。図４で示されるように、画像Ｂの開始時刻が「’０３年１月１日１０時０５分３０秒」である場合、画像Ａの開始時刻より前に画像Ｂの開始時刻があり、開始時刻の比較において範囲外となる（ステップＳ１１−ＮＯ）。さらに比較の結果、画像Ａの開始時刻が画像Ｂの後にあるので（ステップＳ１６−後）、画像Ａ、画像Ｂは分割せずに画像Ｂ、画像Ａの順に結合し編集後の画像Ａ’ができる（ステップＳ１８）。
【００６５】
また、図５で示されるように、画像Ｂの開始時刻が「’０３年１月１日１０時２５分３０秒」である場合、画像Ａの終了時刻より後に画像Ｂの開始時刻があり、開始時刻の比較において範囲外となる（ステップＳ１１−ＮＯ）。さらに比較の結果、画像Ａの開始時刻が画像Ｂの前にあるので（ステップＳ１６−前）、画像Ａ、画像Ｂは分割せずに画像Ａ、画像Ｂの順に結合し編集後の画像Ａ’ができる（ステップＳ１７）。
【００６６】
これらの編集は、画像のデータを格納している場所を示すポインタだけの編集とすると効率的である。ポインタだけなので、各シーンの画像の時間情報が残っているので、元の時刻を使った繰り返し編集ができる。実画像は、編集が終わった後に生成する。
【００６７】
ところで、静止画つまりディジタルスチールカメラで撮影される場面は、通常、その頃のハイライトであり、シンボル的な映像であることが多い。動画は、そのシーンを流れで捕らえており、前後関係を明確にする。このような場面では、静止画の撮影時刻を例えば１０秒前倒ししておき、動画に挿入し、チャプタポイントを設定する。この映像を再生した際は、チャプタポイントのサムネイル画像が静止画で確認し、そのチャプタへ移動して再生することによって静止画で表現されたハイライトシーンを１０秒前の状態から動画で見ることができるようになる。
【００６８】
画像Ａの一部分を画像Ｂで置き換える場合、図６に示すような動作で編集を行う。先に示したように、候補画像を検索するなどで、画像Ａの時間帯に含まれる置換したい画像Ｂを選ぶ。画像Ｂと画像Ａとの時間帯の重複の度合いで動作が変わる。画像Ｂの時間帯は、画像Ｂに含まれる開始時刻と再生時間で求められる。画像Ｂが動画であれば、再生時間はその動画の再生時間であり、画像Ｂが静止画１画面であれば、その静止画を再生表示している時間が再生時間となり、複数の静止画であれば、複数の静止画を順次表示するスライドショウの開始から終了までの時間を再生時間とする。
【００６９】
画像Ｂが図７のように、開始時刻が「’０３年１月１日１０時１３分３０秒」、終了時刻が「’０３年１月１日１０時１６分３０秒」であって、画像Ａの開始時刻「’０３年１月１日１０時１０分００秒」、終了時刻が「’０３年１月１日１０時２０分２０秒」で示される時間帯に完全に含まれる場合（ステップＳ２１−ＹＥＳ）、画像Ａを３部分に分割する。画像Ａの開始時刻から画像Ｂの開始時刻までを画像Ａ１、画像Ｂの開始時刻から終了時刻までを画像Ａ０、画像Ｂの終了時刻から画像Ａの終了時刻までを画像Ａ２とする（ステップＳ２２）。
画像Ａ０の部分は、画像Ｂと重複する部分であるから、これを画像Ｂに置き換えて、編集後の画像Ａ’とする。画像Ａ’は、画像Ａ１、画像Ｂ、画像Ａ２の順に結合した画像になる。
【００７０】
画像Ｂが、その一部の時間帯だけ画像Ａと重複する場合（ステップＳ２１−ＮＯ）、重複部分が、画像Ａの時間帯の前方であるか後方であるかを判断する（ステップＳ２５）。画像Ｂの開始時刻が「’０３年１月１日１０時０８分３０秒」、終了時刻が「’０３年１月１日１０時１１分３０秒」であって、画像Ａの開始時刻「’０３年１月１日１０時１０分００秒」が、画像Ｂの開始時刻の後にあり、画像Ｂの終了時刻が画像Ａの終了時刻「’０３年１月１日１０時２０分２０秒」の前にある場合（ステップＳ２５−後）、図８に示すような時間関係になる。この場合、画像Ａの重複時間帯である開始時刻「’０３年１月１日１０時１０分００秒」から画像Ｂの終了時刻「’０３年１月１日１０時１１分３０秒」までを画像Ａ０、それ以降を画像Ａ１とすると、画像Ａ０を削除して（ステップＳ２８）、画像Ａ１の前に画像Ｂを結合する（ステップＳ２９）。つまり、画像Ａ０の部分を画像Ｂに置き換えることになる。編集後の画像Ａ’は、画像Ｂ、画像Ａ１の順に結合した画像となる。
【００７１】
画像Ｂの開始時刻が「’０３年１月１日１０時１９分００秒」、終了時刻が「’０３年１月１日１０時２１分３０秒」であって、画像Ａの終了時刻「’０３年１月１日１０時２０分２０秒」が、画像Ｂの開始時刻の後にある場合（ステップＳ２５−前）、図９に示すような時間関係になる。
【００７２】
この場合、画像Ａの重複時間帯である画像Ｂの開始時刻「’０３年１月１日１０時１９分００秒」から画像Ａの終了時刻「’０３年１月１日１０時２０分２０秒」までを画像Ａ０、それ以前を画像Ａ１とすると、画像Ａ０を削除して（ステップＳ２６）、画像Ａ１の後に画像Ｂを結合する（ステップＳ２７）。つまり、画像Ａ０の部分を画像Ｂに置き換えることになる。編集後の画像Ａ’は、画像Ａ１、画像Ｂの順に結合した画像となる。
【００７３】
このように、画像Ａのうち画像Ｂに重複する時間帯の画像を置換することによって、画像Ａの不要であったり、冗長であったりする部分画像を、別の画像Ｂで置き換えができる。例えば、画像Ａでは、画像Ｂの時間帯に対応する部分で、カメラ位置の関係で被写体を捕らえることができず、他のカメラで撮影していた画像Ｂでは被写体を捕らえられていた場合などに有効で、同じ時間進行で別の角度からの映像が挿入されるような効果を生む。
【００７４】
画像Ａの時間帯に画像Ｂが重複している場合に、前述のように画像を入れ替えるのではなく、画像Ａの画面の一部に小窓を設け、その小窓に画像Ｂを再生するいわゆるピクチャインピクチャで画像を取り込む編集方法もある。その小窓を子画面、画像Ａが再生される画面を親画面という。
【００７５】
この編集動作は、図１０に示すように、画像Ａと画像Ｂとの時間帯の重複の度合いで動作が変わる。画像Ｂの時間帯は、画像Ｂに含まれる開始時刻と再生時間で求められる。画像Ｂが動画であれば、再生時間はその動画の再生時間であり、画像Ｂが静止画１画面であれば、その静止画を再生表示している時間が再生時間となり、複数の静止画であれば、複数の静止画を順次表示するスライドショウの開始から終了までの時間を再生時間とする。
【００７６】
画像Ｂが図１１のように、開始時刻が「’０３年１月１日１０時１３分３０秒」、終了時刻が「’０３年１月１日１０時１６分３０秒」であって、画像Ａの開始時刻「’０３年１月１日１０時１０分００秒」、終了時刻が「’０３年１月１日１０時２０分２０秒」で示される時間帯に完全に含まれる場合（ステップＳ３１−ＹＥＳ）、画像Ａを３部分に分割する。画像Ａの開始時刻から画像Ｂの開始時刻までを画像Ａ１、画像Ｂの開始時刻から終了時刻までを画像Ａ２、画像Ｂの終了時刻から画像Ａの終了時刻までを画像Ａ３とする（ステップＳ３２）。
【００７７】
画像Ａ２の部分は、画像Ｂと重複する部分であるから、画像Ａ２に対して画像Ｂを子画面再生するように設定する（ステップＳ３３）。編集後の画像Ａ’とすると、画像Ａ’は、画像Ａ１、画像Ａ２（親画面）と画像Ｂ（子画面）、画像Ａ３の順に結合した画像になる。
【００７８】
画像Ｂが、その一部の時間帯だけ画像Ａと重複する場合（ステップＳ３１−ＮＯ）、重複部分が、画像Ａの時間帯の前方であるか後方であるかを判断する（ステップＳ３６）。画像Ｂの開始時刻が「’０３年１月１日１０時０８分３０秒」、終了時刻が「’０３年１月１日１０時１１分３０秒」であって、画像Ａの開始時刻「’０３年１月１日１０時１０分００秒」が、画像Ｂの開始時刻の後にあり、画像Ｂの終了時刻が画像Ａの終了時刻「’０３年１月１日１０時２０分２０秒」の前にある場合（ステップＳ３６−後）、図１２に示すような時間関係になる。
【００７９】
この場合、画像Ａの重複時間帯である開始時刻「’０３年１月１日１０時１０分００秒」から画像Ｂの終了時刻「’０３年１月１日１０時１１分３０秒」までを画像Ａ１、それ以降を画像Ａ２に分割する（ステップＳ４４）。画像Ｂは、画像Ａと重複する部分としない部分に分割する。画像Ｂの開始時刻「’０３年１月１日１０時０８分３０秒」から画像Ａの開始時刻「’０３年１月１日１０時１０分００秒」までは重複しない部分で画像Ｂ０、画像Ａの開始時刻「’０３年１月１日１０時１０分００秒」から画像Ｂの終了時刻「’０３年１月１日１０時１１分３０秒」までは重複する画像Ｂ１と分割し、画像Ｂ０は、基になる画像Ａがないので削除する（ステップＳ４５）。画像Ａ１を親画面、画像Ｂ１を子画面で再生するピクチャインピクチャ指定する（ステップＳ４７）。画像Ａ２は、その後に結合する。編集後の画像Ａ’は、親画面に画像Ａ１と子画面に画像Ｂ１のピクチャインピクチャ画像、画像Ａ２の順に結合した画像となる。
【００８０】
画像Ｂの開始時刻が「’０３年１月１日１０時１９分００秒」、終了時刻が「’０３年１月１日１０時２１分３０秒」であって、画像Ａの終了時刻「’０３年１月１日１０時２０分２０秒」が、画像Ｂの開始時刻の後にある場合（ステップＳ３６−前）、図１３に示すような時間関係になる。
【００８１】
この場合、画像Ａの重複時間帯である画像Ｂの開始時刻「’０３年１月１日１０時１９分００秒」から画像Ａの終了時刻「’０３年１月１日１０時２０分２０秒」までを画像Ａ２、それ以前を画像Ａ１に分割する（ステップＳ３８）。画像Ｂは、画像Ａと重複する部分としない部分に分割する。画像Ｂの開始時刻「’０３年１月１日１０時１９分００秒」から画像Ａの終了時刻「’０３年１月１日１０時２０分２０秒」までを重複する画像Ｂ１、それ以降を画像Ｂ０と分割し、画像Ｂ０は、基になる画像Ａがないので削除する（ステップＳ３９）。画像Ａ１に続いて、画像Ａ２を親画面、画像Ｂ１を子画面で再生するピクチャインピクチャ指定して結合する（ステップＳ４１）。編集後の画像Ａ’は、画像Ａ１、親画面Ａ２と子画面Ｂ１のピクチャインピクチャ画像の順に結合した画像となる。
【００８２】
このように、画像Ａのうち画像Ｂに重複する時間帯の画像を子画面表示することによって、同時進行する２画像を再生することができるようになる。
【００８３】
画像Ａの時間帯に画像Ｂさらに画像Ｃなど複数の画像が重複している場合に、前述のように画像を入れ替えたり、子画面表示するのではなく、再生時にその複数の画像のうちどれかを視聴者が選択して再生するいわゆるマルチアングルで画像を取り込む編集方法もある。この場合も図１４に示すように、時刻情報を利用して編集することができる。
【００８４】
基になる画像Ａの時間帯（開始時刻「’０３年１月１日１０時１０分００秒」、終了時刻「’０３年１月１日１０時２４分２０秒」）に重複する画像Ｂ（開始時刻「’０３年１月１日１０時１１分３０秒」、終了時刻「’０３年１月１日１０時２０分１０秒」）と画像Ｃ（開始時刻「’０３年１月１日１０時１６分３０秒」、終了時刻「’０３年１月１日１０時２３分００秒」）があると、図１５に示すような時間関係になる。
【００８５】
これら画像の時間帯の重複区間を求める。画像Ａは基になる画像であるから、他の画像Ｂおよび画像Ｃの開始時刻の遅い方がマルチアングル画像の開始時刻となり、画像Ｂおよび画像Ｃの終了時刻の早い方がマルチアングル画像の終了時刻となる。ここでは、マルチアングル画像の開始時刻は「’０３年１月１日１０時１６分３０秒」、終了時刻は「’０３年１月１日１０時２０分１０秒」となる（ステップＳ５１）。
【００８６】
基になる画像Ａをマルチアングル区間とその前後に分割する。画像Ａの開始時刻「’０３年１月１日１０時１０分００秒」からマルチアングル開始時刻「’０３年１月１日１０時１６分３０秒」までを画像Ａ１、マルチアングル区間を画像Ａ２、マルチアングル区間の終了時刻「’０３年１月１日１０時２０分１０秒」以降を画像Ａ３に分割する（ステップＳ５３）。
【００８７】
同じように画像Ｂもマルチアングル区間と以外の区間に分割する。画像Ｂの開始時刻「’０３年１月１日１０時１１分３０秒」からマルチアングル開始時刻までを画像Ｂ１、マルチアングル区間の画像を画像Ｂ２に分割する。ここでは、２分割であるが、画像Ｂの終了時刻が画像Ｃの終了時刻よりも遅ければ、画像Ｂも３分割となる（ステップＳ５４）。
【００８８】
画像Ｃについても同様に分割する。画像Ｃの開始時刻は、マルチアングル区間の開始時刻であり、マルチアングル区間と重複する時間帯の画像Ｃ１と、それ以降の画像Ｃ２とに分割する（ステップＳ５５）。
【００８９】
マルチアングル区間の画像は、画像Ａ２と画像Ｂ２と画像Ｃ１となり、マルチアングルの画像として再生時は同時進行する画像をのいずれかを選択して再生することになる。編集後の画像Ａ’は、画像Ａ１と、画像Ａ２と画像Ｂ２と画像Ｃ１のマルチアングル画像と、画像Ａ３が結合した画像となる（ステップＳ５７）。
【００９０】
マルチアングル区間の画像は、動画だけでなく、静止画のスライドショウであってもよく、動画では得られない決定的瞬間を撮ったいくつもの静止画でその場の雰囲気を表現することができる。
【００９１】
ここまで、画像に付けられた時刻情報に基づいた画像編集を行う場合について説明したが、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｙｔｅｍ）などを利用して、撮影した場所などを示す位置情報を画像に付けた場合の画像編集について説明する。時刻情報と同じように、編集対象となる候補画像の検索ができる。まず、基になる画像Ａを選択する。編集の候補となる画像は、図１９に示されるような手順で表示される。
【００９２】
画像Ａが基準画像であり、その付属情報の位置情報を取り出す。位置情報のある設定された範囲の地域にある画像画像を検索することになるが、範囲は、撮影された状況や編集する目的などで大きく異なるため、範囲設定をできることが望ましい。（ステップＳ８１）。
【００９３】
検索対象になる画像は、編集管理テーブルに位置情報が登録されているので、その位置情報を読み出す（ステップＳ８２）。読み出した位置情報で示される位置が、画像Ａの位置情報と検索範囲で示される地域にあるかを判定する。その地域に画像Ｂの位置がある場合（ステップＳ８４−範囲内）、その画像を候補画像として登録する（ステップＳ８５）。
【００９４】
範囲内になかったか（ステップＳ８４−範囲外）、登録し終わったら、編集管理テーブルに登録されている画像を全て検索し終わるまでステップＳ８２からステップＳ８７を繰り返す（ステップＳ８７−ＮＯ）。全て検索し終わると（ステップＳ８７−ＹＥＳ）、候補画像として登録された画像を表示部１３に表示する（ステップＳ８９）。候補画像の表示は、画像の代表映像であるサムネイル表示でもよいし、画像の付属情報にある画像名でもよい。このようにして編集候補画像Ｂを検索する。
【００９５】
画像編集するユーザは、基になる画像Ａを選択した後、マルチアングルの効果を付ける画像をいくつか選んで編集を指示する。動画像編集装置は、図１６に示すように、マルチアングルの画像を生成する。
【００９６】
編集の対象となった画像が、図１７に示されるように、同じ地域で撮影された画像とする。その位置情報は、（北緯ｘｘｘ゜ｘｘ’、東経ｙｙｙ゜ｙｙ’）を示しており、撮影時刻は、画像Ａでは開始時刻「２００１年１０月１日１０時１０分００秒」、画像Ｂでは開始時刻「２００２年６月１日１０時１０分１０秒」、画像Ｃでは開始時刻「２００３年１月１日１０時１６分３０秒」とまちまちである。これらの画像をマルチアングルの画像とするため、それぞれの画像の再生時間を求め、そのうちの最小再生時間で再生時間を揃える。画像Ａは１４分２０秒、画像Ｂは１６分２０秒、画像Ｃは１５分２０秒となり、１４分２０秒が最小再生時間となる（ステップＳ６１）。
【００９７】
最小再生時間になるように各画像を揃える。画像Ａは、この場合、最小再生時間であるため、削除する部分はないのでそのままの画像Ａが編集に用いられる（ステップＳ６３）。画像Ｂは、再生時間が１６分２０秒であるので、２分短縮した画像Ｂ１を用いる（ステップＳ６４）。画像Ｃは、再生時間が１５分２０秒であるので、１分短縮した画像Ｃ１を用いる（ステップＳ６５）。
【００９８】
このように再生時間を揃えた画像Ａと画像Ｂ１と画像Ｃ１とをマルチアングルの画像Ａ’、Ｂ’、Ｃ’に指定する。マルチアングルの画像Ａ’、Ｂ’、Ｃ’は、再生時そのいずれかを選択して再生されることになる（ステップＳ６７）。
【００９９】
マルチアングルの画像に位置情報を利用して編集した場合、同一地点でのその風景の四季の変化など、撮影時刻は違っても同じ場所の映像をまとめることができる。
【０１００】
以上のように時刻情報や位置情報を利用して編集した画像は、記録媒体に書き込む前に、編集した結果を確認し、ＤＶＤなどのメディアに書き込みを行う。通常、画像編集は、画像のメモリ上やファイル上の位置（アドレス）情報のポインタを使用して行う。つまり、ここまで説明してきた編集の作業は、それぞれの画像のポインタを操作して行っており、実際の画像を編集するのは、最終段階の記録媒体に書き込む段階の前に行う。データの複写や移動、削除、編集の取消などに柔軟に対応でき、ハードディスクやメモリが有効に使用できる。
【０１０１】
また、編集前の画像は、様々な符号化方式によって符号化されている。例えばＭＰＥＧでも、ＭＥＰＧ−１  Ｖｉｄｅｏ、ＭＥＰＧ−１  Ｓｙｓｔｅｍ、ＶｉｄｅｏＣＤ、ＭＰＥＧ−２  Ｖｉｄｅｏなどがあり、さらにＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｇｒａｐｈｉｃ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）による静止画像符号化方式を動画像に応用した方式もある。編集した画像を記録する媒体によっても制限を受けるため、ユーザの指示あるいはデフォルト設定されている目標とする再生機器に適合した符号化方式に統一して最終画像を記録する。符号化方式の変換は、画像編集の前におこなうと編集する画面を最終画像の状態でチェックできるので望ましいが、作業領域や変換時間などを考慮すると、最終画像の確認作業の前におこなうのが好ましい。最終画像の確認作業を省略できるような場合には、記録媒体に画像を記録する時におこなってもよい。
【０１０２】
ＤＶＤビデオのファイルフォーマットは、図２０に示すように、世界標準のＤＶＤビデオレコーディングフォーマットになっている。制御情報と、画像や音声などの実体が格納されたオブジェクト部分で構成されている。画像のデータは、ＶＴＳ２３にそれぞれ格納され、ピクチャインピクチャやマルチアングルなどの画像効果や再生画像制御は、制御情報としてＶＭＧ２２で示される部分に格納される。通常、画像編集は、画像のファイル上の位置（アドレス）情報を使用して行い、実際の画像データを編集するのは、最終段階の記録媒体に書き込む段階の前で行う。それによって、ハードディスクやメモリが有効に使用できる。
【０１０３】
【発明の効果】
本発明によれば、専門的な知識やテクニックを有しないユーザでも簡単に画像編集を行うことができる動画像編集装置および動画像編集方法を提供することができる。また、専門的な知識を有するユーザでもマルチアングルなどの用途を拡げる動画像編集装置および動画像編集方法を提供することができる。
【０１０４】
また、本発明によれば、チャプタ設定を自動的に行う動画像編集装置および動画像編集方法を提供することができる。
【０１０５】
さらに、本発明によれば、いくつかの画像をマルチアングル化する動画像編集装置および動画像編集方法を提供することができる。
【０１０６】
本発明によれば、専門的な知識を有するユーザが使用するような高度な機能をもつ動画像編集装置を安価に提供することができる。
【図面の簡単な説明】
【図１】本発明に係る動画像編集装置の構成を示すブロック図である。
【図２】画像を挿入する編集の動作を示すフローチャートである。
【図３】画像を挿入する際の画像の時間関係（１）を示す図である。
【図４】画像を挿入する際の画像の時間関係（２）を示す図である。
【図５】画像を挿入する際の画像の時間関係（３）を示す図である。
【図６】画像を置換する編集の動作を示すフローチャートである。
【図７】画像を置換する際の画像の時間関係（１）を示す図である。
【図８】画像を置換する際の画像の時間関係（２）を示す図である。
【図９】画像を置換する際の画像の時間関係（３）を示す図である。
【図１０】子画面表示する編集の動作を示すフローチャートである。
【図１１】子画面表示する編集の画像の時間関係（１）を示す図である。
【図１２】子画面表示する編集の画像の時間関係（２）を示す図である。
【図１３】子画面表示する編集の画像の時間関係（３）を示す図である。
【図１４】画像を時刻情報に基づいてマルチアングル編集の動作を示すフローチャートである。
【図１５】マルチアングル編集する画像の時間関係を示す図である。
【図１６】画像を位置情報に基づいてマルチアングル編集の動作を示すフローチャートである。
【図１７】マルチアングル編集する画像の関係を示す図である。
【図１８】画像を時刻情報に基づいて検索する動作を示すフローチャートである。
【図１９】画像を時刻情報に基づいて検索する動作を示すフローチャートである。
【図２０】ＤＶＤビデオのファイルフォーマットを示す図である。
【符号の説明】
１１  記憶部
１２  編集部
１３  表示部
１４  入力部
１５  記録媒体書込部
２１  ＤＶＤビデオファイル
２２  ＶＭＧ部
２３  ＶＴＳ部
【図１】
2004304486.tif 000003
【図２】
2004304486.tif 000004
【図３】
2004304486.tif 000005
【図４】
2004304486.tif 000006
【図５】
2004304486.tif 000007
【図６】
2004304486.tif 000008
【図７】
2004304486.tif 000009
【図８】
2004304486.tif 000010
【図９】
2004304486.tif 000011
【図１０】
2004304486.tif 000012
【図１１】
2004304486.tif 000013
【図１２】
2004304486.tif 000014
【図１３】
2004304486.tif 000015
【図１４】
2004304486.tif 000016
【図１５】
2004304486.tif 000017
【図１６】
2004304486.tif 000018
【図１７】
2004304486.tif 000019
【図１８】
2004304486.tif 000020
【図１９】
2004304486.tif 000021
【図２０】
2004304486.tif 000022