(57)【要約】【課題】動画を編集する際に、所望するフレームを容易に指定することが可能な動画編集装置を提供する。【解決手段】動画編集装置３０は、記録媒体１０に記録されている動画を再生しながら利用者からフレーム指定の指示を受け付ける。動画編集装置３０は、指示を受け付けた時点で再生しているフレーム及びその前後それぞれ１以上のフレームのサムネイル画像を生成して表示し、複数のサムネイル画像から１個のサムネイル画像の選択を受け付け、選択を受け付けたサムネイル画像に対応するフレームが指定されたとみなす。【選択図】図４
2004221768.tif 000002
【特許請求の範囲】
【請求項１】
動画を構成する複数のフレームから編集対象となるフレームの指定を受け付ける動画編集装置であって、
動画を記憶している記憶手段と、
前記記憶手段から動画を取得し、１フレームずつ連続して再生する再生手段と、
前記再生手段による再生中に、フレームの指定を示す指示を受け付ける受付手段と、
前記受付手段が前記指示を受け付けた時点において、前記再生手段が再生しているフレーム及びその前後それぞれ１以上のフレームについて、各フレームを縮小した画像であるサムネイル画像を生成して表示するサムネイル画像表示手段と、
前記サムネイル画像表示手段が表示する複数のサムネイル画像のうち、１個のサムネイル画像の選択を受け付け、選択を受け付けたサムネイル画像に対応するフレームが指定されたとみなすフレーム指定手段と
を備えることを特徴とする動画編集装置。
【請求項２】
前記記憶手段は、さらに、前記動画を構成する各フレームに係るフレーム情報を記憶しており、
前記フレーム指定手段は、選択した前記サムネイル画像に対応するフレーム情報を、前記記憶手段から取得する
ことを特徴とする請求項１に記載の動画編集装置。
【請求項３】
各フレームは、映像信号と音声信号とから構成され、前記サムネイル画像表示手段は、映像信号に基づき映像縮小画像を生成し、音声信号に基づき音声のレベルを視覚化した音声レベル画像を生成し、前記映像縮小画像と前記音声レベル画像とを合成することにより前記サムネイル画像を生成する
ことを特徴とする請求項１に記載の動画編集装置。
【請求項４】
前記記憶手段は、前記フレーム情報として各フレームの再生時刻を記憶しており、前記フレーム指定手段は、選択を受け付けたサムネイル画像に対応するフレームの再生時刻を前記記憶手段から取得する
ことを特徴とする請求項３に記載の動画編集装置。
【請求項５】
前記記憶手段は、前記フレーム情報として各フレームのフレーム番号を記憶しており、前記フレーム指定手段は、選択を受け付けたサムネイル画像に対応するフレームのフレーム番号を前記記憶手段から取得する
ことを特徴とする請求項３に記載の動画編集装置。
【請求項６】
前記記憶手段は、可搬型の光ディスク記録媒体であって、前記再生手段は、前記光ディスク記録媒体から動画を読み出して前記動画を再生し、前記フレーム指定手段は、選択を受け付けた前記サムネイル画像に対応するフレーム情報を、前記光ディスク記録媒体から取得する
ことを特徴とする請求項２に記載の動画編集装置。
【請求項７】
動画を構成する複数のフレームから編集対象となるフレームの指定を受け付ける動画編集装置で用いられる動画編集方法であって、
前記動画編集装置は、動画を記憶している記憶手段を備え、
前記動画編集方法は、
前記記憶手段から動画を取得し、１フレームずつ連続して再生する再生ステップと、
前記再生手段による再生中に、フレームの指定を示す指示を受け付ける受付ステップと、
前記受付手段が前記指示を受け付けた時点において、前記再生手段が再生しているフレーム及びその前後それぞれ１以上のフレームについて、各フレームを縮小した画像であるサムネイル画像を生成して表示するサムネイル画像表示ステップと、
前記サムネイル画像表示手段が表示する複数のサムネイル画像のうち、１個のサムネイル画像の選択を受け付け、選択を受け付けたサムネイル画像に対応するフレームが指定されたとみなすフレーム指定ステップと
を含むことを特徴とする動画編集方法。
【請求項８】
動画を構成する複数のフレームから編集対象となるフレームの指定を受け付ける動画編集装置で用いられる動画編集プログラムであって、
前記動画編集装置は、動画を記憶している記憶手段を備え、
前記動画編集プログラムは、
前記記憶手段から動画を取得し、１フレームずつ連続して再生する再生ステップと、
前記再生手段による再生中に、フレームの指定を示す指示を受け付ける受付ステップと、
前記受付手段が前記指示を受け付けた時点において、前記再生手段が再生しているフレーム及びその前後それぞれ１以上のフレームについて、各フレームを縮小した画像であるサムネイル画像を生成して表示するサムネイル画像表示ステップと、
前記サムネイル画像表示手段が表示する複数のサムネイル画像のうち、１個のサムネイル画像の選択を受け付け、選択を受け付けたサムネイル画像に対応するフレームが指定されたとみなすフレーム指定ステップと
を含むことを特徴とする動画編集プログラム。
【請求項９】
動画を構成する複数のフレームから編集対象となるフレームの指定を受け付ける動画編集装置で用いられる動画編集プログラムを記録しているコンピュータ読み取り可能な記録媒体であって、
前記動画編集装置は、動画を記憶している記憶手段を備え、
前記動画編集プログラムは、
前記記憶手段から動画を取得し、１フレームずつ連続して再生する再生ステップと、
前記再生手段による再生中に、フレームの指定を示す指示を受け付ける受付ステップと、
前記受付手段が前記指示を受け付けた時点において、前記再生手段が再生しているフレーム及びその前後それぞれ１以上のフレームについて、各フレームを縮小した画像であるサムネイル画像を生成して表示するサムネイル画像表示ステップと、
前記サムネイル画像表示手段が表示する複数のサムネイル画像のうち、１個のサムネイル画像の選択を受け付け、選択を受け付けたサムネイル画像に対応するフレームが指定されたとみなすフレーム指定ステップと
を備えることを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画編集技術に関する。
【０００２】
【従来の技術】
動画を編集する際には、動画を構成する複数のフレームのうち、編集の対象となるフレームを指定する作業が必要であるが、従来は、編集の対象となるフレームを指定する作業において、利用者は目視によりフレームを指定していた。具体的には、利用者は、表示装置に再生される動画を見ながら、編集の対象として所望するフレームの位置で動画編集装置又はリモコンなどを操作することにより、編集対象となるフレームを指定していた。
【０００３】
また、特許文献１には、動画を構成する複数のシーンそれぞれの先頭フレームについてサムナイル画像を生成し、複数個のサムネイル画像を１画面上に表示して利用者から所望するフレームの指定を受け付ける技術が開示されている。詳しくは、サムネイル画像と共に時間軸を示すスクロールバーを表示し、利用者によりスクロールバーが操作されると、表示しているサムネイル画像を、スクロールバーに対応する時刻に相当するフレームのサムネイル画像に変更して表示し、利用者はスクロールバーを操作しながら所望するフレームを探し、指定する。
【０００４】
【特許文献１】
特開２００１−１９７４２６号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上記の様に、利用者の目視による選択では、利用者が編集の対象として所望する位置で動画編集装置又はリモコンなどを操作したつもりであっても、実際に選択されたフレームと所望するフレームとの間にずれが生じるという問題がある。また、特許文献１に開示されている技術を用いても、利用者によるスクロールバーの操作と装置の動作との間の時間的誤差を考慮すると、所望するフレームと異なるフレームが選択される可能性がある。
【０００６】
この問題を解消するために、動画をコマ送り再生しながら所望するフレームを確認する方法もあるが、コマ送り再生では装置の操作手順が増え、所望する位置に達するまでに時間を要する。更に、コマ送り再生では音声データが再生されないために、音声が記録されていないような音声の切り替わり位置に相当するフレームを探すことが困難である。
【０００７】
本発明は、上記問題点に鑑みなされたものであって、動画を編集する際に、編集の対象として所望するフレームを、容易に選択することが可能である動画編集装置及び動画編集方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明は、動画を構成する複数のフレームから編集対象となるフレームの指定を受け付ける動画編集装置であって、動画を記憶している記憶手段と、前記記憶手段から動画を取得し、１フレームずつ連続して再生する再生手段と、前記再生手段による再生中に、フレームの指定を示す指示を受け付ける受付手段と、前記受付手段が前記指示を受け付けた時点において、前記再生手段が再生しているフレーム及びその前後それぞれ１以上のフレームについて、各フレームを縮小した画像であるサムネイル画像を生成して表示するサムネイル画像表示手段と、前記サムネイル画像表示手段が表示する複数のサムネイル画像のうち、１個のサムネイル画像の選択を受け付け、選択を受け付けたサムネイル画像に対応するフレームが指定されたとみなすフレーム指定手段とを備えることを特徴とする。
【０００９】
また、上記目的を達成するために、前記記憶手段は、さらに、前記動画を構成する各フレームに係るフレーム情報を記憶しており、前記フレーム指定手段は、選択した前記サムネイル画像に対応するフレーム情報を、前記記憶手段から取得する様に構成される。
また、上記目的を達成するために、各フレームは、映像信号と音声信号とから構成され、前記サムネイル画像表示手段は、映像信号に基づき映像縮小画像を生成し、音声信号に基づき音声のレベルを視覚化した音声レベル画像を生成し、前記映像縮小画像と前記音声レベル画像とを合成することにより前記サムネイル画像を生成する様に構成される。
【００１０】
【発明の実施の形態】
本発明に係る実施の形態として、動画編集システム１について図面を参照して説明する。
＜構成＞
図１は、動画編集システム１の構成を示す構成図である。同図に示す様に、動画編集システム１は、記録媒体１０、表示装置２０及び動画編集装置３０から構成される。
【００１１】
動画編集システム１は、動画データを光ディスク記録媒体に記録し、又は光ディスク記録媒体に記録されている動画データを再生し、又は光ディスク記録媒体に記録されている動画データを編集するシステムである。
１．記録媒体１０
記録媒体１０は、光ディスク記録媒体であって、具体的にはＤＶＤ―ＲＡＭである。記録媒体１０には予めＭＰＥＧストリームと再生時刻情報とが記録されている。
【００１２】
ＭＰＥＧストリームは、表示装置２０を介して動画編集装置３０が受信した動画データを、ＭＰＥＧ−２規格により圧縮符号化して生成されたデータである。動画データは映像信号と音声信号とから成り、映像信号は複数のビデオフレームから構成され、映像信号は、複数のオーディオフレームから構成される。各ビデオフレーム、各オーディオフレームには、フレーム番号が付されている。
【００１３】
再生時刻情報は、映像信号を構成する複数のフレームについて、フレーム毎にフレーム番号と再生時刻とを対応付けたデータである。再生時刻とは、当該動画データをフレーム番号順に再生した場合に、再生開始時点を始点（０°００′００．００″）としたときに各フレームが再生される時刻である。
再生時刻情報の一例を図２に示す。同図に示す再生時刻情報１００によると、フレーム番号が「１」であるフレームが再生される時刻は、「０°００′００．５８″」であり、フレーム番号が「２」であるフレームが再生される時刻は、「０°００′０１．３５″」であり、フレーム番号が「３」であるフレームが再生される時刻は、「０°００′０２．２７″」であることが分かる。同図ではフレーム番号「３」以降が省略されているが、実際には、映像信号を構成する全てのフレームについて、フレーム番号と再生時刻との組が記述されている。
【００１４】
動画データの編集処理は、動画データ及び再生時刻情報１００を予め記録している記録媒体１０が、動画編集装置３０に装着されて行われる。
２．表示装置２０
表示装置２０は、アンテナ、チューナー、デコーダ、ディスプレィ、スピーカーなどを含む放送受像システムである。表示装置２０は、アナログ電波に乗せて伝播される放送波を、アンテナを介して受信し、受信した放送波から映像信号及び音声信号を抽出し、伸長してディスプレィに表示する。
【００１５】
また、表示装置２０は、動画編集装置３０と接続されており、受信した放送波から映像信号及び音声信号を抽出して、動画編集装置３０を介して記録媒体に記録し、記録媒体に記録されている映像信号及び音声信号を、動画編集装置３０を介してディスプレィに表示する。
また、動画編集処理において、表示装置２０は、操作画面及び選択画面などをディスプレィに表示する。操作画面は、動画編集システム１の利用者が所望するフレームを大まかに指定するために用いられる画面であり、選択画面は、前期操作画面が表示された後にディスプレィに表示される画面であって、利用者が前記操作画面に基づき所望するフレームを大まかに指定した後に、正確に指定するために用いられる画面である。以下では操作画面及び選択画面について説明する。
【００１６】
＜操作画面２００＞
操作画面の一例として、操作画面２００を図３に示す。同図に示す様に、操作画面２００は、再生画像２０１、決定ボタン２０２、終了ボタン２０３及び選択表示２０４を含む。再生画像２０１は、記録媒体１０に記録されているＭＰＥＧストリームを伸長して再生した画像である。利用者は、ディスプレィに表示された再生画像２０１を見ながら、動画編集装置３０の操作部１０１を介して決定ボタン２０２を選択することによりフレームを指定する。操作部１０１を介して終了ボタン２０３が選択されると、動画編集装置３０は動画編集処理を終了し、操作画面２００はディスプレィから消去される。利用者は、決定ボタン２０２又は終了ボタン２０３の何れかを選択することが可能である。選択されているボタンには、選択されていることを示す選択表示２０４が表示される。なお、デフォルトでは、決定ボタン２０２が選択されており、選択表示２０４は、決定ボタン２０２の周囲に表示されている。
【００１７】
＜選択画面３００＞
選択画面の一例として、選択画面３００を図４に示す。同図に示す様に、選択画面３００は、７個のサムネイル画像３０１、３０２、…、３０７、前ボタン３０８、後ボタン３０９及び選択表示３１０を含む。サムネイル画像３０４は、ディスプレィに操作画面が表示されている状態において、動画編集装置３０が決定ボタンの選択を確定した場合に、前記確定の時刻に操作画面内に表示されている再生画像のサムネイル画像である。
【００１８】
サムネイル画像３０３、サムネイル画像３０２及びサムネイル画像３０１は、この順序で、サムネイル画像３０４の１フレーム前、２フレーム前及び３フレーム前のフレームに対応したサムネイル画像であり、サムネイル画像３０５、サムネイル画像３０６及びサムネイル画像３０７は、この順序で、サムネイル画像３０４の１フレーム後、２フレーム後及び３フレーム後のフレームに対応したサムネイル画像である。
【００１９】
７個のサムネイル画像３０１、３０２、…、３０７のそれぞれには、その左端に音声レベル表示が合成されて表示されている。音声レベル表示は、各サムネイル画像に対応する音声のレベル（音量）をディジタル及びアナログの２つのチャネルについて視覚的に表現したものである。例えば、サムネイル画像３０１には音声レベル表示３０１ａが合成されて表示されている。また、サムネイル画像３０３には音声レベル表示３０３ａが合成されて表示されている。音声レベル表示３０３ａは、サムネイル画像３０３に対応した音声フレームは、音声の切り替わり位置であることを示している。
【００２０】
これにより、利用者は、サムネイル画像と音声レベル表示との両方を確認しながら目的のフレームを選択することが可能になり、サムネイル画像だけでは判断し難い、音声の切り替わり位置に相当するフレームを選択することも容易になる。
利用者は、操作部１０１を介して、サムネイル画像３０１、…、３０７、前ボタン３０８及び後ボタン３０９の何れかを選択することが可能である。選択されているサムネイル画像或いは選択されているボタンには、選択されていることを示す選択表示３１０が、サムネイル画像或いはボタンの周囲に表示される。
【００２１】
選択画面３００において、前ボタン３０８が選択されている状態において、利用者から操作部１０１を介して「決定」の操作を受け付けた場合、表示装置２０は、図３の選択画面３００に替わって図４の選択画面４００をディスプレィに表示する。
＜選択画面４００＞
図５に示した選択画面４００は、前述の選択画面３００と同様に、７個のサムネイル画像４０１、４０２、…、４０７、前ボタン４０８、後ボタン４０９及び選択表示４１０を含み、各サムネイル画像には、音声レベル表示が合成されて表示されている。
【００２２】
選択画面４００に含まれる各サムネイル画像は、選択画面３００に含まれる７個のサムネイル画像の画面上の位置と同位置に表示されている各サムネイル画像より１フレーム前のサムネイル画像である。即ち、サムネイル画像４０７は、サムネイル画像３０６と同一であり、サムネイル画像４０６は、サムネイル画像３０５と同一であり、サムネイル画像４０５は、サムネイル画像３０４と同一であり、サムネイル画像４０４は、サムネイル画像３０３と同一であり、サムネイル画像４０３は、サムネイル画像３０２と同一であり、サムネイル画像４０２は、サムネイル画像３０１と同一であり、サムネイル画像４０１は、サムネイル画像４０２より１フレーム前のサムネイル画像である。
【００２３】
選択画面３００と同様に、利用者は、操作部１０１を介して、サムネイル画像４０１、…、４０７、前ボタン４０８及び後ボタン４０９の何れかを選択することが可能である。選択されているサムネイル画像或いは選択されているボタンには、選択されていることを示す選択表示４１０が、サムネイル画像或いはボタンの周囲に表示される。
【００２４】
３．動画編集装置３０
動画編集装置３０は、具体的にはＤＶＤレコーダであって、ＤＶＤ−ＲＡＭが装着され、ＤＶＤ−ＲＡＭに動画データを記録し、又はＤＶＤ−ＲＡＭに記録されている動画データを再生し、又はＤＶＤ―ＲＡＭに記録されている動画データの編集を行う装置である。図６は、動画編集装置３０の構成を示すブロック図である。同図に示す様に、動画編集装置３０は、操作部１０１、操作入力部１０２、映像入力部１０３、制御部１０４、記録媒体制御部１０５、ＭＰＥＧエンコーダ１０６、操作画像生成部１０７、ＭＰＥＧデコーダ１０８及び出力部１０９から構成される。
【００２５】
以下では、本発明の特徴である動画データの編集処理について詳細に説明するが、動画データの編集処理は、動画データ及び再生時刻情報１００を予め記録している記録媒体１０が、動画編集装置３０に装着されて行われるものとする。
（１）操作部１０１
操作部１０１は、利用者が動画編集装置３０を操作するために用いるリモコンである。操作部１０１は、複数の操作ボタン、矢印ボタンなどを備え、利用者からのボタンの押下を受け付ける。操作部１０１は、利用者によりボタンが押下されると、押下されたボタンに対応する赤外線信号を生成し、生成した赤外線信号を操作入力部１０２へ発信する。
【００２６】
特に動画編集処理では、表示装置２０のディスプレィに前述の操作画面及び選択画面が表示されている状態において、操作部１０１は、利用者から各ボタン及び各サムネイル画像を選択するボタンの押下を受け付け、押下されたボタンに対応する赤外線信号を生成し、生成した赤外線信号を操作入力部１０２へ発信する。
【００２７】
（２）操作入力部１０２
操作入力部１０２は、操作部１０１から発信される赤外線信号を受信する。操作入力部１０２は、受信した赤外線信号を、操作の内容を示す入力信号に変換し、入力信号を制御部１０４へ出力する。
（３）映像入力部１０３
映像入力部１０３は、表示装置２０と接続されており、表示装置２０から映像信号及び音声信号を受け取り、受け取った映像信号及び音声信号をＭＰＥＧエンコーダ１０６へ出力する。
【００２８】
（４）制御部１０４
制御部１０４は、マイクロプロセッサ、ＲＡＭ、ハードディスクなどから構成されており、ハードディスクに格納されているコンピュータプログラムをマイクロプロセッサが実行することにより、動画の記録、再生、編集などの動画編集装置３０全体の機能を制御する。
【００２９】
制御部１０４は、操作入力部１０２から入力信号を受け取り、受け取った入力信号の種類を判断し、入力信号に応じた処理を行う。制御部１０４が操作入力部１０２から受け取る入力信号は、具体的には、「再生」、「記録」、「編集」の何れかを示す処理指示、及び、各処理に応じて「早送り」、「巻戻し」、「一時停止」など複数の操作指示である。ここで、編集処理において編集の対象となるフレームを選択するとき、制御部１０４が受け取る操作指示は、「決定」、「終了」、「上」、「下」、「右」、「左」などである。
【００３０】
入力信号が「再生」を示す場合、制御部１０４は、記録媒体制御部１０５へ再生要求を出力する。
入力信号が「記録」を示す場合、制御部１０４は、記録媒体制御部１０５及びＭＰＥＧエンコーダ１０６へ記録要求を出力する。
入力信号が「編集」を示す場合、制御部１０４は、記録媒体制御部１０５及び操作画像生成部１０７へ編集要求を出力する。
【００３１】
制御部１０４は、表示装置２０に操作画面２００が表示されている状態において、決定ボタン２０２が選択されたことを示す入力信号を受け取った場合、ＭＰＥＧデコーダ１０８へ、サムネイル画像生成要求を出力する。
制御部１０４は、表示装置２０に操作画面２００又は選択画面３００又は選択画面４００が表示されている状態において、選択されている項目を記憶しており、「上」、「下」、「右」、「左」を示す入力信号を受け取ると、入力信号に従い操作画像生成部１０７へ選択表示２０４又は選択表示３１０又は選択表示４１０の位置を移動させる指示を出力し、更に、記憶している前記項目に移動先の項目を上書きして記憶する。
【００３２】
制御部１０４は、表示装置２０に選択画面３００又は選択画面４００が表示されている状態において「前」を示す入力信号を受け取った場合、サムネイル画像３０１又はサムネイル画像４０１より１フレーム前のフレームのサムネイル画像を生成する指示をＭＰＥＧデコーダ１０８へ出力する。また、制御部１０４は、表示装置２０に選択画面３００又は選択画面４００が表示されている状態において「後」を示す入力信号を受け取った場合、サムネイル画像３０７又はサムネイル画像４０７より１フレーム後のフレームのサムネイル画像を生成する指示をＭＰＥＧデコーダ１０８へ出力する。
【００３３】
制御部１０４は、表示装置２０に、選択画面３００が表示されている状態において、サムネイル画像３０１が選択されており、且つ「決定」を示す入力信号を受け取った場合、サムネイル画像３０１に対応するフレームのフレーム番号と再生時刻とをＭＰＥＧデコーダ１０８から取得し、記憶する。サムネイル画像３０２、…、３０７についても同様である。また、表示装置２０に選択画面４００が表示されている場合も同様である。
【００３４】
（５）記録媒体制御部１０５
記録媒体制御部１０５は、光ピックアップ、バッファなどを備えるＤＶＤ−ＲＡＭドライブユニットである。
記録媒体制御部１０５は、ＤＶＤ−ＲＡＭが装着されており、制御部１０４からの記録要求を受け取ると、ＭＰＥＧエンコーダ１０６からＭＰＥＧストリーム及び再生時刻情報を受け取り、受け取ったＭＰＥＧストリーム及び再生時刻情報を前記ＤＶＤ−ＲＡＭに記録する。
【００３５】
記録媒体制御部１０５は、記録媒体１０が装着されており、制御部１０４から再生要求又は編集要求を受け取ると、装着されている記録媒体１０から再生時刻情報１００を読み出して、ＭＰＥＧデコーダ１０８へ送出し、さらに、記録媒体１０からＭＰＥＧストリームを読み出し、読み出したＭＰＥＧストリームをＭＰＥＧデコーダ１０８へ送出する。
【００３６】
（６）ＭＰＥＧエンコーダ１０６
ＭＰＥＧエンコーダ１０６は、ＭＰＥＧ−２規格に従い動画を圧縮符号化してＭＰＥＧストリームを生成する。ＭＰＥＧエンコーダ１０６は、具体的には、ビデオエンコーダ、オーディオエンコーダ、バッファなどから構成される。ＭＰＥＧエンコーダ１０６は、制御部１０４から記録要求を受けると、映像入力部１０３から映像信号と音声信号とを受け取り、それぞれを一時的にバッファに格納する。ビデオエンコーダは、バッファから映像信号を取得して、符号化し、ビデオストリームを生成する。オーディオエンコーダは、バッファから音声信号を取得し、符号化し、オーディオストリームを生成する。ＭＰＥＧエンコーダ１０６は、生成されたビデオストリームとオーディオストリームとを合成してＭＰＥＧストリームを生成し、生成したＭＰＥＧストリームを記録媒体制御部１０５へ送出する。
【００３７】
ＭＰＥＧエンコーダ１０６は、上記の様にＭＰＥＧストリームを生成するとき、図２に示したような、フレーム番号と再生時刻とから成る再生時刻情報を生成し、生成した再生時刻情報を記録媒体制御部１０５へ送出する。
（７）操作画像生成部１０７
操作画像生成部１０７は、操作画像制御情報を内部に記憶しており、制御部１０４から操作画面を生成する要求を受け取ると、内部に記憶している操作画像情報に基づき操作画像情報を生成し、生成した操作画像情報を出力部１０９へ出力する。操作画像情報とは、例えば、図３に示した操作画面２００に含まれる決定ボタン２０２、終了ボタン２０３及び選択表示２０４を表示するための情報、図４に示した選択画面３００上に含まれる前ボタン」０８、後ボタン３０９及び選択表示３１０を表示するための情報、図５に示した選択画面４００上に含まれる前ボタン４０８、後ボタン４０９及び選択表示４１０を表示するための情報である。
【００３８】
操作画面２００は、操作画像生成部１０７で生成される操作画像情報とＭＰＥＧデコーダ１０８で生成される映像信号とが、出力部１０９により合成されて生成される画面である。図４の選択画面３００及び図５の選択画面４００は、操作画像生成部１０７で生成される操作画像情報とＭＰＥＧデコーダ１０８で生成される複数個のサムネイル映像信号とが、出力部１０９により合成されて生成される画面である。
【００３９】
操作画像生成部１０７は、操作画面２００又は選択画面３００又は選択画面４００が表示されている状態において、制御部１０４を介して選択表示２０４又は選択表示３１０又は選択表示４１０を移動する指示を受け取ると、指示に応じて選択表示を移動させる。
（８）ＭＰＥＧデコーダ１０８
ここでは、ＭＰＥＧデコーダ１０８について詳細に説明する、ＭＰＥＧデコーダ１０８は、前述のＭＰＥＧエンコーダ１０６に対応したデコーダであり、圧縮符号化されたＭＰＥＧストリームを、ＭＰＥＧ−２規格に従い映像信号及び音声信号に伸長する。
【００４０】
図７は、ＭＰＥＧデコーダ１０８の構成を示すブロック図である。ＭＰＥＧデコーダ１０８は、同図に示す様に、分離部１５１、フレーム情報管理部１５２、フレームメモリ１５３、ビデオデコーダ１５４、オーディオデコーダ１５５、バッファ１５６、バッファ１５７及び合成部１５８から構成される。
分離部１５１は、記録媒体制御部１０５からＭＰＥＧストリームを受け取り、ビデオストリームとオーディオストリームとに分離する。分離部１５１は、ビデオストリームをビデオデコーダ１５４へ出力し、オーディオストリームをオーディオデコーダ１５５へ出力する。このとき、分離部１５１は、ビデオストリームとオーディオストリームとをコピーして、フレーム情報管理部１５２に出力する。
【００４１】
フレーム情報管理部１５２は、表示装置２０が表示している操作画面に含まれる再生画像の再生時刻を常に監視している。
フレーム情報管理部１５２は、記録媒体制御部１０５から再生時刻情報１００をコピーして内部に記憶する。また、フレーム情報管理部１５２は、分離部１５１からビデオストリームとオーディオストリームとを受け取り、受け取ったビデオストリームとオーディオストリームとを、フレームメモリ１５３に格納する。
【００４２】
フレーム情報管理部１５２は、制御部１０４からサムネイル画像生成要求を受け取ると、サムネイル画像生成要求を受け取った時点で表示装置２０が表示している再生画像の再生時刻を読み、内部に記憶している再生時刻情報を用いて、当該再生画像のフレーム番号を取得する。ここで、説明の便宜のために当該再生画像のフレームを「基準フレーム」と呼称する。
【００４３】
フレーム情報管理部１５２は、基準フレームと、基準フレームのフレーム番号よりフレーム番号が１小さいフレーム、基準フレームのフレーム番号よりフレーム番号が２小さいフレーム、同様に３小さいフレーム、及び、基準フレームのフレーム番号よりフレーム番号が１大きいフレーム、フレーム番号が基準フレームのフレーム番号より２大きいフレーム、同様に３大きいフレームの合計７個のビデオストリーム及び７個のオーディオストリームとをフレームメモリ１５３から読み出す。フレーム情報管理部１５２は、フレームメモリ１５３から読み出した７個のビデオストリームをビデオデコーダ１５４へ送出し、フレームメモリ１５３から読み出した７個のオーディオストリームをオーディオデコーダ１５５へ送出する。
【００４４】
フレーム情報管理部１５２は、制御部１０４から、１個のサムネイル画像が選択されたことを示す情報を受け取ると、選択されたサムネイル画像に対応するフレームのフレーム番号と再生時刻情報とを制御部１０４へ送出する。
フレーム情報管理部１５２は、制御部１０４から、前フレームのサムネイル画像を生成する指示を受け取ると、指示を受け取った時点で表示装置２０が表示している７個のサムネイル画像に対応する７個のフレーム番号の最小値より１小さいフレーム番号を有するフレームをフレームメモリ１５３から読み出して、ビデオデコーダ１５４及びオーディオデコーダ１５５に出力する。フレーム情報管理部１５２は、制御部１０４から後フレームのサムネイル画像を生成する指示を受け取ると、指示を受け取った時点で表示装置２０が表示している７個のサムネイル画像に対応する７個のフレーム番号の最大値より１大きいフレーム番号を有するフレームをフレームメモリ１５３から読み出して、ビデオデコーダ１５４及びオーディオデコーダ１５５に出力する。
【００４５】
フレームメモリ１５３は、フレーム情報管理部１５２が分離部１５１からコピーしたビデオストリーム及びオーディオストリームを格納する。フレームメモリ１５３は、ある所定の記憶容量を有し、前記記憶容量を越えてフレーム情報管理部１５２からビデオストリーム及びオーディオストリームが格納されようとすると、古いストリームから破棄する。
【００４６】
ビデオデコーダ１５４は、分離部１５１からビデオストリームを受け取り、ビデオストリームを映像信号に伸長し、伸長した映像信号をバッファ１５６を介して合成部１５８へ出力する。また、ビデオデコーダ１５４は、フレーム情報管理部１５２から、フレームメモリ１５３に格納されていたフレームデータを受け取ると、予め定められたサイズのサムネイル映像信号に伸長し、伸長したサムネイル映像信号を、バッファ１５６を介して合成部１５８に出力する。
【００４７】
オーディオデコーダ１５５は、分離部１５１からオーディオストリームを受け取り、オーディオストリームを音声信号に伸長し、伸長した音声信号をバッファ１５７を介して合成部１５８へ出力する。また、オーディオデコーダ１５５は、フレーム情報管理部１５２から、フレームメモリ１５３に格納されていたフレームデータを受け取ると、フレームデータから音声のレベルを示す信号を取得し、取得した信号を、視覚的な情報である音声レベル情報に変換してバッファ１５７を介し合成部１５８に出力する。
【００４８】
バッファ１５６は、ビデオデコーダ１５４が伸長した映像信号及びサムネイル映像信号を、ビデオデコーダ１５４のデコード処理能力に応じて一時的に格納しておくバッファメモリであり、バッファ１５６は、映像信号及びサムネイル映像信号を合成部１５８に出力する。
バッファ１５７は、オーディオデコーダ１５５が伸長した音声信号及び音声レベル情報を、オーディオデコーダ１５５のデコード処理能力に応じて一時的に格納しておくバッファメモリであり、バッファ１５７は、音声信号及び音声レベル情報を合成部１５８に出力する。
【００４９】
合成部１５８は、バッファ１５６から受け取る映像信号とバッファ１５７から受け取る音声信号とを合成して、出力部１０９へ出力する。また、合成部１５８は、バッファ１５６から受け取るサムネイル映像信号と、バッファ１５７から受け取る音声レベル情報とを合成して出力部１０９へ出力する。
（９）出力部１０９
出力部１０９は、操作画像生成部１０７から操作画像情報を受け取り、ＭＰＥＧデコーダ１０８から映像信号を受け取る。出力部１０９は、受け取ったそれぞれの信号を合成して画面情報を生成し、生成した画面情報を表示装置２０へ出力する。この様に生成される画面の一例が図３の操作画面２００である。
【００５０】
また、出力部１０９は、操作画像生成部１０７から操作画像情報を受け取り、ＭＰＥＧデコーダ１０８からサムネイル映像信号を受け取る。出力部１０９は、受け取ったそれぞれの信号を合成して画面情報を生成し、生成した画面情報を表示装置２０へ出力する。この様に生成される画面の一例が図４の選択画面３００又は図５の選択画面４００である。
【００５１】
＜動作＞
ここでは、図８から図１０に示すフローチャートを用いて、動画編集システム１の動作について説明する。
１．システム全体の動作
ここでは図８に示すフローチャートを用いて、動画編集システム１全体の動作について説明する。
【００５２】
動画編集装置３０の操作部１０１は、操作ボタンが押下されることにより操作指定を受け付ける（ステップＳ１０１）。操作部１０１は、押下された操作ボタンに対応する赤外線信号生成して、生成した赤外線信号を操作入力部１０２へ発信する。操作入力部１０２は、赤外線信号を受信し、受信した赤外線信号を入力信号に変換し、入力信号を制御部１０４へ出力する。制御部１０４は、操作入力部１０２から入力信号を受け取り、受け取った入力信号が示す指示内容を判断する（ステップＳ１０２）。
【００５３】
入力信号が示す操作が「再生」の場合（ステップＳ１０３で「再生」）、制御部１０４は、記録媒体制御部１０５に再生要求を出力する。記録媒体制御部１０５は、記録媒体１０から、ＭＰＥＧストリームを読み出してＭＰＥＧデコーダ１０８に出力し、ＭＰＥＧデコーダ１０８により分離、伸長された映像信号を音声信号とを出力部１０９を介して表示装置２０へ出力する。表示装置２０は、映像信号と音声信号とを受け取り、再生表示する（ステップＳ１０４）。
【００５４】
入力信号が示す操作が「記録」の場合（ステップＳ１０３で「記録」）、制御部１０４は、記録媒体制御部１０５に記録要求を出力する。記録媒体制御部１０５は、ＭＰＥＧエンコーダ１０６からＭＰＥＧストリームを読み出してＤＶＤ−ＲＡＭに書き込む（ステップＳ１０５）。
入力信号が示す操作が「編集」の場合（ステップＳ１０３で「編集」）、制御部１０４は、編集の対象となるフレームを指定する（ステップＳ１０６）。続いて、指定されたフレームについて編集処理を行う（ステップＳ１０７）。
【００５５】
入力信号が示す操作が「終了」の場合（ステップＳ１０３で「終了」）、制御部１０４は、動画編集装置３０の処理を終了する。
２．フレーム指定の動作
ここでは、図９及び図１０に示すフローチャートを用いて、動画編集システム１が行う動画編集処理におけるフレーム指定の動作について説明する。なお、ここで説明する動作は図８のステップＳ１０６の詳細である。
【００５６】
制御部１０４は、記録媒体制御部１０５を介して記録媒体１０からＭＰＥＧストリームを読み出して、読み出したＭＰＥＧストリームをＭＰＥＧデコーダ１０８に出力する。ＭＰＥＧデコーダ１０８は、ＭＰＥＧストリームから１フレームずつ読む。
以下、ステップＳ２０１からステップＳ２１１までフレーム毎に繰り返す。
【００５７】
ＭＰＥＧデコーダ１０８は、フレームを伸長し、再生時刻をカウントしながら出力部１０９を介して表示装置２０に出力し、表示装置２０はフレームを再生する（ステップＳ２０１）。
操作部１０１を介して制御部１０４がフレーム指定を示す指示を受け付けた場合（ステップＳ２０２でＹＥＳ）、制御部１０４は、ＭＰＥＧデコーダ１０８に指示を出力する。ＭＰＥＧデコーダ１０８は、制御部１０４からフレーム指定を示す指示を受け取ると、当該フレームより前３フレーム及び当該フレームより後３フレームを取得する（ステップＳ２０４）。ＭＰＥＧデコーダ１０８は、当該フレーム、当該フレームより前３フレーム及び当該フレームより後３フレームの合計７フレームについて、それぞれ、サムネイル映像信号を生成し（ステップＳ２０５）、音声レベル情報を生成する（ステップＳ３０６）。ＭＰＥＧデコーダ１０８は、生成したサムネイル映像信号と、それぞれ対応する７個の音声レベル情報とを合成して、７個のサムネイル画像を生成する（ステップＳ２０７）。ＭＰＥＧデコーダ１０８は、生成した７個のサムネイル画像を、出力部１０９へ出力する。出力部１０９は、サムネイル画像と操作画像情報とを合成して選択画面を生成し、生成した選択画面を表示装置２０に出力し、表示装置２０は選択画面をディスプレィに表示する（ステップＳ２０８）。
【００５８】
表示装置２０がディスプレィに選択画面を表示している状態において、操作部１０１は利用者の操作を受け付ける（ステップＳ２０９）。操作部１０１は、操作に対応する赤外線信号を生成して、操作入力部１０２へ送信する。操作入力部１０２は、赤外線信号を入力信号に変換して、入力信号を制御部１０４へ出力する。制御部１０４は、操作入力部１０２から入力信号を受け取り、受け取った入力信号を判断する。
【００５９】
入力信号が示す操作が前ボタンである場合（ステップＳ３０１で「前ボタン」）、制御部１０４は、ＭＰＥＧデコーダ１０８に前フレームのサムネイル画像生成要求を出力する。ここで、前フレームとは、表示装置装置２０がディスプレィに表示している７個のサムネイル画像の内、フレーム番号が最小のサムネイル画像より、１フレーム前のフレームを指す。ＭＰＥＧデコーダ１０８は、サムネイル画像生成要求を受け取ると、前フレームを取得して、サムネイル映像信号と音声レベル情報とを生成し、それを合成してサムネイル画像を生成する（ステップＳ３０２）。ＭＰＥＧデコーダ１０８は、生成したサムネイル画像を出力部１０９を介して表示装置２０へ出力し、表示装置２０は、ディスプレィにサムネイル画像を表示する（ステップＳ３０３）。
【００６０】
入力信号が示す操作が後ボタンである場合（ステップＳ３０１で「後ボタン」）、制御部１０４は、ＭＰＥＧデコーダ１０８に後フレームのサムネイル画像生成要求を出力する。ここで、後フレームとは、表示装置装置２０がディスプレィに表示している７個のサムネイル画像の内、フレーム番号が最大のサムネイル画像より、１フレーム後のフレームを指す。ＭＰＥＧデコーダ１０８は、サムネイル画像生成要求を受け取ると、後フレームを取得して、サムネイル映像信号と音声レベル情報とを生成し、それを合成してサムネイル画像を生成する（ステップＳ３１２）。ＭＰＥＧデコーダ１０８は、生成したサムネイル画像を出力部１０９を介して表示装置２０へ出力し、表示装置２０は、ディスプレィにサムネイル画像を表示する（ステップＳ３１３）。
【００６１】
入力信号が示す操作が決定ボタンである場合（ステップＳ３０１で「決定ボタン」）、制御部１０４は、決定を示す信号をＭＰＥＧデコーダ１０８へ出力する。ＭＰＥＧデコーダ１０８は、制御部１０４から、決定の信号を受け取ると、現在選択されているサムネイル画像に対応するフレーム番号と再生時刻とを制御部１０４へ出力する（ステップＳ３２１）。その後。ステップＳ１０７に戻る。
【００６２】
入力信号が示す操作が終了である場合（ステップＳ３０１で「終了」）、ステップＳ１０７に戻る。
ステップＳ２０３において、操作部１０１がフレーム指定を示す指示を受け付けない場合（ステップＳ２０２でＮＯ）、制御部１０４はフレームの再生が終了か否か判断し、フレームが全て再生され、終了の場合（ステップＳ２１０でＹＥＳ）、フレーム毎の繰り返しを終了して、ステップＳ１０７に戻る。フレームが全て再生されておらず、終了でない場合（ステップＳ２１０でＮＯ）、ステップＳ２０１に戻り処理を続ける。
【００６３】
＜まとめ＞
以上説明したように、本発明の動画編集システム１によると、利用者の操作が行われた時点で表示装置２０が表示しているフレームのみならず、その前後のフレームを表示することにより、利用者の操作が所望する位置よりずれた場合においても簡便な操作によって所望するフレームを指定することができる。また、音声情報も同時に表示することにより音声の切り替わり位置の把握が容易であり、映像と合わせて所望するフレームを指定することが可能である。
【００６４】
なお、上記実施の形態に基づき本発明を説明してきたが、本発明は上記実施の形態に限定されないのはもちろんであり、以下の様な場合も本発明に含まれる。（１）上記実施の形態では、動画編集装置１０は、予め動画と再生時刻情報とが格納された記録媒体１０が装着された状態において、前記動画を編集する処理について説明しているが、本発明では、動画と再生時刻情報とが予め記録媒体に格納されていることは必須ではなく、アナログ放送により受信する動画を記録媒体に記録し、前記動画を記録媒体から読み出してフレームを指定し編集する構成も本発明に含まれることは勿論である。
【００６５】
（２）更に、動画データは放送網を介して受信するアナログ放送に限定されない。ＢＳディジタル放送、地上波ディジタル放送、又は、インターネットなどのネットワークを介して受信する動画データ等であっても本発明に含まれる。
また、動画編集装置は、テレビシステムと接続されたＤＶＤレコーダに限定されず、ＤＶＤ−ＲＡＭドライブユニットを備えるコンピュータシステムであればパーソナルコンピュータなどであっても本発明に含まれる。
【００６６】
（３）音声レベル情報を生成する際、オーディオデコーダは、複数のパターン化を示したテーブルを内部に記憶しており、当該テーブルを用いて音声レベル情報を生成するように構成してもよい。また、音声レベル情報は視覚的に音声のレベルが判断できるものであればその形態は限定されない。
（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるディジタル信号であるとしてもよい。
【００６７】
また、本発明は、前記コンピュータプログラム又は前記ディジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、半導体メモリ等に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は、前記ディジタル信号を電気通信回路、無線又は有線通信回路、インターネットを代表とするネットワーク等を経由して伝送するものとしてもよい。
【００６８】
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、前記コンピュータプログラムを記憶しており、前記マイクロプロセッサが前記コンピュータプログラムに従って動作するとしてもよい。
また、前記プログラム又は前記ディジタル信号を前記記録媒体に記録して移送することにより、又は、前記プログラム又は前記ディジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【００６９】
（５）上記実施の形態及び上記変形例を組み合わせるとしてもよい。
【００７０】
【発明の効果】
以上説明したように、本発明は、動画を構成する複数のフレームから編集対象となるフレームの指定を受け付ける動画編集装置であって、動画を記憶している記憶手段と、前記記憶手段から動画を取得し、１フレームずつ連続して再生する再生手段と、前記再生手段による再生中に、フレームの指定を示す指示を受け付ける受付手段と、前記受付手段が前記指示を受け付けた時点において、前記再生手段が再生しているフレーム及びその前後それぞれ１以上のフレームについて、各フレームを縮小した画像であるサムネイル画像を生成して表示するサムネイル画像表示手段と、前記サムネイル画像表示手段が表示する複数のサムネイル画像のうち、１個のサムネイル画像の選択を受け付け、選択を受け付けたサムネイル画像に対応するフレームが指定されたとみなすフレーム指定手段とを備えることを特徴とする。
【００７１】
この構成によると、利用者が動画を再生させながら、所望する場面でフレームを指定する指示を動画編集装置へ出力することにより、動画編集装置は、指示を受け付けた時に再生していたフレームとその前後数フレームとを１画面上にサムネイル画像として表示するため、利用者が前記指示を出力するタイミングや動画編集装置の動作タイミングの遅れがある場合であっても、前記サムネイル画像の画面を見て所望のフレームを選択することができる。
【００７２】
ここで、前記記憶手段は、さらに、前記動画を構成する各フレームに係るフレーム情報を記憶しており、前記フレーム指定手段は、選択した前記サムネイル画像に対応するフレーム情報を、前記記憶手段から取得するように構成してもよい。
この構成によると、動画編集装置は、選択されたフレームに対応するフレーム情報を取得することにより、編集の際にはフレーム情報を用いてフレームを識別して取得することができる。
【００７３】
ここで、各フレームは、映像信号と音声信号とから構成され、前記サムネイル画像表示手段は、映像信号に基づき映像縮小画像を生成し、音声信号に基づき音声のレベルを視覚化した音声レベル画像を生成し、前記映像縮小画像と前記音声レベル画像とを合成することにより前記サムネイル画像を生成するように構成してもよい。
【００７４】
この構成によると、動画編集装置は、音声信号のレベルを視覚化して映像信号と合成したサムネイル画像を表示することにより、利用者は映像の情報だけでなく音声の情報も参照しながら所望するフレームを選択することができる。従来のコマ送り再生では、映像のみが再生され、音声は再生されなかったため、音声のレベルが「０」となる音声切り替わり位置を特定することは困難であったが、本発明により、この問題が解決される。
【００７５】
ここで、前記記憶手段は、可搬型の光ディスク記録媒体であって、前記再生手段は、前記光ディスク記録媒体から動画を読み出して前記動画を再生し、前記フレーム指定手段は、選択を受け付けた前記サムネイル画像に対応するフレーム情報を、前記光ディスク記録媒体から取得するように構成してもよい。
この構成によると、利用者は、ＤＶＤ−ＲＡＭ等の光ディスク記録媒体に格納された動画を編集する際に、所望するフレームを容易に指定することができる。
【図面の簡単な説明】
【図１】動画編集システム１の構成を示す構成図である。
【図２】再生時刻情報１００のデータ構造を示す図である。
【図３】表示装置２０が表示する操作画面２００である。
【図４】表示装置２０が表示する選択画面３００である。
【図５】表示装置２０が表示する選択画面４００である。
【図６】動画編集装置３０の構成を示すブロック図である。
【図７】ＭＰＥＧデコーダ１０８内部の構成を示すブロック図である。
【図８】システム全体の動作を示すフローチャートである。
【図９】フレーム選択処理の動作を示すフローチャートであり、図１０に続く。
【図１０】フレーム選択処理の動作を示すフローチャートであり、図９から続く。
【符号の説明】
１    動画編集システム
１０    記録媒体
２０    表示装置
３０    動画編集装置
１０１    操作部
１０２    操作入力部
１０３    映像入力部
１０４    制御部
１０５    記録媒体制御部
１０６    ＭＰＥＧエンコーダ
１０７    操作画像生成部
１０８    ＭＰＥＧデコーダ
１０９    出力部
１５１    分離部
１５２    フレーム情報管理部
１５３    フレームメモリ
１５４    ビデオデコーダ
１５５    オーディオデコーダ
１５６    バッファ
１５７    バッファ
１５８    合成部
【図１】
2004221768.tif 000003
【図２】
2004221768.tif 000004
【図３】
2004221768.tif 000005
【図４】
2004221768.tif 000006
【図５】
2004221768.tif 000007
【図６】
2004221768.tif 000008
【図７】
2004221768.tif 000009
【図８】
2004221768.tif 000010
【図９】
2004221768.tif 000011
【図１０】
2004221768.tif 000012