(57)【特許請求の範囲】
【請求項１】
動画と、当該動画に対応する音声を記録媒体に記録するステップと、
当該動画に対応する音声から、音声レベルがピークとなる時点を含む所定期間分の音声を代表音声として抽出する代表音声抽出ステップと、
当該動画の開始直後又は所定時間経過後の画像からサムネイル画像を生成し、生成されたサムネイル画像に当該代表音声を付加するサムネイル画像生成ステップと、
当該サムネイル画像生成ステップで生成された代表音声付きのサムネイル画像を当該記録媒体に記録するステップ
とを具備することを特徴とする記録方法。
【請求項２】
当該代表音声抽出ステップは、
当該動画に対応する音声から音声レベルのピークを検出するステップと、
当該検出された音声レベルのピークの値と第１の閾値とを比較した結果、当該検出された音声レベルのピークの値が当該第１の閾値よりも大きい場合に、当該所定期間分の音声を当該代表音声に決定するステップ
とを具備することを特徴とする請求項１に記載の記録方法。
【請求項３】
当該動画の長さが第２の閾値よりも短いか否かを判定する判定ステップをさらに具備し、
当該サムネイル画像生成ステップは、当該判定ステップでの判定結果に基づいて、当該動画の長さが当該第２の閾値よりも短い場合には、当該生成されたサムネイル画像に対する当該代表音声の付加を禁止することを特徴とする請求項１又は２に記載の記録方法。
【請求項４】
動画と、当該動画に対応する音声を記録媒体に記録する記録装置であって、
当該動画に対応する音声から、音声レベルがピークとなる時点を含む所定期間分の音声を代表音声として抽出する代表音声抽出手段と、
当該動画の開始直後又は所定時間経過後の画像からサムネイル画像を生成し、生成されたサムネイル画像に当該代表音声を付加するサムネイル画像生成手段と、
当該サムネイル画像生成手段により生成された代表音声付きのサムネイル画像を当該記録媒体に記録する記録手段
とを具備することを特徴とする記録装置。
【請求項５】
当該代表音声抽出手段は、当該動画に対応する音声から音声レベルのピークを検出し、当該検出された音声レベルのピークの値と第１の閾値とを比較した結果、当該検出された音声レベルのピークの値が当該第１の閾値よりも大きい場合に、当該所定期間分の音声を当該代表音声に決定することを特徴とする請求項４に記載の記録装置。
【請求項６】
当該動画の長さが第２の閾値よりも短いか否かを判定する判定手段をさらに具備し、
当該サムネイル画像生成手段は、当該判定手段による判定結果に基づいて、当該動画の長さが当該第２の閾値よりも短い場合には、当該生成されたサムネイル画像に対する当該代表音声の付加を禁止することを特徴とする請求項４又は５に記載の記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画を音声付きで記録する記録方法及び装置に関する。
【背景技術】
【０００２】
近年、ビデオカメラでは、動画像がサムネイル画像とリンクして記録媒体に記録されている。サムネイル画像は、記録媒体に記録されている動画像の内容を視覚的にユーザに表示することを可能とし、インデックス情報として有益である。
【０００３】
従来、動画像の先頭の画像、又は、先頭から一定時間後の画像からサムネイル画像を生成しているが、それでは、動画の内容を的確に示すものにはならない。これを解決する方法として、特許文献１には、音量レベルの変動量が所定閾値を超えたシーンの画像からサムネイル画像を生成することが記載されている。特許文献２には、任意の場面のサムネイル画像を生成できるように、サムネイル画像を撮影するための専用モードを設けることが記載されている。特許文献３には、動画から複数の時点のサムネイル画像を生成し、これらのサムネイル画像を順次切り替えて表示する擬似動画サムネイルを用いる構成や、ユーザが動画内の任意のシーンの画像をサムネイル画像用に指定できるようにした構成が記載されている。
【特許文献１】特開２００４−１５９２６５号公報
【特許文献２】特開２０００−２９５５５７号公報
【特許文献３】特開平１１−２８９５１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載の構成では、音声レベルの変動量が大きいシーンの画像が、必ずしもサムネイル画像として適切ではないという問題がある。例えば、スポーツ等では、通常、ハイライトシーンの後に音声レベルの変動がきわめて大きくなる。
【０００５】
擬似動画サムネイル画像は、処理負担が大きいだけでなく、不要なサムネイル画像が多く、却って、煩わしいという問題がある。
【０００６】
そこで、本発明は、上記の問題点に鑑み、動画の内容を的確に把握できるサムネイル画像を生成可能な記録方法及び装置を提示することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る記録方法は、動画と、当該動画に対応する音声を記録媒体に記録するステップと、当該動画に対応する音声から、音声レベルがピークとなる時点を含む所定期間分の音声を代表音声として抽出する代表音声抽出ステップと、当該動画の開始直後又は所定時間経過後の画像からサムネイル画像を生成し、生成されたサムネイル画像に当該代表音声を付加するサムネイル画像生成ステップと、当該サムネイル画像生成ステップで生成された代表音声付きのサムネイル画像を当該記録媒体に記録するステップとを具備することを特徴とする。
【０００８】
本発明に係る記録装置は、動画と、当該動画に対応する音声を記録媒体に記録する記録装置であって、当該動画に対応する音声から、音声レベルがピークとなる時点を含む所定期間分の音声を代表音声として抽出する代表音声抽出手段と、当該動画の開始直後又は所定時間経過後の画像からサムネイル画像を生成し、生成されたサムネイル画像に当該代表音声を付加するサムネイル画像生成手段と、当該サムネイル画像生成手段により生成された代表音声付きのサムネイル画像を当該記録媒体に記録する記録手段とを具備することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、音声レベルがピークとなる部分を含む代表音声をサムネイル画像に付加するので、盛り上がった場面の様子を音声で確認できるようになる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１１】
図１は、本発明の一実施例であるデジタルビデオカメラの概略構成ブロック図である。
【００１２】
撮像ユニット１０は、被写体の画像信号を映像入力処理装置１２に出力する。映像入力処理装置１２は、撮像ユニット１０からの映像信号にデジタルビデオカメラで周知のカメラ信号処理（ノイズ除去、ゲイン補正、ガンマ補正及び色補正等）を施し、デジタル信号に変換して出力する。
【００１３】
他方、マイク１４は、周囲の音声を取込み、音声信号を音声入力処理装置１６に出力する。音声入力処理装置１６は、音声レベルを所定値に調整する自動レベル調整（ＡＬＣ）機能を具備し、マイク１４からのアナログ音声信号をデジタル信号に変換し、デジタル音声信号のレベルを所定値に自動調整する。
【００１４】
映像圧縮装置１８は、映像入力装置１２からの映像データを所定の動画圧縮方式に従って圧縮する。
【００１５】
記録処理装置２０は、映像圧縮装置１８からの圧縮映像データ及び音声入力処理装置１６からの音声データを所定のフォーマットで多重し、動画音声データとして記録媒体２２に記録する。記録媒体２２は、例えば、ハードディスク、記録可能光ディスク又は不揮発性フラッシュメモリ等からなる。
【００１６】
音声入力処理装置１６はまた、音声データを代表音声抽出装置２４に供給する。代表音声抽出装置２４は、音声入力処理装置１６からの音声データを音声メモリ２６に一時保持しつつ、その音量ピーク位置を探索する。サムネイルの作成タイミングに従い、代表音声抽出装置２４は、音声メモリ２６に記憶される音声データから、サムネイル画像に付加すべき代表音声を抽出し、サムネイル作成装置２８に印加する。音量ピーク位置の決定に、音声入力処理装置１６におけるＡＬＣ前の音声データを使用してもよい。代表音声の決定方法の詳細は、後述する。
【００１７】
サムネイル生成装置２８は、映像入力装置１２からの映像データから所定の基準に従って１又は複数の画面を抽出し、それぞれの画面のサムネイル画像を生成し、生成したサムネイル画像に代表音声抽出装置２４からの代表音声データを付加して、記録処理装置２０に出力する。なお、ここでは、理解を容易にするために、サムネイル生成装置２８は、１つの動画に対して１つのサムネイル画像を生成するとする。記録処理装置２０は、サムネイル生成装置２８からのサムネイル画像データを、記録媒体２２に記録する。
【００１８】
再生処理装置３０は、記録媒体２２に記録される動画音声データ及びサムネイル画像データを記録媒体２２に読み出す。再生処理装置３０は、記録媒体２２から読み出した圧縮映像データを映像伸長装置３２に供給し、音声データを音声出力処理装置３４に供給する。映像伸長装置３２は、圧縮映像データを伸長して映像データを復元する。映像出力処理装置３６は、映像伸長装置３２からの映像データをＮＴＳＣ又はＰＡＬ等の所定の映像フォーマットの映像信号に変換して、表示装置３８に印加する。また、音声出力装置３４は、再生処理装置３０からの音声データをアナログ音声信号に変換して、スピーカ４０に印加する。これにより、記録媒体２２に記録された動画の映像が、表示装置３８の画面上に再生表示され、音声がスピーカ４０から再生出力される。
【００１９】
再生したい動画を選択する際のサムネイルの表示の段階では、再生処理装置３０は、記録媒体２２に記録される全サムネイル画像を読み出して、サムネイル一覧作成装置４２に印加する。サムネイル一覧作成装置４２は、全サムネイル画像の一覧を生成し、一覧画像データを映像出力処理装置３６に印加する。映像出力処理装置３６は、一覧画像データの映像信号を生成し、表示装置３８に印加する。これにより、サムネイル画像の一覧が、表示装置３８の画面上に表示される。
【００２０】
また、ユーザが特定のサムネイル画像を指定したとき、サムネイル一覧生成装置４２は、指定されたサムネイル画像に付加される代表音声の音声データを音声出力処理装置３４に印加する。音声出力装置３４は、サムネイル一覧生成装置４２からの音声データをアナログ音声信号に変換して、スピーカ４０に印加する。これにより、ユーザにより選択されたサムネイル画像に付加された代表音声が、スピーカ４０から出力される。
【００２１】
システム制御装置４４は、各種の操作キー及び操作ボタンを具備する操作装置４６のユーザ操作に応じて、上記各部を制御する。操作装置４６の全部又は一部は、タッチパネル又はディジタイザであってもよい。システム制御装置４４の制御に必要なプログラム及び固定データがメモリ４８に格納されている。システム制御装置４４は、制御に必要な一時データの保管場所としてメモリ４８を利用する。タイマ５０は、上記各部及びシステム制御装置４４に時刻情報を供給する。
【００２２】
自動レベル調整（ＡＬＣ）は、ある一定以上の音声入力を同じレベルに制御してしまうので、自動レベル調整（ＡＬＣ）の前段の音声を代表音声の判定に用いることで、より適切な部分を代表音声として抽出できる。
【００２３】
次に、サムネイル画像と代表音声からなるサムネイルデータの作成手順を説明する。図２は、その作成手順のフローチャートを示す。図３は撮影時間と記録音声の音量との関係例を示すグラフである。図３では、縦軸は音声レベル（ｄＢ）を示し、横軸は撮影時間（ｓ）を示す。
【００２４】
撮影（録画）前に、音声レベルの閾値ｆと撮影時間の閾値Ｔを設定する（Ｓ１０）。これら閾値ｆ，Ｔは、固定値でもユーザが選択した値でもよい。閾値ｆにより、通常、無視してより音声レベルの音声を無視できる。また、短い期間の撮影では、そのサムネイル画像に代表音声を付加するほどの必要が無い。閾値Ｔにより、一定以上に短い期間の撮影のサムネイル画像に代表音声を付加するのを防止できる。
【００２５】
ユーザの撮影開始の操作に応じて（Ｓ１１）、撮像ユニット１０による撮影画像と、マイク１４による音声が、上述の手順で、映像入力処理装置１２、映像圧縮装置１８、音声入力処理装置１６及び記録処理装置２０により、記録媒体２２に動画として記録される。
【００２６】
サムネイル生成装置２８は、映像入力処理装置１２の出力から撮影開始直後又は一定時間経過後の画像をサムネイル用に取り込む（Ｓ１２）。代表音声抽出装置２４は、音声入力処理装置１６の出力音声データを取り込んで、音声メモリ２６に一時保管し、同時に音声レベルのピーク値ｎを探索する（Ｓ１３）。代表音声抽出装置２４は、音声レベルのピーク値ｎが更新されると、新たなピークの位置を記憶する。
【００２７】
ユーザによる撮影終了の操作に応じて、記録媒体２２への動画と音声の記録が終了する。サムネイルに関しては、代表音声抽出装置２４が、動画記録の間に取り込まれた音声の音声レベルピーク値ｎが閾値ｆより大きいかどうか、そして、撮影期間が閾値Ｔ以上に長いかどうかを調べる（Ｓ１５）。
【００２８】
両条件を満たす場合（Ｓ１５）、代表音声抽出装置２４は、音声レベルがピークとなる時点を挟む一定期間Ｔｓの音声データを音声メモリ２６から抽出し、代表音声の音声データとしてサムネイル生成装置２８に印加する。音声レベルのピークが録画の最終時点である場合には、録画停止の前の期間Ｔｓの音声を代表音声とする。サムネイル生成装置２８は、先にステップＳ１２で取り込んだ生成したサムネイル画像データに、代表音声抽出装置２４からの代表音声の音声データを付加、例えば、埋め込む。これにより、代表音声付きのサムネイル画像データが生成され、記録処理装置２０により記録媒体２２に記録される（Ｓ１６）。
【００２９】
動画記録の間に取り込まれた音声の音声レベルピーク値ｎが閾値ｆ以下か、又は、撮影期間が閾値Ｔ未満の場合（Ｓ１５）、代表音声抽出装置２４は、音声無しを示すコマンドをサムネイル生成装置２８に印加する。サムネイル生成装置２８は、先にステップＳ１２で取り込んだ生成したサムネイル画像データを記録処理装置２０に印加し、記録処理装置２０は、音声無しのサムネイル画像データを記録媒体２２に記録する（Ｓ１７）。
【００３０】
サムネイル画像と代表音声があまりに時間的に離れているのが好ましく無い場合がありうる。そのような場合には、撮影終了（Ｓ１４）を待たずに、撮影開始の一定時間経過後に、ステップＳ１５，Ｓ１６，Ｓ１７の処理を実行すれば良い。
【００３１】
図４は、サムネイル画像の一覧から所望のサムネイル画像を選択又は指定するときの動作フローチャートを示す。図５は、サムネイル画像の一覧の表示例を示し、図６は、別の表示例を示す。図５では、代表音声が付加されているサムネイル画像には、符号６０，６２で示すように、音声のピーク値を示す数値、図示例では、１２０ｄＢと５０ｄＢが付加的に画面上に表示される。図６に示す例では、代表音声が付加されているサムネイル画像に、スピーカを描いたアイコン６４，６６が付加的に表示される。
【００３２】
サムネイル画像の一覧表示画面上で（Ｓ２０）、ユーザが、何れかのサムネイル画像を選択すると（Ｓ２１）、システム制御装置４４は、選択されたサムネイル画像に代表音声が付加されているか否かを調べる（Ｓ２２）。
【００３３】
代表音声が付加されている場合には（Ｓ２２）、システム制御装置４４は、サムネイル一覧生成装置４２に指示して、選択されたサムネイル画像に強調表示の枠を付加させると共に、選択されたサムネイル画像に付加された代表音声データを音声出力処理装置３４に出力させる。映像出力処理装置３６は、図５及び図６に例示するように、選択されたサムネイル画像の周囲に強調された枠を表示する。音声出力処理装置３４は、サムネイル一覧生成装置４２からの代表音声データをアナログ音声信号に変換して、スピーカ４０に印加する。このようにして、サムネイル画像データに付加された代表音声が再生出力される。
【００３４】
また、代表音声が付加されていない場合には（Ｓ２２）、システム制御装置４４は、サムネイル一覧生成装置４２に指示して、選択されたサムネイル画像に強調表示の枠を付加させる。
【００３５】
代表音声の再生については、ユーザの再生指示に応じて、音声再生するようにしてもよい。例えば、代表音声の存在を示す表記（図５では、音声ピークレベルの数値表示６０，６２、図６では、スピーカのアイコン６４，６６）をユーザが指示したときに、付加されている代表音声を再生出力する。
【００３６】
撮影開始後の１フレームからサムネイル画像を生成する実施例を説明したが、適当な間隔のフレーム、又は所定条件に合致する１又は複数のフレームからサムネイル画像を生成しても良い。その場合、隣接するサムネイル画像の間の音声について、上述した代表音声の抽出処理を実行し、時間的に先行するサムネイル画像にその代表音声を付加すればよい。
【００３７】
また、代表音声を決定するために、音声データを音声メモリに一時保管したが、記録媒体２２に記録された音声データを利用しても良い。即ち、記録媒体２４への記録終了後に記録媒体２４から音声データを読み出し、ステップＳ１５の条件に合致する音声ピークを挟む所定期間の音声データを代表音声として抽出し、この代表音声を、先に生成しておいたサムネイル画像データに付加してもよい。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施例の概略構成ブロック図である。
【図２】サムネイル画像に代表音声を付加する処理のフローチャートである。
【図３】撮影時間と音量の関係例を示すグラフである。
【図４】再生動作のフローチャートである。
【図５】サムネイル画像の一覧表示例である。
【図６】サムネイル画像の一覧表示の別の例である。
【符号の説明】
【００３９】
１０  撮像ユニット
１２  映像入力処理装置
１４  マイク
１６  音声入力処理装置
１８  映像圧縮装置
２０  記録処理装置
２２  記録媒体
２４  代表音声抽出装置
２６  音声メモリ
２８  サムネイル生成装置
３０  再生処理装置
３２  映像伸長装置
３４  音声出力処理装置
３６  映像出力処理装置
３８  表示装置
４０  スピーカ
４２  サムネイル一覧生成装置
４４  システム制御装置
４６  操作装置
４８  メモリ
５０  タイマ
【図１】
0004709070.tif 000002
【図２】
0004709070.tif 000003
【図３】
0004709070.tif 000004
【図４】
0004709070.tif 000005
【図５】
0004709070.tif 000006
【図６】
0004709070.tif 000007