(57)【要約】【課題】利用者自らが撮影した映像コンテンツの重要なシーンを抽出する。  【解決手段】発光検出部１２は、入力映像に映りこんでいるカメラのフラッシュの発光箇所の入力映像における相対時刻をフラッシュの発光時刻として検出し、ハイライト選択部１４は、発光検出部１２で検出した各発光時刻から、当該発光時刻以前の所定の時間内に含まれる発光時刻の数に基づいて、所定の数の発光時刻をハイライトが存在する時刻として選択し、選択した時刻を含む区間をハイライト区間として選択する。【選択図】図１
2008042270.tif 000002
【特許請求の範囲】
【請求項１】
映像中に映りこんでいるカメラのフラッシュの発光に基づいて前記映像中の重要シーンとなる部分をハイライトとして抽出するハイライト抽出装置であって、
入力映像の各フレームについてフラッシュの発光の有無を検出し、フラッシュの発光有りと検出されたフレームの前記入力映像における相対時刻をフラッシュの発光時刻として検出する発光検出手段と、
この発光検出手段で検出した前記発光時刻を格納する記憶手段と、
この記憶手段に格納された前記発光時刻のそれぞれについて、当該発光時刻以前の所定の時間内に含まれる発光時刻の数を前記各発光時刻の得点として算出し、当該発光時刻が、当該発光時刻の得点より高い得点を有する発光時刻以前の前記所定の時間内に含まれるときは、当該発光時刻の得点を取り消した後、得点の高い順から所定の数の前記発光時刻をハイライトが存在する時刻として選択し、選択した前記時刻を含む区間を前記入力映像におけるハイライト区間として選択するハイライト選択手段と
を備えることを特徴とするハイライト抽出装置。
【請求項２】
映像中に映りこんでいるカメラのフラッシュの発光に基づいて前記映像中の重要シーンとなる部分をハイライトとして抽出するハイライト抽出装置であって、
入力映像の各フレームについて輝度ヒストグラムを生成し、当該フレームの輝度ヒストグラムと当該フレームから第１の所定数前のフレームの輝度ヒストグラムとの相関を第１の相関として算出し、当該フレームの輝度ヒストグラムと当該フレームから前記第１の所定数よりも大きな第２の所定数前のフレームの輝度ヒストグラムとの相関を第２の相関として算出し、前記第１の相関が所定の第１の閾値より小さく、かつ前記第２の相関が所定の第２の閾値より大きい場合に、当該フレームの前記入力映像における相対時刻をフラッシュの発光時刻として検出する動作をフレーム毎に行う発光検出手段と、
この発光検出手段で検出した前記発光時刻を格納する記憶手段と、
この記憶手段に格納された前記発光時刻のそれぞれについて、当該発光時刻以前の所定の時間内に含まれる発光時刻の数を前記各発光時刻の得点として算出し、当該発光時刻が、当該発光時刻の得点より高い得点を有する発光時刻以前の前記所定の時間内に含まれるときは、当該発光時刻の得点を取り消した後、得点の高い順から所定の数の前記発光時刻をハイライトが存在する時刻として選択し、選択した前記時刻を含む区間を前記入力映像におけるハイライト区間として選択するハイライト選択手段と
を備えることを特徴とするハイライト抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオコンテンツを短時間で視聴できるようにし、あるいはビデオコンテンツの内容を容易に把握できるようにするために、自動的にビデオコンテンツの一部の区間をハイライトとして選択するハイライト抽出装置に関する。
【背景技術】
【０００２】
近年、ＤＶＤ（Digital Versatile Disc）、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）、半導体メモリなどの大容量ディジタルストレージの普及により、各家庭に保存、管理されているビデオコンテンツの量は加速度的に増大している。これらのストレージはランダムアクセスが可能であり、指定した箇所から瞬時に再生を開始できるという点で、従来のテープメディアに対して大幅に利便性が向上している。
【０００３】
したがって、長時間にわたる一連の映像中から見たい部分だけを再生し、残りをスキップするような視聴方法が容易に実現できる。しかし一方、利用者が見たいシーンがどこに記録されているのかを把握していない場合は、こういったストレージのランダムアクセス性能はメリットとならない。
【０００４】
そこで、利用者がまだ見ていないコンテンツに対して、音声情報や画像情報を解析することによって、あらかじめ見所を抽出しておく技術が特許文献１に開示されている。特許文献１に開示された技術では、映像ストリーム中に発生した事象を定義したインデックスに予め設定された数値をルールファイルとして記憶しており、入力した映像情報中のインデックスに基づいてルールファイルから該当する数値を入力し、インデックスおよび数値に基づいて、映像情報の内容を数値の変化で表現した数値映像情報を生成し、生成した数値映像情報の数値の変化を用いて、映像情報からダイジェスト映像を抽出することで、ダイジェストの生成を実現している。
【０００５】
これによって、利用者は、放送されているスポーツの中継番組やニュース番組に対して、見たいシーンをすぐに探し当てることができ、また、長時間の番組を短時間で視聴することができる。
【特許文献１】特許第３１７６８９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
一方、ＨＤＤ等のランダムアクセス可能な大容量ディジタルストレージに記録された、利用者自らがビデオカメラ等で撮影したコンテンツ（以降、プライベートコンテンツと呼ぶ）は、放送番組とは異なり、番組構成の様式、映像や音声の質、撮影環境などが事前に仮定できない。また、無駄な映像やミスショットが含まれている可能性が高く、ストーリー性に欠ける場合が多い。特に、結婚式や発表会といったイベントを撮影した場合、１カットが長くなることが多く、撮影した映像を後で視聴すると、撮影時間だけが長く、盛り上がりに欠ける映像になることが多い。
【０００７】
このため、記録したプライベートコンテンツを視聴する際に、利用者が目的の重要なシーンにすぐにたどり着くことは難しく、ランダムアクセス可能なメディアの利点を生かすことができなかった。そこで、プライベートコンテンツの重要なシーンを抽出できるようにするための技術の開発が望まれていた。
【０００８】
本発明は上記に鑑みてなされたもので、プライベートコンテンツの重要なシーンを抽出することができるハイライト抽出装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明のハイライト抽出装置は、映像中に映りこんでいるカメラのフラッシュの発光に基づいて前記映像中の重要シーンとなる部分をハイライトとして抽出するハイライト抽出装置であって、入力映像の各フレームについてフラッシュの発光の有無を検出し、フラッシュの発光有りと検出されたフレームの前記入力映像における相対時刻をフラッシュの発光時刻として検出する発光検出手段と、この発光検出手段で検出した前記発光時刻を格納する記憶手段と、この記憶手段に格納された前記発光時刻のそれぞれについて、当該発光時刻以前の所定の時間内に含まれる発光時刻の数を前記各発光時刻の得点として算出し、当該発光時刻が、当該発光時刻の得点より高い得点を有する発光時刻以前の前記所定の時間内に含まれるときは、当該発光時刻の得点を取り消した後、得点の高い順から所定の数の前記発光時刻をハイライトが存在する時刻として選択し、選択した前記時刻を含む区間を前記入力映像におけるハイライト区間として選択するハイライト選択手段とを備えることを特徴とする。
【００１０】
また、本発明のハイライト抽出装置は、映像中に映りこんでいるカメラのフラッシュの発光に基づいて前記映像中の重要シーンとなる部分をハイライトとして抽出するハイライト抽出装置であって、入力映像の各フレームについて輝度ヒストグラムを生成し、当該フレームの輝度ヒストグラムと当該フレームから第１の所定数前のフレームの輝度ヒストグラムとの相関を第１の相関として算出し、当該フレームの輝度ヒストグラムと当該フレームから前記第１の所定数よりも大きな第２の所定数前のフレームの輝度ヒストグラムとの相関を第２の相関として算出し、前記第１の相関が所定の第１の閾値より小さく、かつ前記第２の相関が所定の第２の閾値より大きい場合に、当該フレームの前記入力映像における相対時刻をフラッシュの発光時刻として検出する動作をフレーム毎に行う発光検出手段と、この発光検出手段で検出した前記発光時刻を格納する記憶手段と、この記憶手段に格納された前記発光時刻のそれぞれについて、当該発光時刻以前の所定の時間内に含まれる発光時刻の数を前記各発光時刻の得点として算出し、当該発光時刻が、当該発光時刻の得点より高い得点を有する発光時刻以前の前記所定の時間内に含まれるときは、当該発光時刻の得点を取り消した後、得点の高い順から所定の数の前記発光時刻をハイライトが存在する時刻として選択し、選択した前記時刻を含む区間を前記入力映像におけるハイライト区間として選択するハイライト選択手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明のハイライト抽出装置は、入力映像に映りこんでいるカメラのフラッシュの発光箇所の入力映像における相対時刻をフラッシュの発光時刻として検出し、検出した各発光時刻から、当該発光時刻以前の所定の時間内に含まれる発光時刻の数に基づいて、所定の数の発光時刻をハイライトが存在する時刻として選択し、選択した時刻を含む区間をハイライト区間として選択するので、プライベートコンテンツの重要なシーンをハイライトとして抽出することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明のハイライト抽出装置を実施するための最良の形態について、図面を参照して説明する。本発明では、プライベートコンテンツにおいて、カメラのフラッシュが頻繁に発光しているシーンは重要なシーンであると仮定する。
【００１３】
図１は本発明の一実施の形態に係るハイライト抽出装置の構成を示すブロック図である。図１に示すように本実施の形態のハイライト抽出装置１は、入力映像を格納する映像記憶部１１と、入力映像に映りこんでいるフラッシュの発光箇所の入力映像における相対時刻をフラッシュの発光時刻として検出する発光検出部１２と、発光検出部１２で検出した発光時刻を格納する記憶部１３と、記憶部１３に格納された発光時刻に基づいて、入力映像におけるハイライト区間を選択するハイライト選択部１４とを備える。
【００１４】
発光検出部１２は、要素数４のリングバッファからなるバッファ１２ａと、発光検出部１２の演算および制御を行う演算処理部１２ｂとを備える。ハイライト選択部１４は、各種情報を格納するメモリ１４ａと、ハイライト選択部１４の演算および制御を行う演算処理部１４ｂとを備える。
【００１５】
次に、本実施の形態に係るハイライト抽出装置の動作を説明する。
【００１６】
映像記憶部１１は、外部からの入力映像を格納する。入力映像は静止画の連続で構成される動画像である。ＭＰＥＧなどの圧縮符号化技術が適用された映像の場合は、復号後の映像を入力映像として受け取る。
【００１７】
そして、発光検出部１２は、映像記憶部１１から入力映像を受け取り、この入力映像を構成する静止画を解析し、フラッシュの発光時刻を検出する。以下、発光検出部１２においてフラッシュの発光時刻を検出する手順について、図２を参照して説明する。図２は発光検出部１２においてフラッシュの発光時刻を検出する手順を示すフローチャートである。
【００１８】
まず、ステップＳ１１０において、映像記憶部１１から新しいフレームを受け取ると、ステップＳ１２０では、発光検出部１２の演算処理部１２ｂは、受け取ったフレームに対して輝度のヒストグラムを作成する。輝度はＹＵＶ表色系におけるＹの値に相当する。ＲＧＢ表色系からは以下の（数式１）で変換可能である。
【００１９】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ    （数式１）
ヒストグラムは輝度を任意の幅で量子化し、入力映像の各画素の輝度がどの階級に属しているかを算出し、該当する階級の度数を足し上げていくことによって作成する。画像が十分大きい場合は、処理時間の短縮のために、画像を適当な間隔でサブサンプリングするとよい。輝度のヒストグラムの一例を図３に示す。図３に示す輝度のヒストグラムにおいて、ｘ軸は６４の階級を含み、ｙ軸は各階級に入る画素（ピクセル）の数である。
【００２０】
次に、ステップＳ１３０では、演算処理部１２ｂは、作成したヒストグラムをバッファ１２ａに格納する。バッファ１２ａは要素数４のリングバッファになっており、各要素にそれぞれヒストグラムが格納できる。最新のヒストグラムは、リングバッファ中の最も古いバッファを上書きするかたちで格納される。
【００２１】
そして、ステップＳ１４０では、演算処理部１２ｂは、バッファ１２ａ内の最新のヒストグラムと、その１フレーム前のヒストグラムとの相関を算出する。相関は以下の（数式２）で求められる。
【数１】
2008042270.tif 000003
【００２２】
ここで、Ｒは相関、Ｎはヒストグラムの階級の総数、ａ（Ｉ），ｂ（Ｉ）は各ヒストグラムにおける階級Ｉの度数である。
【００２３】
次に、ステップＳ１５０では、演算処理部１２ｂは、ステップＳ１４０で算出した相関が第１の閾値Ａ１より小さいかどうかを判断する。相関が第１の閾値Ａ１以上の場合（ステップＳ１５０：ＮＯ）、この２枚のフレームは映像的に連続していると判断できる。カメラのフラッシュの光が映像中に映りこんだ場合、映像中の輝度分布が急激に変化するため、相関は第１の閾値Ａ１を下回る。また、フラッシュが消えて通常の画像に戻る時点でも、相関は第１の閾値Ａ１を下回る。
【００２４】
したがって、相関が第１の閾値Ａ１以上の場合（ステップＳ１５０：ＮＯ）は、フラッシュは検出できなかったとして、ステップＳ１９０に進む。相関が第１の閾値Ａ１より小さい場合（ステップＳ１５０：ＹＥＳ）は、フラッシュの可能性があるため、ステップＳ１６０に進む。なお、第１の閾値Ａ１は実験的に最適なものを求める。
【００２５】
そして、ステップＳ１６０では、演算処理部１２ｂは、最新のヒストグラムと、３フレーム前のヒストグラムとの相関を算出する。次いで、ステップＳ１７０では、演算処理部１２ｂは、ステップＳ１６０で得られた相関と第２の閾値Ａ２とを比較する。
【００２６】
フラッシュが映像に映りこんだ場合、１〜２フレームのあいだ輝度分布が大きく変化した後に、それ以前の輝度分布に戻ることが考えられる。したがって、１フレーム前の輝度のヒストグラムとの相関が小さく、３フレーム前の輝度のヒストグラムとの相関が大きいフレームは、直前のフレームでフラッシュが映りこんでいることが考えられる。
【００２７】
したがって、ステップＳ１６０で算出した相関が第２の閾値Ａ２より大きい場合（ステップＳ１７０：ＹＥＳ）は、直前のフレームにフラッシュが映りこんでいたと判断し、ステップＳ１８０において、演算処理部１２ｂは、その時刻を発光時刻として検出し、記憶部１３に記憶する。ステップＳ１６０で算出した相関が第２の閾値Ａ２以下の場合（ステップＳ１７０：ＮＯ）は、フラッシュは検出できなかったとして、ステップＳ１９０に進む。
【００２８】
ここで、時刻は、装置全体にわたって共通のタイムコードを用いる。タイムコードとしては、秒、ミリ秒、フレーム数等が考えられる。第２の閾値Ａ２は、第１の閾値Ａ１と同様に、実験的に最適値を求める。
【００２９】
ステップＳ１９０では、演算処理部１２ｂは、入力映像の全フレームに対する処理を終えたかどうかを判断し、終えた場合（ステップＳ１９０：ＹＥＳ）は発光時刻検出処理を終了する。終えていない場合（ステップＳ１９０：ＮＯ）はステップＳ１１０に戻り、以降の処理を繰り返す。
【００３０】
記憶部１３は、図２に示すフローチャートのステップＳ１８０において発光検出部１２で検出された発光時刻を保持する。時刻は上述のタイムコードを用い、配列として保持する。記憶部１３としては、半導体メモリを用いてもよいし、ＨＤＤを用いてもよい。また、映像記憶部１１と同一のアドレス空間の一部を用いてもよいし、別のアドレス空間を用意してもよい。
【００３１】
そして、ハイライト選択部１４は、記憶部１３によって保持されている発光時刻に基づいて、ハイライト区間を選択する。以下、ハイライト選択部１４においてハイライト区間を選択する手順について、図４を参照して説明する。図４はハイライト選択部１４においてハイライト区間を選択する手順を示すフローチャートである。
【００３２】
発光検出部１２で検出された発光時刻は、記憶部１３において、配列ｌｉｓｔ［］に格納されている。まず、ステップＳ２１０では、演算処理部１４ｂは、カウンタ変数ｉ，ｊの初期化を行う。カウンタ変数ｉの初期値は、ｌｉｓｔ［ｉ］≧ｎである最小のｉとする。ここで、ｎは任意の自然数、または実数で、使用しているタイムコードに応じてミリ秒、秒、あるいはフレーム数等を表す。以降、説明のためにタイムコードは秒であると仮定する。また、カウンタ変数ｊの初期値は０とする。
【００３３】
次に、ステップＳ２２０では、演算処理部１４ｂは、フラッシュを検出した各発光時刻に対して得点を与え、この得点を配列としてメモリ１４ａに格納する。メモリ１４ａは、得点を配列ｐｏｉｎｔ［］に格納し、ｌｉｓｔ［ｉ］の時刻に対応する得点はｐｏｉｎｔ［ｉ］に格納する。ここで、得点は、得点を与える発光時刻の以前ｎ秒間にフラッシュを検出した回数である。
【００３４】
続いて、ステップＳ２３０では、演算処理部１４ｂは、カウンタ変数ｉを１だけ加算する。そして、ステップＳ２４０では、演算処理部１４ｂは、カウンタ変数ｉが配列ｌｉｓｔ［］の最後の要素まで達しているかどうかを判断する。最後の要素まで達していない場合（ステップＳ２４０：ＹＥＳ）は、ステップＳ２５０に進み、最後の要素まで達している場合（ステップＳ２４０：ＮＯ）は、ステップＳ２６０に進む。
【００３５】
ステップＳ２５０では、演算処理部１４ｂは、カウンタ変数ｊの更新を行う。カウンタ変数ｊは、ｌｉｓｔ［ｊ］がｌｉｓｔ［ｉ］−ｎ以上となる最も小さなｊとする。その後、ステップＳ２２０に戻り、以降の処理を繰り返す。
【００３６】
フラッシュを検出したすべての発光時刻に得点がつくと、ステップＳ２６０において、演算処理部１４ｂは、得点を格納した配列ｐｏｉｎｔ［］を降順にソートする。また、演算処理部１４ｂは、配列ｐｏｉｎｔ［］の各要素がそれぞれどの時刻のものなのかを表す配列ｌｉｎｋ［］を生成し、これをメモリ１４ａに格納する。例えば、時刻ｌｉｓｔ［ｐ］における得点がｐｏｉｎｔ［ｑ］だった場合、ｐ＝ｌｉｎｋ［ｑ］となる。
【００３７】
次いで、ステップＳ２７０では、演算処理部１４ｂは、重複する複数の発光時刻を統合する。ある得点ｐｏｉｎｔ［ｊ］を有する時刻ｌｉｓｔ［ｌｉｎｋ［ｊ］］が、ｐｏｉｎｔ［ｊ］より高い得点ｐｏｉｎｔ［ｉ］（すなわちｊ＞ｉ）を有する時刻ｌｉｓｔ［ｌｉｎｋ［ｉ］］とｌｉｓｔ［ｌｉｎｋ［ｉ］］−ｎの間に含まれる場合、ｐｏｉｎｔ［ｊ］＝０とする。
【００３８】
次いで、ステップＳ２８０では、演算処理部１４ｂは、得点の高い順に、配列ｌｉｎｋ［］の先頭から順に時刻ｌｉｓｔ［ｌｉｎｋ［ｋ］］（０≦ｋ＜ｍ）を取得し、ハイライトが存在する時刻とする。ここでｍは任意の自然数であり、一連の映像中から取得するハイライトの数を表す。
【００３９】
最後に、ステップＳ２９０では、演算処理部１４ｂは、ステップＳ２８０で取り出した各ハイライトの時刻を含むハイライト区間を生成するために、各ハイライトに対応する始点と終点とを決定する。始点と終点は、単純にハイライトが存在する時刻の前後の一定時間、としてもよいし、ハイライトが存在する時刻に最も近い映像のカット点を検索して、そこを始点や終点にしてもよい。
【００４０】
そして、ハイライト選択部１４の演算処理部１４ｂは、各ハイライトに対応する始点と終点とを決定すると、その結果を外部の再生制御装置２に出力する。再生制御装置２では、ハイライト選択部１４からの出力に基づいて、入力映像中のハイライトの映像を再生する。
【００４１】
このように本実施の形態によれば、入力映像に映りこんでいるカメラのフラッシュの発光箇所の入力映像における相対時刻をフラッシュの発光時刻として検出し、検出した各発光時刻から、当該発光時刻以前の所定の時間内に含まれる発光時刻の数に基づいて、所定の数の発光時刻をハイライトが存在する時刻として選択し、選択した時刻を含む区間をハイライト区間として選択するので、利用者が自らビデオカメラなどで撮影したプライベートコンテンツに対しても、重要なシーンをハイライトとして抽出することが可能になる。これにより、例えば、結婚式や発表会などのイベントを撮影したコンテンツにおいて、イベントが盛り上がるシーンにすばやくアクセスして再生することや、プライベートコンテンツを要約視聴することが可能となる。
【００４２】
本発明は、カメラのフラッシュが頻繁に発光しているシーンは重要なシーンであるという仮定を置くことにより、単純な処理でプライベートコンテンツのハイライト検出を可能にしている。顔認識や音声認識といった複雑な処理を必要としないため、高い演算能力が見込めないＤＶＲ（Digital Video Recorder）やビデオカメラなどの組み込み機器への適用が可能である。
【００４３】
以下に、本発明をＤＶＲおよびビデオカメラに適用した実施例について説明する。
【００４４】
（実施例１）
図５は本発明を適用したＤＶＲの構成を示すブロック図である。図５に示すようにＤＶＲ３０は、外部機器との入出力を仲介するインターフェース３１と、映像の圧縮符号化および符号化データの復号を行うエンコード・デコード回路３２と、エンコード・デコード回路３２で生成された符号化データを格納するＨＤＤ３３と、利用者の操作を受け取り、結果を出力するユーザインターフェース３４と、装置各部を制御する制御部３５とを備える。
【００４５】
制御部３５はＣＰＵ（中央演算処理装置）３５ａとメモリ３５ｂとを備える。ＣＰＵ３５ａは、メモリ３５ｂに格納されているプログラムにしたがって、図２のフローチャートに示した発光時刻検出処理、および図４のフローチャートに示したハイライト選択処理を実行する。また、ＤＶＲ３０の外部に、インターフェース３１を介して、外部ストレージ４１とテレビモニタ４２とが接続されている。
【００４６】
このような構成のＤＶＲ３０において、外部ストレージ４１として家庭用のビデオカメラが接続されたとする。ＣＰＵ３５ａの制御の下、ビデオカメラで再生された映像はインターフェース３１を介してエンコード・デコード回路３２に入力され、ここで圧縮符号化処理によって符号化データに変換され、生成された符号化データはＨＤＤ３３に格納される。
【００４７】
そして、ＣＰＵ３５ａは、発光時刻検出処理のプログラムに従い、エンコード・デコード回路３２、またはＨＤＤ３３から映像を読み出し、図２のフローチャートに示した発光時刻検出処理を実行し、検出した発光時刻をＨＤＤ３３に格納する。
【００４８】
利用者がユーザインターフェース３４を介してハイライト区間の再生を指示すると、ＣＰＵ３５ａは、ＨＤＤ３３から発光時刻を読み出し、ハイライト選択処理のプログラムに従い、図４のフローチャートに示したハイライト選択処理を実行し、再生するハイライト区間を決定する。
【００４９】
そして、決定したハイライト区間に基づいて、ＣＰＵ３５ａは、再生する区間の符号化された映像データをＨＤＤ３３から読み出し、読み出した符号化データを復号し、復号された映像を、インターフェース３１を介して出力するようにエンコード・デコード回路３２を制御する。出力された映像は、ＤＶＲ３０の外部に接続されたテレビモニタ４２によって表示される。
【００５０】
（実施例２）
図６は本発明を適用したＨＤＤ搭載の家庭用ビデオカメラの構成を示すブロック図である。図６に示すようにビデオカメラ５０は、撮像素子５１と、撮像素子５１を駆動する撮像素子ドライバ回路５２と、映像の圧縮符号化および符号化データの復号を行うエンコード・デコード回路５３と、エンコード・デコード回路５３で生成された符号化データを格納するＨＤＤ５４と、映像を表示する液晶ディスプレイ５５と、液晶ディスプレイ５５を駆動する液晶ドライバ回路５６と、利用者の操作を受け取り、結果を出力するユーザインターフェース５７と、装置各部を制御する制御部５８とを備える。
【００５１】
制御部５８はＣＰＵ５８ａとメモリ５８ｂとを備える。ＣＰＵ５８ａは、メモリ５８ｂに格納されているプログラムにしたがって、図２のフローチャートに示した発光時刻検出処理、および図４のフローチャートに示したハイライト選択処理を実行する。
【００５２】
このような構成のビデオカメラ５０において、ＣＰＵ５８ａの制御の下、撮像素子５１によって撮像された映像は、撮像素子ドライバ回路５２を介して制御部５８に読み込まれる。映像はエンコード・デコード回路５３で圧縮符号化された後、生成された符号化データはＨＤＤ５４に格納される。
【００５３】
それと同時に、ＣＰＵ５８ａは、発光時刻検出処理のプログラムに従い、エンコード・デコード回路５３、またはＨＤＤ５４から映像を読み出し、図２のフローチャートに示した発光検出処理を実行し、検出した発光時刻をＨＤＤ５４に格納する。
【００５４】
利用者がユーザインターフェース５７を介してハイライト区間の再生を指示すると、ＣＰＵ５８ａは、ＨＤＤ５４から発光時刻を読み出し、ハイライト選択処理のプログラムに従い、図４のフローチャートに示したハイライト選択処理を実行し、再生するハイライト区間を決定する。
【００５５】
そして、決定したハイライト区間に基づいて、ＣＰＵ５８ａは、再生する区間の符号化された映像データをＨＤＤ５４から読み出し、読み出した符号化データを復号し、復号された映像を液晶ドライバ回路５６に出力するようにエンコード・デコード回路５３を制御する。その後、ＣＰＵ５８ａは、液晶ディスプレイ５５にハイライト区間の映像を表示するように液晶ドライバ回路５６を制御する。
【００５６】
なお、実施例２ではＨＤＤに記録された映像情報を解析する例を示したが、記録媒体は光ディスク、あるいは半導体メモリでもよい。また、ネットワークに接続された媒体であれば同様の方法が適用できるので、通信を用いた映像コンテンツサービスにも適用することが可能である。
【図面の簡単な説明】
【００５７】
【図１】本発明の一実施の形態に係るハイライト抽出装置の構成を示すブロック図である。
【図２】フラッシュの発光時刻を検出する手順を示すフローチャートである。
【図３】輝度のヒストグラムの一例を示す図である。
【図４】ハイライト区間を選択する手順を示すフローチャートである。
【図５】本発明を適用したＤＶＲの構成を示すブロック図である。
【図６】本発明を適用したビデオカメラの構成を示すブロック図である。
【符号の説明】
【００５８】
１  ハイライト抽出装置
１１  映像記憶部
１２  発光検出部
１２ａ  バッファ
１２ｂ  演算処理部
１３  記憶部
１４  ハイライト選択部
１４ａ  メモリ
１４ｂ  演算処理部
３０  ＤＶＲ
３１  インターフェース
３２  エンコード・デコード回路
３３  ＨＤＤ
３４  ユーザインターフェース
３５  制御部
３５ａ  ＣＰＵ
３５ｂ  メモリ
４１  外部ストレージ
４２  テレビモニタ
５０  ビデオカメラ
５１  撮像素子
５２  撮像素子ドライバ回路
５３  エンコード・デコード回路
５４  ＨＤＤ
５５  液晶ディスプレイ
５６  液晶ドライバ回路
５７  ユーザインターフェース
５８  制御部
５８ａ  ＣＰＵ
５８ｂ  メモリ
【図１】
2008042270.tif 000004
【図２】
2008042270.tif 000005
【図３】
2008042270.tif 000006
【図４】
2008042270.tif 000007
【図５】
2008042270.tif 000008
【図６】
2008042270.tif 000009