(57)【要約】【課題】  本発明は、フレームの平均色に基づいてシーンの変わり目を検出し、効率の良い映像の頭出しを可能とする映像再生装置及び映像再生方法を提供する。【解決手段】  平均値算出部３１は、映像・音声復号部１４から復号化された映像信号を受信すると、設定時間Ｎに応じて、対象となるフレームの平均色を算出する（ステップＳＴ１１）。差分算出部３２は、フレーム情報記憶部３４から１つ前に格納した平均色情報を読み出し、差分を算出する。ポイント検出部３３は、差分が閾値Ｍ以上であるかを判定する(ステップＳＴ１４)。判定の結果、閾値Ｍ以上であると判定されると（ステップＳＴ１５のＹｅｓ）、ポイント検出部３３は、フレーム情報をフレーム情報記憶部３４に格納する (ステップＳＴ１６)。【選択図】  図５
2006237954.tif 000002
【特許請求の範囲】
【請求項１】
圧縮された映像信号を格納する映像格納手段と、この映像格納手段から読み出された  圧縮された映像信号に復号処理を施す復号手段と、この復号手段によって復号された映像信号を表示部に表示する映像再生装置において、
上記復号手段により復号化された映像信号に含まれる第１のフレームと、この第１のフレームから予め設定された所定時間後の第２のフレームの平均色をそれぞれ算出する平均色算出手段と、
この平均色算出手段によって算出された上記第１および第２のフレームの平均色の差分を算出する差分算出手段と、
この差分算出手段により算出された差分が予め設定された閾値を越えているかを判定する判定手段と、
この判定手段により閾値を越えると判定された上記第２のフレームに関する情報に基づいて、映像格納手段に格納された映像信号を再生するよう制御する制御手段と、
を有することを特徴とする映像再生装置。
【請求項２】
上記判定手段により閾値を越えると判定されたフレームに関する情報を格納する記憶手段を有することを特徴とする請求項１記載の映像再生装置。
【請求項３】
上記平均色算出手段における上記所定時間を変更する変更手段を有することを特徴とする請求項１記載の映像再生装置。
【請求項４】
上記差分算出手段における上記閾値を変更する変更手段を有することを特徴とする請求項１記載の映像再生装置。
【請求項５】
圧縮された映像信号を格納する映像格納手段と、この映像格納手段から読み出された  圧縮された映像信号に復号処理を施す復号手段と、この復号手段によって復号された映像信号を表示部に表示する映像再生装置における映像再生方法において、
上記復号手段により復号化された映像信号に含まれる第１のフレームの平均色を算出する第１の算出ステップと
上記復号手段により復号化された映像信号に含まれる上記第１のフレームから予め設定された所定時間後の第２のフレームの平均色を算出する第２の算出ステップと、
この第１及び第２の算出ステップにて算出された上記第１および第２のフレームの平均色の差分を算出するステップと、
この差分算出ステップにより算出された差分が予め設定された閾値を越えているかを判定するステップと、
この判定ステップにより閾値を越えると判定された上記第２のフレームに関する情報に基づいて、映像格納手段に格納された映像信号を再生するよう制御するステップと、
を有することを特徴とする映像再生方法。
【請求項６】
上記第２の算出ステップにおける上記所定時間を変更する変更ステップを有することを特徴とする請求項５記載の映像再生方法。
【請求項７】
上記差分算出ステップにおける上記閾値を変更する変更ステップを有することを特徴とする請求項５記載の映像再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像のシーンが切り替えられたポイントを検出する映像再生装置及び映像再生方法に関する。
【背景技術】
【０００２】
近年、情報処理技術の進歩に伴って、動画や音声をデジタル化して記録・再生するシステムが普及しつつある。デジタルデータは、情報が劣化することなく複製を作ることが可能なため編集に適している。又、デジタルデータは、再生する際にユーザが希望する箇所から容易に再生することが可能である。
【０００３】
そのため、動画や音声の再生や編集を効率よく行なうために、記録するデータを高速に検索・頭出しすることが求められている。そこで、フレームのブロック内の全画素の平均輝度と前フレームの平均輝度との差を求めることによりシーンの変わり目を検出し、記憶しておくことにより、映像の頭出しを可能とする技術が考えられている（例えば、特許文献１参照）。
【特許文献１】特開２００２−７７７８０公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置では、同一あるいは類似した輝度のフレームを識別することができない。即ち、従来の装置では、同一あるいは類似した輝度を持つシーンの変わり目を検出できない。その結果、本来シーンが変わっているにもかかわらず、シーンの変わり目として検出されず、ユーザが効率よく映像の頭出しすることができない恐れがある。
本発明は、以上の点に鑑みなされたもので、フレームの平均色に基づいてシーンの変わり目を検出し、効率の良い映像の頭出しを可能とする映像再生装置及び映像再生方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の映像再生装置は、圧縮された映像信号を格納する映像格納手段と、この映像格納手段から読み出された  圧縮された映像信号に復号処理を施す復号手段と、この復号手段によって復号された映像信号を表示部に表示する映像再生装置において、上記復号手段により復号化された映像信号に含まれる第１のフレームと、この第１のフレームから予め設定された所定時間後の第２のフレームの平均色をそれぞれ算出する平均色算出手段と、この平均色算出手段によって算出された上記第１および第２のフレームの平均色の差分を算出する差分算出手段と、この差分算出手段により算出された差分が予め設定された閾値を越えているかを判定する判定手段と、この判定手段により閾値を越えると判定された上記第２のフレームに関する情報に基づいて、映像格納手段に格納された映像信号を再生するよう制御する制御手段と、を有することを特徴とする。
【０００６】
上記目的を達成するために、本発明の映像再生方法は、圧縮された映像信号を格納する映像格納手段と、この映像格納手段から読み出された  圧縮された映像信号に復号処理を施す復号手段と、この復号手段によって復号された映像信号を表示部に表示する映像再生装置における映像再生方法において、上記復号手段により復号化された映像信号に含まれる第１のフレームの平均色を算出する第１の算出ステップと、上記復号手段により復号化された映像信号に含まれる上記第１のフレームから予め設定された所定時間後の第２のフレームの平均色を算出する第２の算出ステップと、この第１及び第２の算出ステップにて算出された上記第１および第２のフレームの平均色の差分を算出するステップと、この差分算出ステップにより算出された差分が予め設定された閾値を越えているかを判定するステップと、この判定ステップにより閾値を越えると判定された上記第２のフレームに関する情報に基づいて、映像格納手段に格納された映像信号を再生するよう制御するステップと、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、フレームの平均色に基づいてシーンの変わり目を検出し、効率の良い映像の頭出しを可能とする。
【発明を実施するための最良の形態】
【０００８】
以下、この発明の実施の形態について、図面を参照して詳細に説明する。図１は、本実施の形態に係る映像再生装置１の主要構成を示すブロック図である。
【０００９】
図１に示す映像再生装置１は、チューナ１１と、映像・音声符号化部１２と、ハードディスク部（以下、ＨＤＤと称す）１３と、映像・音声復号部１４と、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１５、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１６、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１７、リモコン送受信部１８、通信処理部１９および切替ポイント検出部２０等を有しており、夫々制御バスを介して接続されている。
【００１０】
映像再生装置１は、外部からチューナ１１を介して映像信号や音声信号を受信し、受信信号およびユーザによる指示に応じて、映像・音声符号化部１２、ハードディスク部１３あるいは映像・音声復号部１４へと供給する。映像・音声符号化部１２では、供給された映像・音声信号を符号化してＨＤＤ１３へと供給し、ＨＤＤ１３にて記録する。
【００１１】
映像・音声復号部１４は、ＨＤＤ１３から読み出された映像や音声に関する情報や、チューナ１１から入力された情報を復号化し、復号化された映像及び音声信号を、後段に接続されたＣＲＴ等の表示部２１やスピーカ部２２へと提供して再生する。また、映像・音声復号部１４は、復号化された映像及び音声信号を、切替ポイント検出部２０へと供給する。
【００１２】
切替ポイント検出部２０は、映像・音声復号部１４にて復号化された映像に関する情報を、後述するように、対象フレームの平均色を求め、その変化が大きいフレームをシーンの変わり目と判断し、以降の映像の検索や再生に使用することができるよう、フレームに関する情報を格納している。又、映像再生装置１は、通信処理部１９及びＬＡＮ２４を介して、内蔵するＨＤＤ１３に記録された映像信号や音声信号を他の録画再生機器と相互に送受信することができる。
【００１３】
ＣＰＵ１５は、録画再生機器全体の処理動作を制御するものである。ＲＯＭ１６は、ＣＰＵ１５によって実行されるプログラム等を格納している。ＲＡＭ１７は、ＣＰＵ１５が処理を行う際に作業用に利用する記憶部である。リモコン送受信部１８は、ユーザによって操作されるリモートコントローラ２３から送信される指示情報を受信して、制御バスを介してＣＰＵ１５へと通知する。
【００１４】
図２は、切替ポイント検出部２０の主要構成を示すブロック図である。図２に示す切替ポイント検出部２０は、平均値算出部３１と、差分算出部３２と、ポイント検出部３３と、フレーム情報記憶部３４を有している。
【００１５】
平均値算出部３１は、映像・音声復号部１４から復号化された映像信号を受信する。この映像信号は、ＲＧＢ色からなるフレーム形式で受信する。平均値算出部３１は、予め設定された時間間隔Ｎに基づき、対象となるフレームの平均色を算出し、フレーム情報記憶部３４に格納するとともに、差分算出部３２に平均色情報を供給する。平均色は、ＲＧＢ＝８ｂｉｔ、８ｂｉｔ、８ｂｉｔの値を０〜ＦＦｈの値に変換した値で表される。
【００１６】
差分算出部３２は、１つ前の平均色情報をフレーム情報記憶部３４から読み出し、平均値算出部３１から入力された平均色情報との差分を算出する。差分算出部３２は、ポイント検出部３３へ算出した差分情報を供給すると共に、差分情報とをフレーム情報記憶部３４に格納する。
【００１７】
ポイント検出部３３は、差分算出部３２からの差分情報と、予め設定された閾値Ｍとを比較する。ポイント検出部３３は、比較の結果、閾値Ｍ以上の場合には、シーンの変わり目を示す切替ポイントとして、フレーム情報記憶部３４にフレーム情報を格納する。
【００１８】
フレーム情報記憶部３４は、対象フレームの平均色情報と差分情報とを格納する。また、フレーム情報記憶部３４は、動画の場面（シーン）が変化したと判定された切替ポイントとして検出されたフレームに関するフレーム情報を記憶する。このフレーム情報とは、映像信号を格納しているＨＤＤ１３から映像信号を特定し、読み出すためにフレームを特定するための情報である。尚、切替ポイント検出部２０に設定されている時間Ｎと閾値Ｍは、ユーザにより任意に設定を変更することが可能となる。
【００１９】
このような構成により、本実施例の映像再生装置１は、図３に示すように、外部あるいはＨＤＤ１３から、例えば輝度信号（Ｙ）や色信号（Ｃ）からなる圧縮された画像情報を受信する。そして、この圧縮画像情報を映像・音声復号部１４にて復号化して、表示部にて表示するための色調（ＲＧＢ）からなる映像信号を切替ポイント検出部２０へと供給する。この復号化された画像情報は、例えば毎秒３０フレームで各フレームが３５２画素×２４０画素から構成され、各画素は２４ビット（ＲＧＢ＝８ｂｉｔ、８ｂｉｔ、８ｂｉｔ）で構成されている。
【００２０】
切替ポイント検出部２０では、入力されたＲＧＢ画像情報に基づき、予め設定されたＮ時間毎に、対象となるフレームの平均色を算出し、前回（１つ前）の対象フレームの平均色の差分を算出し、予め設定された閾値Ｍと比較して、シーンが変化したフレームを検出するようになっている。
【００２１】
図４は、ＲＧＢ画像情報の平均色の変動（推移）を示す図である。例えば、切替ポイント検出処理を実行する時間Ｎ＝５秒とし、差分の閾値Ｍ＝３０に設定されていたと仮定する。図４において、切替ポイント検出処理が実行されたフレームに対して（ａ）〜（ｌ）の記号を付与した。
【００２２】
図４に示すＲＧＢ画像情報の平均色においては、閾値Ｍ以上の差分が生じる箇所は、（ｃ）フレームと（ｄ）フレームの平均色と、（ｅ）フレームと（ｆ）フレームの平均色と、（ｇ）フレームと（ｈ）フレームの平均色と、（ｉ）フレームと（ｋ）フレームの平均色の４箇所である。したがって、切替ポイント検出部２０のポイント検出部３３は、シーン切替箇所として、（ｄ）フレーム、（ｆ）フレーム、（ｈ）フレームおよび（ｋ）フレームのフレーム情報をフレーム情報記憶部３４に格納することとなる。
【００２３】
次に、図５は、切替ポイント検出部２０における検索する動画の取込処理を示すフローチャート図である。
【００２４】
平均値算出部３１は、図５に示すように、映像・音声復号部１４から復号化された映像信号を受信すると、設定時間Ｎに応じて、対象となるフレームの平均色を算出する（ステップＳＴ１１）。そして、平均値算出部３１は、算出した平均色をフレーム情報記憶部３４に格納するとともに、差分算出部３２に平均色情報を供給する（ステップＳＴ１２）。
【００２５】
ＳＴ１２により平均色情報を入力すると、差分算出部３２は、フレーム情報記憶部３４から１つ前に格納した平均色情報を読み出す。そして、差分算出部３２は、平均値算出部３１から入力された平均色情報と、読み出した１つ前の平均色情報との差分を算出し、ポイント検出部３３へ算出した差分情報を供給する(ステップＳＴ１３)。ポイント検出部３３は、差分算出部３２からの差分情報と予め設定されている閾値Ｍと比較して、閾値Ｍ以上であるかを判定する(ステップＳＴ１４)。
【００２６】
ＳＴ１４の判定の結果、閾値Ｍを越えていないと判定されると（ステップＳＴ１５のＮｏ）、ポイント検出部３３は、予め設定された所定時間Ｎ秒後の対象フレームへと移動し、ＳＴ１１の処理へと進む（ステップＳＴ１６）。ＳＴ１４の判定の結果、閾値Ｍ以上であると判定されると（ステップＳＴ１５のＹｅｓ）、ポイント検出部３３は、フレーム情報をフレーム情報記憶部３４に格納する (ステップＳＴ１６)。
【００２７】
切替ポイント検出部２０では、検索対象の動画が終了していなければ（ステップＳＴ１８のＮｏ）、次の所定時間Ｎ秒後のフレームへと移動し、ＳＴ１１の処理へと進む（ステップＳＴ１６）。動画が終了ならば（ステップＳＴ１８のＹｅｓ）、一連の処理を終了する。
【００２８】
次に、図６は、映像再生装置１における映像の検索処理を示すフローチャート図である。図６に示すように、ＣＰＵ１５は、リモコン送受信部１８を介してユーザからの指示を受信すると、フレーム情報記憶部３４から切替ポイントとしてのフレーム情報を読み出す（ステップＳＴ２１）。そして、ＣＰＵ１５は、読み出したフレーム情報に基づき、ハードディスク部から対応する映像を読み出し（ステップＳＴ２２）、表示部に再生表示する（ステップＳＴ２３）。
【００２９】
次の、リモコン送受信部１８を介してユーザから次のポイントへのスキップが指示されると(ステップＳＴ２４のＹｅｓ)、フレーム情報記憶部３４から次の切替ポイントとしてのフレーム情報を読み出す（ステップＳＴ２５）。また、映像信号が終了することなく、次のポイントへのスキップ指示がなければ（ＳＴ２４のＮｏ、ＳＴ２６のＮｏ）、ＳＴ２３へと進み、映像の再生表示を続ける。映像信号が終了ならば（ＳＴ２６のＹｅｓ）、一連の処理を終了する。
【００３０】
次に、図７は、切替ポイント検出部２０に予め設定されている設定値（時間Ｎおよび閾値Ｍ）の変更処理に関するフローチャート図である。図７に示すように、ＣＰＵ１５は、リモコン送受信部１８を介してユーザからの指示を受信すると、図示せぬ設定値の変更画面を表示部２１に表示する（ステップＳＴ３１）。そして、ＳＴ３１の変更画面に対応して、ＣＰＵ１５は、リモコン送受信部１８を介してユーザからの入力完了指示を受信すると（ステップＳＴ３２のＹｅｓ）、入力情報に基づき切替ポイント検出部２０に設定されている設定値（時間Ｎおよび閾値Ｍ）を変更する（ステップＳＴ３３）。
【００３１】
このように、圧縮された映像信号を復号化処理した後のＲＧＢ画像情報に対し、対象フレームの平均色を求め、その変化が大きいフレームをシーンの変わり目と判断し、判断されたフレームに関する情報を格納している。そして、この格納されたフレーム情報に基づいて、映像信号を検索・再生することができる。
【００３２】
このように、復号後の画像情報のフレームの平均色を比較することによりシーンの切れ目を判断することにより、録画した映像の中から、視聴したいシーンや編集したいシーンを効率の良い映像の検索・頭出し・再生を可能とする。
【００３３】
また、復号後の画像情報のフレームの平均色を算出する方法は、ソフトウェア処理や表示コントローラに備わっている輝度平均値算出回路にて容易に実施することが可能である。したがって、専用の回路を有することなく、汎用機能で実現が可能となる。
【図面の簡単な説明】
【００３４】
【図１】本発明に係る映像再生装置１の主要構成を示すブロック図。
【図２】切替ポイント検出部２０の主要構成を示すブロック図。
【図３】切替ポイント検出処理の対象となるフレームについて説明する図。
【図４】ＲＧＢ画像情報の平均色の変動を示す図。
【図５】切替ポイント検出部２０における検索動作の取込処理を示すフローチャート図。
【図６】映像再生装置１における映像の検索処理を示すフローチャート図。
【図７】切替ポイント検出部２０の設定値の変更処理に関するフローチャート図。
【符号の説明】
【００３５】
１    映像再生装置
１４    映像・音声復号部
１５    ＣＰＵ
２０    切替ポイント検出部
３１    平均値算出部
３２    差分算出部
３３    ポイント検出部
３４    フレーム情報記憶部
【図１】
2006237954.tif 000003
【図２】
2006237954.tif 000004
【図３】
2006237954.tif 000005
【図４】
2006237954.tif 000006
【図５】
2006237954.tif 000007
【図６】
2006237954.tif 000008
【図７】
2006237954.tif 000009