(57)【要約】【課題】動画像に施されている様々な種類のフェード効果を迅速に検出するフェード効果検出装置及びフェード効果検出方法を提供する。【解決手段】動画像を構成するフレームの輝度情報または輝度情報の差分値に基づき前記動画像におけるフェード効果を検出するフェード効果検出装置（100）は、動画像に関して時間的に連続するフレーム間の輝度情報の差分値が所定のフレーム数連続して所定範囲内にある場合、当該連続するフレーム群をフェード効果に係るフレーム群として検出するフレーム群検出部（127）、フェード効果に係るフレーム群の一部の輝度情報又は輝度情報の差分値に基づき、フェード効果に係るフレーム群が検出された以降の動画像におけるフェード効果の開始を検出するフェード効果検出部（128）を備える。【選択図】図１
2010258786.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成するフレームの輝度情報または輝度情報の差分値に基づき前記動画像におけるフェード効果を検出するフェード効果検出装置であって、
前記動画像に関して時間的に連続するフレーム間の輝度情報の差分値が所定のフレーム数連続して所定範囲内にある場合、当該連続するフレーム群をフェード効果に係るフレーム群として検出するフレーム群検出部と、
前記フレーム群検出部により検出された前記フェード効果に係る前記フレーム群の一部の輝度情報又は輝度情報の差分値に基づき、前記フェード効果に係る前記フレーム群が検出された以降の前記動画像における前記フェード効果の開始を検出するフェード効果検出部と、
を備えることを特徴とするフェード効果検出装置。
【請求項２】
請求項１に記載のフェード効果検出装置において、
前記フェード効果検出部は、
前記フレーム群検出部により検出される前記フェード効果に係る前記フレーム群のうち、時間的に先頭のフレームから所定数のフレームの輝度情報の遷移を基準とし、前記動画像において時間的に連続するフレームの輝度情報の遷移が前記基準に従う場合、前記動画像におけるフェード効果の開始とする、
ことを特徴とするフェード効果検出装置。
【請求項３】
請求項１に記載のフェード効果検出装置において、
前記フェード効果検出部は、
前記フレーム群検出部により検出される前記フェード効果に係る前記フレーム群のうち、時間的に先頭のフレームから所定数のフレームの輝度情報の差分値の遷移を基準とし、前記動画像において時間的に連続するフレーム間の輝度情報の差分値の遷移が前記基準に従う場合、前記動画像におけるフェード効果の開始とする、
ことを特徴とするフェード効果検出装置。
【請求項４】
請求項１〜３のいずれか一項に記載のフェード効果検出装置において、
前記動画像に対応する情報に紐付けて前記基準を格納する記憶部をさらに有し、
前記フェード効果検出部は、
フェード効果の開始を検出すべき動画像が前記記憶部に格納されている情報に関連する場合は、前記記憶部に格納されている情報に関連する当該動画像に対して、前記情報に紐付けられた基準に基づき当該動画像におけるフェード効果の開始を検出する、
ことを特徴とするフェード効果検出装置。
【請求項５】
動画像を構成するフレームの輝度情報または輝度情報の差分値に基づき前記動画像におけるフェード効果を検出するフェード効果検出方法であって、
前記動画像に関して時間的に連続するフレーム間の輝度情報の差分値が所定のフレーム数連続して所定範囲内にある場合、当該連続するフレーム群をフェード効果に係るフレーム群として検出するステップと、
前記検出するステップにより検出された前記フェード効果に係る前記フレーム群の一部の輝度情報又は輝度情報の差分値に基づき、前記フェード効果に係る前記フレーム群が検出された以降の前記動画像における前記フェード効果の開始を検出するステップと、
を含むことを特徴とするフェード効果検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フェード効果検出装置及び検出方法に関し、特に、動画像におけるフェード効果を迅速に検出することが可能なフェード効果検出装置及び検出方法に関する。
【背景技術】
【０００２】
近年、デジタル放送技術の普及が進み、地上デジタル放送（ISDB-T：Integrated Services Digital Broadcasting for Terrestrial）やMediaFLO等の動画像が配信されるようになった。動画像コンテンツの作成者は、動画像に様々な特殊画像効果を適用することによって、視聴者に対して魅力的な動画像を提供している。その特殊画像効果にはさまざまな種類のものがあり、一例として、フェード効果が上げられる。フェード効果のかかった動画像は、徐々に暗転または明転することになり、瞬時に暗転するまたは明転する場合と比較すると、視聴者に、余韻等の独特の雰囲気を与えることができる。
【０００３】
ところで、現在、上述のような地上デジタル放送の動画像の再生装置では、画像の色調補正や雑音除去等を動的に行って、画像をより見易くするための補正が可能になっている。画像の動的な補正は、例えば、フレームごとに取得される画像情報から適宜決定される補正値に基づき行われる。画像の補正方法は様々なものが存在するが、一例として、画像のコントラストを高めるために画像全体のヒストグラムを補正するヒストグラム伸張処理がある。ヒストグラム伸張処理は、画像の濃度値の偏りを減らして、コントラストの低い画像のコントラストを高める処理であり、この処理によって、画像にメリハリを与えることができる。
【０００４】
なお、コンテンツ作成者によって動画像に冒頭で述べたようなフェード効果（フェードイン、フェードアウト）が施されているにもかかわらず、動画像の再生装置において、画像に対してヒストグラム伸張処理のような動的な補正が行われることも考えられ、問題が生じる。例えば、徐々に暗転するフェードアウト効果が施された動画像に対して画像フレームごとにヒストグラム伸張処理が適用されると、暗い画像を全体的により明るくする処理が行われるため、フェードアウトの効果が薄れる。また、逆に、徐々に明転するフェードイン効果が施された動画像に対してヒストグラム伸張処理が適用されると、明るい画像を全体的により暗くする処理が行われ、フェードイン効果が薄れてしまう。従って、動画像再生装置において、動画像に施されているフェード効果を速やかに検出し、ヒストグラム伸張処理等の画像処理を行わないようにする必要がある。
【０００５】
上述の一例のように、動画像におけるフェード効果を速やかに検出する技術が重要になっている。ここで、フェード効果の検出に係る従来技術として、ある期間において、ある画像領域の差分絶対値の時間変化を観察し、その期間において、差分絶対値が第１の閾値以上で、かつ第１の閾値より大きい第２の閾値未満であれば、フェードの発生期間であると判定する技術が提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−１８５８１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、フェードアウトまたはフェードインといったフェード効果が施されている動画像において、動画像が暗転又は明転する速度は様々である。すなわち、動画像が一定の速度で暗転又は明転したり、速度を変えて暗転又は明転したりする。このような様々な種類のフェード効果を検出するためには、特許文献１のような従来技術では、多くのフレームすなわち判定期間が必要となる。また、正確にフェード効果を検出するためにフレームをバッファすると、その分だけ映像の表示が遅れてしまう。
【０００８】
従って、本発明の目的は、上述のような諸課題を解決し、動画像に施されている様々な種類のフェード効果を迅速に検出するフェード効果検出装置及びフェード効果検出方法を提供することにある。
【課題を解決するための手段】
【０００９】
上述した諸課題を解決すべく、本発明によるフェード効果検出装置は、
動画像を構成するフレーム（映像フレーム）の輝度情報または輝度情報の差分値に基づき前記動画像におけるフェード効果を検出するフェード効果検出装置であって、
前記動画像に関して時間的に連続するフレーム間の輝度情報の差分値が所定のフレーム数連続して所定範囲内にある場合、当該連続するフレーム群をフェード効果に係るフレーム群として検出するフレーム群検出部と、
（前記フレーム毎の輝度情報を格納する記録部と、）
前記フレーム群検出部により検出された前記フェード効果に係る前記フレーム群の一部の輝度情報又は輝度情報の差分値に基づき、前記フェード効果に係る前記フレーム群が検出された以降の前記動画像における前記フェード効果の開始を検出するフェード効果検出部と、
を備えることを特徴とする。
【００１０】
また、本発明の一実施態様によるフェード効果検出装置は、
前記フェード効果検出部は、
前記フレーム群検出部により検出される前記フェード効果に係る前記フレーム群のうち、時間的に先頭のフレームから所定数のフレームの輝度情報の遷移を基準とし、前記動画像において時間的に連続するフレームの輝度情報の遷移が前記基準に従う場合、（前記フェード効果に係る前記フレーム群が検出された以降の）前記動画像におけるフェード効果の開始とする、
ことを特徴とする。
【００１１】
さらに、本発明の他の実施形態によるフェード効果検出装置は、
前記フェード効果検出部は、
前記フレーム群検出部により検出される前記フェード効果に係る前記フレーム群のうち、時間的に先頭のフレームから所定数のフレームの輝度情報の差分値の遷移を基準とし、前記動画像において時間的に連続するフレーム間の輝度情報の差分値の遷移が前記基準に従う場合、（前記フェード効果に係る前記フレーム群が検出された以降の）前記動画像におけるフェード効果の開始とする、
ことを特徴とする。
【００１２】
本発明の他の実施形態によるフェード効果検出装置は、
前記動画像に対応する情報（当該動画像が含まれる番組の番組ＩＤ、動画像の製作者や製作会社名、動画像の編集に使用されたソフト名）に紐付けて前記基準を格納する記憶部をさらに有し、
前記フェード効果検出部は、
フェード効果の開始を検出すべき動画像が前記記憶部に格納されている情報に関連する場合は、前記記憶部に格納されている情報に関連する当該動画像に対して、前記情報に紐付けられた基準に基づき当該動画像におけるフェード効果の開始を検出する、
ことを特徴とする。
【００１３】
上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。なお、下記の方法やプログラムの各ステップは、データの処理においては必要に応じて、ＣＰＵ、ＤＳＰ等の演算処理装置を使用するものであり、入力したデータや加工・生成したデータ等をＨＤＤ、メモリ等の記憶装置に格納するものである。
【００１４】
例えば、本発明を方法として実現したフェード効果検出方法は、
動画像を構成するフレーム（映像フレーム）の輝度情報または輝度情報の差分値に基づき前記動画像におけるフェード効果を検出するフェード効果検出方法であって、
（フレーム群検出部が、）前記動画像に関して時間的に連続するフレーム間の輝度情報の差分値が所定のフレーム数連続して所定範囲内にある場合、当該連続するフレーム群をフェード効果に係るフレーム群として検出するステップと、
（記録部が、前記フレーム毎の輝度情報を格納するステップと、）
（フェード効果検出部が、）前記検出するステップにより検出された前記フェード効果に係る前記フレーム群の一部の輝度情報又は輝度情報の差分値に基づき、前記フェード効果に係る前記フレーム群が検出された以降の前記動画像における前記フェード効果の開始を検出するステップと、
を含むことを特徴とする。
【発明の効果】
【００１５】
本発明によれば、動画像に施されている様々な種類のフェード効果を迅速に検出するフェード効果検出装置及びフェード効果検出方法を提供することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施態様による再生装置（フェード効果検出装置）の概略機能ブロック図である。
【図２】フェードアウト時の、時間的に連続する映像フレーム間の、最大輝度値（輝度の最大値）の差分値の推移を示す図である。
【図３】ある動画像の、時間的に連続する映像フレーム間の最大輝度値（輝度の最大値）の差分値の推移を示す図である。
【図４】フェード効果記録テーブルＴＢ１の一例である。
【図５】フレーム群検出部１２７によって検出され、フェード効果記録テーブルＴＢ１に格納されている、同一番組における、フェード効果に係るフレーム群の先頭のフレームから３フレーム分のフェードアウト効果の輝度情報の遷移を示す図である。
【図６】フェード効果検出ルールテーブルＴＢ２の一例である。
【図７】本発明の一実施例によるフェード効果検出方法の一例のフローチャートである。
【図８】動画像におけるフレーム間の輝度差分値の遷移を示すグラフである。
【発明を実施するための形態】
【００１７】
以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。なお、これ以降では、フェード効果検出装置として、デジタル放送を受信・再生可能な再生装置を想定して説明する。再生装置としては、例えば、携帯電話、ＰＤＡ（パーソナルデジタルアシスタンス）、携帯ゲーム機、携帯オーディオプレーヤー、携帯ビデオプレイヤー、携帯電子辞書、携帯電子書籍ビューワーなどの、デジタル放送を受信可能な携帯端末とすることができる。又は、再生装置は、デジタルテレビ、セットトップボックス、パーソナルビデオレコーダー、デジタル多用途ディスク（ＤＶＤ）プレーヤー、ブルーレイプレーヤーまたはレコーダー、衛星放送チューナ、ケーブルサービスプロバイダのヘッドエンド装置等、固定装置であってもよい。本発明は、これら幅広くに適用することが可能である。
【００１８】
図１は、本発明の一実施態様による再生装置（フェード効果検出装置）の概略機能ブロック図である。図１に示すように、再生装置１００は、アンテナＡＮＴ、受信部１１０、制御部１２０、メモリ１３０及び表示部１４０を備える。受信部１１０は、チューナ部１１２を備える。制御部１２０は、復調部１２１、多重分離部１２２、映像復号部１２３、映像補正部１２４、第１フェード効果検出部１２５、第２フェード効果検出部１２８及びフェード効果検出ルール生成部１２９を備える。さらに、第1フェード効果検出部１２５は、番組情報取得部１２６及びフレーム群検出部１２７を備える。また、メモリ１３０は、フェード効果記録部１３２を備える。フェード効果記録部１３２は、フェード効果記録テーブルＴＢ１及びフェード効果検出ルールテーブルＴＢ２を含む。
【００１９】
図１のブロック図における各ブロックの機能とともに、本発明の一実施例による再生装置１００について説明する。まず、制御部１２０は、装置全体の制御を司り、以下に説明する様々な演算処理を行う。受信部１１０は、アンテナＡＮＴを介して放送波を受信する。なお、放送波には、動画像を構成するフレーム（映像フレーム）や音声データが符号化されて含まれている。例えば、再生装置１００がＭＰＥＧ（Moving Picture Experts Group）の規格（ＭＰＥＧ−１、ＭＰＥＧ−２およびＭＰＥＧ−４）に準拠する場合、受信部１１０で受信する放送波には、Ｉフレーム、Ｐフレーム及びＢフレームが含まれる。ここでは、これらのフレームを用いて復号される、動画像を構成する映像のそれぞれを、「映像フレーム」と称する。
【００２０】
チューナ部１１２は、放送波をデジタル信号に変換し、復調部１２１へ出力する。復調部１２１は、デジタル信号をパケットに復調し多重分離部１２２に出力する。多重分離部１２２は、パケットに含まれるパケットＩＤを参照して、多重化されたパケットを音声パケットや映像パケット等の種別ごとに分離し、映像パケットを映像復号部１２３へ出力する。映像復号部１２３は、映像パケットから映像（映像フレーム）を復号し、復号した映像フレームを映像補正部１２４に出力する。
【００２１】
映像補正部１２４は、映像フレームの色調補正や雑音除去等、映像をより見易くするための補正を行う。例えば、映像補正部１２４は、ヒストグラム伸張処理を行う。また、映像補正部１２４は、第１フェード効果検出部１２５、第２フェード効果検出部１２８からフェード効果を検出した旨の通知があった場合には、映像フレームに対する補正を停止または待機する。番組情報取得部１２６は、受信部１１０で受信する動画像に対応する情報、例えば動画像が含まれる番組の番組ＩＤを取得する。なお、番組ＩＤは番組固有のＩＤであり、放送に付随するメタデータ（ＰＡＴ（Program Association Table）、ＰＭＴ（Program Map Table）、ＳＩ（Service Information）等）から取得することができる。また、動画像に対応する情報としては、映像の演出効果に影響し得る要素、すなわち、映像の製作者（監督）や製作会社（プロダクション）名、映像の編集に使用されたソフト名等でもよい。また、動画像に対応する情報としては、放送時刻と番組のチャンネルの組み合わせなどで代替してもよい。
【００２２】
第１フェード効果検出部１２５は、各映像フレームの輝度情報を取得する。輝度情報としては、映像フレームの輝度の平均値、最大値、最小値又は映像フレームにおける所定の画素の輝度値とすることができる。また、第１フェード効果検出部１２５は、十分な数の映像フレーム間で輝度情報を比較し、動画像にフェード効果が存在するか否かを検出する。フレーム群検出部１２７は、受信部１１０で受信された動画像に関して時間的に連続する映像フレーム間の輝度情報の差分値が所定の映像フレーム数連続して所定範囲内にあるか否かを判定し、所定範囲内にある場合、連続する映像フレーム群を、「フェード効果に係るフレーム群」として検出する。また、第１フェード効果検出部１２５は、フェード効果記録部１３２内のフェード効果記録テーブルＴＢ１に、番組名、輝度情報の遷移及びフェード効果検出結果（フェード効果に係るフレーム群に関するデータ）を格納する。
【００２３】
フェード効果検出ルール生成部１２９は、フェード効果記録テーブルＴＢ１に格納されている情報から、番組ごとのフェード効果検出ルールを生成し、フェード効果検出ルールテーブルＴＢ２に格納する。フェード効果検出ルールは、フレーム群検出部１２７により検出されるフェード効果に係るフレーム群の一部の輝度情報又は輝度情報の差分値に基づいて作成される。第２フェード効果検出部（フェード効果検出部）１２８は、フェード効果検出ルールに基づき、受信部１１０で受信する動画像におけるフェード効果の開始を検出する。すなわち、受信中の動画像が含まれる番組名に該当又は関連するフェード効果検出ルールをフェード効果検出ルールテーブルＴＢ２から抽出し、抽出したルールを用いて、受信中の動画像におけるフェード効果が開始されたか否かを判定する。表示部１４０は、映像補正部１２４から出力された映像や文字等を表示する。
【００２４】
次に、第１フェード効果検出部１２５によって行われるフェード効果の検出について、図を用いて説明する。ここでは、フェード効果として、フェードアウトを例に説明する。図２は、フェードアウト時の、時間的に連続する映像フレーム間の、最大輝度値（輝度の最大値）の差分値の推移を示す図である。なお、図２において、差分値は、最新のフレーム（現在のフレーム）の輝度値から、それより１つ前のフレームの輝度値を引いた値を示している。フェードアウト効果は映像が徐々に暗転していく効果であり、番組制作者（映像編集者）の意図や使用する機材により、図２に示すような様々なパターン（フェード効果パターン１〜３  ＦＰ１〜ＦＰ３）が存在する。例えば、フェード効果パターン１  ＦＰ１では、フェードアウト効果の開始直後に急激に映像が暗転し、その後は一定の割合で徐々に暗転している。また、フェード効果パターン２  ＦＰ２では、フェードアウト効果の開始直後に急激に暗転した後は、暗転する割合が減っている。さらに、フェード効果パターン３  ＦＰ３では、フェードアウト効果の開始直後は暗転する度合いが少なく、映像が遷移するにつれて暗くなる割合が増加している。このように、様々なパターンが存在するフェードアウト効果を検出するため、フレーム群検出部１２７は、「連続するフレーム間の輝度差分値がｘ１からｘ２の間に存在するフレームがｎフレーム（ｎは自然数）継続した場合」に、フェードアウト効果と判定する。そして、フレーム群検出部１２７は、連続するｎフレームを、「フェード効果に係るフレーム群」としてフェード効果記録テーブルＴＢ１に格納する。また、連続するフレーム間の輝度差分値がｘ１からｘ２の間に存在しない場合は、フェードアウト効果ではないと判定する。なお、このようなフェード効果の検出は、従来と同様である。
【００２５】
上述のように、フレーム群検出部１２７は、フェードアウト効果を検出するのにｎフレーム必要であるため、検出するまでに１／ｆｐｓ（Frame Per Second）×ｎの時間を要する。従って、ｎ＝１０として、例えば１５ｆｐｓの動画像では、フェードアウト効果を検出するまでに０．６７秒かかることになる。この場合、ヒストグラム伸張処理をフェードアウト効果の有無を判定してから行う場合に０．６７秒間待機するため、映像の遅延が生じる。そこで、フェードアウト効果の検出を行うためのフレーム数を、ｎからｍ（ｎ＞ｍ，ｍは自然数）とし、映像の遅延を低減することを考える。すなわち、フレーム群検出部１２７がフェードアウト効果と判定する条件を、「連続するフレーム間の輝度差分値がｘ１からｘ２の間に存在するフレームがｍフレーム（ｍは自然数）継続した場合」とする。しかしながら、この場合、フェードアウト効果の検出を行うためのフレーム数が不十分であるために、誤検出が生じる場合がある。このことを、図を用いて説明する。
【００２６】
図３は、ある動画像の、時間的に連続する映像フレーム間の最大輝度値（輝度の最大値）の差分値の推移を示す図である。図３では、開始からｍフレーム目までは、フェードアウト効果の条件である、「連続するフレーム間の輝度差分値がｘ１からｘ２の間に存在するフレームがｍフレーム（ｍは自然数）継続した場合」に相当するため、フレーム群検出部１２７によって、フェードアウト効果であると判定される。しかしながら、図３において、ｍフレーム以降は、連続するフレーム間の輝度差分値がｘ１からｘ２の間に存在していない。すなわち、これらのフレームに係る場面は、フェードアウト効果ではなく、単に映像が暗くなる場面である。このように、フェードアウト効果以外の場合であっても、映像が暗くなるシーンでは輝度差分がｘ１からｘ２の間に存在する可能性があるため、図３のように画面が一時的に暗くなった場合に、フェードアウト効果であるとして誤検出をおこす可能性がある。
【００２７】
上述のような誤検出を起こすことなく、フェード効果を迅速に検出することが望ましい。従って、本発明では、十分なフレーム数で精度よく検出されたフェード効果のパターンから、フェード効果を検出するための「フェード効果検出ルール（基準）」を生成し、そのルール（基準）に基づき、受信中の動画像におけるフェード効果の開始点を迅速に判定する。
【００２８】
まず、フェード効果検出ルール（基準）の生成について説明する。フレーム群検出部１２７は、映像復号部１２３によって復号された映像フレームの輝度情報を取得する。輝度情報としては、映像フレームの輝度の平均値、最大値、最小値又は所定の画素の輝度値とするか、若しくはそれらを組合せてもよい。さらに、フレーム群検出部１２７は、図２を用いて説明したように、十分な数の映像フレーム間で輝度情報を比較し、動画像にフェード効果が存在するか否かを検出する。そして、フレーム群検出部１２７は、フェード効果がかかっているフレームに対してフェード検出フラグをたてた上で、フェード効果記録テーブルＴＢ１に各フレームの情報（フレーム番号、輝度情報、フェード検出フラグの有無）を格納する。図４に、フェード効果記録テーブルＴＢ１の一例を示す。図４に示すように、フェード効果記録テーブルＴＢ１には、番組ごとに、フレームに関する情報が記録される。すなわち、フェード効果記録テーブルＴＢ１には、番組ＩＤ  ＩＤ１，ＩＤ２に対して、フレーム情報Ｌ１，Ｌ２がそれぞれ紐付けられて格納される。フレーム番号は、番組開始時を０フレームとして記録してもよいし、受信した時点を０フレームとして記録してもよい。図４の例では、番組ＩＤが１２４３である番組のフレーム情報Ｌ１と、番組ＩＤが０７５０である番組のフレーム情報Ｌ２が格納されている。番組ＩＤ  １２４３の番組では、フレーム番号が０００２〜０００４のフレームにわたってフェード効果がかかっていることがわかる。なお、これらの情報は、番組の受信中にフレーム群検出部１２７によって格納される。すなわち、フレーム群検出部１２７は、フェード効果記録テーブルＴＢ２にフレーム毎に輝度情報を格納しながら、上述したように「連続するフレーム間の輝度差分値がｘ１からｘ２の間に存在するフレームがｎフレーム（ｎは自然数）継続」したか否かの判定を行い、フェード効果に係るフレーム群に対してフェード検出フラグをたてる。
【００２９】
次に、「フェード効果検出ルール（基準）」の生成について説明する。まず、「フェード効果検出ルール（基準）」の生成の考え方について、図を用いて説明する。図５は、フレーム群検出部１２７によって検出され、フェード効果記録テーブルＴＢ１に格納されている、同一番組における、フェード効果に係るフレーム群の先頭のフレームから３フレーム分のフェードアウト効果の輝度情報の遷移を示す図である。図５の例では、輝度情報として、連続するフレーム間の輝度の差分値を、３つのフレーム群について示している。図５のように、フェード効果は人為的に映像を編集して作成されるものが多く、番組の製作者や編集に使用するソフトウェア等に依存して、関連する番組であれば類似のフェード効果パターン（輝度情報の遷移）となることが多い。従って、受信（再生）している動画像のフレームの輝度情報の遷移が、フレーム群検出部１２７によって既に検出されている、フェード効果に係るフレーム群の輝度情報の遷移とほぼ同じであれば、フェード効果が開始されたとみなすことができる。すなわち、「フェード効果に係るフレーム群」の先頭の数フレームの輝度情報の遷移とほぼ同じパターンで受信している動画像のフレームの輝度情報が遷移すれば、従来フェード効果を検出するのに必要であった数のフレームを受信する前に、フェード効果が開始したとみなすことができる。本発明では、このような考えに基づき、「フェード効果検出ルール（基準）」が生成される。
【００３０】
以下に、具体的に説明する。フェード効果検出ルール生成部１２９は、フレーム群検出部１２７により検出されるフェード効果に係るフレーム群の一部の輝度情報又は輝度情報の差分値に基づき、フェード効果検出ルールを生成する。すなわち、フェード効果検出ルール生成部１２９は、フレーム群検出部１２７により検出されるフェード効果に係るフレーム群のうち、時間的に先頭から所定数のフレームの輝度情報の遷移又は輝度情報の差分値の遷移を基準とする「フェード効果検出ルール（基準）」を生成する。フェード効果検出ルール生成部１２９は、フェード効果記録テーブルＴＢ１の情報を元にフェード効果検出ルールを生成する。まず、フェード効果検出ルール生成部１２９は、１つの番組中に検出されたフェード効果に係るフレーム群の輝度情報を、遷移の相関が高いもの同士でグループ分けする。まず、フェード効果検出ルール生成部１２９は、フェード効果に係るフレーム群のうち、時間的に先頭のフレームから所定数のフレームの輝度情報の遷移を比較する。なお、フェード効果パターンは全く同じではなく、パターン間に若干のずれを伴う。図５に示すフェード効果パターンの例では、１フレーム目の輝度差分値（１フレームと０フレームとの間の輝度差分値）が、範囲ａに存在し、２フレーム目の輝度差分値（２フレームと１フレームとの間の輝度差分値）が範囲ｂに存在し、３フレーム目の輝度差分値（３フレームと２フレームとの間の輝度差分値）が範囲ｃに存在する。従って、図５に示すフェード効果パターンを検出するための「フェード効果検出ルール（基準）」は、連続するフレーム間の輝度差分値に対して、「１フレーム目がａの範囲、２フレーム目がｂの範囲、３フレーム目がｃの範囲にある場合がフェードアウト効果」とすることができる。すなわち、フェード効果に係るフレーム群のうち、時間的に先頭のフレームから所定数のフレームの輝度情報の遷移を基準とし、受信する動画像のフレーム間の輝度情報の遷移がこの基準に従う場合、フェード効果が開始されたとみなすことができる。
【００３１】
なお、上述のルールは単純なルールであるが、フェード効果検出ルール（基準）として、輝度差分値のばらつきの確率分布に基づき、確率的に一定以上の精度が得られるようなルールにしても良いし、各フレーム間のばらつきを考慮した最尤推定を行うようなルールにしても良い。また、図５の例では、フェード効果検出ルール（基準）に３フレーム用いる場合としたが、フレーム数は任意であり、本発明はこれに限られるものではない。例えば、フェード効果検出ルール（基準）に用いるフレームの数は、フェード効果を正確に検出する確率とフェード効果以外のフレームをフェード効果と誤検出する確率とを比較しながら、適応的に調整しても良い。なお、フェード効果の継続時間がグループ分けされたフェード効果パターン全てにおいてほぼ等しい場合、フェード効果の継続時間をフェード効果検出ルール（基準）に追加しても良い。
【００３２】
フェード効果検出ルール生成部１２９は、上述のようなフェード効果検出ルール（基準）の生成を、番組ごとに、各フェード効果パターンのグループに対して行う。そして、フェード効果検出ルール生成部１２９は、生成したフェード効果検出ルール（基準）を、フェード効果検出ルールテーブルＴＢ２に格納する。図６に、フェード効果検出ルールテーブルＴＢ２の一例を示す。図６の例では、番組ＩＤが１２４３の番組に対して、２つのフェード効果パターンが存在し、それらのフェード効果パターンに対してそれぞれフェード効果検出ルールＲ１が生成されている。同様に、番組ＩＤが０７５０の番組に対して、３つのフェード効果パターンが存在し、それらのフェード効果パターンに対してそれぞれフェード効果検出ルールＲ２が生成されている。また、図６のように、フェード効果検出ルール（基準）には、フェード効果の継続時間を含めてもよい。
【００３３】
第２フェード効果検出部１２８は、フェード効果検出テーブルＴＢ２に基づき、受信中の動画像においてフェード効果が開始したことを検出する。すなわち、第２フェード効果検出部１２８は、フェード効果検出ルールテーブルＴＢ２から、フェード効果検出ルール（基準）を読み込み、フェード効果検出ルール（基準）に該当するフェード効果が開始したか否かを判定する。
【００３４】
次に、本発明の一実施例による再生装置（フェード効果検出装置）１００によるフェード効果検出方法について、フローチャートを用いて説明する。図７は、本発明の一実施例によるフェード効果検出方法の一例のフローチャートである。本処理は、受信部１１０で動画像の受信を開始したときに開始され、受信するフレーム毎に行われる。まず、制御部１２０は、制御変数ｉをｉ＝０に設定する（ステップＳ１０）。また、番組情報取得部１２６は、受信中の番組に関する情報（番組ＩＤ）を、受信部１１０で受信するデータから取得する。そして、第２フェード効果検出部１２８は、受信中の番組に対するフェード効果検出ルール（基準）が既に生成されてフェード効果検出ルールテーブルＴＢ２に格納されているか否か、及び、受信中の番組に関連するフェード効果検出ルール（基準）がフェード効果検出ルールテーブルＴＢ２に格納されているか否かを判定する（ステップＳ１１）。受信中の番組に対するフェード効果検出ルール（基準）が格納されている場合は、第２フェード効果検出部１２８は、フェード効果検出ルール（基準）を制御部１２０に読み込む（ステップＳ１２）。そして、ループ処理（ステップＳ１３〜Ｓ２１）が開始される。
【００３５】
まず、第２フェード効果検出部１２８は、制御部１２０に読み込んだフェード効果検出ルール（基準）によりフェード効果の開始が検出されたか否かを判定する（ステップＳ１４）。フェード効果検出ルール（基準）によりフェード効果の開始が検出されなかった場合、又は、フェード効果検出ルールが制御部１２０に読み込まれていない場合は、ステップＳ１５へ処理が進む。ステップＳ１５にて、フレーム群検出部１２７は、処理中のフレーム（現フレーム）と、処理中のフレームの直前のフレームとの間の輝度差分値が所定の範囲内であるか否かを判定する。この所定の範囲とは、例えば、図２を用いて説明したような、「ｘ１〜ｘ２」とすることができる。輝度差分値が所定の範囲内にないと判定された場合は、第１フェード効果検出部１２５は、フェード効果がないことを映像補正部１２４へ出力する（ステップＳ１６）。そして、制御部１２０は、制御変数ｉをｉ＝０に設定する（ステップＳ１７）。輝度差分値が所定の範囲内にあると判定された場合は、制御部１２０は、制御変数ｉを１つインクリメントする（ステップＳ１８）。
【００３６】
なお、ステップＳ１２にて読み込まれたフェード効果検出ルール（基準）が、例えば、図５に示すように、連続するフレーム間の輝度差分値が、「１フレーム目がａの範囲、２フレーム目がｂの範囲、３フレーム目がｃの範囲にある場合」であるとする。この場合、連続する３つのフレーム間の輝度差分値が、図５に示す遷移とほぼ同じように遷移した場合（すなわち、「１フレーム目がａの範囲、２フレーム目がｂの範囲、３フレーム目がｃの範囲にある場合」）に、ステップＳ１４にて、第２フェード効果検出部１２８によりフェード効果の開始を検出したと判定される。ステップＳ１４にてフェード効果の開始を検出したと判定された場合は、第２フェード効果検出部１２８は、フェード効果検出ルール（基準）によりフェード効果を検出したことを、映像補正部１２４に出力する（ステップＳ１９）。そして、制御部１２０は、制御変数ｉ＝ｉ＋１とする（ステップＳ２０）。
【００３７】
ステップＳ１７，Ｓ１８又はＳ２０の後に、フレーム群検出部１２７は、制御変数ｉが所定数を超えたか否かを判定する（ステップＳ２１）。ここで、所定数とは、従来フェード効果を検出するのに十分なフレーム数であり、例えば図２で説明したような「ｎ」とすることができる。フレーム群検出部１２７にて制御変数ｉが所定数を超えていないと判定された場合は、ステップＳ１３へ戻る。第１フェード効果検出部１２５にて、制御変数ｉが所定数を超えたと判定された場合は、フェード効果が検出されたことを意味する。従って、フレーム群検出部１２７は、検出したフェード効果が新しいパターンか、すなわち、フェード効果検出ルールテーブルＴＢ２に、検出したフェード効果に基づくフェード効果検出ルール（基準）が格納されているか否かを検出したか否かを判定する（ステップＳ２２）。新しいパターンであると判定された場合は、第１フェード効果検出部１２５によって、フェード効果に係るフレーム群にフェード効果のフラグがたてられ、フェード効果記録テーブルＴＢ１に格納される。そして、フェード効果検出ルール生成部１２９は、フェード効果に係るフレームのうち先頭から所定数の輝度情報に基づき、上述したような「フェード効果検出ルール（基準）」を生成し、フェード効果検出ルールテーブルＴＢ２に格納する（ステップＳ２３）。その後、制御部１２０は、番組が終了したか否かを判定する（ステップＳ２４）。ステップＳ１０〜Ｓ２４の処理は、番組が終了するまで継続される。
【００３８】
ここで、動画像における具体的なフレーム間の輝度差分値の遷移を示すグラフを用いて、図７のフローチャートによるフェード効果検出処理を説明する。図８は、動画像におけるフレーム間の輝度差分値の遷移を示すグラフである。グラフにおいて、横軸はフレーム数、縦軸は連続するフレーム間の輝度差分値を示す。ここで、図８に示すグラフの動画像（番組）に対しては、最初の１フレーム目の再生時には、フェード効果検出ルールが生成されておらず、また、関連する番組に対するフェード効果検出ルールもフェード効果検出ルールテーブルＴＢ２に格納されていないものとする。
【００３９】
まず、１フレーム目に対して図７の処理が開始する。フェード効果検出ルールは生成されていないため、処理はステップＳ１４へ進む。また、直前のフレームは存在しないため、処理はステップＳ１５，Ｓ１６，Ｓ１７，Ｓ２１を進み、２フレーム目に対してループ処理が開始される。２フレーム目に対して、ステップＳ１４にて「いいえ」、ステップＳ１５にて「いいえ」と判定され、第１フェード効果検出部１２５は、フェード効果が検出されないことを映像補正部１２４へ出力する。図８に示すグラフでは、このような、ステップＳ１４，Ｓ１５，Ｓ１６，Ｓ１７をたどる処理が、３９フレーム目まで行われる。次に、４０フレーム目からフェード効果が開始され、４０フレーム目と直前のフレームとの輝度差分値が所定の範囲内にあるとする。この４０フレーム目に対しては、ステップＳ１４にて「いいえ」と判定された後に、ステップＳ１５にて「はい」と判定される。そして、ステップＳ１８にて、制御部１２０が、制御係数ｉを１つインクリメントする。これ以降の４１フレーム目から５１フレーム目までは、ステップＳ１４，Ｓ１５，Ｓ１８をたどる処理が続く。そして、５１フレーム目に対して、ステップＳ２１にて、制御係数ｉ＞所定値（図８の例では、所定値＝１０とする）と判定され、処理がループを抜ける。ステップＳ２２にて、第１フェード効果検出部１２５は、検出したフェード効果のパターン（輝度差分値の遷移）が、フェード効果記録テーブルＴＢ１に格納されているか否か、すなわち、これ以前に検出されていない新しいパターンであるか否かを判定する。この例では「はい」と判定され、ステップＳ２３にて、フェード効果検出ルール生成部１２９は、フレーム群のうち先頭から所定数の輝度情報からフェード効果検出ルールを生成し、フェード効果検出テーブルＴＢ２に記録する。フェード効果検出ルールとは、上述したように、「受信（再生）している動画像のフレームの輝度情報の遷移が、「フェード効果（フェード効果Ａ）に係るフレーム群」の先頭の数フレームの輝度情報の遷移（フェード効果パターン）とほぼ同じこと」（「１フレーム目がａの範囲、２フレーム目がｂの範囲、３フレーム目がｃの範囲にあること」）である。
【００４０】
これ以降のフレームに対して、図７の処理が同様に行われる。ステップＳ１１では、フェード効果検出ルールテーブルＴＢ２にフェード効果検出ルールが格納されているため、制御部１２０によって「はい」と判定され、ステップＳ１２にて、制御部１２０に検出ルールが読み込まれる。その後、８５フレーム目〜１１３フレーム目、１４１〜１７６フレーム目の区間にフェード効果Ｂ，Ｃがそれぞれほどこされているが、フェード効果Ａとは異なるパターンであるため、ステップＳ１４にて「いいえ」と判定される。すなわち、フェード効果Ｂ，Ｃの区間では、ステップＳ１４，Ｓ１５，Ｓ１８をたどる処理が続き、処理がループを抜けた後は、ステップＳ２２，Ｓ２３にて、フェード効果Ｂ，Ｃに対するフェード効果検出ルールが新たに作成される。
【００４１】
図８の例では、２１８〜２３２フレーム目にフェード効果Ａがほどこされている。従って、２２０フレーム目に対して、ステップＳ１４にて、２１８〜２２０フレーム目（先頭から３フレーム）のフレームの輝度情報の遷移が、「フェード効果Ａに係るフレーム群」の先頭の数フレームの輝度情報の遷移とほぼ同じと判定され、ステップＳ１９で、第２フェード効果検出部１２８が、検出ルールによりフェード効果を検出したことを、映像補正部１２４に出力する。図８を用いて説明すると、第２の検出（フェード効果検出ルール）によるフェード効果検出フラグＦＬＡ１が、第１の検出（従来の検出方法による検出）による検出フラグＦＧ４より早い時点でたっていることがわかる。このように、従来方法ではフェード効果を検出するのに多くのフレーム数が必要であったのに対し、本発明によれば、従来方法に比べ迅速に精度よくフェード効果を検出することが可能となる。
【００４２】
本発明の効果を再度説明する。本発明によれば、従来とくらべ、動画像に施されている様々な種類のフェード効果を迅速に検出することができる。すなわち、本発明によれば、ある番組中に頻出するフェード効果のパターンをより少ないフレームを用いて検出することができる。従って、フェード効果が施されているのにもかかわらず、ヒストグラム伸張処理といったフェード効果を薄める処理が行われることを防止することができる。さらに、フェード効果が継続する時間をフェード効果検出ルールとして格納することによって、フェード効果の継続時間を予測することが可能となるため、フェード効果の終了時にヒストグラム伸張処理の制限を徐々に緩和し、フェード効果のかかっている場面とそれ以外の場面とが連続する際の映像のチラツキを防止することも可能になる。
【００４３】
なお、上記の構成はISDB-T方式により送信されるワンセグ放送の再生装置を想定したものであるが、MediaFLOやDVB-Hの再生装置にも本発明を適用することができる。また、各機能を実現できる代替手段がある場合それを用いてもよい。また本発明は放送コンテンツに限らず、例えばＩＰストリーミング配信される動画サービスなどにも適用可能である。さらに、本発明は映像に関するため、音声や字幕を再生するための構成要素は図１では省いているが、これらを備えていてもよい。また、上述の実施例では、映像の補正方法としてヒストグラム伸張処理について説明したが、本発明はこれに限られるものではなく、多様な補正方法に対応することができる。また、上述した実施例では、輝度情報として１フレーム中の輝度の最大値を用いたが、輝度情報としては、フレーム全体の輝度値の平均値、輝度の最小値、及びそれらの組み合わせであっても良い。輝度の最大値を使用した場合には映像が暗転するフェード効果を検出することができるが、輝度情報に様々な値を組み合わせることで暗転以外のフェード効果も検出することが可能になる。
【００４４】
また、上述の実施例では、第２フェード効果検出部１２８は、フレーム群検出部１２７において検出されたフェード効果にかかるフレーム群の輝度情報と、受信するフレームの輝度情報とを対比させてフェード効果を検出しているが、対比させる輝度情報は、それぞれの輝度情報を正規化したものを用いてもよい。例えば、フレーム群検出部１２７によって、フェード効果に係るフレーム群として検出されたフレーム群の先頭の３フレームを用いてフェード効果を検出する際に、先頭の３フレームの輝度値が「８０，４０，２０」であった場合には、この３フレームの内先頭のフレームの「８０」によって、これら３フレームの輝度値を正規化する。つまり、フェード効果を検出するフレームと対比させる輝度情報は、「１，０．５，０．２５」となる。この３つのフレームと、フェード効果の検出を行う検出対象のフレームの輝度値を対比させる場合は、常に、検出対象の３つのフレームにおいても、その先頭のフレームで正規化する。例えば、検出対象の３つのフレームの輝度値が「１００，５０，１０」であった場合には、先頭のフレームの輝度値「１００」で正規化した「１，０．５，０．１」となる。この、「１，０．５，０．１」を、上記の「１，０．５，０．２５」と対比させる。このような正規化を行うことにより、例えば、毎秒輝度値が半分になるようなタイプのフェードアウト（「１，０．５，０．２５」）の場合、明るい画面からフェードアウトを介した場合（「１００，５０，２５」）と、暗い画面からフェードアウトを介した場合（「２０，１０，５」）とを同じフェードアウトとして検出することが可能となる。
【００４５】
また、上述の実施例では、第１フェード効果検出部１２５の一部として番組情報取得部１２６及びフレーム群検出部１２７を有しているが、これらの機能を別々に有してもよい。また、第１フェード効果検出部１２５を有することなく、フレーム群検出部１２７のみ、または、番組情報取得部１２６及びフレーム群検出部１２７のみを有する構成としてもよい。
【００４６】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。例えば、上述の実施例ではフェード効果検出装置として再生装置を例に説明したが、本発明はこれに限られるものではない。また、上述の実施例では、動画像を受信しながら再生する場合について説明したが、例えば、動画像を記録部等に録画しておき、録画した画像を再生する場合についても本発明を適用することが可能である。さらに、無線で動画像を受信するものではなく、有線で動画像を受信する場合にも本発明を適用することが可能である。
【符号の説明】
【００４７】
１００  再生装置（フェード効果検出装置）
１１０  受信部
１１２  チューナ部
１２０  制御部
１２１  復調部
１２２  多重分離部
１２３  映像復号部
１２４  映像補正部
１２５  第１フェード効果検出部
１２６  番組情報取得部
１２７  フレーム群検出部
１２８  第２フェード効果検出部
１２９  フェード効果検出ルール生成部
１３０  メモリ
１３２  フェード効果記録部
１４０  表示部
ＴＢ１  フェード効果記録テーブル
ＴＢ２  フェード効果検出ルールテーブル
１２８  第２フェード効果検出部
１２７  フェード効果検出ルール生成部
ＡＮＴ  アンテナ
ＦＰ１〜ＦＰ３  フェード効果パターン１〜３
１２７  フレーム群検出部
Ｌ１，Ｌ２  フレーム情報
Ｒ１，Ｒ２  フェード効果検出ルール
ＦＬＡ１  フェード効果検出フラグ
ＦＧ１〜ＦＧ４  従来方法によるフェード効果検出フラグ
【図１】
2010258786.tif 000003
【図２】
2010258786.tif 000004
【図３】
2010258786.tif 000005
【図４】
2010258786.tif 000006
【図５】
2010258786.tif 000007
【図６】
2010258786.tif 000008
【図７】
2010258786.tif 000009
【図８】
2010258786.tif 000010