(57)【要約】【課題】放送番組の高画質画像から所定部分の画像を抽出するときのデータ計算量を低減すること。【解決手段】同一の放送番組に関し、第１の放送の画像と、前記第１の放送よりもデータ転送レートが小さい第２の放送の画像とを記憶する記憶部１４２、１４４と、前記第２の放送の画像を画像処理することにより、前記放送番組中の所定部分を特定する画像処理部１２０と、前記第１の放送の画像から、前記画像処理部１２０により特定された前記所定部分に対応する画像を抽出する第１の画像抽出部１２６と、を備える画像処理装置を提供する。【選択図】図１
2009117923.tif 000002
【特許請求の範囲】
【請求項１】
同一の放送番組に関し、第１の放送の画像と、前記第１の放送よりもデータ転送レートが小さい第２の放送の画像とを記憶する記憶部と；
前記第２の放送の画像を画像処理することにより、前記放送番組中の所定部分を特定する画像処理部と；
前記第１の放送の画像から、前記画像処理部により特定された前記所定部分に対応する画像を抽出する第１の画像抽出部と；
を備えることを特徴とする、画像処理装置。
【請求項２】
前記画像処理部は、
前記第２の放送の画像に対する画像処理結果に基づいて、前記放送番組を複数のシーンに分割するシーン分割部と、
前記第２の放送の画像から、前記各シーンの代表画像を特定して抽出する第２の画像抽出部と、
を備え、
前記第１の画像抽出部は、
前記第１の放送の画像から、前記第２の画像抽出部により特定された前記各シーンの代表画像に対応する代表画像を抽出することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記第２の放送の動画像と、前記第２の放送の前記各シーンの代表画像と、前記第１の放送の前記各シーンの代表画像のうち前記第２の放送の動画像に対応するシーンの代表画像を、表示データとして表示部に出力する表示制御部をさらに備えることを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記表示制御部は、
前記表示部に表示された前記第２の放送の前記各シーンの代表画像のうちの１つが選択されると、当該選択された代表画像に対応するシーンの前記第２の放送の動画像と、前記第１の放送の当該シーンの代表画像とを、表示データとして前記表示部に出力することを特徴とする、請求項３に記載の画像処理装置。
【請求項５】
前記第２の放送の動画像と、前記第２の放送の前記各シーンの代表画像とを、表示データとして表示部に出力する表示制御部をさらに備え、
前記表示制御部は、
前記表示部に表示された前記第２の放送の前記各シーンの代表画像のうちの１つが選択されると、当該選択された代表画像に対応するシーンの前記第１の放送の動画像を、表示データとして前記表示部に出力することを特徴とする、請求項２に記載の画像処理装置。
【請求項６】
前記画像処理部は、
前記第２の放送の画像に対する画像処理結果に基づいて、前記放送番組中のダイジェストシーンを特定するダイジェストシーン特定部を備え、
前記第１の画像抽出部は、
前記第１の放送の画像から、前記ダイジェストシーン特定部により特定された前記ダイジェストシーンの画像を抽出することを特徴とする、請求項１に記載の画像処理装置。
【請求項７】
前記第１の放送は、地上波デジタル放送における１２セグメント放送であり、
前記第２の放送は、前記地上波デジタル放送におけるワンセグメント放送であることを特徴とする、請求項１に記載の画像処理装置。
【請求項８】
同一の放送番組に関し、第１の放送の画像と、前記第１の放送よりもデータ転送レートが小さい第２の放送の画像とを記憶部に記録する記録ステップと；
前記第２の放送の画像を画像処理することにより、前記放送番組中の所定部分を特定する画像処理ステップと；
前記第１の放送の画像から、前記特定された所定部分に対応する画像を抽出する画像抽出ステップと；
を含むことを特徴とする、画像処理方法。
【請求項９】
同一の放送番組に関し、第１の放送の画像と、前記第１の放送よりもデータ転送レートが小さい第２の放送の画像とを記憶部に記録する記録ステップと；
前記第２の放送の画像を画像処理することにより、前記放送番組中の所定部分を特定する画像処理ステップと；
前記第１の放送の画像から、前記特定された所定部分に対応する画像を抽出する画像抽出ステップと；
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関し、特に、データ計算量を低減するための画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
テレビジョン放送の番組などの映像・音声デジタルデータを記録及び再生可能なデジタル記録再生装置として、例えば、デジタルビデオ装置、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）レコーダ、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）レコーダなどが普及している。これらのデジタル記録再生装置では、従来のアナログ方式の地上波放送、ＢＳ放送と比べて高精細な画像を提供可能なデジタル方式のＨＤＴＶ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  ＴｅｌｅＶｉｓｉｏｎ：高精細テレビジョン）放送の画像を記録することができる。
【０００３】
ところで、近年では、放送形式の多様化及び多チャンネル化に伴い、視聴者が選択可能なテレビジョン放送の番組が急増している。このため、視聴者は、かかる様々なチャンネルで放送される膨大な数の放送番組の中から、自らが視聴したい番組の視聴したいシーンを容易かつ迅速に判別したいというニーズが存在する。
【０００４】
かかるニーズに対応すべく、視聴者が所望のシーンを迅速に検索できるようにするために、放送番組の各シーンの代表画像をサムネール画像として表示することが知られている。各シーンの代表画像を抽出するためには、まず、シーンとシーンの境界であるシーンチェンジのフレームを検出して、放送番組を各シーンに切り分け（シーン分割）、各シーンの代表画像を抽出する必要がある。例えば特許文献１には、シーンチェンジのフレームを検出する手法として、動画像の各フレームについて、前後するフレームの画像情報の差分値を算出し、連続する所定数のフレームにおける上記差分値の分散を算出し、算出した分散を用いてフレームの差分値の偏差値を算出し、算出した偏差値が閾値よりも大きい場合に、上記フレームをシーンチェンジのフレームとして検出する技術が開示されている。
【０００５】
また、視聴者が短時間で放送番組の内容を把握できるようにするために、録画された放送番組をダイジェスト再生（ハイライト再生）する技術も存在する。例えば、特許文献２には、画像データを圧縮処理した後に、画像内の所定部分の検出データを用いて相関演算又は平均輝度レベルの誤差演算処理を行うことで、類似シーンを検出して、効果的なダイジェスト再生を実現する技術が開示されている。
【０００６】
【特許文献１】特開２００３−２９９０００号公報
【特許文献２】特開２００２−４４５７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところが、上記ＨＤＴＶ放送の画像（以下「ＨＤ画像」という。）は、解像度及びデータ転送レートが大きい高画質の画像データである。このため、かかるＨＤ画像をそのまま用いて、上記シーンチェンジ検出処理、代表画検出処理などを行ったのでは、データ計算量が大きく、処理効率が悪くなってしまう。そこで、上記従来の技術では、ＨＤ画像を水平及び垂直方向に平均化圧縮して、画素数を大幅に低減した縮小画像を生成し（即ち、高画質画像から低画質画像へのダウンサンプリング）、この縮小画像を用いてシーンチェンジ検出処理等の演算処理を行うことで、データ計算量を低減している。
【０００８】
しかしながら、上記従来の技術においてもなお、シーンチェンジ検出処理や代表画検出処理などを行うためには、上記ＨＤ画像の画像数を低減するためのダウンサンプリング処理が必要である。従って、かかるダウンサンプリング処理を行う分だけ、データ計算量が大きく、装置に大きな処理負荷がかかるという問題があった。
【０００９】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、放送番組の高画質画像から所定部分の画像を抽出するときのデータ計算量を低減することが可能な、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のある観点によれば、同一の放送番組に関し、第１の放送の画像と、前記第１の放送よりもデータ転送レートが小さい第２の放送の画像とを記憶する記憶部と；前記第２の放送の画像を画像処理することにより、前記放送番組中の所定部分を特定する画像処理部と；前記第１の放送の画像から、前記画像処理部により特定された前記所定部分に対応する画像を抽出する第１の画像抽出部と；を備えることを特徴とする、画像処理装置が提供される。
【００１１】
また、前記画像処理部は、前記第２の放送の画像に対する画像処理結果に基づいて、前記放送番組を複数のシーンに分割するシーン分割部と、前記第２の放送の画像から、前記各シーンの代表画像を特定して抽出する第２の画像抽出部と、を備え、前記第１の画像抽出部は、前記第１の放送の画像から、前記第２の画像抽出部により特定された前記各シーンの代表画像に対応する代表画像を抽出するようにしてもよい。
【００１２】
また、前記第２の放送の動画像と、前記第２の放送の前記各シーンの代表画像と、前記第１の放送の前記各シーンの代表画像のうち前記第２の放送の動画像に対応するシーンの代表画像を、表示データとして表示部に出力する表示制御部をさらに備えるようにしてもよい。
【００１３】
また、前記表示制御部は、前記表示部に表示された前記第２の放送の前記各シーンの代表画像のうちの１つが選択されると、当該選択された代表画像に対応するシーンの前記第２の放送の動画像と、前記第１の放送の当該シーンの代表画像とを、表示データとして前記表示部に出力するようにしてもよい。
【００１４】
また、前記第２の放送の動画像と、前記第２の放送の前記各シーンの代表画像とを、表示データとして表示部に出力する表示制御部をさらに備え、前記表示制御部は、前記表示部に表示された前記第２の放送の前記各シーンの代表画像のうちの１つが選択されると、当該選択された代表画像に対応するシーンの前記第１の放送の動画像を、表示データとして前記表示部に出力するようにしてもよい。
【００１５】
また、前記画像処理部は、前記第２の放送の画像に対する画像処理結果に基づいて、前記放送番組中のダイジェストシーンを特定するダイジェストシーン特定部を備え、前記第１の画像抽出部は、前記第１の放送の画像から、前記ダイジェストシーン特定部により特定された前記ダイジェストシーンの画像を抽出するようにしてもよい。
【００１６】
また、前記第１の放送は、地上波デジタル放送における１２セグメント放送であり、前記第２の放送は、前記地上波デジタル放送におけるワンセグメント放送であるようにしてもよい。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、同一の放送番組に関し、第１の放送の画像と、前記第１の放送よりもデータ転送レートが小さい第２の放送の画像とを記憶部に記録する記録ステップと；前記第２の放送の画像を画像処理することにより、前記放送番組中の所定部分を特定する画像処理ステップと；前記第１の放送の画像から、前記特定された所定部分に対応する画像を抽出する画像抽出ステップと；を含むことを特徴とする、画像処理方法が提供される。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、同一の放送番組に関し、第１の放送の画像と、前記第１の放送よりもデータ転送レートが小さい第２の放送の画像とを記憶部に記録する記録ステップと；前記第２の放送の画像を画像処理することにより、前記放送番組中の所定部分を特定する画像処理ステップと；前記第１の放送の画像から、前記特定された所定部分に対応する画像を抽出する画像抽出ステップと；をコンピュータに実行させるためのプログラムが提供される。
【００１９】
かかる構成によれば、同一の放送番組に関し、第１の放送の画像と、第１の放送よりもデータ転送レートが小さい第２の放送の画像とが記憶部に記録され、第２の放送の画像を画像処理することにより、放送番組中の所定部分が特定され、第１の放送の画像から、特定された所定部分に対応する画像が抽出される。これにより、データ量の多い第１の放送の画像を画像処理しなくとも、データ量の少ない第２の放送の画像の画像処理結果に基づいて、放送番組の所定部分を特定し、第１の放送の画像から所定部分の画像を抽出できる。
【発明の効果】
【００２０】
以上説明したように本発明によれば、放送番組から所定部分の画像を抽出するために必要なデータ計算量を低減することができる。
【発明を実施するための最良の形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
（第１の実施形態）
まず、本発明の第１の実施形態にかかる画像処理装置、画像処理方法及びプログラムについて説明する。
【００２３】
本実施形態にかかる画像処理装置は、放送局から放送される放送番組の画像及び音声信号を所定の記録媒体に記録し、更に当該画像及び音声信号を再生可能な記録再生装置として構成される。本実施形態にかかる画像処理装置は、例えば、サイマル放送（ｓｉｍｕｌｔａｎｅｏｕｓ  ｂｒｏａｄｃａｓｔｉｎｇ）環境下で好適に適用できる。サイマル放送は、異なるチャンネル、伝送手段を用いて、同一の放送番組を同一の時間帯に放送することである。かかるサイマル放送では、例えば、同一の放送番組について、第１の放送（例えはＨＤＴＶ放送などの本放送）による高画質の画像と、第２の放送（例えばワンセグ放送などの簡易動画放送）による低画質の画像とが同時に放送される。本実施形態にかかる画像処理装置の特徴は、第１の放送により提供される高画質の画像（データ量が大）から所定の部分の画像を抽出する際に、第２の放送により提供される低画質の画像（データ量が小）を利用することで、データ計算量を大幅に低減することにある。以下に、その詳細について説明する。
【００２４】
まず、図１を参照して、本発明の第１の実施形態にかかる画像処理装置が適用される放送システム１の概要について説明する。図１は、本実施形態にかかる放送システム１を示す概略図である。
【００２５】
図１に示すように、放送システム１は、テレビジョン番組の地上波デジタル放送を放送するシステムである。この放送システム１は、放送番組の放送電波を発信する放送装置７と、当該放送電波を受信する受信装置２〜４とから構成される。放送装置７は、放送局に設置され、テレビジョン放送番組の映像及び音声信号を生成・出力する生成装置（図示せず。）と、当該映像及び音声信号を表す電波を発信する放送塔などを備える。受信装置は、例えば、ユーザの家庭に設置されたアンテナ、チューナ、デコーダなどから構成される家庭用受信機２、携帯電話等の携帯端末３、車載用受信機４などを含む。また、これらの受信装置２〜４は、受信した映像及び音声信号のデータを、有線又は無線で接続された記録再生装置又はテレビジョン受像器や、ネットワーク５を介して接続された情報処理装置６（パーソナルコンピュータ等）に対して提供することができる。
【００２６】
このような地上波デジタル放送の放送システム１は、上記サイマル放送を行って、同一の放送番組について、本編放送であるＨＤＴＶ放送と、簡易放送であるワンセグ放送とを同時に実行する。
【００２７】
ＨＤＴＶ放送は、デジタルハイビジョン放送とも呼ばれ、走査線本数が多く高解像度のＨＤ画像を提供できる。このＨＤＴＶ放送の画像信号の形式としては、例えば、「７２０ｐ」、「１０８０ｉ」、「１０８０ｐ」等がある。「１０８０ｉ」は、垂直方向の有効走査線が１０８０本（総走査線が１１２５本）であり、飛び越し走査(インターレーススキャン)方式で、フレームレートが「３０フレーム／秒」で送信される画像信号を表す（解像度：「１９２０×１０８０」若しくは「１４４０×１０８０」ピクセル）。また、「７２０ｐ」は、垂直方向の有効走査線が７２０本(総走査線が７５０本)であり、順次走査(プログレッシブスキャン）方式で、フレームレートが「６０フレーム／秒」で送信される画像信号を表す（解像度；「１２８０×７２０」若しくは「９６０×１０８０」ピクセル）。
【００２８】
ワンセグ放送（「１セグ放送」ともいう。）は、ワンセグメント放送の略称であり、主に携帯端末向けの簡易放送である。ここで図２を参照して、ワンセグ放送について説明する。
【００２９】
図２に示すように、ワンセグ放送は、地上デジタル放送の電波を利用して、携帯端末向けに番組（簡易動画）を放送する仕組みである。日本の地上デジタル放送は、「ＩＳＤＢ−Ｔ」（Ｉｎｔｅｇｒａｔｅｄ  Ｓｅｒｖｉｃｅｓ  Ｄｉｇｉｔａｌ  Ｂｒｏａｄｃａｓｔｉｎｇ  Ｔｅｒｒｅｓｔｒｉａｌ）という規格のもと、２００３年１２月より関東・中京・近畿の三大都市圏からスタートし、順次、全国の主要都市に放送エリアを拡大している。このＩＳＤＢ−Ｔには階層伝送という特徴があり、携帯端末受信用のノイズやマルチパスに強い変調方式と、家庭用テレビジョン受像器等の固定端末用の比較的弱い変調方式とを、「階層」に分けた上で多重化して放送することが可能となっている。ノイズやマルチパスへの耐性は伝送するビットレートとのトレードオフになっている。そこで放送される内容は、画質により「強階層」＝携帯端末受信用（簡易動画放送）、「弱階層」＝固定端末受信用（ＨＤＴＶ放送）に分類されている。
【００３０】
ワンセグ放送は、この強階層を使った簡易動画放送である。「ワンセグ」とは、文字通り「１つのセグメント」のことである。地上デジタル放送は、ＵＨＦ帯域（極超短波（Ｕｌｔｒａ  Ｈｉｇｈ  Ｆｒｅｑｕｅｎｃｙ）である３００ＭＨｚ〜３ＧＨｚの周波数帯域を指す。主にテレビジョン放送に用いられる。）の電波を使用しており、６ＭＨｚが１つのチャンネルとして割り当てられている。地上デジタル放送では、この６ＭＨｚの帯域を１３のセグメントに分割して放送を行うが、このうちの携帯端末用の強階層に割り当てられている「１つのセグメント」を使用して放送を行うことから「１セグ放送」と呼ばれている。一方、ＨＤＴＶ放送は、残りの１２セグメントの弱階層を使用して、放送を行う。なお、以下では、上記６ＭＨｚの帯域のうちの１２セグメントを使用して行われる放送（例えばＨＤＴＶ放送）のことを「１２セグメント放送」と称し、「１２セグ放送」と略称する場合もある。
【００３１】
以上のようなワンセグ放送では、解像度が「３２０×２４０」または「３２０×１８０」ピクセルの映像及び音声と、ＢＭＬ（Ｂｒｏａｄｃａｓｔｉｎｇ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）で記述されたデータを同時に放送する。映像の符号化にはＨ．２６４（ＭＰＥＧ−４  ＡＶＣ）が用いられ、音声の符号化にはＡＡＣ  ＬＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ  ＬＣ）が使われる。静止画は、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、ＧＩＦ（Ｇｒａｐｈｉｃ  Ｉｎｔｅｒｃｈａｎｇｅ  Ｆｏｒｍａｔ）、アニメーションＧＩＦに対応している。著作権保護技術としては、ＣＣＩ（Ｃｏｐｙ  Ｃｏｎｔｒｏｌ  Ｉｎｆｏｒｍａｔｉｏｎ）によるコピー制御が使用される。また、データ放送部分は、上記ＢＭＬによる情報の記述が可能で、ワンセグ放送独自の拡張として、携帯端末が保持する電子メールやスケジュール帳、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）による位置情報などとの連携が可能になる。
【００３２】
上記のようなワンセグ放送の画像解像度（例えば「３２０×１８０」）は、ＨＤＴＶ放送の解像度（例えば「１９２０×１０８０」）と比べて非常に小さい。また、ワンセグ放送のデータ転送レート（４１６ｋｂｐｓ）は、ＨＤＴＶ放送のデータ転送レート（例えば４Ｍｂｐｓ）と比べて十分に小さい。従って、かかるワンセグ放送の１チャンネルの番組を毎日２４時間録画しても、そのデータ量は４．４９２８Ｇｂｙｔｅ／ｄａｙであり、７チャンネルの番組を１週間全て録画したとしても、そのデータ量は、２２０Ｇｂｙｔｅ未満となる。
【００３３】
本実施形態にかかる画像処理装置では、上記携帯端末向けのワンセグ放送のデータ量が少ない点を利用し、ワンセグ放送の画像信号を画像処理した結果を、固定端末向けの本放送であるＨＤＴＶ放送（１２セグ放送）の画像編集に適用することで、画像処理に要するデータ計算量を低減することを特徴としている。即ち、本実施形態にかかる画像処理装置では、ワンセグ放送の画像に対して、上述した放送番組におけるシーンチェンジの検出処理や代表画検出処理、ダイジェスト再生に使用するダイジェストシーンの検出処理などの画像処理を行って、放送番組から抽出する所定部分（各シーンの代表画、ダイジェストシーンなど）を特定する。次いで、この特定された所定部分の画像を、ＨＤＴＶ放送（１２セグ放送）の画像から抽出する。
【００３４】
これによって、ワンセグ放送の少データ量の画像を用いて、少ないデータ計算量で画像処理を行って所望の部分を特定し、１２セグ放送の高画質画像から、所望の部分の画像を抽出して、再生及び表示できる。従って、ワンセグ放送の画像を利用することで、１２セグ放送の画像のダウンサンプリング処理を実行しなくてよいので、画像処理装置におけるデータ計算量を大幅に低減できるという効果がある。以下にかかる画像処理装置の詳細について説明する。
【００３５】
なお、本実施形態にかかる画像処理装置は、例えば、上記図１の受信装置２〜４又は情報処理装置６、或いは、その周辺装置（例えば、記録再生装置、テレビジョン受像器）などで構成される。以下では、画像処理装置を、例えば、ＤＶＤレコーダ、ＨＤＤレコーダ等の記録再生装置に適用した例について説明する。しかし、本発明の画像処理装置はかかる例に限定されず、任意の装置に適用できる。
【００３６】
次に、図３を参照して、本実施形態にかかる画像処理装置１０の構成について説明する。図３は、本実施形態にかかる画像処理装置１０の構成を示すブロック図である。
【００３７】
図３に示すように、本実施形態にかかる画像処理装置１０は、制御部１００と、信号入力部１１０と、画像処理部１２０と、１２セグ代表画抽出部１２６と、圧縮解凍部１３０と、記憶部１４０と、入力部１５０と、表示部１６０と、を備える。
【００３８】
制御部１００は、画像処理装置１０の各部を制御する。この制御部１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０３と、を備える。
【００３９】
ＣＰＵ１０１は、演算処理装置および制御装置として機能し、各種プログラムに従って動作し、画像処理装置１０内の各部を制御する。このＣＰＵ１０１は、ＲＯＭ１０２に記憶されているプログラム、或いは、記憶部１４０からＲＡＭ１０３にロードされたプログラムに従って、各種の処理を実行する。ＲＯＭ１０２は、ＣＰＵ１０１が使用するプログラムや演算パラメータ等を記憶するとともに、ＣＰＵ１０１から記憶部１４０へのアクセスを軽減するためのバッファとしても機能する。ＲＡＭ１０３は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。また、ＣＰＵ１０１は、記録再生制御部１０４、表示制御部１０６としても機能する。
【００４０】
記録再生制御部１０４は、記憶部１４０に対する各種データ（放送番組の画像データ、音声データ、代表画データなど）の記録／再生処理を制御する。例えば、記録再生制御部１０４は、ワンセグチューナ１１２と１２セグチューナ１１４から入力された放送番組の画像信号及び音声信号を、記憶部１４０のワンセグ記憶部１４２、１２セグ記憶部１４４に記録する。また、記録再生制御部１０４は、記憶部１４０のワンセグ記憶部１４２、１２セグ記憶部１４４に記録されている画像及び音声データを読み出して、当該画像及び音声データを復号（デコード）して再生データを得るよう圧縮解凍部１３０を制御する。
【００４１】
表示制御部１０６は、表示部１６０に表示する表示データを制御する。例えば、表示制御部１０６は、同一の放送番組について、ワンセグ放送の動画像と、ワンセグ放送の各シーンの代表画像と、上記ワンセグ放送の動画像に対応するシーンの１２セグ放送の代表画像を、記憶部１４０から読み出し、表示データとして表示部１６０に出力して表示させる（図１４参照。）。
【００４２】
信号入力部１１０は、上記放送装置７から送信された放送信号（画像信号及び音声信号、データ放送信号等を含む）を受信し、当該受信信号を出力する。この信号入力部１１０は、例えば地上波デジタル放送用のアンテナ（図示せず。）と、ワンセグチューナ１１２、１２セグチューナ１１４とからなる。
【００４３】
ワンセグチューナ１１２は、上記アンテナ（図示せず。）で受信した放送電波から、ワンセグ放送の目的のチャンネルを選局し、そのチャンネルの電波の復調処理を行って、ワンセグ放送の受信信号（画像信号及び音声信号等）を生成する。１２セグチューナ１１４は、上記アンテナで受信した放送電波から、１２セグ放送の目的のチャンネルを選局し、そのチャンネルの電波の復調処理を行って、１２セグ放送の受信信号（画像信号及び音声信号等）を生成する。
【００４４】
これらの受信信号に含まれる画像及び音声データは、ＣＰＵ１０１に入力されて、記録再生制御部１０４により、記憶部１４０のワンセグ記憶部１４２、１２セグ記憶部１４４に記録される。或いは、当該画像及び音声データは、再生処理（デコード等）されて、表示制御部１０６により表示部１６０に表示される。このようにして、同時間帯に放送される同一の放送番組について、ワンセグ放送の画像及び音声データと、１２セグ放送の画像及び音声データとが記憶部１４０に記録される。なお、画像処理装置１０は、複数チャンネルの放送番組を同時に録画するために、複数のワンセグチューナ１１２及び複数の１２セグチューナ１１４を具備してもよい。
【００４５】
画像処理部１２０は、上記記憶部１４０のワンセグ記憶部１４２に記録されたワンセグ放送の画像データに対して、所定の画像処理を行う。この画像処理部１２０は、シーン分割部１２２と、ワンセグ代表画抽出部１２４（本発明の第２の画像抽出部に相当する。）とを備える。
【００４６】
シーン分割部１２２は、ワンセグ放送の画像データ（以下、「ワンセグ画像」という。）に対して画像処理を行い、この画像処理結果に基づいて、放送番組を複数のシーンに分割する（シーンカット）。例えば、シーン分割部１２２は、ワンセグ画像を画像処理することで、ワンセグ画像のシーンとシーンの境界であるシーンチェンジを複数検出し、検出した各シーンチェンジの箇所で、ワンセグ放送の放送番組を複数のシーンに分割する。このシーンチェンジを検出する手法として、例えば、シーン分割部１２２は、ワンセグ画像の複数の画像の位相相関を演算し、この位相相関に基づいて、シーンとシーンの境界であるシーンチェンジを検出する。また、別の手法として、シーン分割部１２２は、ワンセグ画像の複数の画面の画像信号の平均値をそれぞれ演算し、各画像信号と当該平均値との差分を演算し、この差分をマッチングし、マッチングした結果得られる上記画面の座標位置における振幅の値に基づいてシーンチェンジを検出する。
【００４７】
代表画抽出部１２４は、ワンセグ画像から、上記シーン分割部１２２によりシーン分割された放送番組の各シーンの代表画像（サムネール画像）を特定して、抽出する。例えば、代表画抽出部１２４は、上記各シーンに含まれる画像の中から、最も動きの少ない画像（例えばフレーム）を代表画像として特定する。このとき、代表画抽出部１２４は、ワンセグ画像のフレームごとの位相相関を求めて、この位相相関に基づいて動きベクトルを求め、シーンごとの最も動きが少ない部分を選択することで、動きボケのない良質の代表静止画像を得ることができる。さらに、代表画抽出部１２４は、特定した各シーンの代表画像を表す情報（例えば、各シーンの代表画像のフレーム番号）を、１２セグ代表画抽出部１２６に出力する。
【００４８】
１２セグ代表画抽出部１２６（本発明の第１の画像抽出部に相当する。）は、記憶部１４０に記憶されている１２セグ放送の画像データ（以下、「１２セグ画像」という。）から、１２セグ画像の各シーンの代表画を抽出する。このとき、１２セグ代表画抽出部１２６は、上記ワンセグ代表画抽出部１２４により特定された、上記ワンセグ画像の各シーンの代表画に対応する部分（例えばフレーム）の画像を、１２セグ画像の代表画として抽出する。
【００４９】
圧縮解凍部１３０は、ワンセグ放送又は１２セグ放送の放送番組の画像又は音声データを、所定の圧縮符号化方式で圧縮符号化（デコード）又は復号（圧縮解凍：デコード）する。この圧縮解凍部１３０は、ワンセグ復号部１３２と、１２セグ復号部１３４と、代表画圧縮部１３６と、代表画復号部１３８と、を備える。
【００５０】
ワンセグ復号部１３２は、ワンセグチューナ１１２から出力された、又は、ワンセグ記憶部１４２から読み出されたワンセグ画像及び音声の圧縮データを復号する。１２セグ復号部１３４は、１２セグチューナ１１４から出力された、又は、１２セグ記憶部１４４から読み出された１２セグ画像及び音声の圧縮データを復号する。代表画圧縮部１３６は、上記ワンセグ代表画抽出部１２４により抽出されたワンセグ画像の各シーンの代表画、又は、上記１２セグ代表画抽出部１２６により抽出された１２セグ画像の各シーンの代表画を圧縮して、圧縮データを生成する。代表画復号部１３８は、記憶部１４０から読み出された、ワンセグ画像の各シーンの代表画の圧縮データ、又は、１２セグ画像の各シーンの代表画の圧縮データを復号する。
【００５１】
記憶部１４０は、ワンセグ放送及び１２セグ放送の放送番組の画像及び音声データ（番組コンテンツ）や、放送番組の各シーンの代表画、これらを関連付ける管理情報等の各種のデータを記憶する。この記憶部１４０は、例えば、ハードディスクドライブ（ＨＤＤ）又は光ディスクドライブ等のストレージ装置で構成される。ＨＤＤは、記録媒体であるハードディスクに対して、各種の情報を書き込み／読み出しする。同様に、光ディスクドライブも、記録媒体である光ディスクに対して、各種の情報を書き込み／読み出しする。このようなＨＤＤ又は光ディスクドライブからなる記憶部１４０は、同一の放送番組に関し、１２セグ放送（第１の放送）とワンセグ放送（第２の放送）の画像及び音声を記憶する記憶部の一例として構成されている。しかし、記憶部１４０は、かかる例に限定されず、記録媒体として、例えば、ハードディスク等の磁気ディスク、又は、次世代ＤＶＤ（Ｂｌｕ−Ｒａｙディスク等）、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ若しくは光磁気ディスク等の光ディスク、又は、フラッシュメモリ等の各種の半導体メモリなど、任意の記録媒体を使用できる。記憶部１４０は、画像処理装置１０に内蔵されてもよいし、外付けされてもよい。さらに、記憶部１４０の記録媒体は、画像処理装置１０に内蔵される固定型の記録媒体であってもよいし、画像処理装置１０に着脱可能なリムーバブル記録媒体であってもよい。
【００５２】
かかる記憶部１４０は、ワンセグ記憶部１４２と、１２セグ記憶部１４４と、代表画データベース１４６と、チャプターデータベース１４８とを含む。ワンセグ記憶部１４２は、ワンセグ放送の１又は２以上の放送番組の番組コンテンツ（画像及び音声データ等）を記憶する。１２セグ記憶部１４４は、１２セグ放送の１又は２以上の放送番組の番組コンテンツ（画像及び音声データ等）を記憶する。
【００５３】
代表画データベース１４６は、ワンセグ放送及び１２セグ放送の放送番組の各シーンの代表画を記憶する。代表画データベース１４６は、ワンセグ代表画記憶領域１４６ａと、１２セグ代表画記憶領域１４６ｂとを含む。ワンセグ代表画記憶領域１４６ａは、上記ワンセグ代表画抽出部１２４により抽出されたワンセグ画像の各シーンの代表画を記憶する。１２セグ代表画記憶領域１４６ｂは、上記１２セグ代表画抽出部１２６により抽出された１２セグ画像の各シーンの代表画を記憶する。
【００５４】
チャプターデータベース１４８は、上記シーン分割部１２２により設定された放送番組の各シーンに対応するチャプターを表す情報（例えばチャプター番号）と、当該各シーンの代表画を表す情報（例えばフレーム番号）とを関連付けた情報を記憶する。かかるチャプターデータベース１４８を参照することで、放送番組に設定された複数のチャプターと、各チャプターの代表画を取得可能となる。
【００５５】
入力部１５０は、例えば、操作キー、タッチパネル、リモートコントローラなどのユーザ操作具で構成され、ユーザ入力を受け付ける。ユーザは、かかる入力部１５０を操作することで、画像処理装置１０に対して各種のデータを入力したり、各種の動作を指示したりできる。
【００５６】
表示部１６０は、液晶ディスプレイ、ＰＤＰ、有機ＥＬ等のディスプレイ装置などで構成され、各種の情報を表示する。この表示部１６０は、上記ＣＰＵ１０１の表示制御部１０６の制御に基づいて、ワンセグ放送又は１２セグ放送の動画像や代表画を表示する。なお、画像処理装置１０は、表示部１６０を具備していなくてもよい。例えば、画像処理装置１０がテレビジョン受像機である場合には、画像処理装置１０に表示部１６０が設けられる。一方、画像処理装置１０が、例えば、テレビジョン受像機に接続されるＨＤＤレコーダ等の記録再生装置である場合には、表示部１６０は、画像処理装置１０とは別の装置（テレビジョン受像機等）に設けられる。
【００５７】
以上、図３を参照して画像処理装置１０の構成について説明した。図３の例では、画像処理部１２０及び圧縮解凍部１３０などは、上記機能を有するハードウェアで構成されている。これにより、専用のハードウェアを用いた高速処理が可能となるので、ワンセグ放送や１２セグ放送の放送番組の録画と同時並行して、上記のシーンカット及び代表画抽出処理をリアルタイムで実行できる。よって、画像処理装置１０は、放送中の放送番組の録画中または録画終了前後に、当該放送番組のワンセグ動画、各シーンのワンセグ画像の代表画（サムネール画像）、再生中のワンセグ動画に対応するシーンの１２セグ画像の代表画を再生して表示できる。従って、ユーザは、放送中にリアルタイムで、放送番組の各シーンの代表画をブラウジングできるので、ユーザの利便性が高まる。
【００５８】
しかし、かかる例に限定されず、上記画像処理部１２０及び圧縮解凍部１３０などの各機能をコンピュータに実行させるプログラムを、画像処理装置１０にインストールすることで、上記画像処理部１２０及び圧縮解凍部１３０などをソフトウェアで実現することも可能である。この場合には、画像処理装置１０に特殊なハードウェアを実装しなくてすむので、装置コストが廉価になるという利点がある。ソフトウェアによる処理パフォーマンスが低いときには、例えば、放送番組を録画後のアイドルタイム（画像処理装置１０が待機状態にあるとき、例えば深夜）に、録画した放送番組について代表画抽出処理を自動的に実行するようにしてもよい。
【００５９】
次に、図４を参照して、画像処理装置１０の代表画抽出処理について説明する。図４は、本実施形態にかかる画像処理装置１０において、ワンセグ画像の画像処理結果に応じて１２セグ画像の代表画を抽出する処理フローを示す。
【００６０】
図４に示すように、画像処理装置１０に地上波デジタル放送の放送番組の受信信号が入力されると、同一の放送番組に関し、ワンセグチューナ１１２からワンセグ放送の受信信号が出力され、１２セグチューナ１１４から１２セグ放送の受信信号が出力される。ワンセグチューナ１１２から出力されたワンセグ放送の受信信号（画像信号及び音声信号を含む。）のストリームは、記録再生制御部１０４により、ワンセグ記憶部１４２に記録される。一方、１２セグチューナ１１４から出力された１２セグ放送の受信信号（画像信号及び音声信号を含む。）のストリームは、記録再生制御部１０４により、１２セグ記憶部１４４に記録される。なお、上記のようにして記録されたワンセグ放送及び１２セグ放送の画像及び音声データは、放送局において予め所定の圧縮符号化方式で圧縮符号化された圧縮データである。
【００６１】
ワンセグ画像の代表画を抽出する場合、まず、ＣＰＵ１０１は、ワンセグ記憶部１４２から、ワンセグ放送の画像データ（ワンセグ画像）を読み出して、シーン分割部１２２に入力する。シーン分割部１２２は、入力されたワンセグ画像に対して所定の画像処理を行うことで、放送番組のシーンとシーンの境界であるシーンチェンジのフレームを検出し、このシーンチェンジのフレームの位置で放送番組をシーンカットして、複数のシーンに分割する。
【００６２】
次いで、ワンセグ代表画抽出部１２４は、ワンセグ画像の各シーンの画像に対して所定の画像処理を行うことで、各シーンを代表する静止画（フレーム）を特定し、特定したフレームの画像を、各シーンの代表画（サムネール画像）としてそれぞれ抽出する。抽出されたワンセグ画像の各シーンの代表画は、記録再生制御部１０４により、代表画データベース１４６のワンセグ代表画記憶領域１４６ａに記録される。
【００６３】
以上のようにして、ワンセグ画像がシーン分割され、各シーンの代表画が抽出されると、ＣＰＵ１０１は、各シーンにチャプター番号を割り当てて、このチャプター番号と、各シーンの代表画を表すフレーム番号とを関連付けて、チャプターデータベース１４８に登録する。また、ＣＰＵ１０１は、上記ワンセグ代表画抽出部１２４により特定された各シーンの代表画のフレーム番号を、１２セグ代表画抽出部１２６に入力する。
【００６４】
ワンセグ画像の代表画抽出に応じて、１２セグ画像の代表画を抽出する場合、まず、ＣＰＵ１０１は、１２セグ記憶部１４４から、１２セグ放送の画像データ（１２セグ画像）を読み出して、１２セグ復号部１３４に入力する。１２セグ復号部１３４は、入力された１２セグ画像の圧縮データを復号（デコード）して、復号データを１２セグ代表画抽出部１２６に出力する。
【００６５】
次いで、１２セグ代表画抽出部１２６は、上記ワンセグ代表画抽出部１２４から取得した代表画フレーム番号に基づいて、１２セグ復号部１３４により復号された１２セグ画像から、各シーンの代表画（フレーム）を順次抽出する。抽出された１２セグ画像の各シーンの代表画は、代表画圧縮部１３６により圧縮符号化（エンコード）された後に、記録再生制御部１０４により、代表画データベース１４６の１２セグ代表画記憶領域１４６ｂに記録される。
【００６６】
その後、画像処理装置１０に記録された放送番組を再生して表示する場合、記録再生制御部１０４は、代表画復号部１３６、ワンセグ復号部１３２等を制御して、ワンセグ記憶部１４２に記録されているワンセグ画像（動画像）と、ワンセグ代表画記憶領域１４６ａに記録されているワンセグ放送の複数シーンの代表画（静止画）と、１２セグ代表画記憶領域１４６ｂに記録されている１２セグ放送の各シーンの代表画（静止画）とを再生する。かかる各画像の再生データは、表示制御部１０６により、表示画面内における表示位置やレイアウト調整がなされた上で、表示データとして、表示部１６０に出力されて表示される。
【００６７】
以上のように、本実施形態にかかる画像処理装置１０では、放送番組の１２セグ画像（ＨＤＴＶ画像）をシーンカットして、各シーンの代表画を抽出するために、データ量が少ないワンセグ画像を利用する。即ち、ワンセグ画像は、１２セグ画像と比べて、画素数及び転送レートが非常に小さい。従って、画像処理部１２０は、入力されたワンセグ画像をダウンサンプリング（画素数の低減）することなく、そのまま用いて、シーンチェンジ検出のための演算処理を実行できる。よって、１２セグ画像をダウンサンプリングした上で、シーンチェンジ検出のための演算処理を実行する場合と比べて、シーンチェンジ検出処理に要するデータ計算量を大幅に低減できる。
【００６８】
次に、本実施形態にかかる画像処理部１２０によるシーンチェンジ検出処理及び代表画抽出処理の例について詳細に説明する。
【００６９】
シーンチェンジ検出の手法としては、上記特許文献１に記載のように、輝度のヒストグラムの変化に基づいてシーン検出を算出する手法がある。この手法では、画像の各フレームについて、前後するフレームの画像情報の差分値を算出し、連続する所定数のフレームにおける差分値の分散を算出し、算出した分散を用いて所定数のフレームに含まれるフレームの差分値の偏差値を算出し、算出した偏差値が閾値よりも大きいかを判定し、偏差値が閾値よりも大きいとき、そのフレームをシーンチェンジのフレームとして検出するものである。
【００７０】
しかし、かかる手法では、画像の明るさや動きの変化に反応しがちとなり、同様の内容の画面でも明るさが変化しただけで、シーンチェンジとして誤検出するおそれがある。本実施形態にかかる画像処理部１２０は、かかる手法を利用することも勿論可能であるが、より正確にシーンチェンジを検出するために、次の図５〜図７（第１のシーンチェンジ検出処理例）、図８〜図１０（第２のシーンチェンジ検出処理例）の手法を利用している。
【００７１】
まず、図５〜図７を参照して、第１のシーンチェンジ検出処理例について説明する。この第１のシーンチェンジ検出処理は、画像のフレームごとの位相相関を用いて検出処理を行うことで、誤検出を低減するものである。
【００７２】
図５は、第１のシーンチェンジ検出処理を実行する画像処理部１２０Ａの構成を示す。図５に示すように、画像処理部１２０Ａは、画像入力部１１Ａ、１１Ｂ、領域抽出部１２Ａ、１２Ｂ、非画像検出部１４Ａ、１４Ｂ、演算部１５、正規化部１６、計数部１７、判定部１８、並びに記憶部１９により構成されている。
【００７３】
画像入力部１１Ａは、例えば、チューナからテレビジョン放送の放送信号の受信信号が入力され、受信信号を領域抽出部１２Ａに出力する。領域抽出部１２Ａは、受信された一画面を構成する画像信号のうち、所定の範囲の画像信号を抽出する。領域抽出部１２Ａにより抽出された所定の範囲の画像信号は、非画像検出部１４Ａに供給される。同様に、画像入力部１１Ｂ、領域抽出部１２Ｂが設けられており、これらは、画像入力部１１Ａ、領域抽出部１２Ａと同様の処理を、それらと異なる画面の画像について行う。
【００７４】
ここで、従来のように、高画素数で転送レートの大きい１２セグ画像を用いて画像処理を行う場合には、非画像検出部１４Ａ、１４Ｂ以降の演算量を低減するために、領域抽出部１２Ａ、１２Ｂの後段に画像縮小部（図示せず。）をそれぞれ設け、この画像縮小部によって、領域抽出部１２Ａ、１２Ｂにより抽出された所定の領域の画像信号を、より少ない画素の画像信号に縮小（即ち、ダウンサンプリング）する必要があった。例えば、領域抽出部１２Ａ、１２Ｂにより抽出された５１２画素×３８４画素の画面がインターレース方式の画像である場合、一方のフィールドの画像（５１２画素×１９２画素）を選び、このうちの８画素×６画素のブロックの平均値が演算され、その平均値からなる縮小画面（６４画素×３２画素）を生成していた。しかし、本実施形態にかかる画像処理部１２０Ａでは、低画素数で転送レートの小さいワンセグ画像を用いて画像処理するため、かかる画像縮小部を設けなくてもよく、ダウンサンプリング処理が不要である。
【００７５】
非画像検出部１４Ａ、１４Ｂは、例えば、フラッシュがたかれて全体が白くつぶれてしまった画像のように、実質的には画像とはいえない無意味な画像（以下、「非画像」と称する。）を検出する。非画像検出部１４Ａは、フーリエ変換部３１Ａ、交流成分検出部３２Ａ、および判定部３３Ａにより構成されている。同様に、非画像検出部１４Ｂは、フーリエ変換部３１Ｂ、交流成分検出部３２Ｂ、および判定部３３Ｂにより構成されている。
【００７６】
フーリエ変換部３１Ａは、画像抽出部１２Ａから供給された画像信号を高速フーリエ変換し、交流成分検出部３２Ａに出力する。交流成分検出部３２Ａは、フーリエ変換部３１Ａより入力された信号の交流成分を検出する。判定部３３Ａは、交流成分検出部３２Ａにより検出された交流成分を予め設定されている所定の閾値と比較し、その比較結果に基づいて、入力された画像が実質的に非画像であるか否かを判定し、その判定結果に基づいてクロスパワースペクトル検出部５１の動作を制御する。
【００７７】
非画像検出部１４Ｂのフーリエ変換部３１Ｂ、交流成分検出部３２Ｂ、および判定部３３Ｂも、非画像検出部１４Ａのフーリエ変換部３１Ａ、交流成分検出部３２Ａ、および判定部３３Ａと同様に、画像縮小部１３Ｂの出力を処理する。そして、処理した得られた判定結果に基づいて、クロスパワースペクトル検出部５１の動作が制御される。
【００７８】
演算部１５は、ＳＰＯＭＦ（Ｓｙｍｍｅｔｒｉｃａｌ  Ｐｈａｓｅ  Ｏｎｌｙ  Ｍａｔｃｈｅｄ  Ｆｉｌｔｅｒｉｎｇ）方式の演算を行う。ＳＰＯＭＦについては“Ｓｙｍｍｅｔｒｉｃ  Ｐｈａｓｅ−Ｏｎｌｙ  Ｍａｔｃｈｅｄ  Ｆｉｌｔｅｒｉｎｇ  ｏｆ  Ｆｏｕｒｉｅｒ−Ｍｅｌｌｉｎ  Ｔｒａｎｓｆｏｒｍｓ  ｆｏｒ  Ｉｍａｇｅ  Ｒｅｇｉｓｔｒａｔｉｏｎ  ａｎｄ  Ｒｅｃｏｇｎｉｔｉｏｎ”ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｎ  Ｐａｔｔｅｒｎ  ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ、  ＶＯＬ．１６  Ｎｏ．１２  Ｄｅｃｅｍｂｅｒ  １９９４などに記載されている。
【００７９】
演算部１５は、この実施の形態の場合、クロスパワースペクトル検出部５１と逆フーリエ変換部５２により構成されているが、実質的には非画像検出部１４Ａ、１４Ｂのフーリエ変換部３１Ａ、３１Ｂも演算部１５の一部を構成している。すなわち、演算部１５のフーリエ変換部は、非画像検出部１４Ａ、１４Ｂのフーリエ変換部により代用されている。もちろん、演算部１５に専用のフーリエ変換部を設けることもできる。
【００８０】
クロスパワースペクトル検出部５１は、フーリエ変換部３１Ａの出力とフーリエ変換部３１Ｂの出力からクロスパワースペクトルを演算する。このクロスパワースペクトル検出部５１の動作は、判定部３３Ａ、３３Ｂの出力により制御される。すなわち、いま処理されている画像が実質的に非画像であることが判定部３３Ａまたは判定部３３Ｂにより検出された場合、クロスパワースペクトル検出部５１の処理は禁止される。逆フーリエ変換部５２は、クロスパワースペクトル検出部５１の出力を逆高速フーリエ変換する。
【００８１】
正規化部１６は、逆フーリエ変換部５２の出力を正規化する。計数部１７は、正規化部１６の出力のピークを検出し、その検出結果を判定部１８に出力する。判定部１８は、計数部１７により検出されたピークの数を、予め設定されている所定の基準値と比較し、その比較結果を記憶部１９に出力し、記憶させる。記憶部１９には、画像入力部１１Ａ、１１Ｂより出力された画像信号も記憶される。
【００８２】
次に、図６、図７を参照して、図５の構成の画像処理部１２０Ａによる第１のシーンチェンジ検出処理について説明する。
【００８３】
図６、図７に示すように、ステップＳ１において、画像入力部１１Ａ、１１Ｂはそれぞれ異なる画面の画像を入力する。領域抽出部１２Ａ、１２Ｂは、ステップＳ１で画像入力部１１Ａより入力された画像から所定の領域を抽出する。具体的には、例えば、１画面の上下左右から所定画素が外周の範囲が除かれ、その内部の領域が抽出される。テロップなどの文字は、画面の周囲に表示されることが多いため、このような画面の周囲の画像信号を除くことにより、テロップなどの画像や、画面の周囲に模様のある外枠の画像がシーンチェンジの検出に利用され、誤検出されることが防止される。なお、抽出される境界の外側の画素値を急激に０とするのではなく、クロスフェード的に滑らかに変化させるようにすることで、境界線のスペクトラムの影響を受けにくくすることができる。
【００８４】
なお、画像処理対象として１２セグ画像を利用した場合、このＳ２の後に、画面内の画素をブロック単位で平均化して、画素数を低減した縮小画面を生成するダウンサンプリング処理（Ｓ３：図示せず。）が必要であった。しかし、本実施形態では、画像処理対象としてワンセグ画像を利用しているので、ダウンサンプリング処理は不要である。
【００８５】
次に、ステップＳ４において、フーリエ変換部３１Ａは、画像信号を２次元高速フーリエ変換する。具体的には、式（１）で示される演算が行われる。同様に、フーリエ変換部３１Ｂも式（２）で示される２次元高速フーリエ変換を行う。
【００８６】
【数１】
2009117923.tif 000003
【００８７】
ステップＳ５において、交流成分検出部３２Ａは、フーリエ変換部３１Ａの出力から交流成分を検出する。同様に、交流成分検出部３２Ｂもフーリエ変換部３１Ｂの中から交流成分を検出する。ステップＳ６において、判定部３３Ａ、３３Ｂは、それぞれ交流成分検出部３２Ａ、３２Ｂの検出結果を予め設定されている所定の閾値と比較し、交流成分が閾値以上か否かを判定する。
【００８８】
領域抽出部１２Ａ、１２Ｂで抽出された異なるフレームの画像うち、その一方のフレームの画像がフラッシュなどにより白くつぶれてしまった非画像であり、他方のフレームの画像がそうではない通常の画像である場合、両者は相関がない（すなわち、シーンチェンジである）と判断されることが多い。しかしながら、このような場合には、実際にはシーンチェンジではなく、たまたま連続する画面の１つがフラッシュにより明るい画像として表示されているにすぎない。そこでこのようなフレームが、シーンチェンジとして検出されるのは好ましくない。フラッシュなどにより画像が白くつぶれしている場合の高速フーリエ変換の計数は交流成分が少なくなる。そこで、交流成分が予め設定されている閾値より少ない場合には、ステップＳ１４において、判定部３３Ａ、３３Ｂは、現在処理しているフレームは、シーンチェンジではないと判定する。これにより、白くつぶれた画像がシーンチェンジと誤検出されることが抑制される。
【００８９】
次に、ステップＳ１５において、判定部３３Ａ、３３Ｂは、すべてのフレームを検出したかを判定する。まだ、すべてのフレームを検出していない場合、処理はステップＳ１に戻り、それ以降の処理が繰り返し実行される。
【００９０】
ステップＳ６において、交流成分が閾値以上であると判定された場合、ステップＳ７において、クロスパワースペクトル検出部５１は、クロスパワースペクトルを検出する。具体的には、クロスパワースペクトル検出部５１は、クロスパワースペクトルとして式（３）または式（４）を演算する。
【００９１】
【数２】
2009117923.tif 000004
【００９２】
ｆｘ、ｆｙは、周波数空間を表し、Ｇ＊（ｆｘ、ｆｙ）の「＊」は、Ｇ（ｆｘ、ｆｙ）の複素共役を意味する。
【００９３】
ステップＳ８において、逆フーリエ変換部５２は、クロスパワースペクトル検出部５１の出力するクロスパワースペクトルを２次元逆高速フーリエ変換する。具体的には、式（５）に示される値ｓ（ｘ、ｙ）が演算される。
【００９４】
【数３】
2009117923.tif 000005
【００９５】
ステップＳ９において、正規化部１６は、逆フーリエ変換部５２の出力ｓ（ｘ、ｙ）を最大値が１になるように正規化する。具体的には、次の式（６）が演算される。式（６）の右辺の分母は、値ｓ（ｘ、ｙ）の絶対値の最大値を意味する。
【００９６】
【数４】
2009117923.tif 000006
【００９７】
ステップＳ１０において、計数部１７は、閾値以上の大きさの振幅の数を計数する。ステップＳ１１において、判定部１８は、ステップＳ１０における計数値が予め設定されている閾値以上か否かを判定する。計数値が閾値以上である場合には、ステップＳ１２において、判定部１８は、今処理中の画面はシーンチェンジであると判定する。これに対して計数値が閾値以上ではないと判定された場合、ステップＳ１４において判定部１８は、今処理中の画面はシーンチェンジではないと判定する。
【００９８】
ステップＳ１２において、シーンチェンジであると判定された場合、ステップＳ１３において、記憶部１９は判定結果を記憶する。すなわち、今処理中のフレームがシーンチェンジであることが、記憶部１９に画像入力部１１Ａより入力されたそのフレームの画像信号に対応付けて記憶される。
【００９９】
ステップＳ１３、Ｓ１４の処理の後、ステップＳ１５において、判定部１８はすべてのフレームを検出したかを判定し、まだ検出していないフレームが存在する場合には、処理はステップＳ１に戻り、それ以降の処理が繰り返し実行される。すべてのフレームを検出したと判定された場合、シーンチェンジ検出処理は終了される。
【０１００】
以上説明したように、第１のシーンチェンジ検出処理の例では、複数の画面の画像信号の位相相関を演算し、その演算の結果得られる画面の座標位置における振幅の値に基づいて、シーンチェンジを検出する。これにより、画面の明るさや動きの変化に過敏に反応することなく、誤検出を防止して、シーンチェンジを正確に検出できる。
【０１０１】
次に、図８〜図１０を参照して、ＳＰＯＭＦの以外の演算によりシーンチェンジを検出する第２のシーンチェンジ検出処理例について説明する。この第２のシーンチェンジ検出処理は、複数の画面の画像信号の平均値と、当該画像信号と平均値との差分を用いて検出処理を行うことで、誤検出を低減するものである。
【０１０２】
図８は、第２のシーンチェンジ検出処理を実行する画像処理部１２０Ｂの構成を示す。図８に示すように、画像処理部１２０Ｂでは、画像入力部１１Ａ、領域抽出部１２Ａで処理された画像信号が、演算部２０Ａで処理される。また同様に、画像入力部１１Ｂ、領域抽出部１２Ｂで処理された画像信号が、演算部２０Ｂで処理される。
【０１０３】
ここで、従来のように、高画素数で転送レートの大きい１２セグ画像を用いて画像処理を行う場合には、演算部２０Ａ、２０Ｂ以降で画像信号の平均値を求めその平均値との差分を求めるだけでも、画素数が多いので、演算量が多くなる。しかし、本実施形態では、低画素数で転送レートの小さいワンセグ画像を用いて画像処理するため、演算量は極めて小さくなる。
【０１０４】
演算部２０Ａは、平均値演算部２２Ａと差分演算部２３Ａで構成されている。同様に、演算部２０Ｂは、平均値演算部２２Ｂと差分演算部２３Ｂにより構成されている。平均値演算部２２Ａ、２２Ｂは、それぞれ、領域抽出部１２Ａ、１２Ｂが出力した画像信号の平均値を演算する。差分演算部２３Ａ、２３Ｂは、領域抽出部１２Ａ、１２Ｂが出力した画像信号と、平均値演算部２２Ａ、２２Ｂの出力との差分をそれぞれ演算する。
【０１０５】
差分演算部２３Ａ、２３Ｂの出力は演算部２１により演算される。演算部２１は、マッチング部２４と乗算部２５により構成される。マッチング部２４は、差分演算部２３Ａと差分演算部２３Ｂの差分絶対値和を演算する。乗算部２５は、マッチング部２４が出力する差分絶対値和に−１を乗算する。
【０１０６】
演算部２１の出力は、上述した場合と同様に、正規化部１６、計数部１７、判定部１８、並びに記憶部１９により処理される。
【０１０７】
次に、図９、図１０を参照して、図８の構成の画像処理部１２０Ｂによる第２のシーンチェンジ検出処理について説明する。
【０１０８】
図９、図１０に示すように、ステップＳ２１において、画像入力部１１Ａ、１１Ｂは画像を入力する。ステップＳ２２において、領域抽出部１２Ａ、１２Ｂは、それぞれ、画像入力部１１Ａ、１１Ｂから入力されたそれぞれ異なるフレームの画面の所定の領域を抽出する。
【０１０９】
ステップＳ２４において、平均値演算部２２Ａ、２２Ｂは、それぞれ、領域抽出部１２Ａ、１２Ｂより出力された画像の１画面分の平均値を演算する。この平均値は、それぞれ、ＡＶＧ（Ｆ（Ｘ、Ｙ））、ＡＶＧ（Ｇ（Ｘ、Ｙ））と表される。
【０１１０】
ステップＳ２５において、差分演算部２３Ａ、２３Ｂは、それぞれ、領域抽出部１２Ａ、１２Ｂの出力と平均値演算部２２Ａ、３６１Ｂの出力との差分を演算する。具体的には、次の式（７）と式（８）の演算が行われる。なお、以下の式において、「’」は、それが付されていない変数と異なる変数であることを表す。
【０１１１】
【数５】
2009117923.tif 000007
【０１１２】
ステップＳ２６において、マッチング部２４は、差分演算部２３Ａ、２３Ｂの出力の差分絶対値和を求める。具体的には、次の式（９）の演算が行われる。ステップＳ２７において、乗算部２５は、マッチング部２４が出力する差分絶対値和に−１を乗算する。すなわち、式（１０）が演算される。
【０１１３】
【数６】
2009117923.tif 000008
【０１１４】
ステップＳ２８において、正規化部１６は、乗算部２５の出力を正規化する。具体的には、次の式（１１）が演算される。
【０１１５】
【数７】
2009117923.tif 000009
【０１１６】
ステップＳ２９において、計数部１７は、閾値以上の大きさの振幅の数を計数する。ステップＳ３０において、判定部１８は、ステップＳ２９で計数された計数値が閾値以上か否かを判定する。計数値が閾値以上ではない場合には、ステップＳ３３において、判定部１８は、今処理しているフレームはシーンチェンジではないと判定する。その後、ステップＳ３４において、判定部１８は、すべてのフレームを検出したかを判定し、まだすべてのフレームを検出していない場合、処理はステップＳ２１に戻り、それ以降の処理が繰り返し実行される。
【０１１７】
ステップＳ３０において、計数値が閾値以上であると判定された場合、ステップＳ３１において、判定部１８は、処理対象のフレームはシーンチェンジであると判定する。ステップＳ３２において、記憶部１９は、ステップＳ３１の判定結果を記憶する。そして、ステップＳ３４において、判定部１８は、同様にすべてのフレームを検出したか否かを判定する。まだすべてのフレームを検出していない場合、処理はステップＳ２１に戻り、それ以降の処理が繰り返し実行される。すべてのフレームを検出したと判定された場合、シーンチェンジ検出処理は終了される。
【０１１８】
以上説明したように、第２のシーンチェンジ検出処理の例では、複数の画面の画像信号の平均値のそれぞれを演算し、複数の画面の画像信号と、演算されたそれぞれの平均値との差分を演算し、演算された差分をマッチングし、マッチングの結果得られる画面の座標位置における振幅の値に基づいてシーンチェンジを検出する。これにより、画面の明るさや動きの変化に過敏に反応することなく、誤検出を防止して、シーンチェンジを正確に検出できる。
【０１１９】
以上、本実施形態にかかる画像処理部１２０による第１及び第２のシーンチェンジ検出処理の具体例について、図５〜図１０を参照して説明した。画像処理部１２０は、上記のようにシーンチェンジを検出することで、放送番組を複数のシーンに分割し、分割した各シーンの代表画を抽出する。この代表画抽出処理では、例えば、複数の画面の画像信号の位相相関に基づき、画像間の動きベクトルを求め、求めた動きベクトルに基づいて、シーン毎に最も動きが少ない部分を選択することで、動きボケのない良質の代表画像を抽出する。なお、シーンチェンジ検出及び代表画抽出処理としては、以上の方法が好ましいが、簡易的な方式として、例えば、フレーム間差、ヒストグラムや高周波成分などを検出することで、シーンチェンジ検出する方法も可能である
【０１２０】
次に、本実施形態にかかる画像処理装置１０における画像処理方法について説明する。まず、図１１を参照して、本実施形態にかかる画像処理装置１０における録画プロセスについて説明する。図１１は、本実施形態にかかる画像処理装置１０における録画プロセスを示すフローチャートである。
【０１２１】
図１１に示すように、まず、画像処理装置１０のＣＰＵ１０１は、ユーザ入力に応じて、録画対象の放送番組を選択し（ステップＳ１００）、当該選択された放送番組の録画予約設定を行う（ステップＳ１０２）。次いで、現在時刻が、上記録画予約された放送番組の開始時刻になると（ステップＳ１０４）、記録再生制御部１０４は、上記放送番組について、１２セグ放送の受信信号（画像信号及び音声信号等）の記録を開始するとともに（ステップＳ１０６）、ワンセグ放送の受信信号の記録を開始する（ステップＳ１０８）。その後、現在時刻が、上記放送番組の終了時刻になると（ステップＳ１１０）、記録再生制御部１０４は、上記放送番組について、１２セグ放送の受信信号の記録を終了するとともに（ステップＳ１１２）、ワンセグ放送の受信信号の記録を終了する（ステップＳ１１４）。
【０１２２】
以上のように、録画予約された放送番組を録画するときには、１２セグ放送とワンセグ放送の双方を録画する。これにより、画像処理装置１０内に、同一の放送番組の１２セグ画像とワンセグ画像が記録されるので、ワンセグ画像の画像処理結果に基づいて、１２セグ画像を処理可能となる。
【０１２３】
次に、図１２を参照して、本実施形態にかかる画像処理装置１０における代表画抽出プロセスについて説明する。図１２は、本実施形態にかかる画像処理装置１０における代表画抽出プロセスを示すフローチャートである。
【０１２４】
図１２に示すように、まず、ＣＰＵ１０１は、記憶部１４０に記憶されている放送番組の画像から、既に代表画を抽出済みであるか否かを判定する（ステップＳ２００）。この判定は、例えば、当該放送番組のデータに、抽出済みであることを表す情報（以下、抽出済みマーク）が付加されているか否かに基づいて行われる。抽出済みである場合には処理を終了し、未抽出である場合はステップＳ２０２に進む。
【０１２５】
次いで、記録再生制御部１０４は、ワンセグ復号部１３２により、記憶部１４０に記録されている放送番組のワンセグ画像をデコードして再生データを得る（ステップＳ２０２）。次いで、シーン分割部１２２は、再生されたワンセグ画像のシーンチェンジを検出して、放送番組を複数のシーンに分割する（ステップＳ２０４）。さらに、シーン分割部１２２は、上記分割された各シーンに対して、チャプターをそれぞれ割り当てて、シーンとチャプターとの関係を表す情報（例えばチャプター番号など）をチャプターデータベース１４８に登録する（ステップＳ２０６）。
【０１２６】
次いで、ワンセグ代表画抽出部１２４は、各シーンのワンセグ画像を画像処理することで、シーンごとに代表画を特定して抽出する（ステップＳ２０８）。例えば、各シーンの画像中で最も動きが少ないフレームが代表画として特定される。かかる代表画抽出ステップでは、ワンセグ画像から、ワンセグ代表画を抽出するとともに、１２セグ画像からも、当該ワンセグ代表画と同じフレーム番号（又はタイムコードなど）を有するフレームが、１２セグ代表画として抽出される。
【０１２７】
さらに、ＣＰＵ１０１は、上記各シーンの代表画として特定されたフレームのフレーム番号をチャプターデータベース１４８に記録し（ステップＳ２１０）、当該フレーム番号をチャプター番号に関連付ける（ステップＳ２１２）。
【０１２８】
次いで、ＣＰＵ１０１は、上記Ｓ２０８で抽出された各シーンのワンセグ代表画を、サムネール画像とするサムネールを作成し（ステップＳ２１４）、当該サムネールを代表画像データベース１４６のワンセグ代表画記憶領域１４６ａに記録する（ステップＳ２１６）。また、各シーンの１２セグ代表画も代表画像データベース１４６の１２セグ代表画記憶領域１４６ｂに記録される。
【０１２９】
その後、上記放送番組のデータに抽出済みマークを付加して（ステップＳ２１８）、全ての処理を終了する。
【０１３０】
ここで、上記図１１の録画プロセスと、次の図１２の代表画抽出プロセスとを実行するタイミングについて説明する。画像処理装置１０の処理能力が高い場合には、録画プロセスと代表画抽出プロセスとを同時並行して実行できる。この場合、図１１のステップＳ１０８におけるワンセグ放送の録画開始後に代表画抽出プロセスを開始し、ステップＳ１１４におけるワンセグ放送の録画終了後に、当該放送番組のすべてのシーンの代表画の抽出処理が完了した時点で、代表画抽出プロセスを終了する。これにより、録画プロセスの実行中にリアルタイムで代表画抽出プロセスを実行できるので、録画中又は録画直後に、抽出済みの代表画を表示できるので、ユーザの利便性が高い。
【０１３１】
一方、画像処理装置１０の処理能力が低い場合には、録画プロセスと代表画抽出プロセスとを同時並行して実行できない。この場合、図１１のステップＳ１１４におけるワンセグ放送の録画終了後であって、例えば画像処理装置１０のアイドルタイム中に、代表画抽出プロセスを開始し、当該放送番組のすべてのシーンの代表画の抽出処理が完了した時点で、代表画抽出プロセスを終了する。
【０１３２】
次に、図１３を参照して、本実施形態にかかる画像処理装置１０における再生プロセスについて説明する。図１３は、本実施形態にかかる画像処理装置１０におけるスライドショー再生を行うときの再生プロセスを示すフローチャートである。
【０１３３】
なお、「スライドショー再生」は、同一の放送番組について、ワンセグ動画と、当該ワンセグ動画で再生中の１のシーンの１２セグ代表画（静止画）とを再生するモードである。このスライドショー再生では、ワンセグ動画のシーン変更に応じて、１２セグ代表画も、変更後のシーンの代表画に切り替わるようになっている。
【０１３４】
図１３に示すように、まず、ユーザにより録画済の放送番組の再生が指示されると、ＣＰＵ１０１は、ユーザによりスライドショー再生が選択されたか否かを判定する（ステップＳ３００）。スライドショー再生が選択された場合には、ステップＳ３０８に進み、選択されていない場合には、ステップＳ３０２に進む。
【０１３５】
さらに、ステップＳ３０２では、ＣＰＵ１０１は、上記再生指示を受けた放送番組の１２セグ画像（本編画像）が、画像処理装置１０の記憶部１４０に残存しているか否かを判定する（ステップＳ３０２）。本実施形態にかかる画像処理装置１０では、同一の放送番組についてワンセグ放送（簡易放送）と１２セグ放送（本編放送）の双方が記録されるため、ユーザは、ワンセグ画像を残しておけば、気軽に１２セグ画像を消去して、記録データ量を節減できる。このため、記憶部１４０内にワンセグ画像のデータのみが残存し、１２セグ画像のデータが残存していない（即ち、記憶されていない）場合も想定される。
【０１３６】
上記判定の結果、１２セグ画像が残存していない場合には、ステップＳ３０８に進み、スライドショー再生が行われる。一方、１２セグ画像が残存していない場合には、ステップＳ３０４に進み、１２セグ画像の通常再生が行われ（ステップＳ３０４）、停止ボタンが押下（ステップＳ３０６）されるまで通常再生が継続される。
【０１３７】
一方、ステップＳ３０８以降でスライドショー再生を行う場合、まず、上記再生指示を受けた放送番組のチャプター１の再生が開始される（ステップＳ３０８）。この途中に、ユーザにより他のチャプターｎの再生が指定された場合には（ステップＳ３１０）、指定されたチャプターｎにジャンプして再生が行われる（ステップＳ３１２）。各チャプターの再生では、上記放送番組の複数のシーンのワンセグ代表画（サムネール画）が再生及び描画されて、表示画面に一覧表示されるとともに（ステップＳ３１４）、再生対象のチャプターの１２セグ代表画が再生及び描画され（ステップＳ３１６）、さらに、再生対象のチャプターのワンセグ動画像が再生されて表示される（ステップＳ３１８）。
【０１３８】
その後、上記チャプター内の最終フレームの再生が終了した時点で（ステップＳ３２０）、ユーザにより再生停止指示（再生停止ボタンの押下）がなされていなければ（ステップＳ３２２）、自動的に次のチャプターの再生が開始される（ステップＳ３２４）。この結果、再生停止指示（ステップＳ３２２）がなされるまで、上記ステップＳ３１０〜Ｓ３２２が繰り返されて、放送番組の各チャプター（上記シーンカットされたシーンに相当する。）の画像が順次再生されて表示部１６０に表示される。
【０１３９】
次に、図１４を参照して、本実施形態にかかる画像処理装置１０による放送番組のブラウジング方式の例について説明する。図１４は、本実施形態にかかる画像処理装置１０による放送番組のブラウジング方式の例を示す説明図である。
【０１４０】
図１４に示すように、表示部１６０の表示画面１６２には、現在再生中の放送番組に関し、ワンセグ放送の動画像（ワンセグ動画像）１６４の小画面と、シーンごとの１２セグ放送の代表静止画（１２セグ代表画）１６５の大画面と、ワンセグ放送の各シーンの代表静止画（ワンセグ代表画）１６６とが同時に表示される。
【０１４１】
ワンセグ動画像１６４は、ワンセグ記憶部１４２に記録されたワンセグ放送の放送番組の画像を、再生して動画表示したものである。このワンセグ動画像１６４は、放送番組を構成するシーン順に表示される。
【０１４２】
１２セグ代表画１６５は、放送番組を構成する複数のシーンのうち、ワンセグ動画像１６４で現在再生中のシーンに対応する代表画を表示したものである。この１２セグ代表画１６５は、代表画データベース１４６に記録された各シーンの１２セグ代表画のうちの１つを再生して表示したものである。かかる各シーンの１２セグ代表画は、上述したように、上記１２セグ代表画抽出部１２６により放送番組の１２セグ画像からシーンごとに抽出されて、代表画データベース１４６に記録された各シーンの代表静止画（即ち、ワンセグ画像から抽出された各シーンの代表静止画１６６とそれぞれ同一のフレーム番号を有する１２セグ画像の静止画）である。１２セグ代表画１６５は、上記ワンセグ動画像１６４のシーンが変更する度に、変更後のシーンに対応する代表静止画に切り替わる。このようにして、図１４の例では、ワンセグ動画像１６４の各シーンの再生進行に応じて、表示画面１６２に表示される１つの１２セグ代表画１６５をシーンごとに順次切り替えるスライドショー再生が実行される。
【０１４３】
さらに、表示画面１６５の例えば下部には、ワンセグ放送の各シーンの代表静止画（ワンセグ代表画）１６６が、放送番組の各シーンを表すサムネール画像として表示されている。ワンセグ代表画１６６は、上記ワンセグ代表画抽出部１２４により放送番組のワンセグ画像からシーンごとに抽出されて、代表画データベース１４６に記録された各シーンの代表静止画である。かかる複数のワンセグ代表画１６６は、シーン順に配列して表示されている。
【０１４４】
この複数のワンセグ代表画１６６は、ユーザが所望のシーンを検索するためのサーチ用代表画ポップアップとして機能する。即ち、ユーザは、表示画面１６２に表示された複数のワンセグ代表画１６６を見ることで、ワンセグ動画像１６４で再生中の放送番組の概要を把握できる。そして、再生シーン切り替え時には、ユーザは、画像処理装置１０の入力部１５０を操作して、表示画面１６２に表示された複数のワンセグ代表画１６６のうちの１つを選択する。すると、表示制御部１０６は、当該選択されたワンセグ代表画１６６のシーンをチャプターデータベース１４８に基づき特定し、当該特定したシーン（チャプター）のワンセグ動画像１６４を表示するとともに、当該特定したシーンの１２セグ代表画１６５を表示する。これによって、ユーザは、所望のシーンのワンセグ代表画１６６を選択するだけで、ワンセグ動画像１６４と１２セグ代表画１６５を所望のシーンの画像に切り替えることができる。
【０１４５】
また、表示画面１６２の空きスペースには、本編切替ボタン１６７が表示されている。本編切替ボタン１６７は、図１４に示すブラウジング方式の表示画面１６２を、一般的な１２セグ動画像（本編のＨＤＴＶ動画像）の表示画面に切り替えるためのボタンである。画像処理装置１０内に当該放送番組の１２セグ画像が残存している場合、本編切替ボタン１６７が表示され、当該放送番組の１２セグ画像が既に消去されている場合には、本編切替ボタン１６７が表示されない。ユーザが入力部１５０を操作して本編切替ボタン１６７を選択すると、ワンセグ動画像１６４等を表示している表示画面１６２が、通常の１２セグ動画像の表示画面に切り替わる。このとき、現在表示中のワンセグ動画像１６４のシーン位置から、１２セグ動画像を再生開始するようにしてもよいし、放送番組の先頭から１２セグ動画像を再生開始するようにしてもよい。
【０１４６】
以上、図１４を参照して、本実施形態にかかる放送番組のブラウジング方式の例について説明した。かかるブラウジング方式では、１つの放送番組について、小画面のワンセグ動画像１６４と、大画面の１つの１２セグ代表画１６５と、複数のワンセグ代表画１６６とが、同時に表示されるとともに、１２セグ代表画１６５は、ワンセグ動画像１６４の再生シーンに連動して自動的に切り替わる（スライドショー再生）。従って、ユーザは、小画面のワンセグ動画像１６４により、放送番組の各シーンにおける映像の動きがわかるとともに、高画質の１２セグ代表画１６５で、再生中のシーンの高精細な静止画像を確認できる。さらに、動きが止まっていて解像度を得やすいフレームのワンセグ代表画１６６が複数並んで表示されているので、ユーザは、放送番組の全体構成を把握できる。加えて、ユーザ所望のワンセグ代表画１６６を選択すれば、ワンセグ動画像１６４と１２セグ代表画１６５が、選択されたワンセグ代表画１６６に対応するシーンにジャンプして表示される。このため、ユーザは、所望のシーンを迅速に検索して視聴したり、興味のないシーンを飛ばしたりできる。
【０１４７】
よって、図１４のブラウジング方式は、例えば、ニュース番組などの放送番組を短時間で飛ばし見する際に便利である。ニュース番組などの情報提供型の番組では、画質はさほど要求されず、それよりも、ユーザ所望のシーンを迅速かつ用意に検索して再生できることが要求される。また、野球やサッカー等のスポーツ観戦番組（例えば２時間）を録画した場合に、短時間（例えば５分）でそのハイライト（得点シーン、試合終了シーンなど）だけを視聴したいというニーズも存在する。この点、図１４のブラウジング方式は、上記のように、スライドショー再生、サムネール画像による番組の全体構成の把握、シーンジャンプなどが可能であるので、これらの番組を視聴する場合に有用であり、ユーザニーズに応えることができる。
【０１４８】
さらに、図１４のブラウジング方式を採用すれば、高画質、大データ量の１２セグ放送（ＨＤＴＶ放送）の画像データについては、１２セグ代表画１６５の静止画データのみを残して、残りを削除しても構わない。従って、従来のように１２セグ放送の画像データの全てを保存する場合と比べて、画像処理装置１０が保持する放送番組のデータ記憶量を大幅に（例えば約１／５に）低減できるとともに、その放送番組を快適に視聴できるという効果もある。ここで、画像処理装置１０のデータ記憶量について例示する。
【０１４９】
例えば、１２セグ放送、ワンセグ放送のデータ転送レート（フレームレート）がそれぞれ、４Ｍｂｐｓ、４１６ｋｂｐｓであるとする。このとき、１２セグ画像（動画像データ）とワンセグ画像（動画像データ）を保持する場合に、画像処理装置が保持するデータ量Ａは、「４Ｍｂｐｓ＋４１６ｋｂｐｓ＝合計４．４１６Ｍｂｐｓ」となる。
【０１５０】
一方、本実施形態にかかる画像処理装置１０において図１４の表示例を採用すれば、１２セグ代表画１６５のデータを除いて、１２セグ画像のデータを削除することができる。この場合、１２セグ代表画１６５のデータ量が５００ｋバイト／１枚であるとすると、１２セグ画像（動画像データ）から１０秒に１回ずつ１２セグ代表画１６５（静止画像データ）を抽出したとすると、そのデータ量は、５００ｋバイト／１０ｓｅｃ＝約４００ｋｂｐｓである。よって、１２セグ代表画１６５（静止画データ）とワンセグ画像（動画像データ）を保持する場合に、画像処理装置１０が保持するデータ量Ｂは、「約４００ｋｂｐｓ＋４１６ｋｂｐｓ＝合計約８１６Ｍｂｐｓ」となり、上記データ量Ａ「４．４１６Ｍｂｐｓ」の約１／５となる。
【０１５１】
以上のように、図１４のブラウジング方式によれば、画像処理装置１０が保持する番組コンテンツのデータ量を大幅に削減して、例えば１／５程度にできる。さらに、画像処理装置１０に録画した番組コンテンツ（１２セグ動画像）のデータを消去する際に、上記の１／５に圧縮されたデータ（ワンセグ動画像と１２セグ代表画）を残すことで、データ消去に対するユーザの心理的ストレスを低減できる。
【０１５２】
加えて、上記図１４のブラウジング方式を、ユーザがカムコーダ等を用いて自己録画したプライベートコンテンツに適用すれば、手振れの多いプライベートコンテンツが見やすくなるという効果もある。つまり、カムコーダで録画した手振れの多い画像を大画面で見ると、見難くて目が疲れてしまったり、手振れ映像に酔ったりしてしまう。ところが、本実施形態にかかるブラウジング方式では、低画質の動画は小画面で、高画質の静止画は大画面で並列表示されるので、手振れのあるプライベートコンテンツであっても見やすい。このように上記ブラウジング方式をプライベートコンテンツに適用する場合には、録画したプライベートコンテンツの本編画像（上記１２セグ画像に相当する。）をダウンサンプリングして、転送レートを低くした簡易画像（上記ワンセグ画像に相当する。）を、画像処理装置１０側で生成すればよい。
【０１５３】
次に、図１５を参照して、本実施形態にかかる画像処理装置１０による放送番組のブラウジング方式の別の例について説明する。図１５は、本実施形態にかかる画像処理装置１０による放送番組のブラウジング方式の別の例を示す説明図である。
【０１５４】
図１５に示すように、表示部１６０の表示画面１７２には、現在再生中の放送番組に関し、ワンセグ動画像１７４の小画面と、放送番組の各シーンのワンセグ代表画１７６とが同時に表示される。図１５のワンセグ動画像１７４、ワンセグ代表画１７６はそれぞれ、上記図１４のワンセグ動画像１６４、ワンセグ代表画１６６と同様である。ただし、図１５の表示画面１７２では、上記の１２セグ代表画１６５（図１４参照。）が表示されておらず、その分のスペースに、多数のシーンのワンセグ代表画１７６が縦横に配列されて、一覧表示されている。このワンセグ代表画１６６は、ワンセグ動画像１７４で再生中の放送番組を構成する複数のシーンを表すサムネール画像である。
【０１５５】
この複数のワンセグ代表画１７６は、ユーザが所望のシーンを検索するためのサーチ用代表画ポップアップとして機能する。即ち、ユーザは、表示画面１７２に表示された複数のワンセグ代表画１７６を見ることで、ワンセグ動画像１７４で再生中の放送番組の概要を把握できる。そして、ユーザが表示画面１６２に表示された複数のワンセグ代表画１６６のうちの１つを選択すると、表示制御部１０６は、当該選択されたワンセグ代表画１６６のシーンをチャプターデータベース１４８に基づき特定し、当該特定したシーン（チャプター）の１２セグ動画像（図示せず。）を例えば全画面表示する。これによって、ユーザは、所望のシーンのワンセグ代表画１７６を選択するだけで、高画質の１２セグ動画像を所望のシーンから再生表示させることができる。
【０１５６】
さらに、図１５に示す表示画面１７２上には、粒度調整ボタン１７７と、ＢＭＬを用いたデータ放送の情報１７８と、広告情報１７９とが表示される。粒度調整ボタン１７７は、表示画面１７２上でのワンセグ代表画１７２の粒度（表示される各代表画の大きさ）を調整するためのボタンである。ユーザは、この粒度調整ボタン１７７を用いて、１画面で表示されるワンセグ代表画１７２の数及び大きさを調整できる。ＢＭＬを用いたデータ放送の情報１７８は、放送番組の受信信号に、画像信号及び音声信号とともに含まれており、この情報１７８を表示することで、ユーザに各種の情報（放送番組の属性情報、天気予報、ニュースなど）を提供できる。広告情報１７９は、データ放送中のＢＭＬによる記述から導き出され、再生中の放送番組と関係のある内容の広告を表す。
【０１５７】
さらに、図１５に示す表示画面１７２上には、現在再生中の放送番組の先頭からの時間を表すバー１８０も表示されている。このバー１８０では、放送番組の先頭からの時間を表すマーク１８１が、再生進行に伴って左から右に移動するようになっている。これにより、ユーザは、再生中のワンセグ動画像１７２の放送番組中の時間位置を把握できる。また、画像処理装置１０では、受信した放送番組の記録と同時に再生を行う「追いかけ再生」を実行可能であるが、この追いかけ再生時に、バー１８０には、既に記録済みの部分１８２（濃い網掛け表示）と、未記録の部分１８３（薄い網掛け表示）とが区別されて表示される。かかるバー１８０の表示によって、ユーザは、放送番組の録画と再生の進行状況を把握できる。
【０１５８】
以上のような図１５のブラウジング方式により、ユーザは、小画面のワンセグ動画像１７４により、放送番組の各シーンにおける映像の動きがわかる。さらに、動きが止まっていて解像度を得やすいフレームのワンセグ代表画１６７が複数並んで一覧表示されているので、ユーザは、放送番組の全体構成を把握できる。加えて、ユーザ所望のワンセグ代表画１７６を選択すれば、１２セグ動画像が、そのシーンにジャンプして表示される。このため、ユーザは、所望のシーンを迅速に検索して１２セグ動画像を視聴したり、興味のないシーンを飛ばしたりできる。
【０１５９】
以上、本発明の好適な実施形態にかかる画像処理装置１０とこれを用いた画像処理装方法について説明した。本実施形態によれば、放送番組のシーンチェンジを検出して各シーンの代表画を抽出するプロセスにおいて、データ量の多い高解像度の１２セグ放送の画像（ＨＤＴＶ画像）ではなく、元々データ量が少ない低解像度のワンセグ放送の画像を画像処理して、シーンチェンジ検出や代表画特定を実行する。このとき、ワンセグ放送の画像をそのまま利用して、或いは、若干ダウンサンプリングして、適切な画素数の画像を得て、該画像に対して画像処理を行う。そして、このワンセグ放送の画像に対する画像処理結果を利用して、１２セグ放送の画像から代表画像を抽出する。
【０１６０】
従って、データ量の多い高解像度の１２セグ放送の画像（ＨＤＴＶ画像）をダウンサンプリング（例えば、画素数「１９２０×６４０」→「６４×６４」）する必要がないので、上記プロセスにおける画像処理装置１０のデータ計算量を大幅に低減できる。よって、画像処理装置１０の処理負荷を低減し、処理速度を向上できる。また、ワンセグ放送の画像データから各シーンの代表静止画を取得してサムネール表示するので、少ない処理で放送番組のブラウザ（図１４、図１５参照）を構築することができる。
【０１６１】
（第２の実施形態）
次に、図１６を参照して、本発明の第２の実施形態にかかる画像処理装置２００及び画像処理方法について説明する。
【０１６２】
第２の実施形態にかかる画像処理装置２００は、上述した第１の実施形態にかかる画像処理装置１０と比べて、代表画抽出処理を実行する代わりに、ダイジェストシーン抽出処理を実行し、ダイジェスト再生（「ハイライト再生」ともいう。）を行う点で相違し、その他の点は略同一である。そこで、以下では主として当該相違点について説明し、その他の詳細説明は省略する。
【０１６３】
図１６は、第２の実施形態にかかる画像処理装置２００において、ワンセグ画像の画像処理結果に応じて１２セグ画像のダイジェストシーンを抽出する処理フローを示すブロック図である。図１６に示すように、画像処理装置２００は、ワンセグチューナ１１２と、１２セグチューナ１１４と、ワンセグ記憶部１４２と、１２セグ記憶部１４４と、画像処理部２２０と、１２セグ復号部１３４と、ダイジェストシーン抽出部２２６と、１２セグ圧縮部２２８と、ダイジェストシーン記憶部２３０とを備える。このうち、ワンセグチューナ１１２、１２セグチューナ１１４、ワンセグ記憶部１４２、１２セグ記憶部１４４、及び、１２セグ復号部１３４は、上記第１の実施形態の場合と略同一であるので、詳細説明は省略する。
【０１６４】
ワンセグチューナ１１２から出力されたワンセグ放送の画像及び音声信号は、ワンセグ記憶部１４２に記録され、１２セグチューナ１１４から出力された１２セグ放送の画像及び音声信号は、１２セグ記憶部１４４に記録される。
【０１６５】
画像処理部２２０は、シーン分割部１２２と、ダイジェストシーン特定部２２４とを備える。シーン分割部１２２は、第１の実施形態と同様に、ワンセグ放送の画像データ（以下、「ワンセグ画像」という。）に対して画像処理を行い、この画像処理結果に基づいて、放送番組を複数のシーンに分割する（シーンカット）。ダイジェストシーン特定部２２４は、各シーンのワンセグ画像に対する画像処理結果に基づいて、放送番組中の１又は２以上のダイジェストシーンを特定する。以下にこの処理について説明する。
【０１６６】
ダイジェストシーンを特定するときには、まず、ＣＰＵ１０１は、ワンセグ記憶部１４２から、ワンセグ放送の画像データ（ワンセグ画像）を読み出して、シーン分割部１２２に入力する。シーン分割部１２２は、入力されたワンセグ画像に対して所定の画像処理を行うことで、放送番組のシーンとシーンの境界であるシーンチェンジのフレームを検出し、このシーンチェンジのフレームの位置で放送番組をシーンカットして、複数のシーンに分割する。このシーンチェンジ検出処理は、例えば、上記図５〜図１０で説明した手法を採用できる。
【０１６７】
次いで、ダイジェストシーン特定部２２４は、ワンセグ画像の各シーンの画像に対して所定の画像処理を行うことで、各シーンを選別して、ダイジェストシーンを特定する。このダイジェストシーンを特定する手法としては、画像の変化（輝度変化等）の検出結果に基づいてシーン判別する手法や、予め設定された画像パターンと類似するシーンを検出する手法などがあり、例えば、以下の手法がある。
【０１６８】
（１）特許文献２と同様に、画面の所定部分の画像データを検出し、その検出データを用いて相関演算又は平均輝度レベルを用いた誤差演算処理などの演算処理を行い、この演算処理結果に基づき、ユーザ指定されたシーンと類似するシーンを検出する手法
（２）予め特徴抽出した複数の画像パターンデータと、入力された画像データとの類似度を計算して、類似するシーンを検出する手法
（３）予め分類コード化した補助データを用いて、ユーザ所望のシーンを検索する手法
【０１６９】
以上のようにして、ワンセグ画像がシーン分割され、ダイジェストシーンが特定されると、ＣＰＵ１０１は、各シーンにチャプター番号を割り当てて、このチャプター番号と、各ダイジェストシーンを表す情報（例えば、ダイジェストシーンの開始位置と終了位置のフレーム番号など）を関連付けて、チャプターデータベース１４８に登録する。また、ＣＰＵ１０１は、上記ダイジェストシーン特定部２２４により特定された各ダイジェストシーンを表す情報（例えば、上記フレーム番号、チャプター番号など）を、ダイジェストシーン抽出部２２６に入力する。
【０１７０】
また、上記特定されたダイジェストシーンの１２セグ画像を抽出する場合、まず、ＣＰＵ１０１は、１２セグ記憶部１４４から、１２セグ放送の画像データ（１２セグ画像）を読み出して、１２セグ復号部１３４に入力する。１２セグ復号部１３４は、入力された１２セグ画像の圧縮データを復号（デコード）して、復号データをダイジェストシーン抽出部２２６に出力する。
【０１７１】
次いで、ダイジェストシーン抽出部２２６は、上記ダイジェストシーン特定部２２４から取得した、各ダイジェストシーンを表す情報（例えば、上記フレーム番号、チャプター番号など）に基づいて、１２セグ復号部１３４により復号された１２セグ画像から、ダイジェストシーンの画像を順次抽出する。抽出されたダイジェストシーンの画像は、１２セグ圧縮部２２８により所定の圧縮符号化方式で圧縮符号化（エンコード）された後に、記録再生制御部１０４により、記憶部１４０のダイジェストシーン記憶部２３０に記録される。
【０１７２】
その後、画像処理装置１０に記録された放送番組をダイジェスト再生して表示する場合、記録再生制御部１０４は、１２セグ復号部１３４等を制御して、ダイジェストシーン記憶部２３０に記録されているダイジェストシーンの画像（動画像）を再生する。かかる再生データは、表示制御部１０６により、表示画面内における表示位置やレイアウト調整がなされた上で、表示データとして、表示部１６０に出力されて表示される。
【０１７３】
以上、ダイジェストシーンの特定及び抽出処理と、ダイジェスト再生処理について説明した。かかるダイジェスト再生により、例えば、２時間のサッカーの試合観戦番組のうち、ゴールシーンだけを抽出して、５分間でダイジェスト再生することができる。これによって、ユーザは、録画番組の内容を短時間で把握できる。
【０１７４】
かかるダイジェスト再生を行う場合、画像処理装置２００は、放送番組の１２セグ画像（ＨＤＴＶ画像）をシーンカットして、各シーンの代表画を抽出するために、データ量が少ないワンセグ画像を利用する。従って、画像処理部２２０は、入力されたワンセグ画像をダウンサンプリングすることなくそのまま用いて、シーンチェンジ検出及びダイジェストシーン特定のための演算処理を実行できる。よって、１２セグ画像をダウンサンプリングした上で、シーンチェンジ検出及びダイジェストシーン特定のための演算処理を実行する場合と比べて、シーンチェンジ検出処理及びダイジェストシーン特定に要するデータ計算量を大幅に低減できる。
【０１７５】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１７６】
例えば、上記実施形態にかかる記録装置１０、２００は、記録機能及び再生機能を有する記録再生装置として構成されていたが、本発明はかかる例に限定されない。本発明の画像処理装置は、例えば、記録機能のみを備えた記録専用装置として構成してもよいし、その他、テレビジョン受像機などの家電、携帯端末、ＰＣ等の情報処理装置など、画像信号を取り扱う任意の装置に適用できる。
【０１７７】
また、上記実施形態にかかる画像処理装置１０、２００は、録画した放送番組のコンテンツに対して画像抽出処理（例えば、代表画、ダイジェストシーンの抽出処理）を行った上で、自身で抽出データを再生及び表示したが、かかる例に限定されない。例えば、画像処理装置１０、２００は、画像抽出により得られた画像データを他の装置に転送し、当該他の装置で抽出データを再生及び／又は表示してもよい。
【０１７８】
また、上記実施形態では、第１の放送として１２セグメント放送（ＨＤＴＶ放送）を、第２の放送としてワンセグメント放送を用いたが、本発明はかかる例に限定されない。第１の放送が第２の放送よりもデータ転送レートが高ければ、例えば、第１の放送として、通常の解像度のＳＤ（Ｓｔａｎｄａｒｄ  Ｄｉｆｉｎｉｔｉｏｎ）画像を提供するＳＤＴＶ放送や、その他の地上波放送、ＢＳ（Ｂｒｏａｄｃａｓｔｉｎｇ  Ｓａｔｅｌｌｉｔｅ）放送、ＣＳ（Ｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ）放送、ケーブルテレビ放送、ネットワークを介して番組コンテンツを配信するＩＰＴＶ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ  ＴＶ）又はＶＯＤ（Ｖｉｄｅｏ  Ｏｎ  Ｄｅｍａｎｄ）などであってもよい。
【０１７９】
また、上記実施形態では、第１の放送と第２の放送が同一の時間帯に放送されるサイマル放送の例を説明したが、本発明はかかる例に限定されず、サイマル放送でなくてもよい。例えば、同一の放送番組について第１の放送と第２の放送が別々の時間帯に放送され、これらを録画してもよい。また、ワンセグ放送がない場合に、ワンセグ画像の代わりに、１２セグ放送の画像をワンセグ放送レベルにダウンサンプリングした低データ量の画像を生成し、当該生成した画像を用いて、上記画像処理を行ってもよい。
【図面の簡単な説明】
【０１８０】
【図１】本発明の第１の実施形態にかかる放送システムを示す概略図である。
【図２】地上波デジタル放送の仕組みを示す説明図である。
【図３】同実施形態にかかる画像処理装置の構成を示すブロック図である。
【図４】同実施形態にかかる画像処理装置において、ワンセグ画像の画像処理結果に応じて１２セグ画像の代表画を抽出する処理フローを示すブロック図である。
【図５】同実施形態にかかる第１のシーンチェンジ検出処理を実行する画像処理部の構成を示すブロック図である。
【図６】図５の構成の画像処理部による第１のシーンチェンジ検出処理を示すフローチャートである。
【図７】図５の構成の画像処理部による第１のシーンチェンジ検出処理を示すフローチャートである。
【図８】同実施形態にかかる第２のシーンチェンジ検出処理を実行する画像処理部の構成を示すブロック図である。
【図９】図８の構成の画像処理部による第１のシーンチェンジ検出処理を示すフローチャートである。
【図１０】図８の構成の画像処理部による第１のシーンチェンジ検出処理を示すフローチャートである。
【図１１】同実施形態にかかる画像処理装置における録画プロセスを示すフローチャートである。
【図１２】実施形態にかかる画像処理装置における代表画抽出プロセスを示すフローチャートである。
【図１３】同実施形態にかかる画像処理装置におけるスライドショー再生を行うときの再生プロセスを示すフローチャートである。
【図１４】同実施形態にかかる画像処理装置による放送番組のブラウジング方式の例を示す説明図である。
【図１５】同実施形態にかかる画像処理装置による放送番組のブラウジング方式の別の例を示す説明図である。
【図１６】本発明の第２の実施形態にかかる画像処理装置において、ワンセグ画像の画像処理結果に応じて１２セグ画像のダイジェストシーンを抽出する処理フローを示すブロック図である。
【符号の説明】
【０１８１】
１    放送システム
１０、２００    画像処理装置
１００    制御部
１０１    ＣＰＵ
１０２    ＲＯＭ
１０３    ＲＡＭ
１０４    記録再生制御部
１０６    表示制御部
１１０    信号入力部
１１２    ワンセグチューナ
１１４    １２セグチューナ
１２０、２２０    画像処理部
１２２    シーン分割部
１２４    ワンセグ代表画抽出部
１３０    圧縮解凍部
１３２    ワンセグ復号部
１３４    １２セグ復号部
１３６    代表画圧縮部
１３８    代表画復号部
１４０    記憶部
１４２    ワンセグ記憶部
１４４    １２セグ記憶部
１４６    代表画データベース
１４８    チャプターデータベース
１５０    入力部
１６０    表示部
２２４    ダイジェストシーン特定部
２２６    ダイジェストシーン抽出部
２２８    １２セグ圧縮部
２３０    ダイジェストシーン記憶部
【図１】
2009117923.tif 000010
【図２】
2009117923.tif 000011
【図３】
2009117923.tif 000012
【図４】
2009117923.tif 000013
【図５】
2009117923.tif 000014
【図６】
2009117923.tif 000015
【図７】
2009117923.tif 000016
【図８】
2009117923.tif 000017
【図９】
2009117923.tif 000018
【図１０】
2009117923.tif 000019
【図１１】
2009117923.tif 000020
【図１２】
2009117923.tif 000021
【図１３】
2009117923.tif 000022
【図１４】
2009117923.tif 000023
【図１５】
2009117923.tif 000024
【図１６】
2009117923.tif 000025