(57)【要約】【課題】  高速再生において、表示画面の変化を抑え、映像内容を把握可能とする。【解決手段】  再生速度に応じて取り出された各フレーム画像のフレーム間差分を算出し、フレーム間差分に基づいてフレーム画像を縮小し、縮小フレーム画像を生成する画生成器２０を備え、通常再生と同じ更新頻度で縮小フレーム画像を出力する。【選択図】  図１
2010011195.tif 000002
【特許請求の範囲】
【請求項１】
再生速度に応じて取り出された各フレーム画像のフレーム間差分を算出し、当該フレーム間差分に基づいて上記フレーム画像を縮小して縮小フレーム画像を生成する画像処理部と、
通常再生と同じ更新頻度で上記縮小フレーム画像を出力する出力部と
を備える画像処理装置。
【請求項２】
上記画像処理部は、上記フレーム差分が閾値以上且つ所定フレーム数以上連続する場合、当該フレーム画像を上記再生速度又は上記フレーム差分に応じた大きさに縮小する請求項１記載の画像処理装置。
【請求項３】
上記縮小フレーム画像は、上記再生速度に応じて取り出された連続する複数のフレーム画像を合成した合成フレーム画像である請求項２記載の画像処理装置
【請求項４】
上記合成フレーム画像は、上記再生速度に応じて取り出された過去フレーム画像をスケーリングし、当該過去フレームと現フレームとをアルファ合成したものである請求項３記載の画像処理装置。
【請求項５】
再生速度に応じて取り出された各フレーム画像のフレーム間差分を算出し、当該フレーム間差分に基づいて上記フレーム画像を縮小して縮小フレーム画像を生成する画像処理工程と、
通常再生と同じ更新頻度で上記縮小フレーム画像を出力する出力工程と
を有する画像処理方法。
【請求項６】
再生速度に応じて取り出された各フレーム画像のフレーム間差分を算出し、当該フレーム間差分に基づいて上記フレーム画像を縮小して縮小フレーム画像を生成する画像処理工程と、
通常再生と同じ更新頻度で上記縮小フレーム画像を出力する出力工程と
を情報処理装置に実行させるためのプログラム。
【請求項７】
再生速度に応じて取り出された過去フレームをスケーリングし、当該過去フレームと現フレームとをアルファ合成して合成フレーム画像を生成する画像処理部と、
通常再生と同じ更新頻度で上記合成フレーム画像を出力する出力部と
を備える画像処理装置。
【請求項８】
再生速度に応じて取り出された過去フレームをスケーリングし、当該過去フレームと現フレームとをアルファ合成して合成フレーム画像を生成する画像処工程と、
通常再生と同じ更新頻度で上記合成フレーム画像を出力する出力工程と
を有する画像処理方法。
【請求項９】
再生速度に応じて取り出された過去フレームをスケーリングし、当該過去フレームと現フレームとをアルファ合成して合成フレーム画像を生成する画像処工程と、
通常再生と同じ更新頻度で上記合成フレーム画像を出力する出力工程と
を情報処理装置に実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の早送り再生処理、早戻し再生処理を行う画像処理装置及び画像処理方法並びにプログラムに関する。
【背景技術】
【０００２】
近年、いわゆるＨＤＤ（Hard Disk Drive）レコーダと呼ばれる記録再生装置の普及に伴い、高画質の映像を長時間に亘り記録し、再生することが可能となっている。例えば、Ｈ．２６４／ＡＶＣと呼ばれるＭＰＥＧ（Moving Picture Experts Group）方式のディジタル圧縮では、ＨＤＴＶ（High Definition Television）のような高画質の映像を記録することができる。
【０００３】
ＭＰＥＧ方式では、ＧＯＰ（Group Of Picture）という、複数のフレームで構成された単位でデータの圧縮伸長の処理を行う。ＭＰＥＧのフレームには、Ｉ（Intra picture）フレーム、Ｐ（Predictive Picture）フレーム、Ｂ（Bidirectionally Predictive Picture）フレームの３種類があり、これらの組み合わせによりＧＯＰが構成される。
【０００４】
Ｉフレームは、圧縮および伸長の基準となるフレームであり、フレーム内での空間方向圧縮のみが行われている。そのため、Ｉフレームは、それ自身のデータから画像を復元することができる。Ｐフレーム及びＢフレームは、空間方向圧縮に加えて、フレーム間での時間方向圧縮が行われている。Ｐフレームにおける時間方向圧縮は、時間軸の順方向（正常再生方向）のみの予測を取り入れている。したがって、Ｐフレームでは、画像を復元するのに、そのＰフレーム自身のデータに加えて、その前のＩフレームやＰフレームのデータが必要となる。また、Ｂフレームは、時間軸の順方向および逆方向の予測を取り入れている。したがって、Ｂフレームでは、画像を復元するのに、そのＢフレーム自身のデータに加えて、その前のみならず後のＩフレームやＰフレームのデータが必要となる。
【０００５】
このように時間方向圧縮の行われたデータから、早送り再生や早戻し再生で任意のフレームの画像を復元しようとすると、その前後のフレームのデータが必要な場合があり、画像復元の処理が煩雑となる。
【０００６】
したがって、従来の早送り再生や早戻し再生の一般的な手法として、単独で画像を復元可能なＩフレームのみを抜き出し、各Ｉフレームを数フレーム分繰り返して表示する方法が用いられていた。
【０００７】
しかしながら、Ｉフレームを抜き出して繰り返し表示する手法では、ユーザは、再生速度に対して時間位置が合っていないフレーム画像を、順次、飛び飛びに見ることになるため、映像内容の把握が困難であった。
【０００８】
改善方法の一つとして、特許文献１、２に記載のように一定期間連続した映像を抜き出し、それらの映像を複数分割画面として表示する方法があるが、画像が複数表示されると、ユーザはどの画像を注視すれば良いか混乱してしまい、映像内容の把握が困難であった。
【０００９】
【特許文献１】特開２００５−１３６４９５号公報
【特許文献２】特開２００６−３２４８５０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
近年、例えばマルチコアＣＰＵ（Central Processing Unit）等による高速デコードにより、再生速度に対して正しい時間位置の画像を、通常再生と同じ画面更新頻度、例えば１／５９．９４秒毎に表示することが可能となっている。
【００１１】
しかしながら、このような高速再生では、表示画面の変化が大きくなると、ユーザが見ていて疲れてしまう。また、再生速度が大きくなればなるほど、表示画面の変化が激しくなり、内容認識が難しくなる。
【００１２】
本発明は、このような従来の実情に鑑みて提案されたものであり、表示画面の変化を抑え、映像内容を容易に把握させることができる画像処理装置及び画像処理方法並びにプログラムを提供する。
【課題を解決するための手段】
【００１３】
本発明に係る画像処理装置は、再生速度に応じて取り出された各フレーム画像のフレーム間差分を算出し、当該フレーム間差分に基づいて上記フレーム画像を縮小して縮小フレーム画像を生成する画像処理部と、通常再生と同じ更新頻度で上記縮小フレーム画像を出力する出力部とを備える。
【００１４】
また、本発明に係る画像処理方法は、再生速度に応じて取り出された各フレーム画像のフレーム間差分を算出し、当該フレーム間差分に基づいて上記フレーム画像を縮小して縮小フレーム画像を生成する画像処理工程と、通常再生と同じ更新頻度で上記縮小フレーム画像を出力する出力工程とを有する。
【００１５】
また、本発明に係るプログラムは、再生速度に応じて取り出された各フレーム画像のフレーム間差分を算出し、当該フレーム間差分に基づいて上記フレーム画像を縮小して縮小フレーム画像を生成する画像処理工程と、通常再生と同じ更新頻度で上記縮小フレーム画像を出力する出力工程とを情報処理装置に実行させる。
【００１６】
また、本発明に係る画像処理装置は、再生速度に応じて取り出された過去フレームをスケーリングし、当該過去フレームと現フレームとをアルファ合成して合成フレーム画像を生成する画像処理部と、通常再生と同じ更新頻度で上記合成フレーム画像を出力する出力部とを備える。
【００１７】
また、本発明に係る画像処理方法は、再生速度に応じて取り出された過去フレームをスケーリングし、当該過去フレームと現フレームとをアルファ合成して合成フレーム画像を生成する画像処工程と、通常再生と同じ更新頻度で上記合成フレーム画像を出力する出力工程とを有する。
【００１８】
また、本発明に係るプログラムは、再生速度に応じて取り出された過去フレームをスケーリングし、当該過去フレームと現フレームとをアルファ合成して合成フレーム画像を生成する画像処工程と、通常再生と同じ更新頻度で上記合成フレーム画像を出力する出力工程とを情報処理装置に実行させる。
【発明の効果】
【００１９】
本発明によれば、高速再生においてフレーム間の変化が大きい場合、フレーム画像を縮小したり、連続する複数のフレーム画像を合成したりし、表示画面の変化を抑えることで、映像内容を容易に把握可能となる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の具体的な実施の形態について、図面を参照しながら詳細に説明する。本発明の具体例として示す画像処理装置は、高速再生においてフレーム画像を縮小したり、連続する複数のフレーム画像を合成したりすることで、表示画面の変化を抑えるものである。
【００２１】
図１は、本発明の一実施形態に係る再生装置の構成を示す図である。この再生装置は、ビデオストリーム蓄積部１１と、インデックス生成部１２と、インデックス蓄積部１３と、デコードスケジューラ１４と、インターフェース（Ｉ／Ｆ）１５と、ストリーム読込み部１６と、デスクランブラ１７と、多重分離器１８と、映像デコーダ１９と、画生成器２０と、映像信号処理回路２１と、映像出力端子２２と、音声デコーダ２３と、話速変換器２４と、Ｄ／Ａ変換器２５と、音声出力端子２６とを備える。
【００２２】
ビデオストリーム蓄積部１１は、例えば、ＨＤＤ（Hard Disk Drive）等から成り、例えば、Ｈ．２６４／ＡＶＣと呼ばれるＭＰＥＧ（Moving Picture Experts Group）方式のディジタル圧縮データをビデオストリームとして記憶する。
【００２３】
インデックス生成部１２は、ビデオストリーム蓄積部１１に蓄積されたビデオストリームから索引（インデックス）情報を抽出する。このインデックス生成処理は、例えばビデオストリーム蓄積部１１にビデオストリームを記憶する際に行われる。インデックス情報には、例えば、ビデオストリームの再生開始時刻（start_time_stamp）が、例えば９０［ｋＨｚ］のチック値で格納されている。ここでいう再生開始時刻とは、コンテンツの先頭からの経過時刻である。このインデックス情報を参照することによりタイムサーチ機能を実現することができる。
【００２４】
インデックス蓄積部１３は、ビデオストリーム蓄積部１１に蓄積された各ビデオストリームのインデックス情報を記憶する。
【００２５】
デコードスケジューラ１４は、インデックス情報とユーザ操作情報とに応じて図１中破線で繋がった各ブロックを制御する。例えば、ビデオストリームの時間情報ＰＴＳ（Presentation Time Stamp）、ユーザ操作情報の再生速度（SPEED）を基にインデックス情報を参照し、映像デコーダ１９及び音声デコーダ２３のデコード処理をスケジューリングしながら実行する。
【００２６】
インターフェース（Ｉ／Ｆ）１５は、リモコンからの早送り再生、早戻し再生等のユーザ操作情報をデコードスケジューラ１４に出力する。
【００２７】
ストリーム読込み部１６は、デコードスケジューラ１４の指示に基づいてビデオストリーム蓄積部１１から所定のストリームを読み込む。デスクランブラ１７は、ビデオストリームのスクランブル（暗号化）を解除する。多重分離器１８は、多重化されたビデオストリームからビデオパケット及びオーディオパケットを分離し、それぞれ映像デコーダ１９及び音声デコーダ２３に供給する。
【００２８】
映像デコーダ１９は、入力されたビデオパケットを復号する。画生成器２０は、後述するようにフレーム間差分に基づく画像処理を行う。例えば、フレーム間の変化が大きい場合、フレーム画像を縮小したり、連続する複数のフレーム画像を合成したりする。映像信号処理回路２１は、映像信号にガンマ補正等の信号処理を行い、映像出力端子２２から映像信号を出力する。
【００２９】
音声デコーダ２３は、入力されたオーディオパケットを復号し、話速変換器２４は、指定された再生速度に応じて話速を変換する。Ｄ／Ａ変換器２５は、復号されたディジタル信号をアナログ音声信号に変換し、音声出力端子２６から音声信号を出力する。
【００３０】
次に、図２に示すフローチャートを参照して再生処理の概要について説明する。デコードスケジューラ１４に指示された所望のビデオストリームは、ストリーム読込み部１６によりビデオストリーム蓄積部１１から読み出され、多重分離器１８によりビデオパケット及びオーディオパケットに分離され、それぞれ映像デコーダ１９及び音声デコーダ２３に出力される。
【００３１】
ステップＳ１１において、ユーザがリモコンにより早送り再生又は早戻し再生を指示すると、デコードスケジューラ１４は、インターフェース（Ｉ／Ｆ）１５から再生速度を取得する。映像デコーダ１９は、デコードスケジューラ１４に指示された再生速度に基づいてビデオパケットをデコードし、バッファメモリにフレーム画像を格納する。
【００３２】
ステップＳ１２において、画生成器２０は、再生速度に応じてバッファメモリから取り出された各フレーム画像に画像処理を行う。例えば、再生速度が一定以上になった場合、フレーム画像を縮小処理する。また、例えば、再生速度に応じて取り出された各フレーム画像のフレーム間差分を算出し、当該フレーム間差分に基づいてフレーム画像を縮小したり、連続する複数のフレーム画像を合成したりする。映像信号処理回路２１にて信号処理されたフレーム画像は、通常再生と同じ更新頻度で映像出力端子２２から出力される（ステップＳ１３）。
【００３３】
音声デコーダ２３は、デコードスケジューラ１４に指示された再生速度に基づいてオーディオパケットをデコードする。話速変換器２４は、指定された再生速度に応じて話速を変換する。Ｄ／Ａ変換器２５にて変換されたアナログ音声信号は、音声出力端子２６から出力される。
【００３４】
このように再生速度に応じて取り出されたフレーム画像に画像処理を行うことで、表示画面の変化を抑え、ユーザに映像内容を容易に把握させることが可能となる。
【００３５】
図３は、高速再生処理の第１の具体例を示すフローチャートである。この第１の具体例では、フレーム間差分が閾値以上の状態が所定フレーム数続いた場合、フレーム画像を縮小処理する。
【００３６】
ステップＳ２１において、画生成器２０は、再生速度に応じて取り出された各フレーム画像に対して、例えば、輝度信号のフレーム間差分量を計算する。ここで、フレーム間差分とは、時刻（ｔ）の入力画像と時刻（ｔ−ｎ）の入力画像との差分を取ることである。
【００３７】
ステップＳ２２において、画生成器２０は、フレーム間差分の合計値が閾値ｘ以上であるか否かを判別する。フレーム間差分の合計値が閾値ｘ以上の場合、ステップＳ２３に進み、フレーム間差分の合計値が閾値ｘより小さい場合、ステップＳ２４に進む。
【００３８】
ステップＳ２３において、画生成器２０は、フレーム間差分の合計値が閾値ｘ以上の状態がｙ回以上連続するか否かを判別する。ｙ回以上連続する場合、ステップＳ２５に進み、ｙ回より小さい場合、ステップＳ２５に進む。
【００３９】
ステップＳ２４において、画生成器２０は、再生速度に応じてフレーム画像を縮小した縮小フレーム画像を生成する。すなわち、フレーム間差分の合計値が閾値ｘを越える状態がｙフレーム続いた場合、フレーム画像を縮小表示する。再生速度に応じてフレーム画像を縮小することにより、ユーザはフレーム画像の大きさにより再生速度を認識することができる。なお、フレーム間差分に応じてフレーム画像を縮小しても、予め決められた所定サイズに縮小しても構わない。フレーム間差分に応じた大きさの縮小フレーム画像を生成すれば、フレーム間の変化面積を減少させることができる。
【００４０】
ステップＳ２５において、映像信号処理回路２１は、縮小フレーム画像を含む各フレーム画像を通常再生と同じ更新頻度で映像出力端子２２から出力する。
【００４１】
図４は、縮小フレーム画像を表示した第１の画面例を示す図である。この画面例では、縮小フレーム画像に対して、再生速度を示す再生速度情報表示領域４１と、再生時間を示す再生時間情報表示領域４２とが表示されている。このため、ユーザは、所望の再生位置を容易に探すことができる。
【００４２】
このようにフレーム間差分の合計値が閾値ｘを越える状態がｙフレーム続いた場合、縮小表示することにより、画面の変化領域を減少させ、ユーザに映像内容を容易に把握させることが可能となる。
【００４３】
また、図５は、高速再生処理の第２の具体例を示すフローチャートである。この第２の具体例では、過去フレーム画像と現フレーム画像とをアルファ合成し、１つのフレーム画像を数フレームに亘り表示するものである。
【００４４】
ステップＳ３１において、画生成器２０は、デコードスケジューラ１４から再生速度を取得する。
【００４５】
ステップＳ３２において、画生成器２０は、再生速度に基づいてアルファ合成のα値を決定する。ここで、アルファ合成とは、あるフレーム画像にα値を掛け合わせることで半透明なフレーム画像を重ねるものである。また、画生成器２０は、再生速度に基づいてフレーム画像を縮小又は拡大処理するスケーリング率を決定する。なお、α値及びスケーリング率は、フレーム間の変化量、すなわち差分に基づいて決定しても構わない。再生速度に応じてフレーム画像を縮小すれば、ユーザはフレーム画像の大きさにより再生速度を認識することができ、また、フレーム間差分に応じてフレーム画像を縮小すれば、フレーム間の変化面積を減少させることができる。
【００４６】
ステップＳ３３において、画生成器２０は、過去フレーム画像を決定したスケーリング率でスケーリングする。
【００４７】
ステップＳ３４において、画生成器２０は、現フレーム画像を１フレーム前のフレーム画像上にアルファ合成する。すなわち、スケーリングされた過去フレーム画像上に現フレーム画像をアルファ合成する。
【００４８】
ステップＳ３５において、映像信号処理回路２１は、合成フレーム画像を通常再生と同じ更新頻度で映像出力端子２２から出力する。
【００４９】
図６は、合成フレーム画像を表示した第２の画面例を示す図である。この画面例では、縮小フレーム画像に対して、再生速度を示す再生速度情報表示領域６１と、再生時間を示す再生時間情報表示領域６２とが表示されている。なお、図中、現フレーム画像を一点鎖線で表示し、過去フレーム画像を点線で表示している。
【００５０】
このように過去フレーム画像が数フレームに亘り表示されるため、ユーザは、所望の再生位置を容易に探し出すことができる。また、過去フレーム画像は、縮小又は拡大処理されるため、ユーザは過去フレーム画像と現フレーム画像との区別を容易に行うことができる。
【００５１】
また、図７は、高速再生処理の第３の具体例を示すフローチャートである。この第３の具体例では、第２の具体例の処理に対して、さらに縮小処理を施すものである。
【００５２】
ステップＳ４１において、画生成器２０は、デコードスケジューラ１４から再生速度を取得する。
【００５３】
ステップＳ４２において、画生成器２０は、再生速度に基づいてアルファ合成のα値を決定する。また、画生成器２０は、再生速度に基づいてフレーム画像を縮小又は拡大処理するスケーリング率を決定する。なお、α値及びスケーリング率は、フレーム間の変化量、すなわち差分に基づいて決定しても構わない。
【００５４】
ステップＳ４３において、画生成器２０は、過去フレーム画像を決定したスケーリング率でスケーリングする。
【００５５】
ステップＳ４４において、画生成器２０は、現フレーム画像を１フレーム前のフレーム画像上にアルファ合成する。すなわち、スケーリングされたフレーム画像上に現フレーム画像をアルファ合成する。
【００５６】
ステップＳ４５において、画生成器２０は、アルファ合成された画像を縮小処理する。ここで、合成フレーム画像の縮小処理は、再生速度に応じても、フレーム間差分に応じても構わない。再生速度に応じて合成フレーム画像を縮小すれば、ユーザは合成フレーム画像の大きさにより再生速度を認識することができ、また、フレーム間差分に応じて合成フレーム画像を縮小すれば、フレーム間の変化面積を減少させることができる
ステップＳ４６において、映像信号処理回路２１は、再生速度に応じて取り出され。縮小された合成フレーム画像を通常再生と同じ更新頻度で映像出力端子２２から出力する。
【００５７】
図８は、合成フレーム画像を表示した第３の画面例を示す図である。この画面例では、縮小フレーム画像に対して、再生速度を示す再生速度情報表示領域８１と、再生時間を示す再生時間情報表示領域８２とが表示されている。なお、図中、現フレーム画像を一点鎖線で表示し、過去フレーム画像を点線で表示している。
【００５８】
このように過去フレーム画像が数フレームに亘り表示され、縮小されるため、ユーザは、所望の再生位置を容易に探し出すことができる。また、フレーム画像を縮小することにより、画面の変化領域を減少させ、ユーザに映像内容を容易に把握させることが可能となる。
【００５９】
以上、実施形態の一例を示したが、上述の実施形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。
【００６０】
例えば、上述した一連の処理もソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータにネットワークや記録媒体からインストールされる。または、各種のプログラムをインストールすることで各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどにインストールされる。
【００６１】
また、このようなプログラムを含む記録媒体は、装置本体とは別に、ユーザにプログラムを提供するために配布されるものである。例えば、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、半導体メモリ等よりなるリムーバブル記録媒体（パッケージメディア）である。また、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭや、ハードディスクなどで構成されてもよい。
【００６２】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【００６３】
【図１】本発明の一実施形態に係る再生装置の構成を示す図である。
【図２】高速再生処理の概要を示すフローチャートである。
【図３】高速再生処理の第１の具体例を示すフローチャートである。
【図４】縮小フレーム画像を表示した第１の画面例を示す図である。
【図５】高速再生処理の第２の具体例を示すフローチャートである。
【図６】合成フレーム画像を表示した第２の画面例を示す図である。
【図７】高速再生処理の第３の具体例を示すフローチャートである。
【図８】合成フレーム画像を表示した第３の画面例を示す図である。
【符号の説明】
【００６４】
１１  ビデオストリーム蓄積部、  １２  インデックス生成部、  １３  インデックス蓄積部、  １４  デコードスケジューラ、  １５  インターフェース（Ｉ／Ｆ）、  １６  ストリーム読込み部、  １７  デスクランブラ、  １８  多重分離器、  １９  映像デコーダ、  ２０  画生成器、  ２１  映像信号処理回路、  ２２  映像出力端子、  ２３  音声デコーダ、  ２４  話速変換器、  ２５  変換器、  ２６  音声出力端子
【図１】
2010011195.tif 000003
【図２】
2010011195.tif 000004
【図３】
2010011195.tif 000005
【図４】
2010011195.tif 000006
【図５】
2010011195.tif 000007
【図６】
2010011195.tif 000008
【図７】
2010011195.tif 000009
【図８】
2010011195.tif 000010