(57)【要約】【課題】視聴者に違和感を与えることなく映像を円滑に再生する。【解決手段】映像信号と表示手段との周波数に差を有する情報処理装置であって、映像信号の周波数が表示手段の周波数と比べて高いときに発生する余剰フレームの削除、又は映像信号の周波数が表示手段の周波数と比べて低いときに発生する不足フレームの補間を行う手段と、映像信号を構成する複数のフレームのうち、表示手段に表示されるフレームと、表示手段に表示されるフレームの直近のフレームとの間の動き量を検出する手段と、直近のフレームについて検出された動き量を一時保存するバッファと、を含み、表示手段に表示されるフレームにおける動き量が第１の値以下であり、かつ、バッファに一時保存された直近のフレームにおける動き量との差分が第２の値以上であるとき、余剰フレームを削除、又は不足フレームを補間する。【選択図】図２
2014220660.tif 000002
【特許請求の範囲】
【請求項１】
映像信号の周波数と、前記映像信号を表示する表示手段の周波数との間に差を有する情報処理装置であって、
前記映像信号の周波数が前記表示手段の周波数と比較して高いときに発生する余剰フレームの削除、又は前記映像信号の周波数が前記表示手段の周波数と比較して低いときに発生する不足フレームの補間を行う表示フレーム調整手段と、
前記映像信号を構成する複数のフレームのうち、前記表示手段に表示されるフレームと、前記表示手段に表示されるフレームの直近のフレームとの間の動き量を検出する動き量検出手段と、
前記直近のフレームについて前記動き量検出手段により検出された動き量を一時保存するバッファと、を含み、
前記表示手段に表示されるフレームにおける動き量が第１の値以下であり、かつ、前記バッファに一時保存された前記直近のフレームにおける動き量との差分が第２の値以上であるとき、前記表示フレーム調整手段は、前記余剰フレームを削除、又は前記不足フレームを補間することを特徴とする情報処理装置。
【請求項２】
前記余剰フレームの数、又は前記不足フレームの数は、実時間に対して、前記差によって生じる前記映像信号の遅延、又は、前記映像信号の先行が許容される範囲の時間に対応するフレーム数に設定されることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記表示フレーム調整手段は、前記表示手段に表示されるフレームと同一のフレームを前記表示手段に継続して表示させることにより、前記不足フレームを補間することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
映像信号の周波数と、前記映像信号を表示する表示手段の周波数との間に差を有する情報処理装置の制御方法であって、
前記映像信号の周波数が前記表示手段の周波数と比較して高いときに発生する余剰フレームの削除、又は前記映像信号の周波数が前記表示手段の周波数と比較して低いときに発生する不足フレームの補間を行う工程と、
前記映像信号を構成する複数のフレームのうち、前記表示手段に表示されるフレームと、前記表示手段に表示されるフレームの直近のフレームとの間の動き量を検出する工程と、
前記直近のフレームについて前記動き量を検出する工程により検出された動き量をバッファに一時保存する工程と、
前記表示手段に表示されるフレームにおける動き量が第１の値以下であり、かつ、前記バッファに一時保存された前記直近のフレームにおける動き量との差分が第２の値以上であるとき、前記余剰フレームを削除、又は前記不足フレームを補間する工程と、
を含むことを特徴とする制御方法。
【請求項５】
映像信号の周波数と、前記映像信号を表示する表示手段の周波数との間に差を有する情報処理装置のコンピュータに、
前記映像信号の周波数が前記表示手段の周波数と比較して高いときに発生する余剰フレームの削除、又は前記映像信号の周波数が前記表示手段の周波数と比較して低いときに発生する不足フレームの補間を行う処理と、
前記映像信号を構成する複数のフレームのうち、前記表示手段に表示されるフレームと、前記表示手段に表示されるフレームの直近のフレームとの間の動き量を検出する処理と、
前記直近のフレームについて前記動き量を検出する処理により検出された動き量をバッファに一時保存する処理と、
前記表示手段に表示されるフレームにおける動き量が第１の値以下であり、かつ、前記バッファに一時保存された前記直近のフレームにおける動き量との差分が第２の値以上であるとき、前記余剰フレームを削除、又は前記不足フレームを補間する処理と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、制御方法、及びプログラムに関する。
【背景技術】
【０００２】
一般的に、テレビ局等から送信される放送映像のフレーム周波数と、この放送映像を表示するディスプレイのクロック周波数（いわゆるリフレッシュレート）とは完全に一致していないことが多い。このため、連続して放送映像をディスプレイで表示し続けていくと、次第に、音声と映像との間にずれが生じ、最悪の場合、音声が先行し、遅れて映像が表示されるといった現象が発生し、視聴者に違和感を与えてしまう。
【０００３】
このような音声と映像との間のずれを解消するために、放送映像とディスプレイとの間の周波数の差分が蓄積することによって発生する映像場面（以下、「フレーム」ともいう。）の余剰分をスキップ（破棄）することが行われている。しかしながら、この余剰フレームをスキップ（破棄）するタイミングによっては、放送映像のいわゆるカクツキやコマ落ちといった現象が発生するため、やはり、フレームのスキップ（破棄）タイミングで、視聴者に違和感を与えてしまう映像になりかねないといった問題がある。
【０００４】
この問題に関して、具体例を用いて説明する。図４は、ディスプレイと放送映像との周波数差分に起因してフレームが余剰する現象の一例を示した図である。図４において、パーソナルコンピュータ（ＰＣ）等の情報処理装置のモニタディスプレイは、クロック周波数５９．９０Ｈｚで動作しているのに対し、放送映像は、フレーム周波数５９．９４Ｈｚで動作しており、両者の差分は、０．０４Ｈｚある。そして、この差分周波数に対応する余剰映像フレームは、２５秒に１コマ存在することになる。よって、何ら対策を採らないと、徐々に音声に対して映像が遅延し、視聴者に認識されるレベルに達してしまう。
【０００５】
そこで、この余剰映像フレームを所定の段階で破棄することにより、音声と映像とのバランスを図ることが行われている。図６は、所定の映像シーンの中からある特定のシーンのフレームを破棄することにより、余剰映像フレームを破棄する状態を説明する図である。図６の例では、４コマのシーンから構成される一連の映像シーンＡと、４コマのシーンから構成される一連の映像シーンＢとが連続して放送されている映像シーンのうち、一連の映像シーンＡの２コマ目（×印）を、余剰映像フレームとして破棄している。
【０００６】
しかしながら、一連の映像シーンＡのうち、任意の映像フレームを余剰映像フレームとして破棄してしまうと、破棄された余剰映像フレームを挟んだ前後の映像シーンが不連続となるため、映像が飛んで見えてしまい、上記したような映像信号のいわゆるカクツキやコマ落ちといった現象が発生し、視聴者に違和感を与えてしまう。
【０００７】
図４の場合とは逆に、放送映像のフレーム周波数がモニタディスプレイのクロック周波数より低い場合について説明する。図５は、ディスプレイと放送映像との周波数差分に起因してフレームが不足する現象の一例を示した図である。図５において、モニタディスプレイは、クロック周波数６０．００Ｈｚで動作しているのに対し、放送映像は、フレーム周波数５９．９４Ｈｚで動作しており、両者の差分は、０．０６Ｈｚある。そして、この差分周波数に対応する不足映像フレームは、約１７秒に１コマ存在することになる。よって、何ら対策を採らないと、徐々に音声に対して映像が先行し、視聴者に認識されるレベルに達してしまう。
【０００８】
ここで、従来の画像処理装置について、図７を参照して説明する。図７は、従来の画像処理装置の概略構成を示すブロック図である。図７において、画像処理装置７０は、外部から入力される映像信号を、内部の同期信号に同期した映像データを含む映像信号として処理する装置である。また、画像処理装置７０は、映像入力部７１、閾値設定部７２、動き量検出部７３、容量監視部７４、書込制御部７５、読出制御部７６、メモリ部７７、及び映像処理部７８を備えている。
【０００９】
映像入力部７１は、外部から入力される入力映像信号ＳINから、複数のフレームを含む入力映像データＳ1と、入力映像データＳ1に対する同期信号及びクロックを含むタイミング信号（以下、入力タイミング信号Ｓ2と称す）とを分離する。また、映像入力部７１は、入力映像データＳ1を動き量検出部７３に出力し、入力タイミング信号Ｓ2を動き量検出部７３、書込制御部７５、及びメモリ部７７に出力する。
【００１０】
なお、同期信号は、動き量検出部７３、書込制御部７５、及びメモリ部７７に各フレームの書き込みタイミングを伝える信号であり、クロックは、動き量検出部７３、書込制御部７５、及びメモリ部７７の動作の歩調が合うように、周期的に発する信号である。また、入力映像データＳ1は、入力タイミング信号Ｓ2に同期したデータである。
【００１１】
閾値設定部７２は、低動作フレームを判定するための動き量の閾値を示す情報を格納し、動き量の閾値を示す情報を乗せた第１の閾値信号Ｓ3を動き量検出部７３に出力する。また、閾値設定部７２は、メモリ部７７における映像データの蓄積量が空の状態から映像データがメモリ部７７に蓄積され、メモリ部７７からフレームの書き込みを停止する基準、又は読み出しを開始する基準となる蓄積量の閾値を示す情報を格納する。また、閾値設定部７２は、スキップ指示信号Ｓ7の出力を開始する基準となる、メモリ部７７の空き容量又はメモリ部７７における映像データの蓄積量に対するメモリ許容範囲を示す情報を格納する。
【００１２】
また、閾値設定部７２は、蓄積量の閾値を示す情報及びメモリ許容範囲を示す情報を乗せた第２の閾値信号Ｓ4を容量監視部７４に出力する。なお、動き量の閾値及び蓄積量の閾値は、画像処理装置７０の設計者等が適宜設定するものであり、蓄積量の閾値としては、例えば、メモリ部７７の記憶容量が、７フレーム分の映像データＳ5を記憶できる場合に、３フレームに設定することが考えられる。
【００１３】
また、入力映像データＳ1は、時系列に連続する複数のフレームからなり、前後のフレームにおける画像の相関が高いほど、前のフレームに対する後のフレームの動き量が小さいことを示す。また、入力映像データＳ1は、前後のフレームにおける画像の相関が低いほど、前のフレームに対する後のフレームの動き量が大きいことを示す。このため、フレームの動き量が動き量の閾値より低い場合には、映像シーンの変化が小さいものと判断でき、この前後のフレームの一方（例えば、前のフレーム）を低動作フレームとして定義する。
【００１４】
動き量検出部７３は、入力映像データＳ1の連続するフレーム同士を比較して各フレームの動き量を検出し、この動き量が閾値設定部７２から入力される第１の閾値信号Ｓ3における動き量の閾値より低いフレームを低動作フレームとして識別する。また、動き量検出部７３は、動き量を検出した映像データＳ5を入力タイミング信号Ｓ2に同期させてメモリ部７７に出力する。また、動き量検出部７３は、低動作フレームであるか否かの識別結果を示す低動作フレーム識別情報を乗せた第１の識別信号Ｓ6を入力タイミング信号Ｓ2に同期させて書込制御部７５及びメモリ部７７に出力する。すなわち、動き量検出部７３は、映像データＳ5の各フレームと各フレームに対する第１の識別信号Ｓ6とを一対にして、入力タイミング信号Ｓ2に同期させて、映像データＳ5及び第１の識別信号Ｓ6をメモリ部７７に出力する。
【００１５】
なお、動き量の検出は、例えば、あるフレーム内における任意の位置のデータと、次のフレームにおける同じ位置及びその周辺に位置するデータとを比較することにより検出することができる。
【００１６】
容量監視部７４は、書込制御部７５から入力される後述する書込完了通知信号Ｓ12と読出制御部７６から入力される後述する読出完了通知信号Ｓ15との入力回数の差分に基づき、メモリ部７７の空き容量又は映像データＳ5の蓄積量を算出する。すなわち、容量監視部７４は、書込完了通知信号Ｓ12により、メモリ部７７における映像データの蓄積量が１フレーム分増加したことを認識でき、読出完了通知信号Ｓ15により、メモリ部７７における映像データの蓄積量が１フレーム分減少したことを認識できる。このため、容量監視部７４は、書込完了通知信号Ｓ12及び読出完了通知信号Ｓ15の入力回数の差分に基づき、メモリ部７７における映像データの蓄積量を算出でき、メモリ部７７の記憶容量から蓄積量を減算することで、メモリ部７７の空き容量を算出することができる。
【００１７】
また、容量監視部７４は、メモリ部７７の空き容量がメモリ許容範囲を下回る場合に、メモリ部７７への低動作フレームの書き込みの制限を指示する情報を乗せたスキップ指示信号Ｓ7を書込制御部７５に出力する。
【００１８】
なお、メモリ許容範囲は、画像処理装置７０の設計者等が適宜設定するものであり、例えば、メモリ部７７の記憶容量が、７フレーム分の映像データＳ5を記憶できる場合に、３フレームから５フレームまでに設定することが考えられる。
【００１９】
特に、外部から入力される映像データを処理して即時に出力するようなリアルタイム性が要求されるのであれば、画像処理装置７０は、メモリ部７７の記憶容量を小さくし、メモリ許容範囲の下限値を上げることで、低動作フレームのスキップ処理を多用することが考えられる。また、リアルタイム性が要求されないのであれば、画像処理装置７０は、メモリ部７７の記憶容量を大きくし、メモリ許容範囲の下限値を下げ上限値を上げることで、低動作フレームのスキップ処理を減らし、外部から入力される映像データを忠実に再生することができる。
【００２０】
書込制御部７５は、入力タイミング信号Ｓ2の同期信号に同期させて、メモリ部７７へのフレームの書き込みを制御する。すなわち、書込制御部７５は、動き量検出部７３からメモリ部７７に入力される映像データＳ5の各フレーム対して、メモリ部７７へのフレームの書き込みの指示と書き込む記憶領域の指示とを示す情報を乗せた信号をメモリ部７７に出力する。
【００２１】
この場合、書込制御部７５は、スキップ指示信号Ｓ7が容量監視部７４から入力されている間は、動き量検出部７３から入力される第１の識別信号Ｓ6に基づいて識別した低動作フレームに対して、書込指示信号Ｓ11をメモリ部７７に出力しない。これにより、書込制御部７５は、スキップ指示信号Ｓ7が容量監視部７４から入力されている間、メモリ部７７に低動作フレームの書き込みをさせずに、低動作フレームをスキップ（破棄）処理する。なお、低動作フレーム以外のフレームについては、スキップ処理の対象ではなく、書込制御部７５から書込指示信号Ｓ11が出力されることになる。
【００２２】
このように、従来の画像処理装置においては、映像信号の同期信号の乗せ換えにより発生する、フレームのスキップ処理を、映像シーンの変化が小さいフレームである低動作フレームを対象に処理する。これにより、画像処理装置は、フレームのスキップが発生したにも関わらず、フレームのスキップを視聴者に感じさせない映像を出力している。
【先行技術文献】
【特許文献】
【００２３】
【特許文献１】特開２０１１−０１５０６３号公報
【発明の概要】
【発明が解決しようとする課題】
【００２４】
上記特許文献１に記載された画像処理装置では、メモリの空き容量又はメモリにおける映像データの蓄積量が、予め定めた許容範囲外にある場合に限って、動き量が小さいフレームを対象にスキップ処理を行うものであるから、必要最低限のフレームに対してスキップ処理することにより、動画を円滑に再生している。
【００２５】
しかしながら、スキップ処理の対象を、動き量が小さいフレームに限定しているため、映像の種類によっては、動き量が小さい映像自体が少ない映像（パンシーンが続く映像）もあり得るため、このような映像を対象とすると、スキップ処理が減る反面、映像とディスプレイとの間の周波数の差分が蓄積することにより発生する余剰フレームが大量に蓄積する可能性がある。
【００２６】
また、上記特許文献１では、動き量が小さいフレームを対象にスキップ処理を行っているため、例えば、旅番組等でよく目にする固定カメラで電車を遠くから撮影した映像では、風景はほぼ静止画の様に表示され、その中を電車がゆったり動くため、映像の動き量はとても小さくなる。この場合に、フレームスキップが入ると電車の動きがぎこちなく表示されてしまうという問題がある。
【００２７】
そこで本発明は、上記従来の問題点に鑑みてなされたもので、動き量と動き量の時間的変化に応じて余剰フレームを破棄することにより、視聴者に違和感を与えることなく映像を円滑に再生することが可能な情報処理装置、制御方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２８】
上記課題を解決するため、請求項１に記載の本発明における情報処理装置は、映像信号の周波数と、前記映像信号を表示する表示手段の周波数との間に差を有する情報処理装置であって、前記映像信号の周波数が前記表示手段の周波数と比較して高いときに発生する余剰フレームの削除、又は前記映像信号の周波数が前記表示手段の周波数と比較して低いときに発生する不足フレームの補間を行う表示フレーム調整手段と、前記映像信号を構成する複数のフレームのうち、前記表示手段に表示されるフレームと、前記表示手段に表示されるフレームの直近のフレームとの間の動き量を検出する動き量検出手段と、前記直近のフレームについて前記動き量検出手段により検出された動き量を一時保存するバッファと、を含み、前記表示手段に表示されるフレームにおける動き量が第１の値以下であり、かつ、前記バッファに一時保存された前記直近のフレームにおける動き量との差分が第２の値以上であるとき、前記表示フレーム調整手段は、前記余剰フレームを削除、又は前記不足フレームを補間することを特徴とする。
【００２９】
また、本発明における情報処理装置は、請求項１に記載の情報処理装置において、前記余剰フレームの数、又は前記不足フレームの数は、実時間に対して、前記差によって生じる前記映像信号の遅延、又は、前記映像信号の先行が許容される範囲の時間に対応するフレーム数に設定されることを特徴とする。
【００３０】
さらに、本発明における情報処理装置は、請求項１又は２に記載の情報処理装置において、前記表示フレーム調整手段は、前記表示手段に表示されるフレームと同一のフレームを前記表示手段に継続して表示させることにより、前記不足フレームを補間することを特徴とする。
【００３１】
また、上記課題を解決するため、請求項４に記載の本発明における制御方法は、映像信号の周波数と、前記映像信号を表示する表示手段の周波数との間に差を有する情報処理装置の制御方法であって、前記映像信号の周波数が前記表示手段の周波数と比較して高いときに発生する余剰フレームの削除、又は前記映像信号の周波数が前記表示手段の周波数と比較して低いときに発生する不足フレームの補間を行う工程と、前記映像信号を構成する複数のフレームのうち、前記表示手段に表示されるフレームと、前記表示手段に表示されるフレームの直近のフレームとの間の動き量を検出する工程と、前記直近のフレームについて前記動き量を検出する工程により検出された動き量をバッファに一時保存する工程と、前記表示手段に表示されるフレームにおける動き量が第１の値以下であり、かつ、前記バッファに一時保存された前記直近のフレームにおける動き量との差分が第２の値以上であるとき、前記余剰フレームを削除、又は前記不足フレームを補間する工程と、を含むことを特徴とする。
【００３２】
そして、上記課題を解決するために、請求項５に記載の本発明におけるプログラムは、映像信号の周波数と、前記映像信号を表示する表示手段の周波数との間に差を有する情報処理装置のコンピュータに、前記映像信号の周波数が前記表示手段の周波数と比較して高いときに発生する余剰フレームの削除、又は前記映像信号の周波数が前記表示手段の周波数と比較して低いときに発生する不足フレームの補間を行う処理と、前記映像信号を構成する複数のフレームのうち、前記表示手段に表示されるフレームと、前記表示手段に表示されるフレームの直近のフレームとの間の動き量を検出する処理と、前記直近のフレームについて前記動き量を検出する処理により検出された動き量をバッファに一時保存する処理と、前記表示手段に表示されるフレームにおける動き量が第１の値以下であり、かつ、前記バッファに一時保存された前記直近のフレームにおける動き量との差分が第２の値以上であるとき、前記余剰フレームを削除、又は前記不足フレームを補間する処理と、を実現させることを特徴とする。
【発明の効果】
【００３３】
本発明によれば、視聴者に違和感を与えることなく映像を円滑に再生することが可能な情報処理装置、制御方法、及びプログラムが得られる。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施形態における情報処理装置の構成を示す概略ブロック図である。
【図２】本発明の実施形態における情報処理装置の動作について説明するフローチャート図である。
【図３】本発明の実施形態における情報処理装置において、余剰映像コマを破棄するタイミングを説明するための図である。
【図４】ディスプレイと放送映像との周波数差分に起因してフレームが余剰する現象の一例を示した図である。
【図５】ディスプレイと放送映像との周波数差分に起因してフレームが不足する現象の一例を示した図である。
【図６】所定の映像シーンの中からある特定のシーンのフレームを破棄することにより、余剰映像フレームを破棄する状態を説明する図である。
【図７】従来の画像処理装置の概略構成を示すブロック図である。
【発明を実施するための形態】
【００３５】
次に、本発明を実施するための形態について図面を参照して詳細に説明する。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。本発明の内容を簡潔に説明すると、映像信号の周波数と、映像信号を表示する表示手段の周波数との間に差を有する情報処理装置であって、映像信号の周波数が表示手段の周波数と比較して高いときに発生する余剰フレームの削除、又は映像信号の周波数が表示手段の周波数と比較して低いときに発生する不足フレームの補間を行う表示フレーム調整手段と、映像信号を構成する複数のフレームのうち、表示手段に表示されるフレームと、表示手段に表示されるフレームの直近のフレームとの間の動き量を検出する動き量検出手段と、直近のフレームについて動き量検出手段により検出された動き量を一時保存するバッファと、を含み、表示手段に表示されるフレームにおける動き量が第１の値以下であり、かつ、バッファに一時保存された直近のフレームにおける動き量との差分が第２の値以上であるとき、表示フレーム調整手段は、余剰フレームを削除、又は不足フレームを補間することにより、視聴者に違和感を与えることなく映像を円滑に再生することを可能とするものである。
【００３６】
まず、図１を用いて本発明の実施形態における情報処理装置の構成について説明する。図１は、本発明の実施形態における情報処理装置の構成を示す概略ブロック図である。図１を参照すると、本発明の実施形態における情報処理装置１０は、パーソナルコンピュータ（ＰＣ）等を含む情報処理装置であって、テレビ局等の放送設備から送信される放送波を受信し復調するチューナ１１と、受信されたコンテンツを記録するコンテンツ記録部１２と、受信された動画コンテンツをディスプレイ１５に表示するための処理を行う動画再生処理部１３と、動画再生処理部１３において処理された動画映像の中から、現在表示対象となっているフレームと、そのフレームの直近（例えば、直前）のフレームと、の間の動き量を検出する動き量検出部１４と、動き量検出部１４によって検出された現在表示対象となっているフレームの動き量が第１の条件を満たすか否か、及び、現在表示対象となっているフレームの動き量と、そのフレームの直近のフレームの動き量との間の差分が第２の条件を満たすか否かによって、動画再生処理部１３が処理するフレームの削除、又は補間を行うフレーム調整部１６と、動画再生処理部１３によって処理された動画コンテンツを表示するためのディスプレイ１５と、を含んで構成される。
【００３７】
次に、図２を用いて本発明の実施形態における情報処理装置の動作について説明する。図２は、本発明の実施形態における情報処理装置の動作について説明するフローチャート図である。図２において、テレビ局等の放送設備から送信される放送波がチューナ１１（図１）において受信・復調され、復調された動画コンテンツがコンテンツ記録部１２に記録されると共に動画再生処理部１３に到達すると、ステップ（以下、「Ｓ」という。）２０１の処理において、動画デコード処理が行われる。これは、コンテンツ記録部１２（図１）に記録された動画コンテンツ（動画データ）を、動画再生処理部１３によってデコード（復号）処理がなされ、映像フレームが作成（復元）される。
【００３８】
次に、Ｓ２０２の処理では、動き量検出処理が行われる。これは、Ｓ２０１で作成された映像フレーム（これを、「表示対象フレーム」という。）と直近（例えば、直前）のフレーム（これを、「直近のフレーム」という。）とを動き量検出部１４（図１）に入力し、表示対象フレームと直近のフレームとを比較することによって行われる。表示対象となる動画コンテンツがフレーム間の動き量とともに符号化されたものである場合、動き量の検出は、動画コンテンツに格納される動き量を参照することによって行うこともできる。なお、フレーム内符号化とフレーム間符号化を併用して符号化された動画コンテンツでは、フレーム内符号化されたフレームには動き量が存在しないため、フレーム内符号化されたフレーム、及びその直後のフレームをフレーム調整の対象から除外するのが好ましい。
【００３９】
動き量検出部１４で検出された表示対象フレームの動き量は、図示しないバッファに一時的に保存された直近のフレームの動き量と比較され、表示対象フレームの動き量と、直近のフレームの動き量との差分が検出される。
【００４０】
Ｓ２０３の処理では、Ｓ２０２の処理で検出された表示対象フレームの動き量が第１の値と比較して小さいか否かが判断される。Ｓ２０３において、動き量が第１の値と比較して小さい（Ｓ２０３：ＹＥＳ）と判断されると、Ｓ２０４の処理へ移行し、動き量が第１の値以上である（Ｓ２０３：ＮＯ）と判断されると、Ｓ２０７の処理へ移行する。
【００４１】
Ｓ２０４の処理では、Ｓ２０２の処理で検出された表示対象フレームの動き量と、直近のフレームの動き量との差分が、第２の値と比較して大きいか否かが判断される。Ｓ２０４において、差分が第２の値より大きい（Ｓ２０４：ＹＥＳ）と判断されると、Ｓ２０５の処理へ移行し、差分が第２の値以下である（Ｓ２０４：ＮＯ）と判断されると、Ｓ２０７の処理へ移行する。なお、第１の値、及び第２の値がどのようなものであるかについては、後述する。
【００４２】
Ｓ２０５の処理では、映像信号の周波数と、ディスプレイ１５の周波数との差を要因とする余剰フレーム、又は不足フレームが存在するか否かが判断される。余剰フレームとは、映像信号のフレーム周波数がディスプレイ１５のクロック周波数より高い場合に発生し、両者の差分周波数によって映像が遅延してしまう現象により、ディスプレイ１５に表示できずに余ってしまうフレームのことをいう。また、不足フレームとは、映像信号のフレーム周波数がディスプレイ１５のクロック周波数より低い場合に発生し、両者の差分周波数によって映像が先行してしまう現象により、ディスプレイ１５に表示され過ぎて足りなくなってしまうフレームのことをいう。
【００４３】
この差分周波数に対応する余剰フレームは、図４の例では２５秒に１コマ存在し、不足フレームは、図５の例では約１７秒に１コマ存在することになる。よって、何ら対策を採らないと、徐々に音声に対して映像が遅延したり、徐々に音声に対して映像が先行したりすることにより、視聴者が認識できるレベルに達してしまう。
【００４４】
Ｓ２０５において、余剰フレーム、又は不足フレームが存在する（Ｓ２０５：ＹＥＳ）と判断されると、Ｓ２０６の処理へ移行する。余剰フレーム、又は不足フレームが存在しない（Ｓ２０５：ＮＯ）と判断されると、Ｓ２０７の処理へ移行する。
【００４５】
Ｓ２０７の処理では、余剰フレーム、又は不足フレームが、規定数以上であるか否かが判断される。すなわち、動画再生処理部１３（図１）で管理されている余剰フレーム数、又は不足フレーム数が、予め定められた規定数以上であるか否かが判断される。つまり、余剰フレーム、又は不足フレームを削除、又は補間することなく映像の再生を継続すると、この規定数分のフレーム分、映像が現実の時間から遅れて表示される、又は映像が現実の時間から進んで表示されることとなる（音声と映像とがずれて見える）。そこで、人間の目から見て、映像が現実の時間から遅れている、又は進んでいると実感することができない最大フレーム数（この最大フレーム数を超えると、映像が現実の時間から遅れている、又は進んでいると実感される）を、上記予め定められた規定数として規定し、余剰フレーム数、又は不足フレーム数が、その規定数以上となった（Ｓ２０７：ＹＥＳ）と判断されたときは、Ｓ２０６の処理へ移行し、余剰フレーム数、又は不足フレーム数が、規定数未満である（Ｓ２０７：ＮＯ）と判断されたときは、Ｓ２０８の処理へ移行する。
【００４６】
Ｓ２０６の処理では、フレーム調整処理が行われる。すなわち、フレーム調整部１６（図１）において、表示対象フレームが余剰フレームとして削除され、又は表示対象フレームに不足フレームとして補間され、Ｓ２０１の処理へ戻る。この余剰フレームの削除に関して図３を用いて説明する。図３は、本発明の実施形態における情報処理装置において、余剰映像コマを破棄するタイミングを説明するための図である。
【００４７】
図３において、４コマのシーンから構成されている一連の動き量が大きい、又は動き量が一定のシーン３１（直近のフレーム）と、４コマのシーンから構成されている一連の動き量が小さいシーン３２（表示対象フレーム）とが連続して放送されている映像シーンのうち、一連のシーン３２の動き量が小さい場合、シーン３２の動き量は第１の値より小さいと判断される（Ｓ２０３：ＹＥＳ）。また、シーン３１の動き量が大きい、又は動き量が一定である場合、動き量が小さいシーン３２との間の動き量の差分が第２の値より大きいと判断される（Ｓ２０４：ＹＥＳ）。したがって、シーン３１とシーン３２との間に存在するシーン３２の１個目のフレームが余剰フレームとして破棄されるのである。これにより、視聴者に違和感を与えることなく映像を円滑に再生することが可能となるのである。
【００４８】
図２に戻り、Ｓ２０８の処理では、フレーム表示処理が行われる。すなわち、Ｓ２０７の処理において、余剰フレーム数、又は不足フレーム数が、規定数未満である（Ｓ２０７：ＮＯ）と判断されたときは、動画再生処理部１３（図１）において、現在のフレームがディスプレイ１５（図１）に表示される。
【００４９】
そして、図２に示した本発明の実施形態における情報処理装置１０の動作フローは、コンピュータ上のプログラムに実行させることもできる。すなわち、図示しない制御部に内蔵される図示しないＣＰＵが、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成される図示しない記憶部に格納されたプログラムをロードし、プログラムの処理ステップが順次実行されることによって行われる。
【００５０】
ここで、上記した第１の値、及び第２の値について説明する。第１の値は、表示対象フレームの動き量が比較される値であるが、これは、例えば、ドラマ等の映像において、画面内の人間が動いているシーンにおいては、フレーム削除を行わない程度の値である。具体的には、画面内の約１５％の１６×１６画素の矩形ブロック（マクロブロック）が、画面幅の約１／１６に相当する距離を動いた場合の動き量程度の値である。
【００５１】
また、第２の値は、表示対象フレームの動き量と、直近のフレームの動き量との差分が、比較される値であるが、これは、例えば、表示対象フレームの動き量が第１の値より小さくても、電車を遠景撮影するシーンにおいて、フレーム削除を行わない程度の値である。具体的には、表示対象フレームの動き量と、直近のフレームの動き量との差分が、直近のフレームの動き量の３０％程度の値である。
【００５２】
なお、図２のＳ２０６の処理において実行されるフレーム調整処理における不足フレームの補間は、例えば、ディスプレイ１５に対して、表示対象フレームと同一のフレームを複数回継続して表示させることや、表示対象フレームと直近のフレームとの間の中間画像を作成してディスプレイ１５に表示させることによって行われる。
【００５３】
ここで、上述した余剰フレームについて補足して説明する。上記図４、又は図５において説明したように、放送映像のフレーム周波数が５９．９４Ｈｚである場合、１／５９．９４≒１６．６８ｍｓに１フレームずつ表示されることとなる。図２のＳ２０５の処理において、余剰フレーム、又は不足フレームが存在するか否かの判断がなされているが、映像シーンの各フレームには、当該各フレームをディスプレイ１５（図１）に表示すべき時刻（以下、この時刻を「サンプルタイム」という。）が付加されている。
【００５４】
そして、そのサンプルタイムと現在時刻（情報処理装置１０のデバイスクロック）とを比較し、サンプルタイムがデバイスクロックよりも１６．６８ｍｓ遅延している場合、余剰フレームが１つ存在し、１６．６８ｍｓ先行している場合、不足フレームが１つ存在することになる。仮に、サンプルタイムとデバイスクロックとの間の差が３３．３６ｍｓ存在する場合には、余剰フレーム、又は不足フレームが２つ存在することになる。
【００５５】
このような余剰フレーム、又は不足フレームが存在し、映像が遅れて表示される場合、又は先行して表示される場合、遅れている、又は進んでいる映像を現在時刻（情報処理装置１０のデバイスクロック）に追いつかせる必要がある。このときに実行されるのが、図２のＳ２０６の処理で行われるフレーム調整処理である。
【００５６】
本来、削除すべきフレーム（「コマ」ともいう。）、又は補間すべきフレームを何れのフレームとするかについては決められておらず、結果的に映像が現在時刻（実時間）に追いつけば良いのである。よって、上記図２のＳ２０７における余剰フレームの規定数、又は不足フレームの規定数を、映像が遅れていること、又は映像が進んでいることが視聴者に認識され始める限界値（遅延、又は先行が許容される値）まで上げておき、Ｓ２０３の処理において、表示対象フレームの動き量が第１の値以上である場合（Ｓ２０３：ＮＯ）、又はＳ２０４の処理において、表示対象フレームの動き量と、直近のフレームの動き量との差分が第２の値以下である場合（Ｓ２０４：ＮＯ）、余剰フレーム、又は不足フレームの数を当該限界値に達するまで蓄積しておき、当該限界値に達した段階で（Ｓ２０７：ＹＥＳ）、Ｓ２０６の処理において表示対象フレームが余剰フレームとして削除、又は表示対象フレームが不足フレームとして補間され、フレーム調整処理が行われるようにしても良い。
【００５７】
ただし、限界値をあまり高い値に設定すると、その値に至るまで余剰フレーム、又は不足フレームが大量に蓄積されるため、実時間より映像がかなり遅延、又は先行することとなり、音声と映像とのずれが目立ったり、他のテレビと比較して映像が遅れて表示されたり、又は進んで表示されたりするといった弊害も出てくるので、限界値を適切な値、すなわち、実時間に対して映像の遅延、又は先行が許容される範囲内に設定する必要がある。
【００５８】
なお、上記したように放送映像のフレーム周波数が５９．９４Ｈｚである場合、１フレーム（コマ）当たりに占める時間は１６．６８ｍｓであり、一般的に、音声と映像との間のずれが認識されるのは、人間の感覚では５０ｍｓから１００ｍｓの範囲であるといわれているので、余剰フレーム数、又は不足フレーム数を４から５コマ程度蓄積した後に纏めて削除、又は補間するようにしても良い。
【００５９】
さらに、音声と映像との間にずれが発生することを防止するものであるので、音声を伴わない動画映像や静止画等の場合には、余剰フレームを蓄積することなく、任意の地点で余剰フレームを削除することが可能である。
【００６０】
また、上記実施形態では、主として、テレビ局等の放送設備から送信される放送波を受信する機能を有するパーソナルコンピュータ（ＰＣ）等を含む情報処理装置で、ライブ映像を視聴する場合を対象として説明しているが、コンテンツ記録部１２（図１）に記録された録画映像を再生する場合や、放送波を受信する機能を有しないパーソナルコンピュータ（ＰＣ）等を含む情報処理装置で、他の装置で録画されたコンテンツを再生する場合についても同様に適用することが可能である。
【００６１】
このように、本発明によれば、映像信号の周波数と、映像信号を表示する表示手段の周波数との間に差を有する情報処理装置であって、映像信号の周波数が表示手段の周波数と比較して高いときに発生する余剰フレームの削除、又は映像信号の周波数が表示手段の周波数と比較して低いときに発生する不足フレームの補間を行う表示フレーム調整手段と、映像信号を構成する複数のフレームのうち、表示手段に表示されるフレームと、表示手段に表示されるフレームの直近のフレームとの間の動き量を検出する動き量検出手段と、直近のフレームについて動き量検出手段により検出された動き量を一時保存するバッファと、を含み、表示手段に表示されるフレームにおける動き量が第１の値以下であり、かつ、バッファに一時保存された直近のフレームにおける動き量との差分が第２の値以上であるとき、表示フレーム調整手段は、余剰フレームを削除、又は不足フレームを補間することにより、視聴者に違和感を与えることなく映像を円滑に再生することが可能な情報処理装置、制御方法、及びプログラムを提供することができる。
【００６２】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨及び範囲から逸脱することなく、これら具体例に様々な修正及び変更が可能である。
【符号の説明】
【００６３】
１０    パーソナルコンピュータ（ＰＣ）
１１    チューナ
１２    コンテンツ記録部
１３    動画再生処理部
１４    動き量検出部
１５    ディスプレイ
１６    フレーム調整部
【図１】
2014220660.tif 000003
【図２】
2014220660.tif 000004
【図３】
2014220660.tif 000005
【図４】
2014220660.tif 000006
【図５】
2014220660.tif 000007
【図６】
2014220660.tif 000008
【図７】
2014220660.tif 000009