(57)【要約】  【課題】  指定された表示モードに応じた表示処理を、当該指定を受けてから短時間で開始できる画像処理方法を提供する。  【解決手段】  ＳＴＣ生成部２５において、基準クロックデータＳＴＣ＿Ｓと、表示モードに応じた補正データSTC_offset_cとを基に、補正クロックデータＳＴＣを生成する。画像出力部２９は、ＳＴＣと一致したＰＴＳに対応したフレームデータを画像出力する。  【選択図】  図１
2006229484.tif 000002
【特許請求の範囲】
【請求項１】
複数のピクチャデータの各々に対応付けられ、それぞれ対応するピクチャデータの表示タイミングを規定する複数の表示タイミングデータを基に、前記複数のピクチャデータの前記表示処理を順に行う画像処理方法であって、
指示された表示モードに応じて基準タイミングデータを補正して補正基準タイミングデータを生成する第１の工程と、
前記表示タイミングデータと前記第１の工程で生成した前記補正基準タイミングデータとを比較し、当該比較により前記補正基準タイミングデータと一致した前記表示タイミングデータに対応する前記ピクチャデータの前記表示処理を行う第２の工程と
を有する画像処理方法。
【請求項２】
複数の前記ピクチャデータと、当該複数のピクチャデータの前記表示タイミングデータを生成するために用いられる属性データとを含むモジュールデータを基に、当該モジュールデータに含まれる前記複数のピクチャデータの各々の前記表示タイミングデータを生成する第３の工程
をさらに有し、
前記第２の工程は、前記第３の工程で生成した前記表示タイミングデータと、前記補正基準タイミングデータとを比較する
請求項１に記載の画像処理方法。
【請求項３】
前記第２の工程は、所定の時間間隔で前記比較を行い、
前記第１の工程は、次に表示処理する前記ピクチャデータの表示タイミングデータと、前記補正基準タイミングデータとが、前記指示された表示モードに応じた時間間隔で一致するように、前記補正基準タイミングデータを生成する
請求項１に記載の画像処理方法。
【請求項４】
前記基準タイミングデータが示す値を、前記所定の時間間隔で所定数だけ増加するように順にインクリメントあるいはデクリメントする第４の工程
をさらに有し、
前記第１の工程は、前記指示に応じた時間パターンで、前記所定数だけ値をインクリメントあるいはデクリメントする補正データを生成し、前記第４の工程で生成した前記基準タイミングデータと前記補正データとを基に前記補正基準タイミングデータを生成する
請求項３に記載の画像処理方法。
【請求項５】
前記第１の工程は、前記指示が１／Ｎ（Ｎは整数）倍速スロー再生を示す場合に、前記所定の時間間隔を１周期とした場合に、連続した（Ｎ−１）周期において前記補正基準タイミングデータの値を保持し、続く１周期において、前記補正基準タイミングデータの値を前記所定数だけインクリメントあるいはデクリメントする
請求項４に記載の画像処理方法。
【請求項６】
前記所定の時間間隔で前記Ｎまでカウントアップした後に初期値「１」に戻るカウント値を生成する第５の工程
をさらに有し、
前記第１の工程は、前記第５の工程で生成した前記カウント値がＮ未満である場合に前記補正基準タイミングデータの値を保持し、前記カクント値がＮになると、前記補正基準タイミングデータの値を前記所定数だけインクリメントし、
前記１／Ｎ倍速スロー再生の倍速を変更する指示を受けると、前記第５の工程で生成した前記カウント値が変更後の前記Ｎ未満である場合に、前記カウント値を保持し、前記カウント値が前記変更後の前記Ｎ以上である場合に、前記カウント値を「１」にリセットする
請求項５に記載の画像処理方法。
【請求項７】
複数のピクチャデータの各々に対応付けられ、それぞれ対応するピクチャデータの表示タイミングを規定する複数の表示タイミングデータを基に、前記複数のピクチャデータの前記表示処理を順に行う画像処理装置であって、
指示された表示モードに応じて基準タイミングデータを補正して補正基準タイミングデータを生成する生成手段と、
前記表示タイミングデータと前記生成手段が生成した前記補正基準タイミングデータとを比較し、当該比較により前記補正基準タイミングデータと一致した前記表示タイミングデータに対応する前記ピクチャデータの前記表示処理を行う表示処理手段と
を有する画像処理装置。
【請求項８】
複数のピクチャデータの各々に対応付けられ、それぞれ対応するピクチャデータの表示タイミングを規定する複数の表示タイミングデータを基に、前記複数のピクチャデータの前記表示処理を順に行う画像処理装置であって、
基準タイミングデータを生成する基準タイミング発生手段と、
指示された表示モードに応じて補正データを生成する補正データ生成手段と、
前記基準タイミング発生手段が生成した前記基準タイミングデータと、前記補正データ生成手段が生成した前記補正データとを基に、補正基準タイミングデータを生成する生成手段と、
前記表示タイミングデータと前記生成手段が生成した前記補正基準タイミングデータとを比較し、当該比較により前記補正基準タイミングデータと一致した前記表示タイミングデータに対応する前記ピクチャデータの前記表示処理を行う表示処理手段と
を有する画像処理装置。
【請求項９】
複数のピクチャデータの表示処理を順に行う画像処理装置であって、
複数の前記ピクチャデータと、当該複数のピクチャデータの前記表示タイミングデータを生成するために用いられる属性データとを含むモジュールデータを基に、当該モジュールデータに含まれる前記複数のピクチャデータの各々の前記表示タイミングデータを生成する表示タイミングデータ生成手段と、
指示された表示モードに応じて基準タイミングデータを補正して補正基準タイミングデータを生成する生成手段と、
前記表示タイミングデータ生成手段が生成した前記表示タイミングデータと前記生成手段が生成した前記補正基準タイミングデータとを比較し、当該比較により前記補正基準タイミングデータと一致した前記表示タイミングデータに対応する前記ピクチャデータの前記表示処理を行う表示処理手段と
を有する画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のピクチャデータを順に表示する画像処理方法およびその装置に関する。
【背景技術】
【０００２】
ＭＰＥＧ(Moving Picture Experts Group)などで規定されているプログラムストリーム内には、複数のフレームデータと、そのフレームデータの表示時刻を示す表示時刻データＰＴＳが含まれている。
画像復号装置は、フレームデータを復号した後に、これを表示時刻データＰＴＳと対応付けてバッファメモリに記憶する。
そして、上記画像復号装置は、例えば、内蔵する基準クロック発生器が生成した基準クロックデータが示す表示時刻と、上記バッファメモリに記憶されているフレームデータの表示時刻データＰＴＳが示す表示時刻とを比較し、一致すると、その表示時刻データＰＴＳに対応したフレームデータの表示処理を行う。
上記画像復号装置では、例えば、スロー再生などの特殊な表示モードにおいて、表示モードに応じて表示時刻データＰＴＳを補正し、当該補正した表示時刻データＰＴＳとフレームデータとを対応付けて上記バッファメモリに記憶している。
【特許文献１】特開２００４−７８３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した画像復号装置では、上記特殊な表示モードが指示された場合に、既にバッファメモリに記憶されているフレームデータについては、その表示時刻データＰＴＳの補正が困難であるため、表示モードの指示が行われた後にバッファメモリに書き込む表示時刻データＰＴＳに対して上記指示された表示モードに応じて表示時刻データＰＴＳを補正する。
そのため、表示モードの変更指示が出されてから、表示モードが実際に変更されるまでのタイムラグが長い。
【０００４】
本発明は上述した従来技術の問題点を解決するために、指定された表示モードに応じた表示処理を、当該指定を受けてから短時間で開始できる画像処理方法およびその装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した従来技術の問題点を解決し、上述した目的を達成するため、第１の観点の発明の画像処理方法は、複数のピクチャデータの各々に対応付けられ、それぞれ対応するピクチャデータの表示タイミングを規定する複数の表示タイミングデータを基に、前記複数のピクチャデータの前記表示処理を順に行う画像処理方法であって、指示された表示モードに応じて基準タイミングデータを補正して補正基準タイミングデータを生成する第１の工程と、前記表示タイミングデータと前記第１の工程で生成した前記補正基準タイミングデータとを比較し、当該比較により前記補正基準タイミングデータと一致した前記表示タイミングデータに対応する前記ピクチャデータの前記表示処理を行う第２の工程とを有する。
【０００６】
第２の観点の発明の画像処理装置は、複数のピクチャデータの各々に対応付けられ、それぞれ対応するピクチャデータの表示タイミングを規定する複数の表示タイミングデータを基に、前記複数のピクチャデータの前記表示処理を順に行う画像処理装置であって、指示された表示モードに応じて基準タイミングデータを補正して補正基準タイミングデータを生成する生成手段と、前記表示タイミングデータと前記生成手段が生成した前記補正基準タイミングデータとを比較し、当該比較により前記補正基準タイミングデータと一致した前記表示タイミングデータに対応する前記ピクチャデータの前記表示処理を行う表示処理手段とを有する。
【０００７】
第２の観点の発明の画像処理装置の作用は以下のようになる。
生成手段が、指示された表示モードに応じて基準タイミングデータを補正して補正基準タイミングデータを生成する。
そして、表示処理手段が、表示タイミングデータと前記生成手段が生成した前記補正基準タイミングデータとを比較し、当該比較により前記補正基準タイミングデータと一致した前記表示タイミングデータに対応するピクチャデータの前記表示処理を行う。
【０００８】
第３の観点の発明の画像処理装置は、複数のピクチャデータの各々に対応付けられ、それぞれ対応するピクチャデータの表示タイミングを規定する複数の表示タイミングデータを基に、前記複数のピクチャデータの前記表示処理を順に行う画像処理装置であって、基準タイミングデータを生成する基準タイミング発生手段と、指示された表示モードに応じて補正データを生成する補正データ生成手段と、前記基準タイミング発生手段が生成した前記基準タイミングデータと、前記補正データ生成手段が生成した前記補正データとを基に、補正基準タイミングデータを生成する生成手段と、前記表示タイミングデータと前記生成手段が生成した前記補正基準タイミングデータとを比較し、当該比較により前記補正基準タイミングデータと一致した前記表示タイミングデータに対応する前記ピクチャデータの前記表示処理を行う表示処理手段とを有する。
【０００９】
第３の観点の発明の画像処理装置の作用は以下のようになる。
基準タイミング発生手段が、基準タイミングデータを生成する。
また、補正データ生成手段が、指示された表示モードに応じて補正データを生成する。
そして、生成手段が、前記基準タイミング発生手段が生成した前記基準タイミングデータと、前記補正データ生成手段が生成した前記補正データとを基に、補正基準タイミングデータを生成する。
そして、表示処理手段が、前記表示タイミングデータと前記生成手段が生成した前記補正基準タイミングデータとを比較し、当該比較により前記補正基準タイミングデータと一致した前記表示タイミングデータに対応する前記ピクチャデータの前記表示処理を行う。
【００１０】
第４の観点の発明の画像処理装置は、複数のピクチャデータの表示処理を順に行う画像処理装置であって、複数の前記ピクチャデータと、当該複数のピクチャデータの前記表示タイミングデータを生成するために用いられる属性データとを含むモジュールデータを基に、当該モジュールデータに含まれる前記複数のピクチャデータの各々の前記表示タイミングデータを生成する表示タイミングデータ生成手段と、指示された表示モードに応じて基準タイミングデータを補正して補正基準タイミングデータを生成する生成手段と、前記表示タイミングデータ生成手段が生成した前記表示タイミングデータと前記生成手段が生成した前記補正基準タイミングデータとを比較し、当該比較により前記補正基準タイミングデータと一致した前記表示タイミングデータに対応する前記ピクチャデータの前記表示処理を行う表示処理手段とを有する。
【００１１】
第４の観点の発明の画像処理装置の作用は以下のようになる。
表示タイミングデータ生成手段が、複数の前記ピクチャデータと、当該複数のピクチャデータの前記表示タイミングデータを生成するために用いられる属性データとを含むモジュールデータを基に、当該モジュールデータに含まれる前記複数のピクチャデータの各々の前記表示タイミングデータを生成する。
また、生成手段が、指示された表示モードに応じて基準タイミングデータを補正して補正基準タイミングデータを生成する。
そして、表示処理手段が、前記表示タイミングデータ生成手段が生成した前記表示タイミングデータと前記生成手段が生成した前記補正基準タイミングデータとを比較し、当該比較により前記補正基準タイミングデータと一致した前記表示タイミングデータに対応する前記ピクチャデータの前記表示処理を行う。
【発明の効果】
【００１２】
本発明によれば、指定された表示モードに応じた表示処理を、当該指定を受けてから短時間で開始できる画像処理方法およびその装置を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施形態に係わる画像処理方法および装置について説明する。
先ず、本実施形態の構成要素と、本発明の構成要素との対応関係を説明する。
本実施形態のフレームデータＦＲが本発明のピクチャデータの一例である。
また、本実施形態の基準クロックデータＳＴＣ＿Ｓが本発明の基準タイミングデータの一例であり、本実施形態の補正クロックデータＳＴＣが本発明の補正基準タイミングデータの一例であり、本実施形態の補正データＳＴＣ＿ｏｆｆｓｅｔ＿ｃが本発明の補正データの一例である。
また、本実施形態の表示時刻データＰＴＳが本発明の表示タイミングデータの一例である。
【００１４】
図１１および図１２に示す処理が本発明の第１の工程の一例であり、図１０に示すステップＳＴ６，ＳＴ７が本発明の第２の工程の一例である。
また、図１０に示すステップＳＴ４が本発明の第３の工程の一例である。
【００１５】
図１に示すＳＴＣ補正部２３およびＳＴＣ生成部２５が第２、４の観点の発明の生成手段に対応し、画像出力部２９が第２，３，４の観点の発明の表示処理手段に対応している。
また、基準クロック発生部２１が第３の観点の発明の基準タイミング発生手段に対応し、ＳＴＣ補正部２３が第３の観点の発明の補正データ生成手段に対応し、ＳＴＣ生成部２５が第３の観点の発明の生成手段に対応している。
また、PTS付加部１９が第４の観点の発明の表示タイミングデータ生成手段に対応している。
【００１６】
図１は、本発明の実施形態に係わる画像処理装置１の全体構成図である。
図１に示すように、画像処理装置１は、例えば、操作部１１、インタフェース１３、ストリーム解析部１５、画像復号部１７、PTS付加部１９、基準クロック発生部２１、ＳＴＣ補正部２３、ＳＴＣ生成部２５、画像蓄積量監視部２７および画像出力部２９を有する。
［インタフェース１３］
インタフェース１３は、例えば、ＤＶＤなどの記録媒体から読み出された符号化ストリームＳＴＭを入力する。
符号化ストリームＳＴＭは、例えば、プログラムストリームであり、図２に示すように、複数のパックデータＰＡＣＫで構成されており、各パックデータＰＡＣＫは、パックヘッダデータＰ＿Ｈ、システムヘッダデータＳ＿Ｈ、並びに複数のペスパケットデータＰＥＳ＿Ｐを含む。
また、ペスパケットデータＰＥＳ＿Ｐは、ペスパケットヘッダデータＰＥＳ＿Ｐ＿Ｈと、エレメンタリストリームＥＳを含む。
エレメンタリストリームＥＳは、単数または複数の符号化されたフレームデータＦＲを含んでいる。
本実施形態において、上記符号化としては、ＭＰＥＧ(Moving Picture Experts Group)などが用いられる。また、当該符号化は、例えば、Ｈ．２６４／ＡＶＣ(Advanced Video Coding)などであってもよい。
ペスパケットヘッダデータＰＥＳ＿Ｐ＿Ｈは、同じエレメンタリストリームＥＳ内の複数のフレームデータＦＲについての表示時刻データ（表示タイミングデータ）ＰＴＳを含んでいる。
また、ペスパケットヘッダデータＰＥＳ＿Ｐ＿Ｈは、同じエレメンタリストリームＥＳ内の複数のフレームデータＦＲの属性データＰＲＰをさらに含んでいる。
属性データＰＲＰは、例えば、同じエレメンタリストリームＥＳ内の複数のフレームデータＦＲの情報（temporal_reference, picture_coding_type）などを示している。
【００１７】
［ストリーム解析部１５］
ストリーム解析部１５は、インタフェース１３から入力した符号化ストリームＳＴＭから、フレームデータＦＲを分離して画像復号部１７に出力する。
また、ストリーム解析部１５は、符号化ストリームＳＴＭ内のヘッダデータ等に含まれる属性データＰＲＰなどの復号に必要な情報を符号化ストリームＳＴＭから分離して画像復号部１７に出力する。
また、ストリーム解析部１５は、符号化ストリームＳＴＭ内の表示時刻データＰＴＳおよび属性データＰＲＰをPTS付加部１９に出力する。
【００１８】
［画像復号部１７］
画像復号部１７は、ストリーム解析部１５から入力したフレームデータＦＲを復号してPTS付加部１９に出力する。
【００１９】
［PTS付加部１９］
PTS付加部１９は、ストリーム解析部１５から入力したフレームデータＦＲのうち、表示時刻データＰＴＳが付加されていないフレームデータＦＲについて、ストリーム解析部１５から入力した属性データＰＲＰを基に、その表示時刻データＰＴＳを生成する。
PTS付加部１９は、画像復号部１７から入力した復号されたフレームデータＦＲと、それに対応する上記表示時刻データＰＴＳとを画像出力部２９に出力し、これらを対応付けてバッファメモリＢＵＦに書き込む。
【００２０】
［基準クロック発生部２１］
基準クロック発生部２１は、画像処理装置１の基準クロックデータ（信号）ＳＴＣ＿Ｓを生成する。
具体的には、基準クロック発生部２１は、図３等に示すように、単数のフレームデータ（ピクチャデータ）の表示処理を行う期間（１ピクチャ時間）内に（本発明の所定の時間間隔で）所定数（例えば、３００３）だけリニアに値を増加するように基準クロックデータＳＴＣ＿Ｓを生成する。
上記１ピクチャ時間は、ＮＴＳＣで周波数９０ｋＨｚ、３００３であり、ＰＡＬで周波数９０ｋＨｚ、３６００である。本実施形態では、上記所定数として、ＮＴＳＣに対応した「３００３」を例示する。
【００２１】
［ＳＴＣ補正部２３］
ＳＴＣ補正部２３は、操作部１１からの操作信号に基づいて、当該操作信号によって指示された表示モードｍｏｄｅに応じた時間間隔で、値を上記所定数だけ段階的に増加する。例えば図３等に示す補正データＳＴＣ＿ｏｆｆｓｅｔ＿ｃを生成し、これをＳＴＣ生成部２５に出力する。
ここで、補正データＳＴＣ＿ｏｆｆｓｅｔ＿ｃの初期値ＳＴＣ＿ｏｆｆｓｅｔ＿ｃ＿ｉｎｉは、下記式（１）で示される。
下記式（１）において、ＳＴＣ＿ｉｎｉは、基準クロックデータＳＴＣ＿Ｓの初期値である。
また、Ｎｆｒａｍｅは、フレームデータＦＲの表示処理を開始するタイミングを調整するための値を示している。
また、ＰＴＳ＿１ｓｔは、符号化ストリームＳＴＭ内の最初に表示処理されるフレームデータＦＲの表示時刻データＰＴＳを示している。
【００２２】
［数１］
ＳＴＣ＿ｏｆｆｓｅｔ＿ｃ＿ｉｎｉ
＝ＳＴＣ＿ｉｎｉ＋Ｎｆｒａｍｅ−ＰＴＳ＿１ｓｔ
…（１）
【００２３】
また、ＳＴＣ補正部２３は、下記式（２）により、補正データＳＴＣ＿ｏｆｆｓｅｔ＿ｃを生成する。
【００２４】
［数２］
ＳＴＣ＿ｏｆｆｓｅｔ＿ｃ＝ＳＴＣ＿ｏｆｆｓｅｔ＿ｃ＋ｏｆｆｓｅｔ（ｍｏｄｅ）
…（２）
【００２５】
上記式（２）において、ｏｆｆｓｅｔ（ｍｏｄｅ）は、表示モードｍｏｄｅに応じた時間パターンで、上記所定数だけ段階的に値を増加する関数である。
【００２６】
［ＳＴＣ生成部２５］
ＳＴＣ生成部２５は、下記式（３）に示すように、基準クロック発生部２１から入力した基準クロックデータＳＴＣ＿Ｓが示す値から、ＳＴＣ補正部２３から入力した補正データＳＴＣ＿ｏｆｆｓｅｔ＿ｃを差し引いて補正クロックデータＳＴＣを生成し、これを画像出力部２９に出力する。
【００２７】
［数３］
ＳＴＣ＝ＳＴＣ＿Ｓ―ＳＴＣ＿ｏｆｆｓｅｔ＿ｃ
…（３）
【００２８】
［画像蓄積量監視部２７］
画像蓄積量監視部２７は、画像出力部２９のバッファメモリＢＵＦ内に画像出力すべきフレームデータＦＲが記憶されていない状態（画像枯渇状態）を検出する。
画像蓄積量監視部２７は、例えば、ストリーム解析部１５から、符号化ストリームＳＴＭ内のフレームデータＦＲの最終出力時刻を示す最終出力時刻データＦＯＴを入力する。
当該最終出力時刻データＦＯＴは、ＤＶＤ(Digital Versatile Disk)においては、E_PTMというパラメータである。
【００２９】
画像蓄積量監視部２７は、画像出力部２９のバッファメモリＢＵＦに、以後表示処理するフレームデータＦＲが記憶されていないことを検出すると、ＳＴＣ生成部２５から入力した補正クロックデータＳＴＣと、ストリーム解析部１５から入力した最終出力時刻データＦＯＴとを比較する。
そして、画像蓄積量監視部２７は、上記比較により、ＳＴＣ＞ＦＯＴである場合に、画像枯渇状態であると判断する。
画像枯渇状態は、例えば、インタフェース１３への符号化ストリームＳＴＭの入力が停止したり、符号化ストリームＳＴＭ内に再生不可能なエラーが生じた場合に発生する。
当該画像枯渇状態は、その後，正常な符号化ストリームＳＴＭの入力再開により，正常状態に復帰でき、この復帰状態の監視も画像蓄積量監視部２７によって検出される。
画像蓄積量監視部２７は、上記画像枯渇状態を検出すると、その旨をＳＴＣ補正部２３に通知する。
【００３０】
［画像出力部２９］
画像出力部２９は、PTS付加部１９から入力した復号後のフレームデータＦＲと、その表示時刻データＰＴＳとを対応付けて記憶するバッファメモリＢＵＦを有する。
画像出力部２９は、単数のフレームデータ（ピクチャデータ）の表示処理を行う１ピクチャデータの処理時間（１ピクチャ時間）毎に、ＳＴＣ生成部２５から入力した補正クロックデータＳＴＣと、バッファメモリＢＵＦに記憶されている次に表示処理する候補のフレームデータＦＲの表示時刻データＰＴＳとを比較する。
画像出力部２９は、上記比較により、補正クロックデータＳＴＣと表示時刻データＰＴＳとが一致した場合に、そのフレームデータＦＲを表示装置（図示せず）に画像出力する。
一方、画像出力部２９は、ＰＴＳ＞ＳＴＣ、すなわち現在の表示時刻が、次に表示処理するフレームデータＦＲの表示時刻に達していない場合には、上記候補のフレームデータＦＲを画像出力しない。すなわち、現在画像出力しているフレームデータＦＲの画像表示を維持する。
【００３１】
以下、特殊再生時の動作について説明する。
［停止（ＰＡＵＳＥ）動作］
ユーザによる操作部１１の操作に応じて、表示モードｍｏｄｅとして、停止（ＰＡＵＳＥ）が指示されると、ＳＴＣ補正部２３は、上記１ピクチャ時間毎に、上記式（２）のｏｆｆｓｅｔ（ｍｏｄｅ）を上記所定数だけ段階的にインクリメントする。
これにより、図３に示すように、上記式（２）により、補正データＳＴＣ＿ｏｆｆｓｅｔ＿ｃが１ピクチャ時間毎に、上記所定数（３００３）ずつインクリメントされ、画像出力部２９において上記比較処理が行われるタイミングで、補正クロックデータＳＴＣは前回の比較処理時の値と同じになり、次に表示処理するフレームデータＦＲの表示時刻データＰＴＳに対して「ＳＴＣ＜ＰＴＳ」の関係が継続して成り立ち、当該次のフレームデータＦＲは画像出力されない。
すなわち、画像出力部２９から出力されるフレームデータＦＲが停止状態になる。
その後、ユーザによる操作部１１の操作に応じて、停止解除（ＰＡＵＳＥ解除）が指示されると、図３に示すように、ＳＴＣ補正部２３は、上記ｏｆｆｓｅｔ（ｍｏｄｅ）のインクリメントを停止する。これにより、ＳＴＣ生成部２５が生成する補正クロックデータＳＴＣは、図３に示すようにリニアに増加（カウントアップ）する。そして、画像出力部２９において、次に表示処理するフレームデータＦＲの表示時刻データＰＴＳと、補正クロックデータＳＴＣとが一致し、そのタイミングで、当該次のフレームデータＦＲが画像出力され、表示画像が更新される。
【００３２】
［スロー再生動作］
以下、１／Ｎ倍速スロー再生について説明する。
ここで、Ｎは整数である。
ユーザによる操作部１１の操作に応じて、表示モードｍｏｄｅとして、１／Ｎ倍速スロー再生が指示されると、画像出力部２９は、カウンタ−ＣＯＵＮＴＥＲのカウント値を「１」にセットする。
画像出力部２９は、上記比較処理を行う度に、カウンタ−ＣＯＵＮＴＥＲのカウント値を１だけインクリメントする。
カウンタ−ＣＯＵＮＴＥＲは、１／Ｎ倍速スロー再生の場合に、カウント値がＮに達すると、その後、カウント値を１にリセットする。
ＳＴＣ補正部２３は、カウンタ−ＣＯＵＮＴＥＲのカウント値が「１」でないことを条件に、１ピクチャ時間毎に、補正データＳＴＣ＿ｏｆｆｓｅｔ＿ｃを上記所定数だけ段階的にインクリメントする。
ＳＴＣ補正部２３は、カウンタ−ＣＯＵＮＴＥＲのカウント値が「１」である場合に、補正データＳＴＣ＿ｏｆｆｓｅｔ＿ｃをインクリメントしない。すなわち、ＳＴＣ生成部２５から出力される補正クロックデータＳＴＣは、リニアにインクリメントされる。これにより、画像出力部２９による上記比較処理によって一致が検出され、次のフレームデータＦＲが画像出力される。
【００３３】
ＳＴＣ補正部２３は、図４に示すように、１倍速再生状態で、１／５倍速スロー再生が指示されると、カウンタ−ＣＯＵＮＴＥＲのカウント値を「１」から「２」にインクリメントし、その後、１ピクチャ時間間隔で、「５」に達するまで順に段階的に所定数だけインクリメントする。
これにより、図４に示すように、ＳＴＣ生成部２５から出力される補正クロックデータＳＴＣは、４ピクチャ時間の間、画像出力部２９における比較処理のタイミングで、同じ値を保持し、新たなフレームデータＦＲを画像出力しない。
ＳＴＣ補正部２３は、カウンタ−ＣＯＵＮＴＥＲのカウント値を、「５」の次に「１」にリセットし、これにより、ＳＴＣ生成部２５から出力される補正クロックデータＳＴＣは５ピクチャ時間間隔で所定数だけインクリメントされる。
すなわち、1ピクチャ時間を１周期として、連続した４周期の比較処理において、補正クロックデータＳＴＣの値を保持し、1つの１周期において補正クロックデータの値を更新する。
その結果、画像出力部２９の比較処理によって、５ピクチャ時間間隔で、次候補のフレームデータＦＲの表示時刻データＰＴＳと、補正クロックデータＳＴＣとが一致し、当該フレームデータＦＲが画像出力される。すなわち、１／５倍速スロー再生が行われる。
【００３４】
図５は、図４に示す１／５倍速スロー再生において、カウンタ−ＣＯＵＮＴＥＲのカウント値が「５」になった直後に、１／３倍速スロー再生の指示が入力された場合を説明するための図である。
この場合には、図５に示すように、１／３倍速スロー再生の指示が入力された後に、ＳＴＣ補正部２３は、１ピクチャ時間間隔で、カウンタ−ＣＯＵＮＴＥＲが「３」になるまでカウントアップを行い、「３」の次に「１」にリセットする。
これにより、画像出力部２９の比較処理によって、１／３倍速スロー再生の指示が入力された直後から、３ピクチャ時間間隔で、次候補のフレームデータＦＲの表示時刻データＰＴＳと補正クロックデータＳＴＣとが一致し、当該フレームデータＦＲが画像出力される。すなわち、１／３倍速スロー再生の指示が入力された直後から、１／３倍速スロー再生が行われる。
【００３５】
図６は、図４に示す１／５倍速スロー再生において、カウンタ−ＣＯＵＮＴＥＲのカウント値が「５」になる前に、１／３倍速スロー再生の指示が入力された場合を説明するための図である。
この場合には、図６に示すように、１／３倍速スロー再生の指示が入力された後に、カウンタ−ＣＯＵＮＴＥＲはそのカウント値を「１」にリセットし、その後、「３」になるまでカウントアップを行い、「３」の次に「１」にリセットする。
これにより、１／３倍速スロー再生の指示が入力された直後から、画像出力部２９の比較処理によって、３ピクチャ時間間隔で、次候補のフレームデータＦＲの表示時刻データＰＴＳと補正クロックデータＳＴＣとが一致し、当該フレームデータＦＲが画像出力される。すなわち、１／３倍速スロー再生の指示が入力された直後から、１／３倍速スロー再生が行われる。
【００３６】
図７は、１／３倍速スロー再生中に１／５倍速スロー再生の指示が入力された場合を説明するための図である。
この場合には、１／５倍速スロー再生の指示が入力されたタイミングのカウント値を保持し、１ピクチャ時間毎にそのカウント値を「５」に達するまでカウントアップする。
これにより、１／５倍速スロー再生の指示が入力された直後から、画像出力部２９の比較処理によって、５ピクチャ時間間隔で、次候補のフレームデータＦＲの表示時刻データＰＴＳと補正クロックデータＳＴＣとが一致し、当該フレームデータＦＲが画像出力される。すなわち、１／５倍速スロー再生の指示が入力された直後から、１／５倍速スロー再生が行われる。
【００３７】
［コマ送り］
図８は、停止（ＰＡＵＳＥ）指示が入力された後に、コマ送り指示が入力された場合の動作を説明するための図である。
この場合には、ＳＴＣ補正部２３は、図３等を用いて説明したように、補正データＳＴＣ＿ｏｆｆｓｅｔ＿ｃを１ピクチャ時間毎に、上記所定数（３００３）ずつ段階的にインクリメントし、画像出力部２９において、「ＳＴＣ＜ＰＴＳ」の関係が継続して成り立ち、次のフレームデータＦＲは画像出力されない。
そして、ＳＴＣ補正部２３は、操作信号Ｓ１１によって最初のコマ送り指示を入力すると、そのタイミングで、補正データＳＴＣ＿ｏｆｆｓｅｔ＿ｃのインクリメントを停止し、これにより画像出力部２９から次の表示候補のフレームデータＦＲが画像出力される。
その後、ＳＴＣ補正部２３は、補正データＳＴＣ＿ｏｆｆｓｅｔ＿ｃを１ピクチャ時間毎に所定数だけ段階的にインクリメントし、画像出力部２９からのフレームデータＦＲの画像出力を停止状態にする。
なお、図８に示す最初のコマ送りでは、次の表示候補のフレームデータＦＲと、表示中のフレームデータＦＲとの間で、表示時刻データＰＴＳの差分が上記所定数（３００３）である場合を示している。
一方、図８に示す２番目のコマ送りでは、次の表示候補のフレームデータＦＲと、表示中のフレームデータＦＲとの間で、表示時刻データＰＴＳの差分が上記所定数（３００３）以外である場合を示している。
本実施形態では、ＳＴＣ補正部２３は、下記式（４），（５）により、補正データＳＴＣ＿ｏｆｆｓｅｔ＿ｃを生成する。
下記式（５）において、ＰＴＳ．ｎｅｘｔは、次の表示候補のフレームデータＦＲの表示時刻データＰＴＳを示している。
【００３８】
［数４］
ＳＴＣ＿ｏｆｆｓｅｔ＿ｃ＝ＳＴＣ＿ｏｆｆｓｅｔ＿ｃ＋ｏｆｆｓｅｔ（コマ送り）
…（４）
【００３９】
［数５］
ｏｆｆｓｅｔ（コマ送り）＝ＳＴＣ＿Ｓ−３００３（上記所定数）−ＰＴＳ．ｎｅｘｔ
…（５）
【００４０】
このように、次の表示候補のフレームデータＦＲの表示時刻データＰＴＳを基に、ｏｆｆｓｅｔ（コマ送り）を規定することで、図８に示す２番目のコマ送りについても、適切に次の表示候補のフレームデータＦＲを画像出力できる。
【００４１】
［アンダーフロ−の場合］
図９は、図１に示す画像出力部２９のバッファメモリＢＵＦがアンダーフローした場合の動作例を説明するための図である。
画像蓄積量監視部２７は、バッファメモリＢＵＦのアンダーフローを検出すると、その旨をＳＴＣ補正部２３に通知する。
ＳＴＣ補正部２３は、上記通知を入力すると、正常状態への復帰通知を画像蓄積量監視部２７から入力するまで、１ピクチャ時間毎に、上記所定数を上記式（２）のｏｆｆｓｅｔ（ｍｏｄｅ）としてＳＴＣ＿ｏｆｆｓｅｔ＿ｃに加算する。
これにより，ＳＴＣ生成部２５から出力される補正クロックデータＳＴＣを用いた画像出力部２９の比較処理（ＳＴＣとＰＴＳとの比較処理）は継続して不一致と判断し、フレームデータＦＲの画像出力は更新されない。
【００４２】
画像出力部２９においては，補正クロックデータＳＴＣと、表示時刻データＰＴＳとが一致した状態で正常な同期状態で画像表示が行われる。その後、符号化ストリームＳＴＭの入力再開等により、画像蓄積量監視部２７において上記画像枯渇状態の復帰が検出されると、復帰通知により、ＳＴＣ生成部２５において上記ｏｆｆｓｅｔ（ｍｏｄｅ）が「０」になり、補正クロックデータＳＴＣのインクリメントが再開される。
通常，符号化ストリームＳＴＭの入力が一時的に停止してから、当該入力が再開された場合に、符号化ストリームＳＴＭのうち前回の入力した部分の続きの部分が入力されることが多い。
しかしながら、符号化ストリームＳＴＭの入力を再開したとき、前回入力した部分と非連続な部分が入力された場合、アンダーフローが生じることになる。
この場合には、ＳＴＣ補正部２３は、復帰直後の符号化ストリームＳＴＭ内の最初のフレームデータＦＲの表示時刻データＰＴＳを、ｏｆｆｓｅｔ＿ｒｅｓｔａｒｔとして用いて下記式（６）により、補正データＳＴＣ＿ｏｆｆｓｅｔ＿ｃを生成する。
［数６］
ＳＴＣ＿ｏｆｆｓｅｔ＿ｃ＝ＳＴＣ＿Ｓ―ｏｆｆｓｅｔ＿ｒｅｓｔａｒｔ
…（６）
【００４３】
［画像処理装置１の全体動作例］
以下、図１に示す画像処理装置１の全体動作例を説明する。
図１０は、図１に示す画像処理装置１の全体動作例を説明するためのフローチャートである。
以下、図１０に示す各ステップについて説明する。
図１０に示す各ステップは、シーケンスに実行される必要はなく、例えば、図１０に示す複数のステップは、異なるフレームデータ等について並行して処理を行ってもよい。
ステップＳＴ１：
ストリーム解析部１５は、インタフェース１３から入力した符号化ストリームＳＴＭから、フレームデータＦＲを分離して画像復号部１７に出力する。
また、ストリーム解析部１５は、符号化ストリームＳＴＭ内のヘッダデータ等に含まれる属性データＰＲＰなどの復号に必要な情報を符号化ストリームＳＴＭから分離して画像復号部１７に出力する。
また、ストリーム解析部１５は、符号化ストリームＳＴＭ内の表示時刻データＰＴＳおよび属性データＰＲＰをPTS付加部１９に出力する。
【００４４】
ステップＳＴ２：
画像復号部１７は、ストリーム解析部１５から入力したフレームデータＦＲを復号してPTS付加部１９に出力する。
ステップＳＴ３：
PTS付加部１９は、ストリーム解析部１５から入力したフレームデータＦＲに表示時刻データＰＴＳが付加されているか否かを判断し、付加されていないと判断するとステップＳＴ４に進み、付加されていると判断するとステップＳＴ５に進む。
【００４５】
ステップＳＴ４：
PTS付加部１９は、ストリーム解析部１５から入力したフレームデータＦＲのうち、表示時刻データＰＴＳが付加されていないフレームデータＦＲについて、ストリーム解析部１５から入力した属性データＰＲＰを基にその表示時刻データＰＴＳを生成し、これを付加する。
ステップＳＴ５：
PTS付加部１９は、表示時刻データＰＴＳが付加されたフレームデータＦＲを画像出力部２９のバッファメモリＢＵＦに書き込む。
【００４６】
ステップＳＴ６：
画像出力部２９は、１ピクチャ時間毎に、ＳＴＣ生成部２５から入力した補正クロックデータＳＴＣと、バッファメモリＢＵＦに記憶されている次に表示処理する候補のフレームデータＦＲの表示時刻データＰＴＳとを比較し、一致していると判断するとステップＳＴ７に進み、そうでない場合に１ピクチャ時間後に当該比較を再度行う。
ステップＳＴ７：
画像出力部２９は、上記次候補のフレームデータＦＲを表示装置（図示せず）に画像出力する。
【００４７】
［補正クロックデータＳＴＣの生成動作例］
図１１および図１２は、補正クロックデータＳＴＣの生成動作例を説明するための図である。
以下、図１１および図１２の各ステップについて説明する。
ステップＳＴ１１：
ＳＴＣ補正部２３は、操作部１１からの操作信号Ｓ１１に応じて停止動作中であるか否かを判断し、停止動作中であると判断するとステップＳＴ１２に進み、そうでない場合には図１２に示すステップＳＴ２１に進む。
【００４８】
ステップＳＴ１２：
ＳＴＣ補正部２３は、操作部１１からの操作信号に応じてコマ送り中であるか否かを判断し、コマ送り中であると判断するとステップＳＴ１３に進み、そうでない場合にはステップＳＴ１５に進む。
ステップＳＴ１３：
ＳＴＣ補正部２３は、画像蓄積量監視部２７からの通知を基に、バッファメモリＢＵＦにおけるフレームデータＦＲの記憶が枯渇状態であるか否かを判断し、枯渇状態であると判断するとステップＳＴ１５に進み、そうでない場合にステップＳＴ１４に進む。
【００４９】
ステップＳＴ１４：
ＳＴＣ補正部２３は、前述した上記式（４），（５）により、補正データＳＴＣ＿ｏｆｆｓｅｔ＿ｃを生成し、これをＳＴＣ生成部２５に出力する。
ステップＳＴ１５：
ＳＴＣ補正部２３は、前述した停止動作で説明した手法により、補正データＳＴＣ＿ｏｆｆｓｅｔ＿ｃを生成し、これをＳＴＣ生成部２５に出力する。
【００５０】
ステップＳＴ１６：
ＳＴＣ補正部２３は、画像蓄積量監視部２７からの通知を基に、バッファメモリＢＵＦにおけるフレームデータＦＲの記憶が枯渇状態であるか否かを判断し、枯渇状態であると判断するとステップＳＴ１７に進み、そうでない場合にステップＳＴ１８に進む。
ステップＳＴ１７：
ＳＴＣ補正部２３は、前述したアンダーフロー動作で説明した手法により、補正データＳＴＣ＿ｏｆｆｓｅｔ＿ｃを生成し、これをＳＴＣ生成部２５に出力する。
ステップＳＴ１８
ＳＴＣ生成部２５は、上記生成した補正データＳＴＣ＿ｏｆｆｓｅｔ＿ｃと、基準クロックデータＳＴＣ＿Ｓとを基に、上記式（３）により、補正クロックデータＳＴＣを生成し、これを画像出力部２９に出力する。
【００５１】
ステップＳＴ２１：
ＳＴＣ補正部２３は、操作部１１からの操作信号に応じて１／Ｎ倍速スロー再生指示のＮを特定する。
ステップＳＴ２２：
ＳＴＣ補正部２３は、ステップＳＴ２１で特定したＮが１ではないか否かを判断し、１ではないと判断するとステップＳＴ２２に進み、１であると判断するとステップＳＴ２６に進む。
【００５２】
ステップＳＴ２３：
ＳＴＣ補正部２３は、カウンタ−ＣＯＵＮＴＥＲのカウント値がＮ未満であるか否かを判断し、Ｎ未満であると判断するとステップＳＴ２４に進み、Ｎ未満ではないと判断するとステップＳＴ２６に進む。
ステップＳＴ２４：
ＳＴＣ補正部２３は、前述したスロー再生で説明した手法により、補正データＳＴＣ＿ｏｆｆｓｅｔ＿ｃを生成し、これをＳＴＣ生成部２５に出力する。
ステップＳＴ２５：
ＳＴＣ補正部２３は、カウンタ−ＣＯＵＮＴＥＲのカウント値を１だけカウントアップする。
ステップＳＴ２６：
ＳＴＣ補正部２３は、カウンタ−ＣＯＵＮＴＥＲのカウント値を「１」にリセットする。
【００５３】
以上説明したように、画像処理装置１によれば、操作部１１を用いて指定された表示モード（特殊再生モード）に応じて、表示時刻データＰＴＳではなく、ＳＴＣ補正部２３が生成する補正データＳＴＣ＿ｏｆｆｓｅｔ＿ｃを基にＳＴＣ生成部２５が生成する補正クロックデータＳＴＣを補正する。
そして、画像出力部２９は、当該補正された補正クロックデータＳＴＣと、画像出力部２９に記憶されているフレームデータＦＲの表示時刻データＰＴＳとを比較して、フレームデータＦＲを画像出力するか否かを判断する。
これにより、画像処理装置１によれば、表示モードが指定されてから、当該指定された表示モードに応じた画像出力が開始されるまでの時間を従来に比べて短縮できる。
また、画像処理装置１によれば、前述した画像蓄積量監視部２７とＳＴＣ補正部２３との協働動作により、正常な符号化ストリームデータＳＴＭの入力が停止してしまうような、エラーが発生する環境においても，同期を破綻させることなく，再生を継続することが可能である。システムとしては，枯渇状態は検知しており，外部に対してその状況を通知しつつ，同期を保った再生が可能であるため，外部からの制御に柔軟性も持たせることが可能である。
また、画像処理装置１によれば、ＳＴＣ補正部２３およびＳＴＣ生成部２５の作用により、今回の出力が，前回と同じフレームデータＦＲを出力するタイミングであるのか、更新するタイミングであるのかを画像出力部２９が判断できる。これにより、例えば、前回と同じフレームデータＦＲを出力しようとした場合,Interlace画像においては，Top/Btm/Top/Btmの順で画像出力が行われることとなり，2回目出力時点で，時間の逆転が発生してしまう。これを防ぐためには，2回目以降の出力においては，Top/Btm画を出力するのではなく，Btm画像から補間画像を作成して出力を行なうような手法が一般的に知られているが、画像出力部２９において、この補間画像を出力するのか、それとも通常画像を出力するのかの画像出力部２９による判断に、ＳＴＣ生成部２５からの補正クロックデータＳＴＣを用いることができる。
【００５４】
本発明は上述した実施形態には限定されない。
上述した実施形態では、基準クロックデータＳＴＣ＿Ｓ、並びに補正データＳＴＣ＿ｏｆｆｓｅｔ＿ｃの双方をインクリメントする場合を例示したが、本発明は双方をデクリメントしてもよい。
【００５５】
また、上述した実施形態では、本発明のピクチャデータとして、フレームデータを例示したが、フィールドデータなどのそれ以外の画像データを用いてもよい。
【産業上の利用可能性】
【００５６】
本発明は、複数のフレームデータを順に表示する画像処理システムに適用可能である。
【図面の簡単な説明】
【００５７】
【図１】図１は、本発明の第１実施形態の通信システムの全体構成図である。
【図２】図２は、図１に示すストリームＳＴＭのフォーマットを説明するための図である。
【図３】図３は、図１に示す画像処理装置のＰＡＵＳＥ動作を説明するための図である。
【図４】図４は、図１に示す画像処理装置のスロー再生動作を説明するための図である。
【図５】図５は、図４に示す１／５倍速スロー再生において、カウンタ−ＣＯＵＮＴＥＲのカウント値が「５」になった直後に、１／３倍速スロー再生の指示が入力された場合を説明するための図である。
【図６】図６は、図４に示す１／５倍速スロー再生において、カウンタ−ＣＯＵＮＴＥＲのカウント値が「５」になる前に、１／３倍速スロー再生の指示が入力された場合を説明するための図である。
【図７】図７は、１／３倍速スロー再生中に１／５倍速スロー再生の指示が入力された場合を説明するための図である。
【図８】図８は、停止（ＰＡＵＳＥ）指示が入力された後に、コマ送り指示が入力された場合の動作を説明するための図である。
【図９】図９は、図１に示す画像出力部２９のバッファメモリＢＵＦがアンダーフローした場合の動作例を説明するための図である。
【図１０】図１０は、図１に示す画像処理装置１の全体動作例を説明するためのフローチャートである。
【図１１】図１１は、補正クロックデータＳＴＣの生成動作例を説明するための図である。
【図１２】図１２は、補正クロックデータＳＴＣの生成動作例を説明するための図１１の続きの図である。
【符号の説明】
【００５８】
１…画像処理装置、１１…操作部、１３…インタフェース、１５…ストリーム解析部、１７…画像復号部、１９…PTS付加部、２１…基準クロック発生部、２３…ＳＴＣ補正部、２５…ＳＴＣ生成部、２７…画像蓄積量監視部、２９…画像出力部、ＢＵＦ…バッファメモリ、ＣＯＵＮＴＥＲ…カウンタ、ＦＲ…フレームデータ、ＳＴＣ…補正クロックデータ、ＳＴＣ＿Ｓ…基準クロックデータ、ＳＴＣ＿ｏｆｆｓｅｔ＿ｃ…補正データ、ＰＴＳ…表示時刻データ
【図１】
2006229484.tif 000003
【図２】
2006229484.tif 000004
【図３】
2006229484.tif 000005
【図４】
2006229484.tif 000006
【図５】
2006229484.tif 000007
【図６】
2006229484.tif 000008
【図７】
2006229484.tif 000009
【図８】
2006229484.tif 000010
【図９】
2006229484.tif 000011
【図１０】
2006229484.tif 000012
【図１１】
2006229484.tif 000013
【図１２】
2006229484.tif 000014