(57)【特許請求の範囲】
【請求項１】
動画像符号化データから画質の異なる複数種類のフレームよりなる動画像信号を復号する動画像復号手段と、
前記動画像信号を出力する動画像出力手段と、
前記動画像信号について指定されたフレームおよびその近傍のフレームを含む複数のフレームから、フレーム内符号化されたフレーム、前方予測符号化されたフレームの優先順位で一つのフレームを選択し、前記複数のフレームのうち前記指定されたフレームに最も近いフレームが前方予測符号化フレームの場合には該前方予測符号化フレームを選択するフレーム選択手段と、
前記動画像信号のうち前記フレーム選択手段によって選択されたフレームの画像信号を静止画像信号として出力する静止画像出力手段とを有することを特徴とする画像再生装置。
【請求項２】
動画像符号化データから画質の異なる複数種類のフレームよりなる動画像信号を復号する動画像復号手段と、
前記動画像信号を出力する動画像出力手段と、
前記動画像信号について指定されたフレームおよびその近傍のフレームを含む複数のフレームのフレーム内平均量子化スケールを算出し、該フレーム内平均量子化スケールが最小のフレームを該複数のフレームから選択するフレーム選択手段と、
前記動画像信号のうち前記フレーム選択手段によって選択されたフレームの画像信号を静止画像信号として出力する静止画像出力手段とを有することを特徴とする画像再生装置。
【請求項３】
動画像符号化データから画質の異なる複数種類のフレームよりなる動画像信号を復号する動画像復号手段と、
前記動画像信号を出力する動画像出力手段と、
前記動画像信号について指定されたフレームおよびその近傍のフレームを含む複数のフレーム指定されたフレームおよびその近傍のフレームを含む複数のフレームのフレーム内平均量子化スケールを算出し、該フレーム内平均量子化スケールに対して、前記指定されたフレームからの時間間隔に応じて減少する重み関数により重み付けを行い、該重み付けを行った後のフレーム内平均量子化スケールが最小のフレームを該複数のフレームから選択するフレーム選択手段と、
前記動画像信号のうち前記フレーム選択手段によって選択されたフレームの画像信号を静止画像信号として出力する静止画像出力手段とを有することを特徴とする画像再生装置。
【請求項４】
表示フレームと符号化フレームとで異なるフレームレートで符号化された動画像符号化データから画質の異なる複数種類のフレームよりなる動画像信号を復号する動画像復号手段と、
前記動画像信号を出力する動画像出力手段と、
前記動画像信号について指定されたフレームおよびその近傍のフレームを含む複数のフレーム指定されたフレームおよびその近傍のフレームを含む複数のフレームから最も高画質のフレームを前記符号化フレーム単位で選択するフレーム選択手段と、
前記動画像信号のうち前記フレーム選択手段によって選択されたフレームの画像信号を静止画像信号として出力する静止画像出力手段とを有することを特徴とする画像再生装置。
【請求項５】
表示フレームと符号化フレームとで異なるフレームレートで符号化された動画像符号化データから画質の異なる複数種類のフレームよりなる動画像信号を復号する動画像復号手段と、
前記動画像信号を出力する動画像出力手段と、
前記動画像信号について第１段階で指定されたフレームおよびその近傍のフレームを含むフレーム群を選択するフレーム群選択手段と、
前記動画像信号のうち前記フレーム群選択手段により選択されたフレーム群の画像信号を出力するフレーム群出力手段と、
前記フレーム群から第２段階で指定されたフレームを前記符号化フレーム単位で選択するフレーム選択手段と、
前記動画像信号のうち前記フレーム選択手段によって選択されたフレームの画像信号を静止画像信号として出力する静止画像出力手段とを有することを特徴とする画像再生装置。
【請求項６】
動画像符号化データから画質の異なる複数種類のフレームよりなる動画像信号を復号する動画像復号手段と、
前記動画像信号を出力する動画像出力手段と、
前記動画像信号について第１段階で指定されたフレームおよびその近傍のフレームを含むフレーム群を選択するフレーム群選択手段と、
前記動画像信号のうち前記フレーム群選択手段により選択されたフレーム群の画像信号を画質順にソートして表示するフレーム群表示手段と、
前記フレーム群から第２段階で指定されたフレームを選択する選択するフレーム選択手段と、
前記動画像信号のうち前記フレーム選択手段によって選択されたフレームの画像信号を静止画像信号として出力する静止画像出力手段とを有することを特徴とする画像再生装置。
【請求項７】
前記静止画像出力手段は、前記静止画像信号の出力形式を変換する手段を有することを特徴とする請求項１乃至６のいずれか１項に記載の画像再生装置。
【請求項８】
前記静止画像出力手段は、前記フレーム選択手段により選択されたフレームがノンインタレース走査画像かインタレース走査画像かを判定し、ノンインタレース走査画像の場合は該フレームの画像信号を静止画像信号として出力し、インタレース走査画像の場合は偶数フィールドおよび奇数フィールドのいずれか一方のフィールドの画像信号のみを静止画像信号として出力するか、または偶数フィールドおよび奇数フィールドの両方の画像信号を静止画像信号として出力することを特徴とする請求項１乃至６のいずれか１項に記載の画像再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は動画像符号化データを復号して画像を再生する画像再生装置に係り、特に動画像のみならず動画像から選択された静止画像をも再生可能とした画像再生装置に関する。
【０００２】
【従来の技術】
動画像信号を取り込んで、その中の特定のフレームの画像を静止画像として二次利用するものとしては、ビデオプリンタ装置やビデオキャプチャ装置が知られている。従来のビデオプリンタ装置やビデオキャプチャ装置は、ＶＴＲやレーザディスク装置等の映像機器からアナログのＴＶ画像信号を入力し、ユーザにより選択された特定のフレームをサンプリングして、静止画像として印刷あるいは表示する構成が一般的である。
【０００３】
しかし、ＶＴＲやレーザディスク装置等から出力されるＴＶ画像信号は、静止画像として二次利用するには十分な解像度が確保されているとは言い難い。さらに、ＴＶ画像信号はインタレース走査が行われているために、画像の動きが速い場合には、フレーム画像の印刷あるいは表示を行うとフィールド間の画像のずれが顕著に現れてしまい、またフィールド表示を行うと垂直解像度が低下し、高精細な印刷は困難である。
【０００４】
一方、近年、動画像符号化の国際標準であるＭＰＥＧ−２に基づく符号化方式（以下、ＭＰＥＧ−２符号化方式という）を用いて圧縮した符号化データを記憶するディジタルビデオディスク（ＤＶＤ）とその再生装置（ＤＶＤプレーヤ）が実用化され、これにより民生機器レベルで高精細な画像が再生可能となりつつある。ＭＰＥＧ−２符号化方式は、周知の通り動画像信号に対してディジタル処理による動き補償予測直交変換符号化によって高能率の圧縮符号化を行う方式であり、符号化データはディジタルデータとして蓄積されていることもあり、従来のアナログ映像機器に比べて高画質な記録が期待されている。
【０００５】
しかし、ＭＰＥＧ−２符号化方式は、直交変換係数を量子化して可変長符号化を行う非可逆符号化であるため、画像の性質と符号化装置の特性によりフレーム毎に均一な画質を得ることは一般に困難である。また、再生される動画像の画質を向上させるため、一般的に動き補償予測の参照画像として用いられるフレームに対しては、参照画像として用いられないフレームよりも相対的に高いＳＮＲで符号化を行う方法がとられており、このこともフレーム毎の画質が一定しない原因となっている。
【０００６】
従って、ＭＰＥＧ−２符号化方式により得られた動画像符号化データから復号される動画像中の特定のフレームを選択して、静止画像の印刷あるいは表示を行うと、選択されるフレームに応じて画質が変化してしまうことになる。
【０００７】
【発明が解決しようとする課題】
上述したように、従来のビデオプリンタ装置やビデオキャプチャ装置でアナログのＴＶ画像信号を取り込んで静止画像を印刷あるいは表示する場合、一般に解像度が十分でなく、またインタレース走査の影響もあって高精細な印刷や表示が困難であった。
【０００８】
さらに、ＭＰＥＧ−２のような高能率動画像符号化方式による動画像符号化データから復号された動画像信号では、アナログのＴＶ画像信号に比較して解像度は高いが、フレーム毎に画質が異なるため、特定のフレームを選択して印刷あるいは表示を行う場合、選択されるフレームに応じて画質が異なってしまうという問題があった。
【０００９】
本発明は、動画像符号化データから復号された動画像信号を通常の動画像再生に加えて高画質な静止画像信号としても二次利用することを可能とするために、復号された動画像中のフレームを適応的に選択して静止画像信号として出力することができ、しかも画質がほぼ一定した高画質の静止画像を再生することができる画像再生装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記課題を解決するため、本発明は動画像符号化データから画質の異なる複数種類のフレームよりなる動画像信号を復号して出力する画像再生装置において、復号された動画像信号について例えばユーザにより指定されたフレームおよびその近傍のフレームを含む複数のフレームから最も高画質のフレームを選択するフレーム選択手段と、動画像信号のうちフレーム選択手段によって選択されたフレームの画像信号を静止画像信号として出力する静止画像出力手段とを有することを特徴とする。
【００１１】
このように本発明では、ユーザにより指定されたフレームとほぼ同様のシーンで、かつ最も高画質な一つのフレームが自動的に選択され、そのフレームのの画像信号が静止画像信号として出力される。こうして出力される静止画像信号は平均的に画質が一定しており、ユーザにより指定されたフレームの種類によって大きく変化してしまうことはない。
【００１２】
また、出力された動画像信号について例えばユーザにより第１段階で指定されたフレームおよびその近傍のフレームを含むフレーム群を選択するフレーム群選択手段と、動画像信号のうちフレーム群選択手段により選択されたフレーム群の画像信号を出力するフレーム群出力手段を有し、フレーム選択手段においては該フレーム群から第２段階で指定されたフレームを選択するようにしてもよい。フレーム群選択手段は、例えば指定されたフレームおよびその近傍のフレームのうちからより高画質の複数のフレームをフレーム群として選択すればよい。
【００１３】
このようにすると、ユーザにより指定されたフレームの近傍でシーンチェンジ等があり、ユーザの意図に反したフレームが自動選択されるような場合、ユーザにより第１段階で指定されたフレームおよびその近傍のフレームを含むフレーム群の画像信号を出力してユーザに提示し、次候補を選択することが可能となり、ユーザの意図したフレームを効率的に選択することが可能となる。
【００１４】
フレーム選択手段では、例えばユーザにより指定されたフレームおよびその近傍のフレームを含む複数のフレームから、フレーム内符号化されたフレーム、前方予測符号化されたフレーム、両方向予測符号化されたフレームの優先順位でフレームの選択を行う。
【００１５】
ＭＰＥＧ−２符号化方式で用いられる動き補償予測直交変換符号化では、一般にランダムアクセスを可能とするとともに、符号化装置と復号装置との直交変換および逆直交変換における誤差の蓄積を防ぐ目的で、周期的にフレーム内符号化画像であるＩピクチャが挿入されるので、Ｉピクチャから離れるに従って画質は低下する傾向にある。また、Ｉピクチャおよび前方予測符号化を行うＰピクチャは、それ以降の符号化画像の参照画像として用いられるため、参照画像として用いられない両方向予測符号化画像であるＢピクチャよりも小さな量子化スケールで符号化を行い、相対的な画質を上げることで、動画像全体としての符号化効率を向上させる方法がとられる。
【００１６】
これらのことから、時間的に隣接したフレーム中ではＩピクチャ、ＰピクチャおよびＢピクチャの順で、相対的に画質がよいと考えられる。従って、この順位に従って優先的にフレームを選択して出力することによって、より高画質なフレームを選択することが可能となる。
【００１７】
フレーム選択手段は、例えばユーザにより指定されたフレームおよびその近傍のフレームを含む複数のフレームのフレーム内平均量子化スケールを算出し、該フレーム内平均量子化スケールが最小のフレームを該複数のフレームから選択するようにしてもよい。
【００１８】
一般に、類似した画像では量子化スケールと画質は相関が強く、量子化スケールが小さくなるほど高画質である。ＭＰＥＧ−２符号化方式では、画像フレーム内のマクロブロック毎に量子化幅を可変とする枠組みがとられており、各マクロブロックの量子化幅の情報は符号化データに多重化されている。従って、ユーザにより指定されたフレームの近傍フレームで、この量子化スケールのフレーム内の平均値を計算し、その値が最小のフレームを選択することにより、高画質なフレームを選択することが可能となる。
【００１９】
また、上記のフレーム内平均量子化スケールに対して、ユーザにより指定されたフレームからの時間間隔に応じて減少する重み関数により重み付けを行い、該重み付けを行った後のフレーム内平均量子化スケールが最小のフレームを該複数のフレームから選択するようにしてもよい。こうすることにより、時間的な精度と画質とのバランスが最適なフレームを選択することが可能となる。
【００２０】
一方、ＭＰＥＧ−２符号化方式では、符号化フレームと表示フレームとでフレーム周波数が異なる符号化を行うことが可能である。このように動画像符号化データが表示フレームと符号化フレームとで異なるフレームレートで符号化されている場合、フレーム選択手段は符号化フレーム単位でフレームの選択を行うことが好ましい。
【００２１】
例えば、フレーム周波数２４Ｈｚの映画をフィールド周波数６０Ｈｚのディスプレイで表示できるように符号化を行う場合、符号化を行う際は２４Ｈｚのノンインタレース走査画像として符号化を行い、再生時に周期的に６０Ｈｚで３フィールド期間表示を行うことを指示するデータを多重し、３フィールド表示の場合は第３フィールドでは第１フィールドと同じものを表示する。従って、再生時の３０Ｈｚの表示フレームの構成と、符号化および復号時の２４Ｈｚの符号化フレーム構成とが異なるものとなり、時間的に異なるフィールドから表示フレームが構成される場合がある。
【００２２】
この場合、フレーム表示の際にインタレース走査による乱れが生じることがあるが、符号化フレーム単位で選択したフレームを静止画像信号として出力することにより、常にノンインタレース走査画像として静止画像出力を行うことが可能となり、垂直解像度の高い高精細の静止画像出力が可能となる。
【００２３】
静止画像出力手段は、静止画像信号の出力形式を変換する手段を有することが望ましい。この変換は、例えばソフトウェアにより実現される。このようにすることにより、静止画像の印刷や表示を行う出力機器のフォーマットに合わせて、通常のアナログ画像信号、ディジタル画像信号、あるいはプリンタ出力信号等の信号を選択・変更することが可能となる。
【００２４】
静止画像出力手段は、フレーム選択手段により選択されたフレームがノンインタレース走査画像かインタレース走査画像かを判定し、ノンインタレース走査画像の場合は該フレームの画像信号を静止画像信号として出力し、インタレース走査画像の場合は偶数フィールドおよび奇数フィールドのいずれか一方のフィールドのみを静止画像信号として出力するか、または偶数フィールドおよび奇数フィールドの両方の画像信号を静止画像信号として出力するようにしてもよい。このようにすると、動きを伴う画像をインタレース走査した場合に生じるフレーム画像の乱れが防止され、しかも動きを伴わないインタレース画像、あるいはノンインタレース画像においては、垂直解像度の高い静止画像出力が得られる。
【００２５】
ここで、フレーム選択手段により選択されたフレームがノンインタレース走査画像かインタレース走査画像かの判定は、例えば動画像符号化データに多重されたフレーム走査情報を検出することによって行うことができ、この場合には特別なハードウェアを必要としない。
【００２６】
また、隣接する偶数ライン間と隣接する奇数ライン間の相関および隣接するライン間の相関を算出し、これらの相関の大きさの大小関係から、特別な付加情報を必要とすることなしに、ノンインタレース走査画像かインタレース走査画像かの判定を行うことも可能である。
【００２７】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。
（第１の実施形態）
図１に、本発明の一実施形態に係る画像再生装置の構成を示す。この画像再生装置は大きく分けて、光ディスクドライブ部１０と、デコード部２０および静止画像となるフレームの選択等のためのユーザインタフェースを含むデコード制御部３０からなる。
【００２８】
光ディスクドライブ部１０にセットされた光ディスク１１は、例えばディジタルビデオディスク（ＤＶＤ）であり、ＭＰＥＧ−２符号化方式により動画像信号を符号化した動画像符号化データがピット列のようなマーク列として記録されている。この光ディスク１１に記録された動画像符号化データは、制御回路１３による制御の下で光ピックアップ１２により読み取られる。読み取られた動画像符号化データは、制御回路１３により適宜処理された後、エラー訂正回路１４によりエラーがあれば訂正される。エラー訂正回路１４を通した動画像符号化データが光ディスクドライブ部１０から出力され、デコード部２０に渡される。
【００２９】
デコード部２０では、デコード制御部３０におけるデコーダ制御回路３１からの指示に基づいて符号化データの出力要求を光ディスクドライブ部１０へ出し、その要求に従って光ディスクドライブ部１０から入力される動画像符号化データをデコーダ回路２１で復号して動画像信号を出力する。この動画像信号は、動画像出力部２２から画像モニタに出力される。また、静止画像出力部２３からは動画像信号中の選択されたフレームの画像信号が静止画像出力として例えばビデオプリンタ装置やビデオキャプチャ装置に出力される。
【００３０】
デコード制御部３０は、デコーダ制御回路３１をユーザからの指示に基づいてユーザインタフェース３２を介して制御することにより、動画像出力、または動画像中の静止画像として出力したいフレームの指定、および指定されたフレームに基づいて選択されたフレームの静止画像出力等の指示を行うことができるように構成されている。以下、このデコード制御部３０の動作を詳しく説明する。
【００３１】
ＭＰＥＧ−２符号化方式は、図２にそのシンタックス構造を示したように、シーケンス、ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）  、ピクチャ、マクロブロックＭＢの階層構造を持つ符号化構成となっている。動画像あるいは静止画像のサーチは、ピクチャヘッダＰＨを順次サーチすることにより行うことが可能である。また、符号化ビットストリームとは別途にサーチテーブルを持ち、符号化ビットストリーム上での動画像あるいは静止画像のサーチを実現することも可能である。
【００３２】
さらに、ＭＰＥＧ−２符号化方式では、画像の性質と予測方式や量子化幅（以下、量子化スケールという）といつた符号化パラメータに応じて、復号画像の画質が変化するのが一般的である。図３は、横軸にフレーム、縦軸にフレーム毎の原画像対復号画像のＳＮＲの例を示したものである。同図に示したように通常、隣接したフレーム間では画像が類似しているにも関わらず、フレーム単位のＳＮＲの変動、つまり画質変動は非常に大きなものとなる。従って、ほぼ同一内容の画像であっても、選択されるフレームによって画質が大きく異なってしまう。
【００３３】
そこで、本実施形態ではユーザインタフェース３２を介してユーザにより指定されたフレームおよびその近傍のフレームを含む複数のフレームについて、デコーダ制御回路３１においてフレーム毎にその画質を反映した評価値（コスト）を算出し、コスト最小のフレームを静止画像信号として出力するようにデコード部２０の制御を行う。
【００３４】
図４に、本実施形態におけるデコーダ制御回路３１でのフレーム選択法の例を示す。図中、構軸はフレーム、縦軸は評価値を示している。デコーダ制御回路３１は、ユーザインタフェース３２を介してユーザにより指定されたフレーム４１およびその近傍のフレームを含む複数のフレーム４２について上記の評価値４３を算出し、これが最小となるフレーム４４を静止画像として選択して、静止画像出力部２３を介して静止画像信号を出力する。
【００３５】
図５は、静止画像出力部２３の構成を示すブロック図である。ＣＰＵ５１、静止画像メモリ５２、命令メモリ５３、プログラムインタフェース５４および静止画像出力インタフェース５５がバス５６によって接続されている。
【００３６】
デコード制御部３０で選択されたフレームに関する動画像符号化データが光ディスクドライブ部１０により読み取られ、デコード部２０内のデコーダ回路２１で選択されたフレームが静止画像信号として復号される。復号された静止画像信号５７は、ＣＰＵ５１による制御下でバス５７を介して静止画像メモリ５２に記録される。
【００３７】
静止画像メモリ５２に記録された静止画像信号は、ＣＰＵ５１によって命令メモリ５３に記録されたソフトウェアにより所定の出力信号形式（フォーマット）に変換され、静止画像出力インタフェース５５より出力される。ここで、命令メモリ５３がＲＯＭで構成される場合は、そのＲＯＭを交換することにより、用途に合わせて出力フ信号形式を容易に変更することが可能である。また、命令メモリ５３がＲＡＭあるいはフラッシュメモリのような書き換え可能メモリにより構成される場合は、プログラムインタフェース５４によりフォーマット変換ソフトウェアを外部よりダウンロードすることで、出力信号形式を容易に変更することが可能となる。
【００３８】
（第２の実施形態）
次に、図６および図７を参照して第２の実施形態について説明する。本実施形態においては、画像再生装置の全体的な構成については第１の実施形態と同様であり、デコーダ制御回路３１でのフレーム選択法のみが第１の実施形態と異なっている。
【００３９】
図３に示したように、ＭＰＥＧ−２符号化方式では、符号化パラメータにより隣接するフレーム間でもフレームの種類（ピクチャタイプ）によって大きな画質変動を伴っている。すなわち、ＭＰＥＧ−２符号化方式ではフレーム内符号化を行うＩピクチャ、前方予測を行うＰピクチャ、両方向予測を行うＢピクチャの順で相対的に画質のよい符号化を行う。これは、Ｉピクチャはそれ以降の参照画像のベースになり、ＰピクチャはＩピクチャと同様に参照画像として用いられることから、ピクチャタイプ毎に画質を変化させることにより、動画像としての総合的な画質を上げるために一般的に用いられる手法である。従って、一般に内容の類似性の高い隣接する複数のフレーム内では、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの順に画質が高くなっている。
【００４０】
そこで、本実施形態では図４の縦軸に示した前述の評価値としてピクチャタイプ（フレームの種類）を用い、図６に示すようにユーザにより選択されたフレーム６０に最も近いＩピクチャ６１を自動選択するか、あるいは、図７に示すようにユーザにより選択されたフレーム７０に最も近いＰピクチャ７１を自動選択することによって、高画質フレームの自動選択を行う。
【００４１】
（第３の実施形態）
次に、本発明の第３の実施形態として、フレーム選択の他の態様を図８および図９を用いて説明する。
【００４２】
図８は、本実施形態におけるフレーム選択に係る部分の構成を示すブロック図である。本実施形態では、デコーダ回路８１およびデコーダ制御回路８３の構成が第１の実施形態と若干異なり、さらに平均量子化スケール算出回路８２が追加されている。デコーダ回路８１はマクロブロック単位の量子化スケールを示す量子化スケール情報８４およびフレーム同期信号８５を出力し、平均量子化スケール算出回路８２により各フレーム毎の平均量子化スケールを算出する。算出された平均量子化スケールを評価値として、デコーダ制御回路８３によりフレームの自動選択がなされる。
【００４３】
図９は、このフレーム自動選択の具体例を示す図であり、９１はユーザにより指定されたフレーム９５の近傍フレームおいて算出された各フレームの平均量子化スケールの値の例を示している。この例では、評価値として算出された平均量子化スケールの値そのものを用いることが可能であり、その場合はフレーム９５が最も高画質のフレームとして検出される。
【００４４】
また、時間方向の解像度に重きをおく場合、すなわちユーザにより指定されたフレームにより近い画像で、かつ高画質のフレームを選択する要求がある場合には、算出された平均量子化スケール９１に対して、ユーザにより指定されたフレームからのフレーム間隔に応じた重み関数９２を乗じた重み付き平均量子化スケール９３を算出し、算出された重み付き平均量子化スケール９３の値を評価値としてコスト最小のフレーム９４を選択フレームとする。
【００４５】
（第４の実施形態）
次に、図１０〜図１１を参照して本発明の第４の実施形態を説明する。
これまでの実施形態では、ユーザにより指定されたフレームおよびその近傍のフレームを含む複数のフレームから最も高画質のフレームの画像信号を静止画像出力として選択している。これに対して、本実施形態ではユーザによる指定を２段階に分け、まず第１段階でユーザにより指定されたフレームおよびその近傍のフレームを含むフレーム群を静止画像出力の候補フレームとして出力し、これらの候補フレームから第２段階でユーザにより指定されたフレームを静止画像出力として最終的に選択する。
【００４６】
図１０は、本実施形態におけるフレーム選択の手順を示すフローチャートであり、また図１１は静止画像出力の候補フレームからユーザが選択する際に用いるＧＵＩ（グラフィカルユーザインタフェース）の例を示している。
【００４７】
まず、ユーザにより動画像中の静止画像出力として希望する特定のフレームがタイムコードまたは特殊再生機能（ジョグアンドシャトル再生、一時停止等）等を利用して指定される（ステップＳ１０１）。そして、指定されたフレームおよびその近傍のフレームを含むフレーム群である候補フレームの静止画像信号が復号される（ステップＳ１０２）。
【００４８】
次に、候補フレームの画像の画質の評価値が計算され（ステップＳ１０３）、さらに候補フレーム１１２の画像が縮小されて一覧表示される（ステップＳ１０４）。この際、各候補フレーム１１２の画像の時刻１１３および画質（評価値）１１４も併せて表示される。また、候補フレームはソート１１５により設定された時刻順あるいは画質順に表示される。図１１は候補フレームを画質順にソートして表示した例を示している。さらに、候補フレームの中の一つをユーザの指定より特定のフレームをフルサイズ表示に切り替えることも可能である。
【００４９】
次に、ユーザにより次候補１１６および前候補１１７の操作が適宜行われて候補フレームの選択が行われ（ステップＳ１０６）、これらから最終的に静止画像出力を行うフレームが決定されると（ステップＳ１０７）、その決定されたフレームの静止画像信号が静止画像出力部２３により出力信号形式が適宜変換された後、出力される（ステップＳ１０８）。
【００５０】
（第５の実施形態）
次に、図１２〜図１６を用いて本発明の第５の実施形態を説明する。
本実施形態では、図１中の静止画像出力部２３において、静止画像出力として選択されたフレームがインタレース走査画像かノンインタレース走査画像かを判定し、インタレース走査画像の場合は偶数フィールドおよび奇数フィールドのいずれか一方のフィールドのみを静止画像信号として出力するか、または偶数フィールドおよび奇数フィールドの両方の画像信号を静止画像信号として出力するように構成されている。
【００５１】
図１２は、本実施形態に係る要部の構成を示すブロック図である。本実施形態では、デコーダ回路１２１およびデコーダ制御回路１２３の構成が第１の実施形態と若干異なり、さらに表示形態判定／変換回路１２２が追加されている。表示形態判定／変換回路１２２は、図１中の静止画像出力部２３に含まれる。
【００５２】
図１３（ａ）に示すように、時間的に水平方向に移動するオブジェクトが含まれる動画像は、フレーム構成の静止画像として見たとき、各フレームがインタレース走査画像である場合（ｂ）とノンインタレース走査画像である場合（ｃ）とで、その品質が大きく異なる。すなわち、ノンインタレース走査画像では垂直解像度の高い乱れのない静止画像となるのに対して、インタレース走査画像ではフィールド間の時刻が異なるため、ライン毎の時刻の違いが悪影響を及ぼしてしまい、良好な静止画像とはならない。
【００５３】
一方、動きがない画像はフレーム構成の静止画像として見たとき、インタレース走査、ノンインタレース走査ともに垂直解像度の高い乱れのない画像となる。従って、静止画像出力を行う場合、ノンインタレース走査画像では、常にフレーム構成の画像信号を出力し、インタレース走査画像では、動きがあるときはフィールド構成の画像信号、動きがないときはフレーム構成の画像信号をそれぞれ出力することが最適であると考えられる。
【００５４】
そこで、本実施形態においては、表示形態／判定変換回路１２２により静止画像の最適な表示形態、すなわち静止画像信号としてフレーム構成の画像信号を出力して表示すべきか（これをフレーム表示という）、あるいはフィールド構成の画像信号を出力して表示すべきか（これをフィールド表示という）を判定する。そして、フレーム表示の場合はフレーム構成の画像信号を出力し、フィールド表示と判定した場合は、偶数または奇数のラインを２度ずつ出力して静止画像信号として出力するか、あるいは、さらに画面内の領域毎の動き量に応じた補正を加えてフレーム構成の画像信号を再構成し、静止画像信号として出力する。
【００５５】
すなわち、デコーダ制御回路１２３で静止画像として選択された画像がノンインタレース走査画像の場合は、フレーム表示と判定してフレーム構成の画像信号を静止画像信号として出力する。
【００５６】
一方、デコーダ制御回路１２３で静止画像として選択された画像がインタレース画像の場合は、画像に動きがあるときはフィールド表示と判定してフィールド構成の画像信号（偶数フィールドおよび奇数フィールドのいずれか一方のフィールドのみの画像信号）を静止画像信号として出力するが、動きのない画像ではフレーム表示と判定してフレーム構成の画像信号を静止画像信号として出力する。みのようにすることで、垂直解像度が高く、かつインタレース走査による乱れのない静止画像を出力することが可能である。
【００５７】
ここで、表示形態／判定変換回路１２２でのフィールド／フレーム表示形態の判定には、例えば符号化データ中に含まれる原画像の走査情報を利用することが可能である。具体的には、ＭＰＥＧ−２符号化方式では全フレームがノンインタレース走査画像である場合には、図１４および図１５に示すシンタックスエレメントのうち、ｓｅｑｕｅｎｃｅ−ｅｘｔｅｎｓｉｏｎ（）内のｐｒｏｇｒｅｓｓｉｖｅ−ｓｅｑｕｅｎｃｅフラグによりインタレース走査画像／ノンインタレース走査画像の判定が可能である。また、各フレームの画像がインタレース走査画像かあるいはノンインタレース走査画像かの判定は、ｐｉｃｔｕｒｅ−ｃｏｄｉｎｇ−ｅｘｔｅｎｓｉｏｎ（）内のｐｒｏｇｒｅｓｓｉｖｅ−ｆｒａｍｅ  フラグによって可能である。
【００５８】
図１６に、本実施形態におけるフィールド表示／フレーム表示形態判定回路の他の構成例を示す。図中、１３０はフレーム画像を示しており、１３１は偶数フィールドの画素、１３２は奇数フィールドの画素をそれぞれ示している。第１の加算器１３３は、同一フィールド内のライン間相関、つまり偶数フィールドのライン間および奇数フィールドのライン間相関の総和を算出する。第２の加算器１３４は、同一フレーム内のライン間相関を算出する。そして、比較器１３５により第１の加算器１３３で算出されたフィールド内相関と、第２の加算器１３４で算出されたフレーム内相関の大小比較を行う。この比較の結果、フレーム内相関がフィールド内相関を上回る場合はフレーム表示、それ以外の場合はフィールド表示に自動的に切り替えることにより、最適な表示形態を自動的に設定することが可能となる。
【００５９】
（第６の実施形態）
次に、図１７を参照して本発明の第６の実施形態を説明する。
ＭＰＥＧ−２符号化方式では、フレームレート２４Ｈｚの映画をフィールドレート６０Ｈｚのディスプレイで表示可能とするために、一般に３：２プルダウンと呼ばれる手法を用いてフレームレート変換を行っている。図１７は、このフレームレート変換の説明図である。
【００６０】
図１７において、１４０〜１４４はフレームレート２４Ｈｚの連続するフレームであり、これを単位として符号化および復号が行われる。一方、復号後の表示に際しては、復号された各フレームを３フィールド期間、２フィールド期間と交互に表示時間を変化させて表示を行うことにより、フィールドレート６０Ｈｚのデイスプレイでの表示を可能としている。すなわち、この場合には符号化フレームのフレームレートは２４Ｈｚ、表示フレームのフレームレートは６０Ｈｚと異なっている。
【００６１】
３フィールド表示および２フィールド表示においては、復号された各フレームの画像をインタレース走査して偶数ラインと奇数ラインに分割し、これらを表示フィールドの位相に合わせて選択して出力を行う。また、３フィールド期間表示の場合は、第１フィールドと第３フィールドとは同じ画像信号が表示される。従って、表示フレームにおいては前述したインタレース走査の影響が出るフレームと出ないフレームが混在することとなる。
【００６２】
例えば、図１７において表示フィールド１５０および１５１で構成される表示フレームは、共に同じ符号化フレーム１４０から構成されているため、インタレース走査による画像の乱れは発生しないが、表示フィールド１５２および１５３で構成される表示フレームは、時刻の異なる二つの符号化フレーム１４０および１４１から構成されるため、インタレース走査による乱れが発生してしまい、動きがある場合はフレーム形態での静止画像出力は困難となる。
【００６３】
そこで、本実施形態では静止画像出力を表示フイールド１５０〜１６２から構成せずに、符号化フレーム１４０〜１４４から選択して出力することによって、３：２プルダウン時においても、高精細でかつインタレース走査の影響のない静止画像出力を可能としている。
【００６４】
【発明の効果】
以上説明したように、本発明によれば動画像符号化データから画質の異なる複数種類のフレームよりなる動画像信号を復号して動画像を再生し、必要に応じて静止画像を出力する画像再生装置において、動画像信号中のユーザにより指定されたフレームの近傍で、最も高画質のフレームを選択して静止画像信号として出力することにより、ユーザにより指定されたフレームとほぼ同様のシーンで、かつ画質が一定した高画質な静止画像を再生することが可能となる。
【００６５】
また、第１段階で指定されたフレームおよびその近傍のフレームを含むフレーム群を選択してユーザに提示し、そのフレーム群から第２段階で指定されたフレームを選択して静止画像信号を出力することにより、ユーザにより指定されたフレームの近傍でシーンチェンジ等があり、ユーザの意図に反したフレームが自動選択されるような場合でも、最終的にユーザの意図したフレームを効率的に選択して静止画像として再生することができる。
【００６６】
さらに、選択されたフレームがノンインタレース走査画像かインタレース走査画像かを判定し、ノンインタレース走査画像の場合は該フレームの画像信号を静止画像信号として出力し、インタレース走査画像の場合は偶数フィールドおよび奇数フィールドのいずれか一方のフィールドのみを静止画像信号として出力するか、または偶数フィールドおよび奇数フィールドの両方の画像信号を静止画像信号として出力することにより、動きを伴う画像をインタレース走査した場合に生じるフレーム画像の乱れが防止され、しかも動きを伴わないインタレース画像、あるいはノンインタレース画像においては、垂直解像度の高い静止画像を再生することができる。
【００６７】
また、動画像符号化データが表示フレームと符号化フレームとで異なるフレームレートで符号化されている場合には、符号化フレーム単位でフレームの選択を行って静止画像信号として出力することで、常にノンインタレース走査画像として静止画像出力を行うことができ、垂直解像度の高い高精細の静止画像出力が可能となる。
【００６８】
さらに、本発明によれば静止画像信号の生成に際して出力形式をソフトウェア処理で変換する機能を付加することによって、静止画像の印刷や表示を行う出力機器のフォーマットなどに応じてソフトウェアの変更のみで容易に静止画像の出力信号形式を変更することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像再生装置の構成を示すブロック図
【図２】ＭＰＥＧ−２符号化方式のシンタックス構造を説明する図
【図３】ＭＰＥＧ−２符号化方式におけるフレーム単位の画質変動の例を示す図
【図４】同実施形態に係る自動フレーム選択の概要を説明するための図
【図５】同実施形態における静止画像出力部の構成を示すブロック図
【図６】本発明の第２の実施形態に係るフレーム選択方法を説明するための図
【図７】本発明の第２の実施形態に係る他のフレーム選択方法を説明するための図
【図８】本発明の第３の実施形態に係る要部の構成を示すブロック図
【図９】同実施形態に係るフレーム選択方法を説明するための図
【図１０】本発明の第４の実施形態に係るフレーム選択手順を示すフローチャート
【図１１】同実施形態におけるＧＵＩ（グラフィカルユーザインタフェース）の例を示す図
【図１２】本発明の第５の実施形態に係る要部の構成を示すブロック図
【図１３】インタレース走査によるフレーム画像の乱れの例を示す図
【図１４】ＭＰＥＧ−２符号化方式におけるシーケンスヘッダの一部を示す図
【図１５】ＭＰＥＧ−２符号化方式におけるピクチャヘッダの一部を示す図
【図１６】本発明の第６の実施形態に係る要部の構成を示すブロック図
【図１７】本発明の第７の実施形態を説明するためのフレームレート変換の例を示す図
【符号の説明】
１０…光ディスクドライブ部
１１…光ディスク
１２…光ピックアップ
１３…光ディスクドライブ制御回路
１４…エラー訂正回路
２０…デコード部
２１…デコーダ回路
２２…動画像出力部
２３…静止画像出力部
３０…デコード制御部
３１…デコーダ制御回路
３２…ユーザインタフェース
５１…ＣＰＵ
５２…静止画像メモリ
５３…命令メモリ
５４…プログラムインタフェース
５５…静止画像出力インタフェース
５６…バス
８１…デコーダ回路
８２…平均量子化スケール算出回路
８３…デコーダ制御回路
１２１…デコーダ回路
１２２…表示形態判定／変換回路
１２３…デコーダ制御回路
１３０…フレーム画像
１３１…偶数フィールドラインの画素
１３２…奇数フィールドラインの画素
１３３…フィールド相関算出回路
１３４…フレーム相関算出回路
１３５…比較器
【図１】
0003609571.tif 000002
【図２】
0003609571.tif 000003
【図３】
0003609571.tif 000004
【図４】
0003609571.tif 000005
【図５】
0003609571.tif 000006
【図６】
0003609571.tif 000007
【図７】
0003609571.tif 000008
【図８】
0003609571.tif 000009
【図９】
0003609571.tif 000010
【図１０】
0003609571.tif 000011
【図１１】
0003609571.tif 000012
【図１２】
0003609571.tif 000013
【図１３】
0003609571.tif 000014
【図１４】
0003609571.tif 000015
【図１５】
0003609571.tif 000016
【図１６】
0003609571.tif 000017
【図１７】
0003609571.tif 000018