(57)【要約】【課題】解像度変換等の処理を施した場合であっても、処理後の動像から画質劣化の少ない画像を出力することのできる画像処理装置を提供すること。【解決手段】原画像に対して第１画像変換を施して変換済画像を得る第１画像変換手段１１６と、記原画像と、第１画像変換手段によって得られた変換済画像との関係に基づいて定まる変換情報を生成する変換情報生成手段１２６と、変換情報生成手段１２６によって生成された変換情報と第１画像変換後の変換済画像とを対応付けて保持する保持手段１３０，１４０とを備えた。【選択図】        図２
2005286911.tif 000002
【特許請求の範囲】
【請求項１】
原画像に対して第１画像変換を施す第１画像変換手段と、
前記原画像と前記第１画像変換後の変換済画像との関係に基づいて定まる変換情報を生成する変換情報生成手段と、
前記変換情報生成手段によって生成された前記変換情報と前記第１画像変換後の前記変換済画像とを対応付けて保持する保持手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記第１画像変換手段は、前記動画像の解像度を変換することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記変換情報生成手段は、原画像と当該原画像に対する前記変換済画像とに基づいて前記変換情報を生成することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記変換情報生成手段は、前記第１画像変換手段が前記原画像に施した処理内容に基づいて前記変換情報を生成することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記変換済画像に対して、前記第１画像変換と逆の画像変換である第２画像変換を施し、比較用画像を生成する第２画像変換手段と、
前記第２画像変換手段により生成された前記比較用画像と前記原画像とを比較する比較手段と
をさらに備え、
前記変換情報生成手段は、前記比較手段が前記比較用画像と前記原画像との類似度が一定値以上であると判断した場合に、前記第２画像変換手段が施した処理内容に基づいて変換情報を生成することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
前記比較手段が前記比較用画像と前記原画像との類似度が一定値に満たないと判断した場合に、前記第２画像変換手段が施す前記第２画像変換の変換条件を変更する変換条件変更手段をさらに備え、
前記第２画像変換手段は、前記変換条件変更手段が前記変換条件を変更した場合に、変更後の前記変換条件において前記前比較用画像を生成することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第１画像変換手段により得られた前記第１変換後画像に基づいて、前記第２画像変換手段が前記変換済画像に対して施すべき前記第２画像変換の変換条件を変更する変換条件変更手段をさらに備え、
前記第２画像変換手段は、前記変換条件変更手段により変更された前記変換条件において比較用画像を生成することを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記第２画像変換手段が施す前記第２画像変換の変換条件を変更する変換条件変更手段をさらに備え、
前記第２画像変換手段は、前記変換条件変更手段により変更された異なる複数の変換条件それぞれに対する比較用画像を生成し、
前記比較手段は、前記第２画像変換手段が生成した複数の比較用画像それぞれと前記原画像とを比較し、
前記変換情報生成手段は、前記比較用画像と前記原画像との類似度が最高値となる前記変換条件に関する変換情報を生成することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項９】
前記原画像は、動画像であって、
前記第２画像変換手段は、フィルタ係数マトリクスを利用して前記第２画像変換を行い、
前記変換情報生成手段は、前記第２画像変換手段が利用した前記フィルタ係数マトリクスの情報を含む変換情報を生成することを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記第２画像変換手段が前記フィルタ係数マトリクスに対して付与されている重み係数の情報を含む変換情報を生成することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記第１画像変換手段は、前記原画像に対して低解像度に解像度変換する第１画像変換を施すことを特徴とする請求項１から１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記第１画像変換手段は、前記原画像に対して高解像度に解像度変換する第１画像変換を施すことを特徴とする請求項１から１１のいずれか一項に記載の画像処理装置。
【請求項１３】
第１の符号化方式により符号化された前記原画像を外部から取得する取得手段と、
前記取得手段が取得した前記原画像を前記第１の符号化方式により復号化する復号化手段と、
前記復号化手段によって復号化された前記原画像に対する前記変換済画像を、前記第１の符号化方式と異なる第２の符号化方式により符号化する符号化手段と
をさらに備え、
前記保持手段は、前記符号化手段により符号化された前記変換済画像を保持することを特徴とする請求項１から１２のいずれか一項に記載の画像処理装置。
【請求項１４】
所定の符号化形式により符号化された前記原画像を外部から取得する取得手段と、
前記取得手段が取得した前記原画像を前記符号化方式により復号化する復号化手段と、
前記復号化手段によって復号化された前記原画像に対する前記変換済画像を、前記第１の符号化方式と同一の符号化方式により符号化する符号化手段と
をさらに備え、
前記保持手段は、前記符号化手段により符号化された前記変換済画像を保持することを特徴とする請求項１から１２のいずれか一項に記載の画像処理装置。
【請求項１５】
前記保持手段が保持している前記変換済画像を当該変換済画像に対応付けられている前記変換情報を利用して画像変換し、前記出力画像を得る第３画像変換手段と、
前記第３画像変換後の前記出力画像を出力する出力手段と
をさらに備えたことを特徴とする請求項１から１４のいずれか一項に記載の画像処理装置。
【請求項１６】
前記第１画像変換手段は、複数の画像を含む原画像群に対して前記第１画像変換を施し、
前記変換情報生成手段は、前記原画像群に対する変換情報を生成することを特徴とする請求項１から１５のいずれか一項に記載の画像処理装置。
【請求項１７】
前記変換情報保持手段は、変換情報を、対応付けた変換済画像に内包させて保持することを特徴とする請求項１から１５のいずれか一項に記載の画像処理装置。
【請求項１８】
原画像と当該原画像に対して画像処理が施された変換済画像との関係に基づいて定まる変換情報と、前記変換済画像を取得する取得手段と、
前記取得手段が取得した前記変換済画像を、前記取得手段が取得した前記変換情報を利用して画像変換し、前記出力画像を得る前記画像変換手段と、
前記画像変換後の前記出力画像を出力する出力手段と
を備えたことを特徴とする画像出力装置。
【請求項１９】
原画像に対して第１画像変換を施して変換済画像を得る第１画像変換ステップと、
前記原画像と、前記第１画像変換ステップにおいて得られた前記変換済画像との関係に基づいて定まる変換情報を生成する変換情報生成ステップと、
前記変換情報生成ステップにおいて生成された前記変換情報と前記第１画像変換後の前記変換済画像とを対応付けて保持手段に保持させる保持ステップと
を有することを特徴とする画像処理方法。
【請求項２０】
原画像と当該原画像に対して画像処理が施された変換済画像との関係に基づいて定まる変換情報と、前記変換済画像とを取得する取得ステップと、
前記取得ステップにおいて取得した前記変換済画像を、前記取得ステップにおいて取得した前記変換情報を利用して画像変換し、前記出力画像を得る前記画像変換ステップと、
前記画像変換後の前記出力画像を出力する出力ステップと
を有することを特徴とする画像出力方法。
【請求項２１】
コンピュータに対して、画像出力処理を実行させる画像処理プログラムであって、
原画像に対して第１画像変換を施して変換済画像を得る第１画像変換ステップと、
前記原画像と、前記第１画像変換ステップにおいて得られた前記変換済画像との関係に基づいて定まる変換情報を生成する変換情報生成ステップと、
前記変換情報生成ステップにおいて生成された前記変換情報と前記第１画像変換後の前記変換済画像とを対応付けて保持手段に保持させる保持ステップと
を有することを特徴とする画像処理プログラム。
【請求項２２】
コンピュータに対して、画像出力処理を実行させる画像出力プログラムであって、
原画像と当該原画像に対して画像処理が施された変換済画像との関係に基づいて定まる変換情報と、前記変換済画像とを取得する取得ステップと、
前記取得ステップにおいて取得した前記変換済画像を、前記取得ステップにおいて取得した前記変換情報を利用して画像変換し、前記出力画像を得る前記画像変換ステップと、
前記画像変換後の前記出力画像を出力する出力ステップと
を有することを特徴とする画像出力プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に対して画像変換を施す画像処理装置、画像処理方法および画像処理プログラム、および解像度変換等の施された画像を出力する画像出力装置、画像出力方法および画像出力プログラムに関する。
【背景技術】
【０００２】
デジタル放送技術の発達に伴って、デジタル放送の受信環境も整備されてきている。例えば、受信したデジタル放送を表示するテレビなどの表示機器の大画面化および高解像度化が進んでいる。
【０００３】
一方で、ＨＤＤおよびＤＶＤレコーダなどのデジタル録画機器が普及している。これに伴って、デジタル録画機器は、ハイビジョン放送（ＨＤＴＶ）などの高解像度動画像を低解像度動画像（ＳＤＴＶ）で録画し保存するという用途に利用される場合がある。
【０００４】
さらにデジタル録画機器においては、ＳＤＴＶなどの低解像動画像を符号化して記録する場合には、符号化効率の向上を目的として、低解像度化して録画する場合もある。ここで、低解像度化の方法としては、水平方向の解像度を１／２または２／３にするなどの方法がある。
【０００５】
しかし、動画像に対して上述のような解像度変換を施すと、解像度変換にかかる信号処理に起因した折り返しノイズなどの画質劣化が生じてしまう。さらに、解像度変換して保存した画像を再生するために再度解像度変換する場合がある。この解像度変換にかかる信号処理によっても画像劣化が生じてしまう。
【０００６】
このような画像劣化を改善するための方法が従来から知られている。具体的には、動画像表示機器において、低解像度から高解像度への解像度変換を行って、高品質な動画像を再生する技術が知られている（例えば、特許文献１参照）。また、動画再生機器側において、解像度変換する技術も知られている（例えば、特許文献２）。
【０００７】
【特許文献１】特開平１０−１４５８１７号公報
【特許文献２】特開２００２−３１１９２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、従来の技術においては、動画像再生時に画像再生にかかる画像劣化の補正を行っている。または、動画像表示時に動画像表示にかかる画質劣化の補正を行っている。
【０００９】
上記補正処理は低解像度された動画像について行われるため、変換前の高解像度入力ビットストリームに含まれている符号化ノイズ（ブロックノイズ、デブロックノイズなど）や、高解像度から低解像度への解像度変換時に発生するノイズ（折り返しノイズなど）といった、符号化前の画質劣化情報が欠落しており、画質補正の際に考慮されていない。
【００１０】
本発明は、上記に鑑みてなされたものであって、動画像に対し解像度変換等の処理を施した場合であっても、処理後の動画像から画質劣化の少ない再生画像を出力可能にする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決し、目的を達成するために、本発明は、画像処理装置であって、原画像に対して第１画像変換を施して変換済画像を得る第１画像変換手段と、前記原画像と、前記第１画像変換手段によって得られた前記変換済画像との関係に基づいて定まる変換情報を生成する変換情報生成手段と、前記変換情報生成手段によって生成された前記変換情報と前記第１画像変換後の前記変換済画像とを対応付けて保持する保持手段とを備えたことを特徴とする。
【００１２】
また、本発明は、画像処理装置であって、前記変換情報生成手段は、前記第１画像変化語の変換済画像を、外部に出力するときに利用すべき前記変換情報を生成することを特徴とする。
【００１３】
また、本発明は、画像出力装置であって、原画像と、当該原画像に対して画像処理が施された変換済画像との関係に基づいて定まる変換情報と、前記変換済画像とを取得する取得手段と、前記取得手段が取得した前記変換済画像を、前記取得手段が取得した前記変換情報を利用して画像変換し、前記出力画像を得る前記画像変換手段と、前記画像変換後の前記出力画像を出力する出力手段とを備えたことを特徴とする。
【００１４】
また、本発明は、画像処理方法であって、原画像に対して第１画像変換を施して変換済画像を得る第１画像変換ステップと、前記原画像と、前記第１画像変換ステップにおいて得られた前記変換済画像との関係に基づいて定まる変換情報を生成する変換情報生成ステップと、前記変換情報生成ステップにおいて生成された前記変換情報と前記第１画像変換後の前記変換済画像とを対応付けて保持手段に保持させる保持ステップとを有することを特徴とする。
【００１５】
また、本発明は、画像出力方法であって、原画像と当該原画像に対して画像処理が施された変換済画像との関係に基づいて定まる変換情報と、前記変換済画像とを取得する取得ステップと、前記取得ステップにおいて取得した前記変換済画像を、前記取得ステップにおいて取得した前記変換情報を利用して画像変換し、前記出力画像を得る前記画像変換ステップと、前記画像変換後の前記出力画像を出力する出力ステップとを有することを特徴とする。
【００１６】
また、本発明は、コンピュータに対して、画像処理を実行させる画像処理プログラムであって、原画像に対して第１画像変換を施して変換済画像を得る第１画像変換ステップと、前記原画像と、前記第１画像変換ステップにおいて得られた前記変換済画像との関係に基づいて定まる変換情報を生成する変換情報生成ステップと、前記変換情報生成ステップにおいて生成された前記変換情報と前記第１画像変換後の前記変換済画像とを対応付けて保持手段に保持させる保持ステップとを有することを特徴とする。
【００１７】
また、本発明は、コンピュータに対して、画像出力処理を実行させる画像出力プログラムであって、原画像と当該原画像に対して画像処理が施された変換済画像との関係に基づいて定まる変換情報と、前記変換済画像とを取得する取得ステップと、前記取得ステップにおいて取得した前記変換済画像を、前記取得ステップにおいて取得した前記変換情報を利用して画像変換し、前記出力画像を得る前記画像変換ステップと、前記画像変換後の前記出力画像を出力する出力ステップとを有することを特徴とする。
【発明の効果】
【００１８】
本発明にかかる画像処理装置および画像出力装置は、画像に対し解像度変換等の処理を施した場合であっても、処理後の画像を出力するときに利用すべき変換情報を合わせて保持しているので、変換情報を利用して出力画像に変換することにより、画質劣化の少ない画像を出力することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１９】
以下に、本発明にかかる画像処理装置、画像出力装置、画像処理方法、画像出力方法、画像処理プログラムおよび画像出力プログラムの実施の形態を図面に基づいて詳細に説明する。なお、以下の実施の形態によりこの発明が限定されるものではない。
【００２０】
（実施の形態１）
図１は、実施の形態１にかかる動画像記録再生装置１０の全体構成を示す図である。動画像記録再生装置１０は、外部から入力動画像を取得し解像度変換して保存する変換部１００と、変換部１００によって保存された解像度変換後の動画像を再生する再生部２００とを備えている。
【００２１】
図２は、変換部１００および再生部２００の詳細な機能構成を示すブロック図である。変換部１００は、取得部１１２と、復号化部１１４と、解像度変換部１１６と、符号化部１１８と、記録用動画像記録部１３０と、解像度変換部１２２と、比較解析部１２４と、変換情報生成部１２６と、変換情報記録部１４０とを有している。ここで、本実施の形態にかかる記録用動画像記録部１３０と変換情報記録部１４０とは、本発明の保持手段を構成する。
【００２２】
取得部１１２は、動画像を外部から取得する。ここで、取得部１１２が取得する動画像は、原動画像に対して第１符号化形式による符号化が施された後の画像である。ここで、第１符号化形式としては、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４などがある。
【００２３】
取得部１１２は、ビットストリームとして動画像を取得する。具体的には、デジタル放送などによるトランスポートストリームがある。他の例としては、ＩＥＥＥ１３９４などを利用して外部入力により取得したビットストリームがある。
【００２４】
実施の形態１にかかる動画像記録再生装置１０は、例えば当該動画像記録再生装置１０がデジタルチューナを内蔵している場合、およびＩＥＥＥ１３９４などによりビットストリームとして動画像を取得する場合に適している。
【００２５】
復号化部１１４は、取得部１１２からビットストリームを取得する。そして、取得したビットストリームを復号化して原フレーム画像を生成する。
【００２６】
解像度変換部１１６は、復号化部１１４から原フレーム画像を取得する。そして、取得した原フレーム画像に対して解像度変換を施して、記録用フレーム画像を生成する。具体的には、低解像度への解像度変換を施す。本実施の形態における解像度変換部１１６は、ＨＤからＳＤへの解像度変換を行う。
【００２７】
さらに解像度変換部１１６は、低域通過フィルタなどを利用して、折り返しノイズなどの低減を行ってもよい。さらに解像度変換部１１６は、解像度変換のときに利用したフィルタの情報を保持しておいてもよい。この場合、後述する変換情報を生成するときに、当該フィルタ情報を利用してもよい。
【００２８】
なお、解像度変換部１１６が施す解像度変換処理は、アスペクト比を変換する処理であってもよく、また、ｄｐｉを変換する処理、縦横サイズを変換する処理であってもよい。また、縦サイズのみ変換する処理や横サイズのみ変換する処理であってもよい。このように解像度変換処理は、画像処理により画像の解像度を変換する処理であればよく、その内容は本実施の形態に限定されるものではない。
【００２９】
符号化部１１８は、解像度変換部１１６から低解像度化処理により得られた記録用フレーム画像を取得する。そして、取得した低解像度フレーム画像に対して第２符号化方式による符号化を施し、ビットストリームとして記録用動画像を得る。
【００３０】
ここで第２符号化方式とは、取得部１１２が外部から取得した動画像に施されていた第１符号化方式と異なる符号化方式である。例えば、第１符号化方式がＭＰＥＧ−2であって、第２符号化方式がＭＰＥＧ−4であってもよい。
【００３１】
記録用動画像記録部１３０は、符号化部１１８から取得した記録用動画像を記録する。低解像度のビットストリームを動画像符号化部で符号化されたビットストリームとして記録用動画像を記録する。
【００３２】
一方、解像度変換部１２２は、符号化部１１８において生成された記録用動画像を取得する。そして、第２符号化方式により復号化し、復号化後のフレーム画像に対して解像度変換を行う。これにより比較用フレーム画像を得る。
【００３３】
なお、解像度変換部１２２は異なる変換条件により解像度変換を行うことができる。すなわち、１つの記録用フレーム画像から複数の異なる比較用フレーム画像を得ることができる。ここで、変更可能な条件としては、例えば、フィルタ係数マトリクスや、重み係数などがある。また、他の例としては、解像度変換時に用いるエイリシアシングノイズ低減用フィルタ係数などがある。
【００３４】
なお符号化処理においてローカルデコード画像を生成するような第２符号化方式を採用している場合には、解像度変換部１２２は、符号化部１１８からローカルデコード画像を取得し、ローカルデコード画像を変換して比較用フレーム画像を得てもよい。ローカルデコードを生成するような符号化方式としては、ＭＰＥＧ−２などがある。
【００３５】
比較解析部１２４は、解像度変換部１２２から比較用フレーム画像を取得する。さらに、復号化部１１４から低解像度への解像度変換の施されていない画像、すなわち、原フレーム画像を取得する。そして、比較解析部１２４は、比較用フレーム画像と原フレーム画像とを比較する。具体的には、両画像の画質の違いを評価する。
【００３６】
画質の違いを評価する基準として、画像評価値を設定し、画像評価値に基づいて画質の違いを評価する。画像評価値は各画素値の最小自乗誤差やＳ／Ｎ比などの値を用いて設定する。なお、本実施の形態にかかる画像評価値は、本発明にかかる類似度に相当し、評価値が大きいほど類似度が大きいものとする。
【００３７】
このように、比較解析部１２４は、両画像の類似度を評価ことにより、解像度変換等の処理による原フレーム画像からの画質の劣化等の程度を評価することができる。
【００３８】
比較解析部１２４は、比較結果に基づいて、対応する記録用フレーム画像を再生するときに利用すべき変換情報を決定する。具体的には、原フレーム画像と比較用フレーム画像との画像評価値が、予め定められている閾値以上である場合に、比較用フレーム画像に対する変換情報を選択する。すなわち、原フレーム画像と比較用フレーム画像との画質が近似する場合に、当該比較用フレーム画像への変換条件を変換情報とする。
【００３９】
こうして決定した変換情報を利用することにより、高画質の動画像を再生することができる。
【００４０】
変換情報生成部１２６は、比較解析部１２４が選択した変換情報を、対応する記録用フレーム画像を認識可能に変換情報記録部１４０に記録する。具体的には、記録用フレーム画像を識別する記録用フレーム画像ＩＤに対応付けて記録してもよい。
【００４１】
また他の例としては、変換情報生成部１２６は、解像度変換部１１６が解像度変換のときに利用した変換情報をさらに変換情報として決定してもよい。
【００４２】
また、変換情報を記録するときに、動画像に対して１つの変換情報を決定してもよい。また、他の例としては、各フレーム単位に１つの変換情報を決定してもよい。変換情報と動画像とが１対１に対応付けられていればよく、変換情報が対応付けられる動画像の最少単位は、本実施の形態に限定されるものではない。
【００４３】
また、ストリーム単位に１つの変換情報を決定してもよい。例えば、ストリームに含まれる複数のフレームごとに変換情報を決定する。そして、各フレームの変換情報を平均化した情報を当該ストリームの変換情報として決定する。
【００４４】
また、１つの動画像に対して複数の変換情報を記録する場合には、各変換情報の差分情報のみを記録することにより、情報量を圧縮してもよい。また、ＺＩＰ等の符号圧縮アルゴリズムにより変換情報全体を圧縮してもよい。
【００４５】
一方、再生部２００は、復号化部２０２と、解像度変換部２０４と、出力部２０６とを有している。復号化部２０２は、記録用動画像記録部１３０から記録用動画像を取得する。そして、ビットストリームを復元して低解像度再生用フレーム画像を得る。
【００４６】
解像度変換部２０４は、変換情報記録部１４０から変換情報を取得する。さらに、復号化部２０２から低解像度再生用フレーム画像を取得する。そして、変換情報を利用して、低解像度再生用フレーム画像に対して解像度変換を施す。これにより、高解像度の再生用フレーム画像を得る。出力２０６は、解像度変換部２０４によって得られた再生用フレーム画像を外部に出力する。
【００４７】
図３は、動画像記録再生装置１０の処理を示すフローチャートである。まず、変換部１００は、外部から原動画像を取得する（ステップＳ１００）。次に、変換部１００は、取得した原動画像からより低解像度の記録用動画像を得る（ステップＳ１０２）。次に、記録用動画像を再生するときに利用すべき変換情報を生成する（ステップＳ１０４）。そして、再生時には、再生部２００は、変換情報を利用して、記録用動画像から再生用フレーム画像を生成し、再生用フレーム画像を出力する（ステップＳ１０６）。
【００４８】
図４は、図３を参照しつつ説明した記録用動画像生成処理（ステップＳ１０２）における変換部１００の詳細な処理を示すフローチャートである。
【００４９】
まず、変換部１００の復号化部１１４は、取得部１１２から原動画像を取得する。そして、原動画像を復号化して原フレーム画像を得る（ステップＳ１２１）。次に、解像度変換部１１６は、原フレーム画像を解像度変換し、記録用フレーム画像を生成する（ステップＳ１２２）。次に、符号化部１１８は、記録用フレーム画像を符号化し、低解像度のビットストリームを生成する（ステップＳ１２３）。次に、符号化部１１８は、生成した低解像度のビットストリームを記録用動画像記録部１３０に記録する（ステップＳ１２４）。以上でステップＳ１２０の処理が完了し、保存用の低解像度ビットストリームが記録される。
【００５０】
図５は、図３を参照しつつ説明した変換情報生成処理（ステップＳ１４０）における変換部１００の詳細な処理を示すフローチャートである。
【００５１】
まず、変換部１００の解像度変換部１２２は、フィルタ係数マトリクス等を利用して所定の変換条件で比較用フレーム画像を生成する（ステップＳ１４１）。次に、比較解析部１２４は、復号化部１１４から原フレーム画像を取得し、かつ解像度変換部１２２から比較用フレーム画像を取得する。そして、原フレーム画像と比較用フレーム画像とを比較する（ステップＳ１４２）。
【００５２】
比較の結果、画像評価値が予め定められている閾値以上である場合には（ステップＳ１４２，Ｙｅｓ）、当該比較用フレーム画像を生成するときの変換条件を変換情報として変換情報生成部１２６に送る。変換情報生成部１２６は、比較解析部１２４から受け取った変換情報を、対応する記録用フレーム画像を認識可能に変換情報記録部１４０に記録する（ステップＳ１４４）。以上でステップＳ１４０の処理が完了する。
【００５３】
ステップＳ１４３の画像評価値が予め定められている閾値以上である場合とは、原フレーム画像と比較用フレーム画像との差分、すなわち解像度変換等による画像の劣化が一定値以下である場合に相当する。したがって、この場合は解像度変換等による画像の劣化が許容量である。
【００５４】
一方、比較解析部１２４による比較の結果、画像評価値が予め定められている閾値よりも小さい場合には（ステップＳ１４２，Ｙｅｓ）、解像度変換部１２２は、比較用フレーム画像を生成したときに利用した変換条件を変更する（ステップＳ１４５）。そして、変更後の変換条件における比較用フレーム画像を再度生成する（ステップＳ１４１）。閾値以上の画像評価値が得られるまで、以上の処理を繰り返す。なお、処理コストの低減のために、この繰り返し処理を一定回数Kで打ち切ってもよい。さらに変換情報が関連づけられる動画像の単位は記録フレーム画像毎でもよいし、単位時間毎、記録ビットストリーム全体でもよい。
【００５５】
図６は、図３を参照しつつ説明した再生部２００の動画像出力処理（ステップＳ１６０）における再生部２００の詳細な処理を示すフローチャートである。
【００５６】
記録用動画像記録部１３０に記録されている記録用動画像を再生する場合には、まず再生部２００の復号化部２０２は、記録用動画像記録部１３０から記録用ビットストリームを取得する（ステップＳ１６１）。そして、記録用ビットストリームを復号化して低解像度再生用フレーム画像を生成する（ステップＳ１６２）。次に、解像度変換部２０４は、復号化部２０２が記録用動画像記録部１３０から取得した記録用フレーム画像に対応する変換情報を変換情報記録部１４０から取得する（ステップＳ１６３）。
【００５７】
次に、解像度変換部２０４は、変換情報を利用して低解像度再生用フレーム画像から外部に出力すべき再生用フレーム画像を生成する（ステップＳ１６５）。以上でステップＳ１６０における処理が完了する。
【００５８】
以上のように、本実施の形態においては、変換情報を用いて動画像を再生することができるので、入力動画像を解像度変換して記録した場合であっても、入力動画像に近い高品質な画質で動画像を再生することができる。
【００５９】
また、デジタル放送などの高解像度動画像に適用した場合には、低解像度化して保存することで低いビットレートでも高画質に記録できる。また記憶容量を節約することができる。
【００６０】
また、動画像を変換して記録することができるので、多様な記録メディアへバックアップすることができる。たとえば、高解像度動画像を低解像度化し、標準画質としてバックアップ可能なメディア（ＤＶＤなど）に保存することができる。
【００６１】
さらに、低解像度化した動画像を大画面テレビのような高解像度動画像表示機器で表示する場合に、変換情報を利用することにより原動画像の画質を維持しつつ表示することができる。
【００６２】
また、再生部２００において解像度変換処理を行うので、高解像度動画像表示機器の画像変換処理性能に依存することなく高画質な動画像の表示ができる。
【００６３】
また、原フレーム画像と比較用フレーム画像との比較結果に基づいて、変換情報を生成するので、動画像に施された符号化形式に依存しない変換情報を生成することができる。したがって、このような変換情報を利用することにより符号化形式にかかわらず、高画質な動画像を再生することができる。
【００６４】
図７は、実施の形態１に係る動画像記録再生装置１０のハードウェア構成を示す図である。動画像記録再生装置１０は、ハードウェア構成として、動画像記録再生装置１０における画像処理を実行する画像処理プログラムなどが格納されているＲＯＭ５２と、ＲＯＭ５２内のプログラムに従って動画像記録再生装置１０の各部を制御し、バッファリング時間変更処理等を実行するＣＰＵ５１と、ワークエリアが形成され、動画像記録再生装置１０の制御に必要な種々のデータを記憶するＲＡＭ５３と、ネットワークに接続して通信を行う通信I／Ｆ５７と、各部を接続するバス６２とを備えている。
【００６５】
先に述べた動画像記録再生装置１０における画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（Ｒ）ディスク（ＦＤ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。
【００６６】
この場合には、画像処理プログラムは、動画像記録再生装置１０において上記記録媒体から読み出して実行することにより主記憶装置上にロードされ、上記ソフトウェア構成で説明した各部が主記憶装置上に生成されるようになっている。
【００６７】
また、本実施の形態にかかる画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
【００６８】
以上、本発明を実施の形態を用いて説明したが、上記実施の形態に多様な変更または改良を加えることができる。
【００６９】
そうした第１の変更例としては、解像度変換部１２２は、解像度変換部１１６が解像度変換を行ったときの条件に基づいて、変換条件を決定してもよい。具体的には、解像度変換部１２２は、解像度変換部１１６の解像度変換の条件に最も近い変換条件における比較用フレーム画像を生成する。このように、予め変換条件を予測することにより、処理の効率化を図ることができる。
【００７０】
また、第２の変更例としては、本実施の形態における解像度変換部１１６は、ＨＤからＳＤへの解像度変換行ったが、他の例としては、ＳＤからハーフＳＤへの解像度変換を行ってもよい。このように解像度変換の種類は、本実施の形態に限定されるものではない。
【００７１】
さらに、動画像記録再生装置１０は、低解像度から高解像度に解像度変換した記録用画像を符号化して記録してもよい。具体的には、取得部１１２は、外部からアナログテレビ放送などのなどの低解像度動画像を取得し、解像度変換部１１６は、この低解像度動画像をＨＤＴＶなどの高解像度動画像に解像度変換し、変換後の高解像度ビットストリームを記録用動画像記録部１３０に記録してもよい。
【００７２】
上記構成において、解像度変換部１２２は、高解像度ビットストリームを低解像度化する。解像度変換部１２２は、低解像度化したビットストリームに対応する比較用フレーム画像と原フレーム画像とを比較する。変換情報生成部１２６は、比較解析部１２４による比較結果に基づいて、高解像度から低解像度への解像度変換における変換情報を生成する。
【００７３】
また再生時には、解像度変換部２０４は、変換情報を利用して記録用フレーム画像を低解像度化する。そして、出力部２０６は、低解像度の動画像を出力する。なお、出力部２０６は、高解像度動画像をそのまま出力する場合には、高解像度ビットストリームを復号化した結果をそのまま出力すればよい。
【００７４】
このように、低解像度から高解像度に変換して保存することができるので、地上アナログ放送などの低解像度動画像を高解像度化し、高解像度動画像をバックアップ可能なメディアに保存することができる。
【００７５】
また、第３の変更例としては、本実施の形態においては、復号化部１１４と解像度変換部１１６とは別個に設けられていたが、復号化と解像度変換とを同時に行う復号化方式を採用する場合には、これらを一体に設けてもよい。
【００７６】
また、第４の変更例としては、さらに復号化部１１４は、デブロッキングフィルタ、ポストフィルタによる処理を行ってもよい。これにより、取得ビットストリームのデコード画像の画質を向上させることができる。
【００７７】
またこの場合には、復号化部１１４における処理内容を変換情報生成部１２６に通知し、変換情報生成部１２６は、復号化部１１４における処理内容に基づいて、変換情報を生成してもよい。
【００７８】
これにより、より高画質な動画像を再生可能な変更情報を生成することができる。なお、この場合の変換情報は、再生時に復号化部１１４による処理後の動画像を再生可能とするための処理を示す情報である。
【００７９】
また、第５の変更例としては、第２符号化方式は、第１符号化方式と同一の符号化方式であってもよい。
【００８０】
また、第６の変更例としては、本実施の形態における解像度変換部１２２は、符号化部１１８で符号化した信号を復号化処理した後に解像度変換処理を行っていたが、これにかえて、復号化と解像度変換とを同時に行う復号化方式を採用してもよい。
【００８１】
（実施の形態２）
次に、実施の形態２にかかる動画像記録再生装置１０について説明する。実施の形態２にかかる動画像記録再生装置１０は、最適な変換情報を選択し、当該変換情報を変換情報記録部１４０に記録する。この点で、閾値以上の評価値に対応する変換情報を選択する実施の形態１にかかる動画像記録再生装置１０と異なっている。
【００８２】
図８は、実施の形態２にかかる動画像記録再生装置１０の機能構成を示す図である。実施の形態２にかかる動画像記録再生装置１０の変換情報生成部１２６は、変換情報一時保持部１２７を有している。
【００８３】
実施の形態２にかかる解像度変換部１２２は、予め定められた複数の変換条件それぞれにおいて比較用フレーム画像を生成する。そして、比較解析部１２４は、解像度変換部１２２が生成した複数の比較用フレーム画像それぞれと原フレーム画像とを比較し、画像評価値を評価する。変換情報生成部１２６の変換情報一時保持部１２７は、比較解析部１２４による画像評価値と対応する変換条件とを対応付けて保持する。
【００８４】
変換情報生成部１２６は、変換情報一時保持部１２７に保持されている複数の画像評価値を比較して、最大の画像評価値に対応する変換条件を変換情報とする。すなわち、最も高画質な動画像を再生することができる変換条件を変換情報とする。
【００８５】
図９は、実施の形態２にかかる再生部２００における変換情報生成処理（ステップＳ１４０）における処理を示すフローチャートである。実施の形態２にかかる再生部２００においては、まず解像度変換部１２２は、比較用フレーム画像を生成する（ステップＳ１４１）、次に、比較解析部１２４は、原フレーム画像と比較用フレーム画像とを比較して（ステップＳ１４２）、比較の結果得られる画像評価値を変換情報一時保持部１２７に保持させる（ステップＳ１５１）。
【００８６】
解像度変換部１２２は、予め定められた複数の変換条件を保持している。そして、解像度変換部１２２は、変換情報一時保持部１２７に保持されている総ての変換条件により同一の記録用フレームから比較用フレーム画像を生成するまで、以上の処理を繰り返す（ステップＳ１５２）。
【００８７】
総ての変換条件により得られた比較用フレーム画像についての画像評価値を変換情報一時保持部１２７に保持させると（ステップＳ１５２，Ｙｅｓ）、変換情報生成部１２６は、変換情報一時保持部１２７に保持されている画像評価値のうち最大値に対応する変換条件を選択する（ステップＳ１５３）。次に、変換情報生成部１２６は、選択した変換条件を変換情報として、対応する記録用フレーム画像を認識可能に変換情報記録部１４０に記録する（ステップＳ１５４）。以上でステップＳ１４０の処理が完了する。
【００８８】
このように、実施の形態２にかかる変換部１００は、各記録用フレーム画像に最適な変換情報を生成することができる。なお、上記変換情報最適化処理を単位時間毎、記録ビットストリーム全体に適用して、各々に対応した変換情報を生成してもよい。
【００８９】
なお、実施の形態２にかかる動画像記録再生装置１０のこれ以外の構成および処理は、実施の形態１にかかる動画像記録再生装置１０の構成および処理と同様である。
【００９０】
（実施の形態３）
次に実施の形態３にかかる動画像記録再生装置１０について説明する。実施の形態３にかかる動画像記録再生装置１０は、原動画像をビットストリームとしてではなく、動画像として外部から取得する。
【００９１】
実施の形態１にかかる動画像記録再生装置１０は、例えば当該動画像記録再生装置１０がデジタルチューナを内蔵している場合等に適している。これに対して、実施の形態３にかかる動画像記録再生装置１０は、外部接続によりＢＳデジタルチューナのＨＤ出力画面をアナログ入力で取得し、符号化して録画する装置などに適している。
【００９２】
図１０は、実施の形態３にかかる動画像記録再生装置１０の機能構成を示すブロック図である。実施の形態にかかる動画像記録再生装置１０は、動画像の状態で原動画像を取得するので、復号化部１１４を有さない。この点で、実施の形態３にかかる変換部１００は、他の実施の形態にかかる変換部１００と異なっている。この場合には、解像度変換部１１６は、取得部１１２から原動画像を取得する。そして、原動画像に対して直接解像度変換を行う。
【００９３】
なお、実施の形態３にかかる動画像記録再生装置１０のこれ以外の構成および処理は、実施の形態１にかかる動画像記録再生装置１０の構成および処理と同様である。
【００９４】
（実施の形態４）
次に、実施の形態４にかかる動画像記録再生装置１０について説明する。実施の形態４にかかる動画像記録再生装置１０は、変更情報を記録用ビットストリームとを対応付けて保存する。この点で、実施の形態４にかかる動画像記録再生装置１０は、他の実施の形態にかかる動画像記録再生装置１０と異なっている。図１１は、実施の形態４にかかる動画像記録再生装置１０の機能構成を示すブロック図である。実施の形態４にかかる変換部１００は、実施の形態１にかかる変換部１００の機能構成に加えて、記録用ビットストリーム編集部１５０をさらに有している。また、変換情報記録部１４０を有さない。
【００９５】
記録用ビットストリーム編集部１５０は、符号化部１１８から記録用ビットストリームを取得する。また、変換情報生成部１２６から変換情報を取得する。記録用ビットストリーム編集部１５０は、変換情報を記録用ビットストリームに埋め込む。さらに、変換情報を埋め込んだ後の記録用ビットストリームを記録用動画像記録部１３０に記録する。
【００９６】
一方、再生部２００においては、解像度変換部２０４は復号化部２０２から記録用ビットストリーム中に埋め込まれている変換情報を取得し、当該変換情報を利用して解像度変換を行う。
【００９７】
図１２は、記録用ビットストリームに変換情報を埋め込む処理を説明するための図である。図１２は、ＭＰＥＧ−２における記録用動画像を模式的に示している。ＭＰＥＧ−２における、シーケンス３００、すなわちストリーム全体の符号化信号は、１つ以上のＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）３１０を有している。また、各ＧＯＰ３１０は、１つ以上のピクチャ３２０を有している。
【００９８】
ＭＰＥＧ−２においては、シーケンス３００、ＧＯＰ３１０、ピクチャ３２０の各ヘッダ３０１，３１１，３２１に続く箇所に、拡張情報とユーザ情報を格納する領域（Ｅｘｔｅｎｓｉｏｎ  ａｎｄ  Ｕｓｅｒｄａｔａ）を挿入することができる。このうち、Ｅｘｔｅｎｓｉｏｎ  ａｎｄ  Ｕｓｅｒｄａｔａ３０２，３１２，３２２は、ユーザが自由に設定できるユーザデータ領域である。
【００９９】
実施の形態４にかかる記録用ビットストリーム編集部１５０は、この領域に変更情報を埋め込む。この領域には、任意のデータを任意のデータサイズで挿入することができるので、記録用ビットストリーム編集部１５０は、自由に変更情報を埋め込むことができる。
【０１００】
なお、Ｅｘｔｅｎｓｉｏｎ  ａｎｄ  Ｕｓｅｒｄａｔａ３０２，３１２，３２２のうちいずれの領域に変更情報を埋め込んでもよい。変更情報を埋め込む領域は、システムの処理能力、変換情報を生成する手法、符号発生量などに基づいて変更してもよい。
【０１０１】
また、Ｅｘｔｅｎｓｉｏｎ  ａｎｄ  Ｕｓｅｒｄａｔａ３０２，３１２，３２２の総てにそれぞれ変更情報を埋め込んでもよい。例えば、シーケンス全体に対して変換情報を１つ生成した場合には、Ｅｘｔｅｎｓｉｏｎ  ａｎｄ  Ｕｓｅｒｄａｔａ３０２に対して、シーケンス全体に対する変換情報を埋め込むのが好ましい。
【０１０２】
また他の例としては、ピクチャ単位に変換情報を生成した場合には、Ｅｘｔｅｎｓｉｏｎ  ａｎｄ  Ｕｓｅｒｄａｔａ３２２にそれぞれのピクチャに対する変更情報を埋め込むのが好ましい。
【０１０３】
なお、実施の形態４にかかる動画像記録再生装置１０のこれ以外の構成および処理は、実施の形態１にかかる動画像記録再生装置１０の構成および処理と同様である。
【０１０４】
（実施の形態５）
次に、実施の形態５について説明する。図１３は、実施の形態５にかかる画像処理システム４０の全体構成を示している。実施の形態５においては、変換部１００と再生部２００とは別個の装置である。すなわち、実施の形態５は、動画像記録装置２０と、動画像再生装置３０とを備えた画像処理システム４０である。
【０１０５】
実施の形態５にかかる動画像記録装置２０は、記録用動画像と変換情報とを動画像再生装置３０に送信する。そして、動画像再生装置３０は、記録用動画像および変換情報を受信する。そして、変換情報に基づいて、記録用動画像を再生する。
【０１０６】
具体的には、変換部１００は、記録用動画像記録部１３０および変換情報記録部１４０を有さない。また、送信部１６０を有する。そして、送信部１６０は、符号化部１１８から記録用画像を受け取り、また、変換情報生成部１２６から変換情報を受け取る。そして、記録用画像および変換情報を動画像再生装置３０に送信する。
【０１０７】
一方、再生部２００は、受信部２１０をさらに有する。そして、受信部２１０は、動画像記録装置２０から記録用画像および変換情報を受信する。受信部２１０はさらに、記録用画像を復号化部２０２に送る。また、変換情報を解像度変換部２０４に送る。また、解像度変換部２０４は、動画像記録装置２０自体の再生可能な解像度を保持しており、当該再生可能な解像度と、動画像記録装置２０から受信した変換情報とを比較する。そして、最適な変換条件を決定する。これにより、動画像再生装置３０は、最適な解像度および画質で動画再生が可能となる。
【０１０８】
なお、動画像記録装置２０のこれ以外の構成および処理は、実施の形態１にかかる変換部１００の構成および処理と同様である。また、動画像再生装置３０のこれ以外の構成および処理は、実施の形態１にかかる再生部２００の構成および処理と同様である。
【産業上の利用可能性】
【０１０９】
以上のように、本発明にかかる画像処理装置および画像出力装置は、画像記録および出力に有用であり、特に、解像度変換画像の記録および出力に適している。
【図面の簡単な説明】
【０１１０】
【図１】実施の形態１にかかる動画像記録再生装置１０の全体構成を示す図である。
【図２】変換部１００および再生部２００の詳細な機能構成を示すブロック図である。
【図３】動画像記録再生装置１０の処理を示すフローチャートである。
【図４】図３を参照しつつ説明した記録用動画像生成処理（ステップＳ１０２）における変換部１００の詳細な処理を示すフローチャートである。
【図５】図３を参照しつつ説明した変換情報生成処理（ステップＳ１４０）における変換部１００の詳細な処理を示すフローチャートである。
【図６】図３を参照しつつ説明した再生部２００の動画像出力処理（ステップＳ１６０）における再生部２００の詳細な処理を示すフローチャートである。
【図７】実施の形態１に係る動画像記録再生装置１０のハードウェア構成を示す図である。
【図８】実施の形態２にかかる動画像記録再生装置１０の機能構成を示す図である。
【図９】実施の形態２にかかる再生部２００における変換情報生成処理（ステップＳ１４０）における処理を示すフローチャートである。
【図１０】実施の形態３にかかる動画像記録再生装置１０の機能構成を示すブロック図である。
【図１１】実施の形態４にかかる動画像記録再生装置１０の機能構成を示すブロック図である。
【図１２】記録用ビットストリームに変換情報を埋め込む処理を説明するための図である。
【図１３】実施の形態５にかかる画像処理システム４０の全体構成を示す図である。
【符号の説明】
【０１１１】
１０  動画像記録再生装置
２０  動画像記録装置
３０  動画像再生装置
４０  画像処理システム
５１  ＣＰＵ
５２  ＲＯＭ
５３  ＲＡＭ
５７  通信I／Ｆ
６２  バス
１００  変換部
１１２  取得部
１１４  復号化部
１１６  解像度変換部
１１８  符号化部
１２２  解像度変換部
１２４  比較解析部
１２６  変換情報生成部
１２７  変換情報一時保持部
１３０  記録用動画像記録部
１４０  変換情報記録部
１５０  記録用ビットストリーム編集部
１６０  送信部
２００  再生部
２０２  復号化部
２０４  解像度変換部
２０６  出力部
２１０  受信部
【図１】
2005286911.tif 000003
【図２】
2005286911.tif 000004
【図３】
2005286911.tif 000005
【図４】
2005286911.tif 000006
【図５】
2005286911.tif 000007
【図６】
2005286911.tif 000008
【図７】
2005286911.tif 000009
【図８】
2005286911.tif 000010
【図９】
2005286911.tif 000011
【図１０】
2005286911.tif 000012
【図１１】
2005286911.tif 000013
【図１２】
2005286911.tif 000014
【図１３】
2005286911.tif 000015