(57)【要約】【課題】物体のエッジを考慮して領域別に高画像化を行うことができる情報処理装置、画像処理方法および画像処理プログラムを提供する。【解決手段】情報処理装置１０は、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、ネットワーク接続部１４、選択対象物記憶部１５、領域設定記憶部１６、ＥＰＧデータ記憶部１７、録画ファイル記憶部１８およびインターフェイス部２０を有する。ＣＰＵ１１は、ＲＯＭ１３内に記憶された画像処理プログラムおよびプログラムの実行のために必要なデータを、ＲＡＭ１２へロードし、画像処理プログラムに従って、高画像化処理を行う対象となる録画ファイルについて、物体のエッジを考慮して領域別に高画像化を行う処理を実行する。【選択図】  図１
2008276302.tif 000002
【特許請求の範囲】
【請求項１】
フレーム中において特に高画像化すべき領域の情報を取得する領域情報取得手段と、
前記特に高画像化すべき領域を、実際に特に高画像化を行うべき第１の領域とする最終注目領域決定手段と、
前記第１の領域の枠部内側近傍に、前記フレーム中に描画される物体の端部があるかどうか判定するエッジ判定手段と、
前記第１の領域の枠部内側近傍に前記物体の端部がある場合に、前記第１の領域の枠部外側におけるこの枠部から所要の距離内の領域を第２の領域として設定する緩衝領域設定手段と、
前記第１の領域に属する各画素に対して第１の強度で高画像化処理を施し、前記第２の領域に属する各画素に対して前記第１の強度より劣る第２の強度で高画像化処理を施し、前記第１の領域および前記第２の領域のいずれの領域にも属さない第３の領域に対して前記第２の強度より劣る第３の強度で高画像化処理を施す高画像化処理手段と、
を備えたことを特徴とする情報処理装置。
【請求項２】
フレーム中において特に高画像化すべき対象物の種別の情報を取得する選択対象物種別取得手段と、
前記フレーム中における前記種別に属する対象物の輪郭位置を含む位置情報を取得する対象物位置取得手段と、
前記種別に属する対象物の位置の情報にもとづいて、前記種別に属する対象物の輪郭から所要の距離内の領域を、実際に特に高画像化を行うべき第１の領域とする最終注目領域決定手段と、
前記第１の領域の枠部内側近傍に、前記フレーム中に描画される物体の端部があるかどうか判定するエッジ判定手段と、
前記第１の領域の枠部内側近傍に前記物体の端部がある場合に、前記第１の領域の枠部外側におけるこの枠部から所要の距離内の領域を第２の領域として設定する緩衝領域設定手段と、
前記第１の領域に属する各画素に対して第１の強度で高画像化処理を施し、前記第２の領域に属する各画素に対して前記第１の強度より劣る第２の強度で高画像化処理を施し、前記第１の領域および前記第２の領域のいずれの領域にも属さない第３の領域に対して前記第２の強度より劣る第３の強度で高画像化処理を施す高画像化処理手段と、
を備えたことを特徴とする情報処理装置。
【請求項３】
フレーム中において特に高画像化すべき対象物の種別の情報を取得する選択対象物種別取得手段と、
前記フレーム中における前記種別に属する対象物の輪郭位置を含む位置情報を取得する対象物位置取得手段と、
をさらに備え、
前記最終注目領域決定手段は、
前記種別に属する対象物の位置の情報と、前記特に高画像化すべき領域の情報とにもとづいて、前記実際に特に高画像化を行うべき前記第１の領域を決定するよう構成された、
請求項１記載の情報処理装置。
【請求項４】
前記フレームは、前記フレームを含む複数枚のフレームにより構成される画像データの一部である、
請求項３記載の情報処理装置。
【請求項５】
前記特に高画像化すべき対象物の種別の情報を、カテゴリと関連付けて記憶する選択対象物記憶手段と、
少なくとも前記画像データが属する前記カテゴリの情報を含むＥＰＧデータを記憶するＥＰＧデータ記憶手段と、
をさらに備え、
前記選択対象物種別取得手段は、
前記ＥＰＧデータ記憶手段から取得した前記画像データが属する前記カテゴリにもとづいて、前記カテゴリに関連付けられた前記特に高画像化すべき対象物の種別の情報を前記選択対象物記憶手段から取得するよう構成された、
請求項４記載の情報処理装置。
【請求項６】
フレーム中において特に高画像化すべき領域の情報を取得するステップと、
前記特に高画像化すべき領域を、実際に特に高画像化を行うべき第１の領域とするステップと、
前記第１の領域の枠部内側近傍に、前記フレーム中に描画される物体の端部があるかどうか判定するステップと、
前記第１の領域の枠部内側近傍に前記物体の端部がある場合に、前記第１の領域の枠部外側におけるこの枠部から所要の距離内の領域を第２の領域として設定するステップと、
前記第１の領域に属する各画素に対して第１の強度で高画像化処理を施し、前記第２の領域に属する各画素に対して前記第１の強度より劣る第２の強度で高画像化処理を施し、前記第１の領域および前記第２の領域のいずれの領域にも属さない第３の領域に対して前記第２の強度より劣る第３の強度で高画像化処理を施すステップと、
を有することを特徴とする画像処理方法。
【請求項７】
フレーム中において特に高画像化すべき対象物の種別の情報を取得するステップと、
前記フレーム中における前記種別に属する対象物の輪郭位置を含む位置情報を取得するステップと、
前記種別に属する対象物の位置の情報にもとづいて、前記種別に属する対象物の輪郭から所要の距離内の領域を、実際に特に高画像化を行うべき第１の領域とするステップと、
前記第１の領域の枠部内側近傍に、前記フレーム中に描画される物体の端部があるかどうか判定するステップと、
前記第１の領域の枠部内側近傍に前記物体の端部がある場合に、前記第１の領域の枠部外側におけるこの枠部から所要の距離内の領域を第２の領域として設定するステップと、
前記第１の領域に属する各画素に対して第１の強度で高画像化処理を施し、前記第２の領域に属する各画素に対して前記第１の強度より劣る第２の強度で高画像化処理を施し、前記第１の領域および前記第２の領域のいずれの領域にも属さない第３の領域に対して前記第２の強度より劣る第３の強度で高画像化処理を施すステップと、
を有することを特徴とする画像処理方法。
【請求項８】
フレーム中において特に高画像化すべき対象物の種別の情報を取得するステップと、
前記フレーム中における前記種別に属する対象物の輪郭位置を含む位置情報を取得するステップと、
をさらに備え、
前記第１の領域とするステップは、
前記種別に属する対象物の位置の情報と、前記特に高画像化すべき領域の情報とにもとづいて、前記実際に特に高画像化を行うべき前記第１の領域を決定するステップである、
請求項６記載の画像処理方法。
【請求項９】
前記フレームは、前記フレームを含む複数枚のフレームにより構成される画像データの一部である、
請求項８記載の画像処理方法。
【請求項１０】
前記特に高画像化すべき対象物の種別の情報を、カテゴリと関連付けて記憶するステップと、
少なくとも前記画像データが属する前記カテゴリの情報を含むＥＰＧデータを記憶するステップと、
をさらに備え、
前記特に高画像化すべき対象物の種別の情報を取得するステップは、
前記画像データが属する前記カテゴリの情報を取得し、この前記カテゴリにもとづいて、前記カテゴリに関連付けられた前記特に高画像化すべき対象物の種別の情報を取得するステップである、
請求項９記載の画像処理方法。
【請求項１１】
コンピュータに、
フレーム中において特に高画像化すべき領域の情報を取得するステップと、
前記特に高画像化すべき領域を、実際に特に高画像化を行うべき第１の領域とするステップと、
前記第１の領域の枠部内側近傍に、前記フレーム中に描画される物体の端部があるかどうか判定するステップと、
前記第１の領域の枠部内側近傍に前記物体の端部がある場合に、前記第１の領域の枠部外側におけるこの枠部から所要の距離内の領域を第２の領域として設定するステップと、
前記第１の領域に属する各画素に対して第１の強度で高画像化処理を施し、前記第２の領域に属する各画素に対して前記第１の強度より劣る第２の強度で高画像化処理を施し、前記第１の領域および前記第２の領域のいずれの領域にも属さない第３の領域に対して前記第２の強度より劣る第３の強度で高画像化処理を施すステップと、
を実行させるための画像処理プログラム。
【請求項１２】
コンピュータに、
フレーム中において特に高画像化すべき対象物の種別の情報を取得するステップと、
前記フレーム中における前記種別に属する対象物の輪郭位置を含む位置情報を取得するステップと、
前記種別に属する対象物の位置の情報にもとづいて、前記種別に属する対象物の輪郭から所要の距離内の領域を、実際に特に高画像化を行うべき第１の領域とするステップと、
前記第１の領域の枠部内側近傍に、前記フレーム中に描画される物体の端部があるかどうか判定するステップと、
前記第１の領域の枠部内側近傍に前記物体の端部がある場合に、前記第１の領域の枠部外側におけるこの枠部から所要の距離内の領域を第２の領域として設定するステップと、
前記第１の領域に属する各画素に対して第１の強度で高画像化処理を施し、前記第２の領域に属する各画素に対して前記第１の強度より劣る第２の強度で高画像化処理を施し、前記第１の領域および前記第２の領域のいずれの領域にも属さない第３の領域に対して前記第２の強度より劣る第３の強度で高画像化処理を施すステップと、
を実行させるための画像処理プログラム。
【請求項１３】
コンピュータに、さらに
フレーム中において特に高画像化すべき対象物の種別の情報を取得するステップと、
前記フレーム中における前記種別に属する対象物の輪郭位置を含む位置情報を取得するステップと、
を実行させ、
前記第１の領域とするステップは、
前記種別に属する対象物の位置の情報と、前記特に高画像化すべき領域の情報とにもとづいて、前記実際に特に高画像化を行うべき前記第１の領域を決定するステップである、
請求項１１記載の画像処理プログラム。
【請求項１４】
前記フレームは、前記フレームを含む複数のフレームにより構成される画像データの一部である、
請求項１３記載の画像処理プログラム。
【請求項１５】
コンピュータに、さらに
前記特に高画像化すべき対象物の種別の情報を、カテゴリと関連付けて記憶するステップと、
少なくとも前記画像データが属する前記カテゴリの情報を含むＥＰＧデータを記憶するステップと、
を実行させ、
前記特に高画像化すべき対象物の種別の情報を取得するステップは、
前記画像データが属する前記カテゴリの情報を取得し、この前記カテゴリにもとづいて、前記カテゴリに関連付けられた前記特に高画像化すべき対象物の種別の情報を取得するステップである、
請求項１４記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高画像化処理を行う情報処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
動画像は、複数枚のフレーム画像により構成される。動画像から一枚の静止画像を抽出する場合、複数のフレーム画像にもとづいて原画像の画素間を補完することにより、高画像化することができる。この高画像化処理は、一般に、処理時間が長くなってしまうことが多い。このため、高画像化した静止画像を抽出する際には、この静止画像を複数領域に分割し、あまり重要でない領域の画質を落とすことにより、処理時間の短縮を図ることが多い。
【０００３】
しかし、１枚の静止画像に画質の異なる領域が存在すると、領域の枠（境界）が目立ってしまう場合がある。
【０００４】
従来、この種の領域の枠を滑らかにする技術に、特開２００５−３５４１２４号公報（特許文献１）に開示されたものがある。
【０００５】
この特開２００５−３５４１２４号公報（特許文献１）に開示された画像処理装置は、複数枚の低解像度フレームから１枚の高解像度フレームを生成する画像処理装置であって、高解像度フレームとなるべき領域を重点領域と重点領域を囲む遷移領域と非重点領域とを含む複数の領域に区分する領域区分部と、重点領域における画素値を２以上の第１の枚数の低解像度フレームを用いて決定した第１の画素値とし、非重点領域における画素値を第１の枚数より少ない第２の枚数の低解像度フレームを用いて決定した第２の画素値とし、遷移領域における画素値を第１の画素値に第１の重みを付した値と第２の画素値に第２の重みを付した値とを加算することにより決定する高解像度化処理部とを備える。
【０００６】
この画像処理装置は、遷移領域を設けることにより、領域の枠（境界）における画質の変化が過剰に大きくなることを防ぐことで領域の枠が過剰に目立つことを防ぎ、領域別の高画像化に伴う見た目の違和感を緩和することができるようになっている。
【特許文献１】特開２００５−３５４１２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
高画像化処理を施すと、画像中の物体（たとえば人物など）のエッジ部分（端部、輪郭）の周辺は、数画素に渡る高画像化処理の影響を受けて、強調され膨張したように見える場合がある。このため、ある１つの物体のエッジ部分が画質の異なる領域にまたがっている場合、エッジ部分が不自然になり、見る者に違和感を与えてしまう。
【０００８】
しかし、従来の画像処理装置は、領域別の高画質化に伴う見た目の違和感緩和のために、重点領域の枠を囲む領域を遷移領域とするのみである。このため、物体のエッジが領域の枠の近傍に位置する場合（エッジが領域を横断する場合など）に、物体のエッジ部分が強調されてしまうことによる見た目の違和感を的確に緩和することができない。
【０００９】
本発明は、上述した事情を考慮してなされたもので、物体のエッジを考慮して領域別に高画像化を行うことができる情報処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る情報処理装置は、上述した課題を解決するために、フレーム中において特に高画像化すべき領域の情報を取得する領域情報取得手段と、前記特に高画像化すべき領域を、実際に特に高画像化を行うべき第１の領域とする最終注目領域決定手段と、前記第１の領域の枠部内側近傍に、前記フレーム中に描画される物体の端部があるかどうか判定するエッジ判定手段と、前記第１の領域の枠部内側近傍に前記物体の端部がある場合に、前記第１の領域の枠部外側におけるこの枠部から所要の距離内の領域を第２の領域として設定する緩衝領域設定手段と、前記第１の領域に属する各画素に対して第１の強度で高画像化処理を施し、前記第２の領域に属する各画素に対して前記第１の強度より劣る第２の強度で高画像化処理を施し、前記第１の領域および前記第２の領域のいずれの領域にも属さない第３の領域に対して前記第２の強度より劣る第３の強度で高画像化処理を施す高画像化処理手段と、を備えたことを特徴とするものである。
【００１１】
また、本発明に係る情報処理装置は、上述した課題を解決するために、フレーム中において特に高画像化すべき対象物の種別の情報を取得する選択対象物種別取得手段と、前記フレーム中における前記種別に属する対象物の輪郭位置を含む位置情報を取得する対象物位置取得手段と、前記種別に属する対象物の位置の情報にもとづいて、前記種別に属する対象物の輪郭から所要の距離内の領域を、実際に特に高画像化を行うべき第１の領域とする最終注目領域決定手段と、前記第１の領域の枠部内側近傍に、前記フレーム中に描画される物体の端部があるかどうか判定するエッジ判定手段と、前記第１の領域の枠部内側近傍に前記物体の端部がある場合に、前記第１の領域の枠部外側におけるこの枠部から所要の距離内の領域を第２の領域として設定する緩衝領域設定手段と、前記第１の領域に属する各画素に対して第１の強度で高画像化処理を施し、前記第２の領域に属する各画素に対して前記第１の強度より劣る第２の強度で高画像化処理を施し、前記第１の領域および前記第２の領域のいずれの領域にも属さない第３の領域に対して前記第２の強度より劣る第３の強度で高画像化処理を施す高画像化処理手段と、を備えたことを特徴とするものである。
【００１２】
一方、本発明に係る画像処理方法は、上述した課題を解決するために、フレーム中において特に高画像化すべき領域の情報を取得するステップと、前記特に高画像化すべき領域を、実際に特に高画像化を行うべき第１の領域とするステップと、前記第１の領域の枠部内側近傍に、前記フレーム中に描画される物体の端部があるかどうか判定するステップと、前記第１の領域の枠部内側近傍に前記物体の端部がある場合に、前記第１の領域の枠部外側におけるこの枠部から所要の距離内の領域を第２の領域として設定するステップと、前記第１の領域に属する各画素に対して第１の強度で高画像化処理を施し、前記第２の領域に属する各画素に対して前記第１の強度より劣る第２の強度で高画像化処理を施し、前記第１の領域および前記第２の領域のいずれの領域にも属さない第３の領域に対して前記第２の強度より劣る第３の強度で高画像化処理を施すステップと、を有することを特徴とする方法である。
【００１３】
また、本発明に係る画像処理方法は、上述した課題を解決するために、フレーム中において特に高画像化すべき対象物の種別の情報を取得するステップと、前記フレーム中における前記種別に属する対象物の輪郭位置を含む位置情報を取得するステップと、前記種別に属する対象物の位置の情報にもとづいて、前記種別に属する対象物の輪郭から所要の距離内の領域を、実際に特に高画像化を行うべき第１の領域とするステップと、前記第１の領域の枠部内側近傍に、前記フレーム中に描画される物体の端部があるかどうか判定するステップと、前記第１の領域の枠部内側近傍に前記物体の端部がある場合に、前記第１の領域の枠部外側におけるこの枠部から所要の距離内の領域を第２の領域として設定するステップと、前記第１の領域に属する各画素に対して第１の強度で高画像化処理を施し、前記第２の領域に属する各画素に対して前記第１の強度より劣る第２の強度で高画像化処理を施し、前記第１の領域および前記第２の領域のいずれの領域にも属さない第３の領域に対して前記第２の強度より劣る第３の強度で高画像化処理を施すステップと、を有することを特徴とする方法である。
【００１４】
他方、本発明に係る画像処理プログラムは、上述した課題を解決するために、コンピュータに、フレーム中において特に高画像化すべき領域の情報を取得するステップと、前記特に高画像化すべき領域を、実際に特に高画像化を行うべき第１の領域とするステップと、前記第１の領域の枠部内側近傍に、前記フレーム中に描画される物体の端部があるかどうか判定するステップと、前記実際に特に高画像化を行うべき領域の枠部内側近傍に前記物体の端部がある場合に、最終注目領域の枠部外側におけるこの枠部から所要の距離内の領域を第２の領域として設定するステップと、前記第１の領域に属する各画素に対して第１の強度で高画像化処理を施し、前記第２の領域に属する各画素に対して前記第１の強度より劣る第２の強度で高画像化処理を施し、前記第１の領域および前記第２の領域のいずれの領域にも属さない第３の領域に対して前記第２の強度より劣る第３の強度で高画像化処理を施すステップと、を実行させるためのプログラムである。
【００１５】
また、本発明に係る画像処理プログラムは、上述した課題を解決するために、コンピュータに、フレーム中において特に高画像化すべき対象物の種別の情報を取得するステップと、前記フレーム中における前記種別に属する対象物の輪郭位置を含む位置情報を取得するステップと、前記種別に属する対象物の位置の情報にもとづいて、前記種別に属する対象物の輪郭から所要の距離内の領域を、実際に特に高画像化を行うべき第１の領域とするステップと、前記第１の領域の枠部内側近傍に、前記フレーム中に描画される物体の端部があるかどうか判定するステップと、前記第１の領域の枠部内側近傍に前記物体の端部がある場合に、前記第１の領域の枠部外側におけるこの枠部から所要の距離内の領域を第２の領域として設定するステップと、前記第１の領域に属する各画素に対して第１の強度で高画像化処理を施し、前記第２の領域に属する各画素に対して前記第１の強度より劣る第２の強度で高画像化処理を施し、前記第１の領域および前記第２の領域のいずれの領域にも属さない第３の領域に対して前記第２の強度より劣る第３の強度で高画像化処理を施すステップと、を実行させるためのプログラムである。
【発明の効果】
【００１６】
本発明に係る情報処理装置、画像形成方法および画像形成プログラムによれば、物体のエッジを考慮して領域別に高画像化を行うことができる。
【発明を実施するための最良の形態】
【００１７】
本発明に係る情報処理装置、画像処理方法および画像処理プログラムの実施の形態について、添付図面を参照して説明する。
【００１８】
図１は、本発明に係る情報処理装置１０の一実施形態を示す概略的な全体構成図である。
【００１９】
なお、本実施形態では、情報処理装置１０として、ＨＤＤ／ＤＶＤレコーダや、テレビチューナを備えたパソコンなどの、映像や音声からなるデータを記録、再生する記録再生装置を用いる場合の一例について示す。
【００２０】
情報処理装置１０は、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、ネットワーク接続部１４、選択対象物記憶部１５、領域設定記憶部１６、ＥＰＧデータ記憶部１７、録画ファイル記憶部１８およびインターフェイス部２０を有する。
【００２１】
ＣＰＵ１１は、ＲＯＭ１３内に記憶されたプログラムにしたがって、情報処理装置１０の処理動作を制御する。ＣＰＵ１１は、ＲＯＭ１３内に記憶された画像処理プログラムおよびプログラムの実行のために必要なデータを、ＲＡＭ１２へロードし、画像処理プログラムに従って、高画像化処理を行う対象となる録画ファイルについて、物体のエッジ部分（端部、輪郭）を考慮して領域別に高画像化を行う処理を実行する。
【００２２】
ＲＡＭ１２は、ＣＰＵ１１が実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。
【００２３】
ＲＯＭ１３は、情報処理装置１０の起動プログラム、画像処理プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。
【００２４】
なお、ＲＯＭ１３は、磁気的もしくは光学的記録媒体または半導体メモリなどの、ＣＰＵ１１により読み取り可能な記録媒体を含んだ構成を有し、ＲＯＭ１３内のプログラムおよびデータの一部または全部は電子ネットワークを介してダウンロードされるように構成してもよい。
【００２５】
ネットワーク接続部１４は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続部１４は、この各種プロトコルにしたがって情報処理装置１０と記録再生装置とＥＰＧサーバデータベース３０とを接続する。この接続には、電子ネットワークを介した電気的な接続などを適用することができる。ここで電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、ＬＡＮ（Local Area Network）やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。
【００２６】
図３は、選択対象物記憶部１５に記憶される、カテゴリに関連付けられた選択対象物種別を示す説明図である。
【００２７】
選択対象物記憶部１５は、あらかじめ、ドラマや歌番組などのカテゴリに関連付けて、特に高画像化すべき対象物の種別（顔、テロップ（歌詞等）など）（以下、注目対象物種別という）の情報を記憶しておく。
【００２８】
また、この各カテゴリに関連付けられた注目対象物種別の情報は、各カテゴリの対象物種別の選択画面を、画像処理プログラムに従ってＣＰＵ１１により表示装置２２に表示させ、この選択画面にもとづいてユーザにより入力装置２３を介して指示を受けて、選択対象物記憶部１５に格納するようにしてもよい。
【００２９】
領域設定記憶部１６は、あらかじめ、特に高画像化すべき領域（以下、注目領域という）の情報を記憶しておく。この注目領域は、ユーザにより入力装置２３を介して指示を受けた領域としてもよい。また、領域設定記憶部１６は、あらかじめ、注目領域にもとづく高画像化を実行するか否かの情報を記憶しておく。
【００３０】
ＥＰＧデータは、一般に、放送される番組の、カテゴリ（ジャンル名）、放送開始日時および終了日時、番組名、番組内容および出演者名などの情報を内容とする。記録再生装置は、このＥＰＧデータにもとづき、インターフェイス部２０を介して表示装置２２にＥＰＧ（電子番組表）を表示可能に構成されている。
【００３１】
ＥＰＧデータ記憶部１７は、放送局がテレビ放送信号にＥＰＧデータを多重して送信している場合、インターフェイス部２０を介してチューナ２１が受信したＥＰＧデータを格納する。また、ＥＰＧデータがインターネット配信されている場合は、ネットワーク接続部１４を介してＥＰＧサーバデータベース３０から取得したＥＰＧデータを格納する。
【００３２】
録画ファイル記憶部１８は、インターフェイス部２０を介して入力されるチューナ２１の受信した放送された番組の映像データなどを、必要に応じて録画ファイルとして格納する。
【００３３】
インターフェイス部２０は、放送される番組の映像データおよびＥＰＧデータなどを受信し記録再生装置に与えるチューナ２１と、チューナ２１の受信した映像データおよびＥＰＧデータや記録再生装置から出力される映像データおよびＥＰＧデータを表示するＣＲＴやＬＣＤなどの表示装置２２と、ユーザの意思を記録再生装置に伝える機能を有するリモコンなどの入力装置２３と接続される。表示装置２２は、たとえば液晶ディスプレイやＣＲＴディスプレイなどの一般的な表示出力装置により構成される。
【００３４】
ＥＰＧサーバデータベース３０は、ＥＰＧサーバがインターネット配信するＥＰＧデータを保存している。
【００３５】
図２は、図１に示すＣＰＵ１１による機能実現部の構成例を示す概略的なブロック図である。なお、この機能実現部は、ＣＰＵ１１を用いることなく回路などのハードウエアロジックによって構成してもよい。
【００３６】
ＣＰＵ１１は、画像処理プログラムによって、少なくとも選択対象物情報取得部１１ａ、選択対象物種別判定部１１ｂ、対象物位置取得部１１ｃ、領域指定判定部１１ｄ、領域情報取得部１１ｅ、最終注目領域決定部１１ｆ、強度設定部１１ｇ、エッジ判定部１１ｈ、緩衝領域設定部１１ｉおよび高画像化処理部１１ｊとして機能する。この各部１１ａ〜１１ｊは、ＲＡＭ１２の所要のワークエリアを、データの一時的な格納場所として利用する。
【００３７】
次に、ＣＰＵ１１の各部１１ａ〜１１ｊについて説明する。
【００３８】
選択対象物情報取得部１１ａは、選択対象物記憶部１５から特に高画像化すべき対象物種別（注目対象物種別）の情報を取得し、この注目対象物種別の情報を選択対象物種別判定部１１ｂに与える。
【００３９】
選択対象物種別判定部１１ｂは、注目対象物種別として、顔が選択されているかどうか、およびテロップが選択されているかどうかをそれぞれ判定する。
【００４０】
対象物位置取得部１１ｃは、注目対象物種別ごとに、対象物の位置情報を取得し、この位置情報をＲＡＭ１２の所要のワークエリアに格納する。たとえば注目対象物種別が顔である場合、対象物位置取得部１１ｃは、高画像化処理を行う対象となる録画ファイルを構成する各フレーム中の顔の位置情報（少なくとも顔の輪郭の位置情報を含む）を取得する。
【００４１】
なお、対象物のフレーム中の位置を特定する技術は、従来各種のものが知られており、これらのうち任意のものを適用することが可能である。たとえば、対象物が顔の場合は、対象物位置取得部１１ｃは、従来の顔認識技術を適用することにより、フレーム中の顔の位置の情報を取得することができる。また、対象物がテロップの場合は、対象物位置取得部１１ｃは、従来のテロップ認識技術を適用することにより、フレーム中のテロップの位置を取得することができる。
【００４２】
なお、本実施形態においては、注目対象種別として顔およびテロップを選択可能な場合の例について示したが、フレーム中の位置情報を取得可能な対象物であれば、顔およびテロップ以外の対象物であっても、注目対象物種別とすることができる。
【００４３】
領域指定判定部１１ｄは、領域設定記憶部１６を検索し、注目領域にもとづく高画像化を実行するかどうかを判定する。
【００４４】
領域情報取得部１１ｅは、領域設定記憶部１６から注目領域の情報を取得し、この注目領域の情報をＲＡＭ１２の所要のワークエリアに格納する。
【００４５】
最終注目領域決定部１１ｆは、注目対象物種別に属する対象物の位置の情報および注目領域の情報にもとづき、実際に特に高画像化を行うべき領域（以下、最終注目領域という）を決定する。注目対象物種別のみにもとづく高画像化を実行する場合は、最終注目領域決定部１１ｆは、注目対象物の輪郭から所要の距離内の領域を最終注目領域とする。
【００４６】
強度設定部１１ｇは、フレーム中の各領域に対して、高画像化処理の強度を割り当てる。本実施形態では、高画像化処理の強度を０、１および２の３段階とする場合の一例について説明する。強度設定部１１ｇは、最終注目領域には強度２を割り当てる。また、最終注目領域以外の領域には強度０を割り当てる。緩衝領域がある場合には、緩衝領域に強度１を割り当てる。なお、本実施形態において、強度が高い高画像化処理を施された領域の方がより高画像であるものとする。
【００４７】
エッジ判定部１１ｈは、最終注目領域の枠部内側近傍に、物体のエッジ部分（端部、輪郭）があるかどうか判定する。ここで、最終注目領域の枠部内側近傍に物体のエッジがある場合とは、物体のエッジ部分が最終注目領域の枠部を横断する場合も含むものとする。
【００４８】
緩衝領域設定部１１ｉは、最終注目領域の枠部外側におけるこの枠部から所要の距離内の領域を緩衝領域として設定する。
【００４９】
高画像化処理部１１ｊは、各領域に属する画素について、強度設定部１１ｇにより各領域に割り当てられた強度に応じて、高画像化処理を行う。たとえば、強度２が割り当てられた領域（最終注目領域）については、超解像度などの、鮮鋭度は良いが処理負荷が高く処理時間を要する高画像化処理を施し、強度０が割り当てられた領域については、三次補間（Cubic Convolution）などの、より処理負荷の低い高画像化処理を施すようにする。
【００５０】
次に、本実施形態に係る情報処理装置１０の動作の一例について説明する。
【００５１】
図４は、図１に示す情報処理装置１０のＣＰＵ１１により、高画像化処理を行う対象となる録画ファイルについて、物体のエッジを考慮して領域別に高画像化を行う際の手順を示すフローチャートである。図４において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。
【００５２】
なお、図４には、高画像化処理を行う対象となる録画ファイルを構成する複数のフレームの１つについて、物体のエッジを考慮して領域別に高画像化を行う際の手順を示した。図４に示した手順を、録画ファイルを構成する全てのフレームについて繰り返すことにより、録画ファイル全体を高画像化することができる。
【００５３】
ステップＳ１において、選択対象物情報取得部１１ａは、高画像化処理を行う対象となる録画ファイルのカテゴリをＥＰＧデータ記憶部１７から取得し、選択対象物記憶部１５からこのカテゴリに関連付けられた注目対象物種別の情報を取得する。この結果、この録画ファイルについての注目対象物種別が特定される。
【００５４】
次に、ステップＳ２において、選択対象物種別判定部１１ｂは、注目対象物種別として、顔が選択されているかどうかを判定する。顔が選択されている場合は、ステップＳ３に進む。一方、顔が選択されていない場合は、ステップＳ４に進む。
【００５５】
次に、ステップＳ３において、対象物位置取得部１１ｃは、高画像化処理を行うフレーム中の顔の位置情報を取得する。
【００５６】
次に、ステップＳ４において、選択対象物種別判定部１１ｂは、注目対象物種別として、テロップが選択されているかどうかを判定する。テロップが選択されている場合は、ステップＳ５に進む。一方、顔が選択されていない場合は、ステップＳ６に進む。
【００５７】
次に、ステップＳ５において、対象物位置取得部１１ｃは、高画像化処理を行うフレーム中のテロップの位置情報を取得する。
【００５８】
次に、ステップＳ６において、領域指定判定部１１ｄは、領域設定記憶部１６を検索し、注目領域にもとづく高画像化を実行するかどうかを判定する。注目領域にもとづく高画像化を実行する場合はステップＳ７に進む。一方、注目領域にもとづく高画像化を実行しない場合は、ステップＳ８に進む。
【００５９】
以上の手順により、注目対象物種別および注目領域にもとづく高画像化を実行するかどうかを判定することができる。注目対象物種別および注目領域のいずれも利用しない場合は、フレームの全領域について高画像化を行うことになる。
【００６０】
次に、ステップＳ７において、領域情報取得部１１ｅは、領域設定記憶部１６から注目領域の情報を取得する。
【００６１】
次に、ステップＳ８において、最終注目領域決定部１１ｆは、注目対象物種別に属する対象物の位置の情報および注目領域の情報にもとづき、実際に特に高画像化すべき領域（最終注目領域）を決定する。
【００６２】
次に、ステップＳ９において、強度設定部１１ｇは、最終注目領域に対し、高画像化処理強度として強度２を割り当てる。
【００６３】
次に、ステップＳ１０において、エッジ判定部１１ｈは、最終注目領域の枠部内側近傍に、物体のエッジがあるかどうか判定する。最終注目領域の枠部内側近傍に物体のエッジがある場合は、ステップＳ１１に進む。ない場合は、ステップＳ１３に進む。
【００６４】
次に、ステップＳ１１において、緩衝領域設定部１１ｉは、エッジ判定部１１ｈから最終注目領域の枠部内側近傍に物体のエッジが存在するとの判定結果を受け、最終注目領域の枠部外側におけるこの枠部から所要の距離内の領域を緩衝領域として設定する。
【００６５】
次に、ステップＳ１２において、強度設定部１１ｇは、緩衝領域に対し、高画像化処理強度として強度１を割り当てる。
【００６６】
次に、ステップＳ１３において、強度設定部１１ｇは、最終注目領域および緩衝領域以外の領域に対し、高画像化処理強度として強度０を割り当てる。
【００６７】
ここで、物体のエッジ部分と緩衝領域との関係について簡単に説明する。
【００６８】
図５は、注目領域のみにもとづく高画像化を行う際の、フレーム中の最終注目領域の一例を示す説明図である。
【００６９】
図５に示す例では、注目対象物種別の指定がないため、領域情報取得部１１ｅが取得した注目領域が最終注目領域となる。破線で示した最終注目領域内部（強度２）に対して、最終注目領域外部（強度０）に比べより強度の高い高画像化処理が行われる。
【００７０】
高画像化処理を施すと、フレーム中の物体のエッジ部分（輪郭）の周辺が、数画素に渡る高画像化処理の影響を受けて、強調されて膨張したように見えてしまう場合がある。このため、たとえば、ある１つの物体のエッジ部分が高画像化処理強度の異なる領域にまたがっている場合、ユーザは、エッジ部分が不連続となってしまっている印象を受け、不自然だと感じるおそれがある。
【００７１】
この画像中の物体は、注目対象物に限られない。たとえば注目対象物種別が顔であり、顔部分が同一の高画像化処理強度の領域内にある場合でも、画像中に自転車や木などの物体があり、これらの物体が高画像化処理強度の異なる領域にまたがっている場合には、これらの物体のエッジ部分について不連続感が生じるおそれがある。
【００７２】
ユーザにエッジ部分の不連続感を与えないためには、１つの物体のエッジ部分は、同一の高画像化処理強度の領域内に存在することが好ましい。このエッジ部分が、領域の枠部内側近傍に存在しなければ、より好ましい。
【００７３】
しかし、あらかじめ領域設定記憶部１６に記憶されている注目領域にもとづいて高画像化処理を行うと、１つの物体のエッジ部分が領域の枠部内側近傍に存在する場合（高画像化処理強度の異なる領域にまたがっている場合など）がある。これらの場合には、最終注目領域から外側にむかって、徐々に高画像化処理強度を下げるようにするとよい。徐々に高画像化処理強度が下がることにより、ユーザが受けるエッジ部分の不連続感を緩和することができる。本実施形態では、最終注目領域の枠部外側における枠部から所要の距離内の領域（緩衝領域）の高画像化処理強度を強度１とし、緩衝領域外の高画像化処理強度を強度０とする場合の例について示す。
【００７４】
図５において、フレーム中の物体は、飛行機と山のみであり、いずれも同一の高画像化処理強度の領域内に存在し、かつ各物体のエッジ部分は領域の枠部内側近傍に存在しない。このため、最終注目領域の内外で高画像化処理強度が強度２から強度０へと急激に変化するものの、ユーザに物体の不連続性を感じさせるおそれはなく、エッジの存在にもとづく緩衝領域を設ける必要はない。もちろん、この場合にも、緩衝領域を設けても構わない。
【００７５】
図６は、注目領域のみにもとづく高画像化を行う際の、フレーム中の最終注目領域の他の例を示す説明図である。
【００７６】
図６において、フレーム中の物体である人物は、最終注目領域の枠をまたがって存在している。このため、エッジの存在にもとづく緩衝領域を設ける必要がある。
【００７７】
図７は、図６に示したフレームについて緩衝領域を設定した場合の一例について示す説明図である。
【００７８】
図７に示すように、一点鎖線と破線で囲まれた領域として示した緩衝領域を設けることにより、フレーム中の物体である人物のエッジ部分の画質の変化は、緩衝領域を設けない場合に比べ、より滑らかなものにすることができる。
【００７９】
図８は、注目対象物種別（顔）のみにもとづく高画像化を行う際の、フレーム中の最終注目領域の一例を示す説明図である。
【００８０】
図８に示す例では、注目領域の指定がないため、顔の輪郭から所要の距離内の領域が最終注目領域となる。図８においても、フレーム中の物体である人物は、最終注目領域の枠をまたがって存在しているため、一点鎖線と破線で囲まれた領域として示した緩衝領域を設ける。
【００８１】
図９は、注目対象物種別（顔）に属する対象物の位置の情報および注目領域の情報にもとづき高画像化を行う際の、領域設定手順について説明するための図である。
【００８２】
また、図１０は、図９に示したフレームにおける領域設定の一例を示す説明図である。
【００８３】
図９に示す例では、注目領域と、顔の輪郭から所要の距離内の領域とが、重なっている。つまり、注目領域外に顔が存在する。しかし、顔にも強度２の高画像化処理を行う必要がある。
【００８４】
この場合、最終注目領域決定部１１ｆは、図１０に示すように、注目対象物種別に属する対象物の位置の情報および注目領域の情報にもとづいて、注目対象物の輪郭から所要の距離内の領域と、領域情報取得部１１ｅが取得した注目領域とからなる領域を、最終注目領域として決定する。また、人物の下半身が最終注目領域の枠部を横断しているため、一点鎖線と破線で囲まれた領域として示した緩衝領域を設ける。
【００８５】
図５〜図１０を用いて説明したように、物体のエッジ部分が最終注目領域の枠部内側近傍に存在する場合（最終注目領域の枠部を横断している場合など）には、緩衝領域を設けるようにするとよい。
【００８６】
最後に、ステップＳ１４において、高画像化処理部１１ｊは、各領域に属する画素について、強度設定部１１ｇにより割り当てられた強度に応じて、高画像化処理を行う。
【００８７】
以上の手順を、録画ファイルを構成する全てのフレームについて繰り返すことにより、高画像化処理を行う対象となる録画ファイルについて、物体のエッジを考慮して領域別に高画像化を行うことができる。
【００８８】
本実施形態に示す情報処理装置１０は、フレームの画像に対して領域別に高画像化処理を行う際に、フレーム中に存在する物体のエッジ部分が最終注目領域の枠部内側近傍に存在するかどうかを判定する。このため、この判定結果にもとづきエッジ部分を考慮した高画像化処理を行うことができる。
【００８９】
したがって、本実施形態に係る情報処理装置１０によれば、連続したエッジ部分に対して異なる高解像度化処理が行われる際に、不連続感を緩和することができる。また、エッジ部分が同一領域内に存在している場合でも、このエッジ部分が枠部内側近傍にある場合に視認されうるエッジ部分の膨張感を、緩和することができる。
【００９０】
また、本実施形態に係る情報処理装置１０によれば、エッジ部分が領域の枠部内側近傍に存在しない場合にのみ、最終注目領域とこの領域以外の領域の強度差を大きく取ることが可能である。したがって、闇雲に高画像化処理強度の勾配をつける従来の技術に比べ、処理時間の無駄を省くことができる。
【００９１】
さらに、本実施形態に係る情報処理装置１０は、注目対象物種別に属する対象物の位置の情報および注目領域の情報にもとづいて、最終注目領域を決定する（図１０参照）。このため、ユーザが求める対象物および対象領域の両者について、無駄なく高画像化することができる。したがって、本実施形態に係る情報処理装置１０は、ユーザに画質の不連続性を感じさせることなく、高速に高画像化処理を行うことが可能である。
【００９２】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
【００９３】
たとえば、高画像化処理において、複数のフレームを必要としない方法を用いた場合、各フレームについての高画像化処理は、前後のフレームとは独立に行うことができる。この場合、動画のみならず、１枚（１フレーム）の静止画像に対しても、本発明を適用することが可能である。
【００９４】
また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【図面の簡単な説明】
【００９５】
【図１】本発明に係る情報処理装置の一実施形態を示す概略的な全体構成図。
【図２】図１に示すＣＰＵによる機能実現部の構成例を示す概略的なブロック図。
【図３】選択対象物記憶部に記憶される、カテゴリに関連付けられた選択対象物種別を示す説明図。
【図４】図１に示す情報処理装置のＣＰＵにより、高画像化処理を行う対象となる録画ファイルについて、物体のエッジを考慮して領域別に高画像化を行う際の手順を示すフローチャート。
【図５】注目領域のみにもとづく高画像化を行う際の、フレーム中の最終注目領域の一例を示す説明図。
【図６】注目領域のみにもとづく高画像化を行う際の、フレーム中の最終注目領域の他の例を示す説明図。
【図７】図６に示したフレームについて緩衝領域を設定した場合の一例について示す説明図。
【図８】注目対象物種別（顔）のみにもとづく高画像化を行う際の、フレーム中の最終注目領域の一例を示す説明図。
【図９】注目対象物種別（顔）に属する対象物の位置の情報および注目領域の情報にもとづき高画像化を行う際の、領域設定手順について説明するための図。
【図１０】図９に示したフレームにおける領域設定の一例を示す説明図。
【符号の説明】
【００９６】
１０  情報処理装置
１１  ＣＰＵ
１１ａ  選択対象物情報取得部
１１ｂ  選択対象物種別判定部
１１ｃ  対象物位置取得部
１１ｄ  領域指定判定部
１１ｅ  領域情報取得部
１１ｆ  最終注目領域決定部
１１ｇ  強度設定部
１１ｈ  エッジ判定部
１１ｉ  緩衝領域設定部
１１ｊ  高画像化処理部
１２  ＲＡＭ
１３  ＲＯＭ
１４  ネットワーク接続部
１５  選択対象物記憶部
１６  領域設定記憶部
１７  ＥＰＧデータ記憶部
１８  録画ファイル記憶部
２０  インターフェイス部
２１  チューナ
２２  表示装置
２３  入力装置
３０  ＥＰＧサーバデータベース
【図１】
2008276302.tif 000003
【図２】
2008276302.tif 000004
【図３】
2008276302.tif 000005
【図４】
2008276302.tif 000006
【図５】
2008276302.tif 000007
【図６】
2008276302.tif 000008
【図７】
2008276302.tif 000009
【図８】
2008276302.tif 000010
【図９】
2008276302.tif 000011
【図１０】
2008276302.tif 000012