(57)【要約】【課題】臨場感の向上を図る。【解決手段】実施形態の画像処理装置は、生成手段と、出力手段とを備える。生成手段は、入力画像データに対して、当該入力画像データの表示領域より外側の領域であり且つ当該入力画像データの表示領域に隣接している第１の拡大領域に、入力画像データを外挿するために生成された第１の外挿画像データが合成され、第１の拡大領域より外側の第２の拡大領域に、入力画像データを外挿するため且つ第１の外挿画像データと異なる手法で生成された第２の外挿画像データが合成され、入力画像データより表示領域が拡大された拡大画像データを生成する。出力手段は、生成手段により生成された拡大画像データを出力する。【選択図】図２
2014093694.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データに対して、当該入力画像データの表示領域より外側の領域であり且つ当該入力画像データの表示領域に隣接している第１の拡大領域に、入力画像データを外挿するために生成された第１の外挿画像データが合成され、前記第１の拡大領域より外側の第２の拡大領域に、前記入力画像データを外挿するため且つ前記第１の外挿画像データと異なる手法で生成された第２の外挿画像データが合成され、入力画像データより表示領域が拡大された拡大画像データを生成する生成手段と、
前記生成手段により生成された前記拡大画像データを出力する出力手段と、
を備える画像処理装置。
【請求項２】
前記生成手段で生成される前記拡大画像データのうち、前記第１の拡大領域に合成された前記第１の外挿画像データと比べて、前記第２の拡大領域に合成された前記第２の外挿画像データの画素勾配の滑らかさを表す平滑度が高い、
請求項１に記載の画像処理装置。
【請求項３】
前記生成手段が前記入力画像データに合成される前記第１の外挿画像データ及び前記第２の外挿画像データは、前記入力画像データの最頻色、平均色、前記入力画像データの拡大又は縮小、前記入力画像データのシンメトリ、前記入力画像データの端部近傍の画素のコピーのいずれか、又は組み合わせで生成されている、
請求項１又は２に記載の画像処理装置。
【請求項４】
前記生成手段が前記入力画像データに合成される前記第１の外挿画像データ及び前記第２の外挿画像データは、前記入力画像データを縮小又は拡大して生成された画像データであり、前記第２の外挿画像データは、前記第１の外挿画像データと比べて大きな縮小率又は拡大率で生成されている、
請求項３に記載の画像処理装置。
【請求項５】
前記入力画像データが動画像データである場合、前記生成手段が前記入力画像データに含まれる任意のフレームに合成される前記第１の外挿画像データ及び前記第２の外挿画像データは、当該任意のフレームより前に出力されるフレームに基づいて生成されている、
請求項３又は４に記載の画像処理装置。
【請求項６】
前記生成手段が前記入力画像データに含まれる任意のフレームに合成される前記第１の外挿画像データ又は前記第２の外挿画像データは、前記入力画像データの表示領域に含まれる各領域のエッジ強度を算出し、閾値より高いエッジ強度の領域に基づいて生成されている、
請求項３に記載の画像処理装置。
【請求項７】
入力画像データに対して、当該入力画像データの表示領域より外側の領域であり且つ当該入力画像データの表示領域に隣接している第１の拡大領域に、入力画像データを外挿するために生成された第１の外挿画像データが合成され、前記第１の拡大領域より外側の第２の拡大領域に、前記入力画像データを外挿するため且つ前記第１の外挿画像データと異なる手法で生成された第２の外挿画像データが合成され、入力画像データより表示領域が拡大された拡大画像データを生成する生成ステップと、
前記生成ステップにより生成された前記拡大画像データを出力する出力ステップと、
を有する画像処理方法。
【請求項８】
前記生成ステップで生成される前記拡大画像データのうち、前記第１の拡大領域に合成された前記第１の外挿画像データと比べて、前記第２の拡大領域に合成された前記第２の外挿画像データの画素勾配の滑らかさを表す平滑度が高い、
請求項７に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、及び画像処理方法に関する。
【背景技術】
【０００２】
従来から、テレビジョン表示装置は、様々なフォーマットや様々な表示サイズの画像データの表示に対応する傾向にある。
【０００３】
テレビジョン表示装置が有する表示部の解像度と比べて、画像データの表示サイズが小さい場合には、表示部に画像データを表示する際に、画像データの周囲に、黒枠等を表示することが多かった。
【０００４】
しかしながら、黒枠等が表示されると、ユーザに対して、窮屈な印象を与えることが多かった。そこで、画像データの周囲にダミーである画像データを外挿する技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２００９／１５７２２４号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術においては、画像データの表示領域と、表示部の解像度との間をダミーで外挿する際に、利用者への違和感を抑止しつつ、処理負担が少なくするのは難しかった。
【０００７】
本発明は、上記に鑑みてなされたものであって、処理負担と視認性の両立を図る画像処理装置、及び画像処理方法を提案する。
【課題を解決するための手段】
【０００８】
実施形態の画像処理装置は、生成手段と、出力手段とを備える。生成手段は、入力画像データに対して、当該入力画像データの表示領域より外側の領域であり且つ当該入力画像データの表示領域に隣接している第１の拡大領域に、入力画像データを外挿するために生成された第１の外挿画像データが合成され、第１の拡大領域より外側の第２の拡大領域に、入力画像データを外挿するため且つ第１の外挿画像データと異なる手法で生成された第２の外挿画像データが合成され、入力画像データより表示領域が拡大された拡大画像データを生成する。出力手段は、生成手段により生成された拡大画像データを出力する。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態にかかるテレビジョン装置の構成例を示す図である。
【図２】図２は、実施形態にかかる画像処理部の機能の一部の構成を示す図である。
【図３】図３は、従来のテレビジョン装置の表示部に表示される、動画像データのフレームの例を示した図である。
【図４】図４は、実施形態にかかる画像処理部が外挿する外挿画像データの表示領域を説明した図である。
【図５】図５は、実施形態にかかる外挿画像ベース生成部の構成を示したブロック図である。
【図６】図６は、実施形態にかかる画面内利用外挿画像生成部による処理手順を示したフローチャートである。
【図７】図７は、実施形態にかかる画面内利用外挿画像生成部により生成される画像データを説明した図である。
【図８】図８は、第１の外挿画像処理部に含まれている動画フレーム利用外挿画像生成部の処理を説明した図である。
【図９】図９は、第２の外挿画像処理部に含まれている動画フレーム利用外挿画像生成部の処理を説明した図である。
【図１０】図１０は、実施の形態にかかる選択・合成部により合成された出力画像データの例を示した図である。
【図１１】図１１は、実施の形態にかかる画像処理部における、全体的な処理の手順を示すフローチャートである。
【図１２】図１２は、画像処理部の外挿の他の態様の例を示した図である。
【図１３】図１３は、画像処理部の外挿の他の態様の例を示した図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、この発明にかかる画像処理装置、及び画像処理方法の実施形態について詳細に説明する。なお、本実施形態では、この発明にかかる画像処理装置、及び画像処理方法をテレビジョン装置に適用した例について説明するが、この装置に制限するものではない。
【００１１】
図１は、本実施形態にかかるテレビジョン装置１００の構成例を示す図である。同図に示すように、テレビジョン装置１００は、アンテナ１１で受信した放送信号を、入力端子１２を介してチューナ部１３に供給することにより、所望のチャンネルの放送信号を選局することが可能になっている。
【００１２】
テレビジョン装置１００は、チューナ部１３で選局された放送信号を、復調復号部１４に供給してデジタル映像信号及びデジタル音声信号等に復元した後、信号処理部１５に出力する。
【００１３】
信号処理部１５は、復調復号部１４から供給されたデジタル映像信号に所定の画像処理を施す画像処理部１５１と、復調復号部１４から供給されたデジタル音声信号に所定の音声処理を施す音声処理部１５２とを有する。
【００１４】
ここで、画像処理部１５１は、復調復号部１４から供給されたデジタル映像信号に対し高画質化のための所定の画像処理を施し、画像処理後のデジタル映像信号を合成処理部１６に出力する。また、音声処理部１５２は、処理を施したデジタル音声信号を音声変換部１７に出力する。なお、画像処理部１５１の詳細な構成については後述する。
【００１５】
合成処理部１６は、信号処理部１５（画像処理部１５１）から供給されたデジタル映像信号に、ＯＳＤ（On  Screen  Display）信号生成部１８で生成される字幕、ＧＵＩ（Graphical  User  Interface）、ＯＳＤ等の重畳用映像信号であるＯＳＤ信号を重畳して出力する。
【００１６】
テレビジョン装置１００は、合成処理部１６から出力されたデジタル映像信号を、映像変換部１９に供給する。映像変換部１９は、入力されたデジタル映像信号を、後段の、表示部３０で表示可能なフォーマットのアナログ映像信号に変換している。テレビジョン装置１００は、映像変換部１９から出力されたアナログ映像信号を、表示部３０に供給して映像表示に供する。表示部３０は、ＬＣＤ（Liquid  Crystal  Display）等の表示デバイスを有し、映像変換部１９から出力されたアナログ映像信号を表示する。
【００１７】
音声変換部１７は、信号処理部１５（音声処理部１５２）から供給されたデジタル音声信号を、後段のスピーカ２０で再生可能なフォーマットのアナログ音声信号に変換している。そして、この音声変換部１７から出力されたアナログ音声信号が、スピーカ２０に供給されることにより音声再生に供される。
【００１８】
ここで、テレビジョン装置１００は、上記した各種の受信動作を含むその全ての動作を制御部２１によって統括的に制御している。この制御部２１は、ＣＰＵ（Central  Processing  Unit）１１１、ＣＰＵ１１１が実行するプログラムを格納したＲＯＭ（Read  Only  Memory）１１２、ＣＰＵ１１１に作業エリアを提供するためのＲＡＭ（Random  Access  Memory）１１３を有しており、ＣＰＵ１１１と各種プログラムとの協働により各部の動作が統括的に制御する。
【００１９】
具体的に、制御部２１は、テレビジョン装置１００の本体に設置された操作部２２からの操作情報を受けて、または、リモートコントローラ２３から送出され受信部２４で受信した操作情報を受けて、その操作内容が反映されるように各部を制御する。
【００２０】
また、制御部２１は、復調復号部１４で復元された信号からＥＰＧ（Electronic  Program  Guide）等の電子番組ガイドを取得し、視聴者による操作部２２やリモートコントローラ２３の操作に応じて、当該電子番組ガイドをＯＳＤ信号生成部１８や映像変換部１９に供給することで放送中又は放送予定の番組表を視聴者に提供する。ここで、電子番組ガイドには、現在放送中及び将来放送予定の各番組について、当該番組を識別する番組ＩＤ（例えば、放送局及び放送時刻等）の他、その番組のタイトルやジャンル、番組概要、出演者等の番組内容を示した番組情報が含まれているものとする。
【００２１】
また、制御部２１には、ディスクドライブ部２５が接続されていてもよい。ディスクドライブ部２５は、例えばＢＤ（Blu-ray  Disc）、ＤＶＤ（Digital  Versatile  Disk）等の光ディスク２６を着脱自在とするもので、装着された光ディスク２６に対してデジタルデータの記録再生を行う機能を有している。
【００２２】
制御部２１は、視聴者による操作部２２やリモートコントローラ２３の操作に基づいて、復調復号部１４から得られるデジタルの映像信号及び音声信号を、記録再生処理部２８によって暗号化し所定の記録フォーマットに変換した後、ディスクドライブ部２５に供給して光ディスク２６に記録させるように制御することができる。
【００２３】
また、制御部２１には、ＨＤＤ（Hard  Disk  Drive）２７が接続されている。ＨＤＤ２７は、外付け装置としての形態を取っても構わない。制御部２１は、視聴者から操作部２２やリモートコントローラ２３を介して、録画対象の番組が指定されると、復調復号部１４から得られるこの番組の映像信号及び音声信号（以下、番組データという）を、記録再生処理部２８によって暗号化し所定の記録フォーマットに変換した後、ＨＤＤ２７に供給して記録させることで番組の録画を行う。
【００２４】
また、制御部２１は、視聴者による操作部２２やリモートコントローラ２３の操作に基づいて、ＨＤＤ２７に録画された番組の番組データ又はディスクドライブ部２５により光ディスク２６からデジタルの映像信号及び音声信号を読み出させ、記録再生処理部２８によって復号化した後、信号処理部１５に供給することによって、上記した映像表示及び音声再生に供させるように制御する。
【００２５】
また、制御部２１には、通信部２９が接続されている。通信部２９は、インターネット等のネットワークＮに接続可能な通信インタフェースである。制御部２１は、通信部２９を介して、ネットワークＮに接続された外部装置（図示せず）との間で各種情報の送受信を行う。
【００２６】
次に、上述した画像処理部１５１に含まれる機能の一部の構成について説明する。図２は、画像処理部１５１の機能の一部の構成を示す図である。図２に示されるように、画像処理部１５１は、デジタルの映像信号の画像処理にかかる機能部として、選択・合成部２０１と、第１の外挿画像処理部２０２と、第２の外挿画像処理部２０３と、を備える。
【００２７】
本実施形態では、動画像データのフレーム単位（以下、入力画像データとも称する）での処理について説明するが、処理対象となる画像データを動画像データに制限するものではなく、静止画像データなど、ユーザが視認できる映像に関する（画像）データであればよい。
【００２８】
図３は、従来のテレビジョン装置の表示部３００に表示される、動画像データのフレームの例を示した図である。図３に示す例では、表示領域３０２に対して、動画像データ表示サイズ３０１が小さいため、利用者は臨場感が少ないなどの感想を持つことが考えられる。
【００２９】
一方、放送波の映像など規定された画像サイズ（画素数）に対して、表示部のサイズ（画素数）が大きい場合に、画像を拡大して表示すると画像が粗くなってしまう。
【００３０】
そこで、本実施形態にかかる画像処理部１５１は、表示部の表示サイズと、動画像データの間を外挿する外挿画像データを生成し、当該動画像データに生成した外挿画像データを合成することとした。
【００３１】
ところで、人間の目においては、「中心視」と「周辺視」という２種類の見え方が存在する。中心視は、水平視野が±１５度の範囲であり、網膜の中心部を用いた見方であり、観察対象の色や形を高い精度で認識する。これに対して、周辺視は、水平視野が±５０度の（場合によっては１００度）の範囲であり、網膜の周辺部を用いた漠然とした見方である。周辺視では、視覚情報による座標系誘導効果が生じ、臨場感を引き起こすことができる。周辺視では、細かい情報を得ることはできないが、補助的な情報として認識することで臨場感を向上させることができる。つまりは、動画像データに対して関連する画像の補助情報を、当該動画像データの周囲に外挿することで、臨場感を得ることができる。
【００３２】
であるならば、放送波等の動画像データの表示サイズ（解像度）に対して、表示部の表示サイズ（解像度）が大きい場合、当該動画像データに基づく補助情報を外挿することで、画像が広がる（視野角が広がる）と視聴者が認識し、臨場感を高めることができると考えられる。
【００３３】
また、人間の認知として色順応がある。色順応とは、周辺の明るさや色によって画像の認知する色や明るさが変化することをいう。色の恒常性を確保するために、例えば、赤っぽい環境（夕焼けの中など）では赤っぽい色を白く認識する。他の例としては、明るい環境では、同じ明るさでも暗い環境に比べて暗く感じることになる。
【００３４】
また、動画像データに含まれている各フレーム（入力画像データ）は、外部の環境に合わせて、既に画質が調整されており、これにより、本来見せたい色や明るさを知覚させている。そこで、本実施形態にかかる第１の外挿画像生成部２１２及び第２の外挿画像生成部２５２は、第１の外挿画像データ及び第２の外挿画像データに対して、周辺視に対応する表示領域を、入力画像データと同系色（明るさも同程度）になるよう調整する。これにより、外挿画像データを、外部の環境に合わせることができる。これにより、本来見せたい色や明るさを、外部の環境に影響されず、利用者に知覚させることができる。
【００３５】
本実施形態にかかる画像処理部１５１は、複数の外挿画像データ（第１の外挿画像データ、第２の外挿画像データ）を生成することとした。具体的には、第１の外挿画像生成部２１２が生成する、入力画像データとの境界部分となる第１の外挿画像データは、中心視に近いため、精緻な処理手法で生成されている。精緻な処理手法で生成することで、入力画像データに隣接する第１の外挿画像データとして、入力画像データとの間の接続性を向上させることができる。
【００３６】
一方、このような精緻な処理手法で、入力画像データと離れた領域の画像データを生成すると、実際に表示されるべき情報との違いが大きくなり、外挿される画像データとしての精度が低く、違和感が大きくなる。そこで、後述する第２の外挿画像生成部２５２は、第１の外挿画像生成部２１２と比べて、画素勾配の滑らかさを表す平滑度を高くすることが考えられる。その方法の1つとして縮小、拡大率を大きくして（ｙ＞ｘ）、広範囲を覆う滑らかな第２の外挿画像データを生成することもできる。また、他の方法として平滑化フィルタ（平均化フィルタやガウシアンフィルタ）のタップ（処理をかける範囲）を大きくすることもできる。
【００３７】
このように、本実施形態においては、動画像データの表示サイズと、表示部３０の表示サイズと、を外挿する画像データを生成する際に、内側（第１の外挿画像生成部２１２）と外側（第２の外挿画像生成部２５２）との処理手法を異ならせることとした。換言すれば、中心視近傍と考えられる動画像データに隣接する領域については、精緻な外挿画像データを生成することで、入力画像データとの接続性を保持し、動画像データに隣接していない領域については、周辺視に対応した広範囲に覆う滑らかな画像データを生成することとした。
【００３８】
図４は、本実施形態にかかる画像処理部１５１が外挿する外挿画像データの表示領域を説明した図である。図４に示す例では、画像データ３０１に隣接する第１の外挿画像データの表示領域４０１と、画像データ３０１に隣接しない第２の外挿画像データの表示領域４０２と、を示している。本実施形態にかかる画像処理部１５１は、内側の第１の外挿画像データを詳細に生成し、外側の第２の外挿画像データを滑らかに生成することで、臨場感を図ることを可能としている。図４に示す様に、外側の第２の外挿画像データは、内側の第１の外挿画像データと比べてより広範囲の画像となる。図２に戻り、各構成について説明する。
【００３９】
第１の外挿画像処理部２０２は、１／ｘ倍スケーラ部２１１と、第１の外挿画像生成部２１２と、ｘ倍スケーラ部２１３と、を備える。第１の外挿画像処理部２０２は、主に図４の表示領域４０１を外挿するための第１の外挿画像データを生成する。第１の外挿画像データは、入力画像データに隣接する画像データであり、入力画像データとの間の境界に違和感が生じないように、精緻な画像データとして生成される。
【００４０】
１／ｘ倍スケーラ部２１１は、入力された入力画像データに対して、１／ｘを乗算し、１／ｘ倍の縮小入力画像データを生成する。なお、ｘは１以上の定数とする。
【００４１】
第１の外挿画像生成部２１２は、画面内利用外挿画像生成部２２１と、動画フレーム利用外挿画像生成部２２２と、第１の動画フレームバッファ２２３と、外挿画像ベース生成部２２４と、を備え、１／ｘ倍の縮小入力画像データから、入力画像データに隣接する領域に付与するための第１の外挿画像データを生成する。
【００４２】
外挿画像ベース生成部２２４は、第１の外挿画像データと表示サイズに一致する画像データを生成する。図５は、外挿画像ベース生成部２２４の構成を示したブロック図である。図５に示す様に、外挿画像ベース生成部２２４は、類似ベース色生成部５０１と、シンメトリ画像生成部５０２と、拡大画像生成部５０３と、外端画素値取得部５０４と、を備えている。
【００４３】
類似ベース色生成部５０１は、入力された入力画像データ内の最頻値を抽出し、抽出された最頻値をベース色とした画像データを生成する。
【００４４】
シンメトリ画像生成部５０２は、入力画像データと第１の外挿画像データとの間の境界線に対して、線対称の画像データを生成する。また、シンメトリ画像生成部５０２が生成する画像データは、等倍のシンメトリに制限するものではなく、拡大してもよい。
【００４５】
拡大画像生成部５０３は、入力画像データを拡大して、第１の外挿画像データの生成に利用する画像データを生成する。
【００４６】
外端画素値取得部５０４は、入力画像データの端部の画素値を取得し、境界線の法線方向に延長することで画像を生成する。
【００４７】
外挿画像ベース生成部２２４は、類似ベース色生成部５０１、シンメトリ画像生成部５０２、拡大画像生成部５０３、及び外端画素値取得部５０４で生成された画像データを合成する。
【００４８】
例えば、入力画像データにおいて、極端に色ヒストグラムに偏りがある場合、類似ベース色生成部５０１が生成した画像データを利用する比率、選択頻度を上げる。
【００４９】
また、シンメトリ画像生成部５０２が生成する画像データは、入力画像データとの連続性があるが、動きが反転する。このため、外挿画像ベース生成部２２４は、入力画像データ（動画像データ）のフレーム間の動きを考慮して、シンメトリ画像生成部５０２が生成する画像データを合成に用いる。
【００５０】
また、拡大画像生成部５０３が生成する画像データの動きは、入力画像データに追従するが、入力画像データと接続性が悪い。そこで、外挿画像ベース生成部２２４は、入力画像データ（動画像データ）のフレーム間の動きが所定の閾値以上ある場合に、拡大画像生成部５０３が生成する画像データの合成比率を高め、所定の閾値より小さい場合に、シンメトリ画像生成部５０２が生成する画像データの合成比率を高めてもよい。
【００５１】
他の態様としては、十分平滑化処理を行った場合、シンメトリの動きの違和感が軽減される。このため、シンメトリ画像生成部５０２が生成した画像データについて、周辺部１／８程度を拡大して十分に平滑化処理した後、第１の外挿画像データの合成比率を他の画像データより高めて用いる等が考えられる。
【００５２】
外端画素値取得部５０４で生成された画像データを、第１の外挿画像データの端部を埋めることに用いた場合も、動画等の違和感は少ない。特徴が少ない場合に、外挿ベース生成部２２４の出力として用いることも考えられる。
【００５３】
画面内利用外挿画像生成部２２１は、入力画像データを利用して、第１の外挿画像データの生成に用いる画像データを生成する。
【００５４】
図６は、画面内利用外挿画像生成部２２１による処理手順を示したフローチャートである。
【００５５】
また、図７は、画面内利用外挿画像生成部２２１により生成される画像データを説明した図である。図７に示す例は、表示部３０の表示領域７５２を、画像データ７５１を利用して外挿する際、画面内利用外挿画像生成部２２１により当該画像データ７５１の境界近傍の画像データの生成を説明している。
【００５６】
図６に戻り、まず、画面内利用外挿画像生成部２２１は、算出対象となる端部の初期位置を設定する（ステップＳ６０１）。
【００５７】
そして、画面内利用外挿画像生成部２２１は、算出対象となる端部のブロック（図７の基準ブロック７０１）のエッジ強度を算出する（ステップＳ６０２）。そして、画面内利用外挿画像生成部２２１は、算出されたエッジ強度が、予め定められた強度閾値より大きいか否かを判定する（ステップＳ６０３）。強度閾値以下と判定した場合（ステップＳ６０３：Ｎｏ）、当該端部を利用できないものと見なし、別の端部に移動した後（ステップＳ６０６）、ステップＳ６０２から処理を行う。
【００５８】
一方、画面内利用外挿画像生成部２２１が、予め定められた強度閾値より大きいと判定した場合（ステップＳ６０３：Ｙｅｓ）、入力画像データおいて、当該端部のブロックを基準に予め定められ探索範囲内の各ブロックについて、当該端部のブロックとの間のマッチングスコア（類似度）を算出する（ステップＳ６０４）。
【００５９】
そして、画面内利用外挿画像生成部２２１は、ブロック毎に算出されたマッチングスコアのうち、最も高いマッチングスコアが、スコア閾値より高いか否かを判定する（ステップＳ６０５）。スコア閾値以下の場合（ステップＳ６０５：Ｎｏ）、当該端部を利用できないものと見なし、別の端部に移動した後（ステップＳ６０６）、ステップＳ６０２から処理を行う。
【００６０】
一方、画面内利用外挿画像生成部２２１が、マッチングスコアがスコア閾値より大きいと判定した場合（ステップＳ６０５：Ｙｅｓ）、最も高いマッチングスコアのブロック（図７の対応ブロック７０２）と、当該ブロックに隣接するブロック（対応ブロック７０２に隣接する対応隣接ブロック７０３）を外挿画像データの生成に利用する（ステップＳ６０７）。つまり、画面内利用外挿画像生成部２２１は、端部のブロック（図７の基準ブロック７０１）が対応ブロック７０２に類似する以上、端部接続ブロック７０４も対応隣接ブロック７０３に類似するものとして、端部接続ブロック７０４の画像データを生成する。その後、別の端部に移動して（ステップＳ６０６）、ステップＳ６０２から処理を行う。
【００６１】
このように処理が繰り返されることで、端部に隣接するブロックの画像データが生成される。
【００６２】
図２に戻り、第１の動画フレームバッファ２２３は、入力画像データを一時記憶するバッファとする。そして、動画フレーム利用外挿画像生成部２２２が、第１の動画フレームバッファ２２３から入力画像データを読み出して、処理を行う。
【００６３】
動画フレーム利用外挿画像生成部２２２は、出力画像データの生成に用いる入力画像データより以前に入力され、第１の動画フレームバッファ２２３に蓄積されていた前入力画像データを用いて、外挿画像データに利用される画像データを生成する。
【００６４】
図８は、動画フレーム利用外挿画像生成部２２２の処理を説明した図である。図８は、入力画像データの画像領域８５１と、表示部３０の表示サイズ８５２とが示されている。図８に示す例では、入力画像データより時系列的に前のフレームである前入力画像データ（以下、第１の前入力画像データと称す）については省略する。さらに、図８に示す例では、入力画像データと、前入力画像データ（以下、第１の前入力画像データと称す）との差が１フレームとする。
【００６５】
この場合に、動画フレーム利用外挿画像生成部２２２は、入力画像データの端部のブロック毎に以下に示す処理を行う。すなわち、動画フレーム利用外挿画像生成部２２２は、入力画像データの当該端部のブロック（例えば基準ブロック８０１）の位置座標に対応する、第１の前入力画像データの位置座標を基準に、予め定められた検索範囲内の各ブロックについて、入力画像データの端部のブロックとの間のマッチングスコア（類似度）を算出する。そして、動画フレーム利用外挿画像生成部２２２は、マッチングスコアが閾値より高く、外挿画像データに利用可能な隣接ブロックが存在するブロックが存在するか否かを判定する。動画フレーム利用外挿画像生成部２２２は、当該ブロックが存在すると判定した場合に、当該ブロックの隣接ブロックの画像データを、第１の外挿画像データに利用される画像データに含める。例えば、入力画像データの端部の基準ブロック８０１に最も類似する、第１の前画像データのブロックが、対応ブロック８０２の場合に、動画フレーム利用外挿画像生成部２２２は、対応ブロック８０２に隣接する対応隣接ブロック８０３の画像に基づいて、入力画像データの端部の基準ブロック８０１に隣接する端部隣接ブロック８０４の画像を生成する。
【００６６】
第１の外挿画像生成部２１２は、動画フレーム利用外挿画像生成部２２２、第１の動画フレームバッファ２２３、及び外挿画像ベース生成部２２４により生成された各々の画像データを、アルゴリズム間の異なる画像を空間的・時間的に選択合成して、第１の外挿画像データを生成する。なお、選択合成手法は、実施の態様に応じて定められるものする。例えば、入力画像データの端部からの距離によって、合成に用いる画像データの比率を変える等が考えられる。さらには、動画像データの態様に応じて、選択合成比率を変更する等が考えられる。
【００６７】
本実施形態では、第１の外挿画像生成部２１２が第１の外挿画像データを生成する際、動画フレーム利用外挿画像生成部２２２が生成した画像データ、画面内利用外挿画像生成部２２１が生成した画像データ、外挿画像ベース生成部２２４が生成した画像データの順に高い比率で（優先的に用いて）合成する。
【００６８】
また、動画フレーム利用外挿画像生成部２２２が用いる、第１の動画フレームバッファ２２３に記憶されている入力画像データと合成の対象である入力画像データとの時系列の時間差が大きくなるほど、第１の動画フレームバッファ２２３に記憶されている入力画像データを外側の処理に用いる。そして、外側の処理になるにつれて、１／ｙ倍スケーラ部２５１の縮小率を大きくするよう制御する。
【００６９】
さらには、第１の外挿画像生成部２１２が第１の外挿画像データを生成する際、外挿画像ベース生成部２２４により生成された画像データに対して、画面内利用外挿画像生成部２２１で生成された画像データ、及び動画フレーム利用外挿画像生成部２２２で生成された画像データについて、信頼度が高い場合に限り、合成する態様をとっても良い。
【００７０】
ｘ倍スケーラ部２１３は、第１の外挿画像生成部２１２により生成された第１の外挿画像データをｘ倍に拡大する。
【００７１】
第２の外挿画像処理部２０３は、１／ｙ倍スケーラ部２５１と、第１の外挿画像生成部２５２と、ｙ倍スケーラ部２５３と、を備える。第２の外挿画像処理部２０３は、主に図４の表示領域４０２を外挿するための第２の外挿画像データを生成する。第２の外挿画像データは、入力画像データに隣接せず、第１の外挿画像データと隣接する画像データであり、第１の外挿画像データと比べて処理負担が少ない画像データとして生成される。
【００７２】
１／ｙ倍スケーラ部２５１は、入力された入力画像データに対して、１／ｙを乗算し、１／ｙ倍の縮小入力画像データを生成する。なお、ｙは１以上の定数とする。また、ｙは、ｘより大きい数値とする。これにより、第２の外挿画像データは、第１の外挿画像データよりも引き延ばされることになり、第１の外挿画像データよりも広範囲に覆う滑らかな画像となる。一方、第１の外挿画像データは、第２の外挿画像データと比べて、細かい情報が残っている画像となる。
【００７３】
第２の外挿画像生成部２５２は、画面内利用外挿画像生成部２６１と、動画フレーム利用外挿画像生成部２６２と、第２の動画フレームバッファ２６３と、外挿画像ベース生成部２６４と、を備え、入力画像データに付与する第２の外挿画像データを生成する。
【００７４】
第２の外挿画像生成部２５２の画面内利用外挿画像生成部２６１、動画フレーム利用外挿画像生成部２６２、第２の動画フレームバッファ２６３、及び外挿画像ベース生成部２６４が行う処理は、第１の外挿画像生成部２１２の画面内利用外挿画像生成部２２１、動画フレーム利用外挿画像生成部２２２、第１の動画フレームバッファ２２３、及び外挿画像ベース生成部２２４とほぼ同様とする。しかしながら、ｙ＞ｘのため、より広い範囲を埋めることができる。
【００７５】
ただし、第２の動画フレームバッファ２６３には、第２の動画フレームバッファ２６３よりも前の時間の入力画像データが格納されているものとする。そして、動画フレーム利用外挿画像生成部２６２は、動画フレーム利用外挿画像生成部２２２よりも前の時間に入力された入力画像データを用いて、外挿画像データに利用される画像データを生成する。
【００７６】
動画フレーム利用外挿画像生成部２６２は、第２の動画フレームバッファ２６３に格納された複数の入力画像データをブレンディングして、外挿画像データに利用される画像データを生成してもよい。この場合に、第２の動画フレームバッファ２６３に格納された複数の入力画像データの違いに応じて、ブレンドの比率を変えても良い。例えば、複数の入力画像データの違いが大きいほど、複数の入力画像データのうち、時系列的に以前の入力画像データの比率を大きくし、外挿画像データの動きを遅くさせる。内側の第１の外挿画像データについても同様の処理を行っても良いが、外側の表示領域の方が、入力画像データとの違和感を生じやすいので、比率を大きくする傾向にある。
【００７７】
図９は、動画フレーム利用外挿画像生成部２６２の処理を説明した図である。図９は、入力画像データの画像領域９５１と、表示部３０の表示サイズ９５２とが示されている。図９に示す例では、入力画像データより時系列的に前のフレームである前入力画像データ（以下、第２の前入力画像データと称す）については省略する。さらに、図９に示す例では、入力画像データと、前入力画像データ（以下、第２の前入力画像データと称す）との差が２フレームとする。
【００７８】
処理自体は、図８で示した例と同様とする。ただし、図９で示した例では、フレームの差の違いから、入力画像データの端部の基準ブロック９０１に最も類似する、第１の前画像データのブロックが、対応ブロック９０２となる。換言すれば、基準ブロック９０１に類似するブロック９０２は、図８に示す例と比べて、より内側に存在している。この場合に、動画フレーム利用外挿画像生成部２６２は、対応ブロック９０２に隣接する対応隣接ブロック９０３の画像に基づいて、入力画像データの端部の基準ブロック９０１に隣接する端部隣接ブロック９０４の画像を生成する。
【００７９】
また、第２の外挿画像生成部２５２は、第１の外挿画像生成部２１２と比べて、周辺視に対応する領域の画像データを生成するために、細かさよりも、入力画像データとの明るさと色とを同期させることを主眼として選択合成する。また、周辺視は、動きの感受性高い。このため、第２の外挿画像生成部２５２は、動きが入力画像データと同調するように、第２の外挿画像データを生成する。
【００８０】
ｙ倍スケーラ部２５３は、第２の外挿画像生成部２５２により生成された第２の外挿画像データをｙ倍に拡大する。
【００８１】
選択・合成部２０１は、入力画像データに対して、第１の外挿画像データと第２の外挿画像データとを合成し、表示サイズが拡大された出力画像データを生成する。選択・合成部２０１は、合成する際に、内側（図４の表示領域４０１）について第１の外挿画像データの合成の比率を高め、外側（例えば図４の表示領域４０２）について第２の外挿画像データの合成の比率を高める。
【００８２】
また、選択・合成部２０１は、表示領域４０１と表示領域４０２との間の境界あたりについて、違和感が生じないように、内側から外側にかけて、第１の外挿画像データの比率を徐々に減少させ、第２の外挿画像データの比率を徐々に増加するように合成する。
【００８３】
なお、本実施形態では、２種類の外挿画像データを生成する例について説明するが、２種類の外挿画像データを生成する例に制限するものではなく、３種類以上の外挿画像データを生成しても良い。
【００８４】
図１０は、選択・合成部２０１により合成された出力画像データの例を示した図である。図１０に示す例では、表示領域１００１内が、入力画像データとする。そして、表示領域１００２内では、第１の外挿画像データを主に用いて、表示領域１００３内では、第２の外挿画像データを主に用いて、生成されている。
【００８５】
なお、表示領域１００２と、表示領域１００３との境界は、内側から外側にかけて、第１の外挿画像データの比率を徐々に低め、第２の外挿画像データの比率を徐々に高めるように合成されている。
【００８６】
表示領域１００２では、第１の外挿画像データの生成手法として、上述した生成手法を用いたことで、入力画像データとの連続性を保持しつつ、精緻な表現がなされている。
一方、表示領域１００３では、第２の外挿画像データの生成手法として、上述した生成手法を用いたことで、周辺視に対応した広範囲に覆う滑らかな表示が可能となり、周辺視を用いた臨場感の向上を実現できる。
【００８７】
次に、本実施の形態にかかる画像処理部１５１における、全体的な処理について説明する。図１１は、本実施の形態にかかる画像処理部１５１における上述した処理の手順を示すフローチャートである。
【００８８】
まず、画像処理部１５１は、入力画像データを入力処理する（ステップＳ１１０１）。次に、第１の外挿画像処理部２０２が、内側用の第１の外挿画像データを生成する（ステップＳ１１０２）。一方で、第２の外挿画像処理部２０３が、外側用の第２の外挿画像データを生成する（ステップＳ１１０３）。なお、細かい処理手順は上述したため、説明を省略する。
【００８９】
そして、選択・合成部２０１が、入力画像データ、第１の外挿画像データ、及び第２の外挿画像データを選択・合成して、出力画像データを生成する（ステップＳ１１０４）。これにより、図１０に示す様な画像データが生成される。その後、選択・合成部２０１が、出力画像データを出力処理する（ステップＳ１１０４）。
【００９０】
上述した実施形態は、画像データの表示領域と、表示部の表示領域との間の外挿する態様を制限するものではなく、他の態様でもよい。図１２は、画像処理部１５１の外挿の他の態様の例を示した図である。図１２に示す例は、画像データの表示領域１２０１と、表示部の表示領域１２０２との間を外挿する例とする。画像処理部１５１の第１の外挿画像処理部２０２が、領域１２１１を外挿する第１の外挿画像データを生成し、第２の外挿画像処理部２０３が、領域１２１２を外挿する第２の外挿画像データを生成する。このようにＬ字型の領域の外挿も可能である。
【００９１】
他の態様にも適用しても良い。例えば、動画データの表示サイズが３対４で、表示部の表示領域が１６対９の場合に、画像処理部１５１が、この間の領域を外挿する外挿画像データを生成することが考えられる。図１３に示す例は、３対４の表示領域１３０１と、１６対９の表示領域１３０２との間を外挿する例とする。画像処理部１５１の第１の外挿画像処理部２０２が、領域１３１１＿１、１３１１＿２を外挿する第１の外挿画像データを生成し、第２の外挿画像処理部２０３が、領域１３１２＿１、１３１２＿２を外挿する第２の外挿画像データを生成する。
【００９２】
本実施形態にかかる選択・合成部２０１は、第１の外挿画像データ及び第２の外挿画像データを合成する際に、中央付近の合成比率を大きくし、境界に近づくにつれて合成率を下げていくことで、境界領域の違和感を抑えることができる。さらには、選択・合成部２０１は、複数のアルゴリズムが接する場合など空間的な平滑化フィルタを用いることもできる。また、入力画像データから距離が離れるに従って、平滑化フィルタの強度をあげてもよい。
【００９３】
上述した実施形態にかかる画像処理部１５１は、表示部３０の表示領域と、入力画像データの表示領域との間を、内側用の第１の外挿画像データと外側用の第２の外挿画像データとを組み合わせて、外挿することで、連続性を保持しつつ、入力画像データとの間の境界近傍を精緻に描写し、周辺視に対応した広範囲に覆う滑らかな描写することが可能となる。これにより、周辺視による臨場感の向上を図ることができる。
【００９４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９５】
１００…テレビジョン装置、１５１…画像処理部、２０１…選択・合成部、２０２…第１の外挿画像処理部、２０３…第２の外挿画像処理部、２１１…１／ｘ倍スケーラ部、２１２…第１の外挿画像生成部、２１３…ｘ倍スケーラ部、２２１…画面内利用外挿画像生成部、２２２…動画フレーム利用外挿画像生成部、２２３…第１の動画フレームバッファ、２２４…外挿画像ベース生成部、２５１…１／ｙ倍スケーラ部、２５２…第２の外挿画像生成部、２５３…ｙ倍スケーラ部、２６１…画面内利用外挿画像生成部、２６２…動画フレーム利用外挿画像生成部、２６３…第２の動画フレームバッファ、２６４…外挿画像ベース生成部、５０１…類似ベース色生成部、５０２…シンメトリ画像生成部、５０３…拡大画像生成部、５０４…外端画素値取得部。
【図１】
2014093694.tif 000003
【図２】
2014093694.tif 000004
【図５】
2014093694.tif 000005
【図６】
2014093694.tif 000006
【図８】
2014093694.tif 000007
【図９】
2014093694.tif 000008
【図１１】
2014093694.tif 000009
【図１２】
2014093694.tif 000010
【図１３】
2014093694.tif 000011
【図３】
2014093694.tif 000012
【図４】
2014093694.tif 000013
【図７】
2014093694.tif 000014
【図１０】
2014093694.tif 000015