(57)【要約】【課題】利便性と視認性の両立を図る。【解決手段】実施形態の画像処理装置は、生成手段と、重畳手段と、を備える。生成手段は、入力画像データに対して、当該入力画像データの表示領域より外側の領域であり且つ当該入力画像データの表示領域に隣接している拡大領域に、入力画像データを外挿するために生成された外挿画像データが合成され、入力画像データより表示領域が拡大された拡大画像データを生成する。重畳手段は、拡大画像データの外挿画像データが合成された表示領域に対して、外挿画像データより面積が小さい小画像データを重畳する。【選択図】図２
2014154944.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データに対して、当該入力画像データの表示領域より外側の領域であり且つ当該入力画像データの表示領域に隣接している拡大領域に、当該入力画像データを外挿するために生成された外挿画像データが合成され、当該入力画像データより表示領域が拡大された拡大画像データを生成する生成手段と、
前記拡大画像データの前記外挿画像データが合成された表示領域に対して、前記外挿画像データより面積が小さい小画像データを重畳する重畳手段と、
を備える画像処理装置。
【請求項２】
前記重畳手段により前記小画像データが重畳された前記拡大画像データを出力する出力手段と、
前記出力手段により出力された前記拡大画像データに含まれている前記小画像データの選択を受け付ける選択受付手段と、
をさらに備える請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記選択受付手段により前記小画像データの選択を受け付けた際、前記小画像データと対応付けられた第２の入力画像データが所定の解像度より小さい場合に、当該第２の入力画像データに対して、当該第２の入力画像データの表示領域より外側の領域であり且つ当該第２の入力画像データの表示領域に隣接している拡大領域に、当該第２の入力画像データを外挿するために生成された第２の外挿画像データが合成され、当該第２の入力画像データより前記表示領域が拡大された第２の拡大画像データを生成し、
前記重畳手段は、前記第２の拡大画像データの前記第２の外挿画像データが合成された前記表示領域に対して、前記第２の外挿画像データより面積が小さい第２の小画像データを重畳する、
請求項２に記載の画像処理装置。
【請求項４】
前記出力手段は、前記選択受付手段により前記小画像データの選択を受け付けた際、前記小画像データと対応付けられた第２の入力画像データが所定の解像度以上の場合に、表示部の表示領域全体に前記第２の入力画像データが表示されるように出力する、
請求項３に記載の画像処理装置。
【請求項５】
前記生成手段は、前記入力画像データに基づいて当該入力画像データより画素の勾配が滑らかに生成された前記外挿画像データが、前記入力画像データに合成され、前記拡大画像データを生成する、
請求項１乃至４のいずれか一つに記載の画像処理装置。
【請求項６】
前記重畳手段は、前記拡大画像データの前記外挿画像データが合成された表示領域に対して、前記小画像データの重畳を行うか否かを切替可能とし、
前記生成手段は、前記入力画像データに対して、前記小画像データを重畳する場合に、前記小画像データを重畳しない場合と比べて画素の勾配が滑らかに生成された前記外挿画像データが、前記入力画像データに合成され、前記拡大画像データを生成する、
請求項５に記載の画像処理装置。
【請求項７】
前記重畳手段は、前記拡大画像データの前記外挿画像データが合成された表示領域に対して、前記外挿画像データより面積が小さい前記小画像データを重畳する際に、前記小画像データの周辺の輝度を低くする、前記小画像データの周辺の一部が陰影を模した輝度低下を行う、又は前記小画像データの少なくとも一部を半透明とする、
請求項１乃至６のいずれか一つに記載の画像処理装置。
【請求項８】
前記選択受付手段は、前記画像処理装置が備えるタッチパネルを介して、前記小画像データの選択を受け付ける、
請求項２に記載の画像処理装置。
【請求項９】
入力画像データに対して、当該入力画像データの表示領域より外側の領域であり且つ当該入力画像データの表示領域に隣接している拡大領域に、当該入力画像データを外挿するために生成された外挿画像データが合成され、当該入力画像データより表示領域が拡大された拡大画像データを生成する生成ステップと、
前記拡大画像データの前記外挿画像データが合成された表示領域に対して、前記外挿画像データより面積が小さい小画像データを重畳する重畳ステップと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、及び画像処理方法に関する。
【背景技術】
【０００２】
従来から、テレビジョン表示装置は、様々なフォーマットや様々な表示サイズの画像データの表示に対応する傾向にある。
【０００３】
テレビジョン表示装置が有する表示部の解像度と比べて、画像データの表示サイズが小さい場合には、表示部に画像データを表示する際に、画像データの周囲に、黒枠などのブランク領域を表示することが多かった。
【０００４】
しかしながら、黒枠等のブランク領域を利用する技術として、当該領域にメニュー項目を表示する技術が提案されている。これにより、ユーザの利便性を向上させることができる。
【０００５】
一方、表示装置用の照明で周辺環境光を再現することにより、臨場感を増加させる技術が提案されているが、細かい画像表示は難しいため、周辺にメニュー表示をすることは難しい。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２１８２１号公報
【特許文献２】特表２０１０−５１１９８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来技術においては、メニュー表示が難しい場合の他、仮に黒枠等のブランク領域にメニュー等の情報を表示しても、ユーザはブランク領域に視線がいき、中央の画像データの閲覧に集中できなくなる傾向にある。
【０００８】
本発明は、上記に鑑みてなされたものであって、利便性と視認性の両立を図る画像処理装置、及び画像処理方法を提案する。
【課題を解決するための手段】
【０００９】
実施形態の画像処理装置は、生成手段と、重畳手段と、を備える。生成手段は、入力画像データに対して、当該入力画像データの表示領域より外側の領域であり且つ当該入力画像データの表示領域に隣接している拡大領域に、入力画像データを外挿するために生成された外挿画像データが合成され、入力画像データより表示領域が拡大された拡大画像データを生成する。重畳手段は、拡大画像データの外挿画像データが合成された表示領域に対して、外挿画像データより面積が小さい小画像データを重畳する。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施形態にかかるテレビジョン表示装置の構成例を示す図である。
【図２】図２は、実施形態にかかる画像処理部の機能の一部の構成を示す図である。
【図３】図３は、従来のテレビジョン表示装置の表示部に表示される、動画像データのフレームの例を示した図である。
【図４】図４は、実施形態にかかる画像処理部が外挿する外挿画像データの表示領域を説明した図である。
【図５】図５は、実施形態にかかる外挿画像ベース生成部の構成を示したブロック図である。
【図６】図６は、実施形態にかかる画面内利用外挿画像生成部による処理手順を示したフローチャートである。
【図７】図７は、実施形態にかかる画面内利用外挿画像生成部により生成される画像データを説明した図である。
【図８】図８は、実施形態にかかる選択・合成部により合成された合成画像データの例を示した図である。
【図９】図９は、合成画像データに対して、メニュー項目画像データ、関連項目画像データ、関連コンテンツサムネイルを重畳した後の出力画像データの例を示した図である。
【図１０】図１０は、実施形態にかかる画像処理部における、全体的な処理の手順を示すフローチャートである。
【図１１】図１１は、変形例１にかかるテレビジョン表示装置における、画面切替処理の手順を示すフローチャートである。
【図１２】図１２は、変形例２における、外挿画像データを合成した後の合成画像データに対して、項目画像データ群を重畳するとともに、当該項目画像データ群の各々の周辺の輝度を下げる処理を行った出力画像データの例を示した図である。
【図１３】図１３は、変形例２における、外挿画像データを合成した後の合成画像データに対して、項目画像データ群を重畳するとともに、項目画像データ群の各々が影を落としたように見える画像処理を行った出力画像データの例を示した図である。
【図１４】図１４は、変形例２における、入力画像データの周囲を円形状に装飾する外挿画像データを合成した後の合成画像データに対して、項目画像データ群を重畳した出力画像データの例を示した図である。
【図１５】図１５は、タッチパネル操作端末において関連コンテンツの選択を受け付ける際の第１の操作例を示した図である。
【図１６】図１６は、タッチパネル操作端末において関連コンテンツの選択を受け付ける際の第２の操作例を示した図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、この発明にかかる画像処理装置、及び画像処理方法の実施形態について詳細に説明する。なお、本実施形態では、この発明にかかる画像処理装置、及び画像処理方法をテレビジョン表示装置に適用した例について説明するが、このテレビジョン表示装置に制限するものではない。
【００１２】
図１は、本実施形態にかかるテレビジョン表示装置１００の構成例を示す図である。同図に示すように、テレビジョン表示装置１００は、アンテナ１１で受信した放送信号を、入力端子１２を介してチューナ部１３に供給することにより、所望のチャンネルの放送信号を選局することが可能になっている。
【００１３】
テレビジョン表示装置１００は、チューナ部１３で選局された放送信号を、復調復号部１４に供給してデジタル映像信号及びデジタル音声信号等に復元した後、信号処理部１５に出力する。
【００１４】
信号処理部１５は、復調復号部１４から供給されたデジタル映像信号に所定の画像処理を施す画像処理部１５１と、復調復号部１４から供給されたデジタル音声信号に所定の音声処理を施す音声処理部１５２とを有する。
【００１５】
ここで、画像処理部１５１は、復調復号部１４から供給されたデジタル映像信号に対し高画質化のための所定の画像処理を施し、画像処理後のデジタル映像信号を合成処理部１６に出力する。また、音声処理部１５２は、処理を施したデジタル音声信号を音声変換部１７に出力する。なお、画像処理部１５１の詳細な構成については後述する。
【００１６】
合成処理部１６は、信号処理部１５（画像処理部１５１）から供給されたデジタル映像信号に、ＯＳＤ（On  Screen  Display）信号生成部１８で生成される字幕、ＧＵＩ（Graphical  User  Interface）、ＯＳＤ等の重畳用映像信号であるＯＳＤ信号を重畳して出力する。
【００１７】
テレビジョン表示装置１００は、合成処理部１６から出力されたデジタル映像信号を、映像変換部１９に供給する。映像変換部１９は、入力されたデジタル映像信号を、後段の、表示部３０で表示可能なフォーマットのアナログ映像信号に変換している。テレビジョン表示装置１００は、映像変換部１９から出力されたアナログ映像信号を、表示部３０に供給して映像表示に供する。表示部３０は、ＬＣＤ（Liquid  Crystal  Display）等の表示デバイスを有し、映像変換部１９から出力されたアナログ映像信号を表示する。
【００１８】
音声変換部１７は、信号処理部１５（音声処理部１５２）から供給されたデジタル音声信号を、後段のスピーカ２０で再生可能なフォーマットのアナログ音声信号に変換している。そして、この音声変換部１７から出力されたアナログ音声信号が、スピーカ２０に供給されることにより音声再生に供される。
【００１９】
ここで、テレビジョン表示装置１００は、上記した各種の受信動作を含むその全ての動作を制御部２１によって統括的に制御している。この制御部２１は、ＣＰＵ（Central  Processing  Unit）１１１、ＣＰＵ１１１が実行するプログラムを格納したＲＯＭ（Read  Only  Memory）１１２、ＣＰＵ１１１に作業エリアを提供するためのＲＡＭ（Random  Access  Memory）１１３を有しており、ＣＰＵ１１１と各種プログラムとの協働により各部の動作を統括的に制御する。
【００２０】
例えば、制御部２１は、プログラムを読み出すことで、選択受付部１６１を実現する。選択受付部１６１は、テレビジョン表示装置１００の本体に設置された操作部２２からの操作情報を受け付ける、又はリモートコントローラ２３から送出され受信部２４で受信した操作情報を受け付ける。そして、制御部２１は、その操作内容が反映されるように各部を制御する。
【００２１】
また、制御部２１は、復調復号部１４で復元された信号からＥＰＧ（Electronic  Program  Guide）等の電子番組ガイドを取得し、視聴者による操作部２２やリモートコントローラ２３の操作に応じて、当該電子番組ガイドをＯＳＤ信号生成部１８や映像変換部１９に供給することで放送中又は放送予定の番組表を視聴者に提供する。ここで、電子番組ガイドには、現在放送中及び将来放送予定の各番組について、当該番組を識別する番組ＩＤ（例えば、放送局及び放送時刻等）の他、その番組のタイトルやジャンル、番組概要、出演者等の番組内容を示した番組情報が含まれているものとする。
【００２２】
また、制御部２１には、ディスクドライブ部２５が接続されていてもよい。ディスクドライブ部２５は、例えばＢＤ（Blu-ray  Disc）、ＤＶＤ（Digital  Versatile  Disk）等の光ディスク２６を着脱自在とするもので、装着された光ディスク２６に対してデジタルデータの記録再生を行う機能を有している。
【００２３】
制御部２１は、視聴者による操作部２２やリモートコントローラ２３の操作に基づいて、復調復号部１４から得られるデジタル映像信号及びデジタル音声信号を、記録再生処理部２８によって暗号化し所定の記録フォーマットに変換した後、ディスクドライブ部２５に供給して光ディスク２６に記録させるように制御することができる。
【００２４】
また、制御部２１には、ＨＤＤ（Hard  Disk  Drive）２７が接続されている。ＨＤＤ２７は、外付け装置としての形態を取っても構わない。制御部２１は、視聴者から操作部２２やリモートコントローラ２３を介して、録画対象の番組が指定されると、復調復号部１４から得られるこの番組の映像信号及び音声信号（以下、番組データという）を、記録再生処理部２８によって暗号化し所定の記録フォーマットに変換した後、ＨＤＤ２７に供給して記録させることで番組の録画を行う。
【００２５】
また、制御部２１は、視聴者による操作部２２やリモートコントローラ２３の操作に基づいて、ＨＤＤ２７に録画された番組の番組データ又はディスクドライブ部２５により光ディスク２６からデジタル映像信号及びデジタル音声信号を読み出させ、記録再生処理部２８によって復号化した後、信号処理部１５に供給することによって、上記した映像表示及び音声再生に供させるように制御する。
【００２６】
また、制御部２１には、通信部２９が接続されている。通信部２９は、インターネット等のネットワークＮに接続可能な通信インタフェースである。制御部２１は、通信部２９を介して、ネットワークＮに接続された外部装置（図示せず）との間で各種情報の送受信を行う。
【００２７】
次に、上述した画像処理部１５１に含まれる機能の一部の構成について説明する。図２は、画像処理部１５１の機能の一部の構成を示す図である。図２に示されるように、画像処理部１５１は、デジタル映像信号の画像処理にかかる機能部として、選択・合成部２０１と、第１の外挿画像処理部２０２と、第２の外挿画像処理部２０３と、項目画像処理部２０４と、重畳部２０５と、出力部２０６とを備える。
【００２８】
本実施形態では、動画像データのフレーム単位（以下、入力画像データとも称する）での処理について説明するが、処理対象となる画像データを動画像データに制限するものではなく、静止画像データなど、ユーザが視認できる映像に関する（画像）データであればよい。
【００２９】
図３は、従来のテレビジョン表示装置の表示部３００に表示される、動画像データのフレームの例を示した図である。図３に示す例では、表示部３００の表示可能な最大領域と比べて、動画像データが表示される表示領域３０１のサイズが小さい。そこで、表示領域３０１内の動画像データを、表示部３００が表示可能な最大サイズまで拡大すると、当該動画像データが粗くなってしまう。また、動画像データを拡大した上で、メニューなどの画面を重畳すると、動画像データの一部が見えにくくなる。
【００３０】
しかしながら、動画像データを拡大しない場合、表示領域３０２には何も表示されないことになる。そこで、当該動画像データ以外の画像データを表示すれば、表示領域３０２を有効利用することができる。
【００３１】
しかしながら、表示領域３０２に他の画像データを表示すると、表示領域３０１に表示される主となる動画像データを集中して視聴することが難しくなる。
【００３２】
そこで、本実施形態にかかるテレビジョン表示装置１００では、表示領域３０２の背景として、表示領域３０１に表示される動画像データに関連する外挿画像データを生成し、当該外挿画像データを表示領域３０１内の動画像データと合成した。その上で、テレビジョン表示装置１００は、表示領域３０２の部分に、他の画像データを重畳する。重畳した後の出力画像データを表示することで、表示領域３０１の周囲に、表示領域３０１内の動画像データと関連している背景画像が表示されるため、ユーザは主となる動画像データを集中して視聴することが容易となるとともに、他の画像データ（例えばメニューや関連コンテンツのサムネイル等）を参照可能なため利便性を向上させることができる。
【００３３】
ところで、人間の目においては、「中心視」と「周辺視」という２種類の見え方が存在する。中心視は、水平視野が±１５度の範囲であり、網膜の中心部を用いた見方であり、観察対象の色や形を高い精度で認識する。これに対して、周辺視は、水平視野が±５０度の（場合によっては１００度）の範囲であり、網膜の周辺部を用いた漠然とした見方である。周辺視では、視覚情報による座標系誘導効果が生じ、臨場感を引き起こすことができる。周辺視では、細かい情報を得ることはできないが、補助的な情報として認識することで臨場感を向上させることができる。つまりは、動画像データの周囲に、この動画像データを補助する画像（周辺視で、視覚情報による座標系誘導効果が生じ、臨場感を引き起こすことができる画像）として、例えば動画像データに関連する（基づく）画像を外挿することで、臨場感を得ることができる。
【００３４】
であるならば、放送波等の動画像データの表示サイズ（解像度、画素数）に対して、表示部の表示サイズ（解像度、画素数）が大きい場合、当該動画像データの周囲に、当該動画像データを補助する画像として、当該動画像データに基づく（関連する）補助する画像情報を外挿することで、画像が広がる（視野角が広がる）と視聴者が認識し、臨場感を高めることができると考えられる。
【００３５】
つまり、本実施形態にかかるテレビジョン表示装置１００では、表示領域３０１の周囲の表示領域３０２に、表示領域３０１内の動画像データに関連する映像を表示した場合に、表示部３００全体に、表示領域３０１内の動画像データと関連した動画像データが表示されるため、臨場感を向上させることができる。
【００３６】
より詳細には、周辺視のうち水平視野が±３０〜４５度の範囲は安定注視野と称する。この安定注視野においては、頭部運動により無理のない情報受容ができる。このため、安定注視野は、メニューなど能動的にユーザが頭部運動で得たい情報や、操作するための項目を、中央の視野に影響を与えずに提示するのに向いている。
【００３７】
そこで、本実施形態にかかるテレビジョン表示装置１００では、安定注視野に含まれると考えられる表示領域３０２に、ユーザが選択可能なメニューの項目や、ユーザに提供するための情報を表示し、背景に、主となる動画像データに関係のある外像画像データを埋めている。このため、本実施形態にかかるテレビジョン表示装置１００は、メニューの項目や関連する情報を視聴しない時は周辺視によって、臨場感を高めることに寄与し、頭部運動で能動的に意識を向けた時に限り、メニューの項目などの情報を提供することができる。
【００３８】
本実施形態にかかる画像処理部１５１は、表示領域３０２に配置される外挿画像データとして、複数の外挿画像データ（第１の外挿画像データ、第２の外挿画像データ）を組み合わせることとした。具体的には、第１の外挿画像生成部２１２が生成する、入力画像データとの境界部分となる第１の外挿画像データは、中心視に近いため、精緻な処理手法で生成されている。精緻な処理手法で生成することで、入力画像データに隣接する第１の外挿画像データとして、入力画像データとの間の接続性を向上させることができる。
【００３９】
一方、このような精緻な処理手法で、入力画像データと離れた領域の画像データを生成すると、実際に表示されるべき情報との違いが大きくなり、外挿される画像データとしての精度が低く、違和感が大きくなる。そこで、後述する第２の外挿画像生成部２５２は、第１の外挿画像生成部２１２と比べて、画素勾配の滑らかさを表す平滑度を高くすることが考えられる。その方法の１つとして縮小、拡大率を大きくして（ｙ＞ｘ）、広範囲を覆う滑らかな第２の外挿画像データを生成することもできる。また、他の方法として平滑化フィルタ（平均化フィルタやガウシアンフィルタ）のタップ（処理をかける範囲）を大きくすることもできる。
【００４０】
このように、本実施形態においては、動画像データの表示サイズと、表示部３０の表示サイズと、を外挿する画像データを生成する際に、内側（第１の外挿画像生成部２１２）と外側（第２の外挿画像生成部２５２）との処理手法を異ならせることとした。換言すれば、中心視近傍と考えられる動画像データに隣接する領域については、精緻な外挿画像データを生成することで、入力画像データとの接続性を保持し、動画像データに隣接していない領域については、周辺視に対応した広範囲を覆う滑らかな画像データを生成することとした。
【００４１】
なお、本実施形態は、複数の外挿画像データを生成する例について説明するが、複数の外挿画像データを生成する場合に制限するものではなく、表示領域３０２に対して１つの外挿画像データを生成してもよい。さらには、表示領域３０２に対して３つ以上の外挿画像データを生成しても良い。
【００４２】
さらに、本実施形態は、画像データの表示領域と、表示部３０の表示領域との間の外挿する態様を制限するものではない。例えば外挿画像データが、Ｌ字型でも良い。他の例としては、動画像データの表示サイズが３対４で、表示部の表示領域が１６対９の場合に、画像処理部１５１が、この間の領域を外挿する外挿画像データを生成してもよい。
【００４３】
図４は、本実施形態にかかる画像処理部１５１が外挿する外挿画像データの表示領域を説明した図である。図４に示す例では、表示領域データ３０１に隣接する第１の外挿画像データの表示領域４０１と、表示領域データ３０１に隣接しない第２の外挿画像データの表示領域４０２と、を示している。本実施形態にかかる画像処理部１５１は、内側の第１の外挿画像データを詳細に生成し、外側の第２の外挿画像データを滑らかに生成することで、臨場感を図ることを可能としている。図４に示す様に、外側の第２の外挿画像データは、内側の第１の外挿画像データと比べてより広範囲の画像となる。図２に戻り、各構成について説明する。
【００４４】
第１の外挿画像処理部２０２は、１／ｘ倍スケーラ部２１１と、第１の外挿画像生成部２１２と、ｘ倍スケーラ部２１３と、を備える。第１の外挿画像処理部２０２は、主に図４の表示領域４０１を外挿するための第１の外挿画像データを生成する。第１の外挿画像データは、入力画像データに隣接する画像データであり、入力画像データとの間の境界に違和感が生じないように、精緻な画像データとして生成される。
【００４５】
１／ｘ倍スケーラ部２１１は、入力された入力画像データに対して、１／ｘを乗算し、１／ｘ倍の縮小入力画像データを生成する。なお、ｘは１以上の定数とする。
【００４６】
第１の外挿画像生成部２１２は、画面内利用外挿画像生成部２２１と、動画フレーム利用外挿画像生成部２２２と、第１の動画フレームバッファ２２３と、外挿画像ベース生成部２２４と、を備え、１／ｘ倍の縮小入力画像データから、入力画像データに隣接する領域に付与するための第１の外挿画像データを生成する。
【００４７】
外挿画像ベース生成部２２４は、第１の外挿画像データと表示サイズに一致する画像データを生成する。図５は、外挿画像ベース生成部２２４の構成を示したブロック図である。図５に示す様に、外挿画像ベース生成部２２４は、類似ベース色生成部５０１と、シンメトリ画像生成部５０２と、拡大画像生成部５０３と、外端画素値取得部５０４と、を備えている。
【００４８】
類似ベース色生成部５０１は、入力された入力画像データ内の最頻値を抽出し、抽出された最頻値をベース色とした画像データを生成する。
【００４９】
シンメトリ画像生成部５０２は、入力画像データと第１の外挿画像データとの間の境界線に対して、線対称の画像データを生成する。また、シンメトリ画像生成部５０２が生成する画像データは、等倍のシンメトリに制限するものではなく、拡大してもよい。
【００５０】
拡大画像生成部５０３は、入力画像データを拡大して、第１の外挿画像データの生成に利用する画像データを生成する。
【００５１】
外端画素値取得部５０４は、入力画像データの端部の画素値を取得し、境界線の法線方向に延長することで画像を生成する。
【００５２】
外挿画像ベース生成部２２４は、類似ベース色生成部５０１、シンメトリ画像生成部５０２、拡大画像生成部５０３、及び外端画素値取得部５０４で生成された画像データを合成する。
【００５３】
例えば、入力画像データにおいて、極端に色ヒストグラムに偏りがある場合、類似ベース色生成部５０１が生成した画像データを利用する比率、選択頻度を上げる。
【００５４】
また、シンメトリ画像生成部５０２が生成する画像データは、入力画像データとの連続性があるが、動きが反転する。このため、外挿画像ベース生成部２２４は、入力画像データ（動画像データ）のフレーム間の動きを考慮して、シンメトリ画像生成部５０２が生成する画像データを合成に用いる。
【００５５】
また、拡大画像生成部５０３が生成する画像データの動きは、入力画像データに追従するが、入力画像データと接続性が悪い。そこで、外挿画像ベース生成部２２４は、入力画像データ（動画像データ）のフレーム間の動きが所定の閾値以上ある場合に、拡大画像生成部５０３が生成する画像データの合成比率を高め、所定の閾値より小さい場合に、シンメトリ画像生成部５０２が生成する画像データの合成比率を高めてもよい。
【００５６】
他の態様としては、十分に平滑化処理を行った場合、シンメトリの動きの違和感が軽減される。このため、シンメトリ画像生成部５０２が生成した画像データについて、周辺部１／８程度を拡大して十分に平滑化処理を行った後、第１の外挿画像データの合成比率を他の画像データより高めて用いる等が考えられる。
【００５７】
外端画素値取得部５０４で生成された画像データを、第１の外挿画像データの端部を埋めることに用いた場合も、動画等の違和感は少ない。特徴が少ない場合に、外挿画像ベース生成部２２４の出力として用いることも考えられる。
【００５８】
画面内利用外挿画像生成部２２１は、入力画像データを利用して、第１の外挿画像データの生成に用いる画像データを生成する。
【００５９】
図６は、画面内利用外挿画像生成部２２１による処理手順を示したフローチャートである。当該フローチャートを用いて処理手順を説明する。
【００６０】
ところで、図７は、画面内利用外挿画像生成部２２１により生成される画像データを説明した図である。図７に示す例は、表示部３０の表示領域７５２を、画像データ７５１を利用して外挿する際、画面内利用外挿画像生成部２２１により当該画像データ７５１の境界近傍の画像データの生成を説明している。
【００６１】
図６に戻り、まず、画面内利用外挿画像生成部２２１は、算出対象となる端部の初期位置を設定する（ステップＳ６０１）。
【００６２】
そして、画面内利用外挿画像生成部２２１は、算出対象となる端部のブロック（図７の基準ブロック７０１）のエッジ強度を算出する（ステップＳ６０２）。そして、画面内利用外挿画像生成部２２１は、算出されたエッジ強度が、予め定められた強度閾値より大きいか否かを判定する（ステップＳ６０３）。強度閾値以下と判定した場合（ステップＳ６０３：Ｎｏ）、当該端部を利用できないものと見なし、別の端部に移動した後（ステップＳ６０６）、ステップＳ６０２から処理を行う。
【００６３】
一方、画面内利用外挿画像生成部２２１が、予め定められた強度閾値より大きいと判定した場合（ステップＳ６０３：Ｙｅｓ）、入力画像データにおいて、当該端部のブロックを基準に予め定められ探索範囲内の各ブロックについて、当該端部のブロックとの間のマッチングスコア（類似度）を算出する（ステップＳ６０４）。
【００６４】
そして、画面内利用外挿画像生成部２２１は、ブロック毎に算出されたマッチングスコアのうち、最も高いマッチングスコアが、スコア閾値より高いか否かを判定する（ステップＳ６０５）。スコア閾値以下の場合（ステップＳ６０５：Ｎｏ）、当該端部を利用できないものと見なし、別の端部に移動した後（ステップＳ６０６）、ステップＳ６０２から処理を行う。
【００６５】
一方、画面内利用外挿画像生成部２２１が、マッチングスコアがスコア閾値より高いと判定した場合（ステップＳ６０５：Ｙｅｓ）、最も高いマッチングスコアのブロック（図７の対応ブロック７０２）と、当該ブロックに隣接するブロック（対応ブロック７０２に隣接する対応隣接ブロック７０３）を外挿画像データの生成に利用する（ステップＳ６０７）。つまり、画面内利用外挿画像生成部２２１は、端部のブロック（図７の基準ブロック７０１）が対応ブロック７０２に類似する以上、端部接続ブロック７０４も対応隣接ブロック７０３に類似するものとして、端部接続ブロック７０４の画像データを生成する。その後、別の端部に移動して（ステップＳ６０６）、ステップＳ６０２から処理を行う。
【００６６】
このように処理が繰り返されることで、端部に隣接するブロックの画像データが生成される。
【００６７】
図２に戻り、第１の動画フレームバッファ２２３は、入力画像データを一時記憶するバッファとする。そして、動画フレーム利用外挿画像生成部２２２が、第１の動画フレームバッファ２２３から入力画像データを読み出して、処理を行う。
【００６８】
動画フレーム利用外挿画像生成部２２２は、出力画像データの生成に用いる入力画像データより以前に入力され、第１の動画フレームバッファ２２３に蓄積されていた前入力画像データを用いて、外挿画像データに利用される画像データを生成する。なお、当該画像データの生成手法は、周知の手法を問わずどのような手法を用いても良い。
【００６９】
第１の外挿画像生成部２１２は、動画フレーム利用外挿画像生成部２２２、第１の動画フレームバッファ２２３、及び外挿画像ベース生成部２２４により生成された各々の画像データを、アルゴリズム間の異なる画像に空間的・時間的に選択合成して、第１の外挿画像データを生成する。なお、選択合成手法は、実施の態様に応じて定められるものする。例えば、入力画像データの端部からの距離によって、合成に用いる画像データの比率を変更する等が考えられる。さらには、動画像データの態様に応じて、選択合成比率を変更する等が考えられる。
【００７０】
本実施形態では、第１の外挿画像生成部２１２が第１の外挿画像データを生成する際、動画フレーム利用外挿画像生成部２２２が生成した画像データ、画面内利用外挿画像生成部２２１が生成した画像データ、外挿画像ベース生成部２２４が生成した画像データの順に高い比率で（優先的に用いて）合成する。
【００７１】
また、動画フレーム利用外挿画像生成部２２２が用いる、第１の動画フレームバッファ２２３に記憶されている前入力画像データと合成の対象である入力画像データとの時系列の時間差が大きくなるほど、第１の動画フレームバッファ２２３に記憶されている前入力画像データを外側の処理に用いる。そして、外側の処理になるにつれて、１／Ｘ倍スケーラ部２１１の縮小率を大きくするよう制御する。
【００７２】
さらには、第１の外挿画像生成部２１２が第１の外挿画像データを生成する際、外挿画像ベース生成部２２４により生成された画像データに対して、画面内利用外挿画像生成部２２１で生成された画像データ、及び動画フレーム利用外挿画像生成部２２２で生成された画像データについて、信頼度が高い場合に限り、合成する態様をとっても良い。
【００７３】
ｘ倍スケーラ部２１３は、第１の外挿画像生成部２１２により生成された第１の外挿画像データをｘ倍に拡大する。そして、拡大された第１の外挿画像データは、選択・合成部２０１に出力される。
【００７４】
第２の外挿画像処理部２０３は、１／ｙ倍スケーラ部２５１と、第２の外挿画像生成部２５２と、ｙ倍スケーラ部２５３と、を備える。第２の外挿画像処理部２０３は、主に図４の表示領域４０２を外挿するための第２の外挿画像データを生成する。第２の外挿画像データは、入力画像データに隣接せず、第１の外挿画像データと隣接する画像データであり、第１の外挿画像データと比べて処理負担が少ない画像データとして生成される。
【００７５】
１／ｙ倍スケーラ部２５１は、入力された入力画像データに対して、１／ｙを乗算し、１／ｙ倍の縮小入力画像データを生成する。なお、ｙは１以上の定数とする。また、ｙは、ｘより大きい数値とする。これにより、第２の外挿画像データは、第１の外挿画像データよりも引き延ばされることになり、第１の外挿画像データよりも広範囲に覆う滑らかな画像となる。一方、第１の外挿画像データは、第２の外挿画像データと比べて、細かい情報が残っている画像となる。
【００７６】
第２の外挿画像生成部２５２は、画面内利用外挿画像生成部２６１と、動画フレーム利用外挿画像生成部２６２と、第２の動画フレームバッファ２６３と、外挿画像ベース生成部２６４と、を備え、入力画像データに付与する第２の外挿画像データを生成する。
【００７７】
第２の外挿画像生成部２５２の画面内利用外挿画像生成部２６１、動画フレーム利用外挿画像生成部２６２、第２の動画フレームバッファ２６３、及び外挿画像ベース生成部２６４が行う処理は、第１の外挿画像生成部２１２の画面内利用外挿画像生成部２２１、動画フレーム利用外挿画像生成部２２２、第１の動画フレームバッファ２２３、及び外挿画像ベース生成部２２４とほぼ同様とする。しかしながら、ｙ＞ｘのため、より広い範囲を埋めることができる。
【００７８】
ただし、第２の動画フレームバッファ２６３には、第１の動画フレームバッファ２２３よりも前の時間の前入力画像データが格納されているものとする。そして、動画フレーム利用外挿画像生成部２６２は、動画フレーム利用外挿画像生成部２２２よりも前の時間に入力された前入力画像データを用いて、第２の外挿画像データに利用される画像データを生成する。
【００７９】
動画フレーム利用外挿画像生成部２６２は、第２の動画フレームバッファ２６３に格納された複数の前入力画像データをブレンディングして、第２の外挿画像データに利用される画像データを生成してもよい。この場合に、第２の動画フレームバッファ２６３に格納された複数の前入力画像データの違いに応じて、ブレンドの比率を変えても良い。例えば、複数の前入力画像データの違いが大きいほど、複数の前入力画像データのうち、時系列的に以前の前入力画像データの比率を大きくし、第２の外挿画像データの動きを遅くさせる。内側の第１の外挿画像データについても同様の処理を行っても良いが、外側の表示領域の方が、前入力画像データとの違和感を生じやすいので、比率を大きくする傾向にある。
【００８０】
また、第２の外挿画像生成部２５２は、第１の外挿画像生成部２１２と比べて、周辺視に対応する領域の画像データを生成するために、細かさよりも、入力画像データとの明るさと色とを同調させることを主眼として選択合成する。また、周辺視は、動きの感受性が高い。このため、第２の外挿画像生成部２５２は、動きが入力画像データと同調するように、第２の外挿画像データを生成する。
【００８１】
ｙ倍スケーラ部２５３は、第２の外挿画像生成部２５２により生成された第２の外挿画像データをｙ倍に拡大する。
【００８２】
このように、本実施形態においては、第１の外挿画像生成部２１２及び第２の外挿画像生成部２５２により、入力画像データに基づいて、入力画像データより画素の勾配が滑らかに生成された第１の外挿画像データ、及び第２の外挿画像データが生成される。
【００８３】
選択・合成部２０１は、入力画像データに対して、第１の外挿画像データと第２の外挿画像データとを合成し、表示サイズが拡大された合成画像データを生成する。選択・合成部２０１は、合成する際に、内側（図４の表示領域４０１）について第１の外挿画像データの合成の比率を高め、外側（例えば図４の表示領域４０２）について第２の外挿画像データの合成の比率を高める。
【００８４】
また、選択・合成部２０１は、表示領域４０１と表示領域４０２との間の境界あたりについて、違和感が生じないように、内側から外側にかけて、第１の外挿画像データの比率を徐々に減少させ、第２の外挿画像データの比率を徐々に増加するように合成する。
【００８５】
なお、本実施形態では、２種類の外挿画像データを生成する例について説明するが、２種類の外挿画像データを生成する例に制限するものではなく、３種類以上の外挿画像データを生成しても良い。
【００８６】
図８は、選択・合成部２０１により合成された合成画像データの例を示した図である。図８に示す例では、表示領域８０１内が、入力画像データとする。そして、表示領域８０２内では、第１の外挿画像データを主に用いて、表示領域８０３内では、第２の外挿画像データを主に用いて、生成されている。
【００８７】
なお、表示領域８０２と、表示領域８０３との境界は、内側から外側にかけて、第１の外挿画像データの比率を徐々に低め、第２の外挿画像データの比率を徐々に高めるように合成されている。
【００８８】
表示領域８０２では、第１の外挿画像データの生成手法として、上述した生成手法を用いたことで、入力画像データとの連続性を保持しつつ、精緻な表現がなされている。一方、表示領域８０３では、第２の外挿画像データの生成手法として、上述した生成手法を用いたことで、周辺視に対応した広範囲に覆う滑らかな表示が可能となり、周辺視を用いた臨場感の向上を実現できる。
【００８９】
また、選択・合成部２０１が、第１の外挿画像データ及び第２の外挿画像データを合成する際に、中央付近の合成比率を大きくし、境界に近づくにつれて合成比率を下げていってもよい。これにより、境界領域の違和感を抑えることができる。さらには、選択・合成部２０１は、複数のアルゴリズムが接する場合など空間的な平滑化フィルタを用いることもできる。また、入力画像データから距離が離れるに従って、平滑化フィルタの強度をあげてもよい。
【００９０】
項目画像処理部２０４は、関連項目生成部２７１と、関連コンテンツサムネイル生成部２７２と、メニュー項目生成部２７３と、を備えている。
【００９１】
関連項目生成部２７１は、関連情報を表示するための項目が示された関連項目画像データを生成する。関連項目とは、入力画像データに関連する情報を提供するために、ユーザが選択可能な項目とする。そして、関連項目画像データは、入力される関連データに基づいて生成される。
【００９２】
関連コンテンツサムネイル生成部２７２は、入力画像データに関連する関連コンテンツが示された関連コンテンツサムネイルを生成する。関連コンテンツとは、入力画像データに関連するコンテンツとする。関連コンテンツサムネイルを生成するための情報は、入力される関連データに含まれている。
【００９３】
メニュー項目生成部２７３は、テレビジョン表示装置１００が実行可能なメニュー項目が示されたメニュー項目画像データを生成する。なお、本実施形態はメニュー項目画像データを生成する例について説明するが、ＨＤＤ２７等に予め記憶しておいても良い。
【００９４】
重畳部２０５は、合成画像データのうち、第２の外挿画像データが合成された表示領域に対して、当該第２の外挿画像データより面積が小さい、関連項目画像データ、関連コンテンツサムネイル、及びメニュー項目画像データを重畳する。
【００９５】
なお、本実施形態にかかるテレビジョン表示装置１００が表示する画像情報は、関連項目画像データ、関連コンテンツサムネイル、及びメニュー項目画像データとしたがこれらに制限するものではなく、他の情報でも良い。他の情報としては、例えば、主となる動画像データのチャプター情報でもよいし、気象情報やニュース等でもよい。また、画像情報は、絵に制限するものではなく、文字列等でもよい。
【００９６】
図９は、図８に示す合成画像データに対して、メニュー項目画像データ、関連項目画像データ、関連コンテンツサムネイルを重畳した後の出力画像データの例を示した図である。
【００９７】
図９に示すように、出力画像データのうち、表示領域８０３の外側（換言すると、第２の外挿画像データが合成された領域）に、項目画像データ群が重畳されている。
【００９８】
項目画像データ群のうち、第１関連項目画像データ９０１、第２関連項目画像データ９０２、第３関連項目画像データ９０３は、関連情報を表示するためのボタンを表した画像とする。そして、選択受付部１６１が、これら画像データのうちいずれか一つの選択を受け付けた場合に、テレビジョン表示装置１００は、当該関連情報を表示する。なお、関連情報は、テレビジョン表示装置１００に予め記憶されていても良いし、ネットワークＮを介して受信しても良い。
【００９９】
項目画像データ群のうち、第１関連コンテンツサムネイル９１１、第２関連コンテンツサムネイル９１２、第３関連コンテンツサムネイル９１３は、入力画像データとして表示されているコンテンツに関連しているコンテンツのサムネイルとする。そして、選択受付部１６１が、これらサムネイルうちいずれか一つの選択を受け付けた場合に、テレビジョン表示装置１００は、選択されたサムネイルで示される関連コンテンツを表示する。なお、関連コンテンツは、テレビジョン表示装置１００に予め記憶されていても良いし、ネットワークを介して受信しても良い。
【０１００】
本実施形態にかかるテレビジョン表示装置１００では、関連コンテンツの表示を行う場合、当該関連コンテンツを入力画像データとして、当該入力画像データの周囲のために外挿画像データを生成し、（関連コンテンツによる）入力画像データと外挿画像データとを合成してから表示する。しかしながら、このような手法に制限するものではなく、関連コンテンツを全画面表示しても良い。
【０１０１】
項目画像データ群のうち、第１メニュー項目画像データ９２１、第２メニュー項目画像データ９２２、第３メニュー項目画像データ９２３は、テレビジョン表示装置１００を操作するためのボタンを表した画像とする。そして、選択受付部１６１が、これら画像データのうち、いずれか一つの選択を受け付けた場合に、テレビジョン表示装置１００は、選択された項目画像データと対応づけられている制御を行う。
【０１０２】
出力部２０６は、重畳部２０５により項目画像データ群が重畳された後の出力画像データを、合成処理部１６、映像変換部１９を介して、表示部３０に出力する。これにより図９で示した画面が表示される。
【０１０３】
本実施形態にかかるテレビジョン表示装置１００では、上述した手法で外挿画像データを生成することで、表示部３０の表示領域と、入力画像データが表示される領域との間のブランク域を周辺視に対応した広範囲に覆う滑らかな画像が表示される。これにより、ユーザは、臨場感を高める入力画像データに集中することができる一方、能動的に意識を向けた場合に限り、様々な情報や操作を提供できる。
【０１０４】
また、本実施形態にかかるテレビジョン表示装置１００では、第２の外挿画像データを生成する際に、メニューの視認性をあげるために細かい画像を少なくし、輝度勾配を滑らかにする平滑化を行うこととする。
【０１０５】
次に、本実施形態にかかる画像処理部１５１における、全体的な処理について説明する。図１０は、本実施形態にかかる画像処理部１５１における上述した処理の手順を示すフローチャートである。
【０１０６】
まず、画像処理部１５１は、入力画像データを入力処理する（ステップＳ１００１）。次に、第１の外挿画像処理部２０２が、内側用の第１の外挿画像データを生成する（ステップＳ１００２）。一方で、第２の外挿画像処理部２０３が、外側用の第２の外挿画像データを生成する（ステップＳ１００３）。なお、細かい処理手順は上述したため、説明を省略する。
【０１０７】
項目画像処理部２０４は、重畳するための項目画像データ群（関連項目画像データ、関連コンテンツサムネイル、及び（操作を行うための）メニュー項目画像データ）を生成する（ステップＳ１００４）。
【０１０８】
そして、選択・合成部２０１が、入力画像データ、第１の外挿画像データ、及び第２の外挿画像データを選択・合成して、合成画像データを生成する（ステップＳ１００５）。
【０１０９】
次に、重畳部２０５が、合成画像データのうち、第２の外挿画像データが合成された領域に、項目画像データ群（関連項目画像データ、関連コンテンツサムネイル、及びメニュー項目画像データ）を重畳する（ステップＳ１００６）。これにより図９に示すような画像データが生成される。
【０１１０】
その後、出力部２０６が、出力画像データを出力処理する（ステップＳ１００７）。
【０１１１】
（変形例１）
上述した実施形態では、関連コンテンツが選択された場合に、関連コンテンツを入力画像データとして、周囲のブランク域に外挿画像データを配置する例について説明した。しかしながら、上述した実施形態は、関連コンテンツの選択を受け付けた場合に、外挿画像データを配置することに制限するものではない。例えば、関連コンテンツが、テレビジョン表示装置１００で全画面表示可能な解像度を有するか否かに応じて、表示態様を異ならせても良い。そこで、変形例１では、関連コンテンツの解像度に応じて表示態様を異ならせる例について説明する。なお、変形例にかかるテレビジョン表示装置１００の構成は、上述した実施形態と同様として説明を省略する。
【０１１２】
次に、変形例１にかかるテレビジョン表示装置１００における、画面切替処理について説明する。図１１は、変形例１にかかるテレビジョン表示装置１００における上述した処理の手順を示すフローチャートである。図１１に示すフローチャートでは、図９に示す画面例が既に表示されているものとする。
【０１１３】
まず、選択受付部１６１が、リモートコントローラ２３を介して、関連コンテンツサムネイル（第１関連コンテンツサムネイル９１１、第２関連コンテンツサムネイル９１２、又は第３関連コンテンツサムネイル９１３）の選択を受け付ける（ステップＳ１１０１）。
【０１１４】
次に、テレビジョン表示装置１００のチューナ部１３又は通信部２９が、選択を受け付けたサムネイルに対応している関連コンテンツを受信する（ステップＳ１１０２）。
【０１１５】
そして、制御部２１が、受信した関連コンテンツが、所定の解像度（例えば1080i、又は720p）以上であるか否かを判定する（ステップＳ１１０３）。
【０１１６】
そして、制御部２１が、所定の解像度（例えば1080i、又は720p）以上であると判定した場合（ステップＳ１１０３：Ｙｅｓ）、画像処理部１５１が、受信した関連コンテンツを全画面表示する（ステップＳ１１０４）。
【０１１７】
そして、制御部２１が、所定の解像度（例えば1080i、又は720p）より小さいと判定した場合（ステップＳ１１０３：Ｎｏ）、画像処理部１５１が、上述した実施形態と同様に、関連コンテンツを入力画像データとした上で、当該入力画像データに対して、当該入力画像データの表示領域より外側の領域であり且つ当該入力画像データの表示領域に隣接している拡大領域に、当該入力画像データから生成された外挿画像データを合成した上で、サムネイルや様々な項目を重畳した出力画像データを表示する（ステップＳ１１０５）。
【０１１８】
本変形例では、関連コンテンツの解像度に応じて、画面表示を切り替えることとした。これにより関連コンテンツの解像度が高い場合には全画面表示により臨場感を高める一方、関連コンテンツの解像度が低い場合でも外挿画像データを合成することで臨場感を高めつつ、様々な情報を提示することで利便性を向上させることができる。
【０１１９】
（変形例２）
上述した実施形態では、表示領域８０３の外側（換言すると、第２の外挿画像データが合成された領域）に、項目画像データ群（第１関連項目画像データ９０１、第２関連項目画像データ９０２、第３関連項目画像データ９０３、第１関連コンテンツサムネイル９１１、第２関連コンテンツサムネイル９１２、第３関連コンテンツサムネイル９１３、第１メニュー項目画像データ９２１、第２メニュー項目画像データ９２２、第３メニュー項目画像データ９２３）を重畳する例について説明した。しかしながら、単に重畳することに制限するものではなく、重畳する領域について、視認性を向上させるために画像処理を行っても良い。そこで、変形例２では、重畳部２０５が重畳する際に、項目画像データ群を重畳する領域周辺について画像処理を行う例について説明する。
【０１２０】
図１２は、外挿画像データを合成した後の合成画像データに対して、項目画像データ群（メニュー項目画像データ、関連項目画像データ、関連コンテンツサムネイル）を重畳するとともに、当該項目画像データ群の各々の周辺の輝度を下げる処理を行った出力画像データの例を示した図である。
【０１２１】
図１２に示す例のように、項目画像データ群（メニュー項目画像データ１２２１〜１２２３、関連項目画像データ１２０１〜１２０３、関連コンテンツサムネイル１２１１〜１２１３）の周辺の輝度を下げることで、外挿画像データの境界が明確となり、視認性を向上させることができる。
【０１２２】
また、項目画像データ群の周辺の輝度を下げることに制限するものではない。図１３は、外挿画像データを合成した後の合成画像データに対して、項目画像データ群（メニュー項目画像データ１３２１〜１３２３、関連項目画像データ１３０１〜１３０３、関連コンテンツサムネイル１３１１〜１３１３）を重畳するとともに、当該項目画像データ群の各々が影を落としたように見える画像処理を行った出力画像データの例を示した図である。このように、項目画像データ群の各々の周辺領域について、一方から光源により陰影を模したような輝度低下を行うことで、外挿画像データの境界が明確となり、視認性を向上させることができる。
【０１２３】
図１４は、入力画像データの周囲を円形状に装飾する外挿画像データを合成した後の合成画像データに対して、項目画像データ群（メニュー項目画像データ１４２１〜１４２３、関連項目画像データ１４０１〜１４０３、関連コンテンツサムネイル１４１１〜１４１３）を重畳した出力画像データの例を示した図である。図１４に示す例では、重畳部２０５が生成する項目画像データ群（メニュー項目画像データ１４２１〜１４２３、関連項目画像データ１４０１〜１４０３、関連コンテンツサムネイル１４１１〜１４１３）が重畳された際の位置座標が、画面の中心から遠くになるにつれて背景との混合比が調整されている。つまり、画面の中心に近いほど透明度が高く、画面の周辺になるにつれて透明度が低く調整されている。このように項目画像データ群（メニュー項目画像データ１４２１〜１４２３、関連項目画像データ１４０１〜１４０３、関連コンテンツサムネイル１４１１〜１４１３）の表示領域のうち少なくとも一部を（半）透明とすることで、視認性を維持しつつ、臨場感を向上させることができる。
【０１２４】
なお、図１４に示す例では、外挿画像データも周辺領域になるにつれて、白色に遷移する例を示したが、このような手法に制限するものではなく外挿画像データは上述した実施形態と同様とし、項目画像データ群（メニュー項目画像データ１４２１〜１４２３、関連項目画像データ１４０１〜１４０３、関連コンテンツサムネイル１４１１〜１４１３）について、透明度が画面中心部から遠くなるにつれて混合比が遷移するようにしても良い。
【０１２５】
（変形例３）
上述した実施形態及び変形例では、表示処理装置がテレビジョン表示装置の場合について説明した。しかしながら、表示処理装置をテレビジョン表示装置に制限するものではない。変形例では、携帯可能なタッチパネル操作端末に適用した例について説明する。なお、変形例のタッチパネル操作端末で表示される画面例は、上述した実施形態と同様とする。
【０１２６】
表示処理装置としてタブレット端末のようにタッチパネルによる操作を適用した場合に、タッチパネル特有の操作を行うことができる。図１５は、タッチパネル操作端末において関連コンテンツの選択を受け付ける際の第１の操作例を示した図である。図１５に示す例では、利用者は、タッチパネル上に表示された項目画像データ群（メニュー項目画像データ１５２１〜１５２３、関連項目画像データ１５０１〜１５０３、関連コンテンツサムネイル１５１１〜１５１３）を、直接タッチすることで選択する。
【０１２７】
本変形例では、さらに、ユーザが、関連コンテンツのサムネイルを指（の検出位置１５５２）で引き延ばす操作（ピンチアウト）を行った場合、タッチパネル操作端末の操作受付部は、当該関連コンテンツのサムネイルを拡大させる操作１５５１として受け付ける。そして、操作受付部が、当該サムネイルが所定のサイズ以上まで拡大される操作を受け付けた場合に、タッチパネル操作端末の制御部が、当該サムネイルで示される関連コンテンツを、入力画像データとして処理を開始する。以降の処理については実施形態と同様に、タッチパネル操作端末の画像処理部が、当該入力画像データに基づいて外挿画像データの生成等を行う。
【０１２８】
また、他の操作態様も考えられる。図１６は、タッチパネル操作端末において関連コンテンツの選択を受け付ける際の第２の操作例を示した図である。図１６に示す例では、利用者は、タッチパネル上で、項目画像データ群（メニュー項目画像データ１５２１〜１５２３、関連項目画像データ１５０１〜１５０３、関連コンテンツサムネイル１５１１〜１５１３）のうちいずれか一つを選択して、ドラック（例えば軌跡１６０１）できる。
【０１２９】
そして、ユーザが、ドラッグされた関連コンテンツのサムネイルを、入力画像データの表示領域８０１で離した場合に、タッチパネル操作端末の操作受付部は、当該関連コンテンツを表示させる操作として受け付ける。それ以降、タッチパネル操作端末の制御部が、当該サムネイルで示される関連コンテンツを、入力画像データとして処理を開始する。以降の処理については実施形態と同様に、タッチパネル操作端末の画像処理部が、当該入力画像データに基づいて外挿画像データの生成等を行う。
【０１３０】
本変形例にかかるタッチパネル操作端末では、表示領域に表示された操作項目から、直接操作を行うことができるので、直感的操作を提供できる。これにより操作性を向上させることができる。さらに、視聴距離を腕の長さの制約から固定できるため、特に画面が大きい表示装置の映像データ領域の視野角を広げ周辺視による効果が高められる。
【０１３１】
本変形例では、表示処理装置がタブレット端末のようなタッチパネル操作端末の場合について説明したが、テレビジョン表示装置や、タブレット端末に制限するものではなく、携帯電話端末、スマートフォン、ＰＣなど表示可能な様々な装置に適用可能とする。
【０１３２】
（変形例４）
上述した実施形態及び変形例では、外挿画像データが合成された表示領域に、項目画像データ群（メニュー項目画像データ、関連項目画像データ、関連コンテンツサムネイル）を重畳する例について説明した。しかしながら、外挿画像データが合成された表示領域に、項目画像データ群（メニュー項目画像データ、関連項目画像データ、関連コンテンツサムネイル）を必ず配置することに制限するものではなく、ユーザからの操作に応じて、表示、非表示を切り替えても良い。
【０１３３】
さらに、第１の外挿画像生成部２１２、及び第２の外挿画像生成部２５２は、項目画像データ群（メニュー項目画像データ、関連項目画像データ、関連コンテンツサムネイル）が重畳されるか否かに応じて、生成する外挿画像データを異ならせても良い。
【０１３４】
本変形例にかかる第２の外挿画像生成部２５２は、項目画像データ群（メニュー項目画像データ、関連項目画像データ、関連コンテンツサムネイル）を重畳する場合、項目画像データ群（メニュー項目画像データ、関連項目画像データ、関連コンテンツサムネイル）を重畳しない場合と比べて、画素の勾配が滑らかな第２の外挿画像データを生成する。これにより、項目画像データ群（メニュー項目画像データ、関連項目画像データ、関連コンテンツサムネイル）を重畳する場合に、画素の勾配が滑らかになることで、視認性を向上させることができる。
【０１３５】
上述した実施形態及び変形例においては、上述した画面を表示することで、入力画像データが表示される領域との間のブランク域について、周辺視に対応した広範囲に覆う滑らかな画像を表示している。これにより、ユーザは、臨場感が高まるために、中央の入力画像データに集中できるとともに、能動的に周辺のブランク領域に意識を向けた場合に限り、様々な情報や操作を提供できるため、利便性を向上させることができる。さらには、周辺に配置された操作メニューにより容易に操作を行うことができるため、操作性を向上させることができる。
【０１３６】
本実施形態及び変形例にかかる表示処理装置（テレビジョン表示装置、タブレット端末のようなタッチパネル操作端末等）においては、外挿画像データが合成された領域に、様々な画像データを重畳することとした。これにより入力画像データにメニュー等が重畳されなくなるため、入力画像データの一部が見えにくくなることを抑止できる。
【０１３７】
上述した実施形態にかかる画像処理部１５１は、表示部３０の表示領域と、入力画像データの表示領域との間を、内側用の第１の外挿画像データと外側用の第２の外挿画像データとを組み合わせて、外挿することで、連続性を保持しつつ、入力画像データとの間の境界近傍を精緻に描写し、周辺視に対応した広範囲に覆う滑らかな描写をすることが可能となる。これにより、周辺視による臨場感の向上を図ることができる。
【０１３８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１３９】
１００…テレビジョン表示装置、１５１…画像処理部、１５２…音声処理部、１６１…選択受付部、２０１…選択・合成部、２０２…第１の外挿画像処理部、２０３…第２の外挿画像処理部、２０４…項目画像処理部、２０５…重畳部、２０６…出力部、２１１…１／ｘ倍スケーラ部、２１２…第１の外挿画像生成部、２１３…ｘ倍スケーラ部、２２１…画面内利用外挿画像生成部、２２２…動画フレーム利用外挿画像生成部、２２３…第１の動画フレームバッファ、２２４…外挿画像ベース生成部、２５１…１／ｙ倍スケーラ部、２５２…第２の外挿画像生成部、２５３…ｙ倍スケーラ部、２６１…画面内利用外挿画像生成部、２６２…動画フレーム利用外挿画像生成部、２６３…第２の動画フレームバッファ、２６４…外挿画像ベース生成部、２７１…関連項目生成部、２７２…関連コンテンツサムネイル生成部、２７３…メニュー項目生成部、５０１…類似ベース色生成部、５０２…シンメトリ画像生成部、５０３…拡大画像生成部、５０４…外端画素値取得部。
【図１】
2014154944.tif 000003
【図２】
2014154944.tif 000004
【図５】
2014154944.tif 000005
【図６】
2014154944.tif 000006
【図１０】
2014154944.tif 000007
【図３】
2014154944.tif 000008
【図４】
2014154944.tif 000009
【図７】
2014154944.tif 000010
【図８】
2014154944.tif 000011
【図９】
2014154944.tif 000012
【図１１】
2014154944.tif 000013
【図１２】
2014154944.tif 000014
【図１３】
2014154944.tif 000015
【図１４】
2014154944.tif 000016
【図１５】
2014154944.tif 000017
【図１６】
2014154944.tif 000018