(57)【要約】【課題】画像の特徴に適した広視野画像を生成することができるようにする。【解決手段】中心生成部は、入力画像の特徴に基づいて入力画像をスケーリング処理して画面の中心領域の画像を生成する。周辺生成部は、中心領域の画像を外挿補間して画面の中心領域の周辺の領域である周辺領域の画像を生成する。合成部は、中心領域の画像と周辺領域の画像とを合成し、合成画像を生成する。本開示は、例えば、広視野画像を生成する画像処理装置等に適用することができる。【選択図】図１
2014215604.tif 000002
【特許請求の範囲】
【請求項１】
画像の特徴に基づいて前記画像をスケーリング処理して画面の中心領域の画像を生成する中心生成部と、
前記中心領域の画像を外挿補間して前記画面の前記中心領域の周辺の領域である周辺領域の画像を生成する周辺生成部と、
前記中心生成部により生成された前記中心領域の画像と、前記周辺生成部により生成された前記周辺領域の画像とを合成し、合成画像を生成する合成部と
を備える画像処理装置。
【請求項２】
前記画像内の所定の領域を検出する検出部
をさらに備え、
前記中心生成部は、前記検出部により検出された前記所定の領域を前記合成画像の中心視野内に収めるように、前記画像をスケーリング処理する
請求項１に記載の画像処理装置。
【請求項３】
前記検出部は、前記画像内の字幕またはテロップの領域を検出し、
前記中心生成部は、前記検出部により検出された前記テロップの領域を前記合成画像の中心視野内に収めるように、前記画像をスケーリング処理する
請求項２に記載の画像処理装置。
【請求項４】
前記検出部は、前記画像内の顔の領域を検出し、
前記中心生成部は、前記検出部により検出された前記顔の領域を前記合成画像の中心視野内に収めるように、前記画像をスケーリング処理する
請求項２に記載の画像処理装置。
【請求項５】
前記中心生成部は、前記顔の領域を前記合成画像の中心視野内に収めるように、前記画像をスケーリング処理して前記中心領域の画像を生成し、前記中心領域の画像内の前記顔の領域を前記中心視野内の中心とするように前記中心領域の画像の画面上の位置を決定する
請求項４に記載の画像処理装置。
【請求項６】
前記検出部は、前記画像内の被写体の領域を検出し、
前記中心生成部は、前記検出部により検出された前記被写体の領域を前記合成画像の中心視野内に収めるように、前記画像をスケーリング処理する
請求項２に記載の画像処理装置。
【請求項７】
前記検出部は、前記画像内の人物の領域を検出し、
前記中心生成部は、前記検出部により検出された前記人物の領域を前記合成画像の中心視野内に収めるように、前記画像をスケーリング処理する
請求項２に記載の画像処理装置。
【請求項８】
前記検出部は、前記画像の番組ジャンル情報に基づいて前記画像内の重要度の高い領域を検出し、
前記中心生成部は、前記検出部により検出された前記重要度の高い領域を前記合成画像の中心視野内に収めるように、前記画像をスケーリング処理する
請求項２に記載の画像処理装置。
【請求項９】
前記画像の品質に基づいて前記中心領域を決定する決定部
をさらに備え、
前記中心生成部は、前記画像のサイズが前記決定部により決定された前記中心領域のサイズになるように、前記画像をスケーリング処理する
請求項１に記載の画像処理装置。
【請求項１０】
前記決定部は、前記画像の帯域分布に基づいて前記中心領域を決定する
請求項９に記載の画像処理装置。
【請求項１１】
前記決定部は、前記画像の圧縮歪みの量に基づいて前記中心領域を決定する
請求項９に記載の画像処理装置。
【請求項１２】
前記決定部は、前記画像のノイズ量に基づいて前記中心領域を決定する
請求項９に記載の画像処理装置。
【請求項１３】
前記画像のシーンに応じた前記画像の広角表示に適している度合を表す広角適合度に基づいて前記中心領域を決定する決定部
をさらに備え、
前記中心生成部は、前記画像のサイズが前記決定部により決定された前記中心領域のサイズになるように、前記画像をスケーリング処理する
請求項１に記載の画像処理装置。
【請求項１４】
前記中心生成部は、前記画像がパニング撮影された画像である場合、前記画像の動きベクトルに基づいて前記中心領域の画面上の位置を決定する
請求項１に記載の画像処理装置。
【請求項１５】
前記中心生成部は、前記画像がズームイン撮影された画像である場合、前記画像内の被写体のサイズが時間的に変化しないように、前記画像をスケーリング処理し、
前記周辺生成部は、前記周辺領域の画像の輝度またはボケ量を時間的に変化させる
請求項１に記載の画像処理装置。
【請求項１６】
前記画像の動きベクトルに基づいて前記中心領域を決定する決定部
をさらに備え、
前記中心生成部は、前記画像のサイズが前記決定部により決定された前記中心領域のサイズになるように、前記画像をスケーリング処理する
請求項１に記載の画像処理装置。
【請求項１７】
前記画像の撮影情報に応じた前記画像の広角表示に適している度合を表す広角適合度に基づいて前記中心領域を決定する決定部
をさらに備え、
前記中心生成部は、前記画像のサイズが前記決定部により決定された前記中心領域のサイズになるように、前記画像をスケーリング処理する
請求項１に記載の画像処理装置。
【請求項１８】
前記中心生成部は、前記画像が黒帯を含む場合、前記黒帯が削除された前記画像の特徴に基づいて前記画像をスケーリング処理する
請求項１に記載の画像処理装置。
【請求項１９】
前記中心生成部は、前記画像の被写体の実物のサイズに基づいて、前記中心領域の画像内の前記被写体のサイズが前記実物のサイズとなるように、前記画像をスケーリング処理する
請求項１に記載の画像処理装置。
【請求項２０】
画像処理装置が、
画像の特徴に基づいて前記画像をスケーリング処理して画面の中心領域の画像を生成する中心生成ステップと、
前記中心領域の画像を外挿補間して前記画面の前記中心領域の周辺の領域である周辺領域の画像を生成する周辺生成ステップと、
前記中心生成ステップの処理により生成された前記中心領域の画像と、前記周辺生成ステップの処理により生成された前記周辺領域の画像とを合成し、合成画像を生成する合成ステップと
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および画像処理方法に関し、特に、画像の特徴に適した広視野画像を生成することができるようにした画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、フラットパネルディスプレイは大型化している。視距離が一定である場合、フラットパネルディスプレイが大型になるほど、広視野画像観視により臨場感（没入感）が向上する。なお、本明細書において、臨場感とは、画像が表す世界に実際に居るかのような感覚を指す。
【０００３】
また、近年、4K解像度や8K解像度等の高解像度のディスプレイの実用化が始まろうとしている。ディスプレイの高解像度化は、実物に近い画像表現を実現可能にし、実物感を向上させる。なお、本明細書において、実物感とは、画像が表すものが実際に存在するかのような感覚を指す。
【０００４】
高解像度の大型ディスプレイに画像を表示する場合、表示対象の画像の解像度は、ディスプレイ解像度以下になる場合、例えば、ディスプレイの解像度は4k解像度であるが、表示対象の画像の解像度は2k解像度である場合が多いと考えられる。
【０００５】
この場合、例えば、ディスプレイに搭載されている超解像技術等の線形スケーリング技術を用いて、表示対象の画像の解像度がディスプレイの解像度にアップコンバートされ、広視野画像として表示される。
【０００６】
しかしながら、線形スケーリング技術により画像が画面全体に均一に拡大されると、視聴者の中心視野（弁別視野、有効視野）内の画像が撮影時に意図したものと異なり、視認性（詳細は後述する）が悪い。
【０００７】
そこで、非線形スケーリング技術を用いて、注目すべき被写体である可能性の高い中心部と、それ以外の周辺部とで拡大率が異なるように、画像をアップコンバートすることが考案されている。なお、本明細書において、視認性とは、画像の見やすさや画像の内容の把握しやすさを指す。
【０００８】
非線形スケーリング技術としては、例えば、視距離に応じて画面の中心部と周辺部の拡大率が異なるように決定し、各拡大率で中心部と周辺部をスケーリングする技術がある(例えば、特許文献１参照)。また、画面全体の動きに応じて画面の中心部と周辺部の拡大率が異なるように決定し、各拡大率で中心部と周辺部をスケーリングする技術もある(例えば、特許文献２参照)。
【０００９】
また、視聴者の眼球運動により視線を検出し、視線検出結果に応じて画面の中心部と周辺部の拡大率が異なるように決定し、各拡大率で中心部と周辺部をスケーリングする技術もある（例えば、特許文献３参照）。さらに、Seam Carving技術を活用する技術もある (例えば、非特許文献１参照)。
【００１０】
しかしながら、このような非線形スケーリング技術では、画面の中心部と周辺部で拡大率が異なるため、画像が変形することがある。
【００１１】
そこで、画像を画面の中心領域に配置し、その中心領域の周辺の領域には外挿補間した画像を配置することにより、画像の変形を防止する非線形スケーリング技術が考案されている(例えば、非特許文献２)。
【００１２】
また、画像をリサイズしたり位置をずらしたりして画面の中心領域に配置し、その中心領域の周辺の領域には、放射状に外挿補間した画像を配置することにより、画像の変形を防止する非線形スケーリング技術も考案されている(例えば、特許文献４参照)。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００７−２６４４５６号公報
【特許文献２】特開２００８−２４２０４８号公報
【特許文献３】特開２００８−２３３７６５号公報
【特許文献４】特開２００９−１６２８９９号公報
【非特許文献】
【００１４】
【非特許文献１】“Seam Carving for Content-Aware Image Resizing”,Avidan et al, SIGGRAPH 2007
【非特許文献２】“Multi-scale ultrawide foveated video extrapolation”,A.Adies,T. Avraham, and Y. Schechner. Israel Institute of Technology  In ICCP, 2011
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、非特許文献２や特許文献４の技術では、画像の特徴を考慮して広視野画像を生成することはできなかった。
【００１６】
本開示は、このような状況に鑑みてなされたものであり、画像の特徴に適した広視野画像を生成することができるようにするものである。
【課題を解決するための手段】
【００１７】
本開示の一側面の画像処理装置は、画像の特徴に基づいて前記画像をスケーリング処理して画面の中心領域の画像を生成する中心生成部と、前記中心領域の画像を外挿補間して前記画面の前記中心領域の周辺の領域である周辺領域の画像を生成する周辺生成部と、前記中心生成部により生成された前記中心領域の画像と、前記周辺生成部により生成された前記周辺領域の画像とを合成し、合成画像を生成する合成部とを備える画像処理装置である。
【００１８】
本開示の一側面の画像処理方法は、本開示の一側面の画像処理装置に対応する。
【００１９】
本開示の一側面においては、画像の特徴に基づいて前記画像がスケーリング処理されて画面の中心領域の画像が生成され、前記中心領域の画像が外挿補間されて前記画面の前記中心領域の周辺の領域である周辺領域の画像が生成され、前記中心領域の画像と前記周辺領域の画像とが合成されて合成画像が生成される。
【００２０】
なお、本開示の一側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
【００２１】
また、本開示の一側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００２２】
本開示の一側面によれば、画像の特徴に適した広視野画像を生成することができる。
【図面の簡単な説明】
【００２３】
【図１】本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【図２】図１の解析部の構成例を示すブロック図である。
【図３】画質信号Allを説明する図である。
【図４】図１の決定部の構成例を示すブロック図である。
【図５】画質信号Ｄの例を示す図である。
【図６】画面相対比CentralPartRatioの例を示す図である。
【図７】中心領域を説明する図である。
【図８】図１の中心生成部の構成例を示すブロック図である。
【図９】図１の周辺生成部の構成例を示すブロック図である。
【図１０】外挿補間のホールド方式、ミラー方式、および平行シフト方式を説明する図である。
【図１１】図９の調整部の構成例を示すブロック図である。
【図１２】コントラストゲインCnstGainの例を示す図である。
【図１３】彩度ゲインSgainの例を示す図である。
【図１４】平滑化フィルタのタップ数の例を示す図である。
【図１５】オフセット値DarkOffsetPredとオフセット値DarkOffsetDistの例を示す図である。
【図１６】距離を示す図である。
【図１７】図１の合成部による合成を説明する図である。
【図１８】図１の画像処理装置の画像処理を説明するフローチャートである。
【図１９】本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。
【図２０】図１９の解析部の構成例を示すブロック図である。
【図２１】重要度マップの生成について説明する図である。
【図２２】図１９の決定部の構成例を示すブロック図である。
【図２３】バイナリマップBinSigMap(x,y)の例を示す図である。
【図２４】重要領域の例を示す図である。
【図２５】画像処理装置による効果を説明する図である。
【図２６】画像処理装置による効果を説明する図である。
【図２７】画像処理装置による効果を説明する図である。
【図２８】画像処理装置による効果を説明する図である。
【図２９】図１９の画像処理装置の画像処理を説明するフローチャートである。
【図３０】中心領域の位置の変更の例を示す図である。
【図３１】本開示を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。
【図３２】図３１の解析部の構成例を示すブロック図である。
【図３３】図３１の決定部の構成例を示すブロック図である。
【図３４】画像処理装置による効果を説明する図である。
【図３５】画像処理装置による効果を説明する図である。
【図３６】図３１の画像処理装置の画像処理を説明するフローチャートである。
【図３７】構図に基づくスケール率の設定を説明する図である。
【図３８】構図に基づくスケール率の設定を説明する図である。
【図３９】構図に基づくスケール率の設定を説明する図である。
【図４０】実物サイズに基づく中心領域の決定を説明する図である。
【図４１】実物サイズに基づく中心領域の決定を説明する図である。
【図４２】黒帯を含む画像の画像処理を説明する図である。
【図４３】サイドパネルを含む画像の画像処理を説明する図である。
【図４４】パニング撮影画像の画像処理を説明する図である。
【図４５】ズームイン撮影画像の画像処理を説明する図である。
【図４６】本開示における画像処理と効果を示す図である。
【図４７】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２４】
＜第１実施の形態＞
（画像処理装置の第１実施の形態の構成例）
図１は、本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【００２５】
図１の画像処理装置１０は、解析部１１、決定部１２、中心生成部１３、周辺生成部１４、および合成部１５により構成される。画像処理装置１０は、入力画像の特徴としての画質に基づくサイズの画像を画面の中心領域に配置し、その中心領域の周辺の領域に画像を外挿補間して配置することにより、広視野画像を生成する。
【００２６】
具体的には、画像処理装置１０の解析部１１は、外部から入力される画像である入力画像に関する情報に基づいて入力画像の画質を解析し、画質のレベルを表す画質信号を決定部１２に供給する。
【００２７】
決定部１２は、外部から入力される入力画像の属性を表す属性信号と、解析部１１から供給される画質信号とに基づいて、最終的な画質信号を決定する。決定部１２は、最終的な画質信号に基づいて画面の中心領域を決定し、画面の中心領域を特定する中心領域情報を中心生成部１３と周辺生成部１４に供給する。
【００２８】
中心生成部１３は、入力画像のサイズが、決定部１２から供給される中心領域情報により特定される中心領域のサイズになるように、入力画像をスケーリング処理し、中心領域の画像を生成する。中心生成部１３は、生成された中心領域の画像を合成部１５と周辺生成部１４に供給する。
【００２９】
周辺生成部１４は、決定部１２から供給される中心領域情報に基づいて、その中心領域情報により特定される中心領域の周辺の、中心領域と内側が重なる領域を、周辺領域として決定する。周辺生成部１４は、中心生成部１３から供給される中心領域の画像を外挿補間して周辺領域の画像を生成し、合成部１５に供給する。
【００３０】
合成部１５は、中心生成部１３からの中心領域の画像と周辺生成部１４からの周辺領域の画像を合成し、その結果生成される合成画像を広視野画像として出力する。
【００３１】
（解析部の構成例）
図２は、図１の解析部１１の構成例を示すブロック図である。
【００３２】
図２の解析部１１は、帯域分布計測部３１、ノイズ量計測部３２、圧縮歪み量計測部３３、および推定部３４により構成される。
【００３３】
解析部１１の帯域分布計測部３１は、入力画像のMPEG（Moving Picture Experts Group phase）ストリームのヘッダ情報等に基づいて、入力画像の帯域分布が高域まで伸びているかどうかを判定する。例えば、帯域分布計測部３１は、入力画像が、高域信号が比較的アップコンバートされた画像であるかどうかを判定する。この判定方法の詳細は、例えば、特許第5056242号に記載されている。
【００３４】
なお、帯域分布計測部３１は、フーリエ変換などの周波数変換を行い、係数が高域まで含まれているかどうかを判定することにより、入力画像の帯域分布が高域まで伸びているかどうかを判定するようにしてもよい。帯域分布計測部３１は、判定結果に応じて帯域分布が伸びている高域のレベルを表す精細度信号を生成し、推定部３４に供給する。
【００３５】
ノイズ量計測部３２は、入力画像の撮影時のカメラ情報等に基づいて、入力画像のノイズ量を計測する。ノイズ量の計測方法としては、例えば、特開２００８−２９４６９６号公報や特開２０１２−２３１３８９号公報に記載されている方法を用いることができる。ノイズ量計測部３２は、計測されたノイズ量を表すノイズ量信号を推定部３４に供給する。
【００３６】
圧縮歪み量計測部３３は、入力画像のMPEGストリームのビットレート情報やデコード情報等に基づいて、入力画像に含まれる、コーデックにより高圧縮時に発生した圧縮歪みの量を計測する。圧縮歪みの量の計測方法としては、例えば、“Blind measurement of blocking artifacts in images”,Wang,Zhou,ICIP2000や特許第５０７１７２１号公報に記載されている方法を用いることができる。圧縮歪み量計測部３３は、計測された圧縮歪みの量を表す圧縮歪み量信号を推定部３４に供給する。
【００３７】
推定部３４は、帯域分布計測部３１からの精細度信号、ノイズ量計測部３２からのノイズ量信号、および圧縮歪み量計測部３３からの圧縮歪み量信号に基づいて、画質信号Allを生成し、図１の決定部１２に供給する。
【００３８】
（画質信号Allの説明）
図３は、図２の推定部３４により生成される画質信号Allを説明する図である。
【００３９】
図３Ａに示すように、推定部３４は、精細度信号が大きいほど大きくなるように画質信号Ａ（０＜画質信号Ａ＜１）を生成する。また、推定部３４は、図３Ｂに示すように、ノイズ量信号が大きいほど小さくなるように画質信号Ｂ（０＜画質信号Ｂ＜１）を生成する。さらに、推定部３４は、図３Ｃに示すように、圧縮歪み量信号が大きいほど小さくなるように画質信号Ｃ（０＜画質信号Ｃ＜１）を生成する。
【００４０】
そして、推定部３４は、画質信号Ａ乃至Ｃを用いて、以下の式（１）により、最終的な画質信号Allを生成する。
【００４１】
【数１】
2014215604.tif 000003
【００４２】
なお、式（１）において、ｗ１乃至ｗ３は重み係数であり、ｗ１乃至ｗ３の和は、１である。
【００４３】
以上のようにして画質信号Allが決定されるので、画質信号Allは、高精細度でノイズ量と圧縮歪み量が少ない高画質の画像ほど大きくなる。
【００４４】
（決定部の構成例）
図４は、図１の決定部１２の構成例を示すブロック図である。
【００４５】
図４の決定部１２は、分析部５１、画質決定部５２、および領域決定部５３により構成される。
【００４６】
決定部１２の分析部５１は、外部から属性信号として入力される入力画像の量子化ステップサイズに基づいて、画質信号Ｄを生成する。量子化ステップサイズは、例えば、入力画像のMPEGストリームに含まれる。分析部５１は、生成された画質信号Ｄを画質決定部５２に供給する。
【００４７】
画質決定部５２は、図２の推定部３４から供給される画質信号Allと、分析部５１から供給される画質信号Ｄとに基づいて、以下の式（２）により最終的な画質信号Finalを決定し、領域決定部５３に供給する。
【００４８】
【数２】
2014215604.tif 000004
【００４９】
なお、式（２）において、w_allとw_Dは、重み係数であり、w_allとw_Dの和は１である。
【００５０】
領域決定部５３は、画質決定部５２から供給される画質信号Finalに基づいて、画面の中心を中心とし、縦横比が画面と同一である画面内の領域を中心領域に決定する。領域決定部５３は、画面に対する中心領域の比率である画面相対比CentralPartRatioを、中心領域情報として、図１の中心生成部１３と周辺生成部１４に供給する。
【００５１】
（画質信号Ｄの例）
図５は、図４の分析部５１により生成される画質信号Ｄの例を示す図である。
【００５２】
図５に示すように、分析部５１は、量子化ステップサイズが大きいほど小さくなるように、画質信号Ｄ（０＜画質信号Ｄ＜１）を生成する。
【００５３】
このようにして生成された画質信号Ｄと画質信号Allに基づいて上述した式（２）により画質信号Finalが決定されるので、画質信号Finalは、高精細度でノイズ量と圧縮歪み量が少なく、量子化ステップサイズが小さい高画質の画像ほど大きくなる。
【００５４】
（画面相対比の例）
図６は、図４の領域決定部５３により決定される画面相対比CentralPartRatioの例を示す図である。
【００５５】
図６に示すように、領域決定部５３は、画質信号Finalが大きくなるほど、画面相対比CentralPartRatioが１に近づく、即ち中心領域が画面の全領域になるように、画面相対比CentralPartRatioを決定する。従って、入力画像が高画質の画像である場合、入力画像は広視野画像の画面全体に配置され、入力画像が低画質の画像である場合、入力画像は広視野画像の画面内に小さく配置される。
【００５６】
その結果、入力画像がノイズや圧縮歪みが多い低画質の画像である場合、ノイズや圧縮歪みが目立たない広視野画像が生成される。また、入力画像が、帯域分布が高域まで伸びていない低画質の画像である場合、ボケ感の目立たない広視野画像が生成される。
【００５７】
（中心領域の説明）
図７は、図４の領域決定部５３により決定される中心領域を説明する図である。
【００５８】
図７に示すように、中心領域７２は、画面７１の中心Ｏを中心とし、縦横比が画面７１と同一である画面７１内の領域である。
【００５９】
画面７１の横方向の長さW_dispに対する中心領域７２の横方向の長さW_centerの比率と、画面７１の縦方向の長さH_dispに対する中心領域７２の縦方向の長さH_centerの比率が、画面相対比CentralPartRatioとなる。
【００６０】
（中心生成部の構成例）
図８は、図１の中心生成部１３の構成例を示すブロック図である。
【００６１】
図８の中心生成部１３は、設定部９１とスケーリング部９２により構成される。中心生成部１３の設定部９１は、図４の領域決定部５３から中心領域情報として供給される画面相対比CentralPartRatioに基づいて、以下の式（３）によりスケール率Scaleを設定し、スケーリング部９２に供給する。
【００６２】
【数３】
2014215604.tif 000005
【００６３】
なお、式（３）において、W_disp,H_dispは、それぞれ、画面の横方向（水平方向）のサイズ、縦方向（垂直方向）のサイズである。また、W_in,H_inは、それぞれ、入力画像の水平方向のサイズ、垂直方向のサイズである。
【００６４】
スケーリング部９２は、設定部９１から供給されるスケール率Scaleに基づいて、入力画像のサイズが中心領域のサイズになるように、入力画像をスケーリング処理する。スケール率Scaleが１より大きい場合、スケーリング処理は拡大処理となるが、この拡大処理としては、例えば、バイリニア補間技術、バイキュービック補間技術、ランチョス補間技術、いわゆる超解像技術などを用いることができる。
【００６５】
スケーリング部９２は、スケーリング処理後の画像を中心領域の画像として図１の周辺生成部１４と合成部１５に供給する。
【００６６】
（周辺生成部の構成例）
図９は、図１の周辺生成部１４の構成例を示すブロック図である。
【００６７】
図９の周辺生成部１４は、設定部１１１、外挿部１１２、および調整部１１３により構成される。
【００６８】
周辺生成部１４の設定部１１１は、図４の領域決定部５３から中心領域情報として供給される画面相対比CentralPartRatioに基づいて周辺領域を設定する。そして、設定部１１１は、周辺領域を特定する周辺領域情報を外挿部１１２と調整部１１３に供給する。
【００６９】
外挿部１１２は、設定部１１１から供給される周辺領域情報により特定される周辺領域の画像を、図８のスケーリング部９２から供給される中心領域の画像を用いて外挿補間する。外挿補間の方法としては、非特許文献２に記載されている技術や、ホールド方式、ミラー方式、または平行シフト方式の外挿補間などを用いることができる。また、“Display pixel caching”,Clemens Birklbauer, 他. SIGGRAPH ‘11 ACM SIGGRAPH 2011 Talks Article No. 45に記載されているように、過去や未来のフレームの時間軸情報を用いて外挿補間を行う技術を用いることもできる。
【００７０】
外挿部１１２は、外挿補間により生成された周辺領域の画像を調整部１１３に供給する。また、外挿部１１２は、外挿補間結果の確からしさを示す外挿信頼度を生成する。例えば、外挿部１１２は、外挿補間におけるマッチングの精度を0以上1以下の値で表し、外挿信頼度とする。外挿部１１２は、外挿信頼度を調整部１１３に供給する。
【００７１】
調整部１１３は、外挿部１１２から供給される外挿信頼度に基づいて、周辺領域の画像を調整し、調整後の周辺領域の画像を図１の合成部１５に供給する。
【００７２】
（外挿補間の方式の説明）
図１０は、外挿補間のホールド方式、ミラー方式、および平行シフト方式を説明する図である。
【００７３】
図１０の左側に示すように、外挿部１１２においてホールド方式の外挿補間が行われる場合、周辺領域内の最も内側の画素と隣接する中心領域内の画素の画素値Ｃが、その周辺領域内の最も内側の画素とその画素より外側の画素の画素値とされる。
【００７４】
一方、図１０の中央に示すように、外挿部１１２においてミラー方式の外挿補間が行われる場合、周辺領域内の最も内側の画素と中心領域内の画素の境界を中心として画素値が対称となるように、周辺領域内の画素の画素値が決定される。
【００７５】
図１０の例では、周辺領域内の最も内側の画素と中心領域内の画素の境界から１つ目の中心領域内の画素の画素値が画素値Ｃであるため、その境界から１つ目の周辺領域内の画素の画素値が画素値Ｃに決定されている。同様に、境界から２つ目の中心領域内の画素の画素値が画素値Ｂであるため、その境界から２つ目の周辺領域内の画素の画素値が画素値Ｂに決定されている。
【００７６】
また、図１０の右側に示すように、外挿部１１２において平行シフト方式の外挿補間が行われる場合、周辺領域内の最も内側の画素と中心領域内の画素の境界から所定の範囲の画素の画素値が、周辺領域内の最も外側の画素から最も内側の画素までの画素の画素値に決定される。
【００７７】
図１０の例では、周辺領域内の最も内側の画素と中心領域内の画素の境界から１つ目の中心領域内の画素の画素値が画素値Ｃであるため、周辺領域内の最も外側の画素の画素値は、画素値Ｃに決定されている。同様に、境界から２つ目の中心領域内の画素の画素値が画素値Ｂであるため、周辺領域内の最も外側から２つ目の画素の画素値は、画素値Ｂに決定されている。
【００７８】
（調整部の構成例）
図１１は、図９の調整部１１３の構成例を示すブロック図である。
【００７９】
図１１の調整部１１３は、コントラスト調整部１３１、彩度調整部１３２、精細度調整部１３３、および明るさ調整部１３４により構成される。
【００８０】
調整部１１３のコントラスト調整部１３１は、外挿部１１２から供給される外挿信頼度に基づいて、外挿部１１２から供給される周辺領域の画像のダイナミックレンジを変更し、コントラストを調整する。具体的には、コントラスト調整部１３１は、周辺領域の画像の各画素の輝度成分EYに対して以下の式（４）の演算を行うことにより、コントラスト調整後の周辺領域の画像の各画素の輝度成分LCnst_Yを求める。
【００８１】
【数４】
2014215604.tif 000006
【００８２】
なお、式（４）において、AVE_Yは、周辺領域の画像の輝度成分の平均値であり、CnstGainは、外挿信頼度に基づいて設定されるコントラストゲインである。
【００８３】
コントラスト調整部１３１は、コントラスト調整後の周辺領域の画像の各画素の輝度成分LCnst_Yと、外挿部１１２から供給される周辺領域の画像の各画素の色差成分とからなる画像を、コントラスト調整後の周辺領域の画像として彩度調整部１３２に供給する。
【００８４】
彩度調整部１３２は、外挿信頼度に基づいて、コントラスト調整部１３１から供給される周辺領域の画像の彩度を調整する。具体的には、彩度調整部１３２は、周辺領域の画像の各画素の彩度成分CurSatuに対して、外挿信頼度に基づいて設定される彩度ゲインSgainを乗算することにより、周辺領域の画像の彩度を調整する。彩度調整部１３２は、彩度調整後の周辺領域の画像を精細度調整部１３３に供給する。
【００８５】
精細度調整部１３３は、外挿信頼度に基づいて、彩度調整部１３２から供給される周辺領域の画像の精細度を調整する。具体的には、精細度調整部１３３は、周辺領域の画像に対して、外挿信頼度に基づいて設定されるタップ数の平滑化フィルタ（例えば、ガウシアンフィルタ）を用いたフィルタ処理を行う。精細度調整部１３３は、フィルタ処理後の周辺領域の画像を明るさ調整部１３４に供給する。
【００８６】
明るさ調整部１３４は、外挿信頼度と設定部１１１から供給される周辺領域情報に基づいて、精細度調整部１３３から供給される周辺領域の画像の明るさを調整する。具体的には、明るさ調整部１３４は、周辺領域の画像の各画素の輝度（または明度）成分SmthYに対して以下の式（５）の演算を行うことにより、明るさ調整後の各画素の輝度成分PYを算出する。
【００８７】
【数５】
2014215604.tif 000007
【００８８】
なお、式（５）において、DarkOffsetPredは、外挿信頼度に基づいて設定されるオフセット値である。また、DarkOffsetDistは、周辺領域情報に基づいて設定されるオフセット値である。
【００８９】
明るさ調整部１３４は、明るさ調整後の各画素の輝度成分PYと、精細度調整部１３３から供給される周辺領域の画像の各画素の色差成分とからなる画像を、明るさ調整後の周辺領域の画像として、図１の合成部１５に供給する。
【００９０】
（コントラストゲインの例）
図１２は、コントラストゲインCnstGainの例を示す図である。
【００９１】
図１２に示すように、コントラストゲインCnstGainは、外挿信頼度が大きいほど大きくなるように設定される、０より大きく１以下である値である。従って、外挿信頼度が低い場合、コントラストゲインCnstGainは小さくなり、周辺領域の画像のコントラストが小さくなる。その結果、周辺領域の画像は目立たなくなる。
【００９２】
（彩度ゲインの例）
図１３は、彩度ゲインSgainの例を示す図である。
【００９３】
図１３に示すように、彩度ゲインSgainは、外挿信頼度が大きいほど大きくなるように設定される、０より大きく１以下である値である。従って、外挿信頼度が低い場合、彩度ゲインSgainが小さくなり、周辺領域の画像の彩度が小さくなる。その結果、周辺領域の画像は目立たなくなる。
【００９４】
（平滑化フィルタのタップ数の例）
図１４は、図１１の精細度調整部１３３における平滑化フィルタのタップ数の例を示す図である。
【００９５】
図１４に示すように、平滑化フィルタのタップ数は、外挿信頼度が小さいほど大きくなるように設定される１以上の値である。従って、外挿信頼度が低い場合平滑化フィルタのタップ数が大きくなり、フィルタ処理後の周辺領域の画像のボケ感が強くなる。その結果、周辺領域の画像は目立たなくなる。
【００９６】
（明るさ調整におけるオフセット値の例）
図１５は、図１１の明るさ調整部１３４による明るさ調整におけるオフセット値DarkOffsetPredとオフセット値DarkOffsetDistの例を示す図である。
【００９７】
図１５Ａに示すように、オフセット値DarkOffsetPredは、外挿信頼度が大きいほど小さくなるように設定される。一方、図１５Ｂに示すように、オフセット値DarkOffsetDistは、対応する画素の、周辺領域の内側からの距離ｄが大きいほど大きくなるように設定される。
【００９８】
具体的には、図１６に示すように、画面７１内の周辺領域１５１の内側には、中心領域７２と重複する重複領域１５２が存在する。オフセット値DarkOffsetDistは、対応する画素の、周辺領域１５１の内側、即ち重複領域１５２の内側からの距離ｄが大きいほど大きくなるように設定される。
【００９９】
以上により、外挿信頼度が低い場合、オフセット値DarkOffsetPredが大きくなり、周辺領域の画像が暗くなる。その結果、周辺領域の画像は目立たなくなる。また、距離ｄが大きいほどオフセット値DarkOffsetDistは大きいので、より外側の画素ほど暗くなる。その結果、外挿補間によるアーティファクトを軽減することができる。
【０１００】
（合成の説明）
図１７は、図１の合成部１５による合成を説明する図である。
【０１０１】
合成部１５は、中心生成部１３から供給される中心領域の画像のうちの周辺領域と重複する重複領域以外の領域の画像を、画面内に配置する。また、合成部１５は、周辺生成部１４から供給される周辺領域の画像のうちの、中心領域と重複する重複領域以外の領域の画像を、画面内に配置する。
【０１０２】
さらに、合成部１５は、中心領域の画像のうちの重複領域の画像と、周辺領域の画像のうちの重複領域の画像を、以下の式（６）により画素ごとに合成し、画面内の重複領域に配置する。
【０１０３】
【数６】
2014215604.tif 000008
【０１０４】
なお、式（６）において、Blendは、重複領域の各画素の合成後の画素値である。また、Psigは、周辺領域の画像のうちの重複領域の画像の各画素の画素値であり、Csigは、中心領域の画像のうちの重複領域の画像の各画素の画素値である。
【０１０５】
また、Wp,Wcは、周辺領域の内側から各画素までの水平方向または垂直方向の距離に基づく重み係数であり、重み係数WpとWcの和は１である。具体的には、画素値Blendに対応する画素が、中心領域の左右に存在する重複領域内の画素である場合、重み係数WpおよびWcとしては、水平方向の距離に基づく重み係数が用いられる。一方、画素値Blendに対応する画素が、中心領域の上下に存在する重複領域内の画素である場合、重み係数WpおよびWcとしては、垂直方向の距離に基づく重み係数が用いられる。
【０１０６】
また、例えば、周辺領域の最も内側の水平方向（または垂直方向）の位置を０としたとき、重み係数Wpは、図１７に示すように、対応する画素の水平方向（または垂直方向）の位置が重複領域の最も外側の水平方向（または垂直方向）の位置-dwである場合に１となる。そして、重み係数Wpは、対応する画素の水平方向（または垂直方向）の位置が０に近づくにつれて小さくなり、位置が０である場合０となる。
【０１０７】
一方、重み係数Wcは、図１７に示すように、対応する画素の水平方向（または垂直方向）の位置が位置-dwである場合に０となり、その位置が０に近づくにつれて大きくなり、位置が０である場合１となる。
【０１０８】
合成部１５は、周辺領域と中心領域の重複領域以外の領域の画像と、合成後の重複領域の画像とが配置された画面の画像を、広視野画像として出力する。
【０１０９】
（画像処理装置の処理の説明）
図１８は、図１の画像処理装置１０の画像処理を説明するフローチャートである。
【０１１０】
図１８のステップＳ１１において、画像処理装置１０は、外部から画像が入力されたかどうかを判定する。なお、画像は、フレーム単位で入力されてもよいし、複数のフレーム単位で入力されてもよい。
【０１１１】
ステップＳ１１で外部から画像がまだ入力されていないと判定された場合、外部から画像が入力されるまで待機する。
【０１１２】
ステップＳ１１で外部から画像が入力されたと判定された場合、ステップＳ１２において、画像処理装置１０は、その画像を入力画像として取得する。ステップＳ１３において、決定部１２は、外部から属性信号が入力されたかどうかを判定する。ステップＳ１３で外部から属性信号が入力されたと判定された場合、処理はステップＳ１４に進む。
【０１１３】
ステップＳ１４において、決定部１２の分析部５１（図４）は、外部から属性信号として入力された入力画像の量子化ステップサイズに基づいて、画質信号Ｄを生成する。そして、分析部５１は、生成された画質信号Ｄを画質決定部５２に供給し、処理をステップＳ１５に進める。
【０１１４】
一方、ステップＳ１３で外部から属性信号が入力されていないと判定された場合、分析部５１は、画質信号Ｄを０として画質決定部５２に供給し、処理をステップＳ１５に進める。
【０１１５】
ステップＳ１５において、解析部１１は、入力画像の帯域分布の判定、並びに、ノイズ量および圧縮歪みの量の計測を行い、画質信号Allを生成する画質解析処理を行う。解析部１１は、生成された画質信号Allを決定部１２に供給する。
【０１１６】
ステップＳ１６において、決定部１２は、解析部１１から供給される画質信号Allと分析部５１により生成された画質信号Ｄに基づいて最終的な画質信号Finalを決定し、画面相対比CentralPartRatioを決定する画質に基づく領域決定処理を行う。決定部１２は、決定された画面相対比CentralPartRatioを中心領域情報として、中心生成部１３と周辺生成部１４に供給する。
【０１１７】
ステップＳ１７において、中心生成部１３は、決定部１２からの画面相対比CentralPartRatioに基づいてスケール率Scaleを設定し、スケール率Scaleに基づいて入力画像をスケーリング処理して中心領域の画像を生成する中心領域生成処理を行う。中心生成部１３は、生成された中心領域の画像を周辺生成部１４と合成部１５に供給する。
【０１１８】
ステップＳ１８において、周辺生成部１４は、決定部１２からの画面相対比CentralPartRatioに基づいて周辺領域を決定し、その周辺領域の画像を中心領域の画像を外挿補間することにより生成し、外挿信頼度に基づいて調整する周辺領域生成処理を行う。周辺生成部１４は、調整後の周辺領域の画像を合成部１５に供給する。
【０１１９】
ステップＳ１９において、合成部１５は、中心生成部１３からの中心領域の画像と周辺生成部１４からの周辺領域の画像を合成する合成処理を行う。ステップＳ２０において、合成部１５は、合成処理の結果得られる合成画像を広視野画像として出力する。
【０１２０】
ステップＳ２１において、画像処理装置１０は、画像が新たに入力されたかどうかを判定する。ステップＳ２１で画像が新たに入力されたと判定された場合、処理はステップＳ１２に戻り、画像が新たに入力されなくなるまで、ステップＳ１２乃至Ｓ２１の処理が繰り返される。
【０１２１】
一方、ステップＳ２１で画像が新たに入力されていないと判定された場合、処理は終了する。
【０１２２】
以上のように、画像処理装置１０は、画質信号に基づいて入力画像をスケーリング処理して中心領域の画像を生成し、入力画像を外挿補間して周辺領域の画像を生成し、中心領域の画像と周辺領域の画像を合成して広視野画像を生成する。
【０１２３】
従って、視聴者からの領域の指定情報や各種のセンサの検出結果等を用いずに、画質信号が小さい場合、即ち画質が低い場合、中心領域の画像のサイズが小さくなるようにスケーリング処理を行い、低画質が目立たない広視野画像を生成することができる。即ち、画質に適した広視野画像を生成することができる。その結果、広視野画像の実物感が向上する。
【０１２４】
例えば、入力画像が、撮影時より解像度を高めた画像、ネットワークを介して取得した低解像度の画像、低照度によるノイズの多い画像、アナログ放送時の弱電界ノイズを多く含む画像などである場合であっても、高画質の広視野画像を生成することができる。
【０１２５】
これに対して、入力画像が、ボケを有する画像、ノイズ量や圧縮歪みの量が多い画像などである場合に、入力画像のサイズが画面のサイズに拡大されると、ボケ感、ノイズ感、圧縮による劣化感が目立ってしまう。
【０１２６】
また、画像処理装置１０は、外挿補間により周辺領域の画像を生成するので、合成画像の視野が広視野になり、臨場（没入）感が強調される。
【０１２７】
なお、第１実施の形態では、解析部１１が、帯域分布計測部３１、ノイズ量計測部３２、および圧縮歪み量計測部３３の３つの計測部を備えるようにしたが、全ての計測部を備える必要はなく、少なくとも１つの計測部を備えていればよい。
【０１２８】
＜第２実施の形態＞
（画像処理装置の第２実施の形態の構成例）
図１９は、本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。
【０１２９】
図１９に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１３０】
図１９の画像処理装置１７０の構成は、解析部１１の代わりに解析部１７１が設けられる点、および、決定部１２の代わりに決定部１７２が設けられる点が図１の画像処理装置１０の構成と異なる。画像処理装置１７０は、入力画像の画質ではなく、重要度に基づいてスケール率Scaleを設定する。
【０１３１】
解析部１７１は、入力画像に関する情報に基づいて入力画像から、入力画像の特徴として所定の領域を抽出する。解析部１７１は、その領域に基づいて、入力画像を構成する各画素の重要度を画素値で表す重要度マップを決定部１７２に供給する。
【０１３２】
決定部１７２は、属性信号と解析部１７１から供給される重要度マップとに基づいて、最終的な重要度マップを決定する。決定部１７２は、最終的な重要度マップに基づいて中心領域を決定し、中心領域情報を中心生成部１３と周辺生成部１４に供給する。
【０１３３】
（解析部の構成例）
図２０は、図１９の解析部１７１の構成例を示すブロック図である。
【０１３４】
図２０の解析部１７１は、字幕テロップ検出部１９１、顔検出部１９２、人物検出部１９３、顕著度検出部１９４、および推定部１９５により構成される。
【０１３５】
解析部１７１の字幕テロップ検出部１９１は、入力画像のOSD（On Screen Display）情報等に基づいて、入力画像の字幕またはテロップの領域である字幕テロップ領域を検出する。字幕テロップ検出領域の検出方法としては、例えば、”A comprehensive method for multilingual video text detection",Lyu, M.R.:Jiqiang Song;Min Cai:localization, and extraction.IEEE Transactions on Circuits and Systems for Video Technology 15(2), 243-255(2005)に記載されている方法を用いることができる。
【０１３６】
字幕テロップ検出部１９１は、検出された字幕テロップ領域の位置、大きさ、および確からしさを示す字幕テロップマップを生成する。字幕テロップマップとは、入力画像を構成する各画素が字幕テロップ領域である確からしさを0乃至255の画素値で表す画像である。ここでは、字幕テロップマップの画素値が大きいほど、字幕テロップ領域である確からしさが高いものとする。字幕テロップ検出部１９１は、生成された字幕テロップマップを推定部１９５に供給する。
【０１３７】
顔検出部１９２は、入力画像から顔領域を検出する。例えば、入力画像がビジュアルコミュニケーション時の画像である場合、顔検出部１９２は、各ウィンドウの位置情報に基づいて顔領域を検出する。
【０１３８】
そして、顔検出部１９２は、検出された顔領域の位置、大きさ、および確からしさを示す顔マップを生成する。顔マップとは、入力画像を構成する各画素が顔領域である確からしさを0乃至255の画素値で表す画像である。ここでは、顔マップの画素値が大きいほど、顔領域である確からしさが高いものとする。顔検出部１９２は、生成された顔マップを推定部１９５に供給する。
【０１３９】
人物検出部１９３は、入力画像から人物領域を検出する。例えば、入力画像が監視カメラで撮影された画像である場合、人物検出部１９３は、監視カメラから供給される追尾対象の情報に基づいて、人物領域を検出する。
【０１４０】
人物検出部１９３は、検出された人物領域の位置、大きさ、および確からしさを示す人物マップを生成する。人物マップとは、入力画像を構成する各画素が人物領域である確からしさを0乃至255の画素値で表す画像である。ここでは、人物マップの画素値が大きいほど、人物領域である確からしさが高いものとする。人物検出部１９３は、生成された人物マップを推定部１９５に供給する。
【０１４１】
顕著度（誘目度）検出部１９４は、視聴者からの指定等により、入力画像から、人間の目を引きやすい被写体の領域を、主要な被写体領域として検出する。被写体領域の検出方法としては、例えば、特開２０１０−２６２５０６号に記載されている方法を用いることができる。顕著度検出部１９４は、検出された被写体領域の位置、大きさ、および確からしさを示す被写体マップを生成する。
【０１４２】
被写体マップとは、入力画像を構成する各画素が被写体領域である確からしさを0乃至255の画素値で表す画像である。ここでは、被写体マップの画素値が大きいほど、被写体領域である確からしさが高いものとする。顕著度検出部１９４は、生成された被写体マップを推定部１９５に供給する。
【０１４３】
推定部１９５は、字幕テロップ検出部１９１からの字幕テロップマップ、顔検出部１９２からの顔マップ、人物検出部１９３からの人物マップ、および顕著度検出部１９４からの被写体マップに基づいて、重要度マップを生成する。
【０１４４】
（重要度マップの生成の説明）
図２１は、図２０の推定部１９５による重要度マップの生成について説明する図である。
【０１４５】
図２１に示すように、推定部１９５は、画素ごとに、その画素の字幕テロップマップの画素値Map_text(x,y)、顔マップの画素値Map_face(x,y)、人物マップの画素値Map_human(x,y)、および被写体マップの画素値Map_sailency (x,y)を、以下の式（７）により加重平均し、加重平均値を重要度マップの画素値とする。
【０１４６】
【数７】
2014215604.tif 000009
【０１４７】
なお、式（７）において、Map_sig(x,y)は、重要度マップの画素値である。また、W_text,W_face,W_human、およびW_sailencyは、重み係数であり、この重み係数の和は１である。
【０１４８】
第２実施の形態では、加重平均値を重要度マップの画素値としたが、画素値Map_text(x,y)、画素値Map_face(x,y)、画素値Map_human(x,y)、および画素値Map_sailency (x,y)のうちの最大値を重要度マップの画素値としてもよい。また、加重平均値は、ダイナミックレンジが0乃至255になるように正規化されて重要度マップの画素値とされるようにしてもよい。
【０１４９】
（決定部の構成例）
図２２は、図１９の決定部１７２の構成例を示すブロック図である。
【０１５０】
図２２の決定部１７２は、分析部２１１、重要領域決定部２１２、および領域決定部２１３により構成される。
【０１５１】
決定部１７２の分析部２１１は、検出部として機能し、外部から属性信号として入力されるEPG（Electronic Program Guide）の番組ジャンル情報等に基づいて、重要度マップを生成する。
【０１５２】
具体的には、例えば、ニュース番組、バラエティ番組、およびワイド―ショー番組の画像では、字幕やテロップが存在する可能性が高く、また、字幕やテロップが表示される領域も予め推定可能である。従って、番組ジャンル情報が、ニュース番組、バラエティ番組、またはワイド―ショー番組を表す場合、分析部２１１は、字幕やテロップが表示されると推定される領域を重要度の高い領域として検出し、その領域内の画素が重要であることを表す重要度マップを生成する。
【０１５３】
また、スポーツ番組では、撮影方法や撮影アングルなどが予め決まっている。例えば、テニスの試合では、画面の上部と下部にプレイヤが存在するアングルで撮影が行われる。従って、番組ジャンル情報がテニスの試合を表す場合、分析部２１１は、画面の上部と下部の領域を重要度の高い領域として検出し、その領域内の画素が重要であることを表す重要度マップを生成する。
【０１５４】
なお、分析部２１１が生成する重要度マップは、各画素の重要度を0乃至255の画素値で表す画像であり、ここでは、画素値は、大きいほど重要度が高いことを表している。分析部２１１は、生成された重要度マップを重要領域決定部２１２に供給する。
【０１５５】
重要領域決定部２１２は、図２０の推定部１９５から供給される重要度マップMap_sig(x,y)と、分析部２１１から供給される重要度マップMetaSigMap(x,y)とに基づいて、以下の式（８）により最終的な重要度マップBlendSigMap(x,y)を決定する。
【０１５６】
【数８】
2014215604.tif 000010
【０１５７】
なお、式（８）において、Wは、重み係数を表し、０以上１以下の値である。
【０１５８】
重要領域決定部２１２は、最終的な重要度マップBlendSigMap(x,y)を２値化し、バイナリマップBinSigMap(x,y)を生成する。なお、このとき、重要領域決定部２１２は、必要に応じて、孤立除去などのために、メディアンフィルタやモロフォロジーフィルタを適用してもよい。
【０１５９】
重要領域決定部２１２は、バイナリマップBinSigMap(x,y)の画素値が１である画素、即ち白色の画素に外接する矩形領域を重要領域として検出し、その重要領域を表す重要領域情報を領域決定部２１３に供給する。
【０１６０】
領域決定部２１３は、重要領域情報に基づいて、画面の中心領域内の重要領域が視聴者の中心視野内に収まるように、中心領域を決定する。重要領域決定部２１２は、決定された中心領域に基づいて画面相対比を計算し、中心領域情報として中心生成部１３と周辺生成部１４に供給する。
【０１６１】
（バイナリマップの例）
図２３は、バイナリマップBinSigMap(x,y)の例を示す図である。
【０１６２】
重要領域決定部２１２は、最終的な重要度マップBlendSigMap(x,y)の各画素値を、その画素値が閾値を超えた場合１にし、閾値を超えない場合０にすることにより２値化する。従って、図２１に示した最終的な重要度マップBlendSigMap(x,y)が２値化されると、図２３に示すバイナリマップBinSigMap(x,y)が生成される。
【０１６３】
（重要領域の例）
図２４は、図２３のバイナリマップBinSigMap(x,y)から検出される重要領域の例を示す図である。
【０１６４】
図２４に示すように、バイナリマップBinSigMap(x,y)が図２３に示すマップである場合、画素値が１である白色の領域に外接する矩形領域２３１が重要領域として検出される。そして、図２４に示すように、中心領域２３２内の矩形領域２３１が視聴者の中心視野内に収まるように、中心領域２３２が決定される。
【０１６５】
なお、視聴者の中心視野とは、例えば、推奨される視位置（例えば、画面の高さの1.5倍）を中心としたときの角度が±30度以内となる画面内の領域である。中心視野の基になる視位置は、推奨される視位置ではなく、視聴者により設定された視位置、図示せぬカメラやセンサなどにより測定された実際の視聴者の視位置などであってもよい。
【０１６６】
（効果の説明）
図２５乃至図２８は、画像処理装置１７０による効果を説明する図である。
【０１６７】
図２５Ａに示すように、入力画像の端部に字幕が存在する場合、画像処理装置１７０は、字幕領域２５１Ａと字幕領域２５１Ｂを含む矩形領域２５１を重要領域として検出する。従って、字幕領域２５１Ａと字幕領域２５１Ｂが視聴者の中心視野内に収まるように広視野画像を生成することができる。その結果、広視野画像の視認性を向上させることができる。
【０１６８】
これに対して、単に入力画像を画面サイズに拡大し広視野画像を生成する場合、字幕が中心視野外に存在し、字幕の視認性が悪くなることがある。なお、図示は省略するが、入力画像の端部にテロップが存在する場合も同様である。
【０１６９】
また、図２５Ｂに示すように、入力画像の中央に比較的大きいテロップが存在する場合、画像処理装置１７０は、そのテロップ領域２５２Ａを含む矩形領域２５２を重要領域として検出する。従って、そのテロップが視聴者の中心視野内に収まるように広視野画像を生成することができる。その結果、広視野画像の視認性を向上させることができる。
【０１７０】
これに対して、単に入力画像を画面サイズに拡大し広視野画像を生成する場合、比較的大きいテロップは中心視野外にまで広がり、テロップの視認性が悪くなることがある。
【０１７１】
また、図２５Ａや図２５Ｂに示す画像が、ニュース番組、バラエティ番組、およびワイド―ショー番組の画像である場合、画像処理装置１７０は、重要度マップMetaSigMap(x,y)の画素値を大きくする。その結果、字幕やテロップが存在する可能性が高い番組の画像において、字幕やテロップの視認性を優先的に確保することができる。
【０１７２】
図２６Ａに示すように、入力画像が、１人の顔がクローズアップされた画像である場合、画像処理装置１７０は、その１人の顔の顔領域２５３Ａを含む矩形領域２５３を重要領域として検出する。従って、顔領域２５３Ａが視聴者の中心視野内に収まるように広視野画像を生成することができる。その結果、広視野画像の視認性を向上させることができる。
【０１７３】
これに対して、単に入力画像を画面サイズに拡大し広視野画像を生成する場合、顔が中心視野外にまで広がり、視聴者は顔の全容を把握しにくい。
【０１７４】
図２６Ｂに示すように、入力画像が、３人の顔を含む画像である場合、画像処理装置１７０は、その３人の顔の顔領域２５４Ａ乃至２５４Ｃを含む矩形領域２５４を重要領域として検出する。従って、顔領域２５４Ａ乃至２５４Ｃが視聴者の中心視野内に収まるように広視野画像を生成することができる。その結果、広視野画像の視認性を向上させることができる。
【０１７５】
これに対して、単に入力画像を画面サイズに拡大し広視野画像を生成する場合、３人の顔のいずれかが中心視野外に存在し、視認性が悪くなることがある。
【０１７６】
図２７Ａに示すように、画像の水平方向の両端に人物が存在する場合、画像処理装置１７０は、人物領域２５５Ａ乃至２５５Ｃを含む矩形領域２５５を重要領域として検出する。従って、人物領域２５５Ａ乃至２５５Ｃが視聴者の中心視野２５５Ｄ内に収まるように広視野画像を生成することができる。その結果、広視野画像の視認性を向上させることができる。
【０１７７】
また、図２７Ｂに示すように、入力画像がテニスの試合の番組の画像であり、画面の上部と下部にプレイヤが存在する場合、画像処理装置１７０は、例えば、人物領域２５６Ａと人物領域２５６Ｂを含む矩形領域２５６を重要領域として検出する。従って、人物領域２５６Ａおよび２５６Ｂが視聴者の中心視野２５６Ｄ内に収まるように広視野画像を生成することができる。その結果、広視野画像の視認性を向上させることができる。
【０１７８】
これに対して、単に入力画像を画面サイズに拡大し広視野画像を生成する場合、人物が中心視野外に存在し、人物の存在を即座に認識できない。
【０１７９】
図２８Ａに示すように、入力画像の主な被写体としての家が右側に存在する場合、図２８Ｂに示すように、画像処理装置１７０は、その家の領域２５７Ａの画素値が最も大きい被写体マップを生成する。その結果、領域２５７Ａが重要領域として検出され、図２８Ｃに示すように、領域２５７Ａが視聴者の中心視野２５７Ｂ内に収まるように広視野画像が生成される。従って、広視野画像の視認性を向上させることができる。
【０１８０】
これに対して、単に入力画像を画面サイズに拡大し広視野画像を生成する場合、家が中心視野外に存在し、視認性が悪くなる。
【０１８１】
（画像処理装置の処理の説明）
図２９は、図１９の画像処理装置１７０の画像処理を説明するフローチャートである。
【０１８２】
図２９のステップＳ４１乃至Ｓ４３の処理は、図１８のステップＳ１１乃至Ｓ１３の処理と同様であるので、説明は省略する。
【０１８３】
ステップＳ４３で外部から属性信号が入力されたと判定された場合、ステップＳ４４において、決定部１７２の分析部２１１（図２２）は、外部から属性信号として入力された番組ジャンル情報に基づいて重要度マップを生成し、処理をステップＳ４５に進める。
【０１８４】
一方、ステップＳ４３で外部から属性信号が入力されていないと判定された場合、処理はステップＳ４５に進む。
【０１８５】
ステップＳ４５において、解析部１７１は、画像の字幕テロップ領域、顔領域、人物領域、および被写体領域を検出し、重要度マップを生成する領域解析処理を行う。解析部１７１は、生成された重要度マップを決定部１７２に供給する。
【０１８６】
ステップＳ４６において、決定部１７２は、解析部１７１からの重要度マップと分析部２１１により生成された重要度マップに基づいて最終的な重要度マップを決定し、画面相対比CentralPartRatioを決定する領域に基づく領域決定処理を行う。決定部１７２は、決定された画面相対比CentralPartRatioを中心領域情報として、中心生成部１３と周辺生成部１４に供給する。
【０１８７】
ステップＳ４７乃至Ｓ５１の処理は、図１８のステップＳ１７乃至Ｓ２１の処理と同様であるので、説明は省略する。
【０１８８】
以上のように、画像処理装置１７０は、重要度マップに基づいて入力画像をスケーリング処理して中心領域の画像を生成し、入力画像を外挿補間して周辺領域の画像を生成し、中心領域の画像と周辺領域の画像を合成して広視野画像を生成する。
【０１８９】
従って、視聴者からの領域の指定情報や各種のセンサの検出結果等を用いずに、中心領域のうちの重要度の高い領域が中心視野に収まるようにスケーリング処理を行い、視認性の高い広視野画像を生成することができる。即ち、画像の重要度に適した広視野画像を生成することができる。その結果、広視野画像の視認性が向上する。
【０１９０】
また、入力画像を画面サイズに拡大する場合に比べて、入力画像の拡大率は小さくなるため、広視野画像のボケ感は少ない。
【０１９１】
なお、第２実施の形態では、中心領域の中心は画面の中心としたが、中心領域の中心は画面の中心でなくてもよい。
【０１９２】
例えば、図３０Ａに示すように、入力画像内の視聴者の注目する人物が右側に存在する場合、画像処理装置１７０は、その人物の顔領域２５８Ａを含む矩形領域２５８を重要領域として検出する。そして、画像処理装置１７０は、中心領域２５８Ｂ内の重要領域が中心視野内に収まるように、中心領域２５８Ｂのサイズを決定するが、このとき、図３０Ｂに示すように、中心領域２５８Ｂ内の顔領域２５８Ａが中心視野の中心付近になるように中心領域２５８Ｂの位置を変更するようにしてもよい。
【０１９３】
なお、図示は省略するが、視聴者の注目する人物の人物領域が中心視野の中心付近になるように中心領域の位置を変更することもできる。
【０１９４】
＜第３実施の形態＞
（画像処理装置の第３実施の形態の構成例）
図３１は、本開示を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。
【０１９５】
図３１に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１９６】
図３１の画像処理装置２７０の構成は、解析部１１の代わりに解析部２７１が設けられる点、および、決定部１２の代わりに決定部２７２が設けられる点が図１の画像処理装置１０構成と異なる。画像処理装置２７０は、入力画像の特徴として画質ではなくシーンを採用し、シーンに基づいてスケール率Scaleを設定する。
【０１９７】
解析部２７１は、入力画像のシーンを分類する。解析部２７１は、分類されたシーンに基づいて、入力画像の広角表示に適している度合を表す広角適合度を生成し、決定部２７２に供給する。
【０１９８】
決定部２７２は、入力画像の属性を表す属性信号と、解析部２７１から供給される広角適合度とに基づいて、最終的な広角適合度を決定する。決定部１２は、最終的な広角適合度に基づいて中心領域を決定し、中心領域情報を中心生成部１３と周辺生成部１４に供給する。
【０１９９】
（解析部の構成例）
図３２は、図３１の解析部２７１の構成例を示すブロック図である。
【０２００】
図３２の解析部２７１は、シーン分類部２９１と判定部２９２により構成される。
【０２０１】
解析部２７１のシーン分類部２９１は、入力画像に対してシーン分類処理を行う。このシーン分類処理としては、例えば、"Natural images classification by multiple pixel analysis",F.NACCAF,ICCE.2005に記載されている技術を用いることができる。
【０２０２】
シーン分類処理により分類されるシーンの種類としては、例えば、マクロ撮影シーン、ポートレート撮影シーン、クローズアップ撮影シーン、パンフォーカス撮影シーンなどがある。シーン分類部２９１は、シーン分類処理の結果得られる、入力画像のシーンを表すシーン情報を判定部２９２に供給する。なお、シーン分類部２９１は、EPGの番組ジャンル情報等に基づいて入力画像のシーンを分類してもよい。
【０２０３】
判定部２９２は、シーン分類部２９１から供給されるシーン情報に基づいて、入力画像が広角表示に適しているかどうかを判定し、０以上１以下の値である広角適合度を生成する。
【０２０４】
例えば、シーン情報が、マクロ撮影シーン、ポートレート撮影シーン、クローズアップ撮影シーンなどの被写界深度が浅い近景のシーンを表す場合、判定部２９２は、入力画像が広角表示に適していないと判定し、０に近い値の広角適合度を生成する。
【０２０５】
一方、シーン情報が、パンフォーカス撮影シーンなどの遠景シーン（例えば、自然風景のシーン）を表す場合、判定部２９２は、入力画像が広角表示に適していると判定し、１に近い値の広角適合度を生成する。判定部２９２は、生成された広角適合度を図３１の決定部２７２に供給する。
【０２０６】
（決定部の構成例）
図３３は、図３１の決定部２７２の構成例を示すブロック図である。
【０２０７】
図３３の決定部２７２は、分析部３１１、適合度決定部３１２、および領域決定部３１３により構成される。
【０２０８】
決定部２７２の分析部３１１は、外部から属性信号として入力される、入力画像の撮影時の焦点距離、絞り値（Ｆ値）、デプスセンサなどによる測距情報、レンズの種類などの撮影情報に基づいて、入力画像の広角適合度を生成する。
【０２０９】
具体的には、分析部３１１は、例えば、撮影情報が、比較的短い焦点距離、比較的大きい絞り値、広角レンズなどを表す場合、即ち被写界深度が深い場合、入力画像が広角撮影されたものであると判定し、１に近い値である広角適合度を生成する。また、例えば、撮影情報が比較的長い距離の測距情報を表す場合、分析部３１１は、入力画像が広角表示に適していると判定し、１に近い値である広角適合度を生成する。
【０２１０】
一方、撮影情報が上述した情報ではない場合、分析部３１１は、０に近い値である広角適合度を生成する。分析部３１１は、生成された広角適合度を適合度決定部３１２に供給する。
【０２１１】
適合度決定部３１２は、図３２の判定部２９２から供給される広角適合度Image_WideFactorと、分析部３１１から供給される広角適合度Meta_WideFactorとに基づいて、以下の式（９）により最終的な広角適合度Final_WideFacorを決定する。
【０２１２】
【数９】
2014215604.tif 000011
【０２１３】
なお、式（９）において、w_imageは、重み係数を表し、０以上１以下の値である。
【０２１４】
適合度決定部３１２は、最終的な広角適合度Final_WideFacorを領域決定部３１３に供給する。
【０２１５】
領域決定部３１３は、最終的な広角適合度Final_WideFacorが大きいほど大きくなるように中心領域を決定する。領域決定部３１３は、決定された中心領域の画面相対比CentralPartRatioを、中心領域情報として、図３１の中心生成部１３と周辺生成部１４に供給する。
【０２１６】
（効果の説明）
図３４および図３５は、画像処理装置２７０による効果を説明する図である。
【０２１７】
入力画像のシーンが、図３４Ａに示すようにマクロ撮影シーンである場合、画像処理装置２７０は、最終的な広角適合度Final_WideFacorを０に近い値にする。これにより、図３４Ｂに示すように中心領域３３１は比較的小さくなる。その結果、マクロ撮影シーンの広視野画像において、ピントが合っている被写体の領域が視聴者の中心視野外になることを防止し、視認性を向上させることができる。
【０２１８】
なお、このとき、画像処理装置２７０は、撮影情報を用いて、ピントが合っている被写体の領域が視聴者の中心視野になるように、中心領域の中心を画面の中心から移動するようにしてもよい。
【０２１９】
これに対して、単に入力画像を画面サイズに拡大し広視野画像を生成する場合、中心視野内の画像が、ピントが合っていない被写体の画像となり、被写体を即座に認識することができないことがある。
【０２２０】
一方、図３５Ａに示すように、入力画像のシーンがパンフォーカス撮影シーンである場合、画像処理装置２７０は、最終的な広角適合度Final_WideFacorを１に近い値にする。これにより、図３５Ｂに示すように中心領域３３４は比較的大きくなる。その結果、広角表示に適したパンフォーカス撮影シーンの広視野画像において、視聴者に広がりを感じさせ、臨場感を向上させることができる。
【０２２１】
（画像処理装置の処理の説明）
図３６は、図３１の画像処理装置２７０の画像処理を説明するフローチャートである。
【０２２２】
図３６のステップＳ７１乃至Ｓ７３の処理は、図１８のステップＳ１１乃至Ｓ１３の処理と同様であるので、説明は省略する。
【０２２３】
ステップＳ７３で外部から属性信号が入力されたと判定された場合、ステップＳ７４において、決定部２７２の分析部３１１（図３３）は、外部から属性信号として入力された撮影情報に基づいて広角適合度を生成し、処理をステップＳ７５に進める。
【０２２４】
一方、ステップＳ７３で外部から属性信号が入力されていないと判定された場合、処理はステップＳ７５に進む。
【０２２５】
ステップＳ７５において、解析部２７１は、入力画像に対してシーン分類処理を行い、広角適合度を生成するシーン解析処理を行う。解析部２７１は、生成された広角適合度を決定部２７２に供給する。
【０２２６】
ステップＳ７６において、決定部２７２は、解析部２７１からの広角適合度と分析部３１１により生成された広角適合度に基づいて最終的な広角適合度を決定し、画面相対比CentralPartRatioを決定するシーンに基づく領域決定処理を行う。決定部２７２は、決定された画面相対比CentralPartRatioを、中心領域情報として中心生成部１３および周辺生成部１４に供給する。
【０２２７】
ステップＳ７７乃至Ｓ８１の処理は、図１８のステップＳ１７乃至Ｓ２１の処理と同様であるので、説明は省略する。
【０２２８】
以上のように、画像処理装置２７０は、広角適合度に基づいて画像をスケーリング処理して中心領域の画像を生成し、入力画像を外挿補間して周辺領域の画像を生成し、中心領域の画像と周辺領域の画像を合成して広視野画像を生成する。
【０２２９】
従って、視聴者からの領域の指定情報や各種のセンサの検出結果等を用いずに、広角表示に適した画像に対して比較的大きい中心領域の画像を生成し、広がりのある広視野画像を生成することができる。即ち、画像のシーンに適した広視野画像を生成することができる。その結果、広視野画像の臨場感が向上する。
【０２３０】
なお、第１乃至第３実施の形態では、スケール率Scaleの設定に用いられる情報は、入力画像の画質、重要度、またはシーンであるものとしたが、これに限定されない。
【０２３１】
例えば、スケール率Scaleは入力画像の構図に基づいて設定されるようにしてもよい。この場合、例えば、図３７Ａに示すように入力画像の構図が日の丸構図である場合、スケール率Scaleは、入力画像のサイズに対する広視野画像のサイズの割合（以下、フル拡大という）となる。即ち、入力画像の構図が日の丸構図である場合、被写体は入力画像の中央に存在するため、入力画像は単に画面全体に拡大される。
【０２３２】
一方、入力画像の構図が、図３７Ｂに示すように３分割構図である場合、または、図３７Ｃに示すように対角線構図である場合、主な被写体（図３７Ｂの例ではミカン、図３７Ｃの例では新幹線）の領域を含む視聴者が構図を認識可能な領域３５１Ａ（３５２Ａ）が、重要領域に決定される。そして、重要領域が中心視野３５１Ｂ（３５２Ｂ）に収まるように、スケール率Scaleが設定される。
【０２３３】
即ち、入力画像の構図が３分割構図や対角線構図である場合、撮影者は、視聴者の視線を中心以外にずらすことを意図しているが、視聴者は、構図を把握しないと視線をずらす必要があることを認識できない。従って、構図を認識可能な領域３５１Ａ（３５２Ａ）が中心視野３５１Ｂ（３５２Ｂ）に収められる。
【０２３４】
これに対して、単に入力画像を画面サイズに拡大し広視野画像を生成する場合、入力画像が画面全体に拡大されるため、視聴者は全体の構図を把握しにくく、撮影者の意図を認識しにくい。
【０２３５】
また、スケール率Scaleが入力画像の構図に基づいて設定される場合、入力画像の構図に基づいて、中心領域と周辺領域の中心を画面の中心から移動するようにしてもよい。
【０２３６】
例えば、図３８Ａに示すように、入力画像の構図が俯瞰構図である場合、中心領域３７１と周辺領域３７２の中心の垂直方向の位置Ｃが、視聴者の視線の中心の垂直方向の位置であるアイレベルＥより下側に移動されるようにしてもよい。このとき、この移動により空いた画面上部の領域３７３には、黒画像が配置される。以上により、上部の視野が削減され、広視野画像の中心が下側に移動するので、見下ろす感覚が強くなる。
【０２３７】
また、例えば、図３９Ａに示すように、入力画像の構図が三角構図（あおりシーン）である場合、中心領域３９１と周辺領域３９２の中心の垂直方向の位置ＣがアイレベルＥより上側に移動されるようにしてもよい。このとき、この移動により空いた画面下部の領域３９３には、黒画像が配置される。以上により、下部の視野が削減され、広視野画像の中心が上側に移動するので、見上げる感覚が強くなる。なお、アイレベルＥは、予め設定されていてもよいし、図示せぬセンサなどにより検出さてもよい。
【０２３８】
また、入力画像が、図４０Ａに示すように被写体との対話を目的とするテレビ電話などの画像である場合や、図４１Ａに示すように商品を被写体とする画像である場合、図４０Ｂや図４１Ｂに示すように、被写体のサイズが実物のサイズとなるように、中心領域４０１（４０２）が決定されるようにしてもよい。この場合、広視野画像内の被写体のサイズが実物のサイズとなり、臨場感と実物感が向上する。なお、被写体の実物のサイズは、例えば、入力画像のメタ情報として外部から入力される。
【０２３９】
これに対して、単に入力画像を画面サイズに拡大し広視野画像を生成する場合、商品等が画面全体に拡大され、商品等の実物のサイズが把握しにくい。
【０２４０】
また、図４２Ａや図４２Ｂに示すように、入力画像が、レターボックスの画像やピラーボックスの画像である場合、画像処理装置１０（１７０，２７０）は、上下または左右の黒帯を削除した後、画像処理を行うようにすることができる。これにより、黒帯のない広視野画像を生成することができる。なお、黒帯が削除された画像の全領域が中心視野に収まるように、中心領域が決定されてもよい。
【０２４１】
さらに、図４３Ａに示すように、入力画像が文字を含むサイドパネルを含む場合、入力画像の全領域４１１Ａが中心視野４１１Ｂ内に収まるように広視野画像が生成されるようにしてもよい。
【０２４２】
また、図４３Ｂに示すように、入力画像が人工画像をサイドパネルとして含んでいる場合、入力画像のサイドパネル以外の領域４１２Ａが中心視野４１２Ｂ内に収まるように広視野画像が生成されるようにしてもよい。
【０２４３】
また、図４４Ａに示すように、入力画像が、左から右に移動する被写体をパニング撮影した画像である場合、図４４Ｂに示すように、入力画像の動きベクトルに基づいて中心領域４３１の画面上の位置を左から右に移動させるようにしてもよい。この場合、視聴者の視線を被写体の動きに合わせて動かし、視聴者に被写体の空間的な位置を把握させることができるので、臨場感を高めることができる。
【０２４４】
一方、図４５Ａに示すように、入力画像がズームイン撮影した画像である場合、図４５Ｂに示すように、各時刻の中心領域４５１Ａ乃至４５３Ａの画像内の被写体のサイズが時間的に変化しないように、中心領域のサイズが縮小されるようにしてもよい。即ち、中心領域４５１Ａ乃至４５３Ａのサイズが順に小さくなるようにしてもよい。
【０２４５】
この場合、図４５Ｂに示すように、周辺領域のうちの中心領域４５１Ａ乃至４５３Ａと重複しない周辺領域４５１Ｂ乃至４５３Ｂの画像の輝度成分は徐々に小さくされるか、または、ボケ量が大きくされる。これにより、周辺視野（誘導視野、補助視野）が徐々になくなるため、視野角が狭くなり、視聴者は被写体を注視している感覚を味わうことができる。
【０２４６】
なお、入力画像がパニング撮影画像またはズームイン撮影画像であるかどうかは、例えば、入力画像のMPEGストリームのデコード情報に含まれる入力画像の動きベクトルに基づいて推定することができる。
【０２４７】
また、スケール率Scaleは、入力画像のMPEGストリームのデコード情報に含まれる入力画像の動きベクトルに基づいて設定されるようにしてもよい。この場合、例えば、動きベクトルが大きいほど小さくなるように中心領域が決定され、スケール率Scaleが設定される。これにより、入力画像の拡大によって広視野画像の動きベクトルが大きくなり過ぎ、視聴者が映像酔いすることを防止することができる。
【０２４８】
＜まとめ＞
図４６は、本開示における画像処理と効果を示す図である。
【０２４９】
図４６に示すように、画像処理装置１０は、入力画像のMPEGストリームのヘッダ情報に基づいて入力画像の帯域分布を解析し、帯域が低域に偏っているほど小さくなるように中心領域のサイズを決定する。これにより、帯域が低域に偏っているほど、スケール率はフル拡大より小さくなる。その結果、広視野画像においてボケ感の増大が抑制され、実物感が向上する。
【０２５０】
画像処理装置１０はまた、入力画像のMPEGストリームのビットレート情報やデコード情報に基づいて入力画像の圧縮歪みの量を計測し、圧縮歪みの量が多いほど小さくなるように中心領域のサイズを決定する。これにより、圧縮歪みの量が多いほど、スケール率はフル拡大より小さくなる。その結果、広視野画像において圧縮歪みが目立たなくなり、実物感が向上する。
【０２５１】
画像処理装置１０はまた、入力画像の撮影時のカメラ情報に基づいて入力画像のノイズ量を計測し、ノイズ量が多いほど小さくなるように中心領域のサイズを決定する。これにより、ノイズ量が多いほど、スケール率はフル拡大より小さくなる。その結果、広視野画像においてノイズが目立たなくなり、実物感が向上する。
【０２５２】
画像処理装置１０はまた、入力画像のMPEGストリームに含まれる情報に基づいて入力画像の量子化ステップサイズを計測し、量子化ステップサイズが大きいほど小さくなるように中心領域のサイズを決定する。これにより、量子化ステップサイズが大きいほど、スケール率はフル拡大より小さくなる。その結果、広視野画像において画質の悪さが目立たなくなり、実物感が向上する。
【０２５３】
また、画像処理装置１７０は、OSD情報に基づいて画像から字幕テロップ領域を検出し、字幕テロップ領域が中心視野に収まるように中心領域のサイズを決定する。これにより、スケール率は基本的にフル拡大より小さくなる。広視野画像において字幕テロップ領域が中心視野に収まるため、入力画像の拡大により字幕やテロップが中心視野外に位置し、視認性が低下することを防止することができる。従って、広視野画像の視認性が向上する。
【０２５４】
画像処理装置１７０はまた、入力画像から顔領域を検出し、顔領域が中心視野に収まるように中心領域のサイズを決定する。これにより、スケール率は基本的にフル拡大より小さくなる。広視野画像において顔領域が中心視野に収まるため、入力画像の拡大により顔が中心視野外にまで広がり、視認性が低下するとともに視聴者に圧迫感を与えることを防止することができる。従って、広視野画像の実物感と視認性が向上する。
【０２５５】
画像処理装置１７０はまた、入力画像から人物領域を検出し、人物領域が中心視野に収まるように中心領域のサイズを決定する。これにより、スケール率は基本的にフル拡大より小さくなる。広視野画像において人物領域が中心視野に収まるため、入力画像の拡大により人が中心視野外に位置し、視認性が低下することを防止することができる。従って、広視野画像の視認性が向上する。
【０２５６】
なお、このとき、視聴者が注目する人物の人物領域が中心領域の中心付近になるように中心領域が移動されてもよい。この場合、視聴者が注目する特定の人物が中心視野の中心に位置するため、広視野画像の視認性はさらに向上する。なお、視聴者が注目する特定の人物は、例えば、視聴者により指定される。
【０２５７】
画像処理装置１７０はまた、視聴者からの指定に基づいて、入力画像から被写体領域を検出し、被写体領域が中心視野に収まるように中心領域のサイズを決定する。これにより、スケール率は基本的にフル拡大より小さくなる。広視野画像において被写体領域が中心視野に収まるため、入力画像の拡大により主要な被写体が中心視野外に位置し、視認性が低下することを防止することができる。従って、広視野画像の視認性が向上する。
【０２５８】
画像処理装置１７０はまた、EPGの番組ジャンル情報が表す番組のジャンルに基づいて、入力画像内の重要度が高い領域を推定し、その領域が中心視野に収まるように中心領域のサイズを決定する。これにより、スケール率は基本的にフル拡大より小さくなる。番組のジャンルにとって重要度が高い領域が中心視野に収まるので、視認性が向上する。
【０２５９】
また、画像処理装置２７０は、入力画像のシーンを分類し、広角表示に適したシーンほど大きくなるように中心領域のサイズを決定する。これにより、スケール率は、広角に適したシーンほどフル拡大に近くなる。このように、広角表示に適したシーンの広視野画像において入力画像が大きく拡大されるため、広角にしたいという撮影者の意図に合った広視野画像を生成することができる。その結果、臨場感が向上する。
【０２６０】
画像処理装置２７０はまた、撮影情報に含まれる焦点距離、絞り値、測距情報、レンズの種類などに基づいて、入力画像の広角適合度を推定し、広角適合度が大きいほど大きくなるように中心領域のサイズを決定する。これにより、スケール率は、広角適合度が大きいほどフル拡大に近くなる。このように、広角適合度が大きい画像の広視野画像において入力画像が大きく拡大されるため、広角にしたいという撮影者の意図に合った広視野画像を生成することができる。その結果、臨場感が向上する。
【０２６１】
また、本開示を適用した画像処理装置は、入力画像の構図に応じて構図全体を認識可能な領域が中心視野に収まるように中心領域のサイズを決定する。これにより、入力画像の構図が日の丸構図である場合、スケール率はフル拡大となり、入力画像の構図が日の丸構図以外の３分割構図や対角線構図である場合、スケール率は基本的にフル拡大より小さくなる。
【０２６２】
このように、入力画像の構図が日の丸構図である場合、即ち撮影者が視聴者の視線を中心に位置させることを意図している場合、入力画像全体が広視野画像に拡大され、視聴者は視線を中心に位置させる。
【０２６３】
また、入力画像の構図が日の丸構図以外である場合、即ち撮影者が視聴者の視線を中心以外にずらすことを意図している場合、広視野画像において構図全体を認識可能な領域が中心視野に収まるため、視聴者は構図全体を認識し、視線を中心からずらすことができる。従って、画像処理装置は、撮影者の意図に合った広視野画像を生成し、臨場感を向上させることができるといえる。
【０２６４】
また、本開示を適用した画像処理装置は、入力画像のメタ情報に含まれる被写体の実物のサイズに基づいて、被写体のサイズが実物のサイズとなるように中心領域を決定する。これにより、スケール率は基本的にフル拡大より小さくなる。広視野画像において被写体のサイズが実物のサイズとなるため、実存感が向上する。即ち、臨場感と実物感が向上する。
【０２６５】
本開示を適用した画像処理装置はまた、入力画像がレターボックスの画像やピラーボックスの画像である場合、上下または左右の黒帯を削除し、黒帯以外の画像を入力画像として中心領域を決定する。黒帯以外の有効領域の画像が入力画像とされるので、黒帯はスケーリングされず、有効領域の視認性が向上する。
【０２６６】
本開示を適用した画像処理装置はまた、入力画像に含まれるサイドパネルに基づいて、サイドパネルが文字を含む場合、画像の全領域が中心視野に収まるように中心領域を決定し、サイドパネルが人工画像である場合、サイドパネル以外の領域が中心視野に収まるように中心領域を決定する。これにより、スケーリング率は基本的にフル拡大より小さい。
【０２６７】
サイドパネルが文字を含む場合、サイドパネルを含む入力画像全体が有効領域とされて中心視野に収められ、サイドパネルが人工画像である場合、サイドパネル以外の領域が有効領域とされて中心視野に収められる。従って、有効領域の視認性が向上する。
【０２６８】
また、本開示を適用した画像処理装置は、MPEGストリームのデコード情報に含まれる動きベクトルに基づいて、入力画像がパニング撮影されたものであるか、または、ズームイン撮影されたものであるかを推定する。そして、画像処理装置は、入力画像がパニング撮影された画像であると推定した場合、入力画像の中心領域の位置を動きベクトルに応じて移動させる。一方、画像処理装置は、入力画像がズームイン撮影されたものであると推定した場合、入力画像の中心領域を、被写体のサイズが変更されないように決定する。このとき、周辺領域は徐々に暗くされるか、または、ボケを強くされる。
【０２６９】
これにより、入力画像がパニング撮影された画像である場合、スケール率は基本的にフル拡大より小さくなり、入力画像がズームイン撮影された画像である場合、スケール率は徐々に小さくなる。
【０２７０】
入力画像がパニング撮影されたものである場合、即ち撮影者が被写体の動きを追って撮影している場合、広視野画像において中心領域が同様に動くため、視聴者の視線を被写体の動きに合わせて動かすことができる。
【０２７１】
また、入力画像がズームイン撮影されたものである場合、即ち、撮影者が被写体を注視して撮影している場合、広視野画像において中心領域内の被写体のサイズは変更されないが、周辺領域が暗くなる（または強くボケる）ので、視聴者の視野角が狭くなる。これにより、視聴者は被写体を注視している感覚を味わうことができる。従って、広視野画像は、撮影者の意図に合ったものとなり、臨場感が向上する。
【０２７２】
また、本開示を適用した画像処理装置は、MPEGストリームのデコード情報に含まれる動きベクトルに基づいて、動きベクトルが大きいほど小さくなるように中心領域を決定するようにすることもできる。この場合、スケーリング率は、動きベクトルが大きいほどフル拡大より小さくなる。その結果、入力画像の拡大により広視野画像の動きベクトルが大きくなり過ぎて視聴者が映像酔いすることを防止し、視認性を向上させることができる。
【０２７３】
＜第４実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２７４】
図４７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０２７５】
コンピュータにおいて、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。
【０２７６】
バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、入力部６０６、出力部６０７、記憶部６０８、通信部６０９、及びドライブ６１０が接続されている。
【０２７７】
入力部６０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部６０７は、ディスプレイ、スピーカなどよりなる。記憶部６０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６０９は、ネットワークインタフェースなどよりなる。ドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア６１１を駆動する。
【０２７８】
以上のように構成されるコンピュータでは、CPU６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。
【０２７９】
コンピュータ（CPU６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２８０】
コンピュータでは、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インタフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ROM６０２や記憶部６０８に、あらかじめインストールしておくことができる。
【０２８１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２８２】
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０２８３】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２８４】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２８５】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２８６】
また、本開示は、入力画像の解像度を高解像度化する画像処理装置だけでなく、入力画像と出力画像の解像度が同一である画像処理装置にも適用することができる。この場合も、入力画像の特徴に適した出力画像を生成することができる。
【０２８７】
これに対して、単に入力画像が出力画像とされる場合、撮影者が想定している表示時の観視画角が、実際の観視画角よりも大きいとき、視聴者は、広角撮影された画像を、狭い観視画角で見ることになる。従って、被写体が過度に小さくなり、広がり感が必要な風景などの画像で臨場感が低下する。
【０２８８】
一方、撮影者が想定している表示時の観視画角が、実際の観視画角よりも小さいとき、視聴者は、望遠で撮影された狭い画角の画像を、広い観視画角で見ることになる。従って、被写体が過度に大きくなって中心視野外にまで広がったり、字幕やテロップなどが中心視野外に位置したりすることにより、視認性が低下する可能性が高い。また、画質の悪さも目立ちやすい。
【０２８９】
また、本開示は、以下のような構成もとることができる。
【０２９０】
（１）
画像の特徴に基づいて前記画像をスケーリング処理して画面の中心領域の画像を生成する中心生成部と、
前記中心領域の画像を外挿補間して前記画面の前記中心領域の周辺の領域である周辺領域の画像を生成する周辺生成部と、
前記中心生成部により生成された前記中心領域の画像と、前記周辺生成部により生成された前記周辺領域の画像とを合成し、合成画像を生成する合成部と
を備える画像処理装置。
（２）
前記画像内の所定の領域を検出する検出部
をさらに備え、
前記中心生成部は、前記検出部により検出された前記所定の領域を前記合成画像の中心視野内に収めるように、前記画像をスケーリング処理する
前記（１）に記載の画像処理装置。
（３）
前記検出部は、前記画像内の字幕またはテロップの領域を検出し、
前記中心生成部は、前記検出部により検出された前記テロップの領域を前記合成画像の中心視野内に収めるように、前記画像をスケーリング処理する
前記（２）に記載の画像処理装置。
（４）
前記検出部は、前記画像内の顔の領域を検出し、
前記中心生成部は、前記検出部により検出された前記顔の領域を前記合成画像の中心視野内に収めるように、前記画像をスケーリング処理する
前記（２）または（３）に記載の画像処理装置。
（５）
前記中心生成部は、前記顔の領域を前記合成画像の中心視野内に収めるように、前記画像をスケーリング処理して前記中心領域の画像を生成し、前記中心領域の画像内の前記顔の領域を前記中心視野内の中心とするように前記中心領域の画像の画面上の位置を決定する
前記（４）に記載の画像処理装置。
（６）
前記検出部は、前記画像内の被写体の領域を検出し、
前記中心生成部は、前記検出部により検出された前記被写体の領域を前記合成画像の中心視野内に収めるように、前記画像をスケーリング処理する
前記（２）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記検出部は、前記画像内の人物の領域を検出し、
前記中心生成部は、前記検出部により検出された前記人物の領域を前記合成画像の中心視野内に収めるように、前記画像をスケーリング処理する
前記（２）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記検出部は、前記画像の番組ジャンル情報に基づいて前記画像内の重要度の高い領域を検出し、
前記中心生成部は、前記検出部により検出された前記重要度の高い領域を前記合成画像の中心視野内に収めるように、前記画像をスケーリング処理する
前記（２）乃至（８）のいずれかに記載の画像処理装置。
（９）
前記画像の品質に基づいて前記中心領域を決定する決定部
をさらに備え、
前記中心生成部は、前記画像のサイズが前記決定部により決定された前記中心領域のサイズになるように、前記画像をスケーリング処理する
前記（１）に記載の画像処理装置。
（１０）
前記決定部は、前記画像の帯域分布に基づいて前記中心領域を決定する
前記（９）に記載の画像処理装置。
（１１）
前記決定部は、前記画像の圧縮歪みの量に基づいて前記中心領域を決定する
前記（９）または（１０）に記載の画像処理装置。
（１２）
前記決定部は、前記画像のノイズ量に基づいて前記中心領域を決定する
前記（９）乃至（１１）に記載の画像処理装置。
（１３）
前記画像のシーンに応じた前記画像の広角表示に適している度合を表す広角適合度に基づいて前記中心領域を決定する決定部と
をさらに備え、
前記中心生成部は、前記画像のサイズが前記決定部により決定された前記中心領域のサイズになるように、前記画像をスケーリング処理する
前記（１）に記載の画像処理装置。
（１４）
前記中心生成部は、前記画像がパニング撮影された画像である場合、前記画像の動きベクトルに基づいて前記中心領域の画面上の位置を決定する
前記（１）に記載の画像処理装置。
（１５）
前記中心生成部は、前記画像がズームイン撮影された画像である場合、前記画像内の被写体のサイズが時間的に変化しないように、前記画像をスケーリング処理し、
前記周辺生成部は、前記周辺領域の画像の輝度またはボケ量を時間的に変化させる
前記（１）に記載の画像処理装置。
（１６）
前記画像の動きベクトルに基づいて前記中心領域を決定する決定部
をさらに備え、
前記中心生成部は、前記画像のサイズが前記決定部により決定された前記中心領域のサイズになるように、前記画像をスケーリング処理する
前記（１）に記載の画像処理装置。
（１７）
前記画像の撮影情報に応じた前記画像の広角表示に適している度合を表す広角適合度に基づいて前記中心領域を決定する決定部
をさらに備え、
前記中心生成部は、前記画像のサイズが前記決定部により決定された前記中心領域のサイズになるように、前記画像をスケーリング処理する
前記（１）に記載の画像処理装置。
（１８）
前記中心生成部は、前記画像が黒帯を含む場合、前記黒帯が削除された前記画像の特徴に基づいて前記画像をスケーリング処理する
前記（１）に記載の画像処理装置。
（１９）
前記中心生成部は、前記画像の被写体の実物のサイズに基づいて、前記中心領域の画像内の前記被写体のサイズが前記実物のサイズとなるように、前記画像をスケーリング処理する
前記（１）に記載の画像処理装置。
（２０）
画像処理装置が、
画像の特徴に基づいて前記画像をスケーリング処理して画面の中心領域の画像を生成する中心生成ステップと、
前記中心領域の画像を外挿補間して前記画面の前記中心領域の周辺の領域である周辺領域の画像を生成する周辺生成ステップと、
前記中心生成ステップの処理により生成された前記中心領域の画像と、前記周辺生成ステップの処理により生成された前記周辺領域の画像とを合成し、合成画像を生成する合成ステップと
を含む画像処理方法。
【符号の説明】
【０２９１】
１０  画像処理装置，  １３  中心生成部，  １４  周辺生成部，  １５  合成部，  ５３  領域決定部，  １７０  画像処理装置，  １９１  字幕テロップ検出部，  １９２  顔検出部，  １９３  人物検出部，  １９４  顕著度検出部，  ２１１  分析部，  ２７０  画像処理装置，  ２９２  判定部，  ３１３  領域決定部
【図１】
2014215604.tif 000012
【図２】
2014215604.tif 000013
【図３】
2014215604.tif 000014
【図４】
2014215604.tif 000015
【図５】
2014215604.tif 000016
【図６】
2014215604.tif 000017
【図７】
2014215604.tif 000018
【図８】
2014215604.tif 000019
【図９】
2014215604.tif 000020
【図１０】
2014215604.tif 000021
【図１１】
2014215604.tif 000022
【図１２】
2014215604.tif 000023
【図１３】
2014215604.tif 000024
【図１４】
2014215604.tif 000025
【図１５】
2014215604.tif 000026
【図１６】
2014215604.tif 000027
【図１７】
2014215604.tif 000028
【図１８】
2014215604.tif 000029
【図１９】
2014215604.tif 000030
【図２０】
2014215604.tif 000031
【図２１】
2014215604.tif 000032
【図２２】
2014215604.tif 000033
【図２３】
2014215604.tif 000034
【図２４】
2014215604.tif 000035
【図２５】
2014215604.tif 000036
【図２６】
2014215604.tif 000037
【図２７】
2014215604.tif 000038
【図２８】
2014215604.tif 000039
【図２９】
2014215604.tif 000040
【図３０】
2014215604.tif 000041
【図３１】
2014215604.tif 000042
【図３２】
2014215604.tif 000043
【図３３】
2014215604.tif 000044
【図３４】
2014215604.tif 000045
【図３５】
2014215604.tif 000046
【図３６】
2014215604.tif 000047
【図３７】
2014215604.tif 000048
【図３８】
2014215604.tif 000049
【図３９】
2014215604.tif 000050
【図４０】
2014215604.tif 000051
【図４１】
2014215604.tif 000052
【図４２】
2014215604.tif 000053
【図４３】
2014215604.tif 000054
【図４４】
2014215604.tif 000055
【図４５】
2014215604.tif 000056
【図４６】
2014215604.tif 000057
【図４７】
2014215604.tif 000058