(57)【特許請求の範囲】
【請求項１】
ディスプレイの曲率を参照する映像処理方法において、
前記ディスプレイの物理的曲率情報を獲得する段階と、
入力映像において、少なくとも１つの客体、あるいは、構図を検出する段階と、
前記検出された構図及び前記物理的曲率情報を利用するか、または、前記検出された少なくとも１つの客体位置及び前記物理的曲率情報を利用して、映像の中心領域を決定する段階と、
前記決定された映像の中心領域を基にして、ピクセル別位置によるゲインを生成する段階と、
前記ピクセル別位置によるゲインを利用して、前記入力映像のピクセル値を補正する段階と、を含み、
前記映像の中心領域を決定する段階は、
前記映像の中心領域の形態及び中心領域の位置を決定する段階を含む、
ことを特徴とする、映像処理方法。
【請求項２】
ディスプレイの曲率を参照する映像処理方法において、
前記ディスプレイの物理的曲率情報を獲得する段階と、
前記物理的曲率情報を基に、入力映像の中心領域を決定する段階と、
前記決定された映像の中心領域を基にして、ピクセル別位置によるゲインを生成する段階と、
前記ピクセル別位置によるゲインを利用して、前記入力映像のピクセル値を補正する段階と、を含み、
前記映像の中心領域を決定する段階は、
前記映像の中心領域の形態及び中心領域の位置を決定する段階を含み、
前記ピクセル別位置によるゲインは、前記決定された中心領域から遠くなるほど増加または減少するカラー成分の利得値である、
ことを特徴とする、映像処理方法。
【請求項３】
前記ピクセル値を補正する段階は、
前記映像に含まれたピクセルのカラー成分の明るさ、彩度及び色相のうち少なくとも一つを変更する、
ことを特徴とする請求項１または２に記載の映像処理方法。
【請求項４】
前記物理的曲率情報は、
前記ディスプレイに付着された変形感知部から検出されることを特徴とする請求項１または２に記載の映像処理方法。
【請求項５】
前記映像の中心領域を決定する段階は、
前記物理的曲率情報を利用して、前記ディスプレイが凹状である部分を中心領域に決定する段階を含むことを特徴とする請求項１または２に記載の映像処理方法。
【請求項６】
前記映像処理方法は、
前記入力映像がＲＧＢ映像である場合、前記ＲＧＢ映像に対して色空間変換を行い、前記入力映像を明るさ、彩度及び色相の成分に分離する段階をさらに含むことを特徴とする請求項１または２に記載の映像処理方法。
【請求項７】
ディスプレイの曲率を参照する映像処理装置において、
前記ディスプレイの物理的曲率情報を獲得する曲率情報獲得部と、
入力映像において、少なくとも１つの客体、あるいは、構図を検出し、前記検出された構図及び前記物理的曲率情報を利用するか、または、前記検出された少なくとも１つの客体位置及び前記物理的曲率情報を利用して、映像の中心領域を決定する中心領域決定部と、
前記決定された映像の中心領域を基にして、ピクセル別位置によるゲインを生成するゲイン生成部と、
前記ピクセル別位置によるゲインを利用して、前記入力映像のピクセル値を補正する映像補正部と、を含み、
前記中心領域決定部は、前記映像の中心領域の形態及び中心領域の位置を決定する、
ことを特徴とする、映像処理装置。
【請求項８】
前記映像補正部は、
前記映像に含まれたピクセルのカラー成分の明るさ、彩度及び色相のうち少なくとも一つを変更することを特徴とする請求項７に記載の映像処理装置。
【請求項９】
前記映像処理装置は、前記ディスプレイの物理的曲率を検出する変形感知部をさらに含み、
前記獲得部は、前記検出された物理的曲率情報を獲得することを特徴とする請求項７に記載の映像処理装置。
【請求項１０】
請求項１または２に記載の方法を具現するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置及びその方法に係り、さらに詳細には、ディスプレイの曲率を参照し、ピクセル別位置適応的に映像のピクセル成分を補正する装置及びその方法に関する。
【背景技術】
【０００２】
最近、ディスプレイの発展により、フレキシブル（flexible）ディスプレイ、フォールダブル（foldable）ディスプレイ、ベンダブル（bendable）ディスプレイ及びカーブド（curved）ディスプレイなどがハードウェア的に具現可能になった。
【０００３】
しかし、映像は、一般的に、偏平な（flat）なディスプレイ（display  device）で表示されるように処理され、かように物理的に曲率を有するディスプレイで表示される場合、歪曲現象の発生が不可避であるという問題がある。また、ディスプレイの曲がり具合または形態変化は、観察者が認知する周辺視野（peripheral  vision）特性に影響を与え、それによって、ディスプレイに表示される映像内物体の立体感、鮮明度、遠近感などの認知画質要素の低下を引き起こしてしまう。
【０００４】
一方、従来には、画質要素の低下を防ぐために、入力映像信号の空間周波数、明るさまたは彩度などを参照し、同一画面内において、カラー信号処理強度を増減処理する方法を使用した。しかし、かような従来の信号処理強度調節方法は、一般映像の非線形的特性のために、信号処理強度分布が急激に変化し、輪郭線欠陥（contour  artifact）またはノイズ欠陥を誘発するという短所があった。また、欠陥防止のために、映像処理のための強度の調節範囲が、現実的には非常に制限的に適用され、画質改善の効果も高くなかった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ディスプレイの曲率を参照して入力映像を処理する方法は、ディスプレイの曲がり具合または形態変化などの物理的形態変化を伴う映像処理装置において、ディスプレイの曲率程度によるカラー成分補正を介して、映像の立体感、鮮明度及び遠近感など認知画質を向上させる必要がある。
【課題を解決するための手段】
【０００６】
前記技術的課題を解決するために、本発明の一実施形態による、ディスプレイの曲率を参照する映像処理方法は、前記ディスプレイの物理的曲率情報を獲得する段階と、前記物理的曲率情報を基に、入力映像の中心領域を決定する段階と、前記決定された映像の中心領域を基にして、ピクセル別位置によるゲイン（spatial  indexed  gain）を生成する段階と、前記ピクセル別位置によるゲインを利用して、前記入力映像のピクセル値を補正する段階と、を含んでもよい。
【発明の効果】
【０００７】
多様な実施形態は、ディスプレイの曲がり具合または形態変化などの物理的形態変化を伴う映像処理装置において、ディスプレイの曲率程度によるカラー成分補正を介して、映像の立体感、鮮明度及び遠近感など認知画質を向上させるディスプレイの曲率を参照し、映像を処理する。
【図面の簡単な説明】
【０００８】
【図１Ａ】一実施形態による、ディスプレイの曲率を参照する映像処理装置のブロック図である。
【図１Ｂ】一実施形態による、ディスプレイの曲率を参照する映像処理方法のフローチャートである。
【図２】一実施形態による、ディスプレイの中心領域を決定する一例を図示する図面である。
【図３】一実施形態によるピクセル別位置によるゲインを示すグラフを図示する図面である。
【図４Ａ】他の実施形態による、ディスプレイの曲率を参照する映像処理装置のブロック図である。
【図４Ｂ】他の実施形態による、ディスプレイの曲率を参照する映像処理装置のフローチャートである。
【図５】他の実施形態によるディスプレイの物理的曲率情報を基に検出された客体を参照して中心領域を決定する一例を図示する図面である。
【図６】さらに他の実施形態によるディスプレイの物理的曲率情報を基に検出された客体を参照して中心領域を決定する他の例を図示する図面である。
【発明を実施するための形態】
【０００９】
本発明の一実施形態による、ディスプレイの曲率を参照する映像処理方法は、前記ディスプレイの物理的曲率情報を獲得する段階と、前記物理的曲率情報を基に、入力映像の中心領域を決定する段階と、前記決定された映像の中心領域を基にして、ピクセル別位置によるゲイン（spatial  indexed  gain）を生成する段階と、前記ピクセル別位置によるゲインを利用して、前記入力映像のピクセル値を補正する段階と、を含んでもよい。
【００１０】
一実施形態による前記ピクセル値補正段階は、前記映像に含まれたピクセルのカラー成分の明るさ、彩度及び色相のうち少なくとも一つを変更することができる。
【００１１】
一実施形態による前記物理的曲率情報は、前記ディスプレイに付着された変形感知部から検出される。
【００１２】
一実施形態による、前記映像の中心領域を決定する段階は、前記映像の中心領域の形態、及び中心領域の位置を決定する段階を含んでもよい。
【００１３】
一実施形態による前記映像の中心領域を決定する段階は、前記物理的曲率情報を利用して、前記ディスプレイが凹状である部分を中心領域に決定する段階を含んでもよい。
【００１４】
一実施形態による、前記映像の中心領域を決定する段階は、前記入力映像において、少なくとも１つの客体を検出する段階と、前記検出された少なくとも１つの客体位置及び前記物理的曲率情報を利用して、中心領域を決定する段階と、を含んでもよい。
【００１５】
一実施形態による前記客体を検出する段階は、顔検出を行うか、あるいはエッジ検出を行う段階を含んでもよい。
【００１６】
一実施形態による前記映像の中心領域を決定する段階は、前記映像において構図を検出する段階と、前記検出された構図及び前記物理的曲率情報を利用して、中心領域を決定する段階と、を含んでもよい。
【００１７】
一実施形態による前記ピクセル別位置によるゲインは、前記決定された中心領域から遠くなるほど小さくなるカラー成分の利得値でもある。
【００１８】
一実施形態による前記ピクセルのカラー成分は、明るさ、彩度及び色相のうち少なくとも一つを含んでもよい。
【００１９】
一実施形態による前記映像処理方法は、前記入力映像がＲＧＢ映像である場合、前記ＲＧＢ映像に対して色空間変換を行い、前記入力映像を明るさ、彩度及び色相の成分に分離する段階をさらに含んでもよい。
【００２０】
本発明の一実施形態によるディスプレイの曲率を参照する映像処理装置は、前記ディスプレイの物理的曲率情報を獲得する曲率情報獲得部と、前記物理的曲率情報を基に、入力映像の中心領域を決定する中心領域決定部と、前記決定された映像の中心領域を基にして、ピクセル別位置によるゲインを生成するゲイン生成部と、前記ピクセル別位置によるゲインを利用して、前記入力映像のピクセル値を補正する映像補正部と、を含む。
【００２１】
該映像処理装置は、前記ディスプレイの前記物理的曲率情報を獲得することを特徴とする曲率情報獲得部をさらに含んでもよい。
【００２２】
該映像処理装置は、前記ディスプレイの物理的曲率を検出する変形感知部をさらに含んでもよい。
【００２３】
以下、図面を参照し、本発明の一実施形態によるディスプレイの曲率を参照する映像処理装置及びその方法について詳細に説明する。しかし、本発明は、さまざまに異なる形態に具現され、ここで説明する実施形態に限定されるものではない。そして、本発明の説明おいて、関連する公知技術に係わる具体的な説明が、本発明の要旨を不明確にすると判断される場合、その詳細な説明を省略する。また、図面を参照しての説明において、同一であるか、あるいは対応する構成要素は、類似の図面番号を付し、それに係わる重複説明は省略する。
【００２４】
図１Ａは、一実施形態によるディスプレイ（display  device）の曲率を参照する映像処理装置１００のブロック図を図示している。
【００２５】
一実施形態による、画面の曲率を参照する映像処理装置１００は、曲率情報獲得部１１０、中心領域決定部１２０、ゲイン生成部１３０、映像補正部１４０を含む。一実施形態による映像処理装置１００は、前記ディスプレイの物理的曲率情報を獲得し、獲得された物理的曲率情報を基に、入力映像の中心領域を決定し、決定された中心領域を基に、入力映像のピクセル別位置によって、ピクセル値を補正することができる。
【００２６】
一実施形態による映像処理装置１００の曲率情報獲得部１１０は、ディスプレイの曲率情報を獲得することができる。ここで、曲率情報獲得部１１０は、固定された曲率を有するディスプレイの場合、ディスプレイのプロファイルを参照し、ディスプレイの物理的曲率情報受信することもできる。また、ディスプレイに別途に付着されたセンサが、ディスプレイの変形を感知する場合、該センサから曲率情報を受信することができる。
【００２７】
一実施形態による、物理的変形伴うディスプレイは、フレキシブル（flexible）ディスプレイ、フォールダブル（foldable）ディスプレイ、ベンダブル（bendable）ディスプレイ及びカーブド（curved）ディスプレイでもある。しかし、かような構成に限定されるものではなく、物理的に変形可能な多様な形態のディスプレイも使用可能であるということは言うまでもない。
【００２８】
一実施形態による映像処理装置１００の中心領域決定部１２０は、曲率情報獲得部１１０で獲得したディスプレイの曲率情報を基に、入力映像の中心領域を決定することができる。具体的には、ディスプレイの物理的曲率情報を参照し、映像の中心領域位置、及び中心領域の形態を決定することができ、中心領域の位置、及び中心領域の形態は、ディスプレイの屈曲の形態によって異なる。例えば、屈曲の極点が存在する位置を中心領域位置にし、曲率によって中心領域の形態を異なって設定するが、その形態は、円、楕円、四角、または多角形の形態などを有することができる。
【００２９】
一実施形態によって、中心領域決定部１２０は、ディスプレイの凹状部分を中心領域として決定することができ、波状にディスプレイが曲折しているならば、少なくとも１つの凹状部分をいずれも中心領域に決定することもできる。一方、他の実施形態によって、中心領域の形態及び位置を入力映像において検出される客体または構図によって、適応的に決定することができるが、詳細な内容は後述する。
【００３０】
一実施形態による映像処理装置１００のゲイン生成部１３０は、中心領域決定部１２０で決定された映像の中心領域を基にして、ピクセル別位置によるゲインを生成することができる。ここで、ピクセル別位置によるゲインは、入力映像に含まれたピクセルの位置によって異なって決定されるカラー成分の利得値であり、カラー成分は、明るさ、彩度及び色相のうち少なくとも一つを含んでもよい。
【００３１】
例えば、ピクセル別位置によるカラー成分のゲイン生成時、画面が凹状である部分では、相対的に処理強度を高め、周辺視野対比画面の立体感を増大させ、反対に、凸状部分については、相対的に処理強度を低め、周辺視野対比画面の過度な画質効果を抑制し、立体感を維持させる。すなわち、凹状部分において高い値を有し、凸状部分であればあるほど低い値を有するゲインを生成することができる。また、前述のように、凹状部分を中心領域に設定するならば、中心領域に高いゲインを割り当て、中心領域から遠くなるほど低いゲインを割り当て、前述の効果を得ることができる。
【００３２】
一実施形態による映像処理装置１００の映像補正部１４０は、ピクセル別位置によるゲインを利用して、入力映像のピクセル値を補正することができる。
【００３３】
具体的には、ピクセル別カラー成分を決定されたピクセル別位置によるゲインを利用して、下記の数式（１）のように差等的に補正を行う。
【００３４】
【数１】
0006378329.tif 000002
ここで、Ｉｎ［ｉ］［ｊ］は、［ｉ］［ｊ］番目に入力される映像のピクセルを示し、Gainは、前述のピクセル位置別ゲイン、Outは、出力映像を示す。また、Offsetは、映像の全体的な特性を反映させるためのオフセットを示す。例えば、出力映像のピクセル値の正規化のために、オフセットが設定される。
【００３５】
前記数式（１）の適用により、入力映像は、カラー成分に対して、ピクセル別位置によるゲインが適用されて補正されることにより、曲率を有したディスプレイにおいて、立体感、鮮明度及び遠近感などの認知画質が低下しない映像が出力される。
【００３６】
一方、ここで補正されるピクセルのカラー成分は、明るさ、彩度及び色相のうち少なくとも一つを含んでもよい。映像処理装置１００は、入力映像がＲＧＢ映像である場合、ＲＧＢ映像に対して色空間変換を行い、入力映像を、明るさ、彩度及び色相の成分に分離し、各成分に対して、前述の各種動作を遂行することもできる。
【００３７】
かようなＲＧＢ映像に対する色空間変換方法の一例としては、ＹＣｂＣｒ変換がある。しかし、かような構成に限定されるものではなく、多様な形態の色空間変換が実施されるるということは言うまでもなく、本実施形態が属する分野の当業者であるならば、ＲＧＢ映像を、明るさ、彩度及び色相の成分に分離する技術は、公知技術に該当し、容易に理解可能であるので、具体的な説明は省略する。
【００３８】
一方、前記数式（１）では、一実施形態によって、ピクセル値補正において、オフセットをさらに含んでもよい。ここで、オフセットは、入力映像全体の平均明るさなどを考慮して設定される値である。もし入力映像のカラー成分への考慮なしに、ピクセル別位置によるゲインのみによって入力映像を補正すれば、入力映像の非線形的な特性によって、不自然な映像が表示される。従って、ピクセル値の補正時、物理的曲率を参照して生成されたピクセル別位置によるゲインを利用するが、入力映像の平均明るさなども考慮することにより、出力映像が不自然なカラー成分を有することを防止することができる。
【００３９】
一実施形態による、曲率情報獲得部１１０、中心領域決定部１２０、ゲイン生成部１３０及び映像補正部１４０の具体的な動作は、以下、図１Ｂを参照して詳細に説明する。
【００４０】
図１Ｂを参照すれば、ディスプレイの曲率を参照する映像処理方法は、図１Ａに図示された映像処理装置１００において時系列的に処理される段階によって構成される。従って、以下で省略された内容であるとしても、図１Ａに図示された映像処理装置１００について、以上で記述された内容は、図１Ｂに図示された方法にも適用されるということを分かるであろう。
【００４１】
段階Ｓ１１５において、曲率情報獲得部１１０は、ディスプレイの曲率情報を獲得することができる。具体的には、映像処理装置１００が、固定された物理的曲率を有したディスプレイを含む場合、一実施形態により、ディスプレイプロファイルなどを介して、曲率情報獲得部１１０は、ディスプレイのプロファイルから、物理的曲率情報を獲得することができる。また、他の実施形態によって、ディスプレイが可変的な物理的曲率を有する場合、ディスプレイに付着されたセンサなどから、曲率情報獲得部１１０は、ディスプレイの物理的曲率情報を獲得することもできる。
【００４２】
段階Ｓ１２５においては、中心領域決定部１２０は、曲率情報獲得部１１０で獲得したディスプレイの物理的曲率情報を基に、入力映像の中心領域を決定することができる。具体的には、中心領域決定部１２０は、ディスプレイの物理的曲率情報を基に、中心領域の形態、及び中心領域の位置を決定することができる。
【００４３】
例えば、図２は、一実施形態によって、ディスプレイ２００の中心領域２２０を決定する一例を図示している。
【００４４】
図２を参照すれば、左右が対称である形態に凹状に反ったディスプレイ２００の場合、ディスプレイから獲得した曲率情報を基に、中心領域決定部１２０は、ディスプレイ２００の真ん中２１０を中心領域の位置に決定することができる。また、画面が一定曲率を有して反っているので、中心領域の形態を長方形２２０に決定することもできる。
【００４５】
一方、本実施形態では、凹状部分を中心領域に設定したが、かような構成に限定されるものではなく、本実施形態が属する技術分野で当業者であるならば、画面の曲率を参照し、最も凹状の部分に沿って、中心領域の位置が真ん中から左右にシフトされ、また、凸状部分を中心領域に設定したり、ディスプレイの屈曲を基に、少なくとも１以上の中心領域を決定したりすることができるということを容易に理解することができるであろう。
【００４６】
再び図１Ｂを参照すれば、段階Ｓ１３５においては、ゲイン生成部１３０は、決定された映像の中心領域を基にして、ピクセル別位置によるゲインを生成することができる。具体的には、物理的曲率を参照して決定された中心領域の位置及び形態によって、ピクセル別位置によって、異なる値を有するゲインが生成される。
【００４７】
例えば、図３は、一実施形態による、ピクセル別位置によるゲインを示すグラフを図示している。図３に図示されたグラフにおいて、横軸は、入力映像の特定ラインでのピクセル位置を示し、縦軸は、特定ラインのピクセル別カラー成分のゲインを示している。
【００４８】
図３を参照すれば、一実施形態によって、画面の中心が凹状である形態のディスプレイの場合、グラフ３０１及び３０２のような形態であり、中心で高いゲインを有するように、ピクセル別カラー成分のゲインが分布する。ここで、グラフ３０１と３０２は、ディスプレイの物理的曲率によって、傾きが異なるという特性を示している。ディスプレイの傾きが緩慢であれば、グラフ３０１のように、緩慢な形態にゲインが分布し、傾きが急激であるならば、グラフ３０２のように、急激な形態にゲインが分布する。
【００４９】
ディスプレイが波状に２回屈曲された場合、中心領域が屈曲を中心に二つ設定されるものであるので、他の実施形態によって、グラフ３０３のような形態に分布したゲインを有することができる。ディスプレイが凸状に曲がっている場合、他の実施形態によってグラフ３０４のような形態のゲイン分布を有することもできる。
【００５０】
例えば、図２に図示された実施形態において決定された中心領域を参照すれば、ディスプレイは、中心が凹状であり、図２に図示された中心領域の大きさに対応する曲率を有するものであるので、グラフ３０１と３０２との間の傾きを有しつつ、ディスプレイ中心の強度が高いように分布したゲインが生成されるということを予測することができる。
【００５１】
一方、図３に図示されたグラフの場合、入力映像において、１本のラインに配置されたピクセル別位置によるゲインの分布を示したものであり、中心領域の形態が四角形であるならば、全てのラインの分布が同一である、中心領域の形態が長方形ではなく、円形、楕円形のように、縦方向を基準に水平間隔が一定ではない形態の場合、ライン別にピクセル別位置によるゲイン分布グラフは、異なる形態を有することができる。
【００５２】
また、本実施形態において、ピクセル別位置によるゲインは、横方向での（ライン別）変化のみを図示したが、かような構成に限定されるものではなく、ディスプレイの物理的曲率によって、多様な方向を有することもできる。
【００５３】
再び、図１Ｂを参照すれば、段階Ｓ１４５においては、ピクセル別位置によるゲインを利用して、入力映像のピクセル値を補正する。
【００５４】
例えば、ピクセル別位置によるゲインが、カラー成分の明るさを調節するためのゲインを含み、その分布図が図３のグラフ３０１の形態のようであるならば、一実施形態によって、入力映像は、中心領域のピクセルは、高い明るさを有し、ピクセルが中心領域から遠くなるほど低いゲインを有するように補正され、中心領域に表示された映像の立体感、鮮明度及び遠近感が増大するようことになる。
【００５５】
また、ピクセル別位置によるゲインが、カラー成分の明るさに係わるゲインだけではなく、彩度に係わるゲインも含むものであるならば、他の実施形態によって、入力映像の中心領域のピクセルは、高い明るさを有するが、低い彩度を有し、中心領域から遠くなるほど低い明るさを有するが、高い彩度を有するようにゲインが生成されるであろう。それを利用して、入力映像のピクセルを補正することにより、表示された映像の立体感、鮮明度及び遠近感が増大する。
【００５６】
他の実施形態によって、両方側面が曲がった凹状ディスプレイのような曲率を有することにより、フラットディスプレイより広い認知視野を有するディスプレイにおいて、曲率を参照して映像処理する方法を提供し、ディスプレイにおいて、立体感、鮮明度及び遠近感などの認知画質も低下しない映像が出力されるという効果がある。
【００５７】
図４Ａ及び図４Ｂは、他の実施形態によるディスプレイの曲率を参照する映像処理装置４００のブロック図及びフローチャートを図示している。図４Ａ及び図４Ｂは、図１Ａ及び図１Ｂと類似する部分が多いので、差異を中心に説明する。
【００５８】
図４Ａを参照すれば、他の実施形態による、画面の曲率を参照する映像処理装置４００は、変形感知部４０１、曲率情報獲得部４１０、中心領域決定部４２０、ゲイン生成部４３０、映像補正部４４０を含む。ここで、変形感知部４０１は、凸状感知部４０２と凹状感知部４０３をさらに含み、中心領域決定部４２０は、客体検出部４２１と構図検出部４２２とをさらに含む。
【００５９】
一実施形態による映像処理装置４００は、変形感知部４０１を介して、ディスプレイの物理的曲率情報を獲得することができる。獲得された物理的曲率情報、及び入力映像において検出された客体または構図を基に、入力映像の中心領域を決定することができる。決定された中心領域を基に、入力映像のピクセル別位置によって、ピクセル値を補正することができる。
【００６０】
一実施形態による映像処理装置４００の変形感知部４０１は、ディスプレイの変形を感知し、曲率情報を検出することができる。具体的には、変形感知部４０１がディスプレイの変形を感知すれば、凸状感知部４０２は、ディスプレイにおいて凸状部分の曲率を感知し、凹状感知部４０３は、凹状部分を感知し、曲率情報を検出することができる。
【００６１】
また、曲率情報獲得部４１０は、検出されたディスプレイの曲率情報を獲得し、中心領域決定部４２０に提供することができる。
【００６２】
一実施形態による映像処理装置４００の中心領域決定部４２０は、曲率情報獲得部４１０で獲得したディスプレイの曲率情報を基に、入力映像の中心領域を決定することができる。ただし、図１Ａ及び図１Ｂで説明した例と異なり、他の実施形態によって検出された物理的曲率情報だけではなく、入力映像で獲得された情報を共に利用して中心領域を決定する。
【００６３】
一実施形態による映像処理装置４００の客体検出部４２１は、入力映像において少なくとも１つの客体を検出し、中心領域決定部４２０は、検出された客体、及び獲得された物理的曲率情報に基づいて、中心領域を決定することができる。すなわち、物理的曲率情報を基に決定された中心領域に対して、入力映像において検出される客体によって、中心領域の位置及び形態が変更される。
【００６４】
ここで、一実施形態による物理的曲率情報に基づいて、中心領域を決定する方法は、図１Ａ及び図１Ｂに係わる説明で説明したので省略する。
【００６５】
一方、映像が入力されれば、映像処理装置４００の客体検出部４２１は、入力映像において客体を検出することができる。ここで、客体は、人の顔、または事物の特徴的な部分に該当する。
【００６６】
具体的には、他の実施形態による映像処理装置４００の客体検出部４２１は、客体を検出するために、映像に顔認識アルゴリズムを適用し、構図情報を抽出することができる。
【００６７】
例えば、ディスプレイされた映像に係わる顔の大きさ、位置及び方向が検出される。
【００６８】
顔の大きさの検出時、カラーを基に顔領域を検出したり、エッジを基に顔領域を検出したりすることができる。
【００６９】
また、顔の位置の検出時、抽出された顔の中心部と、既設定のディスプレイの中心部との距離から、顔の位置を計算することができる。顔の方向の検出時、抽出された顔から、目及び口によって構成された三角形によって顔方向を検出することができる。
【００７０】
例えば、図５に図示されているように、入力映像において検出された人の顔を、客体５２１として検出することができる。前述の顔認識アルゴリズムに係わる内容は、すでに公知内容が多いので、詳細な説明は省略する。
【００７１】
他の実施形態による映像処理装置４００の客体検出部４２１は、入力映像において、事物の特徴的な部分を、エッジ検出を介して客体として検出することができる。例えば、図６に図示されているように、画面に存在する山頂を客体６２０，６２１として検出することができる。また、ここで、エッジ検出に係わる内容は、すでに公知内容が多いので、詳細な説明は省略する。
【００７２】
一方、前記客体検出部４２１が客体を検出すれば、一実施形態によって、中心領域決定部４２０は、ディスプレイの物理的曲率情報を基に検出された客体を参照し、中心領域を決定する。
【００７３】
例えば、図５は、他の実施形態によるディスプレイの物理的曲率情報を基に検出された客体を参照して中心領域を決定する一例を図示している。
【００７４】
図５を参照すれば、一実施形態によって、ディスプレイ５００の真ん中５１０が凹状である形態のディスプレイに入力される映像において、真中５１０から所定位置５３０ほど外れた位置５１１において客体５２１が検出されるならば、中心領域の位置は、真中５１０ではない客体の中心５１１になり、中心領域の形態は、客体５２１の形態によって楕円形に決定される。すなわち、図２及び図５に図示されたディスプレイが同一曲率を有するとき、物理的曲率のみを基に、中心領域が決定されるならば、図２の中心領域２２０のように決定され、それに加え、入力映像において検出された客体に基づいて中心領域を決定するならば、図５に図示されているように、客体を中心に中心領域５２０が決定されるのである。従って、中心領域の位置及び形態を、検出される客体によって補正することにより、入力映像に対して適応的に、立体感、鮮明度及び遠近感などが増するように補正された映像を表示することができる。
【００７５】
一方、検出された客体がディスプレイの曲率のみを参照して決定された中心領域位置から所定位置以上外れているならば、一実施形態によって、客体が検出された位置を他の中心領域に決定することができ、または他の実施形態によって、客体を除いて中心領域を決定することもできる。ここで、所定位置は、画面に表示される映像が不自然ではないと判断される範囲であるならば、実験的に自由に決定される値であり、特定値に限定される値ではない。
【００７６】
また、入力された映像において、複数個の客体が検出される場合、さらに他の実施形態によって、複数個の客体が検出される領域を中心領域として決定することもできる。
【００７７】
例えば、図６は、さらに他の実施形態による、ディスプレイの物理的曲率情報を基に検出された客体を参照し、中心領域を決定する他の例を図示している。
【００７８】
図６を参照すれば、入力映像６００において検出された２つの客体が、それぞれ中心領域６２０，６２１として決定される。
【００７９】
再び図４Ａを参照すれば、他の実施形態による映像処理装置４００の構図検出部４２２は、入力映像において少なくとも１つの客体を検出し、中心領域決定部４２０は、検出された構図、及び獲得された物理的曲率情報を基づいて、中心領域を決定することができる。すなわち、物理的曲率情報を基に決定された中心領域に対して、入力映像において検出される構図によって、中心領域の位置及び形態を変更することができる。
【００８０】
構図検出部４２２は、一実施形態によって、前述の客体検出部４２１が入力映像において客体を検出することができなかった場合、構図検出を行うことができる。しかし、かような構成に限定されるものではなく、他の実施形態によって、客体検出と構図検出とが同時に行われるということは言うまでもない。
【００８１】
具体的には、構図検出部４２２は、入力映像において、ライン別トーン（tone）の変化率を検出し、変化率の程度により、構図の階層（area）を検出することができる。すなわち、一実施形態によって、物理的曲率情報とは別途に、入力映像での階層を検出するが、トーンの変化率が高い階層を、カラー成分の強調が必要な部分と判断し、中心領域に設定することができる。例えば、入力映像において、トーンの変化率が大きいところを中心領域として決定し、ピクセル別に補正を行うことにより、立体感、鮮明度及び遠近感が強調される。
【００８２】
前述のところにより、中心領域決定部４２０が入力映像の中心領域を決定すれば、ゲイン生成部４３０は、決定された映像の中心領域を基にして、ピクセル別位置によるゲインを生成し、映像補正部４４０は、ピクセル別位置によるゲインを利用して、入力映像のピクセル値を補正することができる。
【００８３】
一方、図４Ａに図示されたゲイン生成部４３０と、映像補正部４４０は、図１Ａに図示されたゲイン生成部１３０及び映像補正部１４０に対応するので、詳細な説明は省略する。
【００８４】
他の実施形態による、曲率情報獲得部４１０、中心領域決定部４２０、ゲイン生成部４３０及び映像補正部４４０の具体的な動作は、以下、図４Ｂを参照して詳細に説明する。
【００８５】
図４Ｂを参照すれば、ディスプレイの曲率を参照する映像処理方法は、図４Ａに図示された映像処理装置４００において、時系列的に処理される段階によって構成される。従って、以下で省略された内容であるとしても、図４Ａに図示された映像処理装置４００について以上で記述された内容は、図４Ｂに図示された方法にも適用されるということを分かるであろう。
【００８６】
段階Ｓ４１５において、曲率情報獲得部４１０は、ディスプレイの曲率情報を獲得することができる。具体的には、一実施形態によって、ディスプレイが可変的な物理的曲率を有する場合、ディスプレイに付着された変形感知部４０１から、ディスプレイの凸状または凹状の程度を感知することにより、曲率情報を検出することができる。曲率情報獲得部１１０は、検出されたディスプレイの物理的曲率情報を獲得することができる。
【００８７】
段階Ｓ４２４においては、一実施形態によって、入力映像において客体を検出する。例えば、一実施形態によって、顔検出を行い、入力映像において客体を検出することができる。また、他の実施形態によって、エッジ検出を行い、入力映像において客体を検出することができる。
【００８８】
もし入力映像で客体が検出されれば、段階Ｓ４２５において、他の実施形態による中心領域決定部４２０は、曲率情報獲得部４１０で獲得したディスプレイの物理的曲率情報、及び検出された客体の位置を基にして、中心領域を決定する。ここで、中心領域決定部４２０は、前記入力映像の中心領域の形態、及び中心領域の位置を決定することができる。
【００８９】
例えば、一実施形態によって、物理的曲率情報のみを基にして決定された中心領域において、所定範囲内に客体が検出されれば、検出された客体の位置及び形態により、中心領域が決定される。または、他の実施形態によって、検出された客体の位置を他の中心領域に設定することもできる。
【００９０】
一方、段階Ｓ４２４において、入力映像において客体が検出されなければ、他の実施形態によって、段階Ｓ４２６において、入力映像において構図を認識することができる。
【００９１】
段階Ｓ４２７においては、本発明の他の実施形態による映像処理装置４００の中心領域決定部４２０は、ディスプレイの物理的曲率情報と、検出された構図とを基に、中心領域を決定することができる。
【００９２】
具体的には、構図検出部４２２は、入力映像において、ライン別トーンの変化率を検出し、変化率の程度により、構図の階層を検出することができる。すなわち、一実施形態によって、物理的曲率情報とは別途に、入力映像での階層を検出するがトーンの変化率が高い階層を、カラー成分の強調が必要な部分と判断し、中心領域に決定することができる。
【００９３】
他の実施形態によって、構図検出のみを利用して決定された中心領域が、物理的曲率情報のみを基に決定された中心領域と、一定距離以上離れていない場合、構図検出のみを利用して決定された中心領域を、映像の中心領域に決定することもでき、両中心領域を、いずれも映像の中心領域に決定することもできる。
【００９４】
段階Ｓ４３５においては、ゲイン生成部４３０は、決定された映像の中心領域を基にして、ピクセル別位置によるゲインを生成することができる。
【００９５】
そして、段階Ｓ４４５においては、ゲイン補正部４４０は、生成されたピクセル別位置によるゲインを利用して、入力映像のピクセル値を補正することができる。
【００９６】
一方、図４Ｂに図示された段階Ｓ４３５及び段階Ｓ４４５は、図１Ｂに図示された段階Ｓ１３５及び段階Ｓ１４５に対応するので、詳細な説明は省略する。
【００９７】
一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read  only  memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact  disc）−ＲＯＭ、ＤＶＤ（digital  versatile  disc）など）のような記録媒体を含む。
【００９８】
以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野において当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。
【図１Ａ】
0006378329.tif 000003
【図１Ｂ】
0006378329.tif 000004
【図２】
0006378329.tif 000005
【図３】
0006378329.tif 000006
【図４Ａ】
0006378329.tif 000007
【図４Ｂ】
0006378329.tif 000008
【図５】
0006378329.tif 000009
【図６】
0006378329.tif 000010