(57)【要約】【課題】１つの画面に複数の映像を表示する際に、すべての映像について適切な表示を行なうことが可能な映像処理装置を提供する。【解決手段】１画面に同時表示される複数の映像のそれぞれの映像信号について映像方式を検出する映像方式検出部と、前記映像方式検出部が検出した各前記映像信号の映像方式に適した補間処理を前記複数の映像信号のそれぞれについて実行して前記映像信号の周波数より高い周波数の映像信号に変換する補間部と、前記補間部が前記複数の映像信号のそれぞれについて補間処理を行なった後の映像信号を用いて１画面に同時表示させるための映像信号を生成する信号生成部と、を備える、映像処理装置が提供される。【選択図】図１
2014033255.tif 000002
【特許請求の範囲】
【請求項１】
１画面に同時表示される複数の映像のそれぞれの映像信号について映像方式を検出する映像方式検出部と、
前記映像方式検出部が検出した各前記映像信号の映像方式に適した補間処理を前記複数の映像信号のそれぞれについて実行して前記映像信号の周波数より高い周波数の映像信号に変換する補間部と、
前記補間部が前記複数の映像信号のそれぞれについて補間処理を行なった後の映像信号を用いて１画面に同時表示させるための映像信号を生成する信号生成部と、
を備える、映像処理装置。
【請求項２】
１画面に同時表示される複数の映像のそれぞれの表示領域を検出する領域検出部をさらに備え、
前記映像方式検出部は、前記領域検出部が検出した各表示領域における映像方式を検出する、請求項１に記載の映像処理装置。
【請求項３】
１画面に同時表示される複数の映像信号からなる映像信号の画面解像度が１９２０×１０８０ピクセルより大きい、請求項１に記載の映像処理装置。
【請求項４】
前記補間部は、補間する画像の枚数が均等となるように基となる画像を選択する、請求項１に記載の映像処理装置。
【請求項５】
前記補間部は、各前記映像信号から一部の画像を選択して補間処理を実行する、請求項１に記載の映像処理装置。
【請求項６】
１画面に同時表示される複数の映像のそれぞれの映像信号について映像方式を検出する映像方式検出ステップと、
前記映像方式検出ステップで検出された各映像信号の映像方式に適した補間処理を前記複数の映像信号のそれぞれについて実行して前記映像信号の周波数より高い周波数の映像信号に変換する補間ステップと、
前記補間ステップで前記複数の映像信号のそれぞれについて補間処理が行なわれた後の映像信号を用いて１画面に表示させるための映像信号を生成する信号生成ステップと、
を備える、映像処理方法。
【請求項７】
コンピュータに、
１画面に同時表示される複数の映像のそれぞれの映像信号について映像方式を検出する映像方式検出ステップと、
前記映像方式検出ステップで検出された各映像信号の映像方式に適した補間処理を前記複数の映像信号のそれぞれについて実行して前記映像信号の周波数より高い周波数の映像信号に変換する補間ステップと、
前記補間ステップで前記複数の映像信号のそれぞれについて補間処理が行なわれた後の映像信号を用いて１画面に表示させるための映像信号を生成する信号生成ステップと、
を実行させる、映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、映像処理装置、映像処理方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
テレビなどの映像表示装置には、１つの画面上に複数の映像を同時表示することができるものがある。１つの画面に複数の映像を同時表示することで、１つの映像表示装置で複数のユーザがそれぞれ異なる映像を楽しむことが出来る。
【０００３】
ところで、１つの画面上に複数の映像を同時表示する際に、その映像は全て同じ映像方式を用いている映像とは限らない。映像方式には、例えば、通常のテレビ入力信号である５０Ｈｚまたは６０Ｈｚの１：１プルダウン、映画などの低周波数（例えば２４Ｈｚ）の映像をテレビ入力信号と同じ５０Ｈｚまたは６０Ｈｚにアップコンバートした２：２プルダウン、３：２プルダウンなどがある。１つの画面上に複数の映像を同時表示する際には、様々なプルダウンパターン（ケーデンス）の入力映像信号が供給されることがある。
【０００４】
従来は、１つの画面上に異なるケーデンスの入力映像信号からなる映像を同時表示する際には、いずれかのケーデンスに合わせて、フレーム補間処理や液晶ディスプレイにおいて残像感を残さないためのフレーム数の引き上げ処理（倍速処理）を行なっていた。倍速処理は、フレーム数の引き上げのために、前後のフレームから映像を補間する処理である。また従来は、１つの画面上に複数の映像を同時表示する際に、従来は低周波数の映像信号をアップコンバートして、複数の映像全てで周波数を合わせ込んでいた（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１１１９３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし従来は、映画などの低周波数の映像をアップコンバートした映像や、他のケーデンスの映像信号からなる映像を１つの画面上に同時表示すると、適切なフレーム補間が出来ず、映像がぎこちなく見えるジャダーと呼ばれる現象が生じていた。
【０００７】
そこで、本開示は、１つの画面に複数の映像を表示する際に、すべての映像について適切な表示を行なうことが可能な、新規かつ改良された映像処理装置、映像処理方法及びコンピュータプログラムを提供する。
【課題を解決するための手段】
【０００８】
本開示によれば、１画面に同時表示される複数の映像のそれぞれの映像信号について映像方式を検出する映像方式検出部と、前記映像方式検出部が検出した各映像信号の映像方式に適した補間処理を前記複数の映像信号のそれぞれについて実行する補間部と、前記補間部が前記複数の映像信号のそれぞれについて補間処理を行なった後の映像信号を用いて１画面に表示させるための映像信号を生成する信号生成部と、を備える、映像処理装置が提供される。
【０００９】
また本開示によれば、１画面に同時表示される複数の映像のそれぞれの映像信号について映像方式を検出する映像方式検出ステップと、前記映像方式検出ステップで検出された各映像信号の映像方式に適した補間処理を前記複数の映像信号のそれぞれについて実行する補間ステップと、前記補間ステップで前記複数の映像信号のそれぞれについて補間処理が行なわれた後の映像信号を用いて１画面に表示させるための映像信号を生成する信号生成ステップと、を備える、映像処理方法が提供される。
【００１０】
また本開示によれば、コンピュータに、１画面に同時表示される複数の映像のそれぞれの映像信号について映像方式を検出する映像方式検出ステップと、前記映像方式検出ステップで検出された各映像信号の映像方式に適した補間処理を前記複数の映像信号のそれぞれについて実行する補間ステップと、前記補間ステップで前記複数の映像信号のそれぞれについて補間処理が行なわれた後の映像信号を用いて１画面に表示させるための映像信号を生成する信号生成ステップと、を実行させる、映像処理方法が提供される。
【発明の効果】
【００１１】
以上説明したように本開示によれば、１つの画面に複数の映像を表示する際に、すべての映像について適切な表示を行なうことが可能な、新規かつ改良された映像処理装置、映像処理方法及びコンピュータプログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本開示の一実施形態にかかる映像処理装置１００の概要を示す説明図である。
【図２】本開示の一実施形態にかかる映像処理装置１００の機能構成例を示す説明図である。
【図３】本開示の一実施形態にかかる映像処理装置１００に含まれる映像検出部１３０ａの構成について説明する説明図である。
【図４】本開示の一実施形態にかかる映像処理装置１００の動作例を示す流れ図である。
【図５】本開示の一実施形態にかかる映像処理装置１００に供給される映像信号により表示される映像の表示領域の一例を示す説明図である。
【図６】表示領域より大きい領域を信号処理の対象とする場合を示す説明図である。
【図７】映像のタイミングチャートを示す説明図である。
【図８】映像のタイミングチャートを示す説明図である。
【図９】後処理部１５０による、補間処理が施された後の映像の合成について示す説明図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
なお、説明は以下の順序で行うものとする。
＜１．本開示の一実施形態＞
［映像処理装置の概要］
［映像処理装置の機能構成例］
［映像処理装置の動作例］
＜２．まとめ＞
【００１５】
＜１．本開示の一実施形態＞
［映像処理装置の概要］
まず、図面を参照しながら本開示の一実施形態にかかる映像処理装置の概要を説明する。図１は、本開示の一実施形態にかかる映像処理装置１００の概要を示す説明図である。以下、図１を用いて本開示の一実施形態にかかる映像処理装置１００の概要について説明する。
【００１６】
本開示の一実施形態にかかる映像処理装置１００は、単一の映像ソースからの映像信号を処理して映像を映像表示装置１０に表示させることが出来るだけでなく、複数の映像ソースからの映像信号を処理して映像を同時に映像表示装置１０に表示させることができる装置である。映像表示装置１０は、液晶ディスプレイパネル、有機ＥＬディスプレイパネルその他の表示パネルを備え、例えば横１９２０ピクセル×縦１０８０ピクセルの画面解像度を超える画面解像度を有する。以下の説明では、映像表示装置１０は、横４０００ピクセル×縦２０００ピクセル前後の画面解像度を有するとして説明する。
【００１７】
映像処理装置１００は、映像表示装置１０で動きの激しい映像を表示する際の残像感を軽減させるために、フレーム数の引き上げ処理（倍速処理）を実行する。そして本実施形態にかかる映像処理装置１００は、倍速処理の実行の際に、供給される映像信号のケーデンスに応じた補間処理を実行する。映像信号のケーデンスに応じた倍速処理の実行により、映像処理装置１００は、複数の映像を同時に映像表示装置１０に表示させる際に、すべての映像について適切な表示を可能とする。
【００１８】
なお、本実施形態では、図１に示したように、映像信号を処理する映像処理装置１００と、映像を表示する映像表示装置１０とを別々の装置として示したが、本開示は係る例に限定されない。また本実施形態では、映像表示装置１０に表示する映像は、二次元の映像であってもよく、視聴者に立体的な映像として知覚させることができる三次元の映像であってもよい。
【００１９】
以上、図１を用いて本開示の一実施形態にかかる映像処理装置１００の概要について説明した。次に、本開示の一実施形態にかかる映像処理装置１００の機能構成例について説明する。
【００２０】
［映像処理装置の機能構成例］
図２は、本開示の一実施形態にかかる映像処理装置１００の機能構成例を示す説明図である。以下、図２を用いて本開示の一実施形態にかかる映像処理装置１００の機能構成例について説明する。
【００２１】
図２に示した映像処理装置１００は、上述したように、複数の映像ソースからの映像信号を処理して、その映像信号からなる映像を映像表示装置１０に同時に表示させる装置である。本実施形態では、映像処理装置１００は、最大で４つの映像ソースからの映像信号を処理し、４つの映像を映像表示装置１０に同時に表示させることができるよう構成されている。図２に示したように、本開示の一実施形態にかかる映像処理装置１００は、前処理部１１０と、タイミングコントローラ１２０と、映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄと、補間処理部１４０ａ、１４０ｂ、１４０ｃ、１４０ｄと、後処理部１５０と、を含んで構成される。
【００２２】
前処理部１１０は、映像処理装置１００に供給される映像信号に対する倍速処理（補間処理）の前段階の各種処理を実行する。前処理部１１０が実行する、倍速処理の前段階の各種処理には、例えば、補間処理を簡略化するための映像の低解像度化処理、ノイズをローパスフィルタ等で処理するフィルタリング処理、補間処理のために映像をマスクするマスク処理等がある。前処理部１１０は、映像処理装置１００に供給される映像信号に対して上述した各種処理を実行すると、処理後の信号を映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄに出力する。
【００２３】
なお、映像処理装置１００には、複数の映像を映像表示装置１０で同時に表示するために、予め複数の映像ソースからの映像信号が合成された状態で、映像信号が供給される。
【００２４】
タイミングコントローラ１２０は、映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄや補間処理部１４０ａ、１４０ｂ、１４０ｃ、１４０ｄに対して処理タイミングを制御する。例えばタイミングコントローラ１２０は、映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄや補間処理部１４０ａ、１４０ｂ、１４０ｃ、１４０ｄでの信号処理の際に、メモリへの信号の書き込みやメモリからの信号の読み出しのタイミングを制御するための信号を出力する。映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄや補間処理部１４０ａ、１４０ｂ、１４０ｃ、１４０ｄは、タイミングコントローラ１２０の制御によって信号処理を実行する。
【００２５】
映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄは、前処理部１１０から出力された信号に対して、映像領域の特定や、特定した映像領域における映像のケーデンスを検出する。また映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄは、後段の補間処理部１４０ａ、１４０ｂ、１４０ｃ、１４０ｄによる映像のフレーム間の補間処理の際に用いられる、映像に含まれる物体の動きベクトルの算出、映像全体の一定方向への動きを検出するパンニング検出、映像が静止画かどうかを検出するスチル検出等を行なう。なお映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄは、前処理部１１０によって解像度が落とされた映像信号に対して、動きベクトルの算出、パンニング検出、スチル検出等を実行してもよい。
【００２６】
本実施形態では、最大で４つの映像を映像表示装置１０に同時に表示させることを前提としている。従って、映像処理装置１００には、同時表示可能な最大の映像数に合わせて、４つの映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄが設けられる。映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄは、前処理部１１０から出力された信号に対して、映像領域を特定し、特定した映像領域における映像のケーデンスを検出すると、映像領域および映像のケーデンスの情報を、前処理部１１０から出力された信号とともに、それぞれ補間処理部１４０ａ、１４０ｂ、１４０ｃ、１４０ｄへ出力する。
【００２７】
本実施形態では、映像表示装置１０に表示する映像の位置とサイズは固定されず、自由に変更が可能であるものとする。従って、映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄは、それぞれ映像の四隅を起点として映像領域の特定を行なうようにしても良い。
【００２８】
補間処理部１４０ａ、１４０ｂ、１４０ｃ、１４０ｄは、映像処理装置１００に供給される映像信号に対して、映像のケーデンスに応じた映像のフレーム間の補間処理を実行する。映像処理装置１００に供給される映像信号は、複数の映像ソースからの映像信号が合成されたものであり、そのケーデンスもまちまちであるので、補間処理部１４０ａ、１４０ｂ、１４０ｃ、１４０ｄは、それぞれ特定の映像のケーデンスに応じた補間処理を実行するのではなく、映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄが検出した映像のケーデンスに応じた補間処理を実行する。
【００２９】
補間処理部１４０ａ、１４０ｂ、１４０ｃ、１４０ｄによる映像のフレーム間の補間処理は特定の処理に限定されるものではないが、一例を挙げると以下のように実行される。例えば補間処理部１４０ａ、１４０ｂ、１４０ｃ、１４０ｄは、映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄが求めた動きベクトルを用いて、映像のフレーム間の画像を補間する。補間処理部１４０ａ、１４０ｂ、１４０ｃ、１４０ｄは、補間処理を実行すると、補間後の映像信号を後処理部１５０に出力する。
【００３０】
後処理部１５０は、補間処理部１４０ａ、１４０ｂ、１４０ｃ、１４０ｄによる補間処理後の映像信号を合成して、複数の映像を映像表示装置１０で同時に表示するための映像信号を生成する。従って、後処理部１５０は本開示の信号生成部の一例である。後処理部１５０で、補間処理後の映像信号を合成することで生成された映像信号は映像表示装置１０に供給される。
【００３１】
本開示の一実施形態にかかる映像処理装置１００は、図２に示したような構成を有することで、複数の映像ソースからの映像信号に対する信号処理により、映像のケーデンスに応じた適切な補間処理を実行することができる。本開示の一実施形態にかかる映像処理装置１００は、映像のケーデンスに応じた適切な補間処理を実行することで、全ての映像に対して適切なフレーム間補間がなされた映像を映像表示装置１０に表示させることができる。
【００３２】
以上、図２を用いて本開示の一実施形態にかかる映像処理装置１００の機能構成例について説明した。次に、本開示の一実施形態にかかる映像処理装置１００に含まれる映像検出部１３０ａの構成について説明する。
【００３３】
図３は、本開示の一実施形態にかかる映像処理装置１００に含まれる映像検出部１３０ａの構成について説明する説明図である。ここでは映像検出部１３０ａのみを図示しているが、他の映像検出部１３０ｂ、１３０ｃ、１３０ｄについても映像検出部１３０ａと同じ構成を有する。従って、ここでは映像検出部１３０ａのみを図３で図示し、映像検出部１３０ａの構成について説明する。
【００３４】
図３に示したように、映像検出部１３０ａは、領域検出部１３２ａと、方式検出部１３４ａと、状態検出部１３６ａと、を含んで構成される。
【００３５】
領域検出部１３２ａは、映像検出部１３０ａに供給される信号から、同一の映像ソースによる映像が表示される領域を検出する。領域検出部１３２ａは、同一の映像ソースによる映像が表示される領域を検出すると、その検出した領域の情報を、映像検出部１３０ａに供給される信号と合わせて方式検出部１３４ａに供給する。
【００３６】
上述したように、映像表示装置１０に表示する映像の位置とサイズは固定されず、自由に変更が可能であるものとする。従って、領域検出部１３２ａは、例えば映像の四隅の内の左上隅を起点として映像領域の特定を行なうようにしても良い。
【００３７】
方式検出部１３４ａは、本開示の映像方式検出部の一例であり、映像検出部１３０ａに供給される信号により表示される映像の内、領域検出部１３２ａが検出した領域の映像のケーデンスを検出する。方式検出部１３４ａ、領域検出部１３２ａが検出した領域の映像のケーデンスを検出すると、検出したケーデンスの情報を、映像検出部１３０ａに供給される信号、領域検出部１３２ａが検出した領域の情報と合わせて状態検出部１３６ａへ供給する。
【００３８】
例えば、映像が１：１プルダウンである場合には、１フレームごとに異なる画像が表示されるので、方式検出部１３４ａは、１フレームごとに異なる画像であることを検出すると、その映像は１：１プルダウンであると判断する。
【００３９】
また例えば、映像が２：２プルダウンである場合には、２フレームごとに異なる画像が表示されるので、方式検出部１３４ａは、２フレームごとに異なる画像であることを検出すると、その映像は２：２プルダウンであると判断する。
【００４０】
また例えば、映像が３：２プルダウンである場合には、２つのコマが５つのフレームに分けて表示されるので、方式検出部１３４ａは、５フレームごとに異なる２つの映像が存在することを検出すると、その映像は３：２プルダウンであると判断する。
【００４１】
また例えば、映像が２：１：１：１：１プルダウンである場合には、５つのコマが６つのフレームに分けて表示されるので、方式検出部１３４ａは、６フレームごとに異なる５つの映像が存在することを検出すると、その映像は２：１：１：１：１プルダウンであると判断する。
【００４２】
状態検出部１３６ａは、映像検出部１３０ａに供給される信号により表示される映像の内、領域検出部１３２ａが検出した領域の映像に対し、方式検出部１３４ａが検出した映像のケーデンスに合わせた補間処理で用いられる、映像に含まれる物体の動きベクトルの算出や、映像のパンニング検出、スチル検出等を実行する。状態検出部１３６ａは、算出した動きベクトルや映像の検出結果を、映像検出部１３０ａに供給される信号、領域検出部１３２ａが検出した領域の情報、方式検出部１３４ａが検出した映像のケーデンスの情報と合わせて補間処理部１４０ａに供給する。
【００４３】
映像検出部１３０ａは、図３に示すような構成を有することで、同一の映像ソースによる映像が表示される領域を検出し、その領域で表示される映像のケーデンスを検出することが出来る。映像検出部１３０ａが、同一の映像ソースによる映像が表示される領域と、その領域における映像のケーデンスとを検出することで、後段の補間処理部１４０ａは、同一の映像ソースによる映像が表示される領域に対し、ケーデンスに合わせた映像の補間処理が可能になる。
【００４４】
以上、図３を用いて本開示の一実施形態にかかる映像処理装置１００に含まれる映像検出部１３０ａの構成について説明した。次に、本開示の一実施形態にかかる映像処理装置１００の動作例について説明する。
【００４５】
［映像処理装置の動作例］
図４は、本開示の一実施形態にかかる映像処理装置１００の動作例を示す流れ図である。図４に示した流れ図は、複数の映像ソースからの映像信号が合成された信号が供給された際に、各映像ソースのケーデンスに合わせた補間処理を実行する際の映像処理装置１００の動作例について示したものである。以下、図４を用いて本開示の一実施形態にかかる映像処理装置１００の動作例について説明する。
【００４６】
映像処理装置１００は、まず映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄによって、各映像の表示領域を検出する（ステップＳ１０１）。
【００４７】
図５は、本開示の一実施形態にかかる映像処理装置１００に供給される映像信号により表示される映像の表示領域の一例を示す説明図である。図５では、４つの表示領域Ｉｎｐｕｔ（１）、Ｉｎｐｕｔ（２）、Ｉｎｐｕｔ（３）、Ｉｎｐｕｔ（４）にそれぞれ異なる映像ソースからの映像を表示する場合が示されている。なお、図５には、表示領域Ｉｎｐｕｔ（１）には１：１プルダウン（ｐｄ）の映像が、表示領域Ｉｎｐｕｔ（２）には２：２プルダウンの映像が、表示領域Ｉｎｐｕｔ（３）には３：２プルダウンの映像が、表示領域Ｉｎｐｕｔ（４）には２：１：１：１：１プルダウンの映像が、それぞれ表示される場合が示されている。
【００４８】
映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄは、それぞれ、表示領域Ｉｎｐｕｔ（１）、Ｉｎｐｕｔ（２）、Ｉｎｐｕｔ（３）、Ｉｎｐｕｔ（４）の位置及びサイズを検出する。例えば、映像検出部１３０ａは、表示領域Ｉｎｐｕｔ（１）の位置及びサイズを領域検出部１３２ａで検出する。
【００４９】
なお映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄは、各映像の端の部分に対する信号処理のために、実際の表示領域より大きい領域によって以下の信号処理を実行しても良い。図６は、表示領域より大きい領域を信号処理の対象とする場合を示す説明図である。図６に示したのは、表示領域Ｉｎｐｕｔ（１）より一回り（例えば数ピクセル）大きい領域を信号処理の対象とする場合の例である。なお、表示領域Ｉｎｐｕｔ（１）からはみ出ている領域については、隣接する領域の映像による誤検出を回避するために、黒その他の所定の色の画像であるとして、以下の信号処理が実行されても良い。
【００５０】
映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄによって、各映像の表示領域を検出すると、続いて映像処理装置１００は、映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄによって、各表示領域における映像のプルダウンパターン（ケーデンス）を検出する（ステップＳ１０２）。
【００５１】
図７は、図５の表示領域Ｉｎｐｕｔ（１）、Ｉｎｐｕｔ（２）、Ｉｎｐｕｔ（３）、Ｉｎｐｕｔ（４）で表示される映像のタイミングチャートを示す説明図である。図７では、垂直同期信号が６０Ｈｚの場合が図示されている。ｉｎ＿ｖｓは垂直同期信号を表し、ｉｎ＿ｄａｔａは各映像のデータを表している。図７の符号３０１ａは図５の表示領域Ｉｎｐｕｔ（１）で表示される映像のタイミングチャートを示し、符号３０１ｂは表示領域Ｉｎｐｕｔ（２）で表示される映像のタイミングチャートを示し、符号３０１ｃは表示領域Ｉｎｐｕｔ（３）で表示される映像のタイミングチャートを示し、符号３０１ｄは表示領域Ｉｎｐｕｔ（４）で表示される映像のタイミングチャートを示している。また各画像に付した数字はフレーム番号を表している。
【００５２】
表示領域Ｉｎｐｕｔ（１）には１：１プルダウンの映像が表示される。従って、図７の符号３０１ａのタイミングチャートで示したように、各フレームでそれぞれ異なる画像からなる映像が表示領域Ｉｎｐｕｔ（１）に表示される。
【００５３】
表示領域Ｉｎｐｕｔ（２）には２：２プルダウンの映像が表示される。従って、図７の符号３０１ｂのタイミングチャートで示したように、同じ画像が２フレーム連続する映像が表示領域Ｉｎｐｕｔ（２）に表示される。
【００５４】
表示領域Ｉｎｐｕｔ（３）には３：２プルダウンの映像が表示される。従って、図７の符号３０１ｃのタイミングチャートで示したように、２つの画像を５つのフレームの前３フレームと後２フレームに分けた映像が表示領域Ｉｎｐｕｔ（３）に表示される。
【００５５】
表示領域Ｉｎｐｕｔ（４）には２：１：１：１：１プルダウンの映像が表示される。従って、図７の符号３０１ｄのタイミングチャートで示したように、４つの画像を５つのフレームに分けた映像が表示領域Ｉｎｐｕｔ（４）に表示される。
【００５６】
映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄは、連続するフレームで同じ画像が存在するか、また連続するフレームで同じ画像が存在する場合には何フレーム連続して同じ画像が存在するかを検出することで、各表示領域のプルダウンパターンを検出することが出来る。
【００５７】
なお、映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄは、上述のプルダウンパターンの検出の際に、フレーム間の差分を取ることで、同じ画像が連続しているかどうかを判断してもよい。そしてフレーム間の差分を取る際には、映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄは、ノイズによる映像を除外するために閾値を設け、差分が閾値を下回っていれば、両フレームは同じ画像であると判断しても良い。さらに、映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄは、上述の閾値を、領域の大きさに応じて異なる値にしてもよく、また上述の閾値を可変としても良い。
【００５８】
映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄによって、各表示領域における映像のプルダウンパターンを検出すると、続いて映像処理装置１００は、各表示領域の映像について、映像に含まれている物体の動きベクトルの算出及び映像の状態の検出を、映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄで実行する（ステップＳ１０３）。
【００５９】
各表示領域の映像について、映像に含まれている物体の動きベクトルの算出及び映像の状態の検出が行われると、続いて映像処理装置１００は、各表示領域における映像のプルダウンパターンに応じた補間処理を補間処理部１４０ａ、１４０ｂ、１４０ｃ、１４０ｄで実行する（ステップＳ１０４）。本実施形態では、表示領域Ｉｎｐｕｔ（１）に表示される映像の補間処理は補間処理部１４０ａが、表示領域Ｉｎｐｕｔ（２）に表示される映像の補間処理は補間処理部１４０ｂが、表示領域Ｉｎｐｕｔ（３）に表示される映像の補間処理は補間処理部１４０ｃが、表示領域Ｉｎｐｕｔ（１）に表示される映像の補間処理は補間処理部１４０ｄが、それぞれ実行する。
【００６０】
図８は、補間処理部１４０ａ、１４０ｂ、１４０ｃ、１４０ｄによる、映像のプルダウンパターンに応じた補間処理の例をタイミングチャートで示す説明図である。図８では、６０Ｈｚの映像を２４０Ｈｚの映像となるように補間した場合が図示されている。ｏｕｔ＿ｖｓは垂直同期信号を表し、ｈｆｒ＿ｄａｔａ１〜ｈｆｒ＿ｄａｔａ４は補間後の各映像のデータを表している。図８の符号３１１ａは図５の表示領域Ｉｎｐｕｔ（１）で表示される補間後の映像のタイミングチャートを示し、符号３１１ｂは表示領域Ｉｎｐｕｔ（２）で表示される補間後の映像のタイミングチャートを示し、符号３１１ｃは表示領域Ｉｎｐｕｔ（３）で表示される補間後の映像のタイミングチャートを示し、符号３１１ｄは表示領域Ｉｎｐｕｔ（４）で表示される補間後の映像のタイミングチャートを示している。また、図８の各映像データの内、数字が記されているフレームはオリジナルの映像信号を用いているフレームを意味し、その数字は図７に示した映像信号と対応するものである。
【００６１】
１：１プルダウンの映像の場合は、補間処理部１４０ａは、図８の符号３１１ａで示した映像信号ｈｆｒ＿ｄａｔａ１のように、前後の画像から３つの画像を補間することで２４０Ｈｚの映像を生成する。なお、画像を補間する際には、補間処理部１４０ａは、映像に含まれている物体の動きベクトルの情報を参照し、なめらかな映像となるように補間することが望ましい。
【００６２】
２：２プルダウンの映像の場合は、補間処理部１４０ｂは、図８の符号３１１ｂで示した映像信号ｈｆｒ＿ｄａｔａ２のように、前後の画像から７つの画像を補間することで２４０Ｈｚの映像を生成する。
【００６３】
３：２プルダウンの映像の場合は、補間処理部１４０ｃは、図８の符号３１１ｃで示した映像信号ｈｆｒ＿ｄａｔａ３のように、前後の画像から９つの画像を補間することで２４０Ｈｚの映像を生成する。３：２プルダウンの映像の場合は、上述したように、２つの画像が、５つのフレームの前３フレームと後２フレームに分かれて表示されるが、補間処理によって生成する画像の枚数を均等にするために、補間処理部１４０ｃは、図８に示したように補間する。
【００６４】
２：１：１：１：１プルダウンの映像の場合は、補間処理部１４０ｄは、図８の符号３１１ｄで示した映像信号ｈｆｒ＿ｄａｔａ４のように、５フレーム置きの画像から２３枚の画像を補間することで２４０Ｈｚの映像を生成する。２：１：１：１：１プルダウンの映像の場合は、上述したように、４つの画像が５つのフレームに分かれて表示される。補間処理部１４０ｄは、この４つの画像を全て使用して補間処理を実行しても良いが、補間処理によって生成する画像の枚数を均等にするために、また補間処理をより簡略化するために、図８に示したように一部の画像を用いて補間処理を実行する。
【００６５】
なお、補間処理部１４０ａ、１４０ｂ、１４０ｃ、１４０ｄによる補間処理の際には、映像処理装置１００に供給される映像信号全体に対して補間処理をそれぞれ実行してもよく、映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄが検出した領域を切り出して、その切り出した領域に対してのみ補間処理を実行してもよい。
【００６６】
また、補間処理部１４０ａ、１４０ｂ、１４０ｃ、１４０ｄによる補間処理に使用される前後のフレームは任意に指定可能としてもよく、また映像のプルダウンパターンに応じて適切な値を指定可能としてもよい。
【００６７】
各表示領域における映像のプルダウンパターンに応じた補間処理を補間処理部１４０ａ、１４０ｂ、１４０ｃ、１４０ｄで実行すると、続いて映像処理装置１００は、補間処理部１４０ａ、１４０ｂ、１４０ｃ、１４０ｄがそれぞれ補間処理を施した映像を後処理部１５０で合成し、１枚の映像とする（ステップＳ１０５）。
【００６８】
図９は、後処理部１５０による、補間処理が施された後の映像の合成について示す説明図である。図９では、補間処理部１４０ａ、１４０ｂ、１４０ｃ、１４０ｄが、映像処理装置１００に供給される映像信号全体に対して補間処理をそれぞれ実行した場合が図示されている。符号３２１ａは補間処理部１４０ａによる補間処理後の映像を示し、符号３２１ｂは補間処理部１４０ｂによる補間処理後の映像を示し、符号３２１ｃは補間処理部１４０ｃによる補間処理後の映像を示し、符号３２１ｄは補間処理部１４０ｄによる補間処理後の映像を示している。後処理部１５０は、補間処理部１４０ａ、１４０ｂ、１４０ｃ、１４０ｄがそれぞれ補間処理を施した映像を、映像検出部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄがそれぞれ検出した表示領域に合わせて合成する。符号３３１は、後処理部１５０によって合成された後の映像を示している。
【００６９】
後処理部１５０が図９に示したように映像を合成することで、映像処理装置１００は、異なるプルダウンパターンの映像が含まれる映像信号が供給されてきた場合であっても、それぞれの映像に対して適切な補間処理が施された映像信号を出力することができる。
【００７０】
＜２．まとめ＞
以上説明したように本開示の一実施形態にかかる映像処理装置１００によれば、異なるプルダウンパターンの映像が含まれる映像信号が供給されてきた場合であっても、それぞれの映像のプルダウンパターンを自動的に検出し、そのプルダウンパターンに応じた補間処理を選択して補間処理を実行することが出来る。また本開示の一実施形態にかかる映像処理装置１００によれば、異なるプルダウンパターンの映像が含まれる映像信号が供給されてきた場合であっても、それぞれの映像が表示される領域を検出することができる。そして、映像処理装置１００は、検出した領域の情報を用いて補間処理後の映像信号を合成することができる。
【００７１】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００７２】
例えば、本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【００７３】
また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。
【００７４】
なお、本技術は以下のような構成も取ることができる。
（１）
１画面に同時表示される複数の映像のそれぞれの映像信号について映像方式を検出する映像方式検出部と、
前記映像方式検出部が検出した各前記映像信号の映像方式に適した補間処理を前記複数の映像信号のそれぞれについて実行して前記映像信号の周波数より高い周波数の映像信号に変換する補間部と、
前記補間部が前記複数の映像信号のそれぞれについて補間処理を行なった後の映像信号を用いて１画面に同時表示させるための映像信号を生成する信号生成部と、
を備える、映像処理装置。
（２）
１画面に同時表示される複数の映像のそれぞれの表示領域を検出する領域検出部をさらに備え、
前記映像方式検出部は、前記領域検出部が検出した各表示領域における映像方式を検出する、前記（１）に記載の映像処理装置。
（３）
１画面に同時表示される複数の映像信号からなる映像信号の画面解像度が１９２０×１０８０ピクセルより大きい、前記（１）または（２）に記載の映像処理装置。
（４）
前記補間部は、補間する画像の枚数が均等となるように基となる画像を選択する、前記（１）〜（３）のいずれかに記載の映像処理装置。
（５）
前記補間部は、各前記映像信号から一部の画像を選択して補間処理を実行する、請求項前記（１）〜（４）のいずれかに記載の映像処理装置。
（６）
１画面に同時表示される複数の映像のそれぞれの映像信号について映像方式を検出する映像方式検出ステップと、
前記映像方式検出ステップで検出された各映像信号の映像方式に適した補間処理を前記複数の映像信号のそれぞれについて実行して前記映像信号の周波数より高い周波数の映像信号に変換する補間ステップと、
前記補間ステップで前記複数の映像信号のそれぞれについて補間処理が行なわれた後の映像信号を用いて１画面に表示させるための映像信号を生成する信号生成ステップと、
を備える、映像処理方法。
（７）
コンピュータに、
１画面に同時表示される複数の映像のそれぞれの映像信号について映像方式を検出する映像方式検出ステップと、
前記映像方式検出ステップで検出された各映像信号の映像方式に適した補間処理を前記複数の映像信号のそれぞれについて実行して前記映像信号の周波数より高い周波数の映像信号に変換する補間ステップと、
前記補間ステップで前記複数の映像信号のそれぞれについて補間処理が行なわれた後の映像信号を用いて１画面に表示させるための映像信号を生成する信号生成ステップと、
を実行させる、映像処理方法。
【符号の説明】
【００７５】
１０    映像表示装置
１００    映像処理装置
１１０    前処理部
１２０    タイミングコントローラ
１３０ａ、１３０ｂ、１３０ｃ、１３０ｄ    映像検出部
１３２ａ    領域検出部
１３４ａ    方式検出部
１３６ａ    状態検出部
１４０ａ、１４０ｂ、１４０ｃ、１４０ｄ    補間処理部
１５０    後処理部
【図１】
2014033255.tif 000003
【図２】
2014033255.tif 000004
【図３】
2014033255.tif 000005
【図４】
2014033255.tif 000006
【図５】
2014033255.tif 000007
【図６】
2014033255.tif 000008
【図７】
2014033255.tif 000009
【図８】
2014033255.tif 000010
【図９】
2014033255.tif 000011