(57)【要約】【課題】コストが安価で、かつ簡易に映像処理を行うことができること。【解決手段】映像入力部は、複数のフレームを含んで構成される映像信号を取得する。フレーム分離部は、映像入力部が取得した映像信号をフレーム単位で分離して、分配する。複数の並列処理部は、フレーム分離部が分離して分配したフレームごとに並列に映像信号を映像処理する。フレーム合成部は、複数の並列処理部が映像処理した映像信号を合成する。【選択図】図１
2014135667.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームを含んで構成される映像信号を取得する映像入力部と、
前記映像入力部が取得した前記映像信号をフレーム単位で分離して、分配するフレーム分離部と、
前記フレーム分離部が分離して分配した前記フレームごとに並列に前記映像信号を映像処理する複数の並列処理部と、
前記複数の並列処理部が前記映像処理した前記映像信号を合成するフレーム合成部と、
を備えること
を特徴とする映像処理装置。
【請求項２】
前記フレーム分離部は、前記複数の並列処理部の各々に対して、前記映像処理の対象でないフレームに対応する同期信号を間引いて出力すること
を特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記フレーム分離部は、前記複数の並列処理部の各々に対して、前記映像処理の対象でないフレームを間引いた映像信号を出力すること
を特徴とする請求項１に記載の映像処理装置。
【請求項４】
前記フレーム分離部は、前記複数の並列処理部の各々に対して、前記映像信号をフレーム単位でスイッチングして出力すること
を特徴とする請求項１に記載の映像処理装置。
【請求項５】
前記映像処理は、前記映像信号に対するフィルター処理と、前記映像信号に対するスケーラー処理とであること
を特徴とする請求項１から請求項４のいずれか一項に記載の映像処理装置。
【請求項６】
前記複数の並列処理部の各々は、前記映像入力部が取得した前記映像信号のフレーム周期に、前記並列処理部の数を乗じた期間をかけて、前記映像処理の対象であるフレームに対し前記映像処理を行うこと
を特徴とする請求項１から請求項５のいずれか一項に記載の映像処理装置。
【請求項７】
前記フレーム合成部は、前記複数の並列処理部において前記映像処理がなされた前記映像信号を入力された順に合成すること
を特徴とする請求項１から請求項６のいずれか一項に記載の映像処理装置。
【請求項８】
前記複数の並列処理部の各々は、前記映像処理におけるレイテンシーに関する情報を前記フレーム合成部に出力し、
前記フレーム合成部は、前記レイテンシーに関する情報に基づいて、前記映像信号を合成すること
を特徴とする請求項１から請求項６のいずれか一項に記載の映像処理装置。
【請求項９】
表示装置であって、
映像信号を取得する映像入力部と、
フレームごとに各々が並列に前記映像信号に対し映像処理する複数の並列処理部と、
前記映像入力部が取得した前記映像信号を、フレーム単位で分離して、分配するフレーム分離部と、
前記フレーム分離部が分離して分配した前記フレームごとに並列に前記映像信号を映像処理する複数の並列処理部と、
前記複数の並列処理部が前記映像処理した前記映像信号を、合成するフレーム合成部と、
を備えること
を特徴とする表示装置。
【請求項１０】
映像入力部が映像信号を取得する第１の過程と、
前記第１の過程において取得した前記映像信号を、フレーム単位で分離して、分配する第２の過程と、
前記第２の過程において分離され、分配された前記フレームごとに並列に前記映像信号を映像処理する第３の過程と、
前記第３の過程において前記映像処理がなされた前記映像信号を、合成する第４の過程と、
を有すること
を特徴とする映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置、表示装置および映像処理方法に関する。
【背景技術】
【０００２】
解像度４０９６×２１６０画素（以下、４Ｋ２Ｋと称する）以上の高解像度の映像における映像処理方法としては、１画面を複数に分割し、分割した画面を並行して処理し、最終段階で合成することで高解像度の画面を処理する方法がある。特許文献１に記載の技術は、ビデオカメラによって撮像された画像を入力すると、入力された画像の周辺画像を除いた中央画像を、互いに重なり合うように重複領域を持たせて４分割して記憶し、分割された４つの画像から重複領域を除去し、重複領域の除去された４つの画像を結合することで画像を出力するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−６７４９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術を用いても、映像処理は、１画面を複数の画面に分割する際、分割の境界部分で画質の不連続を回避するために、重複部分を設けて分割するため、重複部分を除去して合成するなど処理が複雑になってしまうという欠点があった。また、１画面を複数の画面に分割する映像処理は、分割した複数の画面をフレームメモリーに記憶させる必要があるため、専用のフレームメモリーまたは高帯域のフレームメモリーが必要になり、コストが高価になるという欠点があった。このように、高解像度の映像処理において、処理が複雑かつコストが高価になるという問題があった。
【０００５】
本発明は上記の点に鑑みてなされたものであり、コストが安価で、かつ簡易に映像処理を行うことができる映像処理装置、表示装置、映像処理方法を提供することを課題とする。
【課題を解決するための手段】
【０００６】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、複数のフレームを含んで構成される映像信号を取得する映像入力部と、前記映像入力部が取得した前記映像信号をフレーム単位で分離して、分配するフレーム分離部と、前記フレーム分離部が分離して分配した前記フレームごとに並列に前記映像信号を映像処理する複数の並列処理部と、前記複数の並列処理部が前記映像処理した前記映像信号を合成するフレーム合成部と、を備えることを特徴とする映像処理装置である。
【０００７】
上記構成によれば、映像処理装置は、映像入力部に入力された映像をフレーム分離部が映像を構成する複数のフレームに分割することで、複数の並列処理部がフレームごとに映像処理を行えるため、フレーム分離部においてフレームメモリーを使用することがなく、コストを安価にできる。さらに、映像処理装置における映像処理は、複雑な処理がないため、簡易に映像処理を行うことができる。
【０００８】
（２）また、本発明の一態様は、前記フレーム分離部は、前記複数の並列処理部の各々に対して、前記映像処理の対象でないフレームに対応する同期信号を間引いて出力することを特徴とする映像処理装置である。
【０００９】
上記構成によれば、映像処理装置における複数の並列処理部各々は、映像処理を行うフレームの同期信号以外の同期信号を間引くことで、対象フレームに対し映像処理が行えるため、フレーム分離部が映像を複数のフレームに分離するだけでよく、複雑な処理がなく、簡易に映像処理を行うことができる。また、フレーム分離部においてフレームメモリーが不要であるため、コストが安価にできる。
【００１０】
（３）また、本発明の一態様は、前記フレーム分離部は、前記複数の並列処理部の各々に対して、前記映像処理の対象でないフレームを間引いた映像信号を出力することを特徴とする映像処理装置である。
【００１１】
上記構成によれば、映像処理装置におけるフレーム分離部は、複数の並列処理部各々に映像処理を行わせるフレーム以外の映像を間引くことで、複数の並列処理部各々は、対象フレームに対し映像処理が行えるため、複雑な処理がなく、簡易に映像処理を行うことができる。また、フレーム分離部においてフレームメモリーが不要であるため、コストが安価にできる。
【００１２】
（４）また、本発明の一態様は、前記フレーム分離部は、前記複数の並列処理部の各々に対して、前記映像信号をフレーム単位でスイッチングして出力することを特徴とする映像処理装置である。
【００１３】
上記構成によれば、映像処理装置におけるフレーム分離部は、複数の並列処理部各々に映像処理を行わせるフレーム以外の映像をスイッチングすることで、複数の並列処理部各々は、対象フレームに対し映像処理が行えるため、複雑な処理がなく、簡易に映像処理を行うことができる。また、フレーム分離部においてフレームメモリーが不要であるため、コストが安価にできる。
【００１４】
（５）また、本発明の一態様は、前記映像処理は、前記映像信号に対するフィルター処理と、前記映像信号に対するスケーラー処理とであることを特徴とする映像処理装置である。
【００１５】
上記構成によれば、複数の並列処理部各々における映像処理は、ノイズ除去などのフィルター処理と、入力信号の解像度を高めて出力信号を生成するスケーラー処理とを行うことで、該映像処理を複雑な処理がなく簡易に行うことができる。
【００１６】
（６）また、本発明の一態様は、前記複数の並列処理部の各々は、前記映像入力部が取得した前記映像信号のフレーム周期に、前記並列処理部の数を乗じた期間をかけて、前記映像処理の対象であるフレームに対し前記映像処理を行うことを特徴とする映像処理装置である。
【００１７】
上記構成によれば、映像処理装置の複数の並列処理部各々は、例えば、複数の並列処理部の数がＮ個であるとき、映像処理を行う前の複数のフレームにおけるフレーム周期のＮ倍の期間をかけて映像処理を行うことができるため、並列処理部各々の処理能力が低い場合においても、高い周波数のフレームレートで映像処理を行うことができる。
【００１８】
（７）また、本発明の一態様は、前記フレーム合成部は、前記複数の並列処理部において前記映像処理がなされた前記映像信号を入力された順に合成することを特徴とする映像処理装置である。
【００１９】
上記構成によれば、映像処理装置におけるフレーム合成部は、複数の並列処理部において映像処理した複数のフレームを、並列処理部が出力した順で合成するため、複雑な処理をすることなく、簡易にフレームを合成することができる。
【００２０】
（８）また、本発明の一態様は、前記複数の並列処理部の各々は、前記映像処理におけるレイテンシーに関する情報を前記フレーム合成部に出力し、前記フレーム合成部は、前記レイテンシーに関する情報に基づいて、前記映像信号を合成することを特徴とする映像処理装置である。
【００２１】
上記構成によれば、複数の並列処理部各々の処理能力が異なる場合においても、フレーム合成部は、複数のフレームを合成することができ、映像処理装置は、複雑な処理をすることなく簡易に映像処理することができる。
【００２２】
（９）また、本発明の一態様は、表示装置であって、映像信号を取得する映像入力部と、フレームごとに各々が並列に前記映像信号に対し映像処理する複数の並列処理部と、
前記映像入力部が取得した前記映像信号を、フレーム単位で分離して、分配するフレーム分離部と、前記フレーム分離部が分離して分配した前記フレームごとに並列に前記映像信号を映像処理する複数の並列処理部と、前記複数の並列処理部が前記映像処理した前記映像信号を、合成するフレーム合成部と、を備えることを特徴とする表示装置である。
【００２３】
上記構成によれば、映像処理装置を備える表示装置は、映像入力部に入力された映像をフレーム分離部が映像を構成する複数のフレームに分割することで、複数の並列処理部がフレームごとに映像処理を行えるため、フレーム分離部においてフレームメモリーを使用することがなく、コストを安価にできる。さらに、映像処理装置を備える表示装置における映像処理は、複雑な処理がないため、簡易に映像処理を行うことができる。
【００２４】
（１０）また、本発明の一態様は、映像入力部が映像信号を取得する第１の過程と、前記第１の過程において取得した前記映像信号を、フレーム単位で分離して、分配する第２の過程と、前記第２の過程において分離され、分配された前記フレームごとに並列に前記映像信号を映像処理する第３の過程と、前記第３の過程において前記映像処理がなされた前記映像信号を、合成する第４の過程と、有することを特徴とする映像処理方法である。
【００２５】
上記構成によれば、映像処理方法は、映像入力過程において入力された映像をフレーム分離過程において映像を構成する複数のフレームに分割することで、複数の並列処理過程においてフレームごとに映像処理を行えるため、フレーム分離過程においてフレームメモリーを使用することがなく、コストを安価にできる。さらに、映像処理方法における映像処理は、複雑な処理がないため、簡易に映像処理を行うことができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の第１の実施形態に係る映像処理装置の構成の一例を示す概略ブロック図である。
【図２】本実施形態に係る映像処理装置における入力映像および出力映像の関係の一例を示すタイミングチャートである。
【図３】本実施形態に係る映像処理装置のフレーム分離部における入力同期信号および出力同期信号の関係の一例を示すタイミングチャートである。
【図４】本実施形態の変形例に係る映像処理装置の構成の一例を示す概略ブロック図である。
【図５】本実施形態の変形例に係る映像処理装置における入力映像および出力映像の関係の一例を示すタイミングチャートである。
【図６】本発明の第２の実施形態に係る映像処理装置の構成の一例を示す概略ブロック図である。
【図７】本実施形態に係る映像処理装置における入力映像および出力映像の関係の一例を示すタイミングチャートである。
【発明を実施するための形態】
【００２７】
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について詳しく説明する。
本実施形態では、映像処理装置１において２つの並列処理部１３１および１３２を用いて複数のフレームの映像信号に対して映像処理を行う場合について説明する。
図１は、本発明の第１の実施形態に係る映像処理装置１の構成の一例を示す概略ブロック図である。
映像処理装置１は、映像入力部１１と、フレーム分離部１２と、並列処理部１３１、１３２と、フレームメモリー１４１、１４２と、フレーム合成部１６と、フレームメモリー１７と、映像出力部１８と、を含んで構成される。映像処理装置１は、その他、一般的な映像処理装置の機能を備えるが、図示および説明は省略する。
【００２８】
映像入力部１１は、映像信号を取得する。映像入力部１１は、取得した映像信号Ｆｉをフレーム分離部１２に出力する。フレーム分離部１２は、映像入力部１１から入力される映像信号Ｆｉを、フレーム毎に分離して、並列処理部１３１および１３２に分配する。フレーム分離部１２は、例えば、映像信号Ｆｉから偶数フレームの映像信号を間引いた映像信号、即ち奇数フレームの映像信号を、映像信号Ｆｏ１として並列処理部１３１に出力し、映像信号Ｆｉから奇数フレームの映像信号を間引いた映像信号、即ち偶数フレームの映像信号を、映像信号Ｆｏ２として並列処理部１３２に出力する。
【００２９】
並列処理部１３１および１３２（以下、並列処理部１３１および１３２を並列処理部１３と総称する。）は、フレーム分離部１２から入力された複数のフレームの映像信号に対し並列に映像処理を行う。ここで、映像処理は、ノイズの除去などのフィルター処理と、スケーラー処理である。また、スケーラー処理は、入力信号の解像度を高めて出力信号を生成することであり、例えば、４Ｋ２Ｋなどの映像信号をフルハイビジョンの映像信号（解像度１９２０×１０８０ピクセル）などから生成する場合、入力信号において不足している画素を補間することで入力信号よりも高解像度な出力信号を生成する処理である。この際、並列処理部１３１および１３２は、フレームメモリー１４１および１４２に複数フレームの映像信号Ｆｏ１およびＦｏ２を一時記憶させ、映像処理毎にフレームメモリー１４１および１４２から映像信号Ｆｏ１およびＦｏ２を読み出して該映像信号に対し映像処理をしてもよいし、フレームメモリー１４１および１４２を備えなくてもよい。
並列処理部１３は、映像処理を行った奇数フレームの映像信号Ｐｏ１および偶数フレームの映像信号Ｐｏ２をフレーム合成部１６に出力する。
【００３０】
フレーム合成部１６は、並列処理部１３から奇数フレームの映像信号Ｐｏ１および偶数フレームの映像信号Ｐｏ２が入力されると、並列処理部１３から入力された順に各フレームの映像信号Ｃｍをフレームメモリー１７の所定のメモリー領域に記憶させる。フレーム合成部１６は、フレームメモリー１７に記憶されている各フレームの映像信号を、入力された順に読み出し、映像信号Ｃｏとして映像出力部１８に出力する。
映像出力部１８は、フレーム合成部１６から入力されたフレームの映像信号Ｃｏを映像処理された映像として出力する。
【００３１】
図２は、本実施形態に係る映像処理装置１における入力映像および出力映像の関係の一例を示すタイミングチャートである。
図２に示すタイミングチャートは、映像入力部１１からフレーム分離部１２に入力される映像信号Ｆｉと、フレーム分離部１２が並列処理部１３１および１３２のそれぞれに出力する映像信号Ｆｏ１およびＦｏ２と、並列処理部１３１および１３２が映像処理を施し、フレーム合成部１６に出力する映像信号Ｐｏ１およびＰｏ２と、フレーム合成部１６がフレームメモリー１７の所定の記憶領域Ｍ１、Ｍ２、Ｍ３、Ｍ４に記憶させる映像信号Ｃｍと、フレーム合成部１６が映像出力部１８に出力する映像信号Ｃｏとの関係を表している。
【００３２】
フレーム分離部１２は、映像信号Ｆｉを構成するフレームＦ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６・・・を奇数フレームと偶数フレームに分離し、このうち、奇数フレームＦ１、Ｆ３、Ｆ５、・・・を映像信号Ｆｏ１として並列処理部１３１に出力する。また、フレーム分離部１３２は、映像信号Ｆｉを構成するフレームＦ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６・・・のうち偶数フレームＦ２、Ｆ４、Ｆ６・・・を映像信号Ｆｏ２として並列処理部１３２に出力する。
【００３３】
並列処理部１３１および１３２は、各フレームの映像信号Ｆｏ１およびＦｏ２に対して映像処理を行い、それぞれ映像信号Ｐｏ１およびＰｏ２としてフレーム合成部１６へ出力する。ここで、映像信号Ｆｏ１およびＦｏ２の各フレームＦ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６・・・は、並列処理部１３１および１３２によって、映像処理が施されることで、映像信号Ｐｏ１およびＰｏ２では、それぞれフレームＦ１’、Ｆ２’、Ｆ３’、Ｆ４’、Ｆ５’、Ｆ６’・・・に変化している。
【００３４】
ここで、映像信号Ｆｉが６０Ｈｚのフレームレートであるとすると、各並列処理部１３１および１３２が映像処理を施し、出力する各フレームの映像信号Ｐｏ１、Ｐｏ２は、３０Ｈｚのフレームレートになる。そのため、並列処理部１３は、映像信号Ｆｉのフレーム周期の２倍の期間をかけて各フレームの映像信号に対し映像処理を行う。これにより、並列処理部１３は、各々のフレームに対して高度な映像処理を施すことが可能となる。
【００３５】
フレーム合成部１６は、並列処理部１３から入力される各フレームの映像信号Ｐｏ１およびＰｏ２を、並列処理部１３から入力された順にフレームメモリー１７の所定の記憶領域Ｍ１、Ｍ２、Ｍ３、Ｍ４などに記憶させる。例えば、フレーム合成部１６は、並列処理部１３から各フレームの映像信号Ｐｏ１およびＰｏ２が入力されると、並列処理部１３から入力されたフレームＦ１’、フレームＦ２’、フレームＦ３’、フレームＦ４’の順に、フレームメモリー１７における所定の記憶領域Ｍ１、Ｍ２、Ｍ３、Ｍ４に映像信号Ｃｍとして記憶させる。
【００３６】
フレーム合成部１６は、フレームの順序が映像入力部１１が取得した映像信号と同じになるよう、フレームメモリー１７に記憶させた順に映像信号を読み出して、映像信号Ｃｏとして映像出力部１８に出力する。すなわち、フレーム合成部１６は、各フレームの映像信号ＣｏをフレームＦ１に対応するフレームＦ１’、フレームＦ２に対応するフレームＦ２’、フレームＦ３に対応するフレームＦ３’、フレームＦ４に対応するフレームＦ４’の順に出力することにより、映像信号Ｃｏを合成する。
【００３７】
なお、本実施形態においてフレーム分離部１２は、複数のフレームの映像信号に分離し、偶数フレームの映像信号を間引くことで奇数フレームの映像信号を生成し、奇数フレームの映像信号を間引くことで偶数フレームの映像信号を生成しているが、複数のフレームの映像データをそのまま並列処理部１３に出力し、同期信号のみを間引いて並列処理部１３に出力してもよい。この場合のフレーム分離部１２の処理を、図３を参照して詳述する。
【００３８】
図３は、本実施形態に係る映像処理装置１のフレーム分離部１２における入力同期信号および出力同期信号の関係の一例を示すタイミングチャートである。
フレーム分離部１２に入力される同期信号および出力する同期信号は、例えば、垂直同期信号ＶＳ、水平同期信号ＨＳ、イネーブル信号ＤＥなどである。また、フレーム分離部１２に入力される映像データは、並列処理部１３に出力する映像データと同じ映像データＣＶＳである。
【００３９】
フレーム分離部１２に入力される映像信号Ｆｉには、同期信号と映像データＣＶＳとが含まれる。ここで、同期信号は、フレームの周期で連続する垂直同期信号ＶＳと、所定間隔で連続する水平同期信号ＨＳと、現時点の画素データが有効か無効かを表すイネーブル信号ＤＥとである。フレーム分離部１２は、映像信号Ｆｉから偶数番目の垂直同期信号ＶＳ、それに対応する水平同期信号ＨＳおよびイネーブル信号ＤＥを間引くことで、奇数フレームの同期信号を生成し、並列処理部１３１に出力する映像信号Ｆｏ１中の同期信号とする。同様に、フレーム分離部１２は、映像信号Ｆｉから奇数番目の垂直同期信号ＶＳ、それに対応する水平同期信号ＨＳおよびイネーブル信号ＤＥを間引くことで、偶数フレームの同期信号を生成し、並列処理部１３２に出力する映像信号Ｆｏ２中の同期信号とする。フレーム分離部１２は、生成した同期信号を含む映像信号Ｆｏ１およびＦｏ２を並列処理部１３に出力する。このとき、映像信号Ｆｉに含まれる映像データＣＶＳは、フレーム分離部１２に入力されたものと同じものが並列処理部１３１、１３２それぞれに出力される。
【００４０】
なお、フレーム分離部１２は、分離した複数のフレームの映像信号を並列処理部１３１および１３２にスイッチングして交互に出力してもよい。
これにより、フレーム分離部１２は、並列処理部１３１および１３２に映像処理させる同期信号またはフレームの映像信号を間引いて出力すればよいため、フレームメモリーが不要となり、コストを安価にすることができる。
また、本実施形態において、プロジェクター１は、フレームメモリー１４１および１４２を備えると説明しているが、フレームメモリー１４１および１４２を備えなくてもよい。
【００４１】
このように、本実施形態において、従来技術が画面を分割するためにフレームメモリーに少なくとも１フレーム期間内に１フレーム分のデータをフレームメモリーの数ギガビット毎秒の帯域を使用し、読み書きする必要があったが、フレーム分離部１２は、フレームメモリーを備える必要がなく、フレームメモリーへのアクセス量の低減およびコストを安価にすることができる。
【００４２】
（第１の実施形態の変形例）
以下、図面を参照しながら本発明の第１の実施形態の変形例について詳しく説明する。
上記の実施形態において、映像処理装置１は、２つの並列処理部１３１および１３２を用いる場合について説明したが、並列処理部を３つ以上で構成してもよく、本変形例では、映像処理装置１ａが４つの並列処理部を備える場合について説明する。
【００４３】
図４は、本実施形態の変形例に係る映像処理装置１ａの構成の一例を示す概略ブロック図である。
映像処理装置１ａは、映像入力部２１と、フレーム分離部２２と、並列処理部２３１、２３２、２３３、２３４と、フレームメモリー２４１、２４２、２４３、２４４と、フレーム合成部２６と、フレームメモリー２７と、映像出力部２８と、を含んで構成される。映像処理装置１ａは、その他、一般的な映像処理装置の機能を備えるが図示および説明は省略する。
【００４４】
第１の実施形態における映像処理装置１の構成と、本変形例に係る映像処理装置１ａの構成とを比較すると、２つの並列処理部１３１、１３２から４つの並列処理部２３１、２３２、２３３、２３４に変更され、それに伴い２つのフレームメモリー１４１、１４２から４つのフレームメモリー２４１、２４２、２４３、２４４に変更されている。それ以外の構成は、同様であるので説明は省略する。
【００４５】
フレーム分離部２２は、映像入力部２１から入力される映像信号Ｆｉ１を、フレーム毎に分離して、４つの並列処理部２３１、２３２、２３３、２３４に分配する。フレーム分離部２２は、分離した複数のフレームの映像信号を並列処理部２３１、２３２、２３３、２３４にスイッチングして各フレームの映像信号Ｆｏ３、Ｆｏ４、Ｆｏ５、Ｆｏ６を出力する。
【００４６】
フレーム合成部２６は、並列処理部２３１、２３２、２３３、２３４から入力される各フレームの映像信号Ｐｏ３、Ｐｏ４、Ｐｏ５、Ｐｏ６を入力された順にフレームメモリー２７の所定の記憶領域に記憶させる。フレーム合成部２６は、フレームメモリー２７に記憶されている各フレームの映像信号を、フレームメモリー２７に並列処理部２３１、２３２、２３３、２３４が記憶させた順に読み出し、映像信号Ｃｏ１として映像出力部２８に出力する。
【００４７】
図５は、本実施形態の変形例に係る映像処理装置１ａにおける入力映像信号および出力映像信号の関係の一例を示すタイミングチャートである。
図５に示すタイミングチャートは、映像入力部２１がフレーム分離部２２に出力する映像信号Ｆｉと、フレーム分離部２２が並列処理部２３１、２３２、２３３、２３４のそれぞれに出力する映像信号Ｆｏ３、Ｆｏ４、Ｆｏ５、Ｆｏ６と、並列処理部２３１、２３２、２３３、２３４が映像処理を施し、それぞれからフレーム合成部２６に出力する映像信号Ｐｏ３、Ｐｏ４、Ｐｏ５、Ｐｏ６と、フレーム合成部２６が映像出力部２８に出力する映像信号Ｃｏ１との関係を表している。
【００４８】
フレーム分離部２２は、映像信号Ｆｉ１を構成するフレームＦ１、Ｆ２、Ｆ３、・・・、Ｆ９、・・・を分離し、それぞれを並列処理部２３１、２３２、２３３、２３４にスイッチングすることでフレームＦ１、Ｆ２・・・、Ｆ９の映像信号Ｆｏ３、Ｆｏ４、Ｆｏ５、Ｆｏ６を出力する。並列処理部２３１、２３２、２３３、２３４は、各フレームの映像信号Ｆｏ３、Ｆｏ４、Ｆｏ５、Ｆｏ６のフレーム周期に並列処理部の数を乗じた期間、すなわち４倍の期間をかけて各フレームの映像信号に対し映像処理を行う。
【００４９】
フレーム合成部２６は、フレームの順序が映像入力部１１が取得した映像信号と同じ順になるよう、並列処理部２３１、２３２、２３３、２３４がフレームメモリー２７に記憶させた映像信号を、該順に読み出して、映像信号Ｃｏ１として映像出力部２８に出力する。すなわち、フレーム合成部２６は、各フレームの映像信号Ｃｏ１をフレームＦ１に対応するフレームＦ１’、フレームＦ２に対応するフレームＦ２’、フレームＦ３に対応するフレームＦ３’の順に出力することにより、映像信号Ｃｏ１を合成する。
【００５０】
なお、本変形例において、映像処理装置１ａは、４つの並列処理部を用いて構成されているが、Ｎ個（Ｎは３または５以上の整数）の並列処理部を用いて構成してもよい。この場合、フレーム分離部は、Ｎ個の並列処理部に分離した複数のフレームの映像信号をスイッチングして出力すればよく、並列処理部は、各フレームの映像信号のフレーム周期のＮ倍の期間をかけて各フレームの映像信号に対し映像処理を行えばよい。
【００５１】
このように、本実施形態によれば、映像処理装置１、１ａは、複数のフレームを含んで構成される映像信号を取得する映像入力部１１、２１と、映像入力部１１、２１が取得した映像信号を、映像入力部が取得した前記映像信号をフレーム単位で分離して、分配するフレーム分離部１２、２２と、フレーム分離部１２、２２が分離して分配した前記フレームごとに並列に前記映像信号を映像処理する複数の並列処理部１３１、１３２、２３１、２３２、２３３、２３４と、複数の並列処理部１３１、１３２、２３１、２３２、２３３、２３４が映像処理した映像信号を合成するフレーム合成部１６、２６と、を備える。
【００５２】
これにより、映像処理装置１、１ａは、映像入力部１１、２１に入力された映像をフレーム分離部１２、２２が映像を構成する複数のフレームに分割することで、複数の並列処理部１３１、１３２、２３１、２３２、２３３、２３４がフレームごとに映像処理を行えるため、フレーム分離部１２、２２は、フレームメモリーを使用せずに映像の分離ができるので、コストを安価にできる。さらに、映像処理装置１、１ａにおける映像処理は、並列処理の間で重複する領域がないため、合成時に重複部分を削除するなどの複雑な処理がなく、簡易に合成を行うことができる。
【００５３】
フレーム分離部１２、２２は、複数の並列処理部１３１、１３２、２３１、２３２、２３３、２３４の各々に対して、前記映像処理の対象でないフレームの同期信号を間引いて出力する。
【００５４】
これにより、フレーム分離部１２、２２は、同期信号のみを処理すればよく映像データを処理するなどの複雑な処理がなく、簡易に分離処理を行うことができる。また、フレーム分離部１２、２２における分離処理においては、専用または高帯域のフレームメモリーが不要であるため、コストが安価にできる。
【００５５】
フレーム分離部１２、２２は、複数の並列処理部１３１、１３２、２３１、２３２、２３３、２３４の各々に対して、前記映像処理の対象でないフレームを間引いた映像信号を出力する。
【００５６】
これにより、複数の並列処理部１３１、１３２、２３１、２３２、２３３、２３４の各々は、対象フレームのみに対し映像処理が行えるため、複雑な処理がなく、簡易に映像処理を行うことができる。また、フレーム分離部１２、２２においてフレームメモリーが不要であるため、コストが安価にできる。
【００５７】
フレーム分離部１２、２２は、複数の並列処理部１３１、１３２、２３１、２３２、２３３、２３４の各々に対して、映像信号をフレーム単位でスイッチングして出力する。
【００５８】
これにより、複数の並列処理部１３１、１３２、２３１、２３２、２３３、２３４の各々は、対象フレームに対してのみ映像処理が行えるため、複雑な処理がなく、簡易に映像処理を行うことができる。また、フレーム分離部１２、２２においてフレームメモリーが不要であるため、コストが安価にできる。
【００５９】
映像処理は、映像に対するフィルター処理と、前記映像に対するスケーラー処理とである。
【００６０】
これにより、複数の並列処理部１３１、１３２、２３１、２３２、２３３、２３４の各々における映像処理は、ノイズ除去などのフィルター処理と、入力信号の解像度を高めて出力信号を生成するスケーラー処理とを行うことで、該映像処理を複雑な処理がなく簡易に行うことができる。
【００６１】
並列処理部１３１、１３２、２３１、２３２、２３３、２３４の各々は、映像入力部１１、２１が取得した映像信号のフレーム周期に、並列処理部の数を乗じた期間をかけて、映像処理の対象であるフレームに対し映像処理を行う。
【００６２】
これにより、並列処理部１３１、１３２、２３１、２３２、２３３、２３４の各々の処理能力が低い場合においても、高い周波数のフレームレートで映像処理を行うことができる。また、複数の並列処理部１３１、１３２、２３１、２３２、２３３、２３４の各々は、映像のフレーム周期に並列処理部の数を乗じた時間をかけて処理してもフレームレートを維持することができる。
【００６３】
フレーム合成部１６、２６は、複数の並列処理部１３１、１３２、２３１、２３２、２３３、２３４において前記映像処理がなされた前記映像信号を入力された順に合成する。
【００６４】
これにより、映像処理装置１、１ａにおけるフレーム合成部１６、２６は、複数の並列処理部１３１、１３２、２３１、２３２、２３３、２３４において映像処理した複数のフレームを、映像処理前の複数のフレームと同じ順序で合成するため、複雑な処理をすることなく、簡易にフレームを合成することができる。
【００６５】
（第２の実施形態）
以下、図面を参照しながら本発明の第２の実施形態について詳しく説明する。
本実施形態では、各並列処理部におけるレイテンシーが異なる場合ついて説明する。
図６は、本発明の第２の実施形態に係る映像処理装置１ｂの構成の一例を示す概略ブロック図である。
映像処理装置１ｂは、映像入力部１１と、フレーム分離部１２と、並列処理部１３１、１３２と、フレームメモリー１４１、１４２と、演算部１５と、フレーム合成部１６と、フレームメモリー１７と、映像出力部１８と、を含んで構成される。映像処理装置１ｂは、その他、一般的な映像処理装置の機能を備えるが、図示および説明は省略する。
第１の実施形態に係る映像処理装置１の構成と、本実施形態に係る映像処理装置１ｂの構成とを比較すると、演算部１５が追加されている。それ以外の構成は、同様であるので説明は省略する。
【００６６】
並列処理部１３１、１３２は、フレーム分離部１２から奇数フレームの映像信号または偶数フレームの映像信号が入力されると、各フレームの映像信号に対し映像処理を行う。このとき、並列処理部１３１、１３２は、各フレームの映像処理におけるレイテンシーの情報を測定する。ここで、レイテンシーの情報とは、並列処理部１３１、１３２における映像処理によって生じる入力信号に対する出力信号の遅延時間、および出力信号の出力時刻を含む情報である。並列処理部１３１、１３２は、各々が測定したレイテンシーの情報を演算部１５に出力する。並列処理部１３１、１３２は、映像処理した各フレームの映像信号Ｐｏ１、Ｐｏ２をフレーム合成部１６に出力する。
【００６７】
演算部１５は、並列処理部１３１、１３２から各々レイテンシーの情報が入力されると、該レイテンシーの情報に含まれる出力時刻から映像処理にかかった処理時間を表す遅延時間の差を算出することで、並列処理部１３１、１３２各々にフレームの映像信号が入力された時刻を推定する。演算部１５は、該推定した時刻をフレーム合成部１６に出力する。
【００６８】
フレーム合成部１６は、並列処理部１３１、１３２から各フレームの映像信号Ｐｏ１、Ｐｏ２が入力されると、それらを、入力されたフレームの映像信号順にフレームメモリー１７の所定の記憶領域に記憶させる。フレーム合成部１６は、演算部１５から入力された時刻を参照して、フレームメモリー１７の所定の記憶領域からフレームの映像信号を該時刻順に読み出し、映像出力部１８に出力する。
このように、フレーム合成部１６は、入力された時刻を参照することで、並列処理部１３１、１３２各々に入力されたフレームの映像信号の順を推定することができ、各並列処理部１３１、１３２の処理能力が異なる場合においても映像を合成できる。
【００６９】
図７は、本実施形態に係る映像処理装置１ｂにおける入力映像および出力映像の関係の一例を示すタイミングチャートである。
並列処理部１３１が奇数フレームの映像信号に対し映像処理し、出力する奇数フレームの映像信号Ｐｏ１は、フレームＦ１’、Ｆ３’、Ｆ５’であり、並列処理部１３２が偶数フレームの映像信号に対し映像処理し、出力する偶数フレームの映像信号Ｐｏ２は、フレームＦ２’、Ｆ４’、Ｆ６’である。このとき、例えば、並列処理部１３１が並列処理部１３２よりも１フレーム以上のレイテンシーを生じたとすると、映像処理前のフレームＦ１に対応するフレームＦ１’よりも先にフレームＦ２に対応するＦ２’が出力される。このため、並列処理部１３１、１３２は、各々レイテンシーに関する情報を生成する。
【００７０】
フレーム合成部１６は、並列処理部１３１、１３２から入力されたフレームの映像信号順に、該フレームの映像信号Ｃｍをフレームメモリー１７の所定の記憶領域Ｍ１、Ｍ２、Ｍ３、Ｍ４に記憶させる。図７に示す場合においては、フレーム合成部１６は、フレームＦ２’、Ｆ１’、Ｆ４’、Ｆ３’の順にフレームメモリー１７の所定の記憶領域Ｍ１、Ｍ２、Ｍ３、Ｍ４に記憶させる。フレーム合成部１６は、演算部１５から入力されたレイテンシー差に基づいて、フレームメモリー１７の所定の記憶領域Ｍ２からフレームＦ１’を、次いで記憶領域Ｍ１からフレームＦ２’を、次いで記憶領域Ｍ４からフレームＦ３’を、次いで記憶領域Ｍ３からフレームＦ４’を読み出し、映像出力部１８にフレームの映像信号Ｃｏを出力する。すなわち、フレーム合成部１６は、レイテンシー差に基づいて、フレームメモリー１７から読み出すフレームの映像信号の順番を変更する。
【００７１】
なお、本実施形態において、２つの並列処理部１３１、１３２を用いているが、３つ以上の並列処理部用いて映像処理を行ってもよい。この場合、第１の実施形態に係る変形例のように構成すればよい。また、フレームメモリー１７は、４つの記憶領域として説明しているが、より多い（少ない）記憶領域を設けて、フレームの映像信号を記憶させてもよい。これにより、レイテンシーに関する情報が表す遅延時間が１フレーム以上である場合においても入力されたフレームの映像信号と同じ順に映像処理したフレームの映像信号を出力できる。また、演算部１５は、フレーム合成部１６に内包されてもよいし、外部ＣＰＵ（中央制御ユニット：Ｃｅｎｔｒａｌ  Ｐｒｏｔｏｃｏｌ  Ｕｎｉｔ）などであってもよい。また、並列処理部１３１、１３２は、フレームの映像信号が入力された時刻をフレーム合成部１６に出力してもよい。この場合、演算部１５を省略することができる。また、フレーム分離部１２は、分離し、各並列処理部１３１、１３２の各々に配分するフレームに対し、フレームの順番を識別する情報をレイテンシーに関する情報として付加して並列処理部１３１、１３２に出力してもよい。この場合、演算部１５を省略することができる。
【００７２】
このように、本実施形態によれば、映像処理装置１ｂは、複数のフレームを含んで構成される映像信号を取得する映像入力部１１と、映像入力部１１が取得した映像信号を、フレーム単位で分離して、分配するフレーム分離部１２と、フレーム分離部１２が分離して分配した前記フレームごとに並列に映像信号を映像処理する複数の並列処理部１３１、１３２と、複数の並列処理部１３１、１３２が映像処理した映像信号を合成するフレーム合成部１６と、を備える。
【００７３】
これにより、フレーム分離部１２は、フレームメモリーを使用せずに映像の分離ができるため、コストを安価にできる。さらに、映像処理装置１ｂにおける映像処理は、複雑な処理がないため、簡易に映像処理を行うことができる。
【００７４】
複数の並列処理部１３１、１３２は、映像処理におけるレイテンシーに関する情報をフレーム合成部１６に出力する。フレーム合成部１６は、レイテンシーに関する情報に基づいて、映像信号を合成する。
【００７５】
これにより、複数の並列処理部１３１、１３２の各々の処理能力が異なる場合においても、フレーム合成部１６は、複数の並列処理部１３１、１３２において映像処理されたフレームを入力された映像のフレーム順に合成することができる。
【００７６】
なお、上述した実施形態における映像処理装置１、１ａ、１ｂの一部、または全部をコンピューターで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピューター読み取り可能な記憶媒体に記憶して、この記憶媒体に記憶されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。
【００７７】
なお、ここでいう「コンピューターシステム」とは、映像処理装置１、１ａ、１ｂに内蔵されたコンピューターシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記憶媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記憶されているプログラムとの組み合わせで実現できるものであっても良い。
【００７８】
また、上述した実施形態における映像処理装置１、１ａ、１ｂの一部、または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。映像処理装置１、１ａ、１ｂの各機能ブロックは個別にプロセッサー化してもよいし、一部、または全部を集積してプロセッサー化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサーで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【００７９】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００８０】
１、１ａ、１ｂ・・・映像処理装置、  １１、２１・・・映像入力部、  １２、２２・・・フレーム分離部、  １３１、１３２、２３１、２３２、２３３、２３４・・・並列処理部、  １４１、１４２、２４１、２４２、２４３、２４４・・・フレームメモリー、  １５・・・演算部、  １６、２６・・・フレーム合成部、  １７、２７・・・フレームメモリー、  １８、２８・・・映像出力部
【図１】
2014135667.tif 000003
【図２】
2014135667.tif 000004
【図３】
2014135667.tif 000005
【図４】
2014135667.tif 000006
【図５】
2014135667.tif 000007
【図６】
2014135667.tif 000008
【図７】
2014135667.tif 000009