(57)【要約】【課題】画像処理方式の変更にもＦＰＧＡによる補正処理の共用化が可能な、高精細画像信号処理装置を提供すること。【解決手段】ＦＰＧＡ１〜ＦＰＧＡｎの夫々を備えた信号処理回路１０〜１５の入力側と出力側に高速クロスポイントスイッチ８、１６を設け、処理ユニット７全体としての画像処理方式の切り替えに必要な信号処理回路１０〜１５の入力側と出力側での接続変更がクロスポイントスイッチ８、１６のクロスポイントの選択により得られるようにしたもの。【選択図】図１
2010283588.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子から出力される画像信号をＦＰＧＡからなる信号処理回路により処理する方式の高精細画像信号処理装置において、
前記信号処理回路の入力側と出力側に夫々クロスポイントスイッチを設け、
ユニット全体としての画像処理方式の切り替えに必要な前記信号処理回路の入力側と出力側での接続変更が前記クロスポイントスイッチのクロスポイントの選択により得られるように構成したことを特徴とする高精細画像信号処理装置。
【請求項２】
請求項１に記載の高精細画像信号処理装置において、
前記クロスポイントスイッチのクロスポイントの選択が、前記信号処理回路のＦＰＧＡに対する論理情報のローディングにより与えられるように構成されていることを特徴とする高精細画像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子から出力される映像信号の処理装置に係り、特に、複数の出力を有する撮像素子又は複数貼り合わせによる撮像素子を用いて高精細画像を得るようにしたシステムにおける映像信号処理装置に関する。
【背景技術】
【０００２】
従来、ＨＤＴＶ(High Definition Television：ハイビジョン)の画素数を超える画素数を持つテレビジョンカメラ等が実用化されている(例えば、特許文献１〜５を参照)。
このようなカメラ等では、撮像素子からの映像信号の読み出し速度や、読み出し後の信号処理の速度に限度があることから、複数の出力を有する撮像素子又は複数貼り合わせによる撮像素子を用いて高精細画像を得るようにしたり、映像信号を複数に分割したりして並列処理するようにしている。
すなわち、撮像素子の画素領域を略一定間隔に複数のエリアに分割し、その複数のエリアを略同一のタイミングにて駆動して並列読み出し動作を行い、読み出した映像信号を並列状態のまま処理する。
【０００３】
図１０は、高精細画像に対応した信号処理の一例として考えられたブロック図である。縦長に領域分割された並列出力撮像素子の各出力信号に白／黒補正、収差補正、シェーディング補正、ニー(Knee)補正、γ補正、ディテール(DTL)補正など各種の補正処理を行なう。
撮像素子の出力信号は、分割領域毎やＲＧＢ色チャネル毎に、夫々分割されているので、領域の境界で補正量が不連続になると、視覚でも認識可能な劣化が画像に生じるため、本例では、収差やシェーディング補正を行な際は、隣の領域の信号も入力するようにしており、のりしろ処理と呼ばれる。
４Ｋ２Ｋ或いは８Ｋ４Ｋと呼ばれる超高精細映像を扱う場合、このための処理は処理量が莫大となるため、高速シリアル伝送で互いに接続された複数の基板で構成することが多い。システムの開発過程において、システムの開発者は開発過程において、ハードウェア規模、および並列処理によるオーバヘッドの増大を抑えるように、信号の分割の仕方や、各種処理の順序などの方式検討をする必要があるが、各方式ごとに回路基板を起こすのは、大変な労力となる。
【０００４】
ここで、近年、ＦＰＧＡ(Field Programmable Gate Array)と呼ばれるプログラミングが可能なＬＳＩデバイスが市場に提供されるようになり、このＦＰＧＡによれば、それに内蔵のＳＲＡＭ型メモリセルに、必要な論理情報と配線情報をローディングするだけで、設計どおりの回路として動作させることができる。
すなわち、ＦＰＧＡを必要に応じて複数個、実装したボードを用意しておけば、それだけで、別途、個々の回路について多数の基板を起こすこと無く、システムの試作、検証や評価が簡便且つ短時間で行えるようになり、高精細映像信号処理装置の性能向上とコスト低減に大きく寄与できることになる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５‐１３０３３１号公報
【特許文献２】特開２００３‐１４３５６２号公報
【特許文献３】特開２０００‐３１２３１１号公報
【特許文献４】特開２００５‐２６９１６３号公報
【特許文献５】特開２００５‐３３３５２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、高精細映像信号の処理においては、その前提となる信号形式(領域や色でどのように分割するかなど)や、全体としての画像処理方式について、配慮がされなければならず、ＦＰＧＡを用いただけでは簡単に補正処理を共用化できるわけではない。
全体としての画像処理方式としては、大別して、単色画像処理(単色画像のまま個々に処理する方式。領域分割数が少なくて済む)やＲＧＢ画像処理(ＲＧＢ画像に一括して処理する方式。色に関する補正が容易)、或いは専用画像処理(ユーザなどから要望された画像処理)がある。
【０００７】
異なる画像処理方式の回路基板との接続を可能にするためには、該回路基板に入力される撮像素子の並列信号、或いは前段の回路基板からの並列信号を全て束ね直す必要がある。
そして、この束ね直しには、個々のＦＰＧＡが全ての結線の組合せに備えて前段の全ての回路基板と接続を用意する必要があるが、現時点ではそのような多数の高速シリアル信号インタフェースを備えたデバイスは入手できない。
このため、配線の切り替えは、信号処理回路の中ではなく外部で行なう必要があり、たとえ信号処理回路がＦＰＧＡによるものであっても、論理情報と配線情報のローディングによっては対処できない。
【０００８】
従って、従来技術では、画像処理方式の変更には、例えば単色画像処理ユニット用とＲＧＢ画像処理ユニット用、それに専用画像処理ユニット用に夫々別の回路基板を起こす必要があり、従って、ＦＰＧＡによる補正処理の共用化に問題が生じてしまうのである。
本発明の目的は、画像処理方式の変更にもＦＰＧＡによる補正処理の共用化が可能な、高精細映像信号処理装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的は、撮像素子から出力される映像信号をＦＰＧＡからなる信号処理回路により処理する方式の高精細映像信号処理装置において、前記信号処理回路の入カ側と出力側に夫々クロスポイントスイッチを設け、ユニット全体としての画像処理方式の切り替えに必要な前記信号処理回路の入力側と出力側での接続変更が前記クロスポイントスイッチのクロスポイントの選択により得られるように構成することで達成される。
【００１０】
このとき、前記クロスポイントスイッチのクロスポイントの選択が、前記信号処理回路のＦＰＧＡに対する論理情報のローディングにより与えられるようにしても良い。
【発明の効果】
【００１１】
本発明によれば、クロスポイントスイッチのクロスポイントを選択するだけでユニット全体としての画像処理方式の切り替えが得られるので、画像処理方式が異なっても別の回路基板を起こす必要がないので、システムの開発過程において画像処理方式の切り替えについても簡単に対応でき、試験項目の多様化によるシステムの信頼性向上に大きく貢献する。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る高精細映像信号処理装置の処理ユニットのブロック図である。
【図２】本発明に係る高精細映像信号処理装置の処理ユニットのブロック図である。
【図３】本発明の一実施の形態におけるクロスポイントスイッチの一例を示す説明図である。
【図４】本発明の一実施の形態におけるクロスポイントスイッチの他の一例を示す第１の説明図である。
【図５】本発明の一実施の形態におけるクロスポイントスイッチの他の一例を示す第２の説明図である。
【図６】本発明の一実施の形態におけるクロスポイントスイッチの他の一例を示す第３の説明図である。
【図７】本発明の一実施の形態におけるクロスポイントスイッチの他の一例を示す第４の説明図である。
【図８】本発明の一実施の形態におけるクロスポイントスイッチの他の一例を示す第５の説明図である。
【図９】本発明の一実施の形態におけるクロスポイントスイッチの他の一例を示す第６の説明図である。
【図１０】高精細画像に対応した信号処理の一例を示すブロック図である。
【図１１】本発明の他の実施形態に係る高精細映像信号処理装置の構成図である。
【発明を実施するための形態】
【００１３】
以下、本発明に係る高精細映像信号処理装置について、実施の形態により詳細に説明する。
まず、図１は、本発明の一実施の形態による処理ユニット７のブロック図であり、単色画像処理した場合の動作も模式的に示してある。
本例の処理ユニット７は、主要部品として、入力側の高速クロスポイントスイッチ８と、６個の信号処理回路１０〜１５と、出力側の高速クロスポイントスイッチ１６と、を１枚の基板に実装したものである。
Ｒ(赤)センサ１とＢ(青)センサ２それにＧ(緑)センサ３は夫々、例えば、図１０に示したような並列出力撮像素子のセンサ(いわゆる３板カメラ)であり、ここでは、各センサは撮像領域が８分割され、それをＬＶＤＳのような高速シリアルインターフェース８本(Ｎ＝８)で出力するものとする。
【００１４】
高速シリアルインターフェースから出力される８本の高速シリアル映像信号の夫々は、読み出した分割領域内の画素値(例えば１４ビット)を所定の形式でシリアル化したものであり、領域の並びに応じて１〜８チャンネルと呼ぶことにする。
これらＲセンサ１、Ｂセンサ２、Ｇセンサ３の各々から８本ずつ出力される高速シリアル映像信号は、夫々の入力側コネクタ４、５、６を介して処理ユニット７の中に取り込まれ、入力側のＮ×Ｍ(Ｎ＝８)構成の高速クロスポイントスイッチ８に供給される。
このとき高速クロスポイントスイッチ８は、３Ｎ×６Ｍ(Ｍ＝６)構成のスイッチであり、ＦＰＧＡ１〜ＦＰＧＡｎ(ｎ＝６）の夫々からなる信号処理回路１０〜１５の各ＦＰＧＡからの制御信号によってクロスポイントの選択が制御される。
【００１５】
すなわち、高速クロスポイントスイッチ８は、１画面を構成する全部(２４チャンネル)の高速シリアル映像信号の個々を、３６本の出力信号に対して任意に接続できるものであり、６チャンネル毎に束ね直された高速シリアル映像信号が、ＦＰＧＡ１〜ＦＰＧＡｎの夫々からなる信号処理回路１０〜１５に入力される。ただし本例では、６チャンネル毎の出力信号のうち使用されるのは５チャンネルのみのため、図１では５本の線で図示してある。
このとき、ＦＰＧＡ１〜ＦＰＧＡｎは、夫々、このときに要求されている単色画像処理ユニットとしての信号処理に必要な論理情報と配線情報のほか、高速クロスポイントスイッチ８に与える制御信号を発生するための情報がローディングされている。
【００１６】
ここで、まず、信号処理回路１０には、Ｒチャネルの映像信号の１チャネルから５チャネルまでの５チャネル分が入力され、信号処理回路１１には、Ｒチャネルの映像信号の４チャネルから５チャネルまでの５チャネル分が入力される。そして、これら信号処理回路１０のＦＰＧＡ１と信号処理回路１１のＦＰＧＡ２の双方により、Ｒ映像信号について各種補正処理が施される。
次に、信号処理回路１２には、Ｇチャネルの映像信号の１チャネルから５チャネルまでの５チャネル分が入力され、信号処理回路１３には、Ｇチャネルの映像信号の１チャネルから５チャネルまでの５チャネル分が入力される。そして、これら信号処理回路１２のＦＰＧＡ３と信号処理回路１３のＦＰＧＡ４の双方により、Ｇ映像信号についての各種補正処理が施される。
【００１７】
また、信号処理回路１４には、Ｂチャネルの映像信号の１チャネルから５チャネルまでの５チャネル分が入力され、信号処理回路１５には、Ｂチャネルの映像信号の１チャネルから５チャネルまでの５チャネル分が入力され、これら信号処理回路１４のＦＰＧＡ５と信号処理回路１５のＦＰＧＡｎの双方によりＢ映像信号についての各種補正処理が施される。
各色とも、５チャネルが冗長に入力され、のりしろとして利用されるので、領域分割間を横断するような処理(シェーディング補正等)が可能になる。
このように、信号処理回路１０〜１５により、ＲＧＢの各色の映像信号毎に別個に(独立に)補正処理が施されることになり、この結果、各信号処理回路１０〜１５から夫々５本の高速シリアルＩ／Ｆによる補正処理済の映像信号が出力されることになる。
【００１８】
各信号処理回路１０〜１５から出力された補正処理済の映像信号は、出力側の高速クロスポイントスイッチ１６に供給される。
ここで、この高速クロスポイントスイッチ１６は、６Ｍ×３Ｎ構成のスイッチであり、これも入力側の高速クロスポイントスイッチ８と同様、信号処理回路１０〜１５の各ＦＰＧＡから与えられる制御信号によってクロスポイントの選択が制御される。本例では、入力側と同じ方式の信号に戻すため、出力側の高速クロスポイントスイッチ１６内の接続の様態は、入力側の高速クロスポイントスイッチ８とちょうど逆になる。
【００１９】
すなわち、信号処理回路１０と信号処理回路１１から出力される各々５チャネルの補正処理済Ｒチャネル映像信号は、高速シリアルインターフェースＩ／Ｆによる８チャネルのＲチャネル映像信号として、高速クロスポイントスイッチ１６により選択され、出力側コネクタ１７に取り出される。
次に、信号処理回路１２と信号処理回路１３から出力される各々５チャネルの補正処理済Ｇチャネル映像信号は、高速シリアルインターフェースＩ／Ｆによる８チャネルのＧチャネル映像信号として、高速クロスポイントスイッチ１６により選択され、出力側コネクタ１８に取り出される。
【００２０】
そして、信号処理回路１４と信号処理回路１５から出力される各々５チャネルの補正処理済Ｂチャネル映像信号は、高速シリアルインターフェースＩ／Ｆによる８チャネルのＢチャネル映像信号として、高速クロスポイントスイッチ１６により選択され、出力側コネクタ１９に取り出される。
従って、この図１に示すように、高速クロスポイントスイッチ８と高速クロスポイントスイッチ１６のクロスポイントを選択することにより、処理ユニット７を単色画像処理ユニットとして機能させることができる。
【００２１】
次に、図２は、本発明の一実施の形態による処理ユニット７をＲＧＢ画像処理ユニット用に切換えた場合の一例で、この場合、高速クロスポイントスイッチ８と高速クロスポイントスイッチ１６の夫々によるクロスポイントの選択位置が図１の場合と異なるだけで、処理ユニット７自体の構成は、図１の場合と変りなく、その他の構成も図１の場合と同じである。
そして、ＲＧＢ各８チャネルの映像信号は、高速クロスポイントスイッチ８の制御により、６チャネル毎の映像信号４組として選択され、ＦＰＧＡ１〜ＦＰＧＡ４の夫々からなる信号処理回路１０〜１３に入カされる。
【００２２】
このとき、ＦＰＧＡ１〜ＦＰＧＡ４は、夫々、このときに要求されているＲＧＢ画像処理ユニットとしての信号処理に対応して、必要な論理情報と配線情報がローディングされている。
そこで、まず、信号処理回路１０には、ＲチャネルとＧチャネル及びＢチャネルの各映像信号の１チャネルと２チャネルの２チャネル分が入力される。そして、これらＲ映像信号とＧ映像信号及びＢ映像信号の１チャネルと２チャネルの２チャネル分について、信号処理回路１０のＦＰＧＡ１により、ＲＧＢ画像に必要な各種補正処理が施される。
次に、信号処理回路１１には、ＲチャネルとＧチャネル及びＢチャネルの各映像信号の３チャネルと４チャネルの２チャネル分が入カされる。
【００２３】
そして、これらＲ映像信号とＧ映像信号及びＢ映像信号の３チャネルと４チャネルの２チャネル分について、信号処理回路１１のＦＰＧＡ２により、ＲＧＢ画像に必要な各種補正処理が施される。
また、信号処理回路１２には、ＲチャネルとＧチャネル及びＢチャネルの各映像信号の５チャネルと６チャネルの２チャネル分が入力される。
そして、これらＲ映像信号とＧ映像信号及びＢ映像信号の５チャネルと６チャネルの２チャネル分について、信号処理回路１２のＦＰＧＡ３により、ＲＧＢ画像に必要な各種補正処理が施される。
【００２４】
更に、信号処理回路１３には、ＲチャネルとＧチャネル及びＢチャネルの各映像信号の７チャネルと８チャネルの２チャネル分が入カされる。そして、これらＲ映像信号とＧ映像信号及びＢ映像信号の７チャネルと８チャネルの２チャネル分について、信号処理回路１３のＦＰＧＡ４により、ＲＧＢ画像に必要な各種補正処理が施される。
従って、ＲＧＢ画像処理に必要な各種補正処理が、信号処理回路１０〜１３により、全てのチャネルについて施されることになり、この結果、各信号処理回路１０〜１３から、夫々６チャネルの補正処理済映像信号が出力される。
【００２５】
各信号処理回路１０〜１３から出力された補正処理済の映像信号は、出力側の高速クロスポイントスイッチ１６に供給される。
そして、これら信号処理回路１０〜１３から出力される各々２チャネル分の補正処理済ＲＧＢ映像信号は、高速シリアルＩ／Ｆによる８チャネルのＲＧＢ映像信号として、高速クロスポイントスイッチ１６により選択され、Ｒ映像信号は出力側コネクタ１７に供給され、Ｇ映像信号は出力側コネクタ１８に供給され、そしてＢ映像信号は出力側コネクタ１９に供給されることになる。
【００２６】
従って、この図２に示すように、高速クロスポイントスイッチ８と高速クロスポイントスイッチ１６のクロスポイントを選択することにより、処理ユニット７をＲＧＢ画像処理ユニットとして機能させることができ、カラーマスキングのような、色に関する処理が効率的に並列処理できる。また、固定パターン補正のような、分割領域間の連続性を要しない処理も可能である。
【００２７】
このとき、これら図１の単色画像処理ユニットと図２のＲＧＢ画像処理ユニットは、いずれも同じ処理ユニット７を切換えることにより得られるものであり、しかも、この切換えは、ＦＰＧＡに対する論理情報のローディングにより与えることができ、別の回路基板を起こす必要がない。
【００２８】
ここで、上記実施形態における高速クロスポイントスイッチ８、１６について、更に具体的に説明する。
まず、図３は、例えば米国アナログデバイセス(Analog Devises)社の商品名ＡＤ８１５２によるクロスポイントスイッチを入力側の高速クロスポイントスイッチ８として用いた場合のクロスポイントの選択状態を示したもので、図の上側が高速クロスポイントスイッチ８の入力端子の信号を表わし、同右側は出力端子の信号(各信号処理回路のＦＰＧＡに接続される)を表わしている。
信号線の交差部分の×記号は、単色画像処理もしくはＲＧＢ画像処理のどちらかにおいて接続が必要な箇所を示しており、Ｒ１〜Ｒ２チャンネルとＦＰＧＡ１−Ｉ１〜Ｉ２は固定であることを利用し、信号線数が３６本であっても、３４×３４のクロスポイントスイッチで実現することができる。
【００２９】
次に、図４〜図６は、６個の８×８クロスポイントスイッチＦＳ１〜ＦＳ６と、同じく６個の８×８クロスポイントスイッチＳＳ１〜ＳＳ６とを用い、クロスポイントスイッチＦＳ１〜ＦＳ６とクロスポイントスイッチＳＳ１〜ＳＳ６を縦接続して、図１の単色処理ユニットにおける入力側の高速クロスポイントスイッチ８とした場合のクロスポイントの選択状態を示したもので、ここでは便宜的に入力端子と出力端子を線で接続して図示することにより、クロスポイントの選択状態を表わしている。
【００３０】
また、図７〜図９は、６個の８×８クロスポイントスイッチＦＳ１〜ＦＳ６と、同じく６個の８×８クロスポイントスイッチＳＳ１〜ＳＳ６とを用い、クロスポイントスイッチＦＳ１〜ＦＳ６とクロスポイントスイッチＳＳ１〜ＳＳ６を縦接続して、図２のＲＧＢ画像処理ユニットにおける入力側の高速クロスポイントスイッチ８ とした場合のクロスポイントの選択状態を示したものである。
【００３１】
図１１は、本発明の他の実施形態に係る高精細映像信号処理装置の構成図である。
図１１において、角が丸い枠で図示したものは、前述の処理ユニット７に相当し、３０個の処理ユニットを用いて高精細映像信号処理装置を構成してある。
本例においても３板カメラを想定しており、Bayer配列に伴う色分離補間等が不要なため、単色画像処理を基本している。ただし、ほとんどの処理ユニットは原則、夫々１色しか処理しない点で先の実施形態と異なる。
【００３２】
具体的には、撮像素子の画素毎に生じるようなＦＰＮ(Fixed Pattern Noise)や白きずを補正するユニットと、フレア(強い入射光が撮像系ないで散乱されて結像せずに白濁する現象)やシェーディング(感度のむら)の補正、デジタルゲイン処理、テストパターンとの切り替え処理をするユニットと、色チャネル間の画像の位置ずれ(主に色収差が原因)を補正するレジ色収差補正ユニットと、レンズの分解能に応じた適切な高域強調(鮮鋭化)を行なうアパーチャ補正アンシャープユニットと、Ｒ、Ｇ、Ｂ、Ｃ(シアン)、Ｍ(マゼンタ)、Ｙ(イエロー)の６色毎に別個に彩度、色相を調整可能な６色独立カラーマスキングユニットと、主に輪郭強調のためのディテール補正や、主に高輝度の諧調再現性を良くするニー補正や、主に中間調の明るさの調整するためのガンマ補正を行なうユニットとを、直列接続(縦続接続)して補正処理を実現している。
【００３３】
カラーチャネル間の演算が必須となるカラーマスキングでは、４ユニットを用い、４分割した領域毎に、ＲＧＢ全チャネルを入力して処理するが、それより上流では、ＲＧＢ毎にユニットを３個並列に設けて処理する。また、強い非線形性のあるガンマ処理(トーンカーブ画像補正)は最後に行なうことが望ましいため、カラーマスキング処理後に行なっている。
【符号の説明】
【００３４】
１  Ｒセンサ(撮像素子の赤色センサ部分)
２  Ｇセンサ(撮像素子の青色センサ部分)
３  Ｂセンサ(撮像素子の緑色センサ部分)
４〜６  入力側のコネクタ
７  処理ユニット
８  入力側の高速クロスポイントスイッチ
１０〜１５  信号処理回路(ＦＰＧＡ１〜ＦＰＧＡｎ(ｎ＝６)を用いた
信号処理回路)
１６  出力側の高速クロスポイントスイッチ
１７〜１９  出力側のコネクタ
【図１】
2010283588.tif 000003
【図２】
2010283588.tif 000004
【図３】
2010283588.tif 000005
【図４】
2010283588.tif 000006
【図５】
2010283588.tif 000007
【図６】
2010283588.tif 000008
【図７】
2010283588.tif 000009
【図８】
2010283588.tif 000010
【図９】
2010283588.tif 000011
【図１０】
2010283588.tif 000012
【図１１】
2010283588.tif 000013