(57)【要約】【課題】同時化およびフレームレート変換を行うとともに、追い越しの発生を防止することができる、新規な映像信号処理装置を提供する。【解決手段】映像信号処理装置は、第１の同期信号よりも同期間隔が広い第２の同期信号を生成する制御部と、順次入力されたRGB成分を第２の同期信号に同期して並列出力する出力部であって、RGB成分のうち１色の成分に対応する記憶容量を有する記憶部を有する出力部と、を有する。制御部は、記憶部に記憶されたRGB成分を使用して出力部に並列出力させると共に、RGB成分が入力されたときに未だ読み出されていないRGB成分が存在する場合、入力されたRGB成分を記憶部に記憶させず、記憶部に記憶されたRGB成分と入力されたRGB成分とを出力部に並列出力させる。【選択図】図１
2010178055.tif 000002
【特許請求の範囲】
【請求項１】
第１の同期信号に同期して順次入力されるRGB成分で構成される映像信号を処理する映像信号処理装置であって、
前記第１の同期信号よりも同期間隔が広い第２の同期信号を生成する制御部と、
順次入力された前記RGB成分を前記第２の同期信号に同期して並列出力する出力部であって、前記RGB成分のうち１色の成分に対応する記憶容量を有する記憶部を有する出力部と、
を有し、
前記制御部は、前記記憶部に記憶された前記RGB成分を使用して前記出力部に並列出力させると共に、前記RGB成分が入力されたときに未だ読み出されていない前記RGB成分が存在する場合、当該入力された前記RGB成分を前記記憶部に記憶させず、前記記憶部に記憶されたRGB成分と当該入力されたRGB成分とを前記出力部に並列出力させる
ことを特徴とする映像信号処理装置。
【請求項２】
前記記憶部は、
前記映像信号の１フレーム分を格納する変換バッファと、
入力された前記RGB成分または前記変換バッファから出力される前記RGB成分の中から、所定色の成分のデータを１フレーム分だけ格納する複数の同時化メモリと、
を備え、
前記制御部は、
前記第１の同期信号に基づいて、前記変換バッファへの書き込みを制御するバッファ書き込み制御信号を生成し、前記第２の同期信号に基づいて、前記変換バッファからの読み出しを制御するバッファ読み出し制御信号を生成する変換バッファ制御部と、
前記第１の同期信号および前記第２の同期信号に基づく切り替え制御信号を生成する切り替え信号生成部と、
前記切り替え制御信号に基づいて前記バッファ書き込み制御信号をマスクする書き込み信号マスク部と、
前記第２の同期信号に基づいて、前記複数の同時化メモリへの書き込みを制御するメモリ書き込み制御信号と、前記複数の同時化メモリからの読み出しを制御するメモリ読み出し制御信号とを生成する同時化メモリ制御部と、
前記複数の同時化メモリの中の１つに対して入力する前記RGB成分を、入力された前記RGB成分および前記変換バッファから出力される前記RGB成分の中から、前記切り替え制御信号に基づいて選択する画像データ選択部と、
前記画像データ選択部によって選択された前記RGB成分が入力される前記同時化メモリに対して前記メモリ書き込み制御信号として入力される信号を、前記バッファ書き込み制御信号および前記メモリ書き込み制御信号の中から、前記切り替え制御信号に基づいて選択する書き込み信号選択部と、
を備える
ことを特徴とする請求項１に記載の映像信号処理装置。
【請求項３】
前記記憶部は、
入力された前記RGB成分の中から、所定色の成分のデータを１フレーム分だけ格納する第１の同時化メモリと、
前記第１の同時化メモリに格納する色以外の色の成分のデータを１フレーム分だけ格納する複数の第２の同時化メモリと、
前記第２の同時化メモリから出力される前記RGB成分を一時的に格納する複数の調整バッファと、
を備え、
前記制御部は、
前記第１の同期信号に基づいて、前記第１の同時化メモリおよび前記第２の同時化メモリへの書き込みを制御するメモリ書き込み制御信号を生成し、前記第２の同期信号に基づいて、前記第１の同時化メモリからの読み出しを制御する第１のメモリ読み出し制御信号を生成する同時化メモリ制御部と、
前記第２の同期信号に基づいて、前記調整バッファへの書き込みを制御するバッファ書き込み制御信号と、前記第２の同時化メモリからの読み出しを制御する第２のメモリ読み出し制御信号とを生成する調整バッファ制御部と、
を備える
ことを特徴とする請求項１に記載の映像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子を用いた面順次方式によりカラー画像を得る電子内視鏡等に用いられる映像信号処理装置に関する。
【背景技術】
【０００２】
面順次方式の電子内視鏡では、光源ランプからの光は回転RGBフィルタを通過し、照明用ライトガイドを経由して被写体に照射される。回転RGBフィルタの開口部にはRGBの3色の色フィルタが設けられており、この回転RGBフィルタが回転することで、被写体にはR、G、Bの照明が時分割で照射されることになる。この照明を照射された被写体からの反射光は、固体撮像素子により映像信号として取得されるが、取得された画像をカラー画像として処理するためには、「同時化」という処理が必要となる。
【０００３】
図5は同時化処理の概要を示している。画像処理部に対し、1フレーム分の入力画像を3フレーム期間にわたって繰り返し入力する、という処理を各色について行うことで、カラー画像として処理できるようにしている。
【０００４】
この同時化の際に、フレームレートの変換が必要となることがある。たとえば、テレビジョン方式には複数の規格があり、日本やアメリカではNTSC規格が、欧州ではPAL規格が採用されている。これらの規格ではフレームレートが異なるため、PAL規格の表示装置（モニタ等）に対して、NTSCレートで撮像した映像信号を入力しても、画像が正しく表示されない。よって、この場合はNTSCレートで入力された映像信号を、一連の画像処理の中でPALレートの映像信号に変換する必要がある。さらに、固体撮像素子からの出力自体が特定の規格に準拠していないこともあり、この場合も、表示機器に合わせたレート変換が必要になる。
【０００５】
ただし、この場合には気をつけなければならない点がある。同時化を単純なFIFO(First In First Out)メモリで実現した場合、いわゆる「追い越し」と呼ばれる現象が起こってしまう。図6は、1秒あたりのフレーム数を、より少ないフレーム数に変換する例である。FIFOへの書き込みと読み出しの関係に着目すると、フレームT0の入力画像B1の書き込みは入力画像B0の読み出しと競合する可能性が高い。すなわち、入力画像B0の読み出しが開始されてから若干遅れて入力画像B1の書き込みが開始され、書き込みが読み出しを追い越してしまうことによって、入力画像B0のデータを読み出す前に入力画像B1のデータが上書きされてしまうことが起こりうる。この場合、表示装置において、画面の上部と下部とで、異なるフレームの画像が表示されてしまう。具体的には、画面の上部で入力画像B0が表示され、画面の下部で入力画像B1が表示されてしまう。
【０００６】
このような問題に対し、特許文献1に記載の映像信号処理装置が提案されている。この映像信号処理装置では、12個のFIFOメモリを利用して同時化を実現している。以下、図7を用いて、この映像信号処理装置の動作を簡単に説明する。説明を簡単にするため、ここではRの系のみを説明する。なお、この映像信号処理装置では同時化とともに、画像の走査方法をプログレッシブ方式からインターレース方式に変換する処理も同時に行っているため、出力は1フレームを半分に分けた“フィールド”単位となっている。図中のodd/evenは、画像のフィールドを示す。
【０００７】
この映像信号処理装置は、oddフィールドのデータとevenフィールドのデータを物理的に別のメモリに書き込み、インターレース変換の際の制御を単純にする、というものである。Rの系については、oddフィールド用の2つのメモリ（Rodd(A1)、Rodd(A2)）と、evenフィールド用の2つのメモリ（Reven(A1)、Reven (A2)）とが設けられている。ここで、時刻T0、T1において、データを書き込むメモリと、データを読み出すメモリとが物理的に別のメモリとなっているため、前述した書き込みと読み出しの競合に起因する追い越しは発生しない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−３２５７２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記の映像信号処理装置は、非常に多くのメモリを使用している。メモリを12個使用しているのは、プログレッシブ方式からインターレース方式への変換も兼ねているからであると思われるが、この変換を行わない場合でも、書き込みと読み出しを別々のメモリに対して行うようにするために6個のメモリが必要である。設計の簡略化が目的であると思われるが、コスト低減の観点ではメモリの部品点数を削減することが望ましい。
【００１０】
本発明は、上述した課題に鑑みてなされたものであって、同時化およびフレームレート変換を行うとともに、追い越しの発生を防止することができる、新規な映像信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、上記の課題を解決するためになされたもので、第１の同期信号に同期して順次入力されるRGB成分で構成される映像信号を処理する映像信号処理装置であって、前記第１の同期信号よりも同期間隔が広い第２の同期信号を生成する制御部と、順次入力された前記RGB成分を前記第２の同期信号に同期して並列出力する出力部であって、前記RGB成分のうち１色の成分に対応する記憶容量を有する記憶部を有する出力部と、を有し、前記制御部は、前記記憶部に記憶された前記RGB成分を使用して前記出力部に並列出力させると共に、前記RGB成分が入力されたときに未だ読み出されていない前記RGB成分が存在する場合、当該入力された前記RGB成分を前記記憶部に記憶させず、前記記憶部に記憶されたRGB成分と当該入力されたRGB成分とを前記出力部に並列出力させることを特徴とする映像信号処理装置である。
【００１２】
また、本発明の映像信号処理装置において、前記記憶部は、前記映像信号の１フレーム分を格納する変換バッファと、入力された前記RGB成分または前記変換バッファから出力される前記RGB成分の中から、所定色の成分のデータを１フレーム分だけ格納する複数の同時化メモリと、を備え、前記制御部は、前記第１の同期信号に基づいて、前記変換バッファへの書き込みを制御するバッファ書き込み制御信号を生成し、前記第２の同期信号に基づいて、前記変換バッファからの読み出しを制御するバッファ読み出し制御信号を生成する変換バッファ制御部と、前記第１の同期信号および前記第２の同期信号に基づく切り替え制御信号を生成する切り替え信号生成部と、前記切り替え制御信号に基づいて前記バッファ書き込み制御信号をマスクする書き込み信号マスク部と、前記第２の同期信号に基づいて、前記複数の同時化メモリへの書き込みを制御するメモリ書き込み制御信号と、前記複数の同時化メモリからの読み出しを制御するメモリ読み出し制御信号とを生成する同時化メモリ制御部と、前記複数の同時化メモリの中の１つに対して入力する前記RGB成分を、入力された前記RGB成分および前記変換バッファから出力される前記RGB成分の中から、前記切り替え制御信号に基づいて選択する画像データ選択部と、前記画像データ選択部によって選択された前記RGB成分が入力される前記同時化メモリに対して前記メモリ書き込み制御信号として入力される信号を、前記バッファ書き込み制御信号および前記メモリ書き込み制御信号の中から、前記切り替え制御信号に基づいて選択する書き込み信号選択部と、を備えることを特徴とする。
【００１３】
また、本発明の映像信号処理装置において、前記記憶部は、入力された前記RGB成分の中から、所定色の成分のデータを１フレーム分だけ格納する第１の同時化メモリと、前記第１の同時化メモリに格納する色以外の色の成分のデータを１フレーム分だけ格納する複数の第２の同時化メモリと、前記第２の同時化メモリから出力される前記RGB成分を一時的に格納する複数の調整バッファと、を備え、前記制御部は、前記第１の同期信号に基づいて、前記第１の同時化メモリおよび前記第２の同時化メモリへの書き込みを制御するメモリ書き込み制御信号を生成し、前記第２の同期信号に基づいて、前記第１の同時化メモリからの読み出しを制御する第１のメモリ読み出し制御信号を生成する同時化メモリ制御部と、前記第２の同期信号に基づいて、前記調整バッファへの書き込みを制御するバッファ書き込み制御信号と、前記第２の同時化メモリからの読み出しを制御する第２のメモリ読み出し制御信号とを生成する調整バッファ制御部と、を備えることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、第１の同期信号に同期して順次入力されたRGB成分を第２の同期信号に同期して並列出力することによって、同時化およびフレームレート変換を行うことができる。また、RGB成分が入力されたときに未だ読み出されていないRGB成分が存在する場合、入力されたRGB成分は記憶部に記憶させず、記憶部に記憶されたRGB成分と、入力されたRGB成分とを出力部に並列出力させることによって、追い越しの発生を防止することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第1の実施形態による映像信号処理装置の構成を示すブロック図である。
【図２】本発明の第1の実施形態による映像信号処理装置の動作を示すタイミングチャートである。
【図３】本発明の第2の実施形態による映像信号処理装置の構成を示すブロック図である。
【図４】本発明の第2の実施形態による映像信号処理装置の動作を示すタイミングチャートである。
【図５】従来の同時化処理の概要を示すタイミングチャートである。
【図６】従来の同時化処理の概要を示すタイミングチャートである。
【図７】従来の映像信号処理装置の動作を示すタイミングチャートである。
【発明を実施するための形態】
【００１６】
以下、図面を参照し、本発明の実施形態を説明する。
【００１７】
（第1の実施形態）
まず、本発明の第1の実施形態を説明する。図1は、本実施形態による映像信号処理装置の構成を示している。図1に示す映像信号処理装置は、切り替え信号生成部100、変換バッファ制御部101、同時化メモリ制御部102、書き込み信号マスク部103、変換バッファ104、画像データ選択部105、書き込み信号選択部106、B画像用の同時化メモリ107、R画像用の同時化メモリ108、G画像用の同時化メモリ109により構成されている。なお、本実施形態においては、変換バッファおよび同時化メモリは、どちらもFIFO（First In First Out）メモリであることを前提としている。
【００１８】
同時化メモリで同時化とフレームレート変換の両方を行おうとすると、同時化メモリに対する書き込みと読み出しの制御が難しくなる。そこで、同時化メモリにデータを書き込む前に、フレームレート変換用のバッファでフレームレートの変換を行うことで、同時化メモリの制御（特に読み出し）が簡単になる。
【００１９】
しかし、同時化メモリの前段にフレームレート変換用のバッファを単純に挿入しただけでは、バッファの入力と出力のフレームレートの違いにより、バッファで取りこぼすフレームが出てしまう。たとえば、1秒あたり30フレーム入力される映像信号を1秒あたり25フレームの映像信号に変換する場合、バッファで5フレームが消失してしまう。面順次方式でのフレームの消失は、入力データと色の対応関係を崩すことになり、カラー画像として成立しなくなってしまう。
【００２０】
上記に鑑み、本実施形態による映像信号処理装置は、バッファにおいて読み出しが開始される前に新たな書き込みが発生する場合には、バッファを経由せずに直接同時化メモリにデータを書き込むという特徴を有する。これによって、フレームの消失を回避することができる。
【００２１】
上記により、バッファにおけるフレームの消失は回避されるが、バッファの後段の同時化メモリで読み出しと書き込みの競合が発生する可能性がある。読み出しと書き込みの競合が問題になるのは、まだ読み出していないデータと同じ場所（アドレス）に新しいデータを書き込んでしまう場合である。
【００２２】
上記に鑑み、本実施形態による映像信号処理装置は、同時化メモリに対する読み出しの開始を書き込みの開始よりも遅らせるという特徴を有する。これによって、読み出しと書き込みの競合を回避し、簡単な制御により、いわゆる「追い越し」の発生を防止することができる。
【００２３】
以下、図1に示す映像信号処理装置の詳細を説明する。切り替え信号生成部100は、入力側同期信号120と出力側同期信号121との位相関係に基づいて、入力側同期信号120のレートで切り替え制御信号122を生成する。変換バッファ制御部101は、入力側同期信号120と出力側同期信号121とに基づいて、変換バッファ104の書き込み制御信号125と読み出し制御信号127とを生成する。生成された読み出し制御信号127はそのまま変換バッファ104に入力されるが、書き込み制御信号125は書き込み信号マスク部103に入力される。
【００２４】
書き込み信号マスク部103は、切り替え信号生成部100が生成した切り替え制御信号122に基づいて、変換バッファ制御部101が生成した書き込み制御信号125をマスク（無効化）して変換バッファ104に入力する。変換バッファ104は、書き込み信号マスク部103からの書き込み制御信号126に基づいて、固体撮像素子からの画像データ124（RGB成分）の1フレーム分を内部に格納する。また、変換バッファ104は、変換バッファ制御部101からの読み出し制御信号127に基づいて、格納したデータを読み出し、後段に出力する。書き込み信号マスク部103により書き込み制御信号125がマスクされた場合は、変換バッファ104にデータは格納されない。
【００２５】
同時化メモリ107、108、109は、画像データを構成するR、G、Bの内の、対応する1色のデータを格納する。同時化メモリ制御部102は、出力側同期信号121に基づいて、同時化メモリ107、108、109への書き込み制御信号129、130、131と読み出し制御信号132を生成する。なお、読み出し制御信号132はすべての同時化メモリに共通であるが、書き込み制御信号129、130、131は同時化メモリごとに独立した信号である。よって、同時化メモリに何色のデータを格納するのかということは、同時化メモリ制御部102が生成する書き込み制御信号129、130、131により決定される。
【００２６】
同時化メモリ107の前段には、画像データ選択部105と書き込み信号選択部106が設けられている。画像データ選択部105は、切り替え信号生成部100からの切り替え信号122に基づいて、固体撮像素子からの画像データ124と、変換バッファ104からの画像データ128との内の一方を選択して出力する。書き込み信号選択部106は、切り替え信号生成部100からの切り替え信号122に基づいて、同時化メモリ制御部102が生成した書き込み制御信号129と、変換バッファ制御部101が生成した書き込み制御信号125との内の一方を選択して出力する。
【００２７】
次に、図1と図2を用いて、本実施形態による映像信号処理装置の動作を説明する。なお、図2では、入力の映像信号の規格がNTSC（1秒に30フレーム）であり、出力の映像信号の規格がPAL（1秒に25フレーム）であることを想定している。この場合、入力フレーム数と出力フレーム数の比率は6:5となる。すなわち、出力5フレーム（あるいは入力6フレーム）を一つの周期と考えることができる。この周期の中で考えると、入力と出力の位相関係は、出力を基準とすると5通りの組み合わせしかない。よって、図2に図示した範囲で、本実施形態におけるすべての位相関係を網羅できている。なお、本実施形態では、1秒あたりのフレーム数が、入力に比べて出力の方が少ない場合を想定している。出力の方が入力よりも多い場合には対応していない。
【００２８】
切り替え信号生成部100は、入力側同期信号120と出力側同期信号121から切り替え信号122を生成する。図2における時刻T100を、5フレームからなる出力の周期の起点とすると、周期内の最終フレームに相当する時刻T101では、直前のフレームで変換バッファ104に書き込んだ画像データG1の読み出しと画像データB1の書き込みが競合してしまう。切り替え信号生成部100は、このようなフレーム位置で切り替え制御信号を有効（図2では‘1’）にする。
【００２９】
なお、入力側同期信号を基準にして出力側同期信号を独自に生成するようなシステムにおいては、書き込みと読み出しが競合するフレームの特定は容易である。しかし、出力側同期信号が外部から入力される場合、切り替え信号生成部100の内部で、入力側同期信号120と出力側同期信号121の時間差を計測して競合するフレームを特定する、等の対策が必要である。さらに、そのような場合には、競合が発生するフレームが何色に対応するのかが、電源投入時に決定される可能性もある。本実施形態では、競合が発生するフレームのデータは同時化メモリ107に格納されることになるため、そのフレームがB画像以外だった場合に出力画像との対応関係が乱れてしまう。よって、そのような場合には、同時化メモリ107、108、109の後段に、映像信号を正しい組み合わせに並べ替える処理が必要となる。
【００３０】
本実施形態に係る以降の箇所では、競合が発生するフレームおよびその時の色はあらかじめ判明している、という前提で説明する。変換バッファ制御部101は、入力側同期信号120に基づいて、変換バッファ104の書き込み制御信号125を生成する。この書き込み制御信号125は、書き込み信号マスク部103で切り替え信号122によりマスクされて書き込み制御信号126となる。変換バッファ104では、この書き込み制御信号126に従い、固体撮像素子からの画像データ124が内部に格納される（‘1’で書き込み）。
【００３１】
変換バッファ制御部101は、出力側同期信号121に基づいて、変換バッファ104の読み出し制御信号127を生成し、変換バッファ104はこの読み出し制御信号127に従い画像データ128を出力する（‘1’で読み出し）。この段階で、フレームレートの変換が行われている。
【００３２】
同時化メモリ制御部102は、出力側同期信号121に基づいて、B画像用の書き込み制御信号129、R画像用の書き込み制御信号130、G画像用の書き込み制御信号131を生成する。R画像を格納する同時化メモリ108とG画像を格納する同時化メモリ109は、書き込み制御信号130、131に従い、変換バッファ104から出力された画像データ128を内部に格納する（‘1’で書き込み）。
【００３３】
一方、B画像用の書き込み制御信号129は書き込み信号選択部106に入力される。書き込み信号選択部106は、切り替え信号122に基づいて、同時化メモリ制御部102が生成した書き込み制御信号129と変換バッファ制御部101が生成した書き込み制御信号125との内の一方を選択し、最終的なB画像用の同時化メモリ107の書き込み制御信号133として出力する。同様に、画像データ選択部105は、切り替え信号122に基づいて、変換バッファ104に入力される画像データ124と変換バッファ104から出力された画像データ128との内の一方を選択する。選択された画像データ134はB画像用の同時化メモリ107に格納される。
【００３４】
たとえば、図2の時刻T101において、G画像用の同時化メモリ109は書き込み制御信号131に従って変換バッファ104からの画像データ128（G１画像）を内部に格納する。このとき、切り替え信号122は‘1’になっており、書き込み信号選択部106は、変換バッファ制御部101が生成した書き込み制御信号125を選択し、画像データ選択部105は、変換バッファ104を経由しない画像データ124（B１画像）を選択する。B画像用の同時化メモリ107は、書き込み信号選択部106からの書き込み制御信号133に基づいて、画像データ134を内部に格納する。よって、時刻T101においては、G画像用の同時化メモリ108と、B画像用の同時化メモリ107の両方へのデータ書き込みが実施される。
【００３５】
以上のように、フレームレート変換をしながらも、すべてのフレームのデータを3色の同時化メモリに取りこぼすことなく格納することができる。
【００３６】
同時化メモリ制御部102は、3つの同時化メモリ107、108、109の読み出し制御信号132を生成し、各同時化メモリは、この読み出し制御信号132に従って画像データを出力する（‘1’で読み出し）。同時化メモリ制御部102は、読み出し制御信号132を生成する際に、出力側同期信号121を所定の時間だけ遅延させた信号（図2中の「内部出力同期信号」）を参照する。これにより、時刻T101における同時化メモリ107へのデータの書き込みに対し、読み出しを後ろにずらすことができるため、追い越しの発生を回避することができる。
【００３７】
なお、このときの遅延時間は、書き込みに対して読み出しを後ろにずらすだけの遅延が確保できれば十分である。本実施形態の場合、追い越しが発生する危険が最も高い時刻T101においては、入力側同期信号120と出力側同期信号121が示すように、読み出しが書き込みに対して、出力側のフレームレートで1/5フレーム程度先行している。よって、この分だけ読み出しを後ろにずらせばよいので、本実施形態における必要な遅延量は最低で1/5フレーム（出力側のフレームレートを基準とする）となる。電子内視鏡では、上記の遅延量は最大でも1フレーム以内であることが望ましい。同時化メモリ107の書き込みと読み出しのレートは同一なので、上記の遅延量分、読み出しを後ろにずらすことで、追い越しは発生しなくなる。
【００３８】
このようにして、フレームレート変換されたB画像135、R画像136、G画像137が生成される。なお、前述した出力側同期信号121を遅延させた内部出力同期信号は、同時化メモリのデータ読み出し遅延時間を加味した調整を加えられたのち、出力同期信号138として出力される。
【００３９】
本実施形態による映像信号処理装置に入力される出力側同期信号121と、本実施形態による映像信号処理装置が出力する出力側同期信号138とでは、所定時間（最低で1/5フレーム程度）のずれがある。よって、本映像信号処理装置よりもさらに後段に、何らかの処理をする装置がある場合は、その装置への同期信号としては、出力側同期信号121ではなく、本映像信号処理装置が出力する出力同期信号138を使用する必要がある。
【００４０】
上述したように、本実施形態によれば、変換バッファ104でフレームレート変換を行いながら、同時化メモリ107、108、109で同時化を行うことができる。また、本実施形態に必要な記憶媒体は1つのバッファと3つの同時化メモリなので、特許文献1に記載された映像信号処理装置よりもメモリの部品点数を削減することができる。
【００４１】
なお、本実施形態は、種々の変形が可能である。たとえば、本実施形態では、変換バッファおよび同時化メモリはFIFOにより実現されているが、当然、他の種類のメモリを使用してもよい。
【００４２】
（第2の実施形態）
次に、本発明の第2の実施形態を説明する。図3は、本実施形態による映像信号処理装置の構成を示している。図3に示す映像信号処理装置は、R画像用の同時化メモリ200、G画像用の同時化メモリ201、B画像用の同時化メモリ202、R画像用の調整バッファ203、G画像用の調整バッファ204、同時化メモリ制御部205、調整バッファ制御部206から構成されている。なお、本実施形態においては、同時化メモリおよび調整バッファは、どちらもFIFO（First In First Out）メモリを前提としている。
【００４３】
読み出しと書き込みの競合を回避するには、読み出しと書き込みのタイミングを調整し、競合発生の可能性が高い箇所の読み出しを遅らせればよい。これに鑑み、本実施形態による映像信号処理装置は、競合が発生する可能性の高い箇所のみ、読み出しタイミングを遅らせることで、追い越しの発生を回避するという特徴を有する。しかし、タイミングを遅らせるだけでは他の2色と画像データ出力のタイミングがずれてしまうため、調整バッファにより、他の2色も遅延させることで出力タイミングをそろえている。これによって簡単な構成、簡単な制御で、追い越しのないフレームレート変換と同時化を実現することができる。なお、調整バッファの容量は、読み出しのずれ量相当だけあればよいので、大容量メモリを持つ必要はない。
【００４４】
以下、図3に示す映像信号処理装置の詳細を説明する。同時化メモリ200、201、202は、固体撮像素子からの画像データ124（RGB成分）からR、G、Bの内の対応する1色のデータを、同時化メモリ制御部205が生成する書き込み制御信号210、211、212に従って、1フレーム分だけ格納する。同時化メモリ200、201は、同時化メモリ制御部205が生成した読み出し制御信号213に従ってデータの読み出しを行い、同時化メモリ202は、調整バッファ制御部206が生成した読み出し制御信号215に従ってデータの読み出しを行う。
【００４５】
同時化メモリ制御部205は、入力側同期信号120に基づいて、書き込み制御信号210、211、212を生成する。生成された書き込み制御信号210、211、212は、同時化メモリ200、201、202に入力され、画像データの書き込み制御に使用される。書き込み制御信号210、211、212は、同時化メモリごとに独立した信号である。すなわち、各同時化メモリに何色のデータを格納するのかということは、この書き込み制御信号210、211、212により決定される。また、同時化メモリ制御部205は、出力側同期信号121に基づいて、読み出し制御信号213を生成し、同時化メモリ200、201に入力する。
【００４６】
調整バッファ203、204は、同時化メモリ200、201の後段に配置され、同時化メモリ200、201から出力された画像データ216、217を一時的に格納する。調整バッファ制御部206は、出力側同期信号121に基づいて、調整バッファ203、204の書き込み制御信号214および読み出し制御信号215を生成する。ただし、前述のとおり、読み出し制御信号215は同時化メモリ202の読み出し制御にも使用される。
【００４７】
次に、図3と図4を用いて、本実施形態による映像信号処理装置の動作を説明する。なお、図4では、入力の映像信号の規格がNTSC（1秒に30フレーム）であり、出力の映像信号の規格がPAL（1秒に25フレーム）であることを想定している。また、本実施形態では、1秒あたりのフレーム数が、入力に比べて出力の方が少ない場合を想定している。出力の方が入力よりも多い場合には対応していない。
【００４８】
同時化メモリ制御部205は、入力側同期信号120に基づいて、R画像用の同時化メモリ200 の書き込み制御信号210、G画像用の同時化メモリ201の書き込み制御信号211、B画像用の同時化メモリ202の書き込み制御信号212を生成する。同時化メモリ200、201、202は、これらの書き込み制御信号に基づいて、固体撮像素子からの画像データ124を内部に格納する（‘1’で格納）。
【００４９】
ここで重要なのは、R、G、Bの内のどの色のデータを同時化メモリ202に格納するか、という点である。詳細は後述するが、各同時化メモリは、基本的に出力側同期信号121に基づいて読み出しが実行される。追い越しは、メモリの読み出しと書き込みのタイミングによって決まり、読み出しから書き込みまでの時間が短いほど、追い越しの危険性が高くなる。図4におけるマージン400、401、402、403、404の時間が短いと、書き込みが読み出しを追い越してしまう可能性がある。よって、図4において追い越しが発生する可能性が最も高いのは、時刻T200のフレームとなる。同時化メモリ202には、競合が発生する可能性が高いフレームの画像を格納するので、本実施形態においてはB画像が選択されることになる。
【００５０】
第1の実施形態と同様に、システムによっては、競合が発生する可能性が高いフレームが電源投入時に決定される場合がある。その場合、同時化メモリ制御部205は、入力側同期信号120と出力側同期信号121との位相関係から、同時化メモリ202に格納する画像データを選択する。その場合、第1の実施形態と同様に、処理の最終段に、映像信号を正しい組み合わせに並べ替える処理が必要となる。本実施形態に係る以降の箇所では、競合が発生するフレームおよびその時の色はあらかじめ判明している、という前提で説明する。
【００５１】
同時化メモリ制御部205は、出力側同期信号121に基づいて、同期化メモリ200、201の読み出し制御信号213を生成する。同期化メモリ200、201は、読み出し制御信号213に従って画像データ216、217を出力する（‘1’で読み出し）。なお、図4では、画像R0のフレームにおいて画像入力と同時化メモリ200の読み出しが同時に行われているように見えるが、実際にはわずかに画像入力が先行しているものとする。
【００５２】
調整バッファ制御部206は、出力側同期信号121に基づいて、調整バッファ203、204の書き込み制御信号214を生成する。調整バッファ203、204は、この信号に従って同時化メモリ200、201からの画像データ216、217を内部に格納する（‘1’で書き込み）。調整バッファ制御部206は、出力側同期信号121に基づいて、調整バッファ203、204の読み出し制御信号215を生成するが、この信号は同時化メモリ202の読み出し制御信号としても使用される。この信号に従い、調整バッファ203、204、および同時化メモリ202は画像データを出力する（‘1’で読み出し）。
【００５３】
ここで、読み出し制御信号215の生成に際し、調整バッファ制御部206は、内部で出力側同期信号121を所定時間遅延させた信号（図4中の内部出力同期信号）を参照する。なお、この出力同期信号121を所定時間遅延させた内部信号は、出力タイミングの微調整を経て、最終的な出力同期信号222として出力される。
【００５４】
この結果、時刻T200において、入力画像データB1の書き込みに対して読み出しの開始を遅らせることができるので、B画像の追い越しの危険性は回避できる。なお、B画像を遅延させている期間、R画像とG画像は調整バッファ203、204内に待機しているため、B画像のみが遅れて表示されるということはない。また、同時化メモリ200、201の読み出し制御と、調整バッファ203、204の読み出し制御に関しては、どちらも同じフレームレートを基準としているため、この部分での追い越しは発生しない。
【００５５】
読み出し開始の遅延時間に関しては、第1の実施形態と同様であり、本実施形態の場合は1/5フレーム程度でよい。また、電子内視鏡では、この遅延時間は最大でも1フレーム以内であることが望ましい。なお、調整バッファは遅延時間の調整のために設けられているため、この遅延分の画像を格納できるだけの容量があればよい。本実施形態では、1/5フレーム程度の画像を格納できる容量があればよい。
【００５６】
上述したように、本実施形態によれば、同時化メモリ200、201、202および調整バッファ203、204で同時化およびフレームレート変換を行うことができる。また、本実施形態に必要な記憶媒体は3つの同時化メモリと2つの調整バッファなので、特許文献1に記載された映像信号処理装置よりもメモリの部品点数を削減することができる。
【００５７】
本実施形態は、種々の変形が可能である。たとえば、本実施形態では、調整バッファとしてR用、G用の2つの調整バッファを実装した。しかし、調整バッファへの書き込みおよび読み出しのタイミングは、どちらの調整バッファでも同じであるため、個別制御の必要はない。よって、容量は同じだがデータ幅が2倍のメモリを使用し、たとえば上位側にR画像、下位側にG画像を格納するようにすれば、部品点数を削減することが可能である。また、同時化メモリ、調整バッファともに、FIFO以外のメモリを用いてもよい。
【００５８】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００５９】
100・・・切り替え信号生成部、101・・・変換バッファ制御部、102，205・・・同時化メモリ制御部、103・・・書き込み信号マスク部、104・・・変換バッファ、105・・・画像データ選択部、106・・・書き込み信号選択部、107，108，109，200，201，202・・・同時化メモリ、203，204・・・調整バッファ、206・・・調整バッファ制御部
【図１】
2010178055.tif 000003
【図２】
2010178055.tif 000004
【図３】
2010178055.tif 000005
【図４】
2010178055.tif 000006
【図５】
2010178055.tif 000007
【図６】
2010178055.tif 000008
【図７】
2010178055.tif 000009