(57)【特許請求の範囲】
【請求項１】
撮像素子から出力される撮像信号に基づいて生成された映像信号を、出力先であるデバイスの表示領域のサイズに応じて前記映像信号を複製する映像信号分配部と、
前記映像信号分配部により複製された前記映像信号に対して、出力先であるデバイスの解像度に合せて前記映像信号を拡縮する映像信号拡縮部と、
前記映像信号拡縮部より出力された前記映像信号を受信し、前記映像信号に対して出力先であるデバイスの表示領域のサイズうちの第１の表示領域のサイズに応じた倍率に画サイズ変更処理を行う第１の画サイズ変更処理部と、
前記映像信号拡縮部より出力された前記映像信号を受信し、前記映像信号に対して出力先であるデバイスの表示領域のサイズうちの第２の表示領域のサイズに応じた倍率に画サイズ変更処理を行う第２の画サイズ変更処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１及び第２の画サイズ変更処理部は、
前記映像信号分配部により前記第１の表示領域のサイズ用に分配された第１の映像信号及び前記第２の表示領域のサイズ用に分配された第２の映像信号から、それぞれ非表示領域に対応するマスク映像信号を抽出するマスク信号抽出部と、
前記映像信号分配部により分配された前記第１及び第２の映像信号から、それぞれ表示領域に対応する映像信号を抽出する映像信号抽出部と、備え、
前記第１及び第２の画サイズ変更処理部から出力される前記マスク映像信号及び前記表示領域に対応する映像信号を合成して合成画像信号を生成し、出力先である前記デバイスへと出力する画像信号合成部を備える、
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記マスク信号抽出部及び前記映像信号抽出部は、それぞれ前記マスク映像信号及び前記表示領域に対応する映像信号が同倍率となるよう信号の抽出を行い、抽出した前記マスク映像信号及び前記表示領域に対応する映像信号を前記画像信号合成部に出力する
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記マスク映像信号として前記表示領域に対応する映像信号に重畳された透過信号により、前記表示領域に対応する映像信号を前記デバイスへ出力させて前記第１及び第２の表示領域へ表示させる際に、透過させるか又はマスクして非透過にするかを、画素単位で設定するマスク生成部を備える
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記デバイスの前記第１及び第２の表示領域のサイズに応じたサイズ変更倍率に関する情報を記憶する記憶部を更に備え、
前記第１及び第２の画サイズ変更処理部は、前記記憶部に記憶された前記サイズ変更倍率に関する情報に基づいて、画サイズ変更処理を施す
ことを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記記憶部は、前記画像処理装置に接続されるスコープに搭載された複数の撮像素子の種類に応じたマスク領域に関するマスク画像情報を更に記憶し、
前記第１及び第２の画サイズ変更処理部は、前記記憶部に記憶された前記マスク画像情報に基づいて、それぞれの前記マスク映像信号及び前記表示領域に対応する映像信号に対して画サイズ変更処理を施す
ことを特徴とする請求項５記載の画像処理装置。
【請求項７】
請求項１から請求項６のいずれか一項に記載の画像処理装置が設けられた内視鏡用プロセッサを有する
ことを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子にて撮像して得られた撮像信号に対して画像処理を施す画像処理システムに関する。
【背景技術】
【０００２】
画像処理システムでは、撮像素子から出力された撮像信号に対して各種の画像処理を施し、得られた画像信号を、モニターやプリンタ等の外部デバイスに出力する。
例えば、電子内視鏡装置においては、スコープから出力された撮像信号に画像処理を施して得られた内視鏡画像をモニターに表示する際には、撮像素子の撮像領域のすべてをモニターに表示させるのではなく、マスク領域を設けるのが一般的である。モニターには、撮像素子の撮像領域うちの所定の領域の画像のみが表示される。【０００３】
このようなマスク領域を有する画像に対して変倍処理を施す技術に関しては、画素を１ビット情報で表した変倍マスク信号を用いることにより、画像処理に要する時間を短縮する技術について開示されている（例えば、特許文献１）。【０００４】
また、カラーフィルタの設けられたスコープで撮像して得られる画像を、カラーフィルタの種類によらずに同一の色を撮像した場合常に同じ色空間上の一点で表されるカラー画像を表示させる技術についても開示されている（例えば、特許文献２）。また、これにおいて、スコープの種類に応じてマスクされる領域の大きさを決定することについても開示されている。【０００５】
更には、出力先のデバイスごとに映像処理回路や表示制御回路を備え、内視鏡映像信号を分配してこれらの回路に与え、それぞれの回路で処理を施す技術についても開示されている（例えば、特許文献３）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−２２４０１７号公報
【特許文献２】特開２００６−１１５９６３号公報
【特許文献３】特開２００５−１３４０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ネットワーク技術の進展等により、画像処理システムと複数の外部デバイスとを接続し、各デバイスに向けて映像を出力していくような形態も、今後更に一般的になっていくものと見込まれる。その際には、従来における画像処理の方法をそのまま用いるとすると、例えば複数のモニターのそれぞれに画像を表示させるために、各モニター向けの画像処理を何回も実施する必要が生じる。これによる問題点について、図４を参照して具体的に説明する。【０００８】
図４は、特許文献１における従来の画像サイズを変更する方法の概要を示す図であり、（Ａ）〜（Ｄ）は、マスク映像の倍率を変更する処理の各段階の状態を示している。図４に示すように、このような方法では、画像処理中の（Ｂ）や（Ｃ）の段階では、画像をモニターに表示させることができず、（Ｄ）の段階になるまで待機する必要がある。このような画像処理を出力先ごとに行っていたのでは、全てのモニターに映像が表示されるまでに時間を要し、遅延が大きくなってしまう。【０００９】
本発明は、画像処理システムにおいて、遅延を増大させることなく複数の外部デバイスに画像信号を出力することを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一態様に係る画像処理装置によれば、撮像素子から出力される撮像信号に基づいて生成された映像信号を、出力先であるデバイスの表示領域のサイズに応じて前記映像信号を複製する映像信号分配部と、前記映像信号分配部により複製された前記映像信号に対して、出力先であるデバイスの解像度に合せて前記映像信号を拡縮する映像信号拡縮部と、前記映像信号拡縮部より出力された前記映像信号を受信し、前記映像信号に対して出力先であるデバイスの表示領域のサイズうちの第１の表示領域のサイズに応じた倍率に画サイズ変更処理を行う第１の画サイズ変更処理部と、前記映像信号拡縮部より出力された前記映像信号を受信し、前記映像信号に対して出力先であるデバイスの表示領域のサイズうちの第２の表示領域のサイズに応じた倍率に画サイズ変更処理を行う第２の画サイズ変更処理部と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、画像処理システムにおいて、遅延を増大させることなく複数の外部デバイスに向けて画像信号を出力することが可能となる。
【図面の簡単な説明】
【００１２】
【図１Ａ】実施形態に係る画像処理システムの構成図である。
【図１Ｂ】実施形態に係る画像処理システムの構成図である。
【図２】マスク映像の画サイズの拡縮について説明する図である。
【図３】映像信号及びマスク映像信号を模式的に示す図である。
【図４】従来における画サイズを変更する方法の概要を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
図１Ａ、図１Ｂは、本実施形態に係る画像処理システムの構成図である。図１Ａ、図１Ｂに示すように、本実施形態に係る画像処理システムは、例えば、内視鏡システムのビデオプロセッサに適用される。ビデオプロセッサは、スコープ先端に配置される撮像素子にて撮像して得られた撮像信号を処理して内視鏡映像を得て、得られた内視鏡映像や画像を、接続部を介して接続されているモニターやプリンタ等の複数のデバイスに出力する。
【００１４】
本実施形態に係る画像処理システムは、ストリーム映像分配部１３、１４Ａ、１４Ｂ、ストリーム映像拡縮部１５Ａ、１５Ｂ、画サイズ変更処理部１１Ａ、１１Ｂ、１２Ａ、１２Ｂ、マスク映像生成部１６Ａ、１６Ｂ及びインデックス映像生成部１７Ａ、１７Ｂ並びにＤＤＲ（Double-Data-Rate）メモリ１８を含んで構成される。
【００１５】
図１Ａ、図１Ｂの画像処理システムには、スコープから入力された撮像信号から生成された内視鏡映像のビットストリーム信号とともに、撮像素子の有効領域のうちの所定の領域のみを出力するためのマスク映像信号が入力される。画像処理システムは、入力された内視鏡映像のストリーム信号とマスク映像信号とから、出力先のデバイスである複数のモニターのそれぞれに応じたマスクされた内視鏡映像を生成する。マスクされた内視鏡映像を、以下においてはマスク映像ともいう。
【００１６】
まず、図１Ａ、図１Ｂの画像処理システムでは、撮像により得られたインタレース映像信号をＩ／Ｐ（インタレース／プログレッシブ）変換して得られるプログレッシブ映像信号が、マスク映像信号とともに、ストリーム映像分配部１３に入力される。
【００１７】
ストリーム映像分配部１３は、プログレッシブ映像信号及びマスク映像信号を、出力先のデバイス数に応じて分配し、分配された映像信号及びマスク映像信号を出力する。具体的には、ストリーム映像分配部１３は、映像信号及びマスク映像信号をコピーして、複数の出力先に出力する。本実施形態においては、マスク映像信号は、透過信号から構成される。透過信号は、映像信号に重畳されて伝送され、映像信号をモニターに表示させる際にはこれを透過させるか否か、すなわち、マスク映像として出力させるか否かを画素単位で設定する。透過信号については、後に図面を参照して具体的に説明する。
【００１８】
実施例では、ストリーム映像分配部１３から出力された映像信号及びマスク映像信号は、更にストリーム映像分配部１４Ａ、１４Ｂに入力される。
ストリーム映像分配部１４Ａ、１４Ｂは、ストリーム映像分配部１３から入力された映像信号を、それぞれ２つに分配し、分配した２つの映像信号の一方で、マスク映像を、他方で、インデックス映像を生成する。
【００１９】
ここで、インデックス映像とは、レリーズ操作がなされたことをモニター上に表すため、また、レリーズされた画像をユーザがモニターで確認可能とするために、モニター上に表示する画像であり、レリーズ操作のタイミングのフレーム画像からなる。インデックス映像は、マスク映像と比較して小さいサイズでモニター上に出力されるのが一般的である。
【００２０】
ストリーム映像分配部１４Ａ、１４Ｂから出力された映像信号及びマスク映像信号は、それぞれストリーム映像拡縮部１５Ａ、１５Ｂに入力される。
ストリーム映像拡縮部１５Ａ、１５Ｂは、出力先のデバイスであるモニターに応じて映像信号及びマスク映像信号の拡縮処理を施す。図１Ａ、図１Ｂに示す例では、出力先のモニターは、それぞれＨＤＴＶ（High Definition Television）及びＳＤＴＶ（Standard Definition Television）である。ストリーム映像拡縮部１５Ａ、１５Ｂは、出力先のモニターの解像度に合わせて映像信号及びマスク映像信号を拡縮させる。
【００２１】
ＨＤＴＶ用に、ストリーム映像拡縮部１５Ａから出力された映像信号及びマスク映像信号は、画サイズ変更処理部１１Ａ、１２Ａに入力される。ＳＤＴＶ用に、ストリーム映像拡縮部１５Ｂから出力された映像信号及びマスク映像信号は、画サイズ変更処理部１１Ｂ、１２Ｂに入力される。
【００２２】
ユーザがユーザ操作部３０を介して拡大または縮小の指示を入力した場合には、画サイズ変更処理部１１Ａ、１１Ｂ、１２Ａ、１２Ｂは、映像信号及びマスク映像信号に対して、マスク映像やインデックス映像の倍率に画サイズ変更処理を施す。画サイズを拡大する際の倍率や縮小する際の倍率等の画サイズの変更倍率に関する情報は、出力先の外部デバイスごとに、予め不揮発性メモリ等の記憶部（不図示）に記憶されている。画サイズ変更処理部１１Ａ、１１Ｂ、１２Ａ、１２Ｂは、それぞれメモリ等から出力先の外部デバイスに対応する画サイズの変更倍率に関する情報を読み出し、読み出した情報にしたがって、画サイズ変更処理を施す。画サイズ変更処理の詳細については後述する。
【００２３】
画サイズ変更処理を施された映像信号及びマスク映像信号は、マスク映像生成部１６Ａ、１６Ｂやインデックス映像生成部１７Ａ、１７Ｂに入力される。
マスク映像生成部１６Ａ、１６Ｂ、インデックス映像生成部１７Ａ、１７Ｂは、それぞれ画サイズ変更処理部１１Ａ、１１Ｂ、１２Ａ、１２Ｂから入力された映像信号とマスク映像信号とを合成して、合成画像信号を生成する。生成された合成画像信号は、ＤＭＡ（Direct Memory Access）転送され、ＤＤＲメモリ１８に書き込まれる。
【００２４】
ＤＤＲメモリ１８は、マスク映像生成部１６Ａ、１６Ｂ、インデックス映像生成部１７Ａ、１７Ｂからメモリバスを介して転送された合成画像信号を保持し、保持する合成画像信号を、それぞれのインタフェース部（不図示）を介してモニターに向けて出力する。
【００２５】
このように、本実施形態に係る画像処理システムによれば、ユーザ操作部３０を介してモニターに表示する内視鏡映像を拡大または縮小するよう指示されると、モニターごとに画サイズの変更（拡大または縮小）の処理を並列で実施する。出力先デバイスごとに画サイズ変更処理部（図１Ａ、図１Ｂの例では画サイズ変更処理部１１Ａ及び１１Ｂ）を備えているため、他のモニター向けの合成画像信号が生成されるまで待機する必要がないため、合成画像信号は、遅延なくモニターに向けて出力される。
【００２６】
次に、図１Ａ、図１Ｂの画サイズ変更処理部１１Ａ、１１Ｂの構成及びマスク映像の画サイズを変更する方法について具体的に説明する。以下の説明においては、ＨＤＴＶ用の画サイズ変更処理部１１ＡとＳＤＴＶ用の画サイズ変更処理部１１Ｂとで区別する必要がない場合は、Ａ、Ｂの符号は省略して記載することとする。
【００２７】
画サイズ変更処理部１１は、マスク信号抽出部２１、映像信号抽出部２２、マスク用拡縮部２３、観察画像拡縮部２４及びマスク映像混合部２５を含んで構成される。先述のとおり、画サイズ変更処理部１１には、ストリーム映像拡縮部１５において出力先のモニターの解像度に応じて拡縮されたストリーム映像信号及びマスク映像信号が入力される。
【００２８】
画サイズ変更処理部１１にて入力されたストリーム映像信号とマスク映像信号をどのように処理してマスク映像を拡大や縮小させるかについて説明する前に、まず、図面を参照して、マスク映像について説明することとする。
【００２９】
図２は、マスク映像の画サイズの拡縮について説明する図である。
図２の左列には、撮像素子の有効領域と、マスク領域とを模式的に示す。実施例では、マスク領域は八角形である。
【００３０】
撮像素子の種類によって、撮像素子の有効領域のうちのいずれの領域の画素をマスク領域とするか、また、いずれの箇所をマスク領域とするかは異なる。図面においては、撮像素子の種類によってマスク領域に設定される範囲や位置が異なることを視認しやすくするため、撮像素子の有効領域をＲ（赤）、Ｇ（緑）、Ｂ（青）を用いて表している。図２においては、（１）乃至（３）の３とおりを示す。
【００３１】
図１Ａ、図１Ｂの画像処理システムを有する内視鏡システムは、スコープ先端の撮像素子の種類に応じたマスク領域の範囲や位置、その形状等のマスク領域に関する情報を、図１Ａ、図１Ｂにおいては不図示の不揮発性メモリ等の記憶部に保持している。当該内視鏡システムにおいては、使用される撮像素子の種類に対応するマスク領域の範囲や位置、形状等の情報をメモリ等から読み出し、読み出した情報に基づいて、ストリーム映像信号と対応付けてマスク映像信号を生成する。すなわち、ストリーム映像信号により表される画素データのうち、マスク映像として使用する画素データには、これと対応付けて、その画素データを透過とすべきことを表す値をマスク映像信号に設定する。マスク映像として使用しない画素データ（マスク領域外の画素データ）には、これと対応付けて、その画素データを非透過とすべきことを表す値をマスク映像信号に設定する。
【００３２】
画サイズ変更処理部１１のうち、マスク信号抽出部２１は、入力された信号の中からマスク領域を表すマスク映像信号を抽出し、映像信号抽出部２２は、ストリーム映像信号を抽出する。マスク信号抽出部２１及び映像信号抽出部２２は、メモリ等からマスク領域の範囲や位置、その形状等のマスク領域に関する情報を読み出して、入力された信号のうち、マスク領域に含まれる映像信号及びマスク映像信号をそれぞれ判断することにより抽出を行う。マスク信号抽出部２１により抽出されたマスク映像信号は、マスク用拡縮部２３に入力され、映像信号抽出部２２により抽出された映像信号は、観察画像拡縮部２４に入力される。
【００３３】
マスク用拡縮部２３は、設定された倍率にしたがってマスクの拡縮処理を実施し、観察画像拡縮部２４は、内視鏡画像の拡縮処理を実施する。
実施例では、ユーザ操作部３０を介して拡大または縮小の指示が入力されると、それぞれ１．０を上回る、または１．０を下回る所定の倍率を設定する。
【００３４】
図２の中列（図２中央の３列）には、左から順に通常倍率の画像、拡大画像及び縮小画像を模式的に示す。拡大または縮小画像では、図２の左列のマスク領域の画像が、それぞれ拡大・縮小され、これに応じてマスクも拡大・縮小されている。
【００３５】
なお、図２の右列には、ユーザ操作部３０の操作に応じて拡縮させた画像と比較するために、電子ズームによる拡大画像を示す。この場合は、マスク領域の大きさは変更せず、領域内の画像のみが拡大される。
【００３６】
観察画像拡縮部２４及びマスク用拡縮部２３に、あるラインの映像信号及びマスク映像信号が入力された場合に、画像の拡縮処理によって映像信号及びマスク映像信号（透過信号）がどのように変更されるかについて、図３を参照して説明する。
【００３７】
図３は、映像信号及びマスク映像信号（透過信号）を模式的に示す図である。図３においては、あるラインの映像信号及びマスク映像信号が拡縮処理によりどのように変更されるかを、（１）〜（３）の３とおりを示している。
【００３８】
（１）は縮小処理後、（２）は拡大処理後、（３）は拡縮処理を施していない通常倍率における映像信号及びマスク映像信号（透過信号ａ）を示す。いずれの倍率画像においても、透過信号ａは、マスク映像を構成する映像信号と対応付けて「透過（オン）」に設定される。
【００３９】
図３に模式的に示すように、観察画像拡縮部２４は、ユーザ操作部３０の操作により設定された所定の倍率に応じて、ライン上の画素数を変更（増加または減少）させる。これとともに、マスク用拡縮部２３は、映像信号の画素数を増加または減少させた割合と同様の割合で、ライン上の透過信号を増加または減少させる。例えば図１Ａ、図１Ｂの観察画像拡縮部２４Ａ及びマスク用拡縮部２３Ａを例にとると、観察画像拡縮部２４がマスク映像の画素数をｃ倍に変更する場合には、マスク用拡縮部２３もまた、透過信号ａの画素数をｃ倍に変更する。観察画像拡縮部２４及びマスク用拡縮部２３にて拡縮処理を施された映像信号及びマスク映像信号（透過信号ａ）は、ともにマスク映像混合部２５に入力される。
【００４０】
マスク映像混合部２５では、観察画像拡縮部２４及びマスク用拡縮部２３から入力される信号の同期をとって、マスク生成部１６に出力する。マスク生成部１６では、アルファブレンディングにより、映像信号と透過信号とからマスク映像２０を生成する。具体的には、マスク生成部１６は、映像信号のうち、対応する透過信号ａに「透過」を表す値の設定されている画素については、マスク映像を構成する画素と判断して透過させ、他の画素は非透過とすることで、マスク映像２０を生成する。
【００４１】
生成されたマスク映像２０は、ＤＭＡ転送によりＤＤＲメモリ１８に書き込まれ、ＤＤＲメモリ１８から出力先のデバイスへとマスク映像の信号が出力される点については、先に述べたとおりである。
【００４２】
画サイズ変更処理部１１において観察画像拡縮部２４及びマスク用拡縮部２３が同倍率で拡縮処理を施すことで、マスク生成部１６にて拡大または縮小したマスク映像を生成する際には、透過信号により映像信号のうちいずれがマスク映像を構成するかを判断すれば足り、したがって、拡大または縮小したマスク映像の生成処理を高速に行うことが可能となる。
【００４３】
なお、図１Ａ、図１Ｂの画像処理システムによれば、レリーズ操作がなされたことをモニター上に表すためのインデックス映像についても、マスク映像と同様に、ユーザ操作部３０の操作にしたがって拡縮可能である。マスク映像と比較すると、インデックス映像では、１フレームの画像のうちのインデックス映像の配置される位置、インデックス映像のサイズ及び拡大または縮小の倍率については、マスク映像と異なる。しかし、画サイズの変更方法については、画サイズ変更処理部１１Ａ、１１Ｂと同様である。このため、インデックス映像の画サイズを変更する画サイズ変更処理部１２Ａ、１２Ｂの構成、例えばマスク信号抽出部２１、映像信号抽出部２２、マスク用拡縮部２３等については、マスク映像の画サイズを変更する画サイズ変更処理部１１Ａ、１１Ｂと同様の符号を用いている。変更後の画サイズの倍率がｃ倍、ｄ倍、ｅ倍及びｆ倍と異なっているため、各構成要素の符号に「Ａ」〜「Ｄ」を付して区別をしている。
【００４４】
以上説明したように、図１Ａ、図１Ｂの画像処理システムは、画サイズ変更処理部１１により、透過信号ａを用いてマスク映像の拡縮を行う。透過信号ａを用いることで、拡縮前の原画像及びマスクに対してそれぞれについて拡縮処理を施す、といった煩雑な処理を不要とし、簡易にマスク映像を拡縮させることが可能となる。また、原画像及びマスクのそれぞれについて拡縮処理を施す方法と異なり、ストリーム映像信号を先頭から順次処理して出力していくことが可能となり、１フレーム分の画像データが生成されるまで待つことなく、処理の完了した画素から順にモニターに画像を表示していくことも可能となる。
【００４５】
本発明は、上述した実施形態そのままに限定されるものではく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。
【符号の説明】
【００４６】
１１Ａ、１１Ｂ、１２Ａ、１２Ｂ    画サイズ変更処理部
１３、１４Ａ、１４Ｂ    ストリーム映像分配部
２１Ａ〜２１Ｄ    マスク信号抽出部
２２Ａ〜２２Ｄ    映像信号抽出部
２３Ａ〜２３Ｄ    マスク用拡縮部
２４Ａ〜２４Ｄ    観察画像拡縮部
２５Ａ〜２５Ｄ    マスク映像混合部
【図１Ａ】
0006338772.tif 000002
【図１Ｂ】
0006338772.tif 000003
【図２】
0006338772.tif 000004
【図３】
0006338772.tif 000005
【図４】
0006338772.tif 000006