(57)【要約】  コンピュータ支援診断（ＣＡＤ）等の認識処理を実施すると共に出力される映像信号の遅延効果を抑えることができる画像処理装置を提供する。画像生成部から連続的に出力される第１の画像情報信号を入力し、入力した当該第１の画像情報信号に応じた第２の画像情報信号を少なくとも第１のルートに対して出力すると共に、第１の画像情報信号に応じた画像情報信号であって第２の画像情報信号とは異なる第３の画像情報信号を第２のルートに対して出力する映像分配回路５１と、第２の画像情報信号を入力し当該第２の画像情報信号に対して所定の解析を施し、当該解析結果を出力する情報解析回路５３と、映像分配回路５１から出力される第３の画像情報信号と、情報解析回路５３から出力される解析結果と、に基づいて第４の画像情報信号を生成し連続的に出力する情報付加回路５２とを具備する。
2020059098.tif 000002
【特許請求の範囲】
【請求項１】
画像生成部から連続的に出力される第１の画像情報信号を入力し、入力した当該第１の画像情報信号に応じた第２の画像情報信号を少なくとも第１のルートに対して出力すると共に、前記第１の画像情報信号に応じた画像情報信号であって前記第２の画像情報信号とは異なる第３の画像情報信号を第２のルートに対して出力する映像分配部と、
前記第２の画像情報信号を入力し、当該第２の画像情報信号に対して所定の解析を施し、当該解析結果を出力する情報解析部と、
前記映像分配部から出力される前記第３の画像情報信号と、前記情報解析部から出力される前記解析結果と、に基づいて第４の画像情報信号を生成し連続的に出力する情報付加部と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記映像分配部は、前記第１の画像情報信号に基づく前記第２の画像情報信号を出力する情報解析用画像処理回路を有し、
前記情報解析用画像処理回路は、入力した前記第１の画像情報信号に基づいて前記情報解析部において解析するための解析用画像データを生成し、当該解析用画像データを前記第２の画像情報信号として前記第１のルートに対して出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記情報解析用画像処理回路は、入力した前記第１の画像情報信号における所定の領域を切り出し、当該切り出した領域に係る前記解析用画像データを生成し、前記第２の画像情報信号として前記第１のルートに対して出力する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記情報解析用画像処理回路は、入力した前記第１の画像情報信号に係る所定の物理的特性を平準化した前記解析用画像データを生成し、前記第２の画像情報信号として前記第１のルートに対して出力する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記映像分配部は、前記第１の画像情報信号に基づく前記第３の画像情報信号を出力する出力映像用画像処理回路を有し、
前記出力映像用画像処理回路は、入力した前記第１の画像情報信号に対して所定の画像処理を施した前記第３の画像情報信号を生成し前記第２のルートに対して出力する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記情報付加部は、前記第３の画像情報信号を入力した際、当該第３の画像情報信号と同一の前記第１の画像情報信号に基づいて生成された前記第２の画像情報信号による解析結果を入力完了する前に前記第４の画像情報信号の生成を完了する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第１の画像情報信号に同期した同期信号を生成し出力する同期信号生成回路をさらに有し、
前記情報付加部は、前記同期信号に基づくタイミング基準に応じて前記第４の画像情報信号を生成するための画像生成タイミング回路を有する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記情報付加部は、前記同期信号に対して所定の位相差を有する信号を前記タイミング基準として前記第４の画像情報信号を生成する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記情報解析部は、前記第２の画像情報信号に係る解析結果を出力する毎に当該解析が完了したことを示す解析完了通知信号を出力する解析完了出力回路を有し、
前記情報付加部は、前記解析完了通知信号を受信する度に前記同期信号との時間的差分を前記タイミング基準として前記第４の画像情報信号を生成する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記情報付加部は、前記同期信号の逓倍または分周された信号を前記タイミング基準として前記第４の画像情報信号を生成する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項１１】
前記情報解析部は、少なくとも時系列的に連続する２つの解析結果に基づいて解析結果を補正する解析結果補正回路を有する
ことを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、コンピュータ支援診断（ＣＡＤ;Computer-Aided Diagnosis)による処理を行う画像処理装置に関する。
【背景技術】
【０００２】
被検体の内部の被写体を撮像する内視鏡、及び、内視鏡により撮像された被写体の観察画像を生成するビデオプロセッサ等を具備する内視鏡システムが、医療分野及び工業分野等において広く用いられている。【０００３】
一方、近年、内視鏡等によって得られた画像を、コンピュータ等による情報処理技術により、当該画像の情報の定量化および解析を行い、この結果を画像診断に対して積極的に利用しようとする、いわゆるコンピュータ支援診断（ＣＡＤ;Computer-Aided Diagnosis)による処理を行う画像処理（認識処理）が知られるようになっている。【０００４】
このコンピュータ支援診断（ＣＡＤ）は、一般に、医師を支援するシステムである。すなわちコンピュータ支援診断（ＣＡＤ）は、コンピュータ自らが病名等を決定するのではなく、あくまで最終的な意思決定を行う医師のために判断材料を提供する支援システムである。【０００５】
例えば、コンピュータを用いて解析した定量的な結果病巣の良悪性鑑別など意思決定が困難である症例において、資料となる情報（コンピュータによって分析された定量的な数値など）を提示することで、医師の意思決定を支援するものである。【０００６】
また、このコンピュータ支援診断（ＣＡＤ）機能を利用することで、例えば、医療画像から検出した病巣候補を医師が見落とす危険を低減することができ、また、読影手順の短縮を図ることができるという効果も奏する。【０００７】
ところで、このコンピュータ支援診断（ＣＡＤ）機能に用いられる認識処理は膨大な計算処理を要することが知られている。したがって、入力された画像に対してこの種の認識処理を実施する場合、高速な演算処理を可能とするプロセッサ等を使用しない限り、認識結果を出力する際に遅延が生じてしまう虞がある。【０００８】
図１４は、上述の如きコンピュータ支援診断（ＣＡＤ）機能を利用した内視鏡システムの一例を示した図である。この図１４に示す内視鏡システム１０１は、コンピュータ支援診断（ＣＡＤ）機能を発揮する認識処理回路１５３を備える画像処理装置１０５を含むシステムである。【０００９】
図１４に示すように、認識処理回路１５３を備える画像処理装置１０５を含む内視鏡システム１０１においては、内視鏡１０２において撮像した内視鏡画像を公知のビデオプロセッサ１０３において所定の画像処理を施した後、当該画像処理装置１０５において、所定の認識処理を施すようになっている。【００１０】
具体的に、画像処理装置１０５においては、フレームキャプチャ回路１５１、データ転送回路１５２において、入力した画像を連続的に取り込み、認識処理回路１５３に送信する。この後、認識処理回路１５３において、上述の如きコンピュータ支援診断（ＣＡＤ）機能に基づく認識処理を実施する。認識処理回路１５３において認識処理された画像信号は、所定の出力画像生成回路１５４を経て、モニタ１０６に対して出力されるようになっている。【００１１】
ここで、上述の認識処理回路１５３において実施される認識処理は、いわゆる、ＧＰ−ＧＰＵ(General-purpose computing on graphics processing units)が利用されることが一般的である。【００１２】
このＧＰ−ＧＰＵは、ＧＰＵ(Graphics Processing Units)による汎用計算処理技術であり、近年その処理速度はより高速化が進んでいる。しかしながら上述したように、コンピュータ支援診断（ＣＡＤ）機能に用いられる認識処理は膨大な計算処理を要し、高い認識精度を実現する処理を全画像に対して遅延なく解析するのは困難である。このため、上記の如き認識処理回路１５３を備える画像処理装置１０５においては、高速化されたＧＰ−ＧＰＵを採用したとしても、結果的に入力された内視鏡画像信号に対して出力される画像信号が大きく遅延してしまう虞がある。【００１３】
そして、この遅延が生じると、モニタに表示されている画像が内視鏡の動きに対して遅れてしまうことになるため、内視鏡操作に支障を来す虞があった。また、遅延を回避するために計算量が少ない認識処理を実行することは、一般的に認識精度の低下につながる虞がある。【００１４】
本発明は上述した事情に鑑みてなされたものであり、コンピュータ支援診断（ＣＡＤ）等の高度な認識処理を実施可能な画像処理装置において、認識処理の精度を高めながら出力される映像信号の遅延効果を抑えることができる画像処理装置を提供することを目的とする。
【発明の開示】
【課題を解決するための手段】
【００１５】
本発明の一態様の画像処理装置は、画像生成部から連続的に出力される第１の画像情報信号を入力し、入力した当該第１の画像情報信号に応じた第２の画像情報信号を少なくとも第１のルートに対して出力すると共に、前記第１の画像情報信号に応じた画像情報信号であって前記第２の画像情報信号とは異なる第３の画像情報信号を第２のルートに対して出力する映像分配部と、前記第２の画像情報信号を入力し、当該第２の画像情報信号に対して所定の解析を施し、当該解析結果を出力する情報解析部と、前記映像分配部から出力される前記第３の画像情報信号と、前記情報解析部から出力される前記解析結果と、に基づいて第４の画像情報信号を生成し連続的に出力する情報付加部と、を具備する。
【図面の簡単な説明】
【００１６】
【図１】図１は、本発明の第１の実施形態に係る画像処理装置を含む内視鏡システムの構成を示すブロック図である。
【図２】図２は、第１の実施形態の画像処理装置の構成を示すブロック図である。
【図３】図３は、第１の実施形態の画像処理装置における映像分配回路の構成を示すブロック図である。
【図４】図４は、第１の実施形態の画像処理装置における情報解析回路の構成を示すブロック図である。
【図５】図５は、第１の実施形態の画像処理装置における情報付加回路の構成を示すブロック図である。
【図６】図６は、第１の実施形態の画像処理装置における映像分配回路、情報付加回路および情報解析回路における作用を説明するタイミングチャートである。
【図７】図７は、第１の実施形態の画像処理装置に入力する第１の画像情報信号の一例を示す図である。
【図８】図８は、第１の実施形態の画像処理装置において認識処理用（情報解析用）の画像領域の例を示す図である。
【図９】図９は、本発明の第２の実施形態の画像処理装置における情報解析回路の構成を示すブロック図である。
【図１０】図１０は、本発明の第３の実施形態の画像処理装置における映像分配回路の構成を示すブロック図である。
【図１１】図１１は、第３の実施形態の画像処理装置における情報解析回路の構成を示すブロック図である。
【図１２】図１２は、第３の実施形態の画像処理装置における情報付加回路の構成を示すブロック図である。
【図１３】図１３は、第３の実施形態の画像処理装置における映像分配回路、情報付加回路および情報解析回路における作用を説明するタイミングチャートである。
【図１４】図１４は、従来の、コンピュータ支援診断（ＣＡＤ）等の認識処理を実施可能な画像処理装置の一構成例を示すブロック図である。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について図面を用いて説明する。【００１８】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画像処理装置を含む内視鏡システムの構成を示すブロック図であり、図２は、第１の実施形態の画像処理装置の構成を示すブロック図である。【００１９】
図１に示すように、本第１の実施形態に係る画像処理装置を含む内視鏡システム１は、被検体を観察し所定の撮像信号を出力する内視鏡２と、当該内視鏡２に接続され前記撮像信号を入力し所定の画像処理を施して出力するビデオプロセッサ３と、被検体を照明するための照明光を供給する図示しない光源装置と、ビデオプロセッサ３から出力された撮像信号を入力し、当該撮像信号に対して所定の認識処理を施して出力する画像処理装置５と、当該画像処理装置５から出力された撮像信号に応じた観察画像を表示するモニタ６と、を有している。【００２０】
内視鏡２は、図１に示すように、被検体の体腔内に挿入される公知の挿入部等を備え、当該挿入部の先端には、公知の撮像素子等により構成された撮像部２１が配設されている。この撮像部２１からは被検体に係る撮像信号が出力されるようになっている。【００２１】
ビデオプロセッサ３は、内視鏡２に接続され前記撮像信号を入力し所定の画像処理を施す画像処理部３１が配設されている。この画像処理部３１からは所定の画像処理が施された撮像信号が出力されるようになっている。なお、画像処理部３１の出力がモニタ６等の表示装置に直接接続された場合、当該画像処理部３１から出力される撮像信号に係る内視鏡画像が当該モニタ６にそのまま表示可能となっている。【００２２】
＜画像処理装置５の構成＞
図１、図２に示すように、画像処理装置５は、ビデオプロセッサ３から出力される第１の画像情報信号を入力し、第２の画像情報信号と第３の画像情報信号とに分配して出力する映像分配回路５１と、映像分配回路５１からの第２の画像情報信号を入力し、当該第２の画像情報信号に対して所定の解析を施し、当該解析結果を出力する情報解析回路５３と、映像分配回路５１から出力される第３の画像情報信号と情報解析回路５３から出力される前記解析結果とに基づいて第４の画像情報信号を生成し連続的に出力する情報付加回路５２と、を具備する。【００２３】
図２に示すように、本実施形態において前記映像分配回路５１および前記情報付加回路５２は、画像処理装置５内に配設された、いわゆるＦＰＧＡ(field-programmable gate array)５５において形成された回路として構成される。【００２４】
また、本実施形態において前記情報解析回路５３は、ＧＰＵ(Graphics Processing Units)による汎用計算処理技術である、ＧＰ−ＧＰＵ(General-purpose computing on graphics processing units)５６により構成された回路である。【００２５】
＜映像分配回路５１の構成＞
ここで、映像分配回路５１の構成について詳細に説明する。  
図３は、本実施形態の画像処理装置５における映像分配回路５１の構成を示すブロック図である。【００２６】
図２、図３に示すように映像分配回路５１は、外部装置であるビデオプロセッサ３から連続的に出力される第１の画像情報信号を入力し、入力した当該第１の画像情報信号に応じた第２の画像情報信号を少なくとも第１のルートに対して出力すると共に、前記第１の画像情報信号に応じた画像情報信号であって前記第２の画像情報信号とは異なる第３の画像情報信号を第２のルートに対して出力することを特徴とする。【００２７】
＜情報解析用画像処理回路７１＞
すなわち映像分配回路５１は、前記第１の画像情報信号に基づいて前記第２の画像情報信号（解析用画像データ）を生成し出力する情報解析用画像処理回路７１を有する。この情報解析用画像処理回路７１は、入力した前記第１の画像情報信号に基づいて情報解析回路５３における所定の解析のための解析用画像データを生成し、当該解析用画像データを前記第２の画像情報信号として出力する。【００２８】
ここで、本実施形態においては、情報解析用画像処理回路７１は、まず、入力した前記第１の画像情報信号における所定の領域（後述の情報解析回路５３において認識処理を施す領域）を切り出し、当該切り出した領域に係る前記解析用画像データを生成し、前記第２の画像情報信号として前記第１のルートに対して出力する。【００２９】
具体的に、今、画像処理装置５にビデオプロセッサ３から出力された第１の画像情報信号（例えば、図７に示す内視鏡画像６２を含む全体の画像信号）が入力されたとする。なお、図７は、第１の実施形態の画像処理装置に入力する第１の画像情報信号の一例を示す図であり、モニタ６の表示画面６１に内視鏡画像６２を含む第１の画像情報信号全体の画像が表示されている状態を示している。【００３０】
このとき、画像処理装置５における情報解析用画像処理回路７１には、ビデオプロセッサ３から出力された、内視鏡画像６２を含む第１の画像情報信号が入力されている。【００３１】
ここで本実施形態における情報解析用画像処理回路７１は、当該第１の画像情報信号から所定領域である内視鏡画像６２を切り出す。この切り出す所定領域は、本実施形態においては、いわゆる八角形のマスク形状の内視鏡画像６２とする。なお、この内視鏡画像６２に係る画像データ量は、当該第１の画像情報信号全体のデータ量に比して小さくなっている。【００３２】
この後、情報解析用画像処理回路７１は、当該切り出した内視鏡画像６２に係る前記析用画像データを生成し、前記第２の画像情報信号として後段の情報解析回路５３に向けて（第１のルートを経由して）出力する。【００３３】
また、情報解析用画像処理回路７１は、入力した前記第１の画像情報信号に係る所定の物理的特性（例えば、色設定値、γ値、明るさ、輪郭の強調度合等）を平準化した前記解析用画像データを生成し、前記第２の画像情報信号として前記第１のルートに対して出力する。【００３４】
すなわち、前記入力した第１の画像情報信号は、例えば、前段のビデオプロセッサ３等において、術者の好みにより上述した物理的特性（色設定値、γ値、明るさ、輪郭の強調度合等）に対して様々な設定がなされている可能性がある。情報解析用画像処理回路７１は、これらすでに各種設定が施された画像信号を一旦平準化することで、後段、すなわち情報解析回路５３における認識処理の精度を高めることに寄与するものである。【００３５】
＜出力映像用画像処理回路７２＞
一方、映像分配回路５１は、前記第１の画像情報信号に基づいて前記第３の画像情報信号を生成し出力する出力映像用画像処理回路７２を有する。この出力映像用画像処理回路７２は、入力した前記第１の画像情報信号（ビデオプロセッサ３から出力された内視鏡画像に係る撮像信号）に対して所定の画像処理を施した前記第３の画像情報信号（出力用画像データ）を生成し前記第２のルートに対して遅延が最小限に抑えられた信号として出力するようになっている。【００３６】
なお、出力映像用画像処理回路７２は、前記所定の画像処理機能として、入力した前記第１の画像情報信号（ビデオプロセッサ３から出力された内視鏡画像に係る撮像信号）に対して、視覚的に好ましい色調に調整する機能、または、強調処理機能等の画像補正機能を有してもよい。【００３７】
＜情報解析回路５３の構成＞
次に、情報解析回路５３の構成について詳細に説明する。  
図４は、本実施形態の画像処理装置５における情報解析回路５３の構成を示すブロック図である。【００３８】
情報解析回路５３は、上述したように、本実施形態においてはＧＰ−ＧＰＵ５６により構成され、映像分配回路５１から出力される第２の画像情報信号（解析用画像データ）を入力し、当該第２の画像情報信号（解析用画像データ）に対して所定の解析（本実施形態においては認識処理による解析）を施し、当該解析結果を情報付加回路５２に向けて出力する。【００３９】
また、図４に示すように情報解析回路５３は、前記第２の画像情報信号（解析用画像データ）を入力し、所定の解析を実施し、当該解析結果を出力する情報解析結果出力回路９１を備える。【００４０】
＜情報解析結果出力回路９１＞
情報解析結果出力回路９１は、映像分配回路５１における情報解析用画像処理回路７１において生成された解析用画像データ（第２の画像情報信号）に対して、いわゆるコンピュータ支援診断（ＣＡＤ）機能に係る認識処理および当該認識処理をするために必要な画像処理を実施し、その認識処理に係る解析結果を後段の情報付加回路５２に対して出力する。【００４１】
ここで、コンピュータ支援診断（ＣＡＤ）は、上述したように、例えば内視鏡等によって得られた画像を、コンピュータ等による情報処理技術により当該画像の情報の定量化および解析を行い、この結果を画像診断に対して積極的に利用することで医師を支援するシステムである。【００４２】
また、情報解析結果出力回路９１は、このコンピュータ支援診断（ＣＡＤ）機能に係る認識処理等を実施する役目を果たし、すなわち、情報解析用画像処理回路７１において生成された解析用画像データ（第２の画像情報信号）から、例えば、図８に示すような注目領域６３を抽出し、当該抽出した注目領域に対して定量的な結果病巣の良悪性鑑別など意思決定が困難である症例に対して、資料となる情報（コンピュータによって分析された定量的な数値など）を提示することで、医師の意思決定を支援する役目を果たす。【００４３】
上述したように本実施形態に係る情報解析回路５３は、ＧＰ−ＧＰＵ(General-purpose computing on graphics processing units)により構成される。上述したように、このＧＰ−ＧＰＵは、ＧＰＵ(Graphics Processing Units)による汎用計算処理技術である。【００４４】
ところで、本実施形態においては、処理速度がより高速化されたＧＰ−ＧＰＵを採用するが、上述したように、コンピュータ支援診断（ＣＡＤ）機能に用いられる認識処理は膨大な計算処理を要する。このため、たとえ高速化されたＧＰ−ＧＰＵを採用したとしても、本実施形態における情報解析回路５３においては、入力された解析用画像データ（第２の画像情報信号）に対して出力される解析結果信号が遅延してしまう虞がある。【００４５】
このような遅延が生じると、モニタに表示されている画像が内視鏡の動きに対して遅れてしまうことになるため、内視鏡操作に支障を来す虞があるが、本願発明は係る事情に鑑みてなされたものであり、情報解析回路５３においてコンピュータ支援診断（ＣＡＤ）等の高度な認識処理を実施し、なおかつ、認識処理の精度をより高めたとしても、当該画像処理装置５から出力される映像信号の遅延効果を抑えることを可能とするものである。【００４６】
＜情報付加回路５２の構成＞
次に、情報付加回路５２の構成について詳細に説明する。  
図５は、本実施形態の画像処理装置５における情報付加回路５２の構成を示すブロック図である。【００４７】
情報付加回路５２は、上述したように、本実施形態においては前記映像分配回路５１とともにＦＰＧＡ(field-programmable gate array)５５により形成される。具体的には、前記第３の画像情報信号および前記解析結果信号を入力する情報付加信号出力回路８１がＦＰＧＡ５５上に形成されるようになっている。【００４８】
なお、前記第３の画像情報信号は共に前記映像分配回路５１において生成され当該情報付加回路５２に向けて出力される。また、前記解析結果信号は、前記情報解析回路５３において生成され当該情報付加回路５２に向けて出力される。【００４９】
＜情報付加信号出力回路８１＞
情報付加信号出力回路８１は、まず、映像分配回路５１における出力映像用画像処理回路７２において生成され出力される出力用画像データ（第３の画像情報信号）を入力する。この出力用画像データ（第３の画像情報信号）は、上述したように、出力映像用画像処理回路７２において、ビデオプロセッサ３から出力された内視鏡画像に係る撮像信号（第１の画像情報信号）に対して所定の画像処理が施されたものであって、当該出力映像用画像処理回路７２からは遅延が最小限に抑えられた状態で出力され、情報付加信号出力回路８１に入力されるようになっている。【００５０】
情報付加信号出力回路８１は一方で、情報解析回路５３における情報解析結果出力回路９１から出力される解析結果信号を入力する。【００５１】
情報付加信号出力回路８１は、遅延が最小限に抑えられた前記出力用画像データ（第３の画像情報信号）と、相対的に大きな遅延が発生している可能性がある前記解析結果信号とを合成し、第４の画像情報信号を生成し、後段の、例えばモニタ６に対して出力することを特徴とする。【００５２】
＜本実施形態の作用＞
次に、本実施形態の作用について図６を参照して説明する。【００５３】
図６は、第１の実施形態の画像処理装置における映像分配回路、情報付加回路および情報解析回路における作用を説明するタイミングチャートである。【００５４】
上述したように、情報解析回路５３における情報解析結果出力回路９１には、映像分配回路５１における情報解析用画像処理回路７１から出力される解析用画像データ（第２の画像情報信号）が入力されるようになっている。【００５５】
いま、図６に示すように、映像分配回路５１に入力される第１の画像情報信号に係る映像入力フレームが（Ｎ，Ｎ＋１，Ｎ＋２，Ｎ＋３，Ｎ＋４，Ｎ＋５，Ｎ＋６・・・）であるとする。映像分配回路５１における情報解析用画像処理回路７１において、この映像入力に基づいて上述の如く解析用画像データが生成され第２の画像情報信号として情報解析回路５３に向けて出力される。【００５６】
なお、映像分配回路５１からは第１の画像情報信号に対して遅延が最小限に抑えられた第３の画像情報信号が、出力用画像データとして、情報付加回路５２に対して出力される。【００５７】
この後、この第２の画像情報信号を入力した情報解析回路５３における情報解析結果出力回路９１において上述した認識処理が施されるが、このとき例えば、フレームＮに係る認識処理については、図６に示すように、フレームＮとフレームＮ＋１との連続するフレームを跨いで行う。そして、その認識処理に係る解析結果信号を、後段の情報付加回路５２に対して出力する。【００５８】
さらに情報解析結果出力回路９１は、フレームＮ＋２に係る認識処理を、フレームＮ＋２とフレームＮ＋３との連続するフレームを跨いで行い、その認識処理に係る解析結果信号を、上述したフレームＮに係る解析結果信号に続いて後段の情報付加回路５２に対して出力する。【００５９】
情報付加回路５２における情報付加信号出力回路８１は、まず、映像分配回路５１における出力映像用画像処理回路７２において生成され出力される出力用画像データ（第３の画像情報信号）を入力する。上述したように、この出力用画像データ（第３の画像情報信号）は、遅延が最小限に抑えられた状態で出力され、情報付加信号出力回路８１においては、この信号が図６に示す映像出力フレームとして出力されるようになっている。【００６０】
情報付加信号出力回路８１は、一方で、情報解析回路５３における情報解析結果出力回路９１から上述の如く時系列的に連続して出力される解析結果を、前記映像出力フレームに対して重畳する。具体的には、情報解析結果出力回路９１において上述の如く求めた解析結果、すなわち、フレームＮに係る認識処理の解析結果、フレームＮ＋２に係る認識処理の解析結果・・・を、当該映像出力フレーム（Ｎ，Ｎ＋１，Ｎ＋２，Ｎ＋３，Ｎ＋４，Ｎ＋５，Ｎ＋６・・・）に対して適宜、重畳する処理を行う。【００６１】
情報付加回路５２における情報付加信号出力回路８１は、上述の解析結果が重畳された前記映像出力フレーム（Ｎ，Ｎ＋１，Ｎ＋２，Ｎ＋３，Ｎ＋４，Ｎ＋５，Ｎ＋６・・・）を、第４の画像情報信号として、後段の、例えばモニタ６等に向けて出力する。【００６２】
ここで、上述したように、映像分配回路５１（出力映像用画像処理回路７２）から情報付加回路５２（情報付加信号出力回路８１）に向けて出力される出力用画像データ（第３の画像情報信号）は、遅延が最小限に抑えられた状態で出力されるようになっている。また、情報付加信号出力回路８１からは、この信号が映像出力フレームとして出力される。具体的に、前記映像入力フレームに対するこの映像出力フレームの遅延は、図６に示すように、例えば、１フレームの期間を"ｆ"とすると"０．１ｆ"以内となっている。【００６３】
これに対して、第１のルート（すなわち、映像分配回路５１から出力される第２の画像情報信号に対して情報解析回路５３において所定の認識処理を施し、その認識処理における解析結果を情報付加回路５２に向けて出力する情報解析処理ルート）を経た解析結果を前記映像出力フレーム重畳する場合、この解析結果が実際に反映されるフレームは、数フレーム分の遅延が生じてしまうおそれがある。【００６４】
具体的には、例えば図６に示すように、フレームＮに係る認識処理の解析結果が映像出力フレームにおけるフレームＮ＋３〜Ｎ＋４に重畳され、また、フレームＮ＋２に係る認識処理の解析結果が映像出力フレームにおけるフレームＮ＋５〜Ｎ＋６に重畳されることも考えられ、この場合、数フレーム分の反映遅れが生じることとなる。【００６５】
このように、情報解析回路５３（情報解析結果出力回路９１）から出力される"解析結果信号"における実際に認識処理が施された映像信号は、当該情報解析回路５３に入力された時点の解析用画像データ（第２の画像情報信号）に対して、数フレーム分（図６の例においては、約３フレーム分）遅延した状態となっている。【００６６】
しかしながら、本実施形態の画像処理装置５においては、たしかに第１のルートを経た解析結果信号（情報解析回路５３における認識処理を施した解析結果信号）は、映像入力フレームに対して数フレーム分の遅延を生じるものの、実際に情報付加回路５２から出力される第４の画像情報信号は、遅延が最小限に抑えられた第２のルートからの画像情報信号（第３の画像情報信号）に基づく映像出力フレームを出力するものとしたので、モニタに表示される画像信号に遅延に起因する違和感は生じない。【００６７】
一方、この遅延が最小限に抑えられた映像出力フレームに対して、数フレーム分遅れるものの認識処理を施した解析結果を重畳しているので、モニタに表示される画像信号に対して必要十分な認識処理解析情報を付加することができる。【００６８】
以上説明したように本実施形態の画像処理装置５によると、外部装置（本実施形態においてはビデオプロセッサ３）から連続的に出力された第１の画像情報信号（例えば、内視鏡画像を含む画像）を入力し、この入力した第１の画像情報信号に対して遅延が最小限に抑えられた画像信号（第３の画像情報信号）を出力するルート（第２のルート）と、当該第１の画像情報信号に対して所定の解析（例えば、認識処理等の情報解析）を施すためのプリプロセスを施した第２の画像情報信号を生成し出力すると共に当該第２の画像情報信号に対して認識処理等の情報解析を施した解析結果信号を生成し出力するルート（第１のルート）とを、設け、前記遅延が最小限に抑えられた第３の画像情報信号と、的確に認識処理等の情報解析を施した解析結果信号とを合成して第４の画像情報信号として出力することを可能とした。【００６９】
これにより、本実施形態の画像処理装置によると、処理負荷が多く相対的に大きな遅延を生じ易い認識処理を実施したとしても、出力される映像信号の遅延効果を抑えることができる画像処理装置を提供するができる。【００７０】
また、本実施形態の画像処理装置は、第２のルートに係る遅延が最小限に抑えられた第３の画像情報信号に対しては、視覚的に好ましい色調への補正または強調補正を容易に施すことができることから、遅延の影響が小さいことと相俟ってユーザーに提供する画像の品質を維持したままで、コンピュータ支援診断（ＣＡＤ）等の高度な認識処理を実施可能とするものである。【００７１】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。【００７２】
第２の実施形態の画像処理装置は、主たる構成は第１の実施形態と同様であるが、情報解析回路の構成のみ異にすることを特徴とする。したがって、ここでは第１の実施形態との差異のみの説明にとどめ、共通する部分の説明については省略する。【００７３】
＜第２の実施形態における情報解析回路２５３の構成＞
図９は、本発明の第２の実施形態の画像処理装置における情報解析回路の構成を示すブロック図である。【００７４】
第２の実施形態において情報解析回路２５３は、第１の実施形態と同様にＧＰ−ＧＰＵにより構成され、映像分配回路５１から出力される第２の画像情報信号（解析用画像データ）を入力し、当該第２の画像情報信号（解析用画像データ）に対して所定の解析（本実施形態においては認識処理による解析）を施し、当該解析結果を出力する情報解析結果出力回路９１を有する。【００７５】
また、図９に示すように情報解析回路２５３は、前記情報解析結果出力回路９１からの解析結果に対して所定の補正を施した後、後段の情報付加回路５２に向けて補正された解析結果信号を出力する解析結果補正回路９２を備える。【００７６】
第１の実施形態と同様に、第２の実施形態においても情報解析結果出力回路９１は、映像分配回路５１における情報解析用画像処理回路７１において生成された解析用画像データ（第２の画像情報信号）に対して、いわゆるコンピュータ支援診断（ＣＡＤ）機能に係る認識処理および当該認識処理をするために必要な画像処理を実施し、その認識処理に係る解析結果を後段の解析結果補正回路９２に対して出力する。【００７７】
解析結果補正回路９２は、情報解析結果出力回路９１から時系列的に連続して出力される、前記認識処理に係る解析結果のうち、少なくとも連続する２つの解析結果に基づいて解析結果を補正し、その補正された解析結果を解析結果信号として、情報付加回路５２における情報付加信号出力回路８１に向けて出力する。具体的に解析結果補正回路９２は、少なくとも連続する２つの解析結果に基づいて連続画像における注目領域の画像内の動きを解析し、重畳する枠の位置を最適化した結果を解析結果信号として出力する。【００７８】
この解析結果補正回路９２の作用により、たとえ解析結果の重畳に遅延が生じても、動き量で解析結果を補正し、例えば、Ｎ＋２フレームの解析結果をＮ＋５に重畳するとき、Ｎフレームの解析結果とＮ＋２フレームの解析結果から、Ｎ＋５フレームにおいては注目領域がどこに位置していそうかを推定することができる。【００７９】
また、第２の実施形態において情報付加回路５２は、解析結果補正回路９２から出力される補正された解析結果信号を、第３の画像情報信号（図６の映像出力フレーム参照）に対して重畳する。【００８０】
その他の構成、作用については第１の実施形態と同様である。【００８１】
本第２の実施形態の画像処理装置において、第１の実施形態と同様の効果を奏すると共に、少なくとも連続する２つの解析結果に基づいて解析結果を補正することにより、より的確な認識処理解析情報を映像出力フレームに重畳することができる。【００８２】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。【００８３】
図１０は、本発明の第３の実施形態の画像処理装置における映像分配回路の構成を示すブロック図、図１１は、第３の実施形態の画像処理装置における情報解析回路の構成を示すブロック図、図１２は、第３の実施形態の画像処理装置における情報付加回路の構成を示すブロック図である。【００８４】
第３の実施形態の画像処理装置は、主たる構成は第１の実施形態と同様であるが、映像分配回路３５１、情報解析回路３５３および情報付加回路３５２の構成を異にすることを特徴とする。ここでは第１の実施形態との差異のみの説明にとどめ、共通する部分の説明については省略する。【００８５】
本第３の実施形態においても、映像分配回路３５１および情報付加回路３５２は、画像処理装置５内に配設された、いわゆるＦＰＧＡ(field-programmable gate array)５５において形成された回路として構成される。【００８６】
また、本第３の実施形態において情報解析回路３５３は、ＧＰＵ(Graphics Processing Units)による汎用計算処理技術である、ＧＰ−ＧＰＵ(General-purpose computing on graphics processing units)により構成された回路である。【００８７】
＜第３の実施形態における映像分配回路３５１の構成＞
図１０は、第３の実施形態における映像分配回路３５１の構成を示すブロック図である。【００８８】
第３の実施形態においても、映像分配回路３５１は、外部装置であるビデオプロセッサ３から連続的に出力される第１の画像情報信号を入力し、入力した当該第１の画像情報信号に応じた第２の画像情報信号を少なくとも第１のルートに対して出力すると共に、前記第１の画像情報信号に応じた画像情報信号であって前記第２の画像情報信号とは異なる第３の画像情報信号を第２のルートに対して出力することを特徴とする。【００８９】
第３の実施形態にける映像分配回路３５１は、第１の実施形態と同様に、前記第１の画像情報信号に基づいて前記第２の画像情報信号（解析用画像データ）を生成し出力する情報解析用画像処理回路７１を有する。情報解析用画像処理回路７１の作用効果等については第１の実施形態と同様であるので、ここでの説明は省略する。【００９０】
一方、映像分配回路３５１は、前記第１の画像情報信号に基づいて前記第３の画像情報信号を生成し出力する出力映像用画像処理回路７２を有する。この出力映像用画像処理回路７２の作用効果等についても第１の実施形態と同様であるので、ここでの説明は省略する。【００９１】
＜同期信号生成回路７３＞
本第３の実施形態の映像分配回路３５１は、前記第１の画像情報信号に同期した同期信号を生成し出力する同期信号生成回路７３を有する。この同期信号生成回路７３において生成された同期信号は、後述する情報付加回路３５２における画像生成タイミング調整回路８２に対して出力されるようになっている。【００９２】
なお、本第３の実施形態においては、同期信号生成回路７３は映像分配回路３５１内に設けたが、これに限らず、ＦＰＧＡ５５における他の箇所に形成されてもよく、また、ＦＰＧＡ５５以外の回路として構成されてもよい。【００９３】
＜第３の実施形態における情報解析回路３５３の構成＞
次に、第３の実施形態における情報解析回路３５３の構成について詳細に説明する。【００９４】
図１１は、本第３の実施形態における情報解析回路３５３の構成を示すブロック図である。【００９５】
第３の実施形態において情報解析回路３５３は、上述したように、第１の実施形態と同様にＧＰ−ＧＰＵにより構成され、映像分配回路３５１から出力される第２の画像情報信号（解析用画像データ）を入力し、当該第２の画像情報信号（解析用画像データ）に対して所定の解析（本実施形態においては認識処理による解析）を施し、当該解析結果を情報付加回路３５２に向けて出力する。【００９６】
また、図１１に示すように情報解析回路３５３は、前記第２の画像情報信号（解析用画像データ）を入力し、所定の解析を実施し、当該解析結果を出力する情報解析結果出力回路９１と、情報解析結果出力回路９１における解析が完了するごとに所定の完了通知信号を生成し、情報付加回路５２にむけて出力する解析完了通知出力回路９３と、と備える。【００９７】
なお、第３の実施形態における情報解析結果出力回路９１の主たる作用効果は、第１の実施形態と同様であるの、ここでの説明は省略する。【００９８】
＜解析完了通知出力回路９３＞
本第３の実施形態における解析完了通知出力回路９３は、情報解析結果出力回路９１から第２の画像情報信号に係る認識処理の解析結果、すなわち"解析結果信号"が出力される毎に当該解析が完了したことを示す"完了通知信号"を生成し、情報付加回路３５２における画像生成タイミング調整回路８２に向けて出力する。【００９９】
＜第３の実施形態における情報付加回路３５２の構成＞
次に、第３の実施形態における情報付加回路３５２の構成について詳細に説明する。【０１００】
図１２は、本実施形態における情報付加回路３５２の構成を示すブロック図である。【０１０１】
情報付加回路３５２は、本第３の実施形態においても第１の実施形態と同様に、前記映像分配回路３５１とともにＦＰＧＡ(field-programmable gate array)により形成される。具体的には、前記第３の画像情報信号および前記解析結果信号を入力する情報付加信号出力回路８１と、前記同期信号および前記完了通知信号を入力する画像生成タイミング調整回路８２と、がＦＰＧＡ５５上に形成されるようになっている。【０１０２】
なお、前記第３の画像情報信号および前記同期信号は共に前記映像分配回路３５１において生成され当該情報付加回路３５２に向けて出力される。また、前記解析結果信号および前記完了通知信号は共に前記情報解析回路３５３において生成され当該情報付加回路３５２に向けて出力される。【０１０３】
＜画像生成タイミング調整回路８２＞
第３の実施形態において画像生成タイミング調整回路８２は、まず、映像分配回路３５１における同期信号生成回路７３において生成された前記同期信号を入力する。この同期信号は、上述したように映像分配回路３５１に入力される第１の画像情報信号に基づいて同期信号生成回路７３において生成された同期信号である。【０１０４】
画像生成タイミング調整回路８２は一方で、情報解析回路３５３における解析完了通知出力回路９３から出力される"完了通知信号"を入力する。この"完了通知信号"は、上述したように、第２の画像情報信号に係る認識処理の解析結果、すなわち"解析結果信号"が出力される毎に当該解析が完了したことを示す信号である。【０１０５】
画像生成タイミング調整回路８２は、情報負荷信号出力回路８１が解析結果信号を受信した直後に、この解析結果を映像出力フレームの適切なフレームに重畳できるように、前記同期信号に基づいて映像出力タイミング基準を生成し、情報付加信号出力回路８１に向けて出力するようになっている。【０１０６】
なお、画像生成タイミング調整回路８２は、同期信号生成回路７３からの前記同期信号に対して所定の位相差を有する信号を前記映像出力タイミング基準として生成する。または、画像生成タイミング調整回路８２は、同期信号生成回路７３からの前記同期信号に対して所定の時間的差分を有する信号を前記映像出力タイミング基準として生成する。さらに、画像生成タイミング調整回路８２は、同期信号生成回路７３からの前記同期信号の逓倍または分周された信号を前記映像出力タイミング基準として生成する。【０１０７】
＜第３の実施形態における情報付加信号出力回路８１＞
一方、第３の実施形態において情報付加信号出力回路８１は、まず、第１の実施形態と同様に、映像分配回路３５１における出力映像用画像処理回路７２において生成され出力される出力用画像データ（第３の画像情報信号）を入力する。【０１０８】
情報付加信号出力回路８１は一方で、情報解析回路３５３における情報解析結果出力回路９１から出力される解析結果信号を入力し、さらに、画像生成タイミング調整回路８２から出力される前記映像出力タイミング基準信号を入力する。【０１０９】
そして、第３の実施形態において情報付加信号出力回路８１は、この映像出力タイミング基準信号のタイミングに応じて、情報解析回路３５３からの解析結果信号を受信した直後に、この解析結果を映像出力フレームの適切なフレームに重畳する。【０１１０】
図１３は、第３の実施形態の画像処理装置における映像分配回路、情報付加回路および情報解析回路における作用を説明するタイミングチャートである。【０１１１】
具体的に、例えば図１３に示すように、今、情報解析回路３５３における認識処理においてフレームを跨いだ処理が施された場合において、情報付加信号出力回路８１が受信するフレーム"Ｎ"に係る「完了通知信号」が、映像出力フレームにおいてフレーム"Ｎ＋３"の先頭タイミングを僅かに過ぎたタイミングである場合、画像生成タイミング調整回路８２から出力される前記映像出力タイミング基準信号に従ってフレーム"Ｎ＋３"の先頭タイミングを僅かにずらし、フレーム"Ｎ"に係る解析結果信号をフレーム"Ｎ＋３"に重畳するように制御する。【０１１２】
このように、本第３の実施形態の画像処理装置によると、映像出力フレームに解析結果信号を重畳するタイミングを制御することにより、情報解析回路３５３における解析結果信号を受信した直後に、当該解析結果信号を映像出力フレームの適切なフレームに重畳することができ、出力画像信号に対して認識処理結果をより的確に反映させることができる。【０１１３】
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【図１】
2020059098.tif 000003
【図２】
2020059098.tif 000004
【図３】
2020059098.tif 000005
【図４】
2020059098.tif 000006
【図５】
2020059098.tif 000007
【図６】
2020059098.tif 000008
【図７】
2020059098.tif 000009
【図８】
2020059098.tif 000010
【図９】
2020059098.tif 000011
【図１０】
2020059098.tif 000012
【図１１】
2020059098.tif 000013
【図１２】
2020059098.tif 000014
【図１３】
2020059098.tif 000015
【図１４】
2020059098.tif 000016
【手続補正書】
【提出日】令和2年1月14日(2020.1.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像生成部から連続的に出力される第１の画像情報信号を入力し、入力した当該第１の画像情報信号に応じた第２の画像情報信号を少なくとも第１のルートに対して出力すると共に、前記第１の画像情報信号に応じた画像情報信号であって前記第２の画像情報信号とは異なる第３の画像情報信号を第２のルートに対して出力する映像分配部と、
前記第２の画像情報信号を入力し、当該第２の画像情報信号に対して所定の解析を施し、当該解析結果を出力する情報解析部と、
前記映像分配部から出力される前記第３の画像情報信号と、前記情報解析部から出力される前記解析結果と、に基づいて第４の画像情報信号を生成し連続的に出力する情報付加部と、
を具備し、
前記情報付加部は、前記第３の画像情報信号を入力した際、当該第３の画像情報信号の生成元である前記第１の画像情報信号と同一の前記第１の画像情報信号に基づいて生成された前記第２の画像情報信号に対する解析結果を入力完了する前に、前記第４の画像情報信号の生成を完了することを特徴とする画像処理装置。
【請求項２】
前記映像分配部は、前記第１の画像情報信号に基づく前記第２の画像情報信号を出力する情報解析用画像処理回路を有し、
前記情報解析用画像処理回路は、入力した前記第１の画像情報信号に基づいて前記情報解析部において解析するための解析用画像データを生成し、当該解析用画像データを前記第２の画像情報信号として前記第１のルートに対して出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記情報解析用画像処理回路は、入力した前記第１の画像情報信号における所定の領域を切り出し、当該切り出した領域に係る前記解析用画像データを生成し、前記第２の画像情報信号として前記第１のルートに対して出力する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記情報解析用画像処理回路は、入力した前記第１の画像情報信号に係る所定の物理的特性を平準化した前記解析用画像データを生成し、前記第２の画像情報信号として前記第１のルートに対して出力する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記映像分配部は、前記第１の画像情報信号に基づく前記第３の画像情報信号を出力する出力映像用画像処理回路を有し、
前記出力映像用画像処理回路は、入力した前記第１の画像情報信号に対して所定の画像処理を施した前記第３の画像情報信号を生成し前記第２のルートに対して出力する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
（削除）
【請求項７】
画像生成部から連続的に出力される第１の画像情報信号を入力し、入力した当該第１の画像情報信号に応じた第２の画像情報信号を少なくとも第１のルートに対して出力すると共に、前記第１の画像情報信号に応じた画像情報信号であって前記第２の画像情報信号とは異なる第３の画像情報信号を第２のルートに対して出力する映像分配部と、
前記第２の画像情報信号を入力し、当該第２の画像情報信号に対して所定の解析を施し、当該解析結果を出力する情報解析部と、
前記映像分配部から出力される前記第３の画像情報信号と、前記情報解析部から出力される前記解析結果と、に基づいて第４の画像情報信号を生成し連続的に出力する情報付加部と、
前記第１の画像情報信号に同期した同期信号を生成し出力する同期信号生成回路と、
を具備し、
前記情報付加部は、前記同期信号に基づくタイミング基準に応じて前記第４の画像情報信号を生成するための画像生成タイミング回路を有する
ことを特徴とする画像処理装置。
【請求項８】
前記情報付加部は、前記同期信号に対して所定の位相差を有する信号を前記タイミング基準として前記第４の画像情報信号を生成する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記情報解析部は、前記第２の画像情報信号に係る解析結果を出力する毎に当該解析が完了したことを示す解析完了通知信号を出力する解析完了出力回路を有し、
前記情報付加部は、前記解析完了通知信号を受信する度に前記同期信号との時間的差分を前記タイミング基準として前記第４の画像情報信号を生成する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記情報付加部は、前記同期信号の逓倍または分周された信号を前記タイミング基準として前記第４の画像情報信号を生成する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項１１】
前記情報解析部は、少なくとも時系列的に連続する２つの解析結果に基づいて解析結果を補正する解析結果補正回路を有する
ことを特徴とする請求項１に記載の画像処理装置。
【手続補正書】
【提出日】令和3年1月15日(2021.1.15)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、画像処理装置、内視鏡システム、および画像処理方法に関し、特に、コンピュータ支援診断（ＣＡＤ;Computer-Aided Diagnosis)による処理を行う画像処理装置、内視鏡システム、および画像処理方法に関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明は上述した事情に鑑みてなされたものであり、コンピュータ支援診断（ＣＡＤ）等の高度な認識処理を実施可能な画像処理装置、内視鏡システム、および画像処理方法において、認識処理の精度を高めながら出力される映像信号の遅延効果を抑えることができる画像処理装置、内視鏡システム、および画像処理方法を提供することを目的とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本発明の一態様の画像処理装置は、画像生成部から連続的に出力される第１の画像情報信号を入力し、入力した当該第１の画像情報信号に応じた第２の画像情報信号を少なくとも第１のルートに対して出力すると共に、前記第１の画像情報信号に応じた画像情報信号である第３の画像情報信号を第２のルートに対して出力する映像分配部と、前記第２の画像情報信号を入力し、当該第２の画像情報信号に対して所定の解析を施して解析結果を出力する情報解析部と、前記映像分配部から出力される前記第３の画像情報信号と、前記情報解析部から出力される前記解析結果と、に基づいて第４の画像情報信号を生成し連続的に出力する情報付加部と、を具備し、前記情報付加部は、前記第３の画像情報信号を前記情報付加部に入力した際、当該第３の画像情報信号の生成元である前記第１の画像情報信号と同一の前記第１の画像情報信号に基づいて生成された前記第２の画像情報信号による前記解析結果を前記情報付加部に入力完了する前に前記第４の画像情報信号の生成を完了する。
本発明の一態様の内視鏡システムは、被検体を観察し撮像信号を出力する内視鏡と、画像処理装置であって、前記撮像信号に基づいて、画像生成部から連続的に出力される第１の画像情報信号を入力し、入力した当該第１の画像情報信号に応じた第２の画像情報信号を少なくとも第１のルートに対して出力すると共に、前記第１の画像情報信号に応じた画像情報信号である第３の画像情報信号を第２のルートに対して出力する映像分配部と、前記第２の画像情報信号を入力し、当該第２の画像情報信号に対して所定の解析を施して解析結果を出力する情報解析部と、前記映像分配部から出力される前記第３の画像情報信号と、前記情報解析部から出力される前記解析結果と、に基づいて第４の画像情報信号を生成し連続的に出力する情報付加部と、を具備し、前記情報付加部は、前記第３の画像情報信号を前記情報付加部に入力した際、当該第３の画像情報信号の生成元である前記第１の画像情報信号と同一の前記第１の画像情報信号に基づいて生成された前記第２の画像情報信号による前記解析結果を前記情報付加部に入力完了する前に前記第４の画像情報信号の生成を完了する画像処理装置と、を備える。
本発明の一態様の画像処理方法は、連続的な第１の画像情報信号に応じた第２の画像情報信号を少なくとも第１のルートに対して出力すると共に、前記第１の画像情報信号に応じた画像情報信号である第３の画像情報信号を第２のルートに対して出力し、前記第２の画像情報信号に対して所定の解析を施して解析結果を出力し、前記第３の画像情報信号と前記解析結果とを取得し、前記第３の画像情報信号と前記解析結果とに基づいて第４の画像情報信号を生成し連続的に出力し、前記第４の画像情報信号を生成しての連続的な出力において、前記第３の画像情報信号を取得した際、当該第３の画像情報信号の生成元である前記第１の画像情報信号と同一の前記第１の画像情報信号に基づいて生成された前記第２の画像情報信号による前記解析結果を取得する前に前記第４の画像情報信号の生成を完了する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
図１に示すように、本第１の実施形態に係る画像処理装置を含む内視鏡システム１は、被検体を観察し所定の撮像信号を出力する内視鏡２と、当該内視鏡２に接続され前記撮像信号を入力し所定の画像処理を施して出力するビデオプロセッサ３（画像生成部）と、被検体を照明するための照明光を供給する図示しない光源装置と、ビデオプロセッサ３から出力された撮像信号を入力し、当該撮像信号に対して所定の認識処理を施して出力する画像処理装置５と、当該画像処理装置５から出力された撮像信号に応じた観察画像を表示するモニタ６と、を有している。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
＜画像処理装置５の構成＞
図１、図２に示すように、画像処理装置５は、ビデオプロセッサ３から出力される第１の画像情報信号を入力し、第２の画像情報信号と第３の画像情報信号とに分配して出力する映像分配回路５１（映像分配部）と、映像分配回路５１からの第２の画像情報信号を入力し、当該第２の画像情報信号に対して所定の解析を施し、当該解析結果を出力する情報解析回路５３（情報解析部）と、映像分配回路５１から出力される第３の画像情報信号と情報解析回路５３から出力される前記解析結果とに基づいて第４の画像情報信号を生成し連続的に出力する情報付加回路５２（情報付加部）と、を具備する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】変更
【補正の内容】
【００７３】
＜第２の実施形態における情報解析回路２５３（情報解析部）の構成＞
図９は、本発明の第２の実施形態の画像処理装置における情報解析回路の構成を示すブロック図である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【００８４】
第３の実施形態の画像処理装置は、主たる構成は第１の実施形態と同様であるが、映像分配回路３５１（映像分配部）、情報解析回路３５３（情報解析部）および情報付加回路３５２（情報付加部）の構成を異にすることを特徴とする。ここでは第１の実施形態との差異のみの説明にとどめ、共通する部分の説明については省略する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１０５
【補正方法】変更
【補正の内容】
【０１０５】
画像生成タイミング調整回路８２は、情報付加信号出力回路８１が解析結果信号を受信した直後に、この解析結果を映像出力フレームの適切なフレームに重畳できるように、前記同期信号に基づいて映像出力タイミング基準を生成し、情報付加信号出力回路８１に向けて出力するようになっている。
【手続補正１０】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像生成部から連続的に出力される第１の画像情報信号を入力し、入力した当該第１の画像情報信号に応じた第２の画像情報信号を少なくとも第１のルートに対して出力すると共に、前記第１の画像情報信号に応じた画像情報信号である第３の画像情報信号を第２のルートに対して出力する映像分配部と、
前記第２の画像情報信号を入力し、当該第２の画像情報信号に対して所定の解析を施して解析結果を出力する情報解析部と、
前記映像分配部から出力される前記第３の画像情報信号と、前記情報解析部から出力される前記解析結果と、に基づいて第４の画像情報信号を生成し連続的に出力する情報付加部と、
を具備し、
前記情報付加部は、前記第３の画像情報信号を前記情報付加部に入力した際、当該第３の画像情報信号の生成元である前記第１の画像情報信号と同一の前記第１の画像情報信号に基づいて生成された前記第２の画像情報信号による前記解析結果を前記情報付加部に入力完了する前に前記第４の画像情報信号の生成を完了することを特徴とする画像処理装置。
【請求項２】
前記映像分配部は、前記第１の画像情報信号に基づく前記第２の画像情報信号を出力する情報解析用画像処理回路を有し、
前記情報解析用画像処理回路は、入力した前記第１の画像情報信号に基づいて前記情報解析部において解析するための解析用画像データを生成し、当該解析用画像データを前記第２の画像情報信号として前記第１のルートに対して出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記情報解析用画像処理回路は、入力した前記第１の画像情報信号における所定の領域を切り出し、当該切り出した領域に係る前記解析用画像データを生成し、前記第２の画像情報信号として前記第１のルートに対して出力する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記情報解析用画像処理回路は、入力した前記第１の画像情報信号に係る所定の物理的特性を平準化した前記解析用画像データを生成し、前記第２の画像情報信号として前記第１のルートに対して出力する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記映像分配部は、前記第１の画像情報信号に基づく前記第３の画像情報信号を出力する出力映像用画像処理回路を有し、
前記出力映像用画像処理回路は、入力した前記第１の画像情報信号に対して所定の画像処理を施した前記第３の画像情報信号を生成し前記第２のルートに対して出力する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記第１の画像情報信号に同期した同期信号を生成し出力する同期信号生成回路をさらに有し、
前記情報付加部は、前記同期信号に基づくタイミング基準に応じて前記第４の画像情報信号を生成するための画像生成タイミング調整回路を有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記情報付加部は、前記同期信号に対して所定の位相差を有する信号を前記タイミング基準として前記第４の画像情報信号を生成する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記情報解析部は、前記第２の画像情報信号に係る前記解析結果を出力する毎に当該解析が完了したことを示す解析完了通知信号を出力する解析完了通知出力回路を有し、
前記情報付加部は、前記解析完了通知信号を受信する度に前記同期信号との時間的差分を前記タイミング基準として前記第４の画像情報信号を生成する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記情報付加部は、前記同期信号の逓倍または分周された信号を前記タイミング基準として前記第４の画像情報信号を生成する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項１０】
前記情報解析部は、少なくとも時系列的に連続する２つの解析結果に基づいて前記解析結果を補正する解析結果補正回路を有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
被検体を観察し撮像信号を出力する内視鏡と、
画像処理装置であって、
前記撮像信号に基づいて、画像生成部から連続的に出力される第１の画像情報信号を入力し、入力した当該第１の画像情報信号に応じた第２の画像情報信号を少なくとも第１のルートに対して出力すると共に、前記第１の画像情報信号に応じた画像情報信号である第３の画像情報信号を第２のルートに対して出力する映像分配部と、
前記第２の画像情報信号を入力し、当該第２の画像情報信号に対して所定の解析を施して解析結果を出力する情報解析部と、
前記映像分配部から出力される前記第３の画像情報信号と、前記情報解析部から出力される前記解析結果と、に基づいて第４の画像情報信号を生成し連続的に出力する情報付加部と、
を具備し、
前記情報付加部は、前記第３の画像情報信号を前記情報付加部に入力した際、当該第３の画像情報信号の生成元である前記第１の画像情報信号と同一の前記第１の画像情報信号に基づいて生成された前記第２の画像情報信号による前記解析結果を前記情報付加部に入力完了する前に前記第４の画像情報信号の生成を完了する画像処理装置と、
を備えることを特徴とする内視鏡システム。
【請求項１２】
連続的な第１の画像情報信号に応じた第２の画像情報信号を少なくとも第１のルートに対して出力すると共に、前記第１の画像情報信号に応じた画像情報信号である第３の画像情報信号を第２のルートに対して出力し、
前記第２の画像情報信号に対して所定の解析を施して解析結果を出力し、
前記第３の画像情報信号と前記解析結果とを取得し、前記第３の画像情報信号と前記解析結果とに基づいて第４の画像情報信号を生成し連続的に出力し、
前記第４の画像情報信号を生成しての連続的な出力において、前記第３の画像情報信号を取得した際、当該第３の画像情報信号の生成元である前記第１の画像情報信号と同一の前記第１の画像情報信号に基づいて生成された前記第２の画像情報信号による前記解析結果を取得する前に前記第４の画像情報信号の生成を完了することを特徴とする画像処理方法。
【国際調査報告】
2020059098.tif 000017
2020059098.tif 000018
2020059098.tif 000019
2020059098.tif 000020