(57)【要約】  信号処理装置６は、ハードウェア処理を行う第１内部モジュール６１と、ソフトウェア処理を行う第２内部モジュール６２，６３とを備える。第１内部モジュール６１は、画像信号と、当該画像信号のフレームを所定のデータ量で分割する分割位置を示す分割位置情報と、タイミング信号とを第２内部モジュール６２，６３に出力するとともに、第２内部モジュール６２，６３から入力したソフトウェア処理後の画像信号に基づいて表示用の映像信号を生成する。第２内部モジュール６２，６３は、タイミング信号及び分割位置情報に基づいて、画像信号に対して、所定のデータ量毎に順次、ソフトウェア処理により画像処理を施し、当該画像処理を施した所定のデータ量毎の画像信号を順次、第１内部モジュール６１に出力する。
2016185746.tif 000002
【特許請求の範囲】
【請求項１】
被検体内部を検査して当該検査結果に応じた画像信号を出力する医療用観察装置に接続され、表示用の映像信号を出力する信号処理装置であって、
ハードウェア処理を行う第１内部モジュールと、
ソフトウェア処理を行う第２内部モジュールとを備え、
前記第１内部モジュールは、
前記医療用観察装置から入力した前記画像信号と、当該画像信号のフレームを所定のデータ量で分割する分割位置を示す分割位置情報と、前記ソフトウェア処理の処理タイミングを示すタイミング信号とを前記第２内部モジュールに出力するとともに、前記第２内部モジュールから入力した前記ソフトウェア処理後の前記画像信号に基づいて前記表示用の映像信号を生成し、
前記第２内部モジュールは、
前記タイミング信号及び前記分割位置情報に基づいて、前記画像信号に対して、前記データ量毎に順次、前記ソフトウェア処理により画像処理を施し、当該画像処理を施した前記データ量毎の前記画像信号を順次、前記第１内部モジュールに出力する
ことを特徴とする信号処理装置。
【請求項２】
前記データ量は、
変更可能に構成されている
ことを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記第１内部モジュールは、
前記医療用観察装置から入力した前記画像信号を一時的に記憶する記憶部を備え、当該記憶部に記憶した前記画像信号と、前記分割位置情報と、前記タイミング信号とを前記第２内部モジュールに出力する
ことを特徴とする請求項１または２に記載の信号処理装置。
【請求項４】
被検体内部を検査して当該検査結果に応じた画像信号を出力する医療用観察装置と、
請求項１〜３のいずれか一つに記載の信号処理装置とを備える
ことを特徴とする医療用観察システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡等の医療用観察装置に接続され、表示用の映像信号を出力する信号処理装置、及び当該信号処理装置を備えた医療用観察システムに関する。
【背景技術】
【０００２】
従来、医療分野において、撮像素子を用いて人等の被検体内部（生体内）を撮像し、当該生体内を観察する医療用観察システムが知られている（例えば、特許文献１参照）。
特許文献１に記載の医療用観察システム（電子内視鏡システム）は、生体内を撮像して画像信号を生成する内視鏡（電子内視鏡）と、内視鏡から入力した画像信号を処理する信号処理装置（プロセッサ、画像処理装置）と、信号処理装置にて処理された映像信号に基づく撮像画像を表示する表示装置（モニタ）とを備える。
ここで、信号処理装置は、画像処理回路を備え、画像信号に対してハードウェア処理により画像処理を施している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５３１７８８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、近年では、画像処理をソフトウェア処理により行うＧＰＧＰＵ（General-Purpose  computing  on  Graphics  Processing  Unit）等は、演算能力が向上してきており、当該画像処理を実行させるためのプログラムの変更も容易である。
このため、特許文献１に記載の信号処理装置についても、ＧＰＧＰＵ等を組み込むことが考えられる。すなわち、当該信号処理装置として、ハードウェア処理を行う構成（以下、ハードウェアモジュールと記載）と、ＣＰＵ（Central  Processing  Unit）やＧＰＧＰＵ等のソフトウェア処理を行う構成（以下、ソフトウェアモジュールと記載）とを組み合わせることが考えられる。
ハードウェアモジュールとしては、内視鏡からの画像信号を入力し、当該画像信号をソフトウェアモジュールに出力する処理、ソフトウェアモジュールから入力した画像処理後の画像信号に対して出力画像のフォーマット変換等により映像信号を生成及び出力する処理等をハードウェア処理により行う構成が考えられる。【０００５】
ここで、ハードウェアモジュールとソフトウェアモジュールとを組み合わせた場合には、互いの時間をすり合わせる必要がある。そして、当該時間のすり合わせとして考えられる一般的な方法は、以下の通りである。
ハードウェアモジュールは、内視鏡から入力した画像信号をソフトウェアモジュールに出力する。
ソフトウェアモジュールは、ハードウェアモジュールから画像信号を１フレーム分、入力する毎に、当該フレームの画像信号に対して画像処理を施す。そして、ソフトウェアモジュールは、１フレーム分の画像信号に対して画像処理が完了する毎に、順次、ハードウェアモジュールに画像信号を出力する。
そして、ハードウェアモジュールは、ソフトウェアモジュールから画像信号を入力し、当該画像信号に基づいて映像信号を生成及び出力する。
すなわち、ハードウェアモジュールとソフトウェアモジュール間での時間のすり合わせとして考えられる一般的な方法は、ハードウェアモジュール及びソフトウェアモジュール間で画像信号をフレーム毎に転送する方法である。【０００６】
しかしながら、上述したようにハードウェアモジュール及びソフトウェアモジュール間で画像信号をフレーム毎に転送した場合には、各処理に要するレイテンシが大きくなってしまう、という問題がある。このようにレイテンシが大きい場合には、内視鏡で撮像した画像が所定数のフレーム分、遅れて表示装置に表示されてしまい、内視鏡で撮像した画像を迅速に表示装置に表示することができない。
特に、ソフトウェアモジュールは、処理の実行時間が不定である。このため、ソフトウェアモジュールの処理時間には、マージンを持たせる必要がある。そして、上述したようにソフトウェアモジュールがフレーム毎に画像処理を実行する場合には、当該フレームの処理時間に非常に大きいマージンを設定する必要がある。したがって、ソフトウェアモジュールからハードウェアモジュールへの画像処理後の画像信号の出力に遅延が生じ、上述したレイテンシがさらに大きくなってしまう。【０００７】
本発明は、上記に鑑みてなされたものであって、各処理に要するレイテンシを最小化することができる信号処理装置及び医療用観察システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明に係る信号処理装置は、被検体内部を検査して当該検査結果に応じた画像信号を出力する医療用観察装置に接続され、表示用の映像信号を出力する信号処理装置であって、ハードウェア処理を行う第１内部モジュールと、ソフトウェア処理を行う第２内部モジュールとを備え、前記第１内部モジュールは、前記医療用観察装置から入力した前記画像信号と、当該画像信号のフレームを所定のデータ量で分割する分割位置を示す分割位置情報と、前記ソフトウェア処理の処理タイミングを示すタイミング信号とを前記第２内部モジュールに出力するとともに、前記第２内部モジュールから入力した前記ソフトウェア処理後の前記画像信号に基づいて前記表示用の映像信号を生成し、前記第２内部モジュールは、前記タイミング信号及び前記分割位置情報に基づいて、前記画像信号に対して、前記データ量毎に順次、前記ソフトウェア処理により画像処理を施し、当該画像処理を施した前記データ量毎の前記画像信号を順次、前記第１内部モジュールに出力することを特徴とする。【０００９】
また、本発明に係る信号処理装置は、上記発明において、前記データ量は、変更可能に構成されていることを特徴とする。【００１０】
また、本発明に係る信号処理装置は、上記発明において、前記第１内部モジュールは、前記医療用観察装置から入力した前記画像信号を一時的に記憶する記憶部を備え、当該記憶部に記憶した前記画像信号と、前記分割位置情報と、前記タイミング信号とを前記第２内部モジュールに出力することを特徴とする。【００１１】
また、本発明に係る医療用観察システムは、被検体内部を検査して当該検査結果に応じた画像信号を出力する医療用観察装置と、上述した信号処理装置と、前記信号処理装置から出力された表示用の映像信号に基づく画像を表示する表示装置とを備えることを特徴とする。
【発明の効果】
【００１２】
本発明に係る信号処理装置は、ハードウェア処理を行う第１内部モジュールと、ソフトウェア処理を行う第２内部モジュールとを備える。そして、第１内部モジュールは、画像信号、分割位置情報、及びタイミング信号を第２内部モジュールに出力する。一方、第２内部モジュールは、タイミング信号及び分割位置情報に基づいて、画像信号のフレームを所定のデータ量で分割し、当該データ量毎に順次、画像処理を施す。そして、第２内部モジュールは、当該画像処理を施した当該データ量毎の画像信号を順次、第１内部モジュールに出力する。すなわち、第１，第２内部モジュール間では、画像信号が１フレームよりも小さい上述した所定のデータ量毎に転送されている。
このため、第２内部モジュールは、第１内部モジュールから画像信号を１フレーム分、入力する前に、当該１フレームを分割した所定のデータ量分を入力すれば直ぐに処理を開始することができる。また、所定のデータ量毎に画像処理を実行する構成としているため、フレーム毎に画像処理を実行する構成と比較して、第２内部モジュールの処理時間に設定するマージンを小さいものとすることができる。
したがって、本発明に係る信号処理装置によれば、各処理に要するレイテンシを最小化することができる、という効果を奏する。【００１３】
本発明に係る医療用観察システムは、上述した信号処理装置を備えているため、上述した信号処理装置と同様の効果を奏する。また、各処理に要するレイテンシを最小化することができるため、医療用観察装置で撮像した画像を迅速に表示装置に表示することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の実施の形態１に係る医療用観察システムの概略構成を示す図である。
【図２】図２は、図１に示した信号処理装置の構成を示すブロック図である。
【図３】図３は、図２に示した第２インターフェース部にて生成される分割位置情報の一例を示す図である。
【図４】図４は、図１及び図２に示した信号処理装置でのパイプライン処理を説明するタイムチャートである。
【図５】図５は、本発明の実施の形態２に係る医療用観察システムに用いられる信号処理装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下に、図面を参照して、本発明を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
【００１６】
（実施の形態１）
〔医療用観察システムの概略構成〕
図１は、本発明の実施の形態１に係る医療用観察システム１の概略構成を示す図である。
医療用観察システム１は、医療分野において用いられ、人等の被検体内部（生体内）を観察するシステムである。この医療用観察システム１は、図１に示すように、内視鏡２と、第１伝送ケーブル３と、表示装置４と、第２伝送ケーブル５と、信号処理装置６と、第３伝送ケーブル７とを備える。
【００１７】
内視鏡２は、本発明に係る医療用観察装置としての機能を有し、生体内を検査して当該検査結果に応じた信号を出力する。この内視鏡２は、図１に示すように、挿入部２１と、光源装置２２と、ライトガイド２３と、カメラヘッド２４とを備える。
挿入部２１は、硬質で細長形状を有し、生体内に挿入される。この挿入部２１内には、１または複数のレンズを用いて構成され、被写体像を集光する光学系が設けられている。
【００１８】
光源装置２２は、ライトガイド２３の一端が接続され、信号処理装置６による制御の下、当該ライトガイド２３の一端に生体内を照明するための光を供給する。
ライトガイド２３は、一端が光源装置２２に着脱自在に接続されるとともに、他端が挿入部２１に着脱自在に接続される。そして、ライトガイド２３は、光源装置２２から供給された光を一端から他端に伝達し、挿入部２１に供給する。挿入部２１に供給された光は、当該挿入部２１の先端から出射され、生体内に照射される。生体内に照射された光（被写体像）は、挿入部２１内の光学系により集光される。
【００１９】
カメラヘッド２４は、挿入部２１の基端に着脱自在に接続される。そして、カメラヘッド２４は、信号処理装置６による制御の下、挿入部２１にて集光された被写体像を撮像し、当該撮像による撮像信号（本発明に係る「検査結果に応じた画像信号」に相当）を出力する。
本実施の形態１では、カメラヘッド２４は、当該撮像信号を生成する撮像素子（図示略）を１つのみ有する。また、カメラヘッド２４は、当該撮像信号を光信号に光電変換し、当該撮像信号を光信号で出力する。
【００２０】
第１伝送ケーブル３は、一端が信号処理装置６に着脱自在に接続され、他端がカメラヘッド２４に着脱自在に接続される。具体的に、第１伝送ケーブル３は、最外層である外被の内側に複数の電気配線（図示略）及び光ファイバ（図示略）が配設されたケーブルである。
上述した複数の電気配線は、信号処理装置６から出力される制御信号、タイミング信号、及び電力等をカメラヘッド２４にそれぞれ伝送するための電気配線である。
上述した光ファイバは、カメラヘッド２４から出力される撮像信号（光信号）を信号処理装置６に伝送するための光ファイバである。ここで、カメラヘッド２４から撮像信号が電気信号で出力される場合には、当該光ファイバを電気配線に変更しても構わない。
【００２１】
表示装置４（例えばSD、HD、4K以上のモニター）は、信号処理装置６による制御の下、画像を表示する。
第２伝送ケーブル５（例えばHD-SDIまたは3G-SDI、HDMI（登録商標）、DisplayPort（登録商標）等）は、一端が表示装置４に着脱自在に接続され、他端が信号処理装置６に着脱自在に接続される。そして、第２伝送ケーブル５は、信号処理装置６にて処理された映像信号を表示装置４に伝送する。
信号処理装置６は、ＣＰＵ等を含んで構成され、光源装置２２、カメラヘッド２４、及び表示装置４の動作を統括的に制御する。
第３伝送ケーブル７は、一端が光源装置２２に着脱自在に接続され、他端が信号処理装置６に着脱自在に接続される。そして、第３伝送ケーブル７は、信号処理装置６からの制御信号を光源装置２２に伝送する。
【００２２】
〔信号処理装置の構成〕
次に、信号処理装置６の構成について説明する。
以下では、信号処理装置６として、カメラヘッド２４から第１伝送ケーブル３を介して入力した撮像信号の処理機能を主に説明する。
図２は、信号処理装置６の構成を示すブロック図である。
なお、図２では、カメラヘッド２４及び第１伝送ケーブル３同士を着脱可能とするコネクタ、第１伝送ケーブル３及び信号処理装置６同士を着脱可能とするコネクタ、表示装置４及び第２伝送ケーブル５同士を着脱可能とするコネクタ、並びに、第２伝送ケーブル５及び信号処理装置６同士を着脱可能とするコネクタの図示を省略している。また、図２では、第１伝送ケーブル３を構成する複数の電気配線及び光ファイバを１本のケーブルとして図示している。
【００２３】
信号処理装置６は、汎用のＰＣアーキテクチャを利用して組み立てられたものである。
具体的に、信号処理装置６は、図２に示すように、インターフェースモジュール６１、制御モジュール６２、画像処理モジュール６３、及び記憶モジュール６４が汎用のインターフェースＩＦを用いて接続された構成を有する。
なお、具体的な図示は省略したが、各モジュール６１〜６４は、筐体内部に配設されている。そして、信号処理装置６は、組み立てられ、試験等がなされた後、当該筐体内部を開放不可能な状態に設定される。
【００２４】
インターフェースＩＦは、通信用プロトコルとコネクタ形状とが通信用インターフェース規格（例えばPC/AT互換機の規格）に準拠したインターフェースである。
本実施の形態１では、インターフェースＩＦとして、ＰＣＩｅ（PCI  EXPRESS（登録商標））を採用している。すなわち、本実施の形態１では、各モジュール６２〜６４は、ＰＣＩｅ規格に準拠したＰＣパーツでそれぞれ構成されている。
【００２５】
制御モジュール６２は、ソフトウェア処理を行うモジュールであり、本発明に係る第２内部モジュールとしての機能を有する。そして、制御モジュール６２は、光源装置２２の動作、カメラヘッド２４の動作、表示装置４の動作、及び信号処理装置６全体の動作を制御する。
本実施の形態１では、制御モジュール６２は、ＣＰＵ６２１（図２）及びＲＡＭ（Random  Access  Memory）６２２（図２）等が実装されたPC/AT互換機の規格に準拠したマザーボードで構成されている。そして、当該マザーボードには、インターフェースモジュール６１、画像処理モジュール６３、及び記憶モジュール６４とそれぞれ接続するための拡張スロットが設けられている。
【００２６】
インターフェースモジュール６１は、ハードウェア処理を行うモジュールであり、本発明に係る第１内部モジュールとしての機能を有する。そして、インターフェースモジュール６１は、制御モジュール６２に設けられた拡張スロット（本実施の形態では、ＰＣＩｅスロット）に装着される。このインターフェースモジュール６１は、図２に示すように、光電変換部６１１と、ＦＰＧＡ（Field  Programmable  Gate  Array）６１２と、第１記憶部６１３（本発明に係る記憶部に相当）と、第２記憶部６１４とを備える。
光電変換部６１１は、第１伝送ケーブル３を介してカメラヘッド２４から入力した撮像信号（光信号）を電気信号に光電変換し、当該光電変換した撮像信号をＦＰＧＡ６１２に出力する。なお、カメラヘッド２４から撮像信号が電気信号で出力される場合には、光電変換部６１１が省略され、当該電気信号は、直接、ＦＰＧＡ６１２に入力される。
【００２７】
ＦＰＧＡ６１２は、制御モジュール６２によりコンフィグレーションされた論理回路である。このＦＰＧＡ６１２は、図２に示すように、タイミングジェネレータ６１２１と、第１インターフェース部６１２２と、第１記憶制御部６１２３と、第２インターフェース部６１２４と、第２記憶制御部６１２５と、画像処理部６１２６と、映像信号出力部６１２７とを備える。
タイミングジェネレータ６１２１は、カメラヘッド２４、インターフェースモジュール６１、及び制御モジュール６２等の同期をとるためのタイミング信号（本発明に係るタイミング信号に相当）を生成する。
【００２８】
第１インターフェース部６１２２は、光電変換部６１１にて光電変換された撮像信号をＦＰＧＡ６１２内部で処理可能なデータに変換する。
第１記憶制御部６１２３は、ＶＲＡＭ等の第１記憶部６１３へのデータの書き込み及び読み出しを制御する。そして、第１記憶制御部６１２３は、タイミングジェネレータ６１２１にて生成されたタイミング信号に基づいて、第１インターフェース部６１２２にて処理されたデータ（撮像信号）を第１記憶部６１３に一時的に格納するとともに、当該データを第１記憶部６１３から読み出す。
【００２９】
第２インターフェース部６１２４は、第１記憶制御部６１２３にて第１記憶部６１３から読み出されたデータ（撮像信号）を通信用インターフェース規格（本実施の形態１では、ＰＣＩｅ規格）に応じたデジタル信号に変換する。また、第２インターフェース部６１２４は、ＦＰＧＡ６１２内部のメモリ（図示略）に記憶された設定値（所定のデータ量を示す情報）に基づいて、当該デジタル信号（撮像信号）のフレームを当該データ量（設定値）で分割する分割位置を示す分割位置情報を生成する。そして、第２インターフェース部６１２４は、インターフェースＩＦを介して、当該デジタル信号（撮像信号）と、当該分割位置情報と、タイミングジェネレータ６１２１にて生成されたタイミング信号とを制御モジュール６２に出力する。
【００３０】
図３は、第２インターフェース部６１２４にて生成される分割位置情報の一例を示す図である。
具体的に、図３において、実線で示した大きい方の矩形枠は、第１記憶部６１３から読み出される１フレーム分の画像Ｆ１（第２インターフェース部６１２４から制御モジュール６２に出力されるデジタル信号（撮像信号）の１フレーム分の画像）を示している。実線で示した小さい方の矩形枠は、第１記憶部６１３に書き込まれたデータ（撮像信号）の１フレーム分の画像Ｆ２（カメラヘッド２４にて撮像された１フレーム分の画像）を示している。破線は、分割位置情報に基づいて分割した場合での分割画像ＤＦ１〜ＤＦ４を示している。
表示装置４に表示される画像が４Ｋの場合には、上述したデータ量（設定値）は、2240line（走査線）×4400pix（画素数）の４分の１（560line×4400pix）に設定されている。
ここで、カメラヘッド２４にて撮像された１フレーム分の画像Ｆ２としては、上述したデータ量（560line×4400pix）で４分割することができない場合がある。このため、本実施の形態１では、図３に示すように、画像Ｆ２に対してダミー領域（図３でハッチで示した領域）を付加し、画像Ｆ２よりも画像サイズの大きい画像Ｆ１に基づいて、分割位置情報を生成するように構成している。
具体的に、第２インターフェース部６１２４は、画像Ｆ１において、画像Ｆ２の1line目の走査開始位置Ｄ１、当該1line目から560line目の走査開始位置Ｄ２、当該1line目から1120line目の走査開始位置Ｄ３、当該1line目から1680line目の走査開始位置Ｄ４、及び当該1line目から2240line目の走査開始位置Ｄ５を分割位置情報として生成する。
【００３１】
そして、制御モジュール６２は、第２インターフェース部６１２４から入力した分割位置情報に基づいて、フレーム毎に当該フレームを所定のデータ量（図３の例では、各走査開始位置Ｄ１〜Ｄ５）で分割した分割画像（図３の例では、分割画像ＤＦ１〜ＤＦ４）がＲＡＭ６２２に順次、書き込まれる毎に、インターフェースＩＦを介して、当該分割画像を順次、画像処理モジュール６３に出力する。また、画像処理モジュール６３は、制御モジュール６２から入力した分割画像毎に順次、画像処理を行い、インターフェースＩＦを介して、画像処理後の分割画像を順次、制御モジュール６２に出力する。
なお、制御モジュール６２から分割画像を画像処理モジュール６３に出力する際、例えば、画像処理モジュール６３での画像処理を考慮して（分割画像ＤＦ１〜ＤＦ４の外縁部分の画像処理を適切に行うことができるように）、図３において、分割画像ＤＦ１〜ＤＦ４に対して、それぞれ上下に所定数のLine（走査線）を付加し、当該付加した分割画像を画像処理モジュール６３に出力するように構成しても構わない。
以下では、第２インターフェース部６１２４、制御モジュール６２、及び画像処理モジュール６３での上述した処理をパイプライン処理と記載する。
【００３２】
本実施の形態１では、ＦＰＧＡ６１２は、上述したデータ量（設定値）を変更可能とする。例えば、ＦＰＧＡ６１２は、以下の状態に応じて、データ量（設定値）を変更する。
ところで、信号処理装置６に接続されるカメラヘッド２４の種別が異なる場合には、カメラヘッド２４から出力される撮像信号の１フレーム分のデータ量が異なる場合がある。また、医療用観察システム１のモード（例えば、高感度モード等）が異なる場合には、カメラヘッド２４から出力される撮像信号の出力タイミングが異なる場合がある。
そこで、ＦＰＧＡ６１２は、パイプライン処理の最適化（レイテンシの最小化）を図るため、接続されるカメラヘッド２４の種別や、医療用観察システム１のモードに応じて、上述したデータ量（設定値）を適宜、変更する。
【００３３】
第２記憶制御部６１２５は、ＶＲＡＭ等の第２記憶部６１４へのデータの書き込み及び読み出しを制御する。そして、第２記憶制御部６１２５は、タイミングジェネレータ６１２１にて生成されたタイミング信号に基づいて、インターフェースＩＦを介して、画像処理モジュール６３にて画像処理が施され、制御モジュール６２、インターフェースＩＦ、及び第２インターフェース部６１２４を介して順次、入力した分割画像（図３の例では、分割画像ＤＦ１〜ＤＦ４にそれぞれ画像処理が施された分割画像）を第２記憶部６１４に一時的に格納するとともに、フレーム毎に第２記憶部６１４に記憶されたデータを読み出す。
【００３４】
画像処理部６１２６は、第２記憶制御部６１２５にて第２記憶部６１４から読み出されたデータに対して、各種画像処理を施す。
ここで、画像処理部６１２６が行う各種画像処理としては、ＯＳＤ（On-Screen  Display）処理や、第２記憶部６１４から読み出されたデータに基づく撮像画像と、予め同一の被検体に対してＭＲＩ等の他の検査で得られた検査画像とを並べる、あるいは重畳させる処理等を例示することができる。
【００３５】
映像信号出力部６１２７は、画像処理部６１２６にて処理されたデータに対して出力画像のフォーマット変換等を行って、表示用の映像信号を生成し、第２伝送ケーブル５を介して当該映像信号を表示装置４に出力する。そして、表示装置４は、当該映像信号を入力すると、当該映像信号に基づく撮像画像を表示する。
【００３６】
画像処理モジュール６３は、ソフトウェア処理を行うモジュールであり、本発明に係る第２内部モジュールとしての機能を有する。そして、画像処理モジュール６３は、例えば、ＧＰＧＰＵ６３１（図２）及びＲＡＭ６３２（図２）等を備え、制御モジュール６２に設けられた拡張スロット（本実施の形態１では、ＰＣＩｅスロット）に装着される。
具体的に、画像処理モジュール６３は、制御モジュール６２から入力した分割画像（図３の例では、分割画像ＤＦ１〜ＤＦ４）毎に、現像処理、ノイズ低減、色補正、色強調、及び輪郭強調等の各種画像処理を施す。そして、画像処理モジュール６３は、インターフェースＩＦを介して当該各種画像処理を施した分割画像を制御モジュール６２に順次、出力する。
なお、図３の例（表示装置４に表示される画像が４Ｋの場合）では、具体的な図示は省略したが、画像処理モジュール６３は、分割画像ＤＦ１〜ＤＦ４に対して上記各種画像処理を施すことにより、540line×4096pixの分割画像をそれぞれ生成する。
【００３７】
記憶モジュール６４は、例えば、ＳＳＤ（Solid  State  Drive）、ＨＤＤ（Hard  Disk  Drive）、またはＤＩＭＭ（Dual  Inline  Memory  Module）等で構成され、制御モジュール６２に設けられた拡張スロット（本実施の形態１では、IDE/SATAコネクタ及びメモリソケット）に装着される。
具体的に、記憶モジュール６４には、画像処理モジュール６３に上述した各種画像処理を実行させるためのプログラム及びＯＳ（例えばWindows（登録商標）、Linux（登録商標）、Android（登録商標）、iOS（登録商標）、RTOS等）が格納されている。
【００３８】
〔パイプライン処理〕
次に、信号処理装置６（第２インターフェース部６１２４、制御モジュール６２、及び画像処理モジュール６３）でのパイプライン処理について、図４を参照しつつ説明する。
図４は、信号処理装置６でのパイプライン処理を説明するタイムチャートである。
具体的に、図４（ａ）は、タイミングジェネレータ６１２１にて生成されたタイミング信号を示している。図４（ｂ）は、カメラヘッド２４から出力され、第１記憶部６１３にデータ（撮像信号）が書き込まれるタイミングを示している。図４（ｃ）は、第１記憶部６１３からデータ（撮像信号）が読み出され、第２インターフェース部６１２４から出力される通信用インターフェース規格（本実施の形態１では、ＰＣＩｅ規格）に応じたデジタル信号の出力タイミングを示している。図４（ｄ）は、第２インターフェース部６１２４から出力され、制御モジュール６２のＲＡＭ６２２にデジタル信号（分割画像）が書き込まれるタイミングを示している。図４（ｅ）は、制御モジュール６２のＲＡＭ６２２から読み出され、画像処理モジュール６３のＲＡＭ６３２に分割画像が書き込まれるタイミングを示している。図４（ｆ）は、画像処理モジュール６３での画像処理の処理タイミングを示している。図４（ｇ）は、画像処理モジュール６３のＲＡＭ６３２から読み出され、制御モジュール６２のＲＡＭ６２２に画像処理モジュール６３での画像処理後の分割画像が書き込まれるタイミングを示している。図４（ｈ）は、制御モジュール６２のＲＡＭ６２２から読み出され、第２記憶部６１４に画像処理モジュール６３での画像処理後の分割画像が書き込まれるタイミングを示している。図４（ｉ）は、第２記憶部６１４から読み出され、画像処理部６１２６及び映像信号出力部６１２７を介して出力される映像信号の出力タイミングを示している。
【００３９】
なお、図４では、説明の便宜上、ハードウェア構成であるインターフェースモジュール６１内部での各処理に要するレイテンシは比較的に小さいため、当該レイテンシがないものとして図示している。また、カメラヘッド２４及びインターフェースモジュール６１間でも同様に、当該レイテンシがないものとして図示している。さらに、図４では、各フレームを識別するために、各フレームに相当する部分に「Ｆａ」〜「Ｆｈ」の文字を付している。また、フレームＦａよりも前のフレームに相当する部分には、「Ｆｘ´」〜「Ｆｚ´」の文字を付している。さらに、フレーム毎の各分割画像を識別するために、フレームＦａについては、各分割画像に相当する部分に「Ｄａ１〜Ｄａ４」の文字を付している。他のフレームＦｂ〜Ｆｈ、Ｆｘ´〜Ｆｚ´についても、同様に、各分割画像に相当する部分に「Ｄｂ１〜Ｄｂ４」、「Ｄｃ１〜Ｄｃ４」、「Ｄｄ１〜Ｄｄ４」、「Ｄｅ１〜Ｄｅ４」、「Ｄｆ１〜Ｄｆ４」、「Ｄｇ１〜Ｄｇ４」、「Ｄｈ１〜Ｄｈ４」、「Ｄｘ´１〜Ｄｘ´４」、「Ｄｙ´１〜Ｄｙ´４」、及び「Ｄｚ´１〜Ｄｚ´４」の文字をそれぞれ付している。
【００４０】
以下、フレームＦａ（分割画像Ｄａ１〜Ｄａ４）に着目して、パイプライン処理について説明する。
カメラヘッド２４は、タイミングジェネレータ６１２１にて生成されたタイミング信号により、信号処理装置６と同期がとられている。このため、タイミング信号に基づくタイミングＴ１（図４（ａ））で、図４（ｂ）に示すように、カメラヘッド２４からフレームＦａの撮像信号（光信号）の出力が開始される。
そして、当該タイミングＴ１で、図４（ｂ）に示すように、第１記憶制御部６１２３により第１記憶部６１３への当該撮像信号（光信号）に応じたフレームＦａのデータ（図３の例での画像Ｆ２に相当）の書き込みが開始される。
【００４１】
次に、当該タイミングＴ１で、図４（ｃ）に示すように、第１記憶制御部６１２３により第１記憶部６１３からのフレームＦａのデータ（図３の例での画像Ｆ１に相当）の読み出しが開始され、第２インターフェース部６１２４から通信用インターフェース規格（本実施の形態１では、ＰＣＩｅ規格）に応じたフレームＦａのデジタル信号（図３の例での画像Ｆ１に相当）及び分割位置情報の出力が開始される。
そして、当該タイミングＴ１から、図４（ｄ）に示すように、当該フレームＦａのデジタル信号に応じた分割画像Ｄａ１〜Ｄａ４（図３の例での分割画像ＤＦ１〜ＤＦ４に相当）が順次、制御モジュール６２のＲＡＭ６２２に書き込まれる。
【００４２】
次に、制御モジュール６２は、分割画像Ｄａ１〜Ｄａ４のＲＡＭ６２２への書き込みを完了した各タイミングＴ１１〜Ｔ１４（図４（ｄ））で、分割画像Ｄａ１〜Ｄａ４の読み出しをそれぞれ開始する。すなわち、制御モジュール６２は、１つの分割画像の書き込みを完了する毎に、当該分割画像の読み出しを開始する。
そして、画像処理モジュール６３は、図４（ｅ）に示すように、各タイミングＴ１１〜Ｔ１４で、分割画像Ｄａ１〜Ｄａ４の書き込みをそれぞれ開始する。
【００４３】
次に、画像処理モジュール６３は、図４（ｆ）に示すように、制御モジュール６２での処理遅延が生じた場合にも対応することができるように、分割画像Ｄａ１のＲＡＭ６３２への書き込みを完了するタイミングＴ１２ではなく、当該タイミングＴ１２の次のタイミングＴ１３から、分割画像Ｄａ１〜Ｄａ４への各種画像処理を順次、開始する。
【００４４】
次に、画像処理モジュール６３は、分割画像Ｄａ１〜Ｄａ４への各種画像処理が完了した各タイミングＴ２１〜Ｔ２４（図４（ｆ））で、ＲＡＭ６３２からの画像処理後の分割画像Ｄａ１〜Ｄａ４の読み出しをそれぞれ開始する。
そして、制御モジュール６２は、図４（ｇ）に示すように、各タイミングＴ２１〜Ｔ２４で、画像処理後の分割画像Ｄａ１〜Ｄａ４のＲＡＭ６２２への書き込みをそれぞれ開始する。
【００４５】
次に、制御モジュール６２は、画像処理モジュール６３での処理遅延が生じた場合にも対応することができるように、画像処理後の分割画像Ｄａ１のＲＡＭ６３２への書き込みを完了するタイミングＴ２２ではなく、当該タイミングＴ２２の次のタイミングＴ２３から、ＲＡＭ６３２からの画像処理後の分割画像Ｄａ１〜Ｄａ４の読み出しを開始する。
そして、タイミングＴ２３から、図４（ｈ）に示すように、第２記憶制御部６１２５により第２記憶部６１４への当該画像処理後の分割画像Ｄａ１〜Ｄａ４の書き込みが開始される。
【００４６】
次に、画像処理後の分割画像Ｄａ１の第２記憶部６１４への書き込みが完了するタイミングＴ２４ではなく、当該タイミングＴ２４後のタイミング信号に基づくタイミングＴ３（図４（ａ））で、第２記憶制御部６１２５により第２記憶部６１４からのフレームＦａのデータ（画像処理後の分割画像Ｄａ１〜Ｄａ４）の読み出しが開始される。
そして、映像信号出力部６１２７は、図４（ｉ）に示すように、当該タイミングＴ３で、当該フレームＦａのデータに応じた映像信号の出力を開始する。すなわち、タイミングＴ３で（図４の例では、カメラヘッド２４からフレームＦａの撮像信号の出力が開始されたタイミングＴ１に対して２フレーム分、遅れて）フレームＦａのデータに応じた撮像画像が表示装置４に表示される。
【００４７】
以上説明した本実施の形態１に係る信号処理装置６は、ハードウェア処理を行うインターフェースモジュール６１と、ソフトウェア処理を行う制御モジュール６２及び画像処理モジュール６３とを備える。そして、インターフェースモジュール６１は、通信用インターフェース規格（本実施の形態１では、ＰＣＩｅ規格）に応じたデジタル信号（撮像信号）、分割位置情報、及びタイミング信号を制御モジュール６２に出力する。一方、制御モジュール６２は、タイミング信号及び分割位置情報に基づいて、当該デジタル信号（撮像信号）のフレームを所定のデータ量（設定値）で分割した分割画像がＲＡＭ６２２に順次、書き込まれる毎に、当該分割画像を順次、画像処理モジュール６３に出力する。また、画像処理モジュール６３は、当該分割画像毎に順次、画像処理を行う。そして、当該画像処理後の分割画像は、順次、制御モジュール６２を介してインターフェースモジュール６１に出力される。すなわち、インターフェースモジュール６１と制御モジュール６２及び画像処理モジュール６３との間では、デジタル信号（撮像信号）が１フレームよりも小さい分割画像毎に転送され、パイプライン処理が行われている。
このため、画像処理モジュール６３は、制御モジュール６２からデジタル信号（撮像信号）を１フレーム分、入力する前に、所定のデータ量（設定値）分の分割画像を入力すれば直ぐに画像処理を開始することができる。また、分割画像毎に画像処理を実行する構成としているため、フレーム毎に画像処理を実行する構成と比較して、画像処理モジュール６３の処理時間に設定するマージンを小さいものとすることができる。
したがって、本実施の形態１に係る信号処理装置６によれば、各処理に要するレイテンシを最小化することができる、という効果を奏する。また、レイテンシを最小化することができる信号処理装置６を組み込んだ本実施の形態１に係る医療用観察システム１によれば、内視鏡２で撮像した画像を迅速に表示装置４に表示することができる、という効果を奏する。
【００４８】
また、本実施の形態１に係る信号処理装置６では、１フレームを分割するデータ量（設定値）を変更可能に構成されている。
このため、例えば、接続されるカメラヘッド２４の種別や、医療用観察システム１のモード（例えば、高感度モード等）に応じて、当該データ量（設定値）を適宜、変更することにより、パイプライン処理の最適化（レイテンシの最小化）を図ることができる。
【００４９】
また、本実施の形態１に係る信号処理装置６は、カメラヘッド２４から出力され、光電変換部６１１及び第１インターフェース部６１２２にて処理されたデータ（撮像信号）を一時的に格納する第１記憶部６１３を備える。
このため、カメラヘッド２４にて撮像された１フレーム分の画像（図３の例での画像Ｆ２に相当）が所定のデータ量（設定値）で適切に分割することができない場合であっても、適切に分割することができるように、当該画像にダミー領域を付加することができる。したがって、パイプライン処理を好適に実行することができる。
【００５０】
（実施の形態２）
次に、本発明の実施の形態２について説明する。
以下の説明では、上述した実施の形態１と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
上述した実施の形態１に係る医療用観察システム１では、カメラヘッド２４には、撮像素子が１つのみ設けられていた。
これに対して本実施の形態２に係る医療用観察システムは、例えば、手術用顕微鏡で構成され、人等の被検体内部（生体内）を３次元画像として表示可能とする。このため、本実施の形態２に係る医療用観察システムでは、カメラヘッドは、互いに視差を有する２つの撮像信号を生成する２つの撮像素子を備える。
以下、本実施の形態２に係る医療用観察システムに用いられる信号処理装置の構成について説明する。
【００５１】
〔信号処理装置の構成〕
図５は、本発明の実施の形態２に係る医療用観察システム１Ａに用いられる信号処理装置６Ａの構成を示すブロック図である。
なお、図５では、図２と同様に、カメラヘッド２４Ａ及び第１伝送ケーブル３同士を着脱可能とするコネクタ、第１伝送ケーブル３及び信号処理装置６Ａ同士を着脱可能とするコネクタ、表示装置４Ａ及び第２伝送ケーブル５同士を着脱可能とするコネクタ、並びに、第２伝送ケーブル５及び信号処理装置６Ａ同士を着脱可能とするコネクタの図示を省略するとともに、第１伝送ケーブル３を構成する複数の電気配線及び光ファイバを１本のケーブルとしている。
本実施の形態２に係る医療用観察システム１Ａに用いられる信号処理装置６Ａは、図５に示すように、上述した実施の形態１で説明した信号処理装置６（図２）と比較して、制御モジュール６２に設けられた拡張スロット（ＰＣＩｅスロット等）に装着される内部モジュールとして、第２インターフェースモジュール６１Ａ、第２画像処理モジュール６３Ａ、及び第３インターフェースモジュール６５が追加されている。
以下では、上述した実施の形態１で説明したインターフェースモジュール６１及び画像処理モジュール６３を、第２インターフェースモジュール６１Ａ及び第２画像処理モジュール６３Ａと区別するために、それぞれ第１インターフェースモジュール６１及び第１画像処理モジュール６３と記載する。
【００５２】
第２インターフェースモジュール６１Ａは、本実施の形態２に係るカメラヘッド２４Ａ（図５）に２つの撮像素子を設けた（上述した実施の形態１で説明したカメラヘッド２４に対して１つの撮像素子を追加した）ことに伴って、追加されたものであり、第１インターフェースモジュール６１と同様の機能を有する。
すなわち、第１インターフェースモジュール６１は、当該２つの撮像素子のうち一方の撮像素子にて生成された撮像信号に対して処理を実行する。一方、第２インターフェースモジュール６１Ａは、他方の撮像素子にて生成された撮像信号に対して処理を実行する。
なお、本実施の形態２では、第１インターフェースモジュール６１は、図５に示すように、映像信号を表示装置４Ａではなく、インターフェースＩＦを介して第３インターフェースモジュール６５に出力する。第２インターフェースモジュール６１Ａも同様である。
【００５３】
第２画像処理モジュール６３Ａは、カメラヘッド２４Ａに２つの撮像素子を設けたことに伴って、追加されたものであり、第１画像処理モジュール６３と同様の機能を有する。
すなわち、第１画像処理モジュール６３は、当該２つの撮像素子のうち一方の撮像素子にて生成され、第１インターフェースモジュール６１から、インターフェースＩＦ及び制御モジュール６２を介して入力したデジタル信号（撮像信号）に対して処理を実行する。一方、第２画像処理モジュール６３Ａは、他方の撮像素子にて生成され、第２インターフェースモジュール６１Ａから、インターフェースＩＦ及び制御モジュール６２を介して入力したデジタル信号（撮像信号）に対して処理を実行する。
【００５４】
第３インターフェースモジュール６５は、インターフェースＩＦを介して、第１，第２インターフェースモジュール６１，６１Ａから映像信号をそれぞれ入力し、各映像信号に所定の信号処理を施すことにより、３次元画像表示用の３次元映像信号を生成する。そして、第３インターフェースモジュール６５は、第２伝送ケーブル５を介して、生成した３次元映像信号を表示装置４Ａに出力する。
ここで、表示装置４Ａは、例えば、インテグラル・イメージング方式や多眼方式等の３Ｄディスプレイで構成されている。そして、表示装置４Ａは、第２伝送ケーブル５を介して入力した３次元映像信号に基づく３次元画像を表示する。
【００５５】
以上説明した本実施の形態２のように医療用観察システム１Ａを構成した場合であっても、上述した実施の形態１と同様の効果を奏する。
【００５６】
（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。
上述した実施の形態１では、本発明に係る医療用観察装置として、硬性鏡（挿入部２１）を用いた内視鏡２（硬性内視鏡）を採用していたが、これに限られず、軟性鏡（図示略）を用いた軟性内視鏡を採用しても構わない。また、本発明に係る医療用観察装置としては、硬性内視鏡や軟性内視鏡に限られず、超音波検査のプローブを用いた超音波内視鏡等を採用しても構わない。
【００５７】
上述した実施の形態１，２では、インターフェースＩＦとして、ＰＣＩｅを採用していたが、通信用インターフェース規格（例えばPC/AT互換機の規格に準拠した）に応じたインターフェースであれば、ＰＣＩｅに限られず、ＵＳＢ、イーサネット（登録商標）、シリアルＡＴＡ、ＨＤＭＩ（登録商標）、ＩＥＥＥ１３９４（登録商標）、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）、ＲＳ２３２Ｃ、ＧＰＩＯ（General  Purpose  Input/Output）等を採用しても構わない。
【００５８】
上述した実施の形態１，２では、１フレームを４分割した分割画像を例示したが、分割数は、これに限られず、２分割、８分割、あるいは、１６分割等、その他の分割数としても構わない。また、上述した実施の形態１，２では、図３に示したように、Line数（走査線数）で分割していたが、これに限られず、所定のデータ量（設定値）で分割していれば、分割する部分が走査線の途中になっても構わない。
【００５９】
上述した実施の形態１では、信号処理装置６は、画像処理モジュール６３を１つのみ備えていたが、その数は、１つに限られず、上述した実施の形態２のように２つでもよく、あるいは、３つ以上でも構わない。
【符号の説明】
【００６０】
１，１Ａ  医療用観察システム
２  内視鏡
３  第１伝送ケーブル
４，４Ａ  表示装置
５  第２伝送ケーブル
６，６Ａ  信号処理装置
７  第３伝送ケーブル
２１  挿入部
２２  光源装置
２３  ライトガイド
２４，２４Ａ  カメラヘッド
６１  インターフェースモジュール（第１インターフェースモジュール）
６１Ａ  第２インターフェースモジュール
６２  制御モジュール
６３  画像処理モジュール（第１画像処理モジュール）
６３Ａ  第２画像処理モジュール
６４  記憶モジュール
６５  第３インターフェースモジュール
６１１  光電変換部
６１２  ＦＰＧＡ
６１３  第１記憶部
６１４  第２記憶部
６２１  ＣＰＵ
６２２  ＲＡＭ
６３１  ＧＰＧＰＵ
６３２  ＲＡＭ
６１２１  タイミングジェネレータ
６１２２  第１インターフェース部
６１２３  第１記憶制御部
６１２４  第２インターフェース部
６１２５  第２記憶制御部
６１２６  画像処理部
６１２７  映像信号出力部
ＤＦ１〜ＤＦ４  分割画像
Ｆ１，Ｆ２  画像
ＩＦ  インターフェース
【図１】
2016185746.tif 000003
【図２】
2016185746.tif 000004
【図３】
2016185746.tif 000005
【図４】
2016185746.tif 000006
【図５】
2016185746.tif 000007
【国際調査報告】
2016185746.tif 000008
2016185746.tif 000009
2016185746.tif 000010
2016185746.tif 000011