(57)【要約】【課題】より低レイテンシを実現する。【解決手段】分配集約部は、CPU(Central Processing Unit)が管理するメモリを介さずに、医用画像の画像処理を行う複数の画像処理部それぞれが出力する医用画像を集約するとともに、複数の画像処理部それぞれに対して、医用画像を分配する。本技術は、例えば、内視鏡等で撮影された医用画像を処理する場合等に適用することができる。【選択図】図８
2018187032.tif 000002
【特許請求の範囲】
【請求項１】
医用画像の画像処理を行う複数の画像処理部と、
CPU(Central Processing Unit)が管理するメモリを介さずに、前記複数の画像処理部それぞれが出力する前記医用画像を集約するとともに、前記複数の画像処理部それぞれに対して、前記医用画像を分配する分配集約部と
を備える医用画像処理装置。
【請求項２】
前記分配集約部は、さらに、前記複数の画像処理部それぞれに対して、前記医用画像の入出力I/F(Interface)が出力する前記医用画像を分配するとともに、集約後の前記医用画像を、前記入出力I/Fに供給する
請求項１に記載の医用画像処理装置。
【請求項３】
前記分配集約部による前記医用画像の分配及び集約を制御することにより、前記医用画像の画像処理のデータフローを制御する制御部をさらに備える
請求項１に記載の医用画像処理装置。
【請求項４】
前記医用画像の集約後、前記医用画像の分配の前に、前記医用画像に、所定の信号処理を施す信号処理部をさらに備える
請求項１に記載の医用画像処理装置。
【請求項５】
前記分配集約部は、
前記医用画像の集約を行う集約部と、
前記集約部が出力する前記医用画像に、所定の信号処理を施す前記信号処理部と、
前記信号処理部が出力する前記医用画像を分配する分配部と
を有する
請求項４に記載の医用画像処理装置。
【請求項６】
前記画像処理部は、GPU(Graphical Processing Unit)で構成される
請求項１に記載の医用画像処理装置。
【請求項７】
前記分配集約部は、FPGA(Field-Programmable Gate Array)で構成される
請求項１に記載の医用画像処理装置。
【請求項８】
前記画像処理部と前記分配集約部とは、所定の転送速度より高速でのデータ転送が可能なバスI/F(Interface)を介して接続される
請求項１に記載の医用画像処理装置。
【請求項９】
前記バスI/Fは、PCIe(Peripheral Component Interconnect Express)のI/Fである
請求項８に記載の医用画像処理装置。
【請求項１０】
CPU(Central Processing Unit)が管理するメモリを介さずに、医用画像の画像処理を行う複数の画像処理部それぞれが出力する前記医用画像を集約するとともに、前記複数の画像処理部それぞれに対して、前記医用画像を分配する
ことを含む医用画像処理方法。
【請求項１１】
医用画像を撮影する内視鏡と、
前記医用画像を処理する医用画像処理装置と
を備え、
前記医用画像処理装置は、
前記医用画像の画像処理を行う複数の画像処理部と、
CPU(Central Processing Unit)が管理するメモリを介さずに、前記複数の画像処理部それぞれが出力する前記医用画像を集約するとともに、前記複数の画像処理部それぞれに対して、前記医用画像を分配する分配集約部と
を有する
内視鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、医用画像処理装置、医用画像処理方法、及び、内視鏡システムに関し、特に、例えば、より低レイテンシを実現することができるようにする医用画像処理装置、医用画像処理方法、及び、内視鏡システムに関する。
【背景技術】
【０００２】
例えば、内視鏡で撮影される、医療の用に供される医用画像については、医師が、医用画像を見ながら手術等を行うため、撮影から表示までを低レイテンシで行うことが要請される。
【０００３】
例えば、画像を水平方向に並ぶ複数の領域に分割し、複数のGPU(Graphical Processing Unit)を用いて、複数の領域をそれぞれ処理する並列処理を行うことで、低レイテンシを実現する画像処理装置が提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第2015/163171号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年、画像を撮影するイメージセンサの性能の向上に伴い、内視鏡等で撮影される医用画像が、いわゆる4K画像や8K画像等のような多画素（高画素）の画像になりつつある。かかる多画素の医用画像の撮影から表示までを低レイテンシで行うには、特許文献１に記載のように、複数のGPUを用いた並列処理が有効である。
【０００６】
しかしながら、特許文献１に記載の画像処理装置は、PC(Personal Computer)アーキテクチャをベースに構成され、複数のGPUが処理する前の医用画像や処理した後の医用画像が、CPU(Central Processing Unit)が管理するメモリに転送されて記憶される。
【０００７】
したがって、GPUの処理を高速化しても、GPUとCPUが管理するメモリとの間の医用画像の転送に要する時間が、少なくともレイテンシとして生じる。
【０００８】
本技術は、このような状況に鑑みてなされたものであり、医用画像の撮影から表示までを、より低レイテンシで行うことができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の医用画像処理装置又は内視鏡システムは、医用画像の画像処理を行う複数の画像処理部と、CPU(Central Processing Unit)が管理するメモリを介さずに、前記複数の画像処理部それぞれが出力する前記医用画像を集約するとともに、前記複数の画像処理部それぞれに対して、前記医用画像を分配する分配集約部とを備える医用画像処理装置、又は、そのような医用画像処理装置を備える内視鏡システムである。
【００１０】
本技術の医用画像処理方法は、CPU(Central Processing Unit)が管理するメモリを介さずに、医用画像の画像処理を行う複数の画像処理部それぞれが出力する前記医用画像を集約するとともに、前記複数の画像処理部それぞれに対して、前記医用画像を分配することを含む医用画像処理方法である。
【００１１】
本技術の医用画像処理装置、医用画像処理方法、及び、内視鏡システムにおいては、  CPU(Central Processing Unit)が管理するメモリを介さずに、医用画像の画像処理を行う複数の画像処理部それぞれが出力する前記医用画像が集約されるとともに、前記複数の画像処理部それぞれに対して、前記医用画像が分配される。
【００１２】
なお、医用画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１３】
本技術によれば、より低レイテンシを実現することができる。
【００１４】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１５】
【図１】本技術を適用した内視鏡手術システムの一実施の形態の構成例を示す図である。
【図２】CCU２０１の第１の構成例を示すブロック図である。
【図３】CCU２０１で医用画像に対して行われる手ぶれ補正（処理）の概要を説明する図である。
【図４】CCU２０１で医用画像に対して行われる手ぶれ補正を含む画像処理の例の概要を説明するフローチャートである。
【図５】画像処理の開始時に、必要な医用画像の領域が未知の画像処理を施す場合に並列処理の効率が著しく劣化することを説明する図である。
【図６】処理対象画像に、手ぶれ補正を含む画像処理が施される場合の分配集約の例を説明する図である。
【図７】分配集約を、CPU３０３が行う場合の、CCU２０１の第１の構成例の処理の例を説明するフローチャートである。
【図８】CCU２０１の第２の構成例を示すブロック図である。
【図９】分配集約部３１２の構成例を示すブロック図である。
【図１０】GPU３１５iの構成例を示すブロック図である。
【図１１】CCU２０１の第２の構成例の処理の例を説明するフローチャートである。
【図１２】CCU２０１の第１の構成例と、CCU２０１の第２の構成例との処理のタイミングの例を説明する図である。
【図１３】CCU２０１の第２の構成例で処理が行われる場合のデータフローの第１の例を示す図である。
【図１４】CCU２０１の第２の構成例で処理が行われる場合のデータフローの第２の例を示す図である。
【図１５】CCU２０１の第２の構成例で処理が行われる場合のデータフローの第３の例を示す図である。
【図１６】CCU２０１が処理対象とする処理対象画像の例を示す図である。
【図１７】分配集約部３１２の他の構成例を示すブロック図である。
【図１８】CCU２０１の第３の構成例を示すブロック図である。
【図１９】本技術を適用し得るコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
＜本技術を適用した内視鏡手術システムの一実施の形態＞
【００１７】
図１は、本技術を適用した内視鏡手術システムの一実施の形態の構成例を示す図である。
【００１８】
図１では、術者（医師）１３１が、内視鏡手術システム１０を用いて、患者ベッド１３３上の患者１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１０は、内視鏡１００と、気腹チューブ１１１やエネルギ処置具１１２等の、その他の術具１１０と、内視鏡１００を支持する支持アーム装置１２０と、内視鏡下手術のための各種の装置が搭載されたカート２００と、から構成される。
【００１９】
内視鏡１００は、先端から所定の長さの領域が患者１３２の体腔内に挿入される鏡筒１０１と、鏡筒１０１の基端に接続されるカメラヘッド１０２と、から構成される。図示する例では、硬性の鏡筒１０１を有するいわゆる硬性鏡として構成される内視鏡１００を図示しているが、内視鏡１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
【００２０】
鏡筒１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１００には光源装置２０３が接続されており、光源装置２０３によって生成された光が、鏡筒１０１の内部に延設されるライトガイドによって鏡筒１０１の先端まで導光され、対物レンズを介して患者１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【００２１】
カメラヘッド１０２の内部には、光学系及びイメージセンサ（撮像素子）が設けられており、観察対象からの反射光（観察光）は、光学系によってイメージセンサに集光される。イメージセンサによって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)２０１に送信される。
【００２２】
なお、カメラヘッド１０２（のイメージセンサ）での画像信号の生成、すなわち、画像の撮影では、例えば、4K画像や8K画像の多画素の医用画像を撮影することができる。
【００２３】
CCU２０１は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡１００及び表示装置２０２の動作を統括的に制御する。さらに、CCU２０１は、カメラヘッド１０２から画像信号（画像データ）を受け取り、その画像信号に対して、例えば、現像処理（デモザイク処理）等の、画像信号に対応する医用画像を表示するための各種の画像処理を施す。
【００２４】
すなわち、CCU２０１は、内視鏡１００（のカメラヘッド１０２）で撮影された医用画像を処理する医用画像処理装置として機能する。
【００２５】
表示装置２０２は、CCU２０１からの制御により、CCU２０１によって画像処理が施された画像信号に対応する医用画像を表示する。
【００２６】
光源装置２０３は、例えばLED(Light Emitting Diode)等の光源から構成され、術部等の観察対象を撮影する際の照射光を内視鏡１００に供給する。
【００２７】
入力装置２０４は、内視鏡手術システム１０に対する入力インタフェースである。ユーザは、入力装置２０４を介して、内視鏡手術システム１０に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
【００２８】
処置具制御装置２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギ処置具１１２の駆動を制御する。気腹装置２０６は、内視鏡１００による視野の確保及び術者（ユーザ）の作業空間の確保の目的で、患者１３２の体腔を膨らめるために、気腹チューブ１１１を介して体腔内にガスを送り込む。レコーダ２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【００２９】
なお、内視鏡１００に術部を撮影する際の照射光を供給する光源装置２０３は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGB(Red, Green, Blue)レーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置２０３において画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で術部に照射し、その照射タイミングに同期してカメラヘッド１０２のイメージセンサの駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。以上のようなイメージセンサの駆動の制御を行う場合には、イメージセンサにカラーフィルタを設けなくても、カラー画像を得ることができる。
【００３０】
また、光源装置２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１０２のイメージセンサの駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【００３１】
また、光源装置２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し、その体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに、体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
【００３２】
＜CCU２０１の第１の構成例＞
【００３３】
図２は、図１のCCU２０１の第１の構成例を示すブロック図である。
【００３４】
図２において、CCU２０１は、PCアーキテクチャをベースに構成され、カメラ入出力I/F(Interface)３０１、PCI(Peripheral Component Interconnect)スイッチ３０２、CPU(Central Processing Unit)３０３、及び、メモリ３０４、並びに、複数である、例えば、3個のGPU３０５1，３０５2、及び、３０５3を有する。
【００３５】
カメラ入出力I/F３０１は、図１のカメラヘッド１０２や表示装置２０２との間で、医用画像をやりとりするためのI/Fであり、カメラヘッド１０２から供給される、内視鏡１００で撮影された医用画像（の画像データ）を、PCIスイッチ３０２に供給するとともに、PCIスイッチ３０２から供給される医用画像を、表示装置２０２に供給する。
【００３６】
PCIスイッチ３０２は、カメラ入出力I/F３０１、CPU３０３、及び、GPU３０５1ないし３０５3とバスを介して接続されている。PCIスイッチ３０２は、PCIのバス規格に従って、カメラ入出力I/F３０１、CPU３０３、及び、GPU３０５iの間での医用画像その他のデータのやりとりを中継する。
【００３７】
したがって、カメラ入出力I/F３０１、PCIスイッチ３０２、CPU３０３、及び、GPU３０５1ないし３０５3は、バスに接続するためのバスI/Fとして、PCIのI/Fを内蔵する。
【００３８】
CPU３０３は、所定のプログラムに従って、CCU２０１の全体を制御する。例えば、CPU３０３は、メモリ３０４を管理し、PCIスイッチ３０２から供給される医用画像を記憶させるとともに、メモリ３０４に記憶された医用画像を読み出し、PCIスイッチ３０２に供給する。なお、CPU３０３が実行するプログラムは、あらかじめメモリ３０４にインストールすることや、図示せぬ記録媒体から、メモリ３０４にインストールすること、サイトからダウンロードして、メモリ３０４にインストールすること等が可能である。
【００３９】
メモリ３０４は、CPU３０３の管理の下、医用画像その他のデータを記憶する。なお、図２では、メモリ３０４に対しては、医用画像の読み書きが行われるので、医用画像の撮影から表示までを低レイテンシで行う観点から、メモリ３０４としては、高速なメモリを採用することが望ましい。また、メモリ３０４に対する医用画像その他のデータの読み書きは、DMA（Direct Memory Access）によって行うことができる。メモリ３０４に対するデータの読み書きは、CPU３０３の関与なしに行うことができるが、それでも、メモリ３０４は、CPU３０３に管理されるメモリであることに変わりはない。
【００４０】
GPU３０５iは（図２では、ｉ＝１，２，３）、PCIスイッチ３０２から供給される医用画像の画像処理を行う画像処理部の一例であり、画像処理後の医用画像を、PCIスイッチ３０２に供給する。
【００４１】
ここで、図２では、CCU２０１に、3個のGPU３０５1ないし３０５3が設けられているが、GPUの数は、3個に限定されるものではない。すなわち、CCU２０１には、2個、又は、4個以上の複数の数のGPUを設けることができる。
【００４２】
以上のように構成されるCCU２０１では、カメラ入出力I/F３０１が、カメラヘッド１０２から供給される医用画像を、PCIスイッチ３０２を介して、CPU３０３に出力し、CPU３０３は、カメラ入出力I/F３０１が出力する医用画像を、メモリ３０４に記憶させる。
【００４３】
さらに、CPU３０３は、メモリ３０４に記憶された医用画像の全部又は一部を読み出し、PCIスイッチ３０２を介して、GPU３０５iに、必要に応じて供給する。
【００４４】
GPU３０５iは、PCIスイッチ３０２を介して供給される医用画像の画像処理を行い、その結果得られる医用画像を、PCIスイッチ３０２を介して、CPU３０３に出力する。
【００４５】
CPU３０３は、GPU３０５iが出力する医用画像を、メモリ３０４に記憶させる。
【００４６】
メモリ３０４に記憶された医用画像のGPU３０５iへの供給、GPU３０５iによる医用画像の画像処理、及び、GPU３０５iが出力する画像処理後の医用画像のメモリ３０４への記憶は、必要に応じて繰り返される。
【００４７】
そして、GPU３０５iにおいて必要な画像処理がすべて行われ、その画像処理後の医用画像がメモリ３０４に記憶されると、CPU３０３は、メモリ３０４に記憶された医用画像を読み出し、PCIスイッチ３０２を介して、カメラ入出力I/F３０１に供給する。
【００４８】
カメラ入出力I/F３０１は、CPU３０３から供給される、必要な画像処理のすべて行われた後の医療画像を、表示装置２０２に供給する。
【００４９】
＜CCU２０１で行われる画像処理の例＞
【００５０】
図３は、CCU２０１で医用画像に対して行われる画像処理の一例としての手ぶれ補正（処理）の概要を説明する図である。
【００５１】
手ぶれ補正では、医用画像に映る術部等の被写体（像）が、手ぶれをキャンセルするように変形される。図３では、手ぶれ補正としての医用画像の変形として、医用画像に映る被写体が、時計回りに所定の角度だけ回転され、かつ、左方向に所定の距離だけ平行移動されている。
【００５２】
医師やスコピスト等のユーザが、内視鏡１００を手に持って撮影を行う場合には、内視鏡１００が揺れてしまうことに起因して、内視鏡１００で撮影される医用画像がぶれた画像になり、そのようなぶれた医用画像が表示装置２０２に表示されることがあり得る。手ぶれ補正によれば、医用画像に映る被写体のぶれを抑制し、ユーザが見やすい医用画像を表示することができる。
【００５３】
なお、手ぶれ補正としての医用画像の変形は、例えば、アフィン変換によって行うことができる。
【００５４】
図４は、CCU２０１で医用画像に対して行われる手ぶれ補正を含む画像処理の例の概要を説明するフローチャートである。
【００５５】
ステップＳ１１において、GPU３０５iは、内視鏡１００で撮影された医用画像の現像処理を行い、処理は、ステップＳ１２に進む。
【００５６】
ステップＳ１２では、GPU３０５iは、現像処理後の医用画像の検波処理を行い、処理は、ステップＳ１３及びＳ１４に進む。ここで、医用画像の検波処理では、医用画像の１以上の画素ごとの動き量その他の特徴量が検出される。検波処理の結果（検波結果）としての動き量等は、GPU３０５iからPCIスイッチ３０２を介して、CPU３０３に供給される。
【００５７】
ステップＳ１３では、GPU３０５iは、検波処理後の医用画像に対して、ノイズリダクション等の高画質化処理を行う。
【００５８】
ステップＳ１４では、CPU３０３は、GPU３０５iからの検波結果に応じて、医用画像全体（全画面）の動きを推定し、その動きに応じて、手ぶれ補正としての医用画像の変形を行う変形パラメータを生成するパラメータ生成処理を行う。パラメータ生成処理では、例えば、手ぶれ補正としてのアフィン変換を行う行列の要素が、変形パラメータとして生成される。CPU３０３は、変形パラメータを、PCIスイッチ３０２を介して、GPU３０５iに供給する。
【００５９】
なお、ここでは、ステップＳ１４のパラメータ生成処理を、CPU３０３が行うこととしたが、パラメータ生成処理は、CPU３０３ではなく、GPU３０５iで行うことができる。
【００６０】
ステップＳ１３及びＳ１４の後、処理は、ステップＳ１５に進み、GPU３０５iは、CPU３０３から供給される変形パラメータに従って、高画質化処理後の医用画像を変形する変形処理を行うことで、手ぶれ補正を行う。
【００６１】
手ぶれ補正後の医用画像は、カメラ入出力I/F３０１から表示装置２０２に供給されて表示される。
【００６２】
なお、ステップＳ１２の検波処理は、ステップＳ１１の現像処理の直前や、ステップＳ１３の高画質化処理の直後等の、ステップＳ１４の変形処理の前の任意のタイミングで行うことができる。また、ステップＳ１３の高画質化処理は、ステップＳ１５の変形処理の後に行うことができる。
【００６３】
ところで、図２では、CCU２０１は、複数としての3個のGPU３０５1ないし３０５3を有するので、その3個のGPU３０５1ないし３０５3を用いて、医用画像の画像処理を、並列（分散）処理で行うことができる。医用画像の画像処理を、並列処理で行うことで、医用画像の撮影から表示までを低レイテンシで行うことができる。
【００６４】
例えば、単純には、医用画像を、GPU３０５1ないし３０５3の数と同一の3個の水平方向に並ぶ領域に等分に分割し、1個の領域（の画像）の画像処理を、1個のGPU３０５iが担当することで、大まかには、1個のGPUで、分割しない医用画像全体の画像処理を担当する場合に比較して、画像処理に要する時間を1/3に削減することができる。
【００６５】
しかしながら、医用画像に、手ぶれ補正としての変形（処理）のように、画像処理の開始時に、必要な医用画像の領域（範囲）が未知の画像処理を施す場合には、並列処理の効率が著しく劣化することがある。
【００６６】
図５は、画像処理の開始時に、必要な医用画像の領域が未知の画像処理を施す場合に並列処理の効率が著しく劣化することを説明する図である。
【００６７】
ここで、以下では、医用画像に施す画像処理として、例えば、手ぶれ補正を含む画像処理を採用することとする。また、画像処理は、医用画像の、例えば、1ピクチャ（フレーム）を、処理対象の処理対象画像として行うこととする。さらに、以下では、GPU３０５1，３０５2，３０５3を、それぞれ、GPU#1, GPU#2, GPU#3とも記載する。
【００６８】
なお、医用画像に施す画像処理は、手ぶれ補正を含む画像処理に限定されるものではない。
【００６９】
いま、例えば、図５に示すように、処理対象画像としての1ピクチャの医用画像を、並列処理を行うGPU#1ないし#3の数と同一の3個の水平方向に並ぶ3個の領域A1, A2, A3に等分に分割し、GPU#iが、手ぶれ補正後の処理対象画像の領域A#iを、担当領域A#iとして、その担当領域A#iの画像Q#iの出力を担当することとする（ここでは、i=1,2,3）。
【００７０】
ここで、GPU#iにおいて、手ぶれ補正として、変形量がゼロでない変形が行われる場合、手ぶれ補正前の処理対象画像の担当領域A#iの画像P#iと、手ぶれ補正後の処理対象画像の担当領域A#iの画像Q#iとは、一致しない。
【００７１】
GPU#iは、担当領域A#iの画像Q#iの出力するために、変形パラメータに従って、手ぶれ補正前の処理対象画像を変形することで、手ぶれ補正後の処理対象画像の担当領域A#iの画像Q#iを生成する。
【００７２】
担当領域A#iの画像Q#iの生成にあたり、手ぶれ補正前の処理対象画像において、変形パラメータに従った変形の対象となる対象領域は、変形パラメータに従って変形したときに、担当領域A#iとなる領域であり、変形パラメータが求められる（生成される）までは、未知である。
【００７３】
上述の図４では、変形パラメータの生成が、現像処理及び検波処理の後、高画質化処理と並列して行われるため、最悪の場合、変形パラメータは、現像処理、検波処理、及び、高画質化処理の後に求められる。
【００７４】
したがって、変形パラメータ、ひいては、変形パラメータに従った変形の対象となる対象領域は、現像処理、検波処理、及び、高画質化処理が終了するまでは、未知である。
【００７５】
一方、GPU#iは、メモリを内蔵し、画像を、内蔵するメモリに適宜記憶させて、画像処理を行うが、GPU#1ないし#3が内蔵するメモリそれぞれは、独立しており、GPU#1ないし#3の間で、（直接的な）データのやりとりは行われない。
【００７６】
したがって、各GPU#iは、手ぶれ補正前の処理対象画像のうちの、変形パラメータに従った変形の対象となる対象領域の画像は、内蔵するメモリに記憶しておく必要がある。
【００７７】
対象領域は、現像処理、検波処理、及び、高画質化処理が終了するまでは、未知であるため、各GPU#iは、手ぶれ補正前の処理対象画像の、どの領域が対象領域になっても対処することができるように、手ぶれ補正前の処理対象画像の全体を、内蔵するメモリに記憶しておく必要がある。
【００７８】
したがって、図５に示すように、GPU#1ないし#3は、それぞれ、別個独立に、処理対象画像の全領域Aの画像Pの現像処理及び高画質化処理を少なくとも担当する必要がある（処理対象画像の全領域Aの画像Pの検波処理は、GPU#1ないし#3のうちのいずれか１つが行えばよい）。
【００７９】
その結果、GPU#1ないし#3iのそれぞれが、同一の処理対象画像に対する現像処理及び高画質化処理を行うこととなり、並列処理の効率が著しく劣化する。
【００８０】
変形パラメータに従った変形の最大量が制限されること等によって既知である場合も、各GPU#iは、手ぶれ補正前の処理対象画像のうちの、ゼロから既知の最大量までの変形に必要な領域の画像を、内蔵するメモリに記憶し、現像処理及び高画質化処理を行う必要がある。したがって、やはり、並列処理の効率が著しく劣化する。
【００８１】
手ぶれ補正としての変形等のように、画像処理の開始時に、必要な処理対象画像の領域が未知の画像処理を施す場合に、上述のように、並列処理の効率が著しく劣化することを抑制する方法としては、並列処理を行う各GPU#iに対して処理対象画像の必要な部分を分配するとともに、各GPU#iの画像処理後の処理対象画像（の担当領域A#iの画像）を集約する分配集約を行う方法がある。
【００８２】
＜分配集約＞
【００８３】
図６は、処理対象画像に、図４で説明した手ぶれ補正を含む画像処理が施される場合の分配集約の例を説明する図である。
【００８４】
ここで、以下では、説明を簡単にするため、例えば、図５で説明したように、処理対象画像を、並列処理を行うGPU#1ないし#3の数と同一の3個の水平方向に並ぶ3個の領域A1, A2, A3に等分に分割し、GPU#iが、手ぶれ補正後の処理対象画像の領域A#iを、担当領域A#iとして、その担当領域A#iの画像Q#iの出力を担当することとする。
【００８５】
なお、担当領域A1, A2, A3は、処理対象画像を等分に分割した同一のサイズの領域に限定されるものではない。すなわち、担当領域A1, A2, A3としては、例えば、異なるサイズの領域を採用することができる。また、担当領域A1, A2, A3としては、例えば、一部がオーバーラップする領域を採用することができる。
【００８６】
処理対象画像の領域A#iの画像P#iは、その領域A#iを担当するGPU#iに分配される。GPU#iは、画像が分配される領域A#iを担当領域A#iとして、その担当領域A#iの画像P#iに、第１の画像処理として、現像処理、検波処理、及び、高画質化処理を施す。
【００８７】
また、各GPU#iは、担当領域A#iの画像P#iに対する検波処理の検波結果を、CPU３０３に供給し、CPU３０３は、各GPU#iからの検波結果を用いて、変形パラメータを生成し、各GPU#iに供給する。
【００８８】
各GPU#iの第１の画像処理後の担当領域A#iの画像は、処理対象画像の全領域Aの画像Pとして集約され、その集約後の全領域Aの画像Pが、各GPU#iに分配される。
【００８９】
各GPU#iは、CPU３０３からの変形パラメータに基づき、第１の画像処理後に集約された処理対象画像の全領域Aの画像Pのうちの、担当領域A#iの手ぶれ補正後の画像Q#iを生成するのに必要な領域の画像を、変形の対象領域の画像として特定する、さらに、各GPU#iは、対象領域の画像を、CPU３０３から供給される変形パラメータに従って変形する変形処理を、第２の画像処理として行うことで、担当領域A#iについてだけ、手ぶれ補正後の画像Q#iを求める。
【００９０】
各GPU#iの第２の画像処理後の担当領域A#iの画像Q#iは、処理対象画像の全領域Aの画像として集約され、その集約後の全領域Aの画像が、手ぶれ補正後の変形画像として、CCU２０１から、表示装置２０２に出力される。
【００９１】
以上のように、分配集約を行う場合には、GPU#iは、担当領域A#iの画像P#iを対象に、第１の画像処理としての現像処理、検波処理、及び、高画質化処理を行うとともに、担当領域A#iの手ぶれ補正後の画像Q#iを生成するのに必要な領域の画像を、変形の対象領域の画像として、第２の画像処理としての変形処理を行えばよいので、図５で説明したような、GPU#1ないし#3の並列処理の効率の著しい劣化を抑制することができる。
【００９２】
なお、図２のCCU２０１の第１の構成例では、図６で説明した分配集約は、CPU３０３が行う。
【００９３】
＜分配集約を、CPU３０３が行う場合のCCU２０１の処理＞
【００９４】
図７は、分配集約を、CPU３０３が行う場合の、図２のCCU２０１の第１の構成例の処理の例を説明するフローチャートである。
【００９５】
なお、図７では、図２で説明したように、第１の画像処理としての現像処理、検波処理、及び、高画質化処理が行われるとともに、第２の画像処理としての変形処理が行われることとする。
【００９６】
内視鏡１００で撮影された医用画像は、カメラ入出力I/F３０１に供給され、カメラ入出力I/F３０１は、内視鏡１００からの医用画像を、PCIスイッチ３０２に出力する。
【００９７】
ステップＳ２１において、CPU３０３は、カメラ入出力I/F３０１が出力する医用画像を、PCIスイッチ３０２及びCPU３０３を介して、メモリ３０４に転送して記憶させ、メモリ３０４に記憶された医用画像の１ピクチャを、処理対象画像に設定する。
【００９８】
ステップＳ２２において、CPU３０３は、メモリ３０４に記憶された処理対象画像のうちの、各GPU#iが担当する担当領域A#iの画像(P#i)を、メモリ３０４から、CPU３０３及びPCIスイッチ３０２を介して、各GPU#iに転送することで、担当領域A#i（の画像）を、GPU#iに分配する。
【００９９】
ステップＳ２３では、GPU#iは、担当領域A#iの画像を対象に、第１の画像処理としての現像処理、検波処理、及び、高画質化処理を行い、その第１の画像処理後の担当領域A#iの画像を、PCIスイッチ３０２に出力する。さらに、GPU#iは、検波処理の検波結果を、PCIスイッチ３０２を介して、CPU３０３に供給する。CPU３０３は、各GPU#iからの検波結果に応じて、手ぶれ補正としての変形に用いる変形パラメータを生成し、PCIスイッチ３０２を介して、GPU#iに供給する。
【０１００】
ステップＳ２４において、CPU３０３は、各GPU#iが出力する第１の画像処理後の担当領域A#iの画像を、PCIスイッチ３０２、及び、CPU３０３を介して、メモリ３０４に転送して記憶させることで、各GPU#iの第１の画像処理後の担当領域A#iの画像を、処理対象画像の全領域Aの画像として集約する。
【０１０１】
ステップＳ２５において、CPU３０３は、メモリ３０４に記憶された集約後の処理対象画像の全領域Aの画像を、CPU３０３及びPCIスイッチ３０２を介して、各GPU#iに転送することで、全領域Aの画像を、各GPU#iに分配する。
【０１０２】
ステップＳ２６において、各GPU#iは、CPU３０３から分配された処理対象画像の全領域Aの画像(P)のうちの、変形処理後に担当領域A#iの画像となる部分を、変形の対象領域の画像に設定する。さらに、各GPU#iは、対象領域の画像を、CPU３０３からの変形パラメータに従って変形する変形処理を、第２の画像処理として行うことで、担当領域A#iについてだけ、手ぶれ補正後の画像Q#iを求め、PCIスイッチ３０２に出力する。
【０１０３】
ステップＳ２７において、CPU３０３は、各GPU#iが出力する担当領域A#iの手ぶれ補正後の画像(Q#i)を、PCIスイッチ３０２、及び、CPU３０３を介して、メモリ３０４に転送して記憶させることで、各GPU#iの担当領域A#iの手ぶれ補正後の画像を、手ぶれ補正後の処理対象画像の全領域Aの画像として集約する。
【０１０４】
ステップＳ２８において、CPU３０３は、メモリ３０４に記憶された手ぶれ補正後の処理対象画像の全領域Aの画像を、メモリ３０４から、CPU３０３及びPCIスイッチ３０２を介して、カメラ入出力I/F３０１に転送する。
【０１０５】
カメラ入出力I/F３０１に転送された手ぶれ補正後の処理対象画像は、カメラ入出力I/F３０１から、表示装置２０２に供給される。
【０１０６】
ところで、図２のCCU２０１の第１の構成例において、分配集約を行う場合には、CPU３０３が、分配や集約の対象となる画像を、CPU３０３が管理するメモリ３０４に転送して記憶させる。
【０１０７】
したがって、GPU#iの処理を高速化しても、分配や集約の対象となる画像のメモリ３０４に対する転送（メモリ３０４への転送、及び、メモリ３０４からの転送）に要する時間が、医用画像の撮影から表示までのレイテンシとして、少なくとも生じる。
【０１０８】
そこで、以下、医用画像の撮影から表示までを、より低レイテンシで行うことができるCCU２０１について説明する。
【０１０９】
＜CCU２０１の第２の構成例＞
【０１１０】
図８は、図１のCCU２０１の第２の構成例を示すブロック図である。
【０１１１】
図８において、CCU２０１は、図２の場合と同様に、PCアーキテクチャをベースに構成され、カメラ入出力I/F３１１、分配集約部３１２、CPU３１３、及び、メモリ３１４、並びに、複数である、例えば、3個のGPU３１５1，３１５2、及び、３１５3を有する。
【０１１２】
カメラ入出力I/F３１１は、図１のカメラヘッド１０２や表示装置２０２との間で、医用画像をやりとりするためのI/Fであり、カメラヘッド１０２から供給される、内視鏡１００で撮影された医用画像（の画像データ）を、分配集約部３１２に供給するとともに、分配集約部３１２から供給される医用画像を、表示装置２０２に供給する。
【０１１３】
分配集約部３１２は、カメラ入出力I/F３１１、CPU３１３、及び、GPU３１５1ないし３１５3とバスを介して接続されている。分配集約部３１２は、例えば、PCIの転送速度等の所定の転送速度より高速でのデータ転送が可能な高速バスI/Fの１つである、例えば、PCIe(PCI Express)の規格に従って、カメラ入出力I/F３１１、CPU３１３、及び、GPU３１５iの間での医用画像その他のデータのやりとりを中継する。
【０１１４】
したがって、カメラ入出力I/F３１１、分配集約部３１２、CPU３１３、及び、GPU３１５1ないし３１５3は、バスに接続するためのバスI/Fとして、PCIeのI/Fを内蔵する。カメラ入出力I/F３１１、CPU３１３、及び、GPU３１５iは、バスI/Fとして、高速なPCIeのI/Fを内蔵する点で、バスI/Fとして、PCIのI/Fを内蔵する図２のカメラ入出力I/F３０１、CPU３０３、及び、GPU３０５iとそれぞれ相違する。
【０１１５】
以上のように、図８では、PCIよりも高速なPCIeのバスI/Fが採用されるので、その高速な分だけ、より低レイテンシを実現することができる。
【０１１６】
また、分配集約部３１２は、CPU３１３が管理するメモリ３１４を介さずに、画像の分配集約を行う。すなわち、分配集約部３１２は、メモリ３１４を介さずに、GPU３１５1ないし３１５3それぞれが出力する医用画像を集約するとともに、GPU３１５1ないし３１５3それぞれに対して、医用画像を分配する。
【０１１７】
さらに、分配集約部３１２は、メモリ３１４を介さずに、GPU３１５1ないし３１５3それぞれに対して、カメラ入出力I/F３１１が出力する医用画像を分配するとともに、集約後の医用画像を、カメラ入出力I/F３１１に供給する。
【０１１８】
以上のように、図８では、図２のように、CPU３１３（３０３）が分配集約を行うのではなく、CPU３１３とは別個の分配集約部３１２が、分配集約を行う。
【０１１９】
CPU３１３は、所定のプログラムに従って、CCU２０１の全体を制御する。例えば、CPU３１３は、分配集約部３１２の分配集約を制御する。CPU３１３が実行するプログラムは、あらかじめメモリ３１４にインストールすることや、図示せぬ記録媒体から、メモリ３１４にインストールすること、サイトからダウンロードして、メモリ３１４にインストールすること等が可能である。
【０１２０】
メモリ３１４は、CPU３１３の管理の下、必要なデータを記憶する。なお、図８では、メモリ３１４に対しては、医用画像の読み書きは行われない。したがって、メモリ３１４については、図２のメモリ３０４のように、医用画像の撮影から表示までを低レイテンシで行う観点から、高速なメモリを採用する必要はない。すなわち、メモリ３１４としては、例えば、図２のメモリ３０４より低速なメモリを採用することができる。
【０１２１】
GPU３１５iは（図８では、ｉ＝１，２，３）、分配集約部３１２から供給される医用画像の画像処理を行う画像処理部の一例であり、画像処理後の医用画像を、分配集約部３１２に供給する。
【０１２２】
ここで、図８では、CCU２０１に、3個のGPU３１５1ないし３１５3が設けられているが、GPUの数は、3個に限定されるものではない。すなわち、CCU２０１には、2個、又は、4個以上の複数の数のGPUを設けることができる。
【０１２３】
以上のように構成されるCCU２０１では、カメラ入出力I/F３１１が、カメラヘッド１０２から供給される医用画像を、分配集約部３１２に出力する。分配集約部３１２は、カメラ入出力I/F３１１が出力する医用画像を、GPU３１５iに分配する。
【０１２４】
GPU３１５iは、分配集約部３１２から分配された医用画像の画像処理を行い、その結果得られる医用画像を、分配集約部３１２に出力する。
【０１２５】
分配集約部３１２は、GPU３１５iが出力する医用画像を集約し、その集約後の画像を、カメラ入出力I/F３１１に出力するか、GPU３１５iに分配する。
【０１２６】
分配集約部３１２が、集約後の画像を、GPU３１５iに分配する場合には、その分配と、GPU３１５iが出力する画像処理後の医用画像の集約とが必要に応じて繰り返される。
【０１２７】
そして、GPU３１５iにおいて必要な画像処理がすべて行われ、その画像処理後の医用画像が、GPU３１５iから分配集約部３１２に出力されると、分配集約部３１２は、GPU３１５iが出力する医用画像を集約し、その集約後の画像を、カメラ入出力I/F３１１に出力する。
【０１２８】
カメラ入出力I/F３１１は、分配集約部３１２が出力する集約後の医療画像を、表示装置２０２に供給する。
【０１２９】
＜分配集約部３１２の構成例＞
【０１３０】
図９は、図８の分配集約部３１２の構成例を示すブロック図である。
【０１３１】
図９において、分配集約部３１２は、PCIe I/F３２１、集約部３２２、分配部３２３、及び、制御部３２４を有し、例えば、FPGA(Field-Programmable Gate Array)で構成される。
【０１３２】
PCIe I/F３２１は、PCIeの規格に従い、カメラ入出力I/F３１１やGPU３１５iとの間で、医用画像その他のデータのやりとりを行う。そして、PCIe I/F３２１は、カメラ入出力I/F３１１が出力する医用画像を、分配部３２３に供給するとともに、集約部３２２が出力する医用画像を、カメラ入出力I/F３１１に供給する。また、PCIe I/F３２１は、GPU３１５iが出力する医用画像を、集約部３２２に供給するとともに、分配部３２３が出力する医用画像を、GPU３１５iに供給する。
【０１３３】
集約部３２２は、GPU３１５iから、PCIe I/F３２１を介して供給される医用画像を集約し、その集約後の医用画像を、分配部３２３に供給する。また、集約部３２２は、集約後の医用画像を、PCIe I/F３２１を介して、カメラ入出力I/F３１１に供給する。
【０１３４】
分配部３２３は、カメラ入出力I/F３１１からPCIe I/F３２１を介して供給される医用画像や、集約部３２２から供給される集約後の医用画像を、PCIe I/F３２１を介して、GPU３１５iに分配する。
【０１３５】
制御部３２４は、CPU３１３の制御に従い、集約部３２２の集約、及び、分配部３２３の分配を制御することにより、医用画像の画像処理のデータフローを制御する。
【０１３６】
＜GPU３１５iの構成例＞
【０１３７】
図１０は、図８のGPU３１５iの構成例を示すブロック図である。
【０１３８】
図１０において、GPU３１５iは、PCIe I/F３３１、プロセッサ３３２、及び、メモリ３３３を有する。
【０１３９】
PCIe I/F３３１は、PCIeの規格に従い、分配集約部３１２との間で、医用画像その他のデータのやりとりを行う。そして、PCIe I/F３３１は、分配集約部３１２が出力（分配）する医用画像を、プロセッサ３３２やメモリ３３３に供給するとともに、プロセンサ３３２で処理が行われた後の医用画像や、メモリ３３３に記憶された医用画像を、分配集約部３１２に出力する。
【０１４０】
プロセッサ３３２は、所定の画像処理のプログラムを実行することで、所定の画像処理を行う。メモリ３３３は、プロセッサ３３２の動作上必要なデータを記憶する。
【０１４１】
＜CCU２０１の処理＞
【０１４２】
図１１は、図８のCCU２０１の第２の構成例の処理の例を説明するフローチャートである。
【０１４３】
すなわち、図１１は、医用画像に対して、手ぶれ補正を含む画像処理が行われる場合の、図８のCCU２０１の第２の構成例の処理の例を示している。
【０１４４】
ここで、上述したように、医用画像に施す画像処理は、手ぶれ補正を含む画像処理に限定されるものではない。
【０１４５】
また、以下では、GPU３１５1，３１５2，３１５3を、それぞれ、GPU#1, GPU#2, GPU#3とも記載する。
【０１４６】
さらに、以下でも、図５で説明したように、処理対象画像としての1ピクチャの医用画像を、並列処理を行うGPU#1ないし#3の数と同一の3個の水平方向に並ぶ3個の領域A1, A2, A3に等分に分割し、GPU#iが、手ぶれ補正後の処理対象画像の領域A#iを、担当領域A#iとして、その担当領域A#iの画像Q#iの出力を担当することとする。
【０１４７】
なお、図６で説明したように、担当領域A1, A2, A3は、処理対象画像を等分に分割した同一のサイズの領域に限定されるものではない。すなわち、担当領域A1, A2, A3としては、例えば、異なるサイズの領域や、一部がオーバーラップする領域を採用することができる。
【０１４８】
内視鏡１００で撮影された医用画像は、カメラ入出力I/F３１１に供給され、カメラ入出力I/F３１１は、内視鏡１００からの医用画像を、分配集約部３１２に出力する。
【０１４９】
ステップＳ４１において、分配集約部４１は、カメラ入出力I/F３１１が出力する医用画像の1ピクチャを、処理対象画像に設定する。さらに、分配集約部３１２は、処理対象画像のうちの、各GPU#iが担当する担当領域A#iの画像(P#i)を、各GPU#iに分配する。
【０１５０】
ステップＳ４２において、GPU#iは、担当領域A#iの画像を対象に、第１の画像処理としての現像処理、検波処理、及び、高画質化処理を行い、その第１の画像処理後の担当領域A#iの画像を、分配集約部３１２に出力する。さらに、GPU#iは、担当領域A#iの画像に対する検波処理の検波結果を、分配集約部３１２を介して、CPU３１３に供給する。CPU３１３は、各GPU#iからの検波結果に応じて、手ぶれ補正としての変形に用いる変形パラメータを生成し、分配集約部３１２を介して、GPU#iに供給する。
【０１５１】
ステップＳ４３において、分配集約部３１２は、各GPU#iが出力する第１の画像処理後の担当領域A#iの画像を、処理対象画像の全領域Aの画像として集約する。さらに、分配集約部３１２は、集約後の処理対象画像の全領域Aの画像を、各GPU#iに分配する。
【０１５２】
ステップＳ４４において、各GPU#iは、分配集約部３１２から分配された処理対象画像の全領域Aの画像(P)のうちの、変形処理後に担当領域A#iの画像となる部分を、変形の対象領域の画像に設定する。さらに、各GPU#iは、対象領域の画像を、CPU３１３からの変形パラメータに従って変形する変形処理を、第２の画像処理として行うことで、担当領域A#iについてだけ、手ぶれ補正後の画像Q#iを求め、分配集約部３１２に出力する。
【０１５３】
ステップＳ４５において、分配集約部３１２は、各GPU#iが出力する担当領域A#iの手ぶれ補正後の画像(Q#i)を、手ぶれ補正後の処理対象画像の全領域Aの画像として集約する。そして、分配集約部３１２は、集約後の画像、すなわち、手ぶれ補正後の処理対象画像の全領域Aの画像を、カメラ入出力I/F３１１に転送する。
【０１５４】
分配集約部３１２がカメラ入出力I/F３１１に転送した手ぶれ補正後の処理対象画像は、カメラ入出力I/F３１１から、表示装置２０２に供給される。
【０１５５】
以上のように、図８のCCU２０１の第２の構成例では、分配集約部３１２が、CPU３１３が管理するメモリ３１４を介さずに、分配集約を行うので、メモリ３１４（３０４）に対する転送時間をなくし、医用画像の撮影から表示までを、より低レイテンシで行うことができる。
【０１５６】
＜処理のタイミング＞
【０１５７】
図１２は、図２のCCU２０１の第１の構成例と、図８のCCU２０１の第２の構成例との処理のタイミングの例を説明する図である。
【０１５８】
ここで、CCU２０１の第１及び第２の構成例では、図７及び図１１のフローチャートで説明した１ステップが、所定の単位時間で行われることとする。
【０１５９】
また、医用画像のフレームには、初期値を０とする昇順の整数が、フレーム番号として付与されていることとする。
【０１６０】
図１２は、図７及び図１１のフローチャートの各ステップと、そのステップで処理が行われる処理対象画像となっている医用画像のフレーム番号との関係を示している。
【０１６１】
図１２に示すように、CCU２０１の第１の構成例では、フレーム番号がfのフレーム(f=0,1,2,…)について、ステップＳ２１の処理が開始されてから、ステップＳ２８の処理が終了するまでの時間が、８単位時間であるのに対して、CCU２０１の第２の構成例では、フレーム番号がfのフレームについて、ステップＳ４１の処理が開始されてから、ステップＳ４５の処理が終了するまでの時間が、メモリ３１４（３０４）に対する転送がない分だけ短く、５単位時間になっている。
【０１６２】
したがって、CCU２０１の第２の構成例では、CCU２０１の第１の構成例よりも、３（＝８−５）単位時間だけ短い低レイテンシを実現することができる。
【０１６３】
＜データフローの制御＞
【０１６４】
図１３は、図８のCCU２０１の第２の構成例で処理が行われる場合のデータフローの第１の例を示す図である。
【０１６５】
すなわち、図１３は、CCU２０１の第２の構成例で、図１１のフローチャートにしたがった処理が行われる場合のデータフローを示している。
【０１６６】
図１３のデータフローの第１の例では、カメラ入出力I/F３１１が出力する処理対象画像が、3個のGPU#1ないし#3それぞれに分配され、GPU#1ないし#3それぞれにおいて、分配された処理対象画像に画像処理が施される。そして、その画像処理後の処理対象画像は、GPU#1ないし#3それぞれから分配集約部３１２に出力される。
【０１６７】
分配集約部３１２では、GPU#1ないし#3それぞれが出力する画像処理後の処理対象画像が集約され、その集約後の処理対象画像が、GPU#1ないし#3それぞれに分配される。GPU#1ないし#3それぞれでは、分配された処理対象画像に画像処理が施され、その画像処理後の処理対象画像が、分配集約部３１２に出力される。
【０１６８】
分配集約部３１２では、GPU#1ないし#3それぞれが出力する画像処理後の処理対象画像が集約され、その集約後の処理対象画像が、カメラ入出力I/F３１１に出力される。
【０１６９】
図１３のデータフローの第１の例では、分配及び集約が２回ずつ行われるが、分配及び集約の数は、２回に限定されるものではなく、１回や３回以上の回数であってもよい。
【０１７０】
また、図１３のデータフローの第１の例では、１回目の分配、及び、２回目の分配のいずれの分配でも、処理対象画像が、3個のGPU#1ないし#3のGPUのすべてに分配されるが、分配先のGPUとしては、3個のGPU#1ないし#3のうちの1個以上の任意のGPUを採用することができる。さらに、１回目の分配と、２回目の分配とでは、分配先のGPUとして、異なるGPUを採用することができる。
【０１７１】
図１４は、図８のCCU２０１の第２の構成例で処理が行われる場合のデータフローの第２の例を示す図である。
【０１７２】
図１４のデータフローの第２の例では、図１４のデータフローの第１の例の場合と同様に、分配及び集約が２回ずつ行われる。
【０１７３】
但し、図１４では、１回目の分配については、分配先が、3個のGPU#1ないし#3のGPUのうちの、2個のGPU#1及び#2になっており、２回目の分配については、分配先が、3個のGPU#1ないし#3になっている。したがって、１回目の集約は、2個のGPU#1及び#2の出力を対象に行われ、２回目の集約は、3個のGPU#1ないし#3の出力を対象に行われる。
【０１７４】
図１５は、図８のCCU２０１の第２の構成例で処理が行われる場合のデータフローの第３の例を示す図である。
【０１７５】
図１５のデータフローの第３の例では、分配及び集約が３回ずつ行われる。１回目ないし３回目の1個の分配先は、GPU#1ないしGPU#3に、それぞれなっており、１回目ないし３回目の集約は、GPU#1ないしGPU#3の出力を、それぞれ対象に行われる。図１５では、集約が、1個のGPU#iの出力を対象として行われるため、集約後の画像は、集約の対象の1個のGPU#iの出力に等しく、集約では、例えば、集約の対象の1個のGPU#iの出力が、そのまま集約後の画像とされる。
【０１７６】
分配集約部３１２（図９）において、制御部３２４は、CPU３１３の制御に従い、分配部３２３による分配の分配先となるGPUや、集約部３２２による集約の対象となるGPU（の出力）、集約部３２２による集約及び分配部３２３による分配の回数を制御し、これにより、CCU２０１で行われる医用画像の画像処理について、データフローを動的に変化させ、図１３ないし図１５に示したデータフローや、その他のデータフローを、容易に実現することができる。
【０１７７】
＜処理対象画像＞
【０１７８】
図１６は、CCU２０１が処理対象とする処理対象画像の例を示す図である。
【０１７９】
CCU２０１では、図１６に示すように、例えば、1ピクチャの医用画像の全体を、処理対象画像とすることができる。
【０１８０】
また、CCU２０１では、図１６に示すように、例えば、1ピクチャの医用画像を、上下に2分割して得られる画像P11及びP12それぞれを、処理対象画像とすることができる。
【０１８１】
さらに、CCU２０１では、図１６に示すように、例えば、1ピクチャの医用画像を、上下に4分割して得られる画像P21, P22, P23, P24それぞれを、処理対象画像とすることができる。
【０１８２】
その他、CCU２０１では、1ピクチャの医用画像を、上下に任意の数に分割して得られる画像それぞれを、処理対象画像とすることができる。
【０１８３】
そして、CCU２０１では、処理対象画像を、最大で、GPU#1ないし#3の数と同一の3個の水平方向に並ぶ領域に分割し、GPU#1ないし#3において、各領域の画像処理を、並列処理で行うことができる。
【０１８４】
＜分配集約部３１２の他の構成例＞
【０１８５】
図１７は、図８の分配集約部３１２の他の構成例を示すブロック図である。
【０１８６】
なお、図中、図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１８７】
図１７の分配集約部３１２は、PCIe I/F３２１、集約部３２２、分配部３２３、制御部３２４、及び、HW(Hardware)信号処理部３４１を有し、例えば、FPGAで構成される。
【０１８８】
したがって、図１７の分配集約部３１２は、PCIe I/F３２１ないし制御部３２４を有する点で、図９の場合と共通する。但し、図１７の分配集約部３１２は、HW信号処理部３４１が新たに設けられている点で、図９の場合と相違する。
【０１８９】
HW信号処理部３４１は、集約部３２２が出力する処理対象画像（医用画像）に、所定の信号処理を施し、その所定の信号処理後の処理対象画像を、分配部３４１に出力する。
【０１９０】
したがって、図１７では、分配部３４１は、HW信号処理部３４１が出力する処理対象画像の分配を行う。
【０１９１】
HW信号処理部３４１が行う所定の信号処理としては、任意の信号処理を採用することができる。例えば、GPU#iが行う画像処理の一部を、HW信号処理部３４１が行う所定の信号処理として採用することができる。
【０１９２】
分配集約部３１２に、HW信号処理部３４１を設け、そのHW信号処理部３４１に、CCU２０１で行うべき画像処理の一部を担当させることにより、CCU２０１で行うべき画像処理のアクセラレーションを実現し、さらなる低レイテンシを実現することができる。
【０１９３】
なお、HW信号処理部３４１は、必要に応じて、集約部３２２が出力する処理対象画像に、特に、信号処理を施さずに、その処理対象画像を、そのまま、分配部３４１に出力することができる。HW信号処理部３４１で信号処理を行うかどうかは、制御部３２４（図１７）によって制御することができ、その制御により、CCU２０１で行われる画像処理のデータフローを制御することができる。
【０１９４】
また、HW信号処理部３４１では、分配部３２３が出力する処理対象画像に信号処理を施し、その信号処理後の処理対象画像を、GPU#iに供給することができる。
【０１９５】
＜CCU２０１の第３の構成例＞
【０１９６】
図１８は、図１のCCU２０１の第３の構成例を示すブロック図である。
【０１９７】
なお、図中、図８の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１９８】
図１８において、CCU２０１は、図８の場合と同様に、PCアーキテクチャをベースに構成され、カメラ入出力I/F３１１、分配集約部３１２、CPU３１３、メモリ３１４、GPU３１５1，３１５2、及び、３１５3、並びに、複数である、例えば、2個のHW信号処理部３５１1及び３５１2を有する。
【０１９９】
したがって、図１８のCCU２０１は、カメラ入出力I/F３１１ないしGPU３１５3を有する点で、図８の場合と共通する。但し、図１８のCCU２０１は、HW信号処理部３５１1及び３５１2が新たに設けられている点で、図８の場合と相違する。
【０２００】
図１８では、分配集約部３１２は、集約後の処理対象画像を、HW信号処理部３５１jにも、必要に応じて供給する。
【０２０１】
HW信号処理部３５１jは（図１８では、ｊ＝１，２）、分配集約部３１２から供給される処理対象画像としての医用画像に所定の信号処理を施し、その所定の信号処理後の処理対象画像を、分配集約部３１２に供給する。したがって、HW信号処理部３５１jは、処理対象画像の集約後、その集約後の処理対象画像の分配の前に、集約後の処理対象画像に、所定の信号処理を施す。
【０２０２】
HW信号処理部３５１jは、例えば、FPGAその他の特定の信号処理を行う専用のハードウエアで構成し、所定の信号処理を高速で行わせることができる。この場合、CCU２０１で行うべき画像処理のアクセラレーションを実現し、より低レイテンシを実現することができる。
【０２０３】
ここで、図１８では、CCU２０１に、2個のHW信号処理部３５１1及び３５１2が設けられているが、HW信号処理部３５１jの数は、2個に限定されるものではない。すなわち、CCU２０１には、1個、2個、又は、4個以上の任意の数のHW信号処理部３５１jを設けることができる。
【０２０４】
また、HW信号処理部３５１jが行う所定の信号処理としては、任意の信号処理を採用することができる。例えば、GPU#iが行う画像処理の一部を、HW信号処理部３５１jが行う所定の信号処理として採用することができる。
【０２０５】
さらに、分配集約部３１２では、制御部３２４（図９、図１７）の制御に従い、HW信号処理部３５１jに対して、集約後の処理対象画像を出力することや、処理対象画像の分配により、処理対象画像の一部を出力することができる。
【０２０６】
例えば、分配集約部３１２（図１７）において、HW信号処理部３５１jに、集約部３２２での集約後の処理対象画像を出力し、HW信号処理部３５１jが出力する信号処理後の処理対象画像を、分配部３２３でのGPU#iへの分配の対象とすることにより、HW信号処理部３５１jは、図１７のHW信号処理部３４１と同様に、処理対象画像の集約後、その集約後の処理対象画像の分配の前に、集約後の処理対象画像に、所定の信号処理を施すことになる。
【０２０７】
分配集約部３１２において、HW信号処理部３５１jへの処理対象画像の出力（供給）は、制御部３２４（図９、図１７）によって制御することができ、その制御により、CCU２０１で行われる画像処理のデータフローを制御することができる。
【０２０８】
なお、本技術は、内視鏡手術システムの他、電子顕微鏡その他の、医用画像を処理する任意の装置に適用することができる。また、本技術は、医用画像を処理する装置の他、任意の画像を処理する装置に適用することができる。
【０２０９】
＜本技術を適用し得るコンピュータの説明＞
【０２１０】
図１９は、本技術を適用し得るコンピュータの一実施の形態の構成例を示すブロック図である。
【０２１１】
コンピュータは、CPU４０２を内蔵しており、CPU４０２には、バス４０１を介して、入出力インタフェース４１０が接続されている。
【０２１２】
CPU４０２は、入出力インタフェース４１０を介して、ユーザによって、入力部４０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、CPU４０２は、ハードディスク４０５に格納されたプログラムを、RAM(Random Access Memory)４０４にロードして実行する。
【０２１３】
これにより、CPU４０２は、所定の処理を行う。そして、CPU４０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４１０を介して、出力部４０６から出力、あるいは、通信部４０８から送信、さらには、ハードディスク４０５に記録等させる。
【０２１４】
なお、入力部４０７は、キーボードや、マウス、マイク等で構成される。また、出力部４０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２１５】
また、CPU４０２が実行するプログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やROM４０３に予め記録しておくことができる。
【０２１６】
さらに、プログラムは、リムーバブル記録媒体４１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体４１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２１７】
また、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク４０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２１８】
図１９のコンピュータには、カメラ入出力I/F３１１、分配集約部３１２、及び、GPU３１５i、並びに、必要なHW信号処理部３５１jを設け、CCU２０１として機能させることができる。
【０２１９】
ここで、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２２０】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２２１】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２２２】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２２３】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２２４】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２２５】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２２６】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０２２７】
なお、本技術は、以下の構成をとることができる。
【０２２８】
＜１＞
医用画像の画像処理を行う複数の画像処理部と、
CPU(Central Processing Unit)が管理するメモリを介さずに、前記複数の画像処理部それぞれが出力する前記医用画像を集約するとともに、前記複数の画像処理部それぞれに対して、前記医用画像を分配する分配集約部と
を備える医用画像処理装置。
＜２＞
前記分配集約部は、さらに、前記複数の画像処理部それぞれに対して、前記医用画像の入出力I/F(Interface)が出力する前記医用画像を分配するとともに、集約後の前記医用画像を、前記入出力I/Fに供給する
＜１＞に記載の医用画像処理装置。
＜３＞
前記分配集約部による前記医用画像の分配及び集約を制御することにより、前記医用画像の画像処理のデータフローを制御する制御部をさらに備える
＜１＞又は＜２＞に記載の医用画像処理装置。
＜４＞
前記医用画像の集約後、前記医用画像の分配の前に、前記医用画像に、所定の信号処理を施す信号処理部をさらに備える
＜１＞ないし＜３＞のいずれかに記載の医用画像処理装置。
＜５＞
前記分配集約部は、
前記医用画像の集約を行う集約部と、
前記集約部が出力する前記医用画像に、所定の信号処理を施す前記信号処理部と、
前記信号処理部が出力する前記医用画像を分配する分配部と
を有する
＜４＞に記載の医用画像処理装置。
＜６＞
前記画像処理部は、GPU(Graphical Processing Unit)で構成される
＜１＞ないし＜５＞のいずれかに記載の医用画像処理装置。
＜７＞
前記分配集約部は、FPGA(Field-Programmable Gate Array)で構成される
＜１＞ないし＜６＞のいずれかに記載の医用画像処理装置。
＜８＞
前記画像処理部と前記分配集約部とは、所定の転送速度より高速でのデータ転送が可能なバスI/F(Interface)を介して接続される
＜１＞ないし＜７＞のいずれかに記載の医用画像処理装置。
＜９＞
前記バスI/Fは、PCIe(Peripheral Component Interconnect Express)のI/Fである
＜８＞に記載の医用画像処理装置。
＜１０＞
CPU(Central Processing Unit)が管理するメモリを介さずに、医用画像の画像処理を行う複数の画像処理部それぞれが出力する前記医用画像を集約するとともに、前記複数の画像処理部それぞれに対して、前記医用画像を分配する
ことを含む医用画像処理方法。
＜１１＞
医用画像を撮影する内視鏡と、
前記医用画像を処理する医用画像処理装置と
を備え、
前記医用画像処理装置は、
前記医用画像の画像処理を行う複数の画像処理部と、
CPU(Central Processing Unit)が管理するメモリを介さずに、前記複数の画像処理部それぞれが出力する前記医用画像を集約するとともに、前記複数の画像処理部それぞれに対して、前記医用画像を分配する分配集約部と
を有する
内視鏡システム。
【符号の説明】
【０２２９】
１０  内視鏡，  １００  内視鏡，  １０１  鏡筒，  １０２  カメラヘッド，  １１０  術具，  １１１  気腹チューブ，  １１２  エネルギ処置具，  １２０  支持アーム装置，  １３１  術者，  １３２  患者，  １３３  患者ベッド，  ２００  カート，  ２０１  CCU，  ２０２  表示装置，  ２０３  光源装置，  ２０４  入力装置，  ２０５  処置具制御装置，  ２０６  気腹装置，  ２０７  レコーダ，  ２０８  プリンタ，  ３０１  カメラ入出力I/F，  ３０２  PCIスイッチ，  ３０３  CPU，  ３０４  メモリ，  ３０５1ないし３０５3  GPU，  ３１１  カメラ入出力I/F，  ３１２  分配集約部，  ３１３  CPU，  ３１４  メモリ，  ３１５1ないし３１５3  GPU，  ３２１  PCIe I/F，  ３２２  集約部，  ３２３  分配部，  ３２４  制御部，  ３３１  PCIe I/F，  ３３２  プロセッサ，  ３３３  メモリ，  ３４１，３５１1，３５１2  HW信号処理部，  ４０１  バス，  ４０２  CPU，  ４０３  ROM，  ４０４  RAM，  ４０５  ハードディスク，  ４０６  出力部，  ４０７  入力部，  ４０８  通信部，  ４０９  ドライブ，  ４１０  入出力インタフェース，  ４１１  リムーバブル記録媒体
【図１】
2018187032.tif 000003
【図２】
2018187032.tif 000004
【図３】
2018187032.tif 000005
【図４】
2018187032.tif 000006
【図５】
2018187032.tif 000007
【図６】
2018187032.tif 000008
【図７】
2018187032.tif 000009
【図８】
2018187032.tif 000010
【図９】
2018187032.tif 000011
【図１０】
2018187032.tif 000012
【図１１】
2018187032.tif 000013
【図１２】
2018187032.tif 000014
【図１３】
2018187032.tif 000015
【図１４】
2018187032.tif 000016
【図１５】
2018187032.tif 000017
【図１６】
2018187032.tif 000018
【図１７】
2018187032.tif 000019
【図１８】
2018187032.tif 000020
【図１９】
2018187032.tif 000021