(57)【要約】  腹腔鏡および内視鏡による２Ｄ／２．５Ｄ画像データにおけるセマンティックセグメンテーションのための方法およびシステムが開示される。２Ｄ／２．５Ｄの腹腔鏡画像または内視鏡画像の２Ｄ画像チャネルと２．５Ｄ奥行きチャネルとを統合する統計的画像フィーチャが、画像中の各画素について抽出される。この場合、トレーニング済み分類器を用いて、腹腔鏡画像または内視鏡画像のセマンティックセグメンテーションが実施されて、抽出された統計的画像フィーチャに基づき、ターゲット器官のセマンティックオブジェクトクラスに関して、画像中の各画素が分類される。腹腔鏡画像シーケンスまたは内視鏡画像シーケンスの複数のフレームのセマンティックセグメンテーションの結果得られたセグメンテーションされた画像のマスクを用いて、ターゲット器官の３Ｄモデルを生成するために、器官固有の３Ｄフレームスティッチングをガイドすることができる。
2018515197.tif 000002
【特許請求の範囲】
【請求項１】
術中画像のセマンティックセグメンテーションのための方法であって、当該方法は、
・２Ｄ画像チャネルと２．５Ｄ奥行きチャネルとを含む術中画像を受け取るステップと、
・前記術中画像における複数の画素各々について、前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから統計的フィーチャを抽出するステップと、
・前記術中画像における前記複数の画素各々を、ターゲット器官のセマンティックオブジェクトクラスに関して、前記複数の画素各々について抽出された前記統計的フィーチャに基づき、トレーニング済み分類器を用いて分類するステップと、
を含む、
術中画像のセマンティックセグメンテーションのための方法。
【請求項２】
前記術中画像における複数の画素各々について、前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから統計的フィーチャを抽出する前記ステップは、
前記術中画像における前記複数の画素各々について、前記画素の周囲の１つの画像パッチ内における前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから前記統計的フィーチャを抽出するステップ、
を含む、
請求項１記載の方法。
【請求項３】
前記画素の周囲の１つの画像パッチ内における前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから前記統計的フィーチャを抽出する前記ステップは、
前記画素の周囲の前記画像パッチ内における前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとを統合する少なくとも１つの画像フィーチャを抽出するステップ、
を含む、
請求項２記載の方法。
【請求項４】
前記画素の周囲の前記画像パッチ内における前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとを統合する少なくとも１つの画像フィーチャを抽出する前記ステップは、
前記画素の周囲の前記画像パッチ内における前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとの間の共分散を抽出するステップ、
を含む、
請求項３記載の方法。
【請求項５】
前記術中画像は、ＲＧＢ画像と対応する奥行き画像とを含むＲＧＢ−Ｄ画像であり、前記画素の周囲の１つの画像パッチ内における前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから前記統計的フィーチャを抽出する前記ステップは、
前記画素の周囲の前記画像パッチ内における前記ＲＧＢ画像のカラーチャネルと前記奥行き画像の奥行きデータとを含む一連のフィーチャチャネルを統合する統計的フィーチャを計算するステップ、
を含む、
請求項２記載の方法。
【請求項６】
前記画素の周囲の前記画像パッチ内における前記ＲＧＢ画像のカラーチャネルと前記奥行き画像の奥行きデータとを含む一連のフィーチャチャネルを統合する統計的フィーチャを計算する前記ステップは、
・前記画像パッチ内におけるフィーチャチャネル各々について個々の平均を計算するステップと、
・前記画像パッチ内における前記フィーチャチャネルの各ペア間の共分散を計算するステップと、
を含む、
請求項５記載の方法。
【請求項７】
前記一連のフィーチャチャネルはさらに、１つまたは複数のフィルタを用いた、前記ＲＧＢ画像または前記奥行き画像のうち少なくとも一方のフィルタレスポンスを含む、
請求項６記載の方法。
【請求項８】
前記術中画像における前記複数の画素各々を、ターゲット器官のセマンティックオブジェクトクラスに関して、前記複数の画素各々について抽出された前記統計的フィーチャに基づき、トレーニング済み分類器を用いて分類する前記ステップは、
前記ターゲット器官の前記セマンティックオブジェクトクラスに対する確率を、前記術中画像における前記複数の画素各々について、前記複数の画素各々について抽出された前記統計的フィーチャに基づき、前記トレーニング済み分類器を用いて計算するステップを含む、
請求項１記載の方法。
【請求項９】
前記ターゲット器官の前記セマンティックオブジェクトクラスに対する確率を、前記術中画像における前記複数の画素各々について、前記複数の画素各々について抽出された前記統計的フィーチャに基づき、前記トレーニング済み分類器を用いて計算する前記ステップは、
前記術中画像における前記複数の画素各々について、前記ターゲット器官の前記セマンティックオブジェクトクラスと、１つまたは複数の他のセマンティックオブジェクトクラスとに対する個々の確率を、前記複数の画素各々について抽出された前記統計的フィーチャに基づき、前記トレーニング済み分類器を用いて計算するステップ、
を含む、
請求項８記載の方法。
【請求項１０】
前記トレーニング済み分類器は、トレーニング済みのランダムフォレスト分類器である、
請求項１記載の方法。
【請求項１１】
当該方法はさらに、
前記トレーニング済み分類器により前記術中画像における前記複数の画素について計算された前記ターゲット器官の前記セマンティックオブジェクトクラスに対する確率と、前記術中画像から抽出された前記ターゲット器官に対する優勢な器官境界とに基づき、グラフベースの方法を用いて、前記術中画像における前記複数の画素の前記分類を精密化することによって、前記術中画像に対する精密化されたセマンティックマップを生成するステップ、
を含む、
請求項１記載の方法。
【請求項１２】
前記術中画像は、腹腔鏡画像または内視鏡画像のうちの一方である、
請求項１記載の方法。
【請求項１３】
術中画像を受け取る前記ステップと、統計的フィーチャを抽出する前記ステップと、前記術中画像における前記複数の画素各々を分類する前記ステップは、外科手術中の前記術中画像の取得に応答して、リアルタイムで実行される、
請求項１記載の方法。
【請求項１４】
前記ターゲット器官は肝臓である、
請求項１記載の方法。
【請求項１５】
術中画像シーケンスからターゲット器官の３Ｄモデルを生成する方法であって、当該方法は、
・術中画像シーケンスの複数のフレームを受け取るステップと、ただし各フレームは、２Ｄ画像チャネルと２Ｄ奥行きチャネルとを含む２Ｄ／２．５Ｄ画像であり、
・前記術中画像シーケンスの各フレームにおいてセマンティックセグメンテーションを実施して、各フレーム内の複数の画素各々を、前記ターゲット器官のセマンティックオブジェクトクラスに関して分類するステップと、
・個々の前記フレーム内で前記ターゲット器官の前記セマンティックオブジェクトクラスに分類された各画素間の対応関係を用いて、前記複数のフレームの個々のフレームを互いにスティッチングすることにより、解剖学的ターゲットオブジェクトの３Ｄモデルを生成するステップと、
を含む、
術中画像シーケンスからターゲット器官の３Ｄモデルを生成する方法。
【請求項１６】
前記術中画像シーケンスは、腹腔鏡画像シーケンスまたは内視鏡画像シーケンスのうちの一方であり、前記複数のフレームは、腹腔鏡または内視鏡のうち一方を用いた前記ターゲット器官のスキャンに対応する、
請求項１５記載の方法。
【請求項１７】
前記術中画像シーケンスの各フレームにおいてセマンティックセグメンテーションを実施して、各フレーム内の複数の画素各々を、前記ターゲット器官のセマンティックオブジェクトクラスに関して分類する前記ステップは、
前記術中画像シーケンスの前記複数のフレーム各々について、
・前記フレーム内の前記複数の画素各々について、前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから統計的フィーチャを抽出するステップと、
・前記フレーム内の前記複数の画素各々を、ターゲット器官の前記セマンティックオブジェクトクラスに関して、前記複数の画素各々について抽出された前記統計的フィーチャに基づき、トレーニング済み分類器を用いて分類するステップと、
を含む、
請求項１５記載の方法。
【請求項１８】
前記フレーム内の前記複数の画素各々について、前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから統計的フィーチャを抽出する前記ステップは、
前記フレーム内の前記複数の画素各々について、前記画素の周囲の１つの画像パッチ内における前記２Ｄ画像チャネルからの情報と前記２．５Ｄ奥行きチャネルからの情報とを統合する前記統計的フィーチャを抽出するステップ、
を含む、
請求項１７記載の方法。
【請求項１９】
前記フレーム内の前記複数の画素各々を、ターゲット器官の前記セマンティックオブジェクトクラスに関して、前記複数の画素各々について抽出された前記統計的フィーチャに基づき、トレーニング済み分類器を用いて分類する前記ステップは、
前記ターゲット器官の前記セマンティックオブジェクトクラスに対する確率を、前記フレーム内の前記複数の画素各々について、前記複数の画素各々について抽出された前記統計的フィーチャに基づき、前記トレーニング済み分類器を用いて計算するステップを含む、
請求項１７記載の方法。
【請求項２０】
前記トレーニング済み分類器は、トレーニング済みのランダムフォレスト分類器である、
請求項１７記載の方法。
【請求項２１】
前記術中画像シーケンスの各フレームにおいてセマンティックセグメンテーションを実施して、各フレーム内の複数の画素各々を、前記ターゲット器官のセマンティックオブジェクトクラスに関して分類する前記ステップはさらに、
前記トレーニング済み分類器により前記術中画像における前記複数の画素について計算された前記ターゲット器官の前記セマンティックオブジェクトクラスに対する確率と、前記術中画像から抽出された前記ターゲット器官に対する優勢な器官境界とに基づき、グラフベースの方法を用いて、前記術中画像における前記複数の画素の前記分類を精密化するステップ、
を含む、
請求項１７記載の方法。
【請求項２２】
当該方法はさらに、
・前記ターゲット器官の術前３Ｄモデルを、前記ターゲット器官の生成された前記３Ｄモデルと位置合わせするステップと、
・前記術中画像シーケンスの新たなフレームを受け取るステップと、
・前記ターゲット器官の位置合わせされた前記術前３Ｄモデルを、前記術中画像シーケンスの前記新たなフレームに重ね合わせるステップと、
を含む、
請求項１５記載の方法。
【請求項２３】
前記ターゲット器官の位置合わせされた前記術前３Ｄモデルを、前記術中画像シーケンスの前記新たなフレームに重ね合わせる前記ステップは、
・前記術中画像シーケンスの前記新たなフレームにおいてセマンティックセグメンテーションを実施して、前記新たなフレーム内の複数の画素各々を、前記ターゲット器官の前記セマンティックオブジェクトクラスに関して分類するステップと、
・前記術中画像シーケンスの前記新たなフレーム内の前記ターゲット器官の前記セマンティックオブジェクトクラスに分類された前記画素に基づき、前記ターゲット器官の位置合わせされた前記術前３Ｄモデルを、前記術中画像シーケンスの前記新たなフレームに合わせてアライメントするステップと、
を含む、
請求項２２記載の方法。
【請求項２４】
前記ターゲット器官は肝臓である、
請求項１５記載の方法。
【請求項２５】
術中画像のセマンティックセグメンテーションのための装置であって、
・２Ｄ画像チャネルと２．５Ｄ奥行きチャネルとを含む術中画像を受け取る手段と、
・前記術中画像における複数の画素各々について、前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから統計的フィーチャを抽出する装置と、
・前記術中画像における前記複数の画素各々を、ターゲット器官のセマンティックオブジェクトクラスに関して、前記複数の画素各々について抽出された前記統計的フィーチャに基づき、トレーニング済み分類器を用いて分類する装置と、
を含む、
術中画像のセマンティックセグメンテーションのための装置。
【請求項２６】
前記術中画像における複数の画素各々について、前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから統計的フィーチャを抽出する前記手段は、
前記複数の画素各々の周囲の個々の画像パッチ内における前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから前記統計的フィーチャを抽出する手段、
を含む、
請求項２５記載の装置。
【請求項２７】
前記複数の画素各々の周囲の個々の画像パッチ内における前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから前記統計的フィーチャを抽出する前記手段は、
前記複数の画素各々の周囲の前記個々の画像パッチ内における前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとを統合する少なくとも１つの画像フィーチャを抽出する手段、
を含む、
請求項２６記載の装置。
【請求項２８】
当該装置はさらに、
前記トレーニング済み分類器により前記術中画像における前記複数の画素について計算された前記ターゲット器官の前記セマンティックオブジェクトクラスに対する確率と、前記術中画像から抽出された前記ターゲット器官に対する優勢な器官境界とに基づき、前記術中画像における前記複数の画素の前記分類を精密化することによって、前記術中画像に対する精密化されたセマンティックマップを生成する手段、
を含む、
請求項２５記載の装置。
【請求項２９】
術中画像シーケンスからターゲット器官の３Ｄモデルを生成する装置であって、
・術中画像シーケンスの複数のフレームを受け取る手段と、ただし各フレームは、２Ｄ画像チャネルと２Ｄ奥行きチャネルとを含む２Ｄ／２．５Ｄ画像であり、
・前記術中画像シーケンスの各フレームにおいてセマンティックセグメンテーションを実施して、各フレーム内の複数の画素各々を、前記ターゲット器官のセマンティックオブジェクトクラスに関して分類する手段と、
・個々の前記フレーム内で前記ターゲット器官の前記セマンティックオブジェクトクラスに分類された各画素間の対応関係を用いて、前記複数のフレームの個々のフレームを互いにスティッチングすることにより、解剖学的ターゲットオブジェクトの３Ｄモデルを生成する手段と、
を含む、
術中画像シーケンスからターゲット器官の３Ｄモデルを生成する装置。
【請求項３０】
前記術中画像シーケンスの各フレームにおいてセマンティックセグメンテーションを実施して、各フレーム内の複数の画素各々を、前記ターゲット器官のセマンティックオブジェクトクラスに関して分類する前記手段は、
・各フレーム内の前記複数の画素各々について、前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから統計的フィーチャを抽出する手段と、
・各フレーム内の前記複数の画素各々を、ターゲット器官の前記セマンティックオブジェクトクラスに関して、前記複数の画素各々について抽出された前記統計的フィーチャに基づき、トレーニング済み分類器を用いて分類する手段と、
を含む、
請求項２９記載の装置。
【請求項３１】
前記フレーム内の前記複数の画素各々について、前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから統計的フィーチャを抽出する前記手段は、
各フレーム内の前記複数の画素各々の周囲の個々の画像パッチ内における前記２Ｄ画像チャネルからの情報と前記２．５Ｄ奥行きチャネルからの情報とを統合する前記統計的フィーチャを抽出する手段、
を含む、
請求項３０記載の装置。
【請求項３２】
術中画像のセマンティックセグメンテーションのためのコンピュータプログラム命令を記憶する非一時的コンピュータ読み取り可能媒体であって、
前記コンピュータプログラム命令は、プロセッサにより実行されると、該プロセッサに以下のオペレーションを実施させる、すなわち、
・２Ｄ画像チャネルと２．５Ｄ奥行きチャネルとを含む術中画像を受け取るオペレーションと、
・前記術中画像における複数の画素各々について、前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから統計的フィーチャを抽出するオペレーションと、
・前記術中画像における前記複数の画素各々を、ターゲット器官のセマンティックオブジェクトクラスに関して、前記複数の画素各々について抽出された前記統計的フィーチャに基づき、トレーニング済み分類器を用いて分類するオペレーションと、
を実施させる、
非一時的コンピュータ読み取り可能媒体。
【請求項３３】
前記術中画像における複数の画素各々について、前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから統計的フィーチャを抽出する前記オペレーションは、
前記術中画像における前記複数の画素各々について、前記画素の周囲の１つの画像パッチ内における前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから前記統計的フィーチャを抽出するオペレーション、
を含む、
請求項３２記載の非一時的コンピュータ読み取り可能媒体。
【請求項３４】
前記画素の周囲の１つの画像パッチ内における前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから前記統計的フィーチャを抽出する前記オペレーションは、
前記画素の周囲の前記画像パッチ内における前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとを統合する少なくとも１つの画像フィーチャを抽出するオペレーション、
を含む、
請求項３３記載の非一時的コンピュータ読み取り可能媒体。
【請求項３５】
前記術中画像における前記複数の画素各々を、ターゲット器官のセマンティックオブジェクトクラスに関して、前記複数の画素各々について抽出された前記統計的フィーチャに基づき、トレーニング済み分類器を用いて分類する前記オペレーションは、
前記ターゲット器官の前記セマンティックオブジェクトクラスに対する確率を、前記術中画像における前記複数の画素各々について、前記複数の画素各々について抽出された前記統計的フィーチャに基づき、前記トレーニング済み分類器を用いて計算するオペレーションを含む、
請求項３２記載の非一時的コンピュータ読み取り可能媒体。
【請求項３６】
前記トレーニング済み分類器により前記術中画像における前記複数の画素について計算された前記ターゲット器官の前記セマンティックオブジェクトクラスに対する確率と、前記術中画像から抽出された前記ターゲット器官に対する優勢な器官境界とに基づき、グラフベースの方法を用いて、前記術中画像における前記複数の画素の前記分類を精密化することによって、前記術中画像に対する精密化されたセマンティックマップを生成するオペレーション、をさらに含む、
請求項３２記載の非一時的コンピュータ読み取り可能媒体。
【請求項３７】
術中画像シーケンスからターゲット器官の３Ｄモデルを生成するためのコンピュータプログラム命令を記憶する非一時的コンピュータ読み取り可能媒体であって、
前記コンピュータプログラム命令は、プロセッサにより実行されると、該プロセッサに以下のオペレーションを実施させる、すなわち、
・術中画像シーケンスの複数のフレームを受け取るオペレーションと、ただし各フレームは、２Ｄ画像チャネルと２Ｄ奥行きチャネルとを含む２Ｄ／２．５Ｄ画像であり、
・前記術中画像シーケンスの各フレームにおいてセマンティックセグメンテーションを実施して、各フレーム内の複数の画素各々を、前記ターゲット器官のセマンティックオブジェクトクラスに関して分類するオペレーションと、
・個々の前記フレーム内で前記ターゲット器官の前記セマンティックオブジェクトクラスに分類された各画素間の対応関係を用いて、前記複数のフレームの個々のフレームを互いにスティッチングすることにより、解剖学的ターゲットオブジェクトの３Ｄモデルを生成するオペレーションと、
を実施させる、
非一時的コンピュータ読み取り可能媒体。
【請求項３８】
前記術中画像シーケンスの各フレームにおいてセマンティックセグメンテーションを実施して、各フレーム内の複数の画素各々を、前記ターゲット器官のセマンティックオブジェクトクラスに関して分類する前記オペレーションは、
前記術中画像シーケンスの前記複数のフレーム各々について、
・前記フレーム内の前記複数の画素各々について、前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから統計的フィーチャを抽出するオペレーションと、
・前記フレーム内の前記複数の画素各々を、ターゲット器官の前記セマンティックオブジェクトクラスに関して、前記複数の画素各々について抽出された前記統計的フィーチャに基づき、トレーニング済み分類器を用いて分類するオペレーションと、
を含む、
請求項３７記載の非一時的コンピュータ読み取り可能媒体。
【請求項３９】
前記フレーム内の前記複数の画素各々について、前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから統計的フィーチャを抽出する前記オペレーションは、
前記フレーム内の前記複数の画素各々について、前記画素の周囲の１つの画像パッチ内における前記２Ｄ画像チャネルからの情報と前記２．５Ｄ奥行きチャネルからの情報とを統合する前記統計的フィーチャを抽出するオペレーション、
を含む、
請求項３８記載の非一時的コンピュータ読み取り可能媒体。
【請求項４０】
前記フレーム内の前記複数の画素各々を、ターゲット器官の前記セマンティックオブジェクトクラスに関して、前記複数の画素各々について抽出された前記統計的フィーチャに基づき、トレーニング済み分類器を用いて分類する前記オペレーションは、
前記ターゲット器官の前記セマンティックオブジェクトクラスに対する確率を、前記フレーム内の前記複数の画素各々について、前記複数の画素各々について抽出された前記統計的フィーチャに基づき、前記トレーニング済み分類器を用いて計算するオペレーションを含む、
請求項３８記載の非一時的コンピュータ読み取り可能媒体。
【請求項４１】
前記オペレーションはさらに、
・前記ターゲット器官の術前３Ｄモデルを、前記ターゲット器官の生成された前記３Ｄモデルと位置合わせするオペレーションと、
・前記術中画像シーケンスの新たなフレームを受け取るオペレーションと、
・前記ターゲット器官の位置合わせされた前記術前３Ｄモデルを、前記術中画像シーケンスの前記新たなフレームに重ね合わせるオペレーションと、
を含む、
請求項３７記載の非一時的コンピュータ読み取り可能媒体。
【請求項４２】
前記ターゲット器官の位置合わせされた前記術前３Ｄモデルを、前記術中画像シーケンスの前記新たなフレームに重ね合わせる前記オペレーションは、
・前記術中画像シーケンスの前記新たなフレームにおいてセマンティックセグメンテーションを実施して、前記新たなフレーム内の複数の画素各々を、前記ターゲット器官の前記セマンティックオブジェクトクラスに関して分類するオペレーションと、
・前記術中画像シーケンスの前記新たなフレーム内の前記ターゲット器官の前記セマンティックオブジェクトクラスに分類された前記画素に基づき、前記ターゲット器官の位置合わせされた前記術前３Ｄモデルを、前記術中画像シーケンスの前記新たなフレームに合わせてアライメントするオペレーションと、
を含む、
請求項４１記載の非一時的コンピュータ読み取り可能媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
発明の背景
本発明は、腹腔鏡画像データまたは内視鏡画像データにおける解剖学的オブジェクトのセマンティックセグメンテーションに関するものであり、さらに詳しくは、２Ｄ／２．５Ｄの腹腔鏡画像データまたは内視鏡画像データから解剖学的ターゲットオブジェクトの３Ｄモデルをセグメンテーションすることに関する。
【０００２】
低侵襲性の外科手術において、画像シーケンスは、外科手術をガイドするために取得された腹腔鏡画像または内視鏡画像である。この場合、複数の２Ｄ画像を取得し、それらを互いにスティッチングして、観察対象器官の３Ｄモデルを生成することができる。しかしながら、カメラと器官の動きが複雑であることに起因して、正確な３Ｄスティッチングは難度が高い。それというのも、かかる３Ｄスティッチングのためには、複数の腹腔鏡画像または複数の内視鏡画像から成るシーケンスの連続する各フレーム間の対応について、ロバストな推定が必要とされるからである。
【０００３】
発明の概要
本発明によれば、腹腔鏡画像または内視鏡画像などのような術中画像におけるセマンティックセグメンテーションのための方法およびシステムが提供される。本発明の実施形態によれば、術中画像シーケンスの個々のフレームのセマンティックセグメンテーションが提供され、これによって、捕捉された画像シーケンス内の解剖学的構造の複雑な動きを理解できるようになる。かかるセマンティックセグメンテーションによって、構造固有の情報が提供され、この情報を用いて、術中画像シーケンスの複数のフレームを互いにスティッチングすることにより生成された、解剖学的ターゲット構造の精密な３Ｄモデルを改善することができる。本発明の実施形態によれば、セマンティックセグメンテーションを実施するために、２Ｄ外観や２．５Ｄ奥行きの情報など、腹腔鏡デバイスまたは内視デバイスにより供給されるチャネルの種々の下位水準のフィーチャが用いられる。
【０００４】
本発明の１つの実施形態によれば、２Ｄ画像チャネルと２．５Ｄ奥行きチャネルとを含む術中画像が受け取られる。術中画像における複数の画素各々について、２Ｄ画像チャネルと２．５Ｄ奥行きチャネルとから、統計的フィーチャが抽出される。術中画像における複数の画素各々が、ターゲット器官のセマンティックオブジェクトクラスに関して、複数の画素各々について抽出された統計的フィーチャに基づき、トレーニング済み分類器を用いて分類される。
【０００５】
本発明の別の実施形態によれば、術中画像シーケンスの複数のフレームが受け取られ、ただし各フレームは、２Ｄ画像チャネルおよび２Ｄ奥行きチャネルを含む２Ｄ／２．５Ｄ画像である。術中画像シーケンスの各フレームにおいて、セマンティックセグメンテーションが実施されて、各フレーム内の複数の画素各々が、ターゲット器官のセマンティックオブジェクトクラスに関して分類される。個々のフレーム内においてターゲット器官のセマンティックオブジェクトクラスに分類された各画素間の対応関係を用いて、複数のフレームにおける個々のフレームを互いにスティッチングすることによって、解剖学的ターゲットオブジェクトの３Ｄモデルが生成される。
【０００６】
以下の詳細な説明および添付の図面を参照すれば、本発明のこれらの利点およびその他の利点が、当業者にとって明確なものとなろう。
【図面の簡単な説明】
【０００７】
【図１】本発明の１つの実施形態による、２Ｄ／２．５Ｄ術中画像から解剖学的ターゲットオブジェクトの術中３Ｄモデルを生成する方法を示す図である。
【図２】本発明の１つの実施形態による２Ｄ／２．５Ｄ術中画像のセマンティックセグメンテーションを実施する方法を示す図である。
【図３】肝臓スキャンの一例および肝臓スキャンにより得られた対応する２Ｄ／２．５Ｄフレームを示す図である。
【図４】肝臓の腹腔鏡画像の一例を示す図である。
【図５】肝臓の腹腔鏡画像のセマンティックセグメンテーション結果の一例を示す図である。
【図６】本発明を実装可能なコンピュータを示す上位水準のブロック図である。
【０００８】
詳細な説明
本発明は、腹腔鏡画像データおよび内視鏡画像データにおけるセマンティックセグメンテーションのための、およびこのセマンティックセグメンテーションに基づく３Ｄオブジェクトスティッチングのための、方法およびシステムに関する。セマンティックセグメンテーションおよび３Ｄオブジェクトスティッチングのための方法を視覚的に理解できるよう、ここで本発明の実施形態について説明する。１つのディジタル画像は、１つまたは複数のオブジェクト（または形状）の複数のディジタル表現から成ることが多い。ここで１つのオブジェクトのディジタル表現は、オブジェクトの識別および操作に関して記述されることが多い。かかる操作は、コンピュータシステムのメモリまたは他の回路／ハードウェアにおいて達成される仮想的な操作である。よって、本発明の実施形態は、コンピュータシステム内に記憶されたデータを用いて、コンピュータシステム内で実施可能である、と理解されたい。
【０００９】
本発明の１つの実施形態によれば、２．５Ｄ画像データ（奥行きデータ）により拡充された２Ｄの腹腔鏡画像または内視鏡画像から成るシーケンスが、入力として受け取られ、画像領域内の各画素についてセマンティッククラスの確率が出力される。次いで、セグメンテーションされたこのセマンティック情報を用いて、１つまたは複数の解剖学的ターゲットオブジェクトの３Ｄモデルへの、２Ｄ画像データのスティッチングを改善することができる。２Ｄの腹腔鏡画像または内視鏡画像における関連画像領域のセグメンテーションに基づき、スティッチング手順を、特定の器官およびそれらの運動特性に合わせて整合することによって、改善することができる。本発明の実施形態によれば、トレーニングフェーズとテストフェーズとが用いられる。トレーニングフェーズは、教師あり機械学習コンセプトを使用して、ラベリングされたトレーニングデータに基づき分類器をトレーニングし、テストフェーズ中、トレーニングされた分類器を適用し、腹腔鏡画像または内視鏡画像を新たに入力して、セマンティックセグメンテーションを実行する。トレーニングとテストの双方のために、抽出された一連のフィーチャを学習することができ、効率的なランダム決定木分類器または他の何らかの機械学習技術を用いて、それらを分類することができる。これらのパワフルな分類器は本質的に多クラスであり、外科手術中、テストフェーズのためのリアルタイム能力を提供することができる。本発明の実施形態を、腹腔鏡画像または内視鏡画像などのような２Ｄの術中画像に適用することができ、それらの画像は、各画像に対応づけられた相応の２．５Ｄ奥行き情報を有する。ここで理解されたいのは、用語「腹腔鏡画像」および「内視鏡画像」は、本明細書では区別なく交換可能に用いられ、用語「術中画像」は、腹腔鏡画像および内視鏡画像を含め、外科手術中または外科的介入中に取得される何らかの医用画像のことを指す、という点である。
【００１０】
図１には、本発明の１つの実施形態による、２Ｄ／２．５Ｄ術中画像から解剖学的ターゲットオブジェクトの術中３Ｄモデルを生成する方法が示されている。図１の方法によれば、患者の解剖学的構造を表す術中画像データが、この術中画像データの各フレームのセマンティックセグメンテーションを実施するために変換され、解剖学的ターゲットオブジェクトの３Ｄモデルが生成される。ターゲット器官において実施される外科手術をガイドするために、図１の方法を適用してターゲット器官の術中３Ｄモデルを生成することができる。１つの例示的な実施形態によれば、図１の方法を使用して、たとえば肝臓から腫瘍または病巣を除去するために肝臓を切除するなど、肝臓における外科手術のガイダンスのために、患者の肝臓の術中３Ｄモデルを生成することができる。
【００１１】
図１を参照すると、ステップ１０２において、術中画像シーケンスの複数のフレームを受け取る。たとえば術中画像シーケンスを、腹腔鏡を介して取得された腹腔鏡画像シーケンスまたは内視鏡を介して取得された内視鏡画像シーケンスとすることができる。１つの有利な実施形態によれば、術中画像シーケンスの各フレームは２Ｄ／２．５Ｄ画像である。つまり、術中画像シーケンスの各フレームは、複数の画素各々についての一般的な２Ｄ画像外観情報を提供する２Ｄ画像チャネルと、この２Ｄ画像チャネルにおける複数の画素各々に対応する奥行き情報を提供する２．５Ｄ奥行きチャネルとを含んでいる。たとえば、術中画像シーケンスの各フレームは、ＲＧＢ−Ｄ（赤、緑、青＋奥行き）画像データを含むことができ、このデータは、各画素が１つのＲＧＢ値を有するＲＧＢ画像と、奥行き画像（奥行きマップ）とを含んでおり、奥行き画像において各画素の値は、奥行きまたは画像取得デバイス（たとえば腹腔鏡または内視鏡）のカメラからの画素の距離に相応する。術中画像の取得に用いられる画像取得デバイス（たとえば腹腔鏡または内視鏡）は、各時間フレームについてＲＧＢ画像を取得するためのカメラまたはビデオカメラを装備することができ、さらに同様に、各時間フレームについて奥行き情報を取得するための奥行きセンサも装備することができる。画像取得デバイスから直接、術中画像シーケンスのフレームを受け取ることができる。たとえば１つの有利な実施形態によれば、術中画像シーケンスのフレームを、画像取得デバイスによってそれらが取得されたときに、リアルタイムで受け取ることができる。別の選択肢として、術中画像シーケンスのフレームを、事前に取得されコンピュータシステムのメモリまたはストレージデバイスに記憶された術中画像をロードすることによって、受け取ることができる。
【００１２】
本発明の１つの実施形態によれば、術中画像シーケンスの複数のフレームを、ユーザ（たとえば医師、技師等）が画像取得デバイス（たとえば腹腔鏡または内視鏡）を用いてターゲット器官の完全なスキャンを実施することによって、取得することができる。このケースでは、術中画像のフレームがターゲット器官の表面全体をカバーするように、画像取得デバイスが画像（フレーム）を連続的に取得している間、ユーザが画像取得デバイスを移動させる。目下の変形状態でターゲット器官の画像全体を取得するために、これを外科手術開始時に実施することができる。
【００１３】
ステップ１０４において、トレーニング済み分類器を用いて術中画像シーケンスの各フレームにおいて、セマンティックセグメンテーションが実施される。ある特定の２Ｄ／２．５Ｄ術中画像のセマンティックセグメンテーションによって、画像領域内の各画素について、セマンティッククラスの確率が決定される。たとえば、ターゲット器官の１つの画素である画像フレーム内の各画素の確率を決定することができる。セマンティックセグメンテーションは、各画素について２Ｄ画像外観情報と２．５Ｄ奥行き情報とから抽出された統計的画像フィーチャに基づき、トレーニング済み分類器を用いて実施される。
【００１４】
図２は、本発明の１つの実施形態による２Ｄ／２．５Ｄ術中画像のセマンティックセグメンテーションを実施する方法が示されている。図２の方法を用いて、図１のステップ１０４を実現することができる。たとえば、図１のステップ１０４のところで、ターゲット器官の完全なスキャンの結果得られた術中画像シーケンスの複数のフレーム各々について別個に、図２による方法を実施することができる。１つの有利な実施形態によれば、術中画像のフレームを受け取るたびに、図２による方法をリアルタイムまたはほぼリアルタイムで実施することができる。ただし、図２による方法はかかる使用に限られるものではなく、任意の２Ｄ／２．５Ｄ術中画像のセマンティックセグメンテーションを実施するために適用することができる。
【００１５】
図２を参照すると、ステップ２０２において、術中画像シーケンスの目下のフレームを受け取る。１つの可能な実現形態によれば、術中画像シーケンスの目下のフレームを、腹腔鏡または内視鏡などの画像取得デバイスから、外科手術中にリアルタイムで受け取ることができる。目下のフレームは、２Ｄ画像チャネルと２．５Ｄ奥行きチャネルとを含む２Ｄ／２．５Ｄ画像である。たとえば、目下のフレームのためのＲＧＢ−Ｄ画像データには、各画素が１つのＲＧＢ値を有するＲＧＢ画像と、対応する奥行き画像とを含めることができ、この奥行き画像において各画素の値は、奥行きまたは画像取得デバイスのカメラからの距離に相応する。ＲＧＢ画像および奥行き画像における画素は、ＲＧＢ値と奥行き値とが目下のフレームにおける各画素に対応づけられるように、互いに対応している。図２のステップ２０２との関連ですでに述べたように、目下のフレームを、ターゲット器官の完全なスキャン中に得られた術中画像シーケンスの複数のフレームのうちの１つ、とすることができる。図３には、肝臓スキャンの一例および肝臓スキャンの結果得られた対応する２Ｄ／２．５Ｄフレームが示されている。図３に示されているように画像３００は、腹腔鏡が複数のポジション３０２，３０４，３０６，３０８および３１０にポジショニングされた肝臓スキャンの一例を示しており、この場合、各ポジションにおいて、腹腔鏡は肝臓３１２に対して配向され、肝臓３１２の相応の腹腔鏡画像（フレーム）が取得される。画像３２０は、ＲＧＢチャネル３２２と奥行きチャネル３２４とを有する複数の腹腔鏡画像から成る１つのシーケンスを示している。腹腔鏡画像シーケンス３２０の各フレーム３２６，３２８，３３０は、ＲＧＢ画像３２６ａ，３２８ａおよび３３０ａと、対応する奥行き画像３２６ｂ、３２８ｂおよび３３０ｂとを、それぞれ含んでいる。
【００１６】
図２を参照すると，ステップ２０４において、目下のフレームの２Ｄ画像チャネルと２．５Ｄ奥行きチャネルとから、統計的画像フィーチャが抽出される。本発明の実施形態によれば、ランダムフォレスト分類器などのようなトレーニング済み分類器を用いて学習し評価した複数の統計的画像フィーチャの組み合わせが用いられる。この分類のために統計的画像フィーチャを使用できる理由は、それらは画像データの統合された下位水準のフィーチャ階層間の分散および共分散を捕捉しているからである。有利な実施形態によれば、二次までの統計（すなわち平均および分散／共分散）を計算する目的で、目下のフレームのＲＧＢ画像のカラーチャネルと、目下のフレームの奥行き画像からの奥行き情報とが、目下のフレームの各画素の周囲の１つの画像パッチ内において統合される。たとえば、この画像パッチ内における平均および分散などの統計を、個々のフィーチャチャネル各々について計算することができ、この画像パッチ内における各フィーチャチャネルペア間の共分散を、複数のチャネルペアを考慮することによって計算することができる。特に、関与する各チャネル間の共分散によって、たとえば肝臓セグメンテーションにおける弁別力がもたらされ、この場合、テキスチャとカラーとの相関は、周囲の胃の領域から可視の肝臓セグメントを弁別するために役立つ。奥行き情報から計算された統計的フィーチャによって、目下の画像中の表面特性に関連する付加的な情報がもたらされる。ＲＧＢ画像のカラーチャネルと、奥行き画像からの奥行きデータとに加えて、ＲＧＢ画像および／または奥行き画像を種々のフィルタによって処理することができ、フィルタレスポンスを統合して、各画素について付加的な統計的フィーチャ（たとえば平均、分散、共分散）を計算するために使用することもできる。フィルタは、たとえば微分フィルタ、フィルタバンクなどである。たとえば、純然たるＲＧＢ値に対する操作に加え、任意の種類のフィルタリング（たとえば微分フィルタ、フィルタバンク等）を用いることができる。一体構造を用いて統計的フィーチャを効率的に計算することができ、たとえばグラフィック処理ユニット（ＧＰＵ）または汎用ＧＰＵ（ＧＰＧＰＵ）などのような大規模並列処理アーキテクチャを用いるなどして、並列化することができる。このようなアーキテクチャによって、セマンティックセグメンテーションのためのインタラクティブなレスポンスタイムを実現することができ、これによれば図２に示した方法を用いて、外科手術中に取得される術中画像のリアルタイムまたはほぼリアルタイムのセマンティックセグメンテーションを提供することができる。１つの所定の画素を中心とする画像パッチに対する複数の統計的フィーチャが合成されて、１つのフィーチャベクトルが形成される。各画素についてベクトル化されたフィーチャ記述子は、その画素を中心とする画像パッチを表す。
【００１７】
図４には、肝臓の腹腔鏡画像の一例が示されている。図４に示されているように、画像４０２および４０４は、肝臓の外観を示す腹腔鏡画像の具体例である。この場合、共分散フィーチャを用いて、弁別力のためにＲＧＢ、フィルタレスポンスおよび奥行き情報といった様々な下位水準のフィーチャチャネルを統合することができる。かかるフィーチャを、各画素の周囲の画像パッチから抽出することができ、各画素ごとに個々のフィーチャベクトルとしてまとめることができる。
【００１８】
再び図２を参照すると、ステップ２０６において、トレーニング済み分類器を用いて、抽出された統計的画像フィーチャに基づき、目下のフレームのセマンティックセグメンテーションが実行される。トレーニング済み分類器は、アノテーションが付けられたトレーニングデータに基づき、オフライントレーニングフェーズ中にトレーニングされる。画素レベルの分類であることから、トレーニングデータのアノテーションまたはラベリングを、マウスまたはタッチスクリーンといった入力デバイスをユーザが使用し、ストローク入力を用いて器官にアノテーションを付けることで、迅速に達成することができる。分類器のトレーニングに用いられるトレーニングデータは、それぞれ異なる視点や照明等のように、種々の取得から得られた種々のシーン特性を有する複数のトレーニング画像を含むのが望ましい。上述の統計的画像フィーチャは、トレーニング画像中の様々な画像パッチから抽出され、分類器のトレーニングのために画像パッチに対するフィーチャベクトルが用いられる。トレーニング中、フィーチャベクトルにセマンティックラベル（たとえば肝臓の画素対背景など）が割り当てられ、機械学習ベースの分類器をトレーニングするために用いられる。１つの有利な実施形態によれば、トレーニングデータに基づきランダム決定木分類器がトレーニングされるけれども、本発明はこれに限定されるものではなく、他のタイプの分類器も同様に使用することができる。トレーニング済み分類器は、たとえばコンピュータシステムのメモリまたはストレージデバイスに記憶され、オンラインテスト中、所定の画像に対してセマンティックセグメンテーションを実施するために用いられる。
【００１９】
術中画像シーケンスの目下のフレームのセマンティックセグメンテーションを実施する目的で、ステップ２０４においてすでに説明したとおり、目下のフレームの各画素の周囲の１つの画像パッチについて、１つのフィーチャベクトルが抽出される。トレーニング済み分類器は、各画素に対応づけられたフィーチャベクトルを評価し、各画素について各セマンティックオブジェクトクラスの確率を計算する。計算された確率に基づき、ラベル（たとえば肝臓または背景）を各画素に割り当てることもできる。１つの実施形態によれば、トレーニング済み分類器を、ターゲット器官または背景という２つのオブジェクトクラスだけを有する２値分類器としてもよい。たとえば、トレーニング済み分類器は、計算された確率に基づき各画素について、肝臓の画素であることの確率を計算して、各画素を肝臓または背景として分類することができる。１つの択一的な実施形態によれば、トレーニング済み分類器を多クラス分類器とすることができ、この分類器は、複数の異なる解剖学的構造と背景とに対応する複数のクラスについて、各画素ごとに確率を計算する。たとえば、各画素を胃と肝臓と背景とにセグメンテーションするために、ランダムフォレスト分類器をトレーニングすることができる。
【００２０】
図５には、肝臓の腹腔鏡画像のセマンティックセグメンテーション結果の一例が示されている。図５に示されているように、画像５００は肝臓の腹腔鏡画像であり、画像５１０は、腹腔鏡画像５００を肝臓と背景とに２値セグメンテーションするための、トレーニング済み分類器の画素レベルレスポンスを示す。画像５１０に示されているように、画像中の各画素が肝臓５１２または背景５１４に分類される。
【００２１】
再び図２を参照すると、ステップ２０８において、目下のフレームのセマンティックセグメンテーションに基づきセマンティックマップが生成される。トレーニング済み分類器を用いて各セマンティッククラスの確率が計算され、各画素にセマンティッククラスがラベリングされると、グラフベースの方法を用いて、器官境界などのようなＲＧＢ画像構造に関する画素のラベリングを精密化することができる一方、各セマンティッククラスについて各画素の信頼度（確率）が考慮される。グラフベースの方法を、条件付き確率場方式（ＣＲＦ）に基づくものとすることができ、これは目下のフレーム内の画素について計算された確率と、他のセグメンテーション技術を用いて目下のフレームにおいて抽出された器官境界とを使用して、目下のフレーム内の画素のラベリングを精密化する。目下のフレームのセマンティックセグメンテーションを表すグラフが生成される。このグラフには、複数のノードと、それらのノードを結合する複数のエッジとが含まれている。グラフのノードは、目下のフレーム内の画素と、各セマンティッククラスに関して対応する信頼度とを表す。エッジの重み付けは、２．５Ｄの奥行きデータと２ＤのＲＧＢデータとに基づき実施される境界抽出手順から導出される。グラフベースの方法によって、各ノードがセマンティックラベルを表すグループに分類され、各ノードについてのセマンティッククラスの確率とノードを結合するエッジの重み付けとに基づく、エネルギー関数を最小化するための最良のノードのグループ分けが見つけ出される。その際、エッジの重み付けは、抽出された器官境界を横断するノードを結合するエッジに対するペナルティ関数として振る舞う。その結果、目下のフレームに対し精密化されたセマンティックマップが得られる。図５を参照すると、図５の画像５１０は、肝臓の２値セグメンテーション問題についてトレーニング済み分類器の未処理の画素レベルレスポンスを示しているのに対し、画像５２０は、優勢な器官境界に関して画素レベルのセマンティックセグメンテーション５１０のグラフベースの精密化を用いて生成された、セマンティックマップを示している。画像５２０に示されているように、セマンティックマップ５２０によって、肝臓５２２および背景５２４としてラベリングされた画素が、画素レベルのセマンティックセグメンテーション５１０に対して精密化されている。
【００２２】
３Ｄスティッチング手順を用いることに加えて、ステップ２０８により得られたセマンティックマップおよび／またはステップ２０６により得られた画素レベルのセマンティックセグメンテーションを含むセマンティックセグメンテーション結果を、出力することができ、たとえばコンピュータシステムのディスプレイ装置にセマンティックセグメンテーション結果を表示するなどして、出力することができる。上述のように図２による方法を、１つの術中画像シーケンスの複数のフレームについて反復することができる。１つの可能な実現形態によれば、フレームからフレームへの動きが比較的少ないケースでは、画像内容に関する付加的な事前情報を用いて、セマンティックセグメンテーションを精密化し改善することができ、たとえばその際に、オンラインの学習および適応化の技術が用いられる。
【００２３】
再び図１を参照すると、ステップ１０６において、セマンティックセグメンテーション結果に基づき術中画像シーケンスのフレームをスティッチングすることによって、ターゲット器官の術中３Ｄモデルが生成される。ターゲット器官の完全なスキャニングに対応する１つの術中画像シーケンスの複数のフレームが取得され、各フレームにおいてセマンティックセグメンテーションが実施されたならば、ターゲット器官の術中３Ｄモデルを生成するために、セマンティックセグメンテーション結果を用いて、フレームの３Ｄスティッチングをガイドすることができる。それぞれ異なるフレームにおける対応関係に基づき、個々のフレームを相互にアライメントすることによって、３Ｄスティッチングを実施することができる。１つの有利な実現形態によれば、セマンティックにセグメンテーションされたフレームにおけるターゲット器官の画素の結合領域（たとえば肝臓の画素の結合領域）を用いて、各フレーム間の対応関係を推定することができる。したがって、各フレームにおけるターゲット器官のセマンティックにセグメンテーションされた結合領域に基づき、複数のフレームを互いにスティッチングすることによって、ターゲット器官の術中３Ｄモデルを生成することができる。スティッチングされた術中３Ｄモデルを、考慮された各オブジェクトクラスの確率によってセマンティックに拡充することができ、３Ｄモデルを生成するために用いられたスティッチングされたフレームのセマンティックセグメンテーション結果から得られた３Ｄモデルに、それらの確率がマッピングされる。１つの例示的な実現形態によれば、クラスラベルを各３Ｄポイントに割り当てることにより、３Ｄモデルを「カラー化」するために、確率マップを用いることができる。このことは、スティッチングプロセスにより知られている３Ｄから２Ｄへの投影を用いたクイックルックアップによって、行うことができる。これによって、クラスラベルに基づき各３Ｄポイントに１つのカラーを割り当てることができる。
【００２４】
ステップ１０８において、ターゲット器官の術中３Ｄモデルが出力される。たとえば、ターゲット器官の術中３Ｄモデルを、コンピュータシステムのディスプレイ装置にターゲット器官の術中３Ｄモデルを表示することによって、出力することができる。
【００２５】
たとえば外科手術の開始時、ターゲット器官の術中３Ｄモデルが生成されたときに、ターゲット器官の術前３Ｄモデルを、ターゲット器官の術中３Ｄモデルに対し位置合わせすることができる。術前３Ｄモデルを、コンピュータトモグラフィ（ＣＴ）または磁気共鳴イメージング（ＭＲＩ）といった画像診断法に基づき生成することができ、これによれば術中画像と比較してさらに付加的な詳細がもたらされる。ターゲット器官の術前３Ｄモデルと、ターゲット器官の術中３Ｄモデルとを、リジッドな位置合わせを計算し、ついで非線形の変形を行うことによって、位置合わせすることができる。たとえばこの位置合わせ手順によって、外科手術中の腹部のガス吸入前のターゲット器官（たとえば肝臓）の３Ｄ術前モデルが、外科手術中の腹部のガス吸入に起因してターゲット器官が変形した後の、ターゲット器官の術中３Ｄモデルと位置合わせされる。１つの可能な実現形態によれば、術中３Ｄモデルに対してマッピングされたセマンティッククラスの確率を、この位置合わせ手順において用いることができる。ターゲット器官の術前３Ｄモデルが、ターゲット器官の術中３Ｄモデルに位置合わせされたならば、変形された術前３Ｄモデルが、新たに取得された術中画像（すなわち新たに取得された術中画像シーケンスのフレーム）上に重ね合わせられ、それによって外科手術を実施するユーザにガイダンスが提供される。本発明の１つの有利な実施形態によれば、図２に示した方法を用いて、外科手術中に新たに取得された術中画像各々に対し、セマンティックセグメンテーションを実施することができ、各術中画像に対するセマンティックセグメンテーション結果を用いて、変形された術前３Ｄモデルを目下の術中画像に合わせてアライメントすることができ、それによって目下の術中画像上への術前３Ｄモデルの重ね合わせがガイドされる。次いで、外科手術をガイドするために、重ね合わせられた画像をユーザに表示することができる。
【００２６】
解剖学的オブジェクトの３Ｄモデルのセマンティックセグメンテーションおよび生成のための上述の方法を、周知のコンピュータプロセッサ、メモリユニット、ストレージデバイス、コンピュータソフトウェアおよび他の構成要素を用いて、コンピュータ上で実装することができる。図６には、かかるコンピュータの上位水準のブロック図が示されている。コンピュータ６０２はプロセッサ６０４を含み、このプロセッサ６０４は、コンピュータ６０２のすべてのオペレーションを規定するコンピュータプログラム命令を実行することで、かかるオペレーションを制御する。コンピュータプログラム命令を、ストレージデバイス６１２（たとえば磁気ディスク）に記憶させておくことができ、コンピュータプログラム命令の実行が望まれるときに、メモリ６１０にロードすることができる。したがって図１および図２に示した方法の各ステップを、メモリ６１０および／またはストレージデバイス６１２に記憶されたコンピュータプログラム命令によって規定することができ、それらのコンピュータプログラム命令を実行するプロセッサ６０４によって制御することができる。コンピュータ６０２に画像データを入力するために、腹腔鏡、内視鏡等の画像取得デバイス６２０を、コンピュータ６０２と接続することができる。画像取得デバイス６２０とコンピュータ６０２とが、ネットワークを介してワイヤレスで通信し合うようにすることができる。さらにコンピュータ６０２には、ネットワークを介して他のデバイスと通信するための１つまたは複数のインタフェース６０６も含まれている。さらにコンピュータ６０２には、コンピュータ６０２とのユーザインタラクションを可能にする他の入／出力デバイス６０８も含まれている（たとえばディスプレイ、キーボード、マウス、スピーカ、ボタン等）。かかる入／出力デバイス６０８を一連のコンピュータプログラムと連携させて、画像取得デバイス６２０から受け取ったボリュームにアノテーションを付与するアノテーションツールとして用いることができる。当業者であれば、実際のコンピュータの実装にさらに別の構成要素も同様に含めることができること、また、図６は、例示を目的として、かかるコンピュータの構成要素のいくつかを上位水準で表現したものであること、を理解するであろう。
【００２７】
ここで理解されたいのは、これまで述べてきた詳細な説明は、あらゆる点で例示的なものであり具体例であって、何ら限定的なものではないことであり、本明細書で開示した本発明の範囲は、詳細な説明に基づき決定されるべきものではなく、特許法によって認められる範囲全体に従って解釈される各請求項に基づき決定されるべきものである。さらに理解されたいのは、本明細書で示し説明した実施形態は、本発明の原理を例示したものにすぎないこと、当業者であれば本発明の範囲および着想を逸脱することなく様々な変更を実現できることである。当業者であるならば、本発明の範囲および着想を逸脱することなく、さらに別の様々な特徴の組み合わせを実現できるであろう。
【図１】
2018515197.tif 000003
【図２】
2018515197.tif 000004
【図３】
2018515197.tif 000005
【図４】
2018515197.tif 000006
【図５】
2018515197.tif 000007
【図６】
2018515197.tif 000008
【手続補正書】
【提出日】平成29年12月21日(2017.12.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
術中画像シーケンスからターゲット器官の３Ｄモデルを生成する方法であって、当該方法は、
・術中画像シーケンスの複数のフレームを受け取るステップと、ただし各フレームは、２Ｄ画像チャネルと２Ｄ奥行きチャネルとを含む２Ｄ／２．５Ｄ画像であり、前記複数のフレームは、前記ターゲット器官に関して複数の配向で取得され、
・前記術中画像シーケンスの各フレームにおいてセマンティックセグメンテーションを実施して、各フレーム内の複数の画素各々を、前記ターゲット器官のセマンティックオブジェクトクラスに関して分類するステップと、
・個々の前記フレーム内で前記ターゲット器官の前記セマンティックオブジェクトクラスに分類された各画素間の対応関係を用いて、前記ターゲット器官に関して複数の配向で取得された前記複数のフレームの個々のフレームを互いにスティッチングすることにより、解剖学的ターゲットオブジェクトの３Ｄモデルを生成するステップと、
を含む、
術中画像シーケンスからターゲット器官の３Ｄモデルを生成する方法。
【請求項２】
前記術中画像シーケンスは、腹腔鏡画像シーケンスまたは内視鏡画像シーケンスのうちの一方であり、前記複数のフレームは、腹腔鏡または内視鏡のうち一方を用いた前記ターゲット器官のスキャンに対応する、
請求項１記載の方法。
【請求項３】
前記術中画像シーケンスの各フレームにおいてセマンティックセグメンテーションを実施して、各フレーム内の複数の画素各々を、前記ターゲット器官のセマンティックオブジェクトクラスに関して分類する前記ステップは、
前記術中画像シーケンスにおける前記複数のフレーム各々について、
・前記フレーム内の前記複数の画素各々について、前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから統計的フィーチャを抽出するステップと、
・前記フレーム内の前記複数の画素各々を、タ―ゲット器官の前記セマンティックオブジェクトクラスに関して、前記複数の画素各々について抽出された前記統計的フィーチャに基づき、トレーニング済み分類器を用いて分類するステップと、
を含む、
請求項１記載の方法。
【請求項４】
前記フレーム内の前記複数の画素各々について、前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから統計的フィーチャを抽出する前記ステップは、
前記フレーム内の前記複数の画素各々について、前記画素の周囲の１つの画像パッチ内における前記２Ｄ画像チャネルからの情報と前記２．５Ｄ奥行きチャネルからの情報とを統合する前記統計的フィーチャを抽出するステップ、
を含む、
請求項３記載の方法。
【請求項５】
前記画素の周囲の１つの画像パッチ内における前記２Ｄ画像チャネルからの情報と前記２．５Ｄ奥行きチャネルからの情報とを統合する前記統計的フィーチャを抽出する前記ステップは、
前記画素の周囲の前記画像パッチ内における前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとの間の共分散を抽出するステップ、
を含む、
請求項４記載の方法。
【請求項６】
前記術中画像シーケンスの各フレームは、ＲＧＢ画像と対応する奥行き画像とを含むＲＧＢ−Ｄ画像であり、前記画素の周囲の１つの画像パッチ内における前記２Ｄ画像チャネルからの情報と前記２．５Ｄ奥行きチャネルからの情報とを統合する前記統計的フィーチャを抽出する前記ステップは、
前記画素の周囲の前記画像パッチ内における前記ＲＧＢ画像のカラーチャネルと前記奥行き画像の奥行きデータとを含む一連のフィーチャチャネルを統合する統計的フィーチャを計算するステップ、
を含む、
請求項４記載の方法。
【請求項７】
前記画素の周囲の前記画像パッチ内における前記ＲＧＢ画像のカラーチャネルと前記奥行き画像の奥行きデータとを含む一連のフィーチャチャネルを統合する統計的フィーチャを計算する前記ステップは、
・前記画像パッチ内におけるフィーチャチャネル各々について個々の平均を計算するステップと、
・前記画像パッチ内における前記フィーチャチャネルの各ペア間の共分散を計算するステップと、
を含む、
請求項６記載の方法。
【請求項８】
前記一連のフィーチャチャネルはさらに、１つまたは複数のフィルタを用いた、前記ＲＧＢ画像または前記奥行き画像のうち少なくとも一方のフィルタレスポンスを含む、
請求項７記載の方法。
【請求項９】
前記フレーム内の前記複数の画素各々を、ターゲット器官の前記セマンティックオブジェクトクラスに関して、前記複数の画素各々について抽出された前記統計的フィーチャに基づき、トレーニング済み分類器を用いて分類する前記ステップは、
前記ターゲット器官の前記セマンティックオブジェクトクラスに対する確率を、前記フレーム内の前記複数の画素各々について、前記複数の画素各々について抽出された前記統計的フィーチャに基づき、前記トレーニング済み分類器を用いて計算するステップを含む、
請求項３記載の方法。
【請求項１０】
前記トレーニング済み分類器は、トレーニング済みのランダムフォレスト分類器である、
請求項３記載の方法。
【請求項１１】
前記術中画像シーケンスの各フレームにおいてセマンティックセグメンテーションを実施して、各フレーム内の複数の画素各々を、前記ターゲット器官のセマンティックオブジェクトクラスに関して分類する前記ステップはさらに、
前記トレーニング済み分類器により前記フレームにおける前記複数の画素について計算された前記ターゲット器官の前記セマンティックオブジェクトクラスに対する確率と、前記術中画像から抽出された前記ターゲット器官に対する優勢な器官境界とに基づき、グラフベースの方法を用いて、前記術中画像シーケンスの各フレームにおける前記複数の画素の前記分類を精密化するステップ、
を含む、
請求項３記載の方法。
【請求項１２】
当該方法はさらに、
・前記ターゲット器官の術前３Ｄモデルを、前記ターゲット器官の生成された前記３Ｄモデルと位置合わせするステップと、
・前記術中画像シーケンスの新たなフレームを受け取るステップと、
・前記ターゲット器官の位置合わせされた前記術前３Ｄモデルを、前記術中画像シーケンスの前記新たなフレームに重ね合わせるステップと、
を含む、
請求項１記載の方法。
【請求項１３】
前記ターゲット器官の位置合わせされた前記術前３Ｄモデルを、前記術中画像シーケンスの前記新たなフレームに重ね合わせる前記ステップは、
・前記術中画像シーケンスの前記新たなフレームにおいてセマンティックセグメンテーションを実施して、前記新たなフレーム内の複数の画素各々を、前記ターゲット器官の前記セマンティックオブジェクトクラスに関して分類するステップと、
・前記術中画像シーケンスの前記新たなフレーム内の前記ターゲット器官の前記セマンティックオブジェクトクラスに分類された前記画素に基づき、前記ターゲット器官の位置合わせされた前記術前３Ｄモデルを、前記術中画像シーケンスの前記新たなフレームに合わせてアライメントするステップと、
を含む、
請求項１２記載の方法。
【請求項１４】
前記ターゲット器官は肝臓である、
請求項１記載の方法。
【請求項１５】
前記術中画像シーケンスの各フレームにおいてセマンティックセグメンテーションを実施して、各フレーム内の複数の画素各々を、前記ターゲット器官のセマンティックオブジェクトクラスに関して分類する前記ステップは、外科手術中の前記術中画像シーケンスの各フレームの取得に応答して、リアルタイムで実行される、
請求項１記載の方法。
【請求項１６】
術中画像シーケンスからターゲット器官の３Ｄモデルを生成する装置であって、
・術中画像シーケンスの複数のフレームを受け取る手段と、ただし各フレームは、２Ｄ画像チャネルと２Ｄ奥行きチャネルとを含む２Ｄ／２．５Ｄ画像であり、前記複数のフレームは、前記ターゲット器官に関して複数の配向で取得され、
・前記術中画像シーケンスの各フレームにおいてセマンティックセグメンテーションを実施して、各フレーム内の複数の画素各々を、前記ターゲット器官のセマンティックオブジェクトクラスに関して分類する手段と、
・個々の前記フレーム内で前記ターゲット器官の前記セマンティックオブジェクトクラスに分類された各画素間の対応関係を用いて、前記ターゲット器官に関して複数の配向で取得された前記複数のフレームの個々のフレームを互いにスティッチングすることにより、解剖学的ターゲットオブジェクトの３Ｄモデルを生成する手段と、
を含む、
術中画像シーケンスからターゲット器官の３Ｄモデルを生成する装置。
【請求項１７】
前記術中画像シーケンスの各フレームにおいてセマンティックセグメンテーションを実施して、各フレーム内の複数の画素各々を、前記ターゲット器官のセマンティックオブジェクトクラスに関して分類する前記手段は、
・各フレーム内の前記複数の画素各々について、前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから統計的フィーチャを抽出する手段と、
・各フレーム内の前記複数の画素各々を、タ―ゲット器官の前記セマンティックオブジェクトクラスに関して、前記複数の画素各々について抽出された前記統計的フィーチャに基づき、トレーニング済み分類器を用いて分類する手段と、
を含む、
請求項１６記載の装置。
【請求項１８】
前記フレーム内の前記複数の画素各々について、前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから統計的フィーチャを抽出する前記手段は、
各フレーム内の前記複数の画素各々の周囲の個々の画像パッチ内における前記２Ｄ画像チャネルからの情報と前記２．５Ｄ奥行きチャネルからの情報とを統合する前記統計的フィーチャを抽出する手段、
を含む、
請求項１７記載の装置。
【請求項１９】
術中画像シーケンスからターゲット器官の３Ｄモデルを生成するためのコンピュータプログラム命令を記憶する非一時的コンピュータ読み取り可能媒体であって、
前記コンピュータプログラム命令は、プロセッサにより実行されると、該プロセッサに以下のオペレーションを実施させる、すなわち、
・術中画像シーケンスの複数のフレームを受け取るオペレーションと、ただし各フレームは、２Ｄ画像チャネルと２Ｄ奥行きチャネルとを含む２Ｄ／２．５Ｄ画像であり、前記複数のフレームは、前記ターゲット器官に関して複数の配向で取得され、
・前記術中画像シーケンスの各フレームにおいてセマンティックセグメンテーションを実施して、各フレーム内の複数の画素各々を、前記ターゲット器官のセマンティックオブジェクトクラスに関して分類するオペレーションと、
・個々の前記フレーム内で前記ターゲット器官の前記セマンティックオブジェクトクラスに分類された各画素間の対応関係を用いて、前記ターゲット器官に関して複数の配向で取得された前記複数のフレームの個々のフレームを互いにスティッチングすることにより、解剖学的ターゲットオブジェクトの３Ｄモデルを生成するオペレーションと、
を実施させる、
非一時的コンピュータ読み取り可能媒体。
【請求項２０】
前記術中画像シーケンスの各フレームにおいてセマンティックセグメンテーションを実施して、各フレーム内の複数の画素各々を、前記ターゲット器官のセマンティックオブジェクトクラスに関して分類する前記オペレーションは、
前記術中画像シーケンスの前記複数のフレーム各々について、
・前記フレーム内の前記複数の画素各々について、前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから統計的フィーチャを抽出するオペレーションと、
・前記フレーム内の前記複数の画素各々を、タ―ゲット器官の前記セマンティックオブジェクトクラスに関して、前記複数の画素各々について抽出された前記統計的フィーチャに基づき、トレーニング済み分類器を用いて分類するオペレーションと、
を含む、
請求項１９記載の非一時的コンピュータ読み取り可能媒体。
【請求項２１】
前記フレーム内の前記複数の画素各々について、前記２Ｄ画像チャネルと前記２．５Ｄ奥行きチャネルとから統計的フィーチャを抽出する前記オペレーションは、
前記フレーム内の前記複数の画素各々について、前記画素の周囲の画像パッチ内の前記２Ｄ画像チャネルからの情報と前記２．５Ｄ奥行きチャネルからの情報とを統合する前記統計的フィーチャを抽出するオペレーション、
を含む、
請求項２０記載の非一時的コンピュータ読み取り可能媒体。
【請求項２２】
前記フレーム内の前記複数の画素各々を、ターゲット器官の前記セマンティックオブジェクトクラスに関して、前記複数の画素各々について抽出された前記統計的フィーチャに基づき、トレーニング済み分類器を用いて分類する前記オペレーションは、
前記ターゲット器官の前記セマンティックオブジェクトクラスに対する確率を、前記フレーム内の前記複数の画素各々について、前記複数の画素各々について抽出された前記統計的フィーチャに基づき、前記トレーニング済み分類器を用いて計算するオペレーションを含む、
請求項２０記載の非一時的コンピュータ読み取り可能媒体。
【請求項２３】
前記オペレーションはさらに、
・前記ターゲット器官の術前３Ｄモデルを、前記ターゲット器官の生成された前記３Ｄモデルと位置合わせするオペレーションと、
・前記術中画像シーケンスの新たなフレームを受け取るオペレーションと、
・前記ターゲット器官の位置合わせされた前記術前３Ｄモデルを、前記術中画像シーケンスの前記新たなフレームに重ね合わせるオペレーションと、
を含む、
請求項１９記載の非一時的コンピュータ読み取り可能媒体。
【請求項２４】
前記ターゲット器官の位置合わせされた前記術前３Ｄモデルを、前記術中画像シーケンスの前記新たなフレームに重ね合わせる前記オペレーションは、
・前記術中画像シーケンスの前記新たなフレームにおいてセマンティックセグメンテーションを実施して、前記新たなフレーム内の複数の画素各々を、前記ターゲット器官の前記セマンティックオブジェクトクラスに関して分類するオペレーションと、
・前記術中画像シーケンスの前記新たなフレーム内の前記ターゲット器官の前記セマンティックオブジェクトクラスに分類された前記画素に基づき、前記ターゲット器官の位置合わせされた前記術前３Ｄモデルを、前記術中画像シーケンスの前記新たなフレームに合わせてアライメントするオペレーションと、
を含む、
請求項２３記載の非一時的コンピュータ読み取り可能媒体。
【国際調査報告】
2018515197.tif 000009
2018515197.tif 000010