(57)【要約】  病理顕微鏡、表示モジュール、制御方法、装置及び記憶媒体が提供され、病理顕微鏡は、顕微鏡本体（２０）、画像収集ユニット（２１）、制御ユニット（２２）及び拡張現実ＡＲ投影ユニット（２３）を含む。顕微鏡本体（２０）に入射光路及び出射光路が形成され、画像収集ユニット（２１）が入射光路に設けられ、制御ユニット（２２）の入力端が画像収集ユニット（２１）に電気的に接続され、制御ユニット（２２）の出力端がＡＲ投影ユニット（２３）に電気的に接続され、ＡＲ投影ユニット（２３）が出射光路に設けられる。
2021516373.tif 000002
【特許請求の範囲】
【請求項１】
病理顕微鏡に適用される付加表示モジュールであって、
前記病理顕微鏡の入射光路に設けられ、前記入射光路からデジタル病理画像を収集するための画像収集ユニットと、
前記デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成するための制御ユニットと、
前記病理顕微鏡の出射光路に設けられ、前記出射光路において、前記ＡＩ分析情報を前記病理顕微鏡の顕微鏡視野に投影するための拡張現実ＡＲ投影ユニットとを、含み、
前記制御ユニットは、入力端が前記画像収集ユニットに電気的に接続され、出力端が前記ＡＲ投影ユニットに電気的に接続される付加表示モジュール。
【請求項２】
前記制御ユニットは、
少なくとも１つのＡＩ分析モデルを取得し、前記デジタル病理画像の使用シーンに対応するターゲットＡＩ分析モデルを決定し、前記ターゲットＡＩ分析モデルを呼び出して前記デジタル病理画像をＡＩ分析して前記ＡＩ分析情報を生成するステップ、及び
前記デジタル病理画像を、サーバに送信し、前記サーバから送られてくる前記ＡＩ分析情報を受信するステップであって、前記サーバは、ＡＩ分析モデルを記憶しており、前記ＡＩ分析モデルで前記デジタル病理画像に対するＡＩ分析を実行することにより、ＡＩ分析情報を取得するものである、ステップ、
のうちの少なくとも１つを実行することを特徴とする、請求項１に記載の付加表示モジュール。
【請求項３】
前記制御ユニットは、
前記デジタル病理画像の使用シーンが腫瘍領域検査である場合、腫瘍領域検査ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記腫瘍領域検査ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析することにより、腫瘍分析情報を取得するステップと、
前記デジタル病理画像の使用シーンが細胞検出である場合、細胞検出ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記細胞検出ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析することにより、細胞検出情報を取得するステップと、
前記デジタル病理画像の使用シーンが伝染病検査である場合、伝染病検査ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記伝染病検査ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析することにより、伝染病検査情報を取得するステップとのうちの少なくとも１つを実行することを特徴とする、請求項２に記載の付加表示モジュール。
【請求項４】
前記付加表示モジュールは、前記制御ユニットに接続される音声収集ユニットを更に含み、
前記音声収集ユニットは、外部の音声信号を収集するものであり、
前記制御ユニットは、前記音声信号の制御命令を認識し、前記制御命令に基づいて前記ＡＩ分析の分析過程を制御することを特徴とする、請求項１に記載の付加表示モジュール。
【請求項５】
前記制御ユニットは、前記制御命令がモデル選択命令の場合、前記モデル選択命令に基づいて前記ターゲットＡＩ分析モデルを選択することを特徴とする、請求項４に記載の付加表示モジュール。
【請求項６】
前記付加表示モジュールは、前記制御ユニットに接続されたネットワークユニットを更に含み、
前記制御ユニットは、
前記制御命令がモデルダウンロード命令の場合、前記ネットワークユニットに、少なくとも１つのＡＩ分析モデルをダウンロードするよう制御するか、もしくは、
前記ターゲットＡＩ分析モデルが記憶されていない場合、前記ネットワークユニットに、前記ターゲットＡＩ分析モデルをダウンロードするよう制御することを特徴とする、請求項５に記載の付加表示モジュール。
【請求項７】
前記制御ユニットは、
前記制御命令が第１の生成命令の場合、前記ＡＩ分析情報が含まれる病理報告を生成するか、もしくは、
前記制御命令が第２の生成命令の場合、前記ＡＩ分析情報と、病理切片上の文字又は図形コードから認識された患者情報が含まれるカルテレポートを生成することを特徴とする、請求項４に記載の付加表示モジュール。
【請求項８】
前記制御ユニットは、前記音声信号から認識された文字内容に基づいて、前記病理報告又は前記カルテレポートにおける医師記録を生成することを特徴とする、請求項７に記載の付加表示モジュール。
【請求項９】
前記付加表示モジュールは、前記制御ユニットに接続されたネットワークユニットを更に含み、
前記制御ユニットは、
前記ネットワークユニットに前記病理報告又は前記カルテレポートを第１のターゲット装置にアップロードするよう制御するステップと、
前記ネットワークユニットに、前記ＡＩ分析情報が重畳された顕微鏡画像を第２のターゲット装置にアップロードするか、もしくは、予め設定した共有チャネルに共有するよう制御するステップ、のうちの少なくとも１つを実行することを特徴とする、請求項７に記載の付加表示モジュール。
【請求項１０】
前記付加表示モジュールは、前記制御ユニットに接続された音声再生ユニットを更に含み、
前記制御ユニットは、さらに、前記音声再生ユニットに前記ＡＩ分析情報を再生するよう制御することを特徴とする、請求項１〜３のいずれか１項に記載の付加表示モジュール。
【請求項１１】
入射光路に対応する第１の本体部分及び出射光路に対応する第２の本体部分を有する顕微鏡本体と、
付加表示モジュールとを含む病理顕微鏡であって、
前記付加表示モジュールは、
前記病理顕微鏡の入射光路に設けられ、前記入射光路からデジタル病理画像を収集するための画像収集ユニットと、
前記デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成するための制御ユニットと、
前記病理顕微鏡の出射光路に設けられ、前記出射光路において、前記ＡＩ分析情報を前記病理顕微鏡の顕微鏡視野に投影するための拡張現実ＡＲ投影ユニットとを、含み、
前記制御ユニットは、入力端が前記画像収集ユニットに電気的に接続され、出力端が前記ＡＲ投影ユニットに電気的に接続される病理顕微鏡。
【請求項１２】
前記制御ユニットは、
少なくとも１つのＡＩ分析モデルを取得し、前記デジタル病理画像の使用シーンに対応するターゲットＡＩ分析モデルを決定し、前記ターゲットＡＩ分析モデルを呼び出して前記デジタル病理画像をＡＩ分析して前記ＡＩ分析情報を生成するステップ、及び
前記デジタル病理画像を、サーバに送信し、前記サーバから送られてくる前記ＡＩ分析情報を受信するステップであって、前記サーバは、ＡＩ分析モデルが記憶されており、前記ＡＩ分析モデルで前記デジタル病理画像に対するＡＩ分析を実行することにより、ＡＩ分析情報を取得するものである、ステップ、
のうちの少なくとも１つを実行することを特徴とする、請求項１１に記載の病理顕微鏡。
【請求項１３】
前記制御ユニットは、
前記デジタル病理画像の使用シーンが腫瘍領域検査である場合、腫瘍領域検査ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記腫瘍領域検査ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析することにより、腫瘍分析情報を取得するステップと、
前記デジタル病理画像の使用シーンが細胞検出である場合、細胞検出ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記細胞検出ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析することにより、細胞検出情報を取得するステップと、
前記デジタル病理画像の使用シーンが伝染病検査である場合、伝染病検査ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記伝染病検査ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析することにより、伝染病検査情報を取得するステップとのうちの少なくとも１つを実行することを特徴とする、請求項１２に記載の病理顕微鏡。
【請求項１４】
前記付加表示モジュールは、前記制御ユニットに接続される音声収集ユニットを更に含み、
前記音声収集ユニットは、外部の音声信号を収集するものであり、
前記制御ユニットは、前記音声信号の制御命令を認識し、前記制御命令に基づいて前記ＡＩ分析の分析過程を制御することを特徴とする、請求項１１に記載の病理顕微鏡。
【請求項１５】
前記制御ユニットは、前記制御命令がモデル選択命令の場合、前記モデル選択命令に基づいて前記ターゲットＡＩ分析モデルを選択することを特徴とする、請求項１４に記載の病理顕微鏡。
【請求項１６】
前記付加表示モジュールは、前記制御ユニットに接続されたネットワークユニットを更に含み、
前記制御ユニットは、
前記制御命令がモデルダウンロード命令の場合、前記ネットワークユニットに、少なくとも１つのＡＩ分析モデルをダウンロードするよう制御するか、もしくは、
前記ターゲットＡＩ分析モデルが記憶されていない場合、前記ネットワークユニットに、前記ターゲットＡＩ分析モデルをダウンロードするよう制御することを特徴とする、請求項１５に記載の病理顕微鏡。
【請求項１７】
前記制御ユニットは、
前記制御命令が第１の生成命令であるの場合、前記ＡＩ分析情報が含まれる病理報告を生成するか、もしくは、
前記制御命令が第２の生成命令の場合、前記ＡＩ分析情報と、病理切片上の文字又は図形コードから認識された患者情報が含まれるカルテレポートを生成することを特徴とする、請求項１４に記載の病理顕微鏡。
【請求項１８】
前記制御ユニットは、前記音声信号から認識された文字内容に基づいて、前記病理報告又は前記カルテレポートにおける医師記録を生成することを特徴とする、請求項１７に記載の病理顕微鏡。
【請求項１９】
前記付加表示モジュールは、前記制御ユニットに接続されたネットワークユニットを更に含み、
前記制御ユニットは、
前記ネットワークユニットに前記病理報告又は前記カルテレポートを第１のターゲット装置にアップロードするよう制御するステップと、
前記ネットワークユニットに、前記ＡＩ分析情報が重畳された顕微鏡画像を第２のターゲット装置にアップロードするか、もしくは、予め設定した共有チャネルに共有するよう制御するステップ、のうちの少なくとも１つを実行することを特徴とする、請求項１７に記載の病理顕微鏡。
【請求項２０】
前記付加表示モジュールは、前記制御ユニットに接続された音声再生ユニットを更に含み、
前記制御ユニットは、さらに、前記音声再生ユニットに前記ＡＩ分析情報を再生するよう制御することを特徴とする、請求項１１〜１３のいずれか１項に記載の病理顕微鏡。
【請求項２１】
前記付加表示モジュールの全部又は一部のユニットが、前記顕微鏡本体に実装されるか、
もしくは、前記第１の本体部分に、前記入射光路からデジタル病理画像を収集するための画像収集ユニットを取り付けるための第１のインターフェースが形成され、前記第２の本体部分には、前記デジタル病理画像をＡＩ分析して得られる人工知能ＡＩ分析情報を顕微鏡視野に投影するための拡張現実ＡＲ投影ユニットを取り付けるための第２のインターフェースが形成されることを特徴とする、請求項１１に記載の病理顕微鏡。
【請求項２２】
請求項１又は１１に記載の前記制御ユニットが実行する制御方法であって、
画像収集ユニットが入射光路から収集したデジタル病理画像を取得するステップと、
前記デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成するステップと、
ＡＲ投影ユニットが出射光路において前記ＡＩ分析情報を病理顕微鏡の顕微鏡視野に投影するよう制御するステップとを含む表示制御方法。
【請求項２３】
請求項１又は１１に記載の前記制御ユニットに実装される表示制御装置であって、
画像収集ユニットが入射光路から収集したデジタル病理画像を取得するための画像取得部と、
前記デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成するための画像分析部と、
ＡＲ投影ユニットが出射光路において前記ＡＩ分析情報を病理顕微鏡の顕微鏡視野に投影するよう制御するための画像投影部とを含むことを特徴とする表示制御装置。
【請求項２４】
プロセッサによってロードされ、実行されることにより、請求項２２に記載の表示制御方法を実現する少なくとも１つの命令が記憶されていることを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１８年８月２１日に中国特許庁に提出された、出願番号が２０１８１０９５６２２３．３、発明の名称が「病理顕微鏡、表示モジュール、制御方法、装置及び記憶媒体」である中国特許出願に基づく優先権を主張するものであり、その全内容を本出願に参照により援用する。
【０００２】
本発明は、顕微鏡による撮像の分野に関し、特に病理顕微鏡並びに、その表示モジュール、制御方法、装置及び記憶媒体に関する。
【背景技術】
【０００３】
病理検査は、生体の器官、組織又は細胞の病理学的変化を検査するための病理形態学的手法である。病理検査過程において、医師は、一定の大きさの病変組織を切り出し、病理組織学的手法によって病理切片を作成し、そして病理顕微鏡を用いて病理切片を観察することで病変を観察する。関連技術では、病理切片のデジタル病理画像を取得することができ、医師は、デジタル病理画像から疑わしい病変領域があるか否かを確認し、疑わしい病変領域があれば、顕微鏡視野の病理切片画像において該疑わしい病変領域を再度確認できるため、顕微鏡視野に切り換える必要があり、顕微鏡視野で該疑わしい病変領域を見つけるにはかなりの時間がかかり、したがって、上記病理顕微鏡の使用が不便であり、観察中のリアルタイム性が低い。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本願に係る様々な実施例によれば、病理顕微鏡、表示モジュール、制御方法、装置及び記憶媒体が提供される。
【課題を解決するための手段】
【０００５】
本願の一態様によれば、病理顕微鏡に適用される付加表示モジュールであって、前記病理顕微鏡の入射光路に設けられ、前記入射光路からデジタル病理画像を収集するための画像収集ユニットと、前記デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成するための制御ユニットと、前記病理顕微鏡の出射光路に設けられ、前記出射光路において、前記ＡＩ分析情報を前記病理顕微鏡の顕微鏡視野に投影するためのＡＲ投影ユニットとを、含み、前記制御ユニットは、入力端が前記画像収集ユニットに電気的に接続され、出力端が前記ＡＲ投影ユニットに電気的に接続される付加表示モジュールが提供される。
【０００６】
本願の別の態様によれば、入射光路に対応する第１の本体部分と、出射光路に対応する第２の本体部分とを有する顕微鏡本体、及び前述のような付加表示モジュールを含む病理顕微鏡が提供される。
【０００７】
本願の別の態様によれば、制御ユニットによって実行される表示制御方法であって、画像収集ユニットが入射光路から収集したデジタル病理画像を取得するステップと、前記デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成するステップと、ＡＲ投影ユニットが出射光路において前記ＡＩ分析情報を病理顕微鏡の顕微鏡視野に投影するよう制御するステップとを含む表示制御方法が提供される。
【０００８】
一部の実施例では、前記デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成するステップは、少なくとも１つのＡＩ分析モデルを取得し、前記少なくとも１つのＡＩ分析モデルのうち、前記デジタル病理画像の使用シーンに対応するターゲットＡＩ分析モデルを決定し、前記ターゲットＡＩ分析モデルを呼び出して前記デジタル病理画像をＡＩ分析して前記ＡＩ分析情報を生成するステップ、及び前記デジタル病理画像を、サーバに送信し、前記サーバから送られてくる前記ＡＩ分析情報を受信するステップであって、前記サーバは、ＡＩ分析モデルを記憶しており、前記ＡＩ分析モデルで前記デジタル病理画像に対するＡＩ分析を実行することにより、ＡＩ分析情報を取得するものである、ステップのうちの少なくとも１つを含む。
【０００９】
ここで、前記デジタル病理画像の使用シーンが腫瘍領域検査である場合、腫瘍領域検査ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記腫瘍領域検査ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析して腫瘍分析情報を取得し、及び／又は、前記デジタル病理画像の使用シーンが細胞検出である場合、細胞検出ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記細胞検出ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析して細胞検出情報を取得し、及び／又は、前記デジタル病理画像の使用シーンが伝染病検査である場合、伝染病検査ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記伝染病検査ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析して伝染病検査情報を取得する。
【００１０】
一部の実施例では、前記方法は、さらに、音声収集ユニットの音声信号から収集された制御命令を認識するステップと、前記制御命令に基づいて前記ＡＩ分析の分析過程を制御するステップとを含む。前記制御命令がモデル選択命令の場合、前記モデル選択命令に基づいて前記ターゲットＡＩ分析モデルを選択する。前記制御命令がモデルダウンロード命令の場合、前記ネットワークユニットに、少なくとも１つのＡＩ分析モデルをダウンロードするよう制御するか、或いは、前記ターゲットＡＩ分析モデルが記憶されていない場合、前記ネットワークユニットに前記ターゲットＡＩ分析モデルをダウンロードするよう制御する。
【００１１】
一部の実施例では、前記方法は、さらに、前記制御命令が第１の生成命令の場合、前記ＡＩ分析情報が含まれる病理報告を生成するステップ、又は、前記制御命令が第２の生成命令の場合、前記ＡＩ分析情報と、病理切片上の文字又は図形コードから認識された患者情報が含まれるカルテレポートを生成するステップを含む。前記音声信号から認識された文字内容に基づいて、前記病理報告又は前記カルテレポートにおける医師記録を生成する。
【００１２】
一部の実施例では、前記方法は、さらに、前記ネットワークユニットに前記病理報告又は前記カルテレポートを第１のターゲット装置にアップロードするよう制御するステップ、及び前記ネットワークユニットに、前記ＡＩ分析情報が重畳された顕微鏡画像を第２のターゲット装置にアップロードするか、もしくは、予め設定した共有チャネルに共有するよう制御するステップ、のうちの少なくとも１つを含む。
【００１３】
一部の実施例では、前記方法は、さらに、音声再生ユニットによる前記ＡＩ分析情報の再生を制御するステップを含む。
【００１４】
本願の別の態様によれば、上記制御ユニットに実装される表示制御装置であって、画像収集ユニットが入射光路から収集したデジタル病理画像を取得するための画像取得部と、前記デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成するための画像分析部と、ＡＲ投影ユニットが出射光路において前記ＡＩ分析情報を病理顕微鏡の顕微鏡視野に投影するよう制御するための画像投影部とを含む表示制御装置が提供される。
【００１５】
ここで、前記画像分析部は、少なくとも１つのＡＩ分析モデルを取得し、前記デジタル病理画像の使用シーンに対応するターゲットＡＩ分析モデルを決定するためのモデル取得ユニット、前記ターゲットＡＩ分析モデルを呼び出して前記デジタル病理画像をＡＩ分析して前記ＡＩ分析情報を生成するためのモデル呼出ユニット、及び／又は、前記デジタル病理画像をサーバに送信するための画像送信ユニットであって、前記サーバはＡＩ分析モデルを記憶しており、前記ＡＩ分析モデルで前記デジタル病理画像に対するＡＩ分析を実行することにより、ＡＩ分析情報を取得するものである画像送信ユニット、前記サーバから送られてくる前記ＡＩ分析情報を受信する情報受信ユニットを含む。
【００１６】
ここで、前記モデル呼出ユニットは、前記デジタル病理画像の使用シーンが腫瘍領域検査である場合、腫瘍領域検査ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記腫瘍領域検査ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析することにより、腫瘍分析情報を取得するための腫瘍検査サブユニット、及び／又は、前記デジタル病理画像の使用シーンが細胞検出である場合、細胞検出ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記細胞検出ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析することにより、細胞検出情報を取得するための細胞検出サブユニット、及び／又は、前記デジタル病理画像の使用シーンが伝染病検査である場合、伝染病検査ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記伝染病検査ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析することにより、伝染病検査情報を取得するための伝染病検査サブユニットを含む。
【００１７】
一部の実施例では、前記装置は、さらに、音声収集ユニットの音声信号から収集された制御命令を認識し、前記制御命令に基づいて前記ＡＩ分析の分析過程を制御するための音声認識部を含む。前記音声認識部は、前記制御命令がモデル選択命令の場合、前記モデル選択命令に基づいて前記ターゲットＡＩ分析モデルを選択する。前記音声認識部は、前記制御命令がモデルダウンロード命令の場合、前記ネットワークユニットにより少なくとも１つのＡＩ分析モデルをダウンロードするか、或いは、前記ターゲットＡＩ分析モデルが記憶されていない場合、前記ネットワークユニットにより前記ターゲットＡＩ分析モデルをダウンロードする。
【００１８】
一部の実施例では、前記装置は、さらに、前記制御命令が第１の生成命令の場合、前記ＡＩ分析情報が含まれる病理報告を生成するか、もしくは、前記制御命令が第２の生成命令の場合、前記ＡＩ分析情報と、病理切片上の文字又は図形コードから認識された患者情報が含まれるカルテレポートを生成するための報告生成部を含む。前記報告生成部は、前記音声信号から認識された文字内容に基づいて、前記病理報告又は前記カルテレポートにおける医師記録を生成する。
【００１９】
一部の実施例では、前記装置は、さらに、前記ネットワークユニットにより前記病理報告又は前記カルテレポートを第１のターゲット装置にアップロードするための報告アップロード部、及び／又は、前記ネットワークユニットにより、前記ＡＩ分析情報が重畳された顕微鏡画像を第２のターゲット装置にアップロードするか又は予め設定した共有チャネルに共有するための画像アップロード部を含む。
【００２０】
一部の実施例では、前記装置は、さらに、音声再生ユニットによる前記ＡＩ分析情報の再生を制御するための情報再生部を含む。
【００２１】
本願の別の態様によれば、プロセッサによってロードされ、実行されることにより、上記のような表示制御方法を実現する少なくとも１つの命令が記憶されているコンピュータ可読記憶媒体が提供される。
【００２２】
本願の１つ以上の実施例の詳細は、以下の図面及び説明において提供される。本願の他の特徴、目的及び利点は、明細書、図面及び特許請求の範囲から明らかになる。
【００２３】
本願の実施例における技術的解決手段をより明確に説明するために、以下、実施例の説明に必要な図面を簡単に説明するが、明らかに、以下の説明における図面は本願の一部の実施例に過ぎず、当業者であれば、創造的な労働をせずにこれらの図面に基づいて他の図面を得ることができる。
【図面の簡単な説明】
【００２４】
【図１】関連技術に係る病理顕微鏡の動作原理図である。
【図２】本願の例示的な一実施例に係る病理顕微鏡の概略構成図である。
【図３】本願の例示的な一実施例に係る病理顕微鏡の画像収集ユニットが先端に配置される場合の概略構造図である。
【図４】本願の例示的な一実施例に係る病理顕微鏡の画像収集ユニットが側端に配置される場合の概略構造図である。
【図５】本願の例示的な一実施例に係る病理顕微鏡のＡＲ投影ユニットが投影する場合の第１の概略構造図である。
【図６】本願の例示的な一実施例に係る病理顕微鏡のＡＲ投影ユニットが投影する場合の第２の概略構造図である。
【図７】本願の別の例示的な一実施例に係る病理顕微鏡の概略構成図である。
【図８】本願の別の例示的な一実施例に係る病理顕微鏡の患者情報が文字によって認識される場合の概略図である。
【図９】本願の別の例示的な一実施例に係る病理顕微鏡の患者情報が二次元コードによって認識される場合の概略図である。
【図１０】本願の別の例示的な一実施例に係る病理顕微鏡の第１の概略構成図である。
【図１１】本願の別の例示的な一実施例に係る病理顕微鏡の第２の概略構成図である。
【図１２】本願の例示的な一実施例に係る病理顕微鏡の使用環境図である。
【図１３】本願の例示的な一実施例に係る病理顕微鏡のＡＩ分析モデルのトレーニング方法のフロー図である。
【図１４】本願の例示的な一実施例に係る表示制御方法のフロー図である。
【図１５】本願の別の例示的な一実施例に係る表示制御方法のフロー図である。
【図１６】本願の例示的な一実施例に係る表示制御装置のブロック図である。
【図１７】本願の別の例示的な一実施例に係る画像分析部のブロック図である。
【図１８】本願の別の例示的な一実施例に係る表示制御装置のブロック図である。
【図１９】本願の例示的な一実施例に係る病理顕微鏡の適用場所の概略図である。
【図２０】本願の例示的な一実施例に係る病理顕微鏡のハードウェアの概略構成図である。
【図２１】本願の例示的な一実施例に係る病理顕微鏡の機能応用のフロー図である。
【発明を実施するための形態】
【００２５】
本願の目的、技術的解決手段及び利点をより明確にするために、以下、図面を参照しながら本願の実施形態をさらに詳細に説明する。
【００２６】
病理顕微鏡は、臨床診断及び科学研究に広く応用され、病理切片画像によって生体の器官、組織又は細胞の病理形態学的特徴を取得することにより、病変の発生原因、発症メカニズム及び病変の進行過程を明らかにし、病変組織について評価及び診断を行うことができる。従来の病理診断は、専門の医師が病理顕微鏡下で病理切片を分析し診断することである。
【００２７】
大量の病理切片画像を観察することは、作業量が大きく、かつ一部の仕事に重複が多い。例えば、病理切片画像内の細胞を数えるとき、医師は、疲労のために誤判断しがちである。ＡＩ（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ、人工知能）技術を病理切片画像の分析に応用することにより、医師の診断を補助することができる。
【００２８】
図１は、関連技術に係る病理顕微鏡１００の動作原理図を示す。該病理顕微鏡１００は、光学構造を用いた顕微鏡本体１０を含み、該顕微鏡本体１０は、病理切片００を観察して病理切片画像０１を取得する。また、該病理顕微鏡１００は、さらに、画像収集ユニット１２及びＡＩ分析モデル１４を含む。画像収集ユニット１２は、顕微鏡本体１０の光路内から病理切片００のデジタル病理画像０２を収集して取得し、ＡＩ分析モデル１４は、デジタル病理画像０２をアルゴリズム分析してＡＩ病理切片画像０３を取得する。該ＡＩ病理切片画像０３は、液晶ディスプレイによって表示することができる。
【００２９】
このようなＡＩ技術の応用では、まず病理顕微鏡からデジタル画像を取得し、次にＡＩアルゴリズムによって分析する必要がある。しかしながら、上記病理顕微鏡１００では、顕微鏡視野内の画像とＡＩアルゴリズムによる処理後の画像とは個別であり、病理切片画像を観察する過程全体において、医師は視野を繰り返して切り替える必要がある。このような技術は、病理顕微鏡下で病理切片を直接観察するという医師の習慣に適合せず、医師の使用における利便性を向上させていない。
【００３０】
本願の一部の実施例では、ＡＲ技術を病理顕微鏡に統合することが望ましい。病理顕微鏡の顕微鏡視野内で病理切片を直接分析し、ＡＩ技術によって病理切片を分析して対応するＡＩ分析情報を生成し、そしてＡＲ技術によってＡＩ分析情報を病理顕微鏡の顕微鏡視野に直接的に統合する。
【００３１】
図２は、本願の例示的な一実施例に係る病理顕微鏡２００の概略構成図を示し、該病理顕微鏡２００は、顕微鏡本体２０、画像収集ユニット２１、制御ユニット２２及びＡＲ投影ユニット２３を含む。
【００３２】
顕微鏡本体２０に入射光路及び出射光路が形成され、画像収集ユニット２１が入射光路に設けられ、制御ユニット２２の入力端が画像収集ユニット２１に電気的に接続され、制御ユニット２２の出力端がＡＲ投影ユニット２３に電気的に接続され、ＡＲ投影ユニット２３が出射光路に設けられる。
【００３３】
顕微鏡本体２０における光学システムは、主に対物レンズ、接眼レンズ、ミラー及び集光器などを含み、本願の実施例は、顕微鏡本体２０における光学システムの構造を限定しない。これらのレンズ又はミラーの少なくとも１つは、入射光路と出射光路を形成する。一部の実施例では、対物レンズに近い光路が入射光路であり、接眼レンズに近い光路が出射光路である。
【００３４】
一部の実施例では、顕微鏡本体２０は、入射光路に対応する第１の本体部分と、出射光路に対応する第２の本体部分とを含む。可能な一実現形態では、画像収集ユニット２１が第１の本体部分に実装され、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ、拡張現実）投影ユニット２３が第２の本体部分に実装され、別の可能な一実現形態では、第１の本体部分には第１のインターフェースが形成され、画像収集ユニット２１には、第１の本体部分の第１のインターフェースに接続される第１のジョイントが形成され、同様に、第２の本体部分には第２のインターフェースが形成され、ＡＲ投影ユニット２３には、第２の本体部分の第２のインターフェースに接続される第２のジョイントが形成される。例示的には、第１のインターフェース及び第２のインターフェースは、ねじインターフェース、ソケットインターフェース又はクランプインターフェースの少なくとも１つである。
【００３５】
画像収集ユニット２１は、入射光路からデジタル病理画像を収集する。
【００３６】
制御ユニット２２は、デジタル病理画像をＡＩ分析してＡＩ分析情報を生成する。ＡＩ分析情報は、ＡＩ分析モデルを用いてデジタル病理画像を分析した結果情報である。
【００３７】
制御ユニット２２の内部には、デジタル病理画像をＡＩ分析するためのＡＩ分析モデルが設定されている。可能な一実施例では、制御ユニット２２は、さらに、少なくとも１つのＡＩ分析モデルを取得し、デジタル病理画像の使用シーンに対応するターゲットＡＩ分析モデルを決定し、ターゲットＡＩ分析モデルを呼び出してデジタル病理画像をＡＩ分析してＡＩ分析情報を生成する。
【００３８】
異なるＡＩ分析モデルは異なる分析能力を有し、制御ユニット２２の内部に１つ以上のＡＩ分析モデルが設定されてよい。制御ユニット２２に腫瘍領域検査ＡＩモデル、細胞検出ＡＩモデル及び伝染病検査ＡＩモデルの３種類のモデルの少なくとも１種のモデルが同時に設定されている場合を例とする。
【００３９】
制御ユニット２２は、さらに、デジタル病理画像の使用シーンが腫瘍領域検査シーンである場合、腫瘍領域検査ＡＩモデルをターゲットＡＩ分析モデルとして決定し、腫瘍領域検査ＡＩモデルを呼び出してデジタル病理画像をＡＩ分析することにより、腫瘍分析情報を取得する。任意選択で、腫瘍分析情報は、乳がん分析情報、骨がん分析情報及び消化管がん分析情報のいずれかを含んでよい。
【００４０】
制御ユニット２２は、さらに、デジタル病理画像の使用シーンが細胞検出である場合、細胞検出ＡＩモデルをターゲットＡＩ分析モデルとして決定し、細胞検出ＡＩモデルを呼び出してデジタル病理画像をＡＩ分析することにより、細胞検出情報を取得する。任意選択で、細胞検出情報は、細胞計数情報、有糸分裂細胞検出情報及び細胞核検査情報のいずれかを含んでよい。
【００４１】
制御ユニット２２は、さらに、デジタル病理画像の使用シーンが伝染病検査である場合、伝染病検査ＡＩモデルをターゲットＡＩ分析モデルとして決定し、伝染病検査ＡＩモデルを呼び出してデジタル病理画像をＡＩ分析することにより、伝染病検査情報を取得する。任意選択で、伝染病検査情報は、マラリア原虫卵検査情報及び抗酸菌検査情報のいずれかを含んでよい。
【００４２】
一部の実施例では、制御ユニット２２は、さらに、ローカルエリアネットワーク又は広域ネットワーク上の他の装置からＡＩ分析モデルをダウンロードする。例えば、制御ユニット２２は、現在の使用シーンに応じて、他の装置からＡＩ分析モデルをダウンロードする。
【００４３】
制御ユニット２２は、さらにデジタル病理画像をサーバに送信し、サーバにＡＩ分析モデルが記憶され、サーバはＡＩ分析モデルでデジタル病理画像に対するＡＩ分析を実行することにより、ＡＩ分析情報を取得する。制御ユニットは、さらに、サーバから送られてくるＡＩ分析情報を受信する。ここで、サーバは、１台のサーバであってもよく、複数台のサーバからなるサーバクラスタであってもよく、クラウド側に実行するクラウドサーバであってもよい。
【００４４】
ＡＲ投影ユニット２３は、出射光路においてＡＩ分析情報を顕微鏡本体２０の顕微鏡視野に投影する。一部の実施例では、ＡＩ分析情報は、文字、曲線、背景色又は動画の少なくとも１つを含む。ＡＩ分析情報は、顕微鏡視野内の画像（又は画面）と重ね合わせた後、ＡＩ病理画像（又はＡＩ病理画面）を形成することができる。例えば、ＡＩ病理画像において、矢印や文字などの形式で関心領域をマーキングしてよい。ヒートマップの形式でマーキングしてもよい。
【００４５】
以上より、本実施例に係る病理顕微鏡は、画像収集ユニットによってデジタル病理画像を収集し、制御ユニットによってデジタル病理画像をＡＩ分析してＡＩ分析情報を取得し、そしてＡＲ投影ユニットによってＡＩ分析情報を顕微鏡本体の顕微鏡視野に投影することにより、医師が病理切片画像とＡＩ分析情報を顕微鏡視野内に同時に観察することを可能にし、観察の全過程において視野を繰り返して切り替える必要がなくなるため、病理顕微鏡の観察過程をより簡潔かつ直接的にし、病理顕微鏡の使用中の高リアルタイム性を図る。
【００４６】
図２に基づく任意選択の実施例では、顕微鏡本体２０の入射光路に画像収集ユニットが設けられることについて、画像収集ユニット２１の２つの設置形態が例示される。
【００４７】
図３に示すように、顕微鏡本体２０の対物レンズ鏡筒１０１の先端に画像収集ユニット２１が嵌め込まれ、入射光線１０４は、分光プリズム１０２により分割された出射光線１０３が接眼レンズ鏡筒１０５に入射する。同時に、入射光線１０４は、依然として分光プリズム１０２を透過して対物レンズ鏡筒１０１の先端の方へ出射し、画像収集ユニット２１は、顕微鏡本体２０によって観察された画面を示す入射光線１０４を収集する。
【００４８】
図４に示すように、顕微鏡本体２０の対物レンズ鏡筒１０１の側端に画像収集ユニット２１が嵌め込まれ、入射光線１０４は、分光プリズム１０２により分割された出射光線１０３が接眼レンズ鏡筒１０５に入射し、入射光線１０４は、依然として分光プリズム１０２を透過して対物レンズ鏡筒１０１の先端の方へ出射し、該入射光線１０４は対物レンズ鏡筒１０１の先端で反射鏡１０６によって反射され、反射された入射光線１０４は画像収集ユニット２１の方へ出射し、画像収集ユニット２１は、顕微鏡本体２０によって観察された画面を示す入射光線１０４を収集する。
【００４９】
なお、上記画像収集ユニット２１の設置形態は、例示的なものに過ぎず、本願の実施例は、画像収集ユニット２１の設置形態を限定するものではない。
【００５０】
図２に基づく好ましい実施例では、顕微鏡本体１０の出射光路にＡＲ投影ユニットが設けられることについて、ＡＲ投影ユニットの２つの投影原理が例示される。
【００５１】
図５に示すように、顕微鏡本体２０の接眼レンズ鏡筒１０５の一側にＡＲ投影ユニット３３が嵌め込まれ、該ＡＲ投影ユニット３３の嵌め込み方向は、使用者の目が存在する方向とは逆であり、投影内容１０８が接眼レンズ鏡筒１０５内のレンズ１０７によって反射されて光線が偏向され、偏向された投影内容１０８は、顕微鏡本体１０によって観測された画面である出射光線１０３と平行であり、偏向された投影内容１０８及び出射光線１０３は重畳してＡＲ病理画像（又はＡＲ病理画面）を形成する。
【００５２】
図６に示すように、顕微鏡本体２０の接眼レンズ鏡筒１０５の一側にＡＲ投影ユニット３３が嵌め込まれ、該ＡＲ投影ユニット３３の嵌め込み方向は、使用者の目が存在する方向とは一致し、投影内容１０８が接眼レンズ鏡筒１０５内のレンズ１０７によって屈折されて光線が偏向され、偏向された投影内容１０８は、顕微鏡本体２０によって観測された画面である出射光線１０３と平行であり、偏向された投影内容１０８及び出射光線１０３は重畳してＡＲ病理画像（又はＡＲ病理画面）を形成する。
【００５３】
本願の別の一部の実施例では、病理顕微鏡に音声対話機能を導入することも望ましい。一方で、医師は、音声対話の形式で病理顕微鏡の対応する機能部を選択して制御することができ、他方で、該病理顕微鏡は、ＡＩ分析情報を音声提示によって該医師に提供し、例えば、病理顕微鏡が病理切片画像内の関心領域を音声提示で医師に喚起することができる。また、音声対話機能は、医師の口述内容を病理診断報告に変換したり、患者の電子カルテに入力したりすることもできる。
【００５４】
図７は、本願の別の例示的な一実施例に係る病理顕微鏡２００の概略構成図である。図２に示す病理顕微鏡２００と比較して、該病理顕微鏡２００は、顕微鏡本体２０、画像収集ユニット２１、制御ユニット２２及びＡＲ投影ユニット２３の他に、制御ユニット２２に接続された音声収集ユニット５１をさらに含む。
【００５５】
音声収集ユニット５１は、外部の音声信号を収集する。制御ユニット２２は、さらに、音声信号の制御命令を認識し、制御命令に基づいてＡＩ分析の分析過程を制御する。
【００５６】
マイクは、音声収集ユニット５１として外部の音声信号を収集し、音声信号を制御ユニット２２に送信することができる。制御ユニット２２は、音声信号の内容を認識し、認識された内容が予め設定した制御キーワードに該当するとき、対応する制御命令を受信したと認める。制御ユニット２２は、該制御命令によって、病理顕微鏡２００への対応する制御操作を実現する。一部の実施例では、制御ユニット２２内に音声認識エンジンが設けられ、該音声認識エンジンによって音声信号が認識されることができる。
【００５７】
制御命令がモデル選択命令の場合、モデル選択命令に基づいてターゲットＡＩ分析モデルを選択する。例示的には、ターゲットＡＩ分析モデルは、腫瘍領域検査ＡＩモデル、細胞検出ＡＩモデル及び伝染病検査ＡＩモデルを含む。実際の使用シーンに応じて、使用者は、マイク５１によって制御ユニットに音声信号を入力し、制御ユニット２２は、該音声信号を認識して制御命令を取得する。該制御命令がモデル選択命令の場合、制御ユニット２２は、モデル選択命令に基づいて実際の使用シーンに対応するターゲットＡＩ分析モデルを選択する。
【００５８】
例えば、医師がマイク５１に向かって「腫瘍検査モデルを選択」という言葉を話したとき、音声認識エンジンは、該言葉を認識して認識結果を取得する。制御ユニット２２は、認識結果において「腫瘍検査モデル」が予め設定したキーワードと一致することを発見したとき、モデル選択命令である制御命令を受信したことを決定し、ローカルに記憶される腫瘍領域検査ＡＩモデルを選択して検査するように制御する。
【００５９】
一部の実施例では、制御命令が第１の生成命令の場合、制御ユニット２２は、第１の生成命令に基づいて、ＡＩ分析情報が含まれる病理報告を生成する。
【００６０】
病理報告は、医師がＡＩ分析情報に基づいてマイク５１によって口述内容を入力して生成される報告である。例示的な一例では、該ＡＩ分析情報は、病理組織の外観情報及び病理細胞の病変情報を含み、口述内容は、医師による病理診断を含む。
【００６１】
一部の実施例では、制御命令が第２の生成命令の場合、ＡＩ分析情報及び患者情報を含むカルテレポートを生成し、患者情報は、病理切片上の文字又は図形コードから認識されたものであってもよいし、医師が音声収集ユニットによって入力したものであってもよい。
【００６２】
患者情報は、病理切片００上の文字から認識されるものである。図８に示すように、例示的な患者情報は、名前、年齢及び診療科を含む。患者情報は、他の情報を含んでもよく、本実施例では特に限定しない。
【００６３】
患者情報は、病理切片００上の図形コードから認識されるものであり、図形コードは、バーコード又は二次元コードであってもよく、図９に示すように、制御ユニット２２は、画像収集ユニット２１によって撮像される二次元コードから対応する患者情報を取得する。
【００６４】
例示的には、患者情報は、氏名、性別、年齢又は職業の少なくとも１つを含み、本実施例では特に限定されない。
【００６５】
一部の実施例では、制御ユニット２２は、さらに、音声信号から認識された文字内容に基づいて、病理報告又はカルテレポートにおける医師記録を生成する。制御ユニット２２は、音声信号を認識し、音声信号の内容を文字の形式で表現し、音声信号に対応する文字内容を生成する。
【００６６】
例示的には、まず医師がマイク５１によって病理診断を口述し、制御ユニット２２が口述された内容を認識し、口述された内容を文字の形式で表現し、次に医師が病理報告を生成させる音声信号を発し、制御ユニット２２が医師の音声信号を認識して、第１の生成命令である制御命令を生成し、病理顕微鏡２００が病理報告を生成し、或いは、まず医師がマイク５１によって医師診断を口述し、制御ユニット２２が口述された内容を認識し、口述された内容を文字の形式で表現し、カルテレポートの内容を完全にし、次に医師がカルテレポートを生成させる音声信号を発し、制御ユニット２２が医師の音声信号を認識して、第２の生成命令である制御命令を生成し、病理顕微鏡２００がカルテレポートを生成する。
【００６７】
一部の実施例では、病理顕微鏡２００は、さらに、制御ユニット２２に接続されたネットワークユニット５２を含む。
【００６８】
使用者がマイク５１によって制御ユニット２２に制御命令を与えると、制御ユニット２２は、ネットワークユニット５２を制御できる制御命令を生成する。
【００６９】
制御命令がモデルダウンロード命令の場合、制御ユニット２２は、ネットワークユニット５２に、少なくとも１つのＡＩ分析モデルをダウンロードするよう制御するか、もしくは、ターゲットＡＩ分析モデルが記憶されていない場合、制御ユニット２２は、ネットワークユニット５２に、ターゲットＡＩ分析モデルを自動的にダウンロードするよう制御する。例示的には、使用者は、マイク５１によって、ＡＩ分析モデルをダウンロードする命令を与えることができ、制御ユニット２２は、モデルダウンロード命令を音声で認識すると、ネットワークユニット５２を制御してＡＩ分析モデルのダウンロード動作を行う。或いは、初めて使用するとき、又はＡＩ分析モデルの更新バージョンがあるとき、制御ユニット２２は、ネットワークユニット５２によりターゲットＡＩ分析モデルを直接ダウンロードし、使用者の音声によるモデルダウンロード命令を必要としない。
【００７０】
一部の実施例では、病理顕微鏡２００は、さらに、制御ユニット２２に接続されたネットワークユニット５２を含む。
【００７１】
制御ユニット２２は、さらに、ネットワークユニット５２に、病理報告又はカルテレポートを第１のターゲット装置にアップロードするよう制御する。
【００７２】
制御ユニット２２は、さらに、ネットワークユニット５２に、ＡＩ分析情報が重畳されたＡＩ病理画像を第２のターゲット装置にアップロードするか、もしくは、予め設定した共有チャネルに共有するよう制御する。
【００７３】
一部の実施例では、病理顕微鏡２００が病院に応用される場合、第１のターゲット装置は、病院情報システム又は病院内部で使用されるクラウドサーバを含み、或いは、病理顕微鏡２００が実験室の科学研究に応用される場合、第１のターゲット装置は、実験室情報システム又は実験室内部で使用されるクラウドサーバを含み、或いは、病理顕微鏡２００が学校教育に応用される場合、第１のターゲット装置は、学校教育情報システム又は学校内部で使用されるクラウドの少なくとも１つを含む。
【００７４】
病理顕微鏡２００が病院に応用される場合、第２のターゲット装置は病院情報システムの病理映像データベースを含み、或いは、病理顕微鏡２００が実験室の科学研究に応用される場合、第２のターゲット装置は実験室情報システムの病理映像データベースを含み、或いは、病理顕微鏡２００が学校教育に応用される場合、第２のターゲット装置は学校教育情報システムの病理映像データベースを含む。
【００７５】
予め設定した共有チャネルは、即時通信プラットホーム、医療コミュニケーションプラットフォーム、医学研究雑誌又は医学研究フォーラムの少なくとも１つを含む。
【００７６】
一部の実施例では、病理顕微鏡２００は、さらに、制御ユニット２２に接続された音声再生ユニット５３を含む。
【００７７】
一部の実施例では、制御ユニット２２は、さらに、デジタル病理画像をサーバに送信し、サーバにＡＩ分析モデルが記憶され、サーバはＡＩ分析モデルでデジタル病理画像をＡＩ分析することにより、ＡＩ分析情報を取得する。制御ユニットは、さらに、サーバから送られてくるＡＩ分析情報を受信する。ここで、サーバは、１台のサーバであってもよく、複数台のサーバからなるサーバクラスタであってもよく、さらにクラウド側に実行するクラウドサーバであってもよい。
【００７８】
制御ユニット２２は、さらに、音声再生ユニット５３によるＡＩ分析情報の再生を制御する。例えば、病理顕微鏡２００は、ＡＩ分析モデルで病理切片のＡＩ分析情報を取得すると、音声再生ユニット５３によってＡＩ分析情報を再生することができる。
【００７９】
以上より、本実施例に係る病理顕微鏡は、画像収集ユニットによってデジタル病理画像を収集し、制御ユニットによってデジタル病理画像をＡＩ分析してＡＩ分析情報を取得し、そしてＡＲ投影ユニットによってＡＩ分析情報を顕微鏡本体の顕微鏡視野に投影することにより、医師が病理切片画像とＡＩ分析情報を顕微鏡視野内に同時に観察することを可能にし、観察の全過程において医師が視野を繰り返して切り替える必要がなくなるため、病理顕微鏡の観察過程をより簡潔かつ直接的にし、病理顕微鏡の使用中の高リアルタイム性を図る。
【００８０】
本実施例に係る病理顕微鏡では、制御ユニットは、さらに、少なくとも１つのＡＩ分析モデルを取得し、病理切片は、感染試薬や使用シーンなどの要因によって様々変化する場合があり、ＡＩ分析においても様々な分析ニーズがあり、単一のＡＩ分析モデルは、実際の使用シーンに応じてモデルパラメータを調整できず、実際の使用中の正確性及び安定性も保証できない。複数の異なるＡＩ分析モデルは、異なる実際の使用シーンに適応できるため、使用中の正確性及び安定性を保証する。
【００８１】
本実施例に係る病理顕微鏡では、さらに、音声収集ユニットが制御ユニットに接続され、かつ外部の音声信号を収集し、音声信号を制御ユニットに送信し、制御ユニットが音声信号を認識した後に、病理顕微鏡を制御する制御命令を生成することにより、ボタンによる制御動作を省略し、病理顕微鏡の音声対話型操作を実現し、医師のマン・マシン・インタラクション効率を向上させ、医師が診断又は手術などのシーンでも病理顕微鏡を円滑に使用することができる。
【００８２】
本実施例に係る病理顕微鏡では、さらに、制御命令がモデル選択命令の場合、モデル選択命令に基づいてターゲットＡＩ分析モデルを選択する。実際の使用シーンに応じて、使用者はマイクによって音声信号を伝え、制御ユニットによって該音声信号を認識して、内容がモデル選択命令である制御命令を生成し、モデル選択命令に基づいて実際の使用シーンに対応するターゲットＡＩ分析モデルを選択する。
【００８３】
本実施例に係る病理顕微鏡では、さらに、制御命令がモデルダウンロード命令の場合、ネットワークユニットに、少なくとも１つのＡＩ分析モデルをダウンロードするよう制御するか、もしくは、ターゲットＡＩ分析モデルが記憶されていない場合、ネットワークユニットに、ターゲットＡＩ分析モデルをダウンロードするよう制御する。ＡＩ分析モデルの取得を実現したり、ＡＩ分析モデルの更新を実現したりすることにより、ＡＩ分析モデルが使用シーンに適用できることを保証し、結果の正確性及び安定性を保証する。
【００８４】
本実施例に係る表示制御方法では、制御ユニットによってデジタル病理画像をサーバに送信し、サーバに記憶されているＡＩ分析モデルでＡＩ分析を行い、得られたＡＩ分析情報を制御ユニットによって受信する。ＡＩ分析モデルが制御ユニットに記憶されていなくても、サーバによってＡＩ分析情報を取得することにより、ＡＩ分析モデルが使用シーンに適用できることを保証し、結果の正確性及び安定性を保証する。
【００８５】
本実施例に係る病理顕微鏡では、さらに、制御ユニットの制御命令が報告の生成である場合、病理顕微鏡は、ＡＩ分析情報に基づいて病理報告又はカルテレポートを自動的に生成し、デジタル病理画像と医師の分析結果の統合を完了することにより、後期の治療計画の策定に根拠を提供する。
【００８６】
本実施例に係る病理顕微鏡では、さらに、制御ユニットが音声信号から認識された文字内容に基づいて、病理報告又はカルテレポートにおける医師記録を生成し、制御ユニットによって認識された音声内容を文字の形式で示すことにより、医師は、ＡＩ分析情報に基づいて専門的な診断を行うことができ、キーボードをタイピングする煩雑さが回避される。
【００８７】
本実施例に係る病理顕微鏡では、さらに、ネットワークユニットが病理画像、デジタル病理画像及びＡＩ病理画像の少なくとも１つと、対応する報告とをアップロード又は共有することで、病理情報のまとめ、整理及び記憶を実現することにより、大量の画像を覚える使用者の負担を軽減し、繰り返して覚えることを回避する。
【００８８】
本実施例に係る病理顕微鏡では、さらに、制御ユニットが音声再生ユニットによるＡＩ分析情報の再生を制御することにより、医師が紙情報又は電子情報を読む手間を省くことができ、医師は、再生された情報を聴くだけで専門的な診断を行うことができ、診断効率が向上する。
【００８９】
図７に基づく任意選択の実施例では、病理顕微鏡２００の２つの異なる実現形態が例示される。
【００９０】
可能な一実現形態では、画像収集ユニット２１、制御ユニット２２及びネットワークユニット５２は、顕微鏡本体外に設けられる電子機器により実現されてもよい。図１０に示すように、病理顕微鏡２００の顕微鏡本体は、入射光路に対応する第１の本体部分と出射光路に対応する第２の本体部分を含み、第１の本体部分には、ねじインターフェースや係止インターフェースなどの所定の標準インターフェースであってよい第１のインターフェースが形成され、画像収集ユニット２１は、第１のジョイントが形成されたカメラであってよく、画像収集ユニット２１の第１のジョイントは、第１の本体部分の第１のインターフェースに接続される。それに応じて、第２の本体部分には、ねじインターフェースや係止インターフェースなどの所定の標準インターフェースであってよい第２のインターフェースが形成され、ＡＲ投影ユニット２３には、第２のジョイントが形成され、ＡＲ投影ユニットの第２のジョイントは、第２の本体部分の第１のインターフェースに接続される。例示的には、さらに、コンピュータ１００１によって制御ユニット２２とネットワークユニット５２を実装し、マイクを音声収集ユニット５１とする。病理切片００は、顕微鏡本体２０の載置台上に位置し、画像収集ユニット２２は、入射光路に位置し、かつコンピュータ１００１の入力端に電気的に接続され、ＡＲ投影ユニット２３は、コンピュータ１００１の出力端に電気的に接続され、かつ出射光路に設けられ、出射光路は、顕微鏡本体２０の接眼レンズ鏡筒の内部に位置する。
【００９１】
別の可能な一実現形態では、制御ユニット２２（及びネットワークユニット５２又は音声再生ユニット５３の少なくとも１つ）は、集積チップ１１０１に製造してもよい。図１１に示すように、集積チップ１１０１は顕微鏡本体のアームに一体集積化され、マイクは音声収集ユニット５１とする。病理切片００は、顕微鏡本体２０の載置台上に位置し、画像収集ユニット２２は、入射光路に位置し、かつ集積チップ１１０１の入力端に電気的に接続され、ＡＲ投影ユニット２３は、集積チップ１１０１の出力端に電気的に接続され、かつ出射光路に設けられ、出射光路は、顕微鏡本体２０の接眼レンズ鏡筒の内部に位置する。
【００９２】
本願の一部の実施例では、病理顕微鏡のシステムは、ネットワークにより病理切片画像の処理過程における病理画像や、病理報告、カルテレポートなどのファイルを保存及び/又はアップロードする必要があり、また、ネットワークによりＡＩ分析モデルをダウンロード及び／又は更新する必要があるため、該病理顕微鏡の実施環境には、有線ネットワーク又は無線ネットワークの環境が提供される必要がある。
【００９３】
図１２は、本願の例示的な一実施例に係る病理顕微鏡の使用環境図を示し、該実施環境は、病理顕微鏡２００、ネットワーク１２０１、クラウドサーバ１２１０及び病院情報システム１２２０を含む。
【００９４】
病理顕微鏡２００は、製造業者によって製造された後、医師に提供されるものである。病理顕微鏡２００は、ネットワークにより、クラウドサーバ１２１０に接続されてもよく、病院情報システム１２２０に接続されてもよい。
【００９５】
ネットワーク１２０１は、有線ネットワーク又は無線ネットワークを用いる。病理顕微鏡がネットワーク１２０１により病院情報システム１２２０に接続される場合、患者の病理的状態に対するプライバシー保護に基づいて、ネットワークは病院内部の専用の有線ネットワークを用いることができ、医師が病院内部のコンピュータによって該専用の有線ネットワークを介して病理顕微鏡を使用する以外、他の人がアクセスできないという隔離効果を達成することができる。
【００９６】
可能な一実施例では、クラウドサーバ１２１０は、病理顕微鏡２００の製造業者によってセットアップされてもよく、該製造業者は、該クラウドサーバ１２１０によって、病理顕微鏡２００に適したＡＩ分析モデル及び／又はＡＩ分析モデルの更新バージョンを発行し、病理顕微鏡２００の購入者又は使用者（例えば、病院、科学研究機関又は学校など）は、該クラウドサーバ１２１０によってＡＩ分析モデル又はＡＩ分析モデルの更新バージョンの少なくとも１つをダウンロードすることができる。該ダウンロード方式は、無料であってもよいし、有料であってもよい。クラウドサーバ１２１０におけるＡＩ分析モデルは、製造業者の技術者によってセットアップされてもよい。
【００９７】
別の可能な一実施例では、クラウドサーバ１２１０はＡＩ分析モデルの記憶場所とし、即ち、該クラウドサーバ１２１０の内部には、ＡＩ分析モデルを記憶するためのＡＩモデルライブラリ１２２１が設けられる。病理顕微鏡がデジタル病理画像を取得した後、デジタル病理画像をクラウドサーバにアップロードし、クラウドサーバ内部のＡＩモデルライブラリ１２２１を呼び出し、使用シーンに応じてターゲットＡＩ分析モデルを選択してＡＩ分析を行い、ＡＩ分析情報を取得する。さらにＡＩ分析情報を病理顕微鏡に返信する。クラウドサーバ１２１０におけるＡＩ分析モデルは、製造業者の技術者によってセットアップされてもよく、開発者が該クラウドサーバ１２１０にアップロードしたものであってもよい。
【００９８】
病院情報システム１２２０は、病理報告ライブラリ１２２２、カルテレポートライブラリ１２２３及び病理映像データベース１２２４を含む。
【００９９】
可能な一実現形態では、コンピュータ内部にＡＩモデルライブラリ１２２１が設けられ、該ＡＩモデルライブラリ１２２１は、発行されたＡＩ分析モデル又はＡＩ分析モデルの更新バージョンの少なくとも１つをクラウドサーバ１２１０からダウンロードして、医師がクラウドサーバ１２１０から別途ダウンロードする必要がなく病院内部の各診療室で使用するように提供する。例えば、医師は、ＡＩ分析モデル又はＡＩ分析モデルの更新バージョンの少なくとも１つをクラウドサーバ１２１０から直接ダウンロードするとき、アカウントを登録し、対応する料金を支払う必要があり、これに対し、病院がＡＩ分析モデル又はＡＩ分析モデルの更新バージョンの少なくとも１つをＡＩモデルライブラリ１２２１にダウンロードした後、医師がＡＩモデルライブラリ１２２１からＡＩ分析モデル及び／又はＡＩ分析モデルの更新バージョンをダウンロードするとき、別途アカウントを登録し、料金を支払う必要がない。
【０１００】
別の可能な一実現形態では、コンピュータ内部には、病院の研究者が病理顕微鏡２００に対して開発したＡＩ分析モデルを発行するためのＡＩモデルライブラリ１２２１が設けられ、病院によって開発されたＡＩ分析モデルは、製造業者が提供するＡＩ分析モデルとは病理方向が異なるＡＩ分析モデル、特定の使用シーンにおいて製造業者が提供するＡＩ分析モデルより優れているＡＩ分析モデル、製造業者が提供していないＡＩ分析モデルのうちの少なくとも１つを含むことができる。
【０１０１】
別の可能な一実現形態において、病理顕微鏡２００がＡＩ分析モデルをローカルに記憶していなければ、コンピュータ内部に設けられたＡＩモデルライブラリ１２２１は、病理顕微鏡２００のＡＩ分析モデルを記憶することができる。病理顕微鏡２００の使用中に、コンピュータ内の対応するＡＩ分析モデルを呼び出してＡＩ分析を行う必要があり、かつ医師が病理顕微鏡２００を使用する前に病院情報システム１２２０のアカウントにログインした場合、医師は、病理顕微鏡２００によってＡＩモデルライブラリ１２２１から対応するＡＩ分析モデルを直接的に呼び出す。
【０１０２】
ＡＩモデルライブラリ１２２１の実現形態は、上記３種類のいずれかであってもよく、これらのいずれか２種類又は３種類全てを含んでもよく、本実施例では特に限定されない。
【０１０３】
可能な一実現形態では、病理顕微鏡２００は、制御ユニットとネットワークユニットの具体的な実現形態であるコンピュータ１００１を含む。コンピュータ１００１によって病理切片画像を処理し、処理後に、コンピュータ１００１がネットワーク１２０１により病理切片画像及び／又はデジタル病理画像及び／又はＡＩ病理画像を病院情報システム１２２０の病理映像データベース１２２４にアップロードすることにより、病理切片画像及び／又はデジタル病理画像及び／又はＡＩ病理画像の関連情報の共有を実現し、病院内部の病理映像データベース１２２４の豊富さを向上させる。
【０１０４】
別の可能な一実現形態では、病理顕微鏡２００は、ユーザの操作に従って病理報告を生成し、例えば、病理顕微鏡２００は、医師の音声命令及び口述内容に基づいて病理報告を生成し、そして病院内部で病理報告ライブラリ１２２２を拡張し、病理報告を電子的に記憶するように、ネットワーク１２０１により病理報告を病院情報システム１２２０の病理報告ライブラリ１２２２にアップロードする。別の可能な一実現形態では、病理顕微鏡２００は、ユーザの操作に従ってカルテレポートを生成し、例えば、病理顕微鏡２００は、医師の音声命令及び口述内容に基づいてカルテレポートを生成し、そして病院内部でカルテレポートライブラリ１２２３を拡張し、カルテレポートを電子的に記憶するように、ネットワーク１２０１によりカルテレポートを病院情報システム１２２０のカルテレポートライブラリ１２２３にアップロードする。
【０１０５】
上記病理映像データベース１２２４、病理報告ライブラリ１２２２及びカルテレポートライブラリ１２２３は、いずれも病理画像、デジタル病理画像又はＡＩ病理画像情報の少なくとも１つに対する電子ストレージであり、該電子ストレージは、後続の統計分析及びクエリに用いられてよく、データベースの豊富さを向上させる。例示的な一例では、該電子ストレージは、研修医の勉強のために参照症例を提供するとともに、過去の特殊な患者の受診状況を絞った診断及び治療を提供することができる。
【０１０６】
本実施例では、病理顕微鏡２００が病院という応用場所に応用される場合を説明したが、該病理顕微鏡２００は、研究機関や学校などの応用場所に応用されてもよく、実施環境は、本実施例で言及した実施環境と基本的に同様であり、ここでは説明を省略する。
【０１０７】
図１２に基づく任意選択の実施例では、上記ＡＩ分析モデルは、病院の技術者によってトレーニングされたものであってもよいし、病理顕微鏡の製造業者の技術者によってトレーニングされたものであってもよい。例示的には、該トレーニング過程は図１３に示すとおりである。
【０１０８】
ステップ１３００で、使用シーン。
【０１０９】
技術者は、ＡＩ分析モデルの使用シーンを決定する。典型的には、ＡＩ分析モデルは、腫瘍分析に用いられるＡＩモデルであってもよいし、細胞検出分析に用いられるＡＩモデルであってもよいし、さらに伝染病検査分析に用いられるＡＩモデルであってもよく、本実施例はこれを限定せず、病理顕微鏡の可能な使用シーンであればよい。
【０１１０】
当業者は、モデルトレーニングに必要な病理モデル画像１３２０を決定し、該病理モデル画像１３２０は、サンプル画像ライブラリであってよい。１つの使用シーンは１組の病理モデル画像に対応することができ、異なる使用シーンは異なる組の病理モデル画像に対応することができる。各病理モデル画像には、手動又は機械により対応するキャリブレーション結果が付され、該キャリブレーション結果は、手動又は他の機械により生成される実際の分析結果を示す。
【０１１１】
モデルトレーニングは、トレーニング過程及び試験過程に分けられてよい。同一組の病理モデル画像がｍ＝２０００枚の画像を含む場合を例にとると、２０００枚の病理モデル画像を、ｍ１＝１８００枚のトレーニング画像１３２２と、ｍ２＝２００枚の試験画像１３２４とに分けることができる。ｍ１枚のトレーニング画像１３２２は、トレーニング過程においてＡＩ分析モデルをトレーニングするために用いられ、ｍ２枚の試験画像１３２４は、試験過程において、トレーニングされたＡＩ分析モデルに対して性能試験を行うために用いられる。
【０１１２】
一部の実施例では、ｍ１枚のトレーニング画像１３２２はトレーニング画像セットと呼ばれ、ｍ２枚の試験画像１３２４は試験画像セットと呼ばれてもよい。
【０１１３】
ステップ１３０１で、ＡＩ分析モデルを構築する。
【０１１４】
異なる使用シーンに対して、技術者は、さらに対応するＡＩ分析モデルを構築する。ＡＩ分析モデルは、画像を処理するためのニューラルネットワークモデルであり、該ニューラルネットワークモデルは、ディープニューラルネットワーク（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、ＤＮＮ）、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、ＣＮＮ）又はリカレントニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、ＲＮＮ）などであってよく、本願の実施例はこれを限定しない。
【０１１５】
技術者は、使用シーンに応じて、ＡＩ分析モデルのネットワークタイプ、ネットワーク層数、各層のネットワークのニューロンの構成形式、各層のネットワークに用いられるニューロンタイプ及び隣接するネットワーク層間の接続関係を設定することができる。即ち、異なるＡＩ分析モデルは、同じ又は異なるネットワークタイプ、同じ又は異なるネットワーク層数、各層のネットワークの同じ又は異なるニューロンの構成形式、各層のネットワークに用いられる同じ又は異なるニューロンタイプ又は隣接するネットワーク層間の同じ又は異なる接続関係を有することができ、本実施例はこれを限定しない。
【０１１６】
ステップ１３０２で、トレーニングパラメータを設定する。
【０１１７】
ＡＩ分析モデルは、その中の各層のニューロンが、それぞれのニューロンパラメータ（又は重み）を有し、技術者は、各層のニューロンの初期パラメータをランダムに生成してもよいし、経験値を設定して各層のニューロンの初期パラメータを生成してもよい。
【０１１８】
初期パラメータとは、ＡＩ分析モデルにおけるニューロンがトレーニングされる前に所有するニューロンパラメータである。
【０１１９】
ステップ１３０３で、モデルをトレーニングする。
【０１２０】
トレーニング画像セット内の各トレーニング画像１３２２を順にＡＩ分析モデルに入力してトレーニングし、該ＡＩ分析モデルがトレーニング画像１３２２をＡＩ分析して予測結果を取得し、次に予測結果と該トレーニング画像１３２２のキャリブレーション結果を比較して分析誤差を取得し、そして誤差逆伝播法に基づいて分析誤差を逆伝播することにより、ＡＩ分析モデルの各層のニューロンパラメータを更新する。
【０１２１】
ステップ１３０４で、トレーニングデータ評価基準に達したか否かを判断する。
【０１２２】
技術者は、トレーニングデータ評価基準（トレーニング終了条件ともいう）を設定する。一実現形態では、トレーニングデータ評価基準は、予測誤差が所望の閾値に収束することであり、別の一実現形態では、トレーニングデータ評価基準は、トレーニング反復回数が回数閾値（例えば１００００回）に達することである。
【０１２３】
毎回のトレーニング過程においてニューロンパラメータを更新した後、トレーニングデータ評価標準に達したか否かを判断し、トレーニングデータ評価基準に達した場合に、ステップ１３０５に進み、トレーニングデータ評価基準に達していない場合に、ステップ１３０３を再度実行する。
【０１２４】
トレーニング終了条件が、トレーニング反復回数が２００００回に達することである場合を例にとると、トレーニング反復回数が２００００回に達した場合に、ステップ１３０５に進み、そうでなければ、次回の反復トレーニング過程を改めて行う。
【０１２５】
ステップ１３０５で、評価データ評価基準に達したか否かを判断する。
【０１２６】
トレーニング過程においてトレーニング終了条件に達した場合に、試験画像セット内の各枚の試験画像１３２４をトレーニングされたＡＩ分析モデルに入力して試験を行う必要もある。評価データとは、試験画像セット内の各枚の試験画像である。
【０１２７】
評価データ評価基準は、試験画像の試験結果とキャリブレーション結果の誤差が予め設定した条件よりも小さいことであってもよいし、試験画像の試験結果の正解率が予め設定した閾値よりも高いことであってもよいし、さらに試験図形の試験速度及び試験結果がいずれも所望の条件に達することであってもよい。実際の使用シーンによって、評価データ評価基準は異なるものであってよく、本実施例はこれを限定しない。
【０１２８】
トレーニングされたＡＩ分析モデルが評価データ評価基準に達していない場合に、トレーニングされたＡＩ分析モデルを改めてトレーニングする。トレーニングされたＡＩ分析モデルが評価データ評価基準に達した場合に、ステップ１３０６に進む。
【０１２９】
ステップ１３０６で、モデルのトレーニングが終了する。
【０１３０】
トレーニングされたＡＩ分析モデルをオンラインで使用可能なＡＩ分析モデルとして決定し、ＡＩモデルライブラリ１３３０に記憶する。該ＡＩモデルライブラリは、病理顕微鏡の制御ユニットにおけるＡＩモデルライブラリであってもよいし、病院の医療システムにおけるＡＩモデルライブラリであってもよいし、さらに病理顕微鏡の製造業者が設定したクラウドサーバにおけるＡＩモデルライブラリであってもよい。
【０１３１】
本願の一部の実施例では、病理顕微鏡は、制御ユニットによって他のユニットを制御することにより、病理画像に対するＡＩ分析や投影などの機能を実現する。
【０１３２】
図１４は、本願の例示的な一実施例に係る表示制御方法の流れ図を示し、該方法は、上記各実施例に係る病理顕微鏡の制御ユニットに適用することができ、以下のステップ１４０１〜ステップ１４０３を含む。
【０１３３】
ステップ１４０１で、画像収集ユニットが入射光路から収集したデジタル病理画像を取得する。
【０１３４】
画像収集ユニットは、顕微鏡本体の入射光路に位置し、載置台上の病理切片の病理画像を収集し、ユニット内部で病理画像に画像前処理を行ってデジタル病理画像を取得する。
【０１３５】
ステップ１４０２、デジタル病理画像をＡＩ分析してＡＩ分析情報を生成する。
【０１３６】
ＡＩ分析情報は、ＡＩ分析モデルを用いてデジタル病理画像を分析した結果情報である。
【０１３７】
病理顕微鏡がＡＩ分析モデルを取得し、デジタル病理画像を処理してＡＩ分析を行う形態は、２種類あり、具体的な実現形態は以下の２種類のいずれかである。
【０１３８】
第１種：制御ユニットの内部には、デジタル病理画像をＡＩ分析するためのＡＩ分析モデルが設定されている。可能な一実施例では、少なくとも１つのＡＩ分析モデルを取得し、デジタル病理画像の使用シーンに対応するターゲットＡＩ分析モデルを決定し、ターゲットＡＩ分析モデルを呼び出してデジタル病理画像をＡＩ分析してＡＩ分析情報を生成する。
【０１３９】
第２種：サーバの内部には、デジタル病理画像をＡＩ分析するためのＡＩ分析モデルが設定されている。可能な一実施例では、制御ユニットは、デジタル病理画像をサーバに送信し、サーバにＡＩ分析モデルが記憶され、サーバはＡＩ分析モデルでデジタル病理画像をＡＩ分析してＡＩ分析情報を取得し、ＡＩ分析情報を制御ユニットに送信する。制御ユニットは、サーバから送られてくるＡＩ分析情報を受信する。
【０１４０】
一部の実施例では、サーバがＡＩ分析情報を制御ユニットに送信する場合、制御ユニットがサーバにダウンロード要求を送信した後、サーバが該ダウンロード要求に応じて制御ユニットに該ＡＩ分析情報を送信してもよいし、サーバが分析によりＡＩ分析情報を取得した後、該ＡＩ分析情報を制御ユニットに直接送信してもよい。
【０１４１】
サーバがＡＩ分析によりＡＩ分析情報を取得する過程は、上記第１種の形態において制御ユニットがＡＩ分析によりＡＩ分析情報を取得する過程と類似するため、ここでは説明を省略する。
【０１４２】
一部の実施例では、サーバは、１台のサーバであってもよいし、複数台のサーバからなるサーバクラスタであってもよいし、さらにクラウド側に実行するクラウドサーバであってもよい。一部の実施例では、該サーバは、図１２に示すクラウドサーバとして実現することができる。
【０１４３】
ステップ１４０３で、ＡＲ投影ユニットが出射光路においてＡＩ分析情報を病理顕微鏡の顕微鏡視野に投影するよう制御する。
【０１４４】
一部の実施例では、ＡＩ分析情報は、文字、曲線、背景色又は動画の少なくとも１つを含む。ＡＩ分析情報は、顕微鏡視野内の画像（又は画面）と重ね合わせた後、ＡＩ病理画像（又はＡＩ病理画面）を形成することができる。
【０１４５】
一部の実施例では、顕微鏡本体は、入射光路に対応する第１の本体部分と、出射光路に対応する第２の本体部分とを含む。可能な一実現形態では、画像収集ユニットが第１の本体部分に実装され、ＡＲ投影ユニットが第２の本体部分に実装され、別の可能な一実現形態では、第１の本体部分には第１のインターフェースが形成され、画像収集ユニットには、第１の本体部分の第１のインターフェースに接続される第１のジョイントが形成され、同様に、第２の本体部分には第２のインターフェースが形成され、ＡＲ投影ユニットには、第２の本体部分の第２のインターフェースに接続される第２のジョイントが形成される。例示的には、第１のインターフェース及び第２のインターフェースは、ねじインターフェース、ソケットインターフェース又はクランプインターフェースの少なくとも１つである。
【０１４６】
以上より、本実施例に係る表示制御方法では、画像収集ユニットによってデジタル病理画像を収集し、制御ユニットによってデジタル病理画像をＡＩ分析してＡＩ分析情報を取得し、そしてＡＲ投影ユニットによってＡＩ分析情報を顕微鏡本体の顕微鏡視野に投影することにより、医師が病理切片画像とＡＩ分析情報を顕微鏡視野内に同時に観察することを可能にし、観察の全過程において視野を繰り返して切り替える必要がなくなるため、病理顕微鏡の観察過程をより簡潔かつ直接的にし、病理顕微鏡の使用中の高リアルタイム性を図る。
【０１４７】
本願の別の一部の実施例では、病理画像に対するＡＩ分析及び投影の他に、制御ユニットは、さらに、病理報告及びカルテレポートの生成、ＡＩ分析モデルのダウンロード、及び病理画像、病理報告又は病理報告のアップロードなどの機能の少なくとも１つを実現するため、該制御ユニットには、制御目的を実現する制御方法がある。
【０１４８】
図１５に示すように、本願の別の例示的な一実施例に係る表示制御方法の流れ図を示し、該方法は、病理顕微鏡の制御ユニットに適用することができ、以下のステップ１５０１〜ステップ１５０９を含む。
【０１４９】
ステップ１５０１で、画像収集ユニットが入射光路から収集したデジタル病理画像を取得する。
【０１５０】
ステップ１５０２、音声収集ユニットの音声信号から収集された制御命令を認識し、制御命令に基づいてＡＩ分析の分析過程を制御する。
【０１５１】
マイクは、音声収集ユニットとして外部の音声信号を収集し、音声信号を制御ユニットに送信することができる。制御ユニットは、音声信号の内容を認識し、認識された内容が予め設定した制御キーワードに該当するとき、対応する制御命令を受信したと認める。制御ユニットは、該制御命令によって、病理顕微鏡への対応する制御操作を実現する。一部の実施例では、制御ユニット内に音声認識エンジンが設けられ、該音声認識エンジンによって音声信号を認識する。
【０１５２】
制御命令がモデル選択命令の場合、モデル選択命令に基づいてターゲットＡＩ分析モデルを選択する。例示的には、ターゲットＡＩ分析モデルは、腫瘍領域検査ＡＩモデル、細胞検出ＡＩモデル及び伝染病検査ＡＩモデルを含む。実際の使用シーンに応じて、使用者は、マイクによって制御ユニットに音声信号を入力し、制御ユニットは、該音声信号を認識して制御命令を取得する。該制御命令がモデル選択命令の場合、制御ユニットは、モデル選択命令に基づいて実際の使用シーンに対応するターゲットＡＩ分析モデルを選択する。
【０１５３】
使用者がマイクによって制御命令を与えると、制御ユニットは、ネットワークユニットを制御できる制御命令を生成する。
【０１５４】
制御命令がモデルダウンロード命令の場合、制御ユニットは、ネットワークユニットに、少なくとも１つのＡＩ分析モデルをダウンロードするよう制御するか、もしくは、ターゲットＡＩ分析モデルが記憶されていない場合、制御ユニットは、ネットワークユニットに、ターゲットＡＩ分析モデルを自動的にダウンロードするよう制御する。
【０１５５】
ステップ１５０３で、デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成する。
【０１５６】
ステップ１５０３の説明については、ステップ１４０２を参照することができる。
【０１５７】
任意選択で、サーバは、１台のサーバであってもよいし、複数台のサーバからなるサーバクラスタであってもよいし、さらにクラウド側に実行するクラウドサーバであってもよい。任意選択で、該サーバは、図１２に示すクラウドサーバとして実現することができる。
【０１５８】
ステップ１５０４で、音声再生ユニットによる上記ＡＩ分析情報の再生を制御する。
【０１５９】
例えば、病理顕微鏡は、ＡＩ分析モデルで病理切片のＡＩ分析情報を取得すると、音声再生ユニットによってＡＩ分析情報を再生することができる。
【０１６０】
ステップ１５０５で、ＡＲ投影ユニットが出射光路においてＡＩ分析情報を病理顕微鏡の顕微鏡視野に投影するよう制御する。
【０１６１】
ステップ１５０６で、制御命令が第１の生成命令の場合、病理報告を生成する。
【０１６２】
病理報告は、ＡＩ分析情報を含む。病理報告は、医師がＡＩ分析情報に基づいてマイク５１によって口述内容を入力して生成される報告である。例示的な一例では、該ＡＩ分析情報は、病理組織の外観情報及び病理細胞の病変情報を含み、口述内容は、医師による病理診断を含む。
【０１６３】
ステップ１５０７で、制御命令が第２の生成命令の場合、カルテレポートを生成する。
【０１６４】
カルテレポートは、ＡＩ分析情報及び患者情報を含み、患者情報は、病理切片上の文字又は図形コードから認識されたものであってもよいし、医師が音声収集ユニットによって入力したものであってもよい。一部の実施例では、音声信号から認識された文字内容に基づいて、病理報告又はカルテレポートにおける医師記録を生成する。制御ユニットは、音声信号を認識し、音声信号の内容を文字の形式で表現し、音声信号に対応する文字内容を生成する。
【０１６５】
ステップ１５０８で、ネットワークユニットに病理報告又はカルテレポートを第１のターゲット装置にアップロードするよう制御する。
【０１６６】
一部の実施例では、病理顕微鏡が病院に応用される場合、第１のターゲット装置は、病院情報システム又は病院内部で使用されるクラウドサーバを含み、或いは、病理顕微鏡が実験室の科学研究に応用される場合、第１のターゲット装置は、実験室情報システム又は実験室内部で使用されるクラウドサーバを含み、或いは、病理顕微鏡が学校教育に応用される場合、第１のターゲット装置は、学校教育情報システム又は学校内部で使用されるクラウドサーバを含む。
【０１６７】
ステップ１５０９で、ネットワークユニットに、ＡＩ分析情報が重畳された顕微鏡画像を第２のターゲット装置にアップロードするか、もしくは、予め設定した共有チャネルに共有するよう制御する。
【０１６８】
一部の実施例では、病理顕微鏡が病院に応用される場合、第２のターゲット装置は病院情報システムの病理映像データベースを含み、或いは、病理顕微鏡が実験室の科学研究に応用される場合、第２のターゲット装置は実験室情報システムの病理映像データベースを含み、或いは、病理顕微鏡が学校教育に応用される場合、第２のターゲット装置は学校教育情報システムの病理映像データベースを含む。
【０１６９】
予め設定した共有チャネルは、即時通信プラットホーム、医療コミュニケーションプラットフォーム、医学研究雑誌又は医学研究フォーラムの少なくとも１つを含む。
【０１７０】
本実施例におけるステップは表示制御方法の内容を説明するためのものに過ぎず、実際の使用過程において、ステップの優先順位は特に限定されない。
【０１７１】
以上より、本実施例に係る表示制御方法では、画像収集ユニットによってデジタル病理画像を収集し、制御ユニットによってデジタル病理画像をＡＩ分析してＡＩ分析情報を取得し、そしてＡＲ投影ユニットによってＡＩ分析情報を顕微鏡本体の顕微鏡視野に投影することにより、医師が病理切片画像とＡＩ分析情報を顕微鏡視野内に同時に観察することを可能にし、観察の全過程において医師が視野を繰り返して切り替える必要がなくなるため、病理顕微鏡の観察過程をより簡潔かつ直接的にし、病理顕微鏡の使用中の高リアルタイム性を図る。
【０１７２】
本実施例に係る表示制御方法では、制御ユニットは、さらに少なくとも１つのＡＩ分析モデルを取得し、病理切片は、感染試薬や使用シーンなどの要因によって様々変化する場合があり、ＡＩ分析においても様々な分析ニーズがあり、単一のＡＩ分析モデルは、実際の使用シーンに応じてモデルパラメータを調整できず、実際の使用中の正確性及び安定性も保証できない。複数の異なるＡＩ分析モデルは、異なる実際の使用シーンに適応できるため、使用中の正確性及び安定性を保証する。
【０１７３】
本実施例に係る表示制御方法では、さらに、音声収集ユニットが制御ユニットに接続され、かつ外部の音声信号を収集し、音声信号を制御ユニットに送信し、制御ユニットが音声信号を認識した後に、病理顕微鏡を制御する制御命令を生成することにより、ボタンによる制御動作を省略し、病理顕微鏡の音声対話型操作を実現し、医師のマン・マシン・インタラクション効率を向上させ、医師が診断又は手術などのシーンでも病理顕微鏡を円滑に使用することができる。
【０１７４】
本実施例に係る表示制御方法では、さらに、制御命令がモデル選択命令の場合、モデル選択命令に基づいてターゲットＡＩ分析モデルを選択する。実際の使用シーンに応じて、使用者はマイクによって音声信号を伝え、制御ユニットによって該音声信号を認識して、内容がモデル選択命令である制御命令を生成し、モデル選択命令に基づいて実際の使用シーンに対応するターゲットＡＩ分析モデルを選択する。
【０１７５】
本実施例に係る表示制御方法では、さらに、制御命令がモデルダウンロード命令の場合、ネットワークユニットに、少なくとも１つのＡＩ分析モデルをダウンロードするよう制御するか、もしくは、ターゲットＡＩ分析モデルが記憶されていない場合、ネットワークユニットに、ターゲットＡＩ分析モデルをダウンロードするよう制御する。ＡＩ分析モデルの取得を実現したり、ＡＩ分析モデルの更新を実現したりすることにより、ＡＩ分析モデルが使用シーンに適用できることを保証し、結果の正確性及び安定性を保証する。
【０１７６】
本実施例に係る表示制御方法では、制御ユニットによってデジタル病理画像をサーバに送信し、サーバに記憶されているＡＩ分析モデルでＡＩ分析を行い、得られたＡＩ分析情報を制御ユニットによって受信する。ＡＩ分析モデルが制御ユニットに記憶されていなくても、サーバによってＡＩ分析情報を取得することにより、ＡＩ分析モデルが使用シーンに適用できることを保証し、結果の正確性及び安定性を保証する。
【０１７７】
本実施例に係る表示制御方法では、さらに、制御ユニットの制御命令が報告の生成である場合、病理顕微鏡は、ＡＩ分析情報に基づいて病理報告又はカルテレポートを自動的に生成し、デジタル病理画像と医師の分析結果の統合を完了することにより、後期の治療計画の策定に根拠を提供する。
【０１７８】
本実施例に係る表示制御方法では、さらに、制御ユニットが音声信号から認識された文字内容に基づいて、病理報告又はカルテレポートにおける医師記録を生成し、制御ユニットによって認識された音声内容を文字の形式で示すことにより、医師は、ＡＩ分析情報に基づいて専門的な診断を行うことができ、キーボードをタイピングする煩雑さが回避される。
【０１７９】
本実施例に係る表示制御方法では、さらに、ネットワークユニットが病理画像、デジタル病理画像又はＡＩ病理画像の少なくとも１つと、対応する報告とをアップロード又は共有することで、病理情報のまとめ、整理及び記憶を実現することにより、大量の画像を覚える使用者の負担を軽減し、繰り返して覚えることを回避する。
【０１８０】
本実施例に係る表示制御方法では、さらに、制御ユニットが音声再生ユニットによるＡＩ分析情報の再生を制御するユニットことにより、医師が紙情報又は電子情報を読む手間を省くことができ、医師は、再生された情報を聴くだけで専門的な診断を行うことができ、診断効率が向上する。
【０１８１】
図１６は、本願の例示的な一実施例に係る表示制御装置の概略図を示し、該装置は、上記各方法実施例に係る病理顕微鏡の制御ユニットに実装されてよく、
画像収集ユニットが入射光路から収集したデジタル病理画像を取得するための画像取得部１６１０と、
デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成するための画像分析部１６２０とを含む。可能な一実施例では、画像分析部１６２０は、モデル取得ユニット１６３１と、モデル呼出ユニット１６３２とを含む。モデル取得ユニット１６３１は、少なくとも１つのＡＩ分析モデルを取得し、デジタル病理画像の使用シーンに対応するターゲットＡＩ分析モデルを決定する。モデル呼出ユニット１６３２は、ターゲットＡＩ分析モデルを呼び出してデジタル病理画像をＡＩ分析してＡＩ分析情報を生成する。
【０１８２】
異なるＡＩ分析モデルは異なる分析能力を有し、モデル呼出ユニット１６３１の内部に１つ以上のＡＩ分析モデルが設定されてよい。モデル呼出ユニット１６３１には、腫瘍領域検査ＡＩモデル、細胞検出ＡＩモデル及び伝染病検査ＡＩモデルの３種類のモデルの少なくとも１種のモデルが設定されてよい。
【０１８３】
モデル呼出ユニット１６３１に腫瘍領域検査ＡＩモデル、細胞検出ＡＩモデル及び伝染病検査ＡＩモデルの３種類のモデルが同時に設けられる場合を例示すると、図１７に示すように、モデル呼出ユニット１６３２は、腫瘍検査サブユニット１７３１、細胞検出サブユニット１７３２及び伝染病検査サブユニット１７３３を含む。
【０１８４】
腫瘍検査サブユニット１７３１は、デジタル病理画像の使用シーンが腫瘍領域検査である場合、腫瘍領域検査ＡＩモデルをターゲットＡＩ分析モデルとして決定し、腫瘍領域検査ＡＩモデルを呼び出してデジタル病理画像をＡＩ分析することにより、腫瘍分析情報を取得する。細胞検出サブユニット１７３２は、デジタル病理画像の使用シーンが細胞検出である場合、細胞検出ＡＩモデルをターゲットＡＩ分析モデルとして決定し、細胞検出ＡＩモデルを呼び出してデジタル病理画像をＡＩ分析することにより、細胞検出情報を取得する。
【０１８５】
伝染病検査サブユニット１７３３は、デジタル病理画像の使用シーンが伝染病検査である場合、伝染病検査ＡＩモデルをターゲットＡＩ分析モデルとして決定し、伝染病検査ＡＩモデルを呼び出してデジタル病理画像をＡＩ分析することにより、伝染病検査情報を取得する。一部の実施例では、制御ユニットは、さらに、ローカルエリアネットワーク又は広域ネットワーク上の他の装置からＡＩ分析モデルをダウンロードする。例えば、制御ユニットは、現在の使用シーンに応じて、他の装置からＡＩ分析モデルをダウンロードする。
【０１８６】
別の可能な一実施例では、画像分析部は、画像送信ユニット及び情報受信ユニットを含む。画像送信ユニットは、デジタル病理画像をサーバに送信し、サーバにＡＩ分析モデルが記憶され、サーバはＡＩ分析モデルでデジタル病理画像に対するＡＩ分析を実行することにより、ＡＩ分析情報を取得する。
【０１８７】
情報受信ユニットは、サーバから送られてくるＡＩ分析情報を受信する。画像投影部１６３０は、ＡＲ投影ユニットが出射光路においてＡＩ分析情報を病理顕微鏡の顕微鏡視野に投影するよう制御する。
【０１８８】
以上より、本実施例に係る表示制御装置では、画像収集ユニットによってデジタル病理画像を収集し、制御ユニットによってデジタル病理画像をＡＩ分析してＡＩ分析情報を取得し、そしてＡＲ投影ユニットによってＡＩ分析情報を顕微鏡本体の顕微鏡視野に投影することにより、医師が病理切片画像とＡＩ分析情報を顕微鏡視野内に同時に観察することを可能にし、観察の全過程において視野を繰り返して切り替える必要がなくなるため、病理顕微鏡の観察過程をより簡潔かつ直接的にし、病理顕微鏡の使用中の高リアルタイム性を図る。
【０１８９】
図１８は、本願の別の例示的な一実施例に係る表示制御装置の概略図を示し、該装置は、上記各方法実施例に係る病理顕微鏡の制御ユニットに実装されてよく、
画像収集ユニットが入射光路から収集したデジタル病理画像を取得するための画像取得部１８１０と、
音声収集ユニットの音声信号から収集された制御命令を認識し、制御命令に基づいてＡＩ分析の分析過程を制御するための音声認識部１８２０と、
デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成するための画像分析部１８３０とを含む。
【０１９０】
ＡＩ分析情報は、ＡＩ分析モデルを用いてデジタル病理画像を分析した結果情報である。可能な一実施例では、該装置の内部には、デジタル病理画像をＡＩ分析するためのＡＩ分析モデルが設定されている。可能な一実施例では、少なくとも１つのＡＩ分析モデルを取得し、デジタル病理画像の使用シーンに対応するターゲットＡＩ分析モデルを決定し、ターゲットＡＩ分析モデルを呼び出してデジタル病理画像をＡＩ分析してＡＩ分析情報を生成する。
【０１９１】
異なるＡＩ分析モデルは異なる分析能力を有し、該装置の内部に１つ以上のＡＩ分析モデルが設定されてよい。該装置には、腫瘍領域検査ＡＩモデル、細胞検出ＡＩモデル及び伝染病検査ＡＩモデルの３種類のモデルの少なくとも１種のモデルが同時に設定されている。
【０１９２】
別の可能な一実施例では、画像分析部は、画像送信ユニット及び情報受信ユニットを含む。画像送信ユニットは、デジタル病理画像をサーバに送信し、サーバにＡＩ分析モデルが記憶され、サーバはＡＩ分析モデルでデジタル病理画像に対するＡＩ分析を実行することにより、ＡＩ分析情報を取得する。
【０１９３】
情報受信ユニットは、サーバから送られてくるＡＩ分析情報を受信する。
【０１９４】
情報再生部１８４０は、音声再生ユニットによる上記ＡＩ分析情報の再生を制御する。
【０１９５】
画像投影部１８５０は、ＡＲ投影ユニットが出射光路においてＡＩ分析情報を病理顕微鏡の顕微鏡視野に投影するよう制御する。
【０１９６】
報告生成部１８６０は、制御命令が第１の生成命令の場合、ＡＩ分析情報が含まれる病理報告を生成するか、
【０１９７】
或いは、制御命令が第２の生成命令の場合、ＡＩ分析情報及び患者情報が含まれるカルテレポートを生成し、患者情報は、病理切片上の文字又は図形コードから認識されたものであってもよいし、医師が音声収集ユニットによって入力したものであってもよい。
【０１９８】
一部の実施例では、音声信号から文字内容を認識し、文字内容に基づいて病理報告又はカルテレポート内の医師記録を生成する。該装置は、音声信号を認識し、音声信号の内容を文字の形式で表現し、音声信号に対応する文字内容を生成する。
【０１９９】
報告アップロード部１８７０は、ネットワークユニットにより病理報告又はカルテレポートを第１のターゲット装置にアップロードする。
【０２００】
画像アップロード部１８８０は、ネットワークユニットにより、ＡＩ分析情報が重畳された顕微鏡画像を第２のターゲット装置にアップロードするか又は予め設定した共有チャネルに共有する。
【０２０１】
病理顕微鏡２００の使用シーンを例示的に説明すると、図１９に示すように、病理顕微鏡２００は、病院、研究機関及び学校などの場所に応用することができ、病院、研究機関及び学校は、いずれも病理映像データベース、カルテレポートライブラリ及び病理報告ライブラリを有し、即ち、病院は、病理映像データベース、カルテレポートライブラリ及び病理報告ライブラリを含む病院情報システムを有し、研究機関は、病理映像データベース、カルテレポートライブラリ及び病理報告ライブラリを含む研究機関情報システムを有し、学校は、病理映像データベース、カルテレポートライブラリ及び病理報告ライブラリを含む学校情報システムを有する。
【０２０２】
病理映像データベースは、アップロードされた病理切片画像、デジタル病理画像又はＡＩ病理画像の少なくとも１つを記憶するデータベースであり、病理顕微鏡２００が分析した病理切片をアーカイブする。病理報告ライブラリは、アップロードされた病理報告を記憶するデータベースであり、ＡＩ分析情報を含み、使用場所で検査された病理切片情報を分類して記憶する。カルテレポートライブラリは、アップロードされたカルテレポートを記憶するデータベースであり、カルテレポートはＡＩ分析情報及び患者情報を含み、患者情報は病理切片上の文字又は図形コードから認識されるものであり、該カルテレポートライブラリは、患者情報を呼び出し、報告結果を患者情報に対応付け、患者情報及びカルテレポートを分類して記憶し、患者の再診記録を追跡可能にする。
【０２０３】
病理顕微鏡２００は、病理検査を行うとき、観察領域自動捕捉１９４０を捕捉することができ、例えば、該観察領域自動捕捉１９４０は、疑わしい病変領域である。その後、使用シーンに応じてターゲットＡＩ分析モデルを選択してＡＩ分析を行う。
【０２０４】
使用シーンが腫瘍領域検査１９５０である場合、腫瘍領域検査ＡＩ分析モデルをターゲットＡＩ分析モデルとして決定し、腫瘍領域検査ＡＩモデルを呼び出してデジタル病理画像をＡＩ分析することにより、腫瘍分析情報を取得する。腫瘍分析情報は、乳がん分析情報１９５１、骨がん分析情報１９５２及び消化管がん分析情報１９５３のいずれかを含む。
【０２０５】
デジタル病理画像の使用シーンが細胞検出１９６０である場合、細胞検出ＡＩモデルをターゲットＡＩ分析モデルとして決定し、細胞検出ＡＩモデルを呼び出してデジタル病理画像をＡＩ分析することにより、細胞検出情報を取得する。一部の実施例では、細胞検出情報は、細胞計数情報１９６１、有糸分裂細胞検出情報１９６２及び細胞核検出情報１９６３のいずれかを含む。
【０２０６】
使用シーンが伝染病検査１９７０である場合、伝染病検査ＡＩモデルをターゲットＡＩ分析モデルとして決定し、伝染病検査ＡＩモデルを呼び出してデジタル病理画像をＡＩ分析することにより、伝染病検査情報を取得する。一部の実施例では、伝染病検査情報は、マラリア原虫卵検査情報１９７１及び抗酸菌検査情報１９７２のいずれかを含む。
【０２０７】
可能な一実施例では、病理顕微鏡は、画像収集ユニット２１、制御ユニット２２、ＡＲ投影ユニット２３、音声収集ユニット５１、ネットワークユニット５２及び音声再生ユニット５３を含み、各ユニットは、機能を実現する部をさらに含み、図２０に示すとおりである。
【０２０８】
制御ユニット２２は、報告生成部２２０４、音声対話部２２０２、音声認識部２２０３、患者認識部２２０１及びＡＩチップ部２２０５を含み、画像収集ユニット２１は、画像収集部２１０１、画像前処理部２１０２及び画像後処理部２１０３を含む。
【０２０９】
マイクは音声収集ユニット５１とし、病理顕微鏡は、マイク５１によってユーザが発した音声を収集し、マイク５１が音声信号を音声対話部２２０２に伝送し、音声対話部２２０２が制御命令を生成する。画像収集部２１０１が顕微鏡本体２０の入射光路上の病理切片画像を収集した後、画像前処理部２１０２が病理切片画像に画像前処理を行ってデジタル病理画像を取得する。
【０２１０】
制御命令がモデル選択命令の場合、音声対話部２２０２がモデル選択命令を受信し、モデル選択命令の下で、該デジタル病理画像について、使用シーンに応じてＡＩチップ部２２０５に記憶されている対応するターゲットＡＩ分析モデルを選択し、ＡＩチップ部２２０５内のＡＩ分析モデルでＡＩ分析を行ってＡＩ分析情報を取得する。画像後処理部２１０３が文字形式のＡＩ分析情報を投影可能な形式のＡＩ分析情報として生成する。投影可能な形式のＡＩ分析情報は、ＡＲ投影ユニット２３によって顕微鏡本体２０の出射光路に投影される。
【０２１１】
一部の実施例では、ＡＩチップ部がデジタル病理画像をＡＩ分析モデルでＡＩ分析してＡＩ分析情報を取得し、音声再生ユニット５３がＡＩ分析情報を再生することができる。
【０２１２】
制御命令は、第１の生成命令及び第２の生成命令をさらに含む。制御命令が第１の生成命令の場合、音声対話部２２０２は、第１の生成命令を報告生成部２２０４に伝送し、報告生成部２２０４は、第１の生成命令に基づいてＡＩ分析情報が含まれる病理報告を生成するか、或いは、制御命令が第２の生成命令の場合、音声対話部２２０２は、第２の生成命令を報告生成部２２０４に伝送し、報告生成部２２０４は、第２の生成命令に基づいてＡＩ分析情報及び患者情報が含まれるカルテレポートを生成し、患者情報は、医師が音声収集ユニットによって入力したものであってもよい。ここで、患者情報は、音声対話部２２０２が第２の生成命令に基づいて患者認識部２２０１を呼び出し、患者認識部２２０１が病理切片上の文字又は図形コードを認識して得られた対応する患者情報であってもよく、又は、患者情報は、医師が音声収集ユニットによって入力したものであってもよい。
【０２１３】
音声認識部２２０３は、音声信号を認識し、音声信号の内容を文字の形式で表現し、音声信号に対応する文字内容を生成する。まず医師がマイク５１によって病理診断を口述し、次に音声認識部２２０３が口述内容を認識し、口述内容を文字の形式で表現し、認識された内容が病理報告の診断内容であり、そしてＡＩ分析情報を組み合わせて病理報告を生成し、或いは、まず医師がマイク５１によって医師診断を口述し、次に音声認識部２２０３が口述内容を認識し、口述内容を文字の形式で表現し、認識された内容がカルテレポート内の症例診断内容及び／又は患者情報であり、そしてＡＩ分析情報を組み合わせてカルテレポートを生成する。
【０２１４】
ネットワークユニット５３により少なくとも１つのＡＩ分析モデルをダウンロードすることができ、或いは、ターゲットＡＩ分析モデルが記憶されていない場合、ネットワークユニット５２によりターゲットＡＩ分析モデルを自動的にダウンロードする。ダウンロードされたＡＩ分析モデル又はターゲットＡＩ分析モデルは、いずれもＡＩチップ部に記憶することができる。病理顕微鏡の病理切片画像及び／又はデジタル病理画像及び／又はＡＩ病理切片画像は、ネットワークユニット５２により第２のターゲット装置にアップロードするか又は予め設定した共有チャネルに共有することができる。また、ネットワークユニット５２は、報告生成部２２０４で生成された病理報告及びカルテレポートを第１のターゲット装置にアップロードすることができる。第１のターゲット装置、第２のターゲット装置及び予め設定した共有チャネルの詳細は前に説明したが、ここで説明を省略する。
【０２１５】
任意選択の一実施例では、該病理顕微鏡２００の構成は、機能構成に応じて、応用層３０００、機能層３０１０及び出力層３０２０に分けることができる。図２１に示すように、応用層３０００は、使用シーン３００１及び使用者３００２を含み、使用者３００２が音声収集ユニット５１によって病理顕微鏡を命令し、音声収集ユニット５１が外部の音声を収集して音声信号を取得し、音声信号を音声対話部２２０２に送信して認識させ、制御命令を生成させる。該制御命令が異なる命令である場合、機能層３０１０を操作・制御して、病理顕微鏡に対する制御を実現することができる。
【０２１６】
機能層３０１０は、画像収集部２１０１、ＡＩチップ部２２０５、ネットワークユニット５２、ＡＲ投影ユニット２３、報告生成部２２０１、患者認識部２２０４及び音声認識部２２０３を含む。
【０２１７】
出力層３０２０は、自動画像保存・共有３０２１、ＡＲ病理画像３０２２、病理報告２０２３、カルテレポート３０２４、音声再生ユニット５３及び文字内容３０２５を含む。
【０２１８】
画像収集部２１０１は、病理切片の病理切片画像を収集し、処理を経てデジタル病理画像を取得する。ＡＩ技術を用いてデジタル病理画像をＡＩ分析し、使用シーン３００１に応じて、音声対話部２２０２がモデル選択命令を発し、対応するターゲットＡＩ分析モデルを選択し、ＡＩ分析モデル３０３０を決定し、該ＡＩ分析モデル３０３０がＡＩチップ部２２０５に記憶されることができる。デジタル病理画像をＡＩ分析モデル３０３０によって処理した後にＡＩ病理切片画像０３を取得し、音声対話部２２０２によるネットワークユニット５２の制御の下で、該ＡＩ病理切片画像０３は自動画像保存・共有３０２１が行われる。
【０２１９】
ＡＩ分析モデルでＡＩ分析を行ってＡＩ分析情報を取得し、該ＡＩ分析情報を音声再生ユニット５３によって再生することができる。
【０２２０】
得られたＡＩ病理切片画像０３について、音声対話部２２０２の制御の下で、ＡＲ投影ユニット２３を用いてＡＩ分析情報を投影し、投影されたＡＲ病理画像３０２２を取得し、該ＡＲ病理画像３０２２が顕微鏡本体の出射光路上に位置する。音声対話部２２０２の制御命令が第１の生成命令の場合、報告生成部２２０１は、ＡＩ分析情報が含まれる病理報告３０２３を生成し、音声対話部２２０１の制御命令が第２の生成命令の場合、報告生成部２２０１は、ＡＩ分析情報及び患者情報が含まれるカルテレポート３０２４を生成する。ここで、患者情報は、音声対話部２２０２が患者身元認識部２２０４を制御して対応する患者情報を呼び出して認識して得られたものであり、呼び出し方式は、病理切片上の文字又は図形コードを認識するか又は医師が口述により患者情報の入力を完了することである。
【０２２１】
医師は、音声認識部２２０３によって、音声収集ユニット５１が収集した音声内容を認識し、音声内容を文字内容に認識し、即ち、医師は、口述の形式により病理報告の病理診断内容の作成を完了するか又は口述の形式によりカルテレポートの症例診断内容の作成や患者情報の入力の少なくとも１つを完了することができる。
【０２２２】
本実施例に係る病理顕微鏡では、さらに、制御ユニットが音声再生ユニットによるＡＩ分析情報の再生を制御することにより、医師が紙情報又は電子情報を読む手間を省くことができ、医師は、再生された情報を聴くだけで専門的な診断を行うことができ、診断効率が向上する。
【０２２３】
なお、本願の各実施例における各ステップは、必ずしもステップ番号が示す順序で順次実行されるものではないことが理解されるべきである。本明細書で明確に説明しない限り、これらのステップの実行は、厳密な順序に制限されず、他の順序で実行されてもよい。さらに、各実施例における少なくとも一部のステップは、複数のサブステップ又は複数の段階を含んでよく、これらのサブステップ又は段階は、必ずしも同じ時刻で実行されるものではなく、異なる時刻で実行されてもよく、これらのサブステップ又は段階の実行順序も、必ずしも順に行われるものではなく、その他のステップ又はその他のステップのサブステップや段階の少なくとも一部と順番に又は交互に実行されてもよい。
【０２２４】
当業者であれば理解できるように、上記実施例の方法の全部又は一部の流れは、コンピュータプログラムが関連ハードウェアを命令することにより実現されてよく、該プログラムが不揮発性コンピュータ可読記憶媒体に記憶されることができ、該プログラムが実行されるとき、上記各方法実施例の流れを含んでよい。本願に係る各実施例に用いられる、メモリ、ストレージ、データベース又は他の媒体への任意の参照は、いずれも不揮発性及び／又は揮発性メモリを含んでよい。不揮発性メモリは、読み取り専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）又はフラッシュメモリを含んでよい。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）又は外部キャッシュメモリを含んでよい。限定ではない例示として、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、デュアルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、強化ＳＤＲＡＭ（ＥＳＤＲＡＭ）、同期リンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）及びメモリバスダイナミックＲＡＭ（ＲＤＲＡＭ）などの様々な形態で得られる。
【０２２５】
なお、本明細書で言及した「複数」とは、２つ以上を意味することが理解されるべきである。「及び／又は」は、関連対象の関連関係を記述し、３種類の関係が存在することができ、例えば、Ａ及び／又はＢは、Ａが単独で存在するか、又はＡとＢが同時に存在するか、又はＢが単独で存在するという３つの状況を表す。符号「／」は、一般的に、前後の関連対象が「又は」の関係であることを示す。
【０２２６】
当業者であれば理解できるように、上記実施例の全部又は一部のステップの実現はハードウェアにより完了してもよいし、プログラムが関連するハードウェアを命令することにより完了してもよく、該プログラムがコンピュータ可読記憶媒体に記憶されることができ、上述した記憶媒体がリードオンリーメモリ、磁気ディスク又は光ディスクなどであってよい。
【０２２７】
以上の記載は、本願の好ましい実施例に過ぎず、本願を限定するものではなく、本願の構想及び原則内に行われる全ての修正、等価置換及び改良などは、いずれも本願の保護範囲内に含まれるべきである。
【符号の説明】
【０２２８】
００  病理切片
０１  病理切片画像
０２  デジタル病理画像
０３  AI病理切片画像
１０  顕微鏡本体
１２  画像収集ユニット
１４  AI分析モデル
２０  顕微鏡本体
２１  画像収集ユニット
２２  制御ユニット
２３  AR投影ユニット
５１  音声収集ユニット
５２  ネットワークユニット
５３  音声再生ユニット
１００  病理顕微鏡
１０１  対物レンズ鏡筒
１０２  分光プリズム
１０３  出射光線
１０４  入射光線
１０５  接眼レンズ鏡筒
１０６  反射鏡
１０７  レンズ
１０８  投影内容
２００  病理顕微鏡
１００１  コンピュータ
１１０１  集積チップ
１２０１  ネットワーク
１２１０  クラウドサーバ
１２２０  病院情報システム
１２２１  モデルライブラリ
１２２２  病理報告ライブラリ
１２２４  病理映像データベース
１６１０  画像取得部
１６２０  画像分析部
１６３０  画像投影部
１６３１  モデル取得ユニット
１６３２  モデル呼出ユニット
１７３１  腫瘍検査サブユニット
１７３２  細胞検出サブユニット
１７３３  伝染病検査サブユニット
１８１０  画像取得部
１８２０  音声認識部
１８３０  画像分析部
１８４０  情報再生部
１８５０  画像投影部
１８６０  報告生成部
１８７０  報告アップロード部
１８８０  画像アップロード部
１９４０  観察領域自動捕捉
１９５０  腫瘍領域検査
１９５１  乳がん分析情報
１９５２  骨がん分析情報
１９５３  消化管がん分析情報
１９６０  細胞検出
１９６１  細胞計数情報
１９６２  有糸分裂細胞検出情報
１９６３  細胞核検出情報
１９７０  伝染病検査
１９７１  マラリア原虫卵検査情報
１９７２  抗酸菌検査情報
２０２３  病理報告
２１０１  画像収集部
２１０２  画像前処理部
２１０３  画像後処理部
２２０１  患者認識部
２２０２  音声対話部
２２０３  音声認識部
２２０４  報告生成部
２２０５  AIチップ部
３０００  応用層
３００１  使用シーン
３００２  使用者
３０１０  機能層
３０２０  出力層
３０２２  病理画像
３０２３  病理報告
３０２４  カルテレポート
３０２５  文字内容
３０３０  分析モデル
【図１】
2021516373.tif 000003
【図２】
2021516373.tif 000004
【図３】
2021516373.tif 000005
【図４】
2021516373.tif 000006
【図５】
2021516373.tif 000007
【図６】
2021516373.tif 000008
【図７】
2021516373.tif 000009
【図８】
2021516373.tif 000010
【図９】
2021516373.tif 000011
【図１０】
2021516373.tif 000012
【図１１】
2021516373.tif 000013
【図１２】
2021516373.tif 000014
【図１３】
2021516373.tif 000015
【図１４】
2021516373.tif 000016
【図１５】
2021516373.tif 000017
【図１６】
2021516373.tif 000018
【図１７】
2021516373.tif 000019
【図１８】
2021516373.tif 000020
【図１９】
2021516373.tif 000021
【図２０】
2021516373.tif 000022
【図２１】
2021516373.tif 000023
【手続補正書】
【提出日】令和2年9月15日(2020.9.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
病理顕微鏡に適用される付加表示モジュールであって、
前記病理顕微鏡の入射光路に設けられ、前記入射光路からデジタル病理画像を収集するための画像収集ユニットと、
前記デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成するための制御ユニットと、
前記病理顕微鏡の出射光路に設けられ、前記出射光路において、前記ＡＩ分析情報を前記病理顕微鏡の顕微鏡視野に投影するための拡張現実ＡＲ投影ユニットと
を含み、
前記制御ユニットは、入力端が前記画像収集ユニットに電気的に接続され、出力端が前記拡張現実ＡＲ投影ユニットに電気的に接続される付加表示モジュール。
【請求項２】
前記制御ユニットは、
少なくとも１つのＡＩ分析モデルを取得し、前記デジタル病理画像の使用シーンに対応するターゲットＡＩ分析モデルを決定し、前記ターゲットＡＩ分析モデルを呼び出して前記デジタル病理画像をＡＩ分析して前記ＡＩ分析情報を生成するステップ、及び
前記デジタル病理画像を、サーバに送信し、前記サーバから送られてくる前記ＡＩ分析情報を受信するステップであって、前記サーバは、ＡＩ分析モデルを記憶しており、前記ＡＩ分析モデルで前記デジタル病理画像に対するＡＩ分析を実行することにより、ＡＩ分析情報を取得するものである、ステップ、
のうちの少なくとも１つを実行することを特徴とする、請求項１に記載の付加表示モジュール。
【請求項３】
前記制御ユニットは、
前記デジタル病理画像の使用シーンが腫瘍領域検査である場合、腫瘍領域検査ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記腫瘍領域検査ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析することにより、腫瘍分析情報を取得するステップと、
前記デジタル病理画像の使用シーンが細胞検出である場合、細胞検出ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記細胞検出ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析することにより、細胞検出情報を取得するステップと、
前記デジタル病理画像の使用シーンが伝染病検査である場合、伝染病検査ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記伝染病検査ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析することにより、伝染病検査情報を取得するステップとのうちの少なくとも１つを実行することを特徴とする、請求項２に記載の付加表示モジュール。
【請求項４】
前記付加表示モジュールは、前記制御ユニットに接続される音声収集ユニットを更に含み、
前記音声収集ユニットは、外部の音声信号を収集するものであり、
前記制御ユニットは、前記音声信号の制御命令を認識し、前記制御命令に基づいて前記ＡＩ分析の分析過程を制御することを特徴とする、請求項１〜３のいずれか１項に記載の付加表示モジュール。
【請求項５】
前記制御ユニットは、前記制御命令がモデル選択命令の場合、前記モデル選択命令に基づいて前記ターゲットＡＩ分析モデルを選択することを特徴とする、請求項４に記載の付加表示モジュール。
【請求項６】
前記付加表示モジュールは、前記制御ユニットに接続されたネットワークユニットを更に含み、
前記制御ユニットは、
前記制御命令がモデルダウンロード命令の場合、前記ネットワークユニットに、少なくとも１つのＡＩ分析モデルをダウンロードするよう制御するか、もしくは、
前記ターゲットＡＩ分析モデルが記憶されていない場合、前記ネットワークユニットに、前記ターゲットＡＩ分析モデルをダウンロードするよう制御することを特徴とする、請求項５に記載の付加表示モジュール。
【請求項７】
前記制御ユニットは、
前記制御命令が第１の生成命令の場合、前記ＡＩ分析情報が含まれる病理報告を生成するか、もしくは、
前記制御命令が第２の生成命令の場合、前記ＡＩ分析情報と、病理切片上の文字又は図形コードから認識された患者情報が含まれるカルテレポートを生成することを特徴とする、請求項４に記載の付加表示モジュール。
【請求項８】
前記制御ユニットは、前記音声信号から認識された文字内容に基づいて、前記病理報告又は前記カルテレポートにおける医師記録を生成することを特徴とする、請求項７に記載の付加表示モジュール。
【請求項９】
前記付加表示モジュールは、前記制御ユニットに接続されたネットワークユニットを更に含み、
前記制御ユニットは、
前記ネットワークユニットに前記病理報告又は前記カルテレポートを第１のターゲット装置にアップロードするよう制御するステップと、
前記ネットワークユニットに、前記ＡＩ分析情報が重畳された顕微鏡画像を第２のターゲット装置にアップロードするか、もしくは、予め設定した共有チャネルに共有するよう制御するステップ、のうちの少なくとも１つを実行することを特徴とする、請求項７に記載の付加表示モジュール。
【請求項１０】
前記付加表示モジュールは、前記制御ユニットに接続された音声再生ユニットを更に含み、
前記制御ユニットは、さらに、前記音声再生ユニットに前記ＡＩ分析情報を再生するよう制御することを特徴とする、請求項１〜３のいずれか１項に記載の付加表示モジュール。
【請求項１１】
入射光路に対応する第１の本体部分及び出射光路に対応する第２の本体部分を有する病理顕微鏡であって、請求項１〜１０のいずれか１項に記載の付加表示モジュールが含まれる病理顕微鏡。
【請求項１２】
前記付加表示モジュールの全部又は一部のユニットが、前記顕微鏡本体に実装されるか、もしくは、
前記第１の本体部分に、前記入射光路からデジタル病理画像を収集するための画像収集ユニットを取り付けるための第１のインターフェースが形成され、前記第２の本体部分には、前記デジタル病理画像をＡＩ分析して得られる人工知能ＡＩ分析情報を顕微鏡視野に投影するための拡張現実ＡＲ投影ユニットを取り付けるための第２のインターフェースが形成されることを特徴とする、請求項１１に記載の病理顕微鏡。
【請求項１３】
請求項１乃至１０のいずれか１項に記載の前記制御ユニットが実行する制御方法であって、
画像収集ユニットが入射光路から収集したデジタル病理画像を取得するステップと、
前記デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成するステップと、
拡張現実ＡＲ投影ユニットが出射光路において前記ＡＩ分析情報を病理顕微鏡の顕微鏡視野に投影するよう制御するステップと
を含む表示制御方法。
【請求項１４】
請求項１乃至１０のいずれか１項に記載の前記制御ユニットに実装される表示制御装置であって、
画像収集ユニットが入射光路から収集したデジタル病理画像を取得するための画像取得部と、
前記デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成するための画像分析部と、
ＡＲ投影ユニットが出射光路において前記ＡＩ分析情報を病理顕微鏡の顕微鏡視野に投影するよう制御するための画像投影部と
を含むことを特徴とする表示制御装置。
【請求項１５】
コンピュータに、請求項１乃至１０のいずれか１項に記載の制御ユニットにより実行される制御方法を実行させるコンピュータプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
本発明は、顕微鏡による撮像の分野に関し、特に病理顕微鏡並びに、その表示モジュール、制御方法、装置及びコンピュータプログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
可能な一実現形態では、画像収集ユニット２１、制御ユニット２２及びネットワークユニット５２は、顕微鏡本体外に設けられる電子機器により実現されてもよい。図１０に示すように、病理顕微鏡２００の顕微鏡本体は、入射光路に対応する第１の本体部分と出射光路に対応する第２の本体部分を含み、第１の本体部分には、ねじインターフェースや係止インターフェースなどの所定の標準インターフェースであってよい第１のインターフェースが形成され、画像収集ユニット２１は、第１のジョイントが形成されたカメラであってよく、画像収集ユニット２１の第１のジョイントは、第１の本体部分の第１のインターフェースに接続される。それに応じて、第２の本体部分には、ねじインターフェースや係止インターフェースなどの所定の標準インターフェースであってよい第２のインターフェースが形成され、ＡＲ投影ユニット２３には、第２のジョイントが形成され、ＡＲ投影ユニットの第２のジョイントは、第２の本体部分の第１のインターフェースに接続される。例示的には、さらに、コンピュータ１００１によって制御ユニット２２とネットワークユニット５２を実装し、マイクを音声収集ユニット５１とする。病理切片００は、顕微鏡本体２０の載置台上に位置し、画像収集ユニット２１は、入射光路に位置し、かつコンピュータ１００１の入力端に電気的に接続され、ＡＲ投影ユニット２３は、コンピュータ１００１の出力端に電気的に接続され、かつ出射光路に設けられ、出射光路は、顕微鏡本体２０の接眼レンズ鏡筒の内部に位置する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
別の可能な一実現形態では、制御ユニット２２（及びネットワークユニット５２又は音声再生ユニット５３の少なくとも１つ）は、集積チップ１１０１に製造してもよい。図１１に示すように、集積チップ１１０１は顕微鏡本体のアームに一体集積化され、マイクは音声収集ユニット５１とする。病理切片００は、顕微鏡本体２０の載置台上に位置し、画像収集ユニット２１は、入射光路に位置し、かつ集積チップ１１０１の入力端に電気的に接続され、ＡＲ投影ユニット２３は、集積チップ１１０１の出力端に電気的に接続され、かつ出射光路に設けられ、出射光路は、顕微鏡本体２０の接眼レンズ鏡筒の内部に位置する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１０８
【補正方法】変更
【補正の内容】
【０１０８】
ステップ１３００で、使用シーンを決定する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１２７
【補正方法】変更
【補正の内容】
【０１２７】
評価データ評価基準は、試験画像の試験結果とキャリブレーション結果の誤差が予め設定した条件よりも小さいことであってもよいし、試験画像の試験結果の正解率が予め設定した閾値よりも高いことであってもよいし、さらに試験画像の試験速度及び試験結果がいずれも所望の条件に達することであってもよい。実際の使用シーンによって、評価データ評価基準は異なるものであってよく、本実施例はこれを限定しない。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１４７
【補正方法】変更
【補正の内容】
【０１４７】
本願の別の一部の実施例では、病理画像に対するＡＩ分析及び投影の他に、制御ユニットは、さらに、病理報告及びカルテレポートの生成、ＡＩ分析モデルのダウンロード、及び病理画像、病理報告又はカルテレポートのアップロードなどの機能の少なくとも１つを実現するため、該制御ユニットには、制御目的を実現する制御方法がある。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１８２
【補正方法】変更
【補正の内容】
【０１８２】
異なるＡＩ分析モデルは異なる分析能力を有し、モデル呼出ユニット１６３２の内部に１つ以上のＡＩ分析モデルが設定されてよい。モデル呼出ユニット１６３２には、腫瘍領域検査ＡＩモデル、細胞検出ＡＩモデル及び伝染病検査ＡＩモデルの３種類のモデルの少なくとも１種のモデルが設定されてよい。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１８３
【補正方法】変更
【補正の内容】
【０１８３】
モデル呼出ユニット１６３２に腫瘍領域検査ＡＩモデル、細胞検出ＡＩモデル及び伝染病検査ＡＩモデルの３種類のモデルが同時に設けられる場合を例示すると、図１７に示すように、モデル呼出ユニット１６３２は、腫瘍検査サブユニット１７３１、細胞検出サブユニット１７３２及び伝染病検査サブユニット１７３３を含む。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０２１７
【補正方法】変更
【補正の内容】
【０２１７】
ネットワークユニット５２により少なくとも１つのＡＩ分析モデルをダウンロードすることができ、或いは、ターゲットＡＩ分析モデルが記憶されていない場合、ネットワークユニット５２によりターゲットＡＩ分析モデルを自動的にダウンロードする。ダウンロードされたＡＩ分析モデル又はターゲットＡＩ分析モデルは、いずれもＡＩチップ部に記憶することができる。病理顕微鏡の病理切片画像及び／又はデジタル病理画像及び／又はＡＩ病理切片画像は、ネットワークユニット５２により第２のターゲット装置にアップロードするか又は予め設定した共有チャネルに共有することができる。また、ネットワークユニット５２は、報告生成部２２０４で生成された病理報告及びカルテレポートを第１のターゲット装置にアップロードすることができる。第１のターゲット装置、第２のターゲット装置及び予め設定した共有チャネルの詳細は前に説明したが、ここで説明を省略する。
【国際調査報告】
2021516373.tif 000024
2021516373.tif 000025
2021516373.tif 000026
2021516373.tif 000027