(57)【特許請求の範囲】
【請求項１】
認識される医用画像を受信することと、
前記医用画像を事前設定された視覚幾何学グループＶＧＧニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得することと、
前記視覚的特徴ベクトルおよび前記キーワードシーケンスを、前記医用画像の画像タイプに対応する事前設定された診断項目認識モデルにインポートし、前記医用画像によって特徴付けられる被撮影者の健康状態を示す診断項目を決定することと、
診断項目拡張モデルに基づいて、前述した各診断項目を記述するためのセグメントをそれぞれ構築することと、
前記セグメント、前記キーワードシーケンスおよび前記診断項目に基づいて、前記医用画像の医療報告書を生成することと、を含み、
前記診断項目拡張モデルは、各診断項目が異なるパラメータ値を取るときに対応するセグメントを記録するハッシュ関数であることを特徴とする医療報告書の生成方法。
【請求項２】
前記医用画像を事前設定された視覚幾何学グループＶＧＧニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得することは、
前記医用画像における各画素点の画素値および各画素値の位置座標に基づいて、前記医用画像の画素行列を構築することと、
前記ＶＧＧニューラルネットワークの５層プーリング層Ｍａｘｐｏｏｌによって、前記画素行列を次元削減し、前記視覚的特徴ベクトルを取得することと、
前記視覚的特徴ベクトルを前記ＶＧＧニューラルネットワークの全結合層にインポートし、前記視覚的特徴ベクトルに対応するインデックスシーケンスを出力することと、
キーワードインデックステーブルに従って、前記インデックスシーケンスに対応するキーワードシーケンスを決定することと、を含むことを特徴とする請求項１に記載の生成方法。
【請求項３】
前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決定することは、
各キーワードの事前設定されたコーパスでのシリアル番号に基づいて、前記キーワードシーケンスに対応するキーワード特徴ベクトルを生成することと、
前記キーワード特徴ベクトルおよび前記視覚的特徴ベクトルをそれぞれ前処理関数にインポートし、前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを取得することと、前記前処理関数は、具体的に以下のとおりである、すなわち、
【数１】
0006980040.tif 000006
ここで、σ（ｚｊ）は、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素が前処理された値で、ｚｊは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素の値で、Ｍは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルに対応する要素の数であり、
前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを前記診断項目認識モデルの入力として、前記診断項目を出力することとを含むことを特徴とする請求項１に記載の生成方法。
【請求項４】
認識される医用画像を受信するための医用画像受信ユニットと、
前記医用画像を事前設定された視覚幾何学グループＶＧＧニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得するための特徴ベクトル取得ユニットと、
前記視覚的特徴ベクトルおよび前記キーワードシーケンスを、前記医用画像の画像タイプに対応する事前設定された診断項目認識モデルにインポートし、前記医用画像によって特徴付けられる被撮影者の健康状態を示す診断項目を決定するための診断項目認識ユニットと、
診断項目拡張モデルに基づいて、前述した各診断項目を記述するためのセグメントをそれぞれ構築するための記述セグメント決定サブユニットと、
前記セグメント、前記キーワードシーケンスおよび前記診断項目に従って、前記医用画像の医療報告書を生成するための医療報告書生成ユニットと、を含み、
前記診断項目拡張モデルは、各診断項目が異なるパラメータ値を取るときに対応するセグメントを記録するハッシュ関数であることを特徴とする医療報告書の生成装置。
【請求項５】
前記特徴ベクトル取得ユニットは、
前記医用画像における各画素点の画素値および各画素値の位置座標に基づいて、前記医用画像の画素行列を構築するための画素行列構築ユニットと、
前記ＶＧＧニューラルネットワークの５層プーリング層Ｍａｘｐｏｏｌによって、前記画素行列を次元削減し、前記視覚的特徴ベクトルを取得するための視覚的特徴ベクトル生成ユニットと、
前記視覚的特徴ベクトルを前記ＶＧＧニューラルネットワークの全結合層にインポートし、前記視覚的特徴ベクトルに対応するインデックスシーケンスを出力するためのインデックスシーケンス生成ユニットと、
キーワードインデックステーブルに基づいて、前記インデックスシーケンスに対応するキーワードシーケンスを決定するためのキーワードシーケンス生成ユニットと、を含むことを特徴とする請求項４に記載の生成装置。
【請求項６】
前記診断項目認識ユニットは、
各キーワードの事前設定されたコーパスのシリアル番号に基づいて、前記キーワードシーケンスに対応するキーワード特徴ベクトルを生成するためのキーワード特徴ベクトル構築ユニットと、
前記キーワード特徴ベクトルおよび前記視覚的特徴ベクトルをそれぞれ前処理関数にインポートし、前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを取得するための前処理ユニットと、ここで、前記前処理関数は、具体的に以下のとおりである、すなわち、
【数２】
0006980040.tif 000007
ここで、σ（ｚｊ）は、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素が前処理された値で、ｚｊは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素の値で、Ｍは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルに対応する要素の数であり、
前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを前記診断項目認識モデルの入力として、前記診断項目を出力するための前処理ベクトルインポートユニットと、を含むことを特徴とする請求項４に記載の生成装置。
【請求項７】
メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサで動作可能なコンピュータ読み取り可能なコマンドと、を含んでおり、前記プロセッサは、前記コンピュータ読み取り可能なコマンドを実行するときに、下記のステップ、すなわち、
認識される医用画像を受信するステップと、
前記医用画像を事前設定された視覚幾何学グループＶＧＧニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得するステップと、
前記視覚的特徴ベクトルおよび前記キーワードシーケンスを、前記医用画像の画像タイプに対応する事前設定された診断項目認識モデルにインポートし、前記医用画像によって特徴付けられる被撮影者の健康状態を示す診断項目を決定するステップと、
診断項目拡張モデルに基づいて、前述した各診断項目を記述するためのセグメントをそれぞれ構築するステップであって、前記診断項目拡張モデルは、各診断項目が異なるパラメータ値を取るときに対応するセグメントを記録するハッシュ関数である、ステップと、
前記セグメント、前記キーワードシーケンスおよび前記診断項目に基づいて、前記医用画像の医療報告書を生成するステップと、を実現することを特徴とする医療報告書の生成装置。
【請求項８】
前記医用画像を事前設定された視覚幾何学グループＶＧＧニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得することは、
前記医用画像における各画素点の画素値および各画素値の位置座標に基づいて、前記医用画像の画素行列を構築することと、
前記ＶＧＧニューラルネットワークの５層プーリング層Ｍａｘｐｏｏｌによって、前記画素行列を次元削減し、前記視覚的特徴ベクトルを取得することと、
前記視覚的特徴ベクトルを前記ＶＧＧニューラルネットワークの全結合層にインポートし、前記視覚的特徴ベクトルに対応するインデックスシーケンスを出力することと、
キーワードインデックステーブルに従って、前記インデックスシーケンスに対応するキーワードシーケンスを決定することと、を含むことを特徴とする請求項７に記載の生成装置。
【請求項９】
前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決定することは、
各キーワードの事前設定されたコーパスのシリアル番号に基づいて、前記キーワードシーケンスに対応するキーワード特徴ベクトルを生成することと、
前記キーワード特徴ベクトルおよび前記視覚的特徴ベクトルをそれぞれ前処理関数にインポートし、前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを取得することと、
ここで、前記前処理関数は、具体的に以下のとおりである、すなわち、
【数３】
0006980040.tif 000008
ここで、σ（ｚｊ）は、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素が前処理された値で、ｚｊは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素の値で、Ｍは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルに対応する要素の数であり、
前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを前記診断項目認識モデルの入力として、前記診断項目を出力することと、を含むことを特徴とする請求項７に記載の生成装置。
【請求項１０】
コンピュータ読み取り可能なコマンドが記憶されており、前記コンピュータ読み取り可能なコマンドがプロセッサによって実行されるときに、下記のステップ、すなわち、
認識される医用画像を受信するステップと、
前記医用画像を事前設定された視覚幾何学グループＶＧＧニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得するステップと、
前記視覚的特徴ベクトルおよび前記キーワードシーケンスを、前記医用画像の画像タイプに対応する事前設定された診断項目認識モデルにインポートし、前記医用画像によって特徴付けられる被撮影者の健康状態を示す診断項目を決定するステップと、
診断項目拡張モデルに基づいて、前述した各診断項目を記述するためのセグメントをそれぞれ構築するステップであって、前記診断項目拡張モデルは、各診断項目が異なるパラメータ値を取るときに対応するセグメントを記録するハッシュ関数である、ステップと、
前記セグメント、前記キーワードシーケンスおよび前記診断項目に従って、前記医用画像の医療報告書を生成するステップと、を実現することを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項１１】
前記医用画像を事前設定された視覚幾何学グループＶＧＧニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得することは、
前記医用画像における各画素点の画素値および各画素値の位置座標に基づいて、前記医用画像の画素行列を構築することと、
前記ＶＧＧニューラルネットワークの５層プーリング層Ｍａｘｐｏｏｌによって、前記画素行列を次元削減し、前記視覚的特徴ベクトルを取得することと、
前記視覚的特徴ベクトルを前記ＶＧＧニューラルネットワークの全結合層にインポートし、前記視覚的特徴ベクトルに対応するインデックスシーケンスを出力することと、
キーワードインデックステーブルに従って、前記インデックスシーケンスに対応するキーワードシーケンスを決定することと、を含むことを特徴とする請求項１０に記載のコンピュータ読み取り可能な記憶媒体。
【請求項１２】
前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決定することは、
各キーワードの事前設定されたコーパスのシリアル番号に基づいて、前記キーワードシーケンスに対応するキーワード特徴ベクトルを生成することと、
前記キーワード特徴ベクトルおよび前記視覚的特徴ベクトルをそれぞれ前処理関数にインポートし、前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを取得することと、ここで、前記前処理関数は、具体的に以下のとおりである、すなわち、
【数４】
0006980040.tif 000009
ここで、σ（ｚｊ）は、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素が前処理された値で、ｚｊは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素の値で、Ｍは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルに対応する要素の数であり、
前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを前記診断項目認識モデルの入力として、前記診断項目を出力することとを含むことを特徴とする請求項１０に記載のコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１８年５月１４日に出願した「医療報告書の生成方法および装置」と題された中国特許出願第２０１８１０４５６３５１．１号に基づく優先権を主張し、前記中国特許出願の内容全体は、参照により本明細書に組み込まれる。
【０００２】
本願は、情報処理技術の分野に属し、特に医療報告書の生成方法および装置に関する。
【背景技術】
【０００３】
医用画像工学の持続的な発展により、医師は医用画像を通じて患者の病症を効果的に判断でき、診断時間が大幅に短縮される。患者が自分の病症をよりよく了解するように、医師は、医用画像に基づいて対応する医療報告書を手書きで記入する。ただし、医療報告書を生成する既存の方法では、患者や研修医にとって医用画像から病症を直接判断することができず、ベテラン医師による記入を必要とするため、医療報告書を生成する人件費を高め、また、手書きで記入する効率も低く、患者の治療時間が長くなる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
これを考慮して、本願の実施例は、医療報告書を生成する既存の方法において医療報告書を生成する人件費が高く、患者の治療時間が長くなるという課題を解決するために、医療報告書の生成方法および装置を提供する。
【課題を解決するための手段】
【０００５】
本願の実施例の第１の態様は、医療報告書の生成方法を提供し、
認識される医用画像を受信することと、
前記医用画像を事前設定された視覚幾何学グループＶＧＧニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得することと、
前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決めることと、
診断項目拡張モデルに基づいて、前述した各診断項目を記述するためのセグメントをそれぞれ構築することと、
前記セグメント、前記キーワードシーケンスおよび前記診断項目に従って、前記医用画像の医療報告書を生成することと、を含む。
【発明の効果】
【０００６】
本願の実施例において、医用画像を事前設定されたＶＧＧニューラルネットワークにインポートすることによって、当該医用画像に対応する視覚的特徴ベクトルおよびキーワードシーケンスを決定し、視覚的特徴ベクトルは当該医用画像に含まれる病症の画像特徴を特徴付けるためのものであり、キーワードシーケンスは当該医用画像に含まれる病症の種類を決定するためのものであり、上記の２つのパラメータを診断項目認識モデルにインポートし、当該医用画像に含まれる診断項目を決定し、かつ各診断項目に対して関連するフレーズおよびセンテンスを記入し、当該診断項目に対応するセグメントを構成し、最後に各診断項目に対応するセグメントに基づいて当該医用画像の医療報告書を取得する。既存の医療報告書の生成方法と比較して、本願の実施例は、医師による手書き入力を必要とせず、医用画像に含まれる特徴に従って対応する医療報告書を自動的に出力することができ、それにより、医療報告書の生成効率が向上し、人件費を低減し、患者の治療時間が短縮される。
【図面の簡単な説明】
【０００７】
【図１ａ】本願の第１の実施例による医療報告書の生成方法を実現するフローチャートである。
【図１ｂ】本願の一実施例によるＶＧＧニューラルネットワークの構造を示すブロック図である。
【図１ｃ】本願の一実施例によるＬＳＴＭニューラルネットワークの構造を示すブロック図である。
【図２】本願の第２の実施例による医療報告書の生成方法Ｓ１０２を具体的に実現するフローチャートである。
【図３】本願の第３の実施例による医療報告書の生成方法Ｓ１０３を具体的に実現するフローチャートである。
【図４】本願の第４の実施例による医療報告書の生成方法を具体的に実現するフローチャートである。
【図５】本願の第４の実施例による医療報告書の生成方法を具体に実現するフローチャートである。
【図６】本願の一実施例による医療報告書の生成装置の構造を示すブロック図である。
【図７】本願の別の実施例による医療報告書を生成する装置の概略図である。
【発明を実施するための形態】
【０００８】
本願の実施例において、プロセスの実行主体は医療報告書の生成装置である。当該医療報告書の生成装置は、ラップトップ、コンピュータ、サーバー、タブレットやスマートフォンなどの医療報告書の生成装置を含むが、これらに限定されない。図１ａは、本願の第１の実施例による医療報告書の生成方法を実現するフローチャートであり、詳細は以下のとおりである。すなわち、
Ｓ１０１では、認識される医用画像を受信する。
【０００９】
本実施例において、医療報告書の生成装置は医用画像の撮影端末内に統合されてもよく、この場合、撮影端末が撮影操作を完了して患者の医用画像を生成した後、当該医用画像が当該医療報告書の生成装置に伝送されてもよく、医療報告書の生成装置は、当該医用画像を分析し、対応する医療報告書を決定するため、患者および医師に医学画像をプリントする必要がなくなり、処理効率を向上させ、言うまでもなく、医療報告書の生成装置は、撮影端末のシリアルポートのみに接続され、関連するシリアルインタフェースを介して生成された医用画像を伝送してもよい。
【００１０】
本実施例において、医療報告書の生成装置は、内蔵のスキャンモジュールを介してプリントされた医用画像を操作することによって、コンピュータで読み取り可能な医用画像を取得する。言うまでもなく、当該生成装置は、有線通信インタフェースまたは無線通信インタフェースを介してユーザ端末によって送信された医用画像を受信し、対応する通信チャネルを介して分析された医療報告書をユーザ端末に返信することによって、遠距離で医療報告書を取得する目的を達成することができる。
【００１１】
本実施例において、医用画像は、Ｘ線画像、Ｂモード超音波画像などの様々な種類の放射線で人体を撮影した後の画像、および解剖学的マップ、マイクロカテーテルに基づく人体内臓マップなどの病理画像を含むが、これらに限定されない。
【００１２】
任意選択で、Ｓ１０１の後、生成装置はさらに、事前設定された画像処理アルゴリズムによって医用画像を最適化することができる。上記の画像処理アルゴリズムは、鮮鋭化処理、二値化処理、ノイズ低減処理、階調処理などの画像処理アルゴリズムを含むが、これらに限定されない。特に、当該医用画像をスキャンにより取得する場合、スキャン解像度を上げることにより、得られる医用画像の画質を向上させることができ、また、スキャン時の周囲の光強度を収集することにより、医用画像を差分処理することで、医用画像に対する周囲光の影響を低減し、その後の認識の精度を向上させる。
【００１３】
Ｓ１０２では、前記医用画像を事前設定された視覚幾何学グループＶＧＧニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得する。
【００１４】
本実施例において、生成装置は、視覚幾何学グループ（Ｖｉｓｕａｌ  Ｇｅｏｍｅｔｒｙ  Ｇｒｏｕｐ，ＶＧＧ）ニューラルネットワークを格納して医用画像を処理し、当該医用画像に対応する視覚的特徴ベクトルおよびキーワードシーケンスを抽出する。ここで、視覚的特徴ベクトルは、輪郭特徴、構造的特徴、各オブジェクト間の相対距離など、医用画像で撮影されたオブジェクトの画像特徴を記述するためのものであり、前記キーワード特徴は、当該医用画像に含まれるオブジェクトおよびオブジェクトの属性を特徴付けるためのものである。例えば、医用画像で撮影された部分が胸部である場合、認識されたキーワードシーケンスは［胸、肺部、肋骨、左肺葉、右肺葉、心臓］などであってもよく、特定の部分に異常なオブジェクトがある場合、キーワードシーケンスに反映されることは無論である。好ましくは、視覚的特徴ベクトルは、キーワードシーケンスの各要素と１対１の対応関係を有し、すなわち、視覚的特徴ベクトルの各要素は、キーワードシーケンスの各キーワードを記述するための画像特徴である。
【００１５】
本実施例において、当該ＶＧＧニューラルネットワークはＶＧＧ１９ニューラルネットワークを用いることができ、ＶＧＧ１９ニューラルネットワークは画像特徴抽出において高い計算能力を有するため、複数のレイヤーを含む画像データに対して５層プーリング層によって次元削減した後、視覚的特徴を抽出することができ、また、本実施例において、全結合層をキーワードインデックステーブルに調整することで、キーワードインデックステーブルに基づいてキーワードシーケンスを出力することができる。ここで、ＶＧＧ１９の概略図を図１ｂに示すことに参照する。
【００１６】
任意選択で、Ｓ１０２の前に、生成装置は、複数の訓練画像を取得して出力結果が収束するまで、つまり、訓練画像が入力され、出力される視覚的特徴ベクトルおよびキーワードシーケンスの各要素の値がプリセット値と一致するまで、ＶＧＧニューラルネットワークにおける各プーリング層および全結合層のパラメータを調整する。好ましくは、当該訓練画像は、医用画像だけでなく、ポートレートや静止画像など、医用画像以外の他の種類の画像も含むことができ、それにより、ＶＧＧニューラルネットワークにおいて認識可能な数を増やし、精度を向上させる。
【００１７】
Ｓ１０３において、前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決定する。
【００１８】
本実施例において、医用画像に含まれるキーワードシーケンスおよび視覚的特徴ベクトルを認識することによって、各オブジェクトに対応する形状特徴およびオブジェクト属性を決定することができ、上記の２つのパラメータを事前設定された診断項目認識モデルにインポートすることによって、当該医用画像に含まれる診断項目を決定することができ、当該診断項目は、具体的に、当該医用画像によって特徴付けられる被撮影者の健康状態を示すためのものである。
【００１９】
なお、診断項目の数は、管理者のニーズに基づいて設定でき、つまり、各医用画像に含まれる診断項目の数は同じである。この場合、管理者は、異なる医用画像の画像タイプに従って、閾値に対応する診断項目認識モデルを生成することもでき、例えば、胸部透析マップの場合、胸部診断項目認識モデルを用いることができ、Ｘ線膝透視図の場合、膝関節診断項目認識モデルを用いることができ、ここで、各認識モデルのすべての出力結果である診断項目の数は固定され、つまり、事前設定された診断項目を認識する必要があることを示す。
【００２０】
本実施例において、当該診断項目認識モデルは、訓練学習されたＬＳＴＭニューラルネットワークを用いることができ、この場合、視覚的特徴ベクトルおよびキーワードシーケンスを組み合わせて、ＬＳＴＭニューラルネットワークの入力として医療特徴ベクトルを形成することができ、ここで、ＬＳＴＭニューラルネットワークのレベルは、認識される診断項目の数と一致してもよく、つまり、各ＬＳＴＭニューラルネットワークのレベルは１つの診断項目に対応する。図１ｃを参照すると、図１ｃは本願の１つの実施例によるＬＳＴＭニューラルネットワークの構造を示すブロック図であり、当該ＬＳＴＭニューラルネットワークはＮ個のＬＳＴＭレベルを含み、各ＬＳＴＭレベルはＮ個の診断項目に対応し、ここで、ｉｍａｇｅは視覚的特徴ベクトルおよびキーワードシーケンスに基づいて生成される医療特徴ベクトルであり、Ｓ０〜ＳＮ−１は各診断項目のパラメータ値であり、ｐ１〜ｐＮは各パラメータ値の正しい確率であり、ｌｏｇ  ｐｉ  （Ｓｉ−１）が収束すると、Ｓｉ−１で取られたパラメータ値を当該診断項目に対応するパラメータ値とし、当該医用画像における各診断項目の値を決定する。
【００２１】
Ｓ１０４において、診断項目拡張モデルに基づいて、前述した各診断項目を記述するためのセグメントをそれぞれ構築する。
【００２２】
本実施例において、生成装置は、各診断項目を決定した後、当該診断項目を診断項目拡張モデルにインポートすることにより、各診断項目を記述するためのセグメントを出力し、患者が当該セグメントを通して当該診断項目の内容を直感的に認識でき、医療報告書の読みやすさを向上させる。
【００２３】
任意選択で、当該診断項目拡張モデルは、各診断項目が異なるパラメータ値を取るときに対応するセグメントを記録するハッシュ関数であってもよく、生成装置は、医用画像に対応する各診断項目を当該ハッシュ関数にそれぞれインポートすると、当該診断項目のセグメントを決定することができる。この場合、生成装置は、ハッシュ関数変換のみでセグメント決定でき、計算量が少ないため、医療報告書生成の効率が向上する。
【００２４】
任意選択で、当該診断項目拡張モデルはＬＳＴＭニューラルネットワークであってもよく、この場合、生成装置は、すべての診断項目を集約して診断項目ベクトルを形成し、かつ当該診断項目ベクトルを当該ＬＳＴＭニューラルネットワークの入力端とし、ここで、ＬＳＴＭニューラルネットワークには、診断項目と同じ数の層があり、当該ＬＳＴＭニューラルネットワークにおける各層は、診断項目のセグメントを出力するために使用され、複数層ニューラルネットワークの出力後、診断項目からセグメントへの変換操作を完了できる。上記方法でセグメントを生成する過程で、ＬＳＴＭニューラルネットワークの入力は、各診断項目が集約された診断項目ベクトルであり、各診断項目の情報が含まれるため、生成されたセグメントでは他の診断項目の影響を考慮することができ、それにより、セグメント間の一貫性が向上し、医療報告書全体の読みやすさが向上する。なお、ＬＳＴＭニューラルネットワークによってセグメントを決定する特定のプロセスはＳ１０４と似ているため、ここで再度の説明を省略する。
【００２５】
Ｓ１０５では、前記セグメント、前記キーワードシーケンスおよび前記診断項目に従って、前記医用画像の医療報告書を生成する。
【００２６】
本実施例において、医療報告書の生成装置は、当該医用画像に含まれる診断項目、当該診断項目を記述するセグメントおよび当該診断項目に対応するキーワードを決定した後、当該医用画像の医療報告書を作成してもよい。なお、診断項目のセグメントは既に十分に読みやすいため、診断項目に基づいて医療報告書をモジュールに分割し、各モジュールに対応するセグメントを記入してもよく、つまり、実際のユーザに見える医療報告書には、診断項目およびキーワードが直接反映されず、セグメント内容のみが含まれてもよい。言うまでもなく、生成装置は、診断項目、キーワードおよびセグメントを関連付けて表示できるため、それにより、ユーザは、短く洗練されたキーワードシーケンスから、当該医療報告書の具体的な内容を迅速に決定し、また、診断項目によって自分の健康状態を決定し、さらにセグメントによって健康状態についての評価を詳細に理解し、様々な角度から医療報告書の内容を迅速に理解し、医療報告書の読みやすさおよび情報取得の効率を向上させる。
【００２７】
任意選択で、当該医療報告書に医用画像を添付し、キーワードシーケンスを医用画像に対応する位置に順次マークし、かつマークボックス、リストおよび列などの方法によって、各キーワードに対応する診断項目およびセグメント情報を比較して表示することができるため、ユーザが当該医療報告書の内容をより直感的に決定できる。
【００２８】
上記から分かるように、本願の実施例による医療報告書の生成方法は、医用画像を事前設定されたＶＧＧニューラルネットワークにインポートすることによって、当該医用画像に対応する視覚的特徴ベクトルおよびキーワードシーケンスを決定し、視覚的特徴ベクトルは当該医用画像に含まれる病症の画像特徴を特徴付けるためのものであり、キーワードシーケンスは当該医用画像に含まれる病症の種類を決定するためのものであり、上記の２つのパラメータを診断項目認識モデルにインポートし、当該医用画像に含まれる診断項目を決定し、かつ各診断項目に対して関連するフレーズおよびセンテンスを記入し、当該診断項目に対応するセグメントを構成し、最後に各診断項目に対応するセグメントに基づいて当該医用画像の医療報告書を取得する。既存の医療報告書の生成方法と比較して、本願の実施例は、医師による手書き入力を必要とせず、医用画像に含まれる特徴に従って対応する医療報告書を自動的に出力することができ、それにより、医療報告書の生成効率が向上し、人件費を低減し、患者の治療時間が短縮される。
【００２９】
図２は、本願の第２の実施例による医療報告書の生成方法Ｓ１０２を具体的に実現するフローチャートである。図２を参照すると、図１ａに記載の実施例に対して、本実施例による医療報告書の生成方法Ｓ１０２はＳ１０２１〜Ｓ１０２４を含み、詳細は以下のとおりである。すなわち、
Ｓ１０２１において、前記医用画像における各画素点の画素値および各画素値の位置座標に基づいて、前記医用画像の画素行列を構築する。
【００３０】
本実施例において、医用画像は複数の画素点で構成され、各画素点は１つの画素値に対応するため、各画素点の位置座標を画素行列の位置座標とし、画素点に対応する画素値を画素行列における当該画素点に対応する座標の要素の値とし、それにより、２次元図形を画素行列に変換できる。
【００３１】
なお、当該医用画像が三原色ＲＧＢ画像である場合，医用画像の３つのレイヤーに基づいて３つの画素行列をそれぞれ構築してもよく、つまり、Ｒレイヤーは１つの画素行列に対応し、Ｇレイヤーは１つの画素行列に対応し、Ｂレイヤーは１つの画素行列に対応し、各画素行列の要素の値は０〜２５５である。言うまでもなく、生成装置は、医用画像に対して階調変換または二値化変換を実行することもでき、それにより、複数のレイヤーを１つの画像にマージし、作成された画素行列の数も１つである。任意選択で、医用画像が三原色ＲＧＢ画像である場合、複数のレイヤーに対応する画素行列をマージして、当該医用画像に対応する画素行列として形成し、マージ方法に関して、３つの画素行列の列番号が医用画像の横座標に１対１で対応し、Ｒレイヤーの画素行列の行が拡張され、各行の間に２行の空白行が埋められ、残りの２つの画素行列の各行は、行番号の順序に従って拡張された各空白行に順次導入され、それによって３Ｍ＊Ｎの画素行列が構成され、ここで、Ｍは医用画像の行数であり、Ｎは医用画像の列数である。
【００３２】
Ｓ１０２２では、前記ＶＧＧニューラルネットワークの５層プーリング層Ｍａｘｐｏｏｌによって前記画素行列を次元削減し、前記視覚的特徴ベクトルを取得する。
【００３３】
本実施例において、構築された画素行列をＶＧＧニューラルネットワークの５層プーリング層にインポートし、５回の次元削減を実行することによって、当該画素行列に対応する視覚的特徴ベクトルを生成する。なお、当該プーリング層の畳み込みカーネルは画素行列のサイズに基づいて決定されてもよく、この場合、生成装置には、行列サイズと畳み込みカーネルとの間の対応関係テーブルが記録され、生成装置は、医用画像に対応する画素行列を構築すると、当該行列の行数および列数を取得し、それにより、当該行列のサイズを決定し、当該サイズに対応する畳み込みカーネルのサイズを検索し、当該畳み込みカーネルサイズに基づいてＶＧＧニューラルネットワークのプーリング層を調整し、次元削減操作のプロセスで使用される畳み込みカーネルを画素行列に一致させる。
【００３４】
本実施例において、ＶＧＧニューラルネットワークは、視覚的特徴を抽出するための５層プーリング層Ｍａｘｐｏｏｌおよび視覚的特徴ベクトルに対応するキーワードシーケンスを決定するための全結合層を含み、ここで、医用画像は最初に５層プーリング層を通過し、そして次元削減されたベクトルを全結合層にインポートして最後のキーワードシーケンスを出力するものであるが、診断項目を決定するプロセスでは、オブジェクトおよびオブジェクト属性を記述するキーワードシーケンスを取得することに加え、各オブジェクトの視覚輪郭特徴を決定する必要もあるため、生成装置は、ネイティブＶＧＧニューラルネットワークを最適化し、５層プーリング層の後に１つのパラメータ出力インタフェースを配置し、後続の操作のために、中間変数の視覚的特徴ベクトルをエクスポートする。
【００３５】
Ｓ１０２３において、前記視覚的特徴ベクトルを前記ＶＧＧニューラルネットワークの全結合層にインポートし、前記視覚的特徴ベクトルに対応するインデックスシーケンスを出力する。
【００３６】
本実施例において、生成装置は、視覚的特徴ベクトルをＶＧＧニューラルネットワークの全結合層にインポートし、当該全結合層には各キーワードに対応するインデックス番号が記録され、当該ＶＧＧネットワークが訓練学習されているため、視覚的特徴ベクトルによって当該医用画像に含まれるオブジェクトおよび各オブジェクトの属性を決定することができ、それにより、全結合層を計算することで、視覚的特徴ベクトルに対応するインデックスシーケンスを生成することができる。ＶＧＧニューラルネットワークの出力結果は通常では数字で構成されるベクトル、シーケンスまたは行列であるため、生成装置は、Ｓ１０２３中でキーワードシーケンスを直接出力せず、キーワードシーケンスに対応するインデックスシーケンスを出力し、当該インデックスシーケンスに複数のインデックス番号が含まれ、各インデックス番号はそれぞれ１つのキーワードに対応し、それにより、出力結果に数字タイプの文字のみが含まれている場合でも、医用画像に対応するキーワードシーケンスを決定することができる。
【００３７】
Ｓ１０２４において、キーワードインデックステーブルに従って、前記インデックスシーケンスに対応するキーワードシーケンスを決定する。
【００３８】
本実施例において、生成装置にはキーワードインデックステーブルが記憶され、当該キーワードインデックステーブルには各キーワードに対応するインデックス番号が記録されるので、生成装置は、インデックスシーケンスを決定した後、当該インデックスシーケンスの各要素に対応するインデックス番号に基づいて、対応するキーワードを検索し、それにより、インデックスシーケンスをキーワードシーケンスに変換する。
【００３９】
本願の実施例では、５層プーリング層の出力を視覚的特徴ベクトルとして、次元削減された後、医用画像に主に含まれる特徴を１次元ベクトルで表現することにより、視覚的特徴ベクトルのサイズが低減され、後続の認識の効率を向上させ、また、インデックスシーケンスを出力してキーワードシーケンスに変換することにより、ＶＧＧモデルを改良することが減る。
【００４０】
図３は、本願の第３の実施例による医療報告書の生成方法Ｓ１０３を具体的に実現するフローチャートである。図３を参照すると、図１ａに記載の実施例に対して、本実施例による医療報告書の生成方法Ｓ１０３はＳ１０３１〜Ｓ１０３３を含み、詳細は以下のとおりである。すなわち、
Ｓ１０３１において、各キーワードの事前設定されたコーパスのシリアル番号に基づいて、前記キーワードシーケンスに対応するキーワード特徴ベクトルを生成する。
【００４１】
本実施例において、医療報告書の生成装置にはすべてのキーワードが記録されたコーパスが記憶され、当該コーパスにおいてキーワードごとに対応するシリアル番号を配置し、生成装置は、当該コーパスに基づいて、キーワードシーケンスを対応するキーワード特徴ベクトルに変換することができ、当該キーワード特徴ベクトルに含まれる要素の数は、キーワードシーケンスに含まれる要素と１対１で対応し、当該キーワード特徴ベクトルにはコーパス内の各キーワードの対応するシリアル番号が記録されているため、文字、英語および数字が含まれる複数の文字タイプのシーケンスを数字タイプのみが含まれるシーケンスに変換できるので、キーワード特徴シーケンスの計算能力を向上させる。
【００４２】
なお、当該コーパスは、サーバーのダウンロードおよびユーザの入力によってコーパスに含まれるキーワードを更新できるが、新しく追加されたキーワードについては、元のキーワードに基づいて、新しく追加されたキーワードごとに対応するシリアル番号を配置する。削除されたキーワードについては、コーパス全体の各キーワードのシリアル番号が連続するように、キーワードシリアル番号が削除された後のすべてのキーワードを調整する。
【００４３】
Ｓ１０３２では、前記キーワード特徴ベクトルおよび前記視覚的特徴ベクトルをそれぞれ前処理関数にインポートし、前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを取得する。ここで、前記前処理関数は、具体的に以下のとおりである、すなわち、
【００４４】
【数１】
0006980040.tif 000002
【００４５】
ここで、σ（ｚｊ）は、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素が前処理された値で、ｚｊは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素の値で、Ｍは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルに対応する要素の数である。
【００４６】
本実施例において、キーワードシーケンスにおけるコーパス内の各キーワードの位置差が大きいため、生成されたキーワード特徴ベクトルに含まれるシリアル番号の数値差が大きくなり、キーワード特徴ベクトルの記憶および後続処理に不利であり、それにより、Ｓ１０３２において、キーワード特徴シーケンスにおけるすべての要素の数値が事前設定された範囲にあることが保証され、減少キーワード特徴ベクトルの記憶スペースが削減され、診断項目によって認識される計算量が削減されるように、キーワード特徴ベクトルを前処理する。
【００４７】
同じ理由で、視覚的特徴ベクトルの場合、視覚的特徴ベクトルにおける各要素の数値は、前処理によって事前設定された数値の範囲内になるように変換される。
【００４８】
本実施例における前処理関数の具体的な方法は上記のとおりであり、各要素の値を重ね合わせてベクトル全体における各要素の割合を決定し、当該割合を前処理された要素のパラメータ値として使用することにより、視覚的特徴ベクトルおよびキーワード特徴ベクトルのすべての要素の取りうる範囲が０から１になり、上記２組のベクトルの記憶スペースを削減できる。
【００４９】
Ｓ１０３３では、前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを前記診断項目認識モデルの入力として、前記診断項目を出力する。
【００５０】
本実施例において、生成装置は、前処理されたキーワードベクトルおよび前処理された視覚的特徴ベクトルを診断項目認識モデルの入力として、上記の処理後、上記２組のベクトルの値が事前設定された範囲内にあるため、各要素に割り当てるバイト数を削減し、ベクトル全体のサイズを効果的に制御し、診断項目認識モデルが計算する時にも、無効な桁数の読み取り動作を削減でき、処理効率が向上し、上記ベクトルの各要素のパラメータ値は実質的に変化せず、比例して縮小され、診断項目を決定できる。
【００５１】
なお、上記の診断項目の認識モデルは、パラメータＬＳＴＭニューラルネットワークおよび上記の各実施例に提供されたニューラルネットワークであってもよく、具体的な実現プロセスは上記実施例を参照でき、ここで再度の説明を省略する。
【００５２】
本願の実施例において、キーワードシーケンスおよび視覚的特徴ベクトルを前処理することにより、医療報告書の生成効率が向上する。
【００５３】
図４は、本願の第４の実施例による医療報告書の生成方法を具体的に実現するフローチャートである。図４を参照すると、図１ａ〜図３に記載の実施例に対して、本実施例による医療報告書の生成方法はさらにＳ４０１〜Ｓ４０３を含み、詳細は以下のとおりである。すなわち、
さらに、前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決定する前に、さらに以下を含む：
Ｓ４０１において、複数の訓練画像の訓練視覚ベクトル、訓練キーワードシーケンスおよび訓練診断項目を取得する。
【００５４】
本実施例において、医療報告書の生成装置は、複数の事前設定された訓練画像の訓練視覚ベクトル、訓練キーワードシーケンスおよび訓練診断項目を取得する。好ましくは、当該訓練画像の数は１０００より大きくし、それにより当該ＬＳＴＭニューラルネットワークの認識精度が向上する。当該訓練画像は履歴医用画像であってもよく、医療タイプに限定されない他の画像であってもよく、それによりＬＳＴＭニューラルネットワークの認識可能なオブジェクトの種類が増加することを強調する必要がある。
【００５５】
なお、各訓練画像の訓練診断項目のフォーマットは同じで、すなわち、訓練診断項目の数は同じである。いずれかの訓練画像について、撮影角度の問題のために一部の訓練診断項目を分析できない場合、当該訓練診断項目の値は空であり、それにより、ＬＳＴＭニューラルネットワークを訓練するときに各チャネルから出力されるパラメータの意味は固定され、ＬＳＴＭニューラルネットワークの精度が向上する。
【００５６】
Ｓ４０２では、前記訓練視覚ベクトルおよび前記訓練キーワードシーケンスを長期および短期のＬＳＴＭニューラルネットワークの入力として、前記訓練診断項目を前記ＬＳＴＭニューラルネットワークの出力として、前記ＬＳＴＭニューラルネットワーク内の各学習パラメータを、前記ＬＳＴＭニューラルネットワークが収束条件を満たすように調整し、前記収束条件は下記のとおりである、すなわち、
【００５７】
【数２】
0006980040.tif 000003
【００５８】
ここで、θ＊は調整された前記学習パラメータで、Ｖｉｓｕａｌは前記訓練視覚ベクトルで、Ｋｅｙｗｏｒｄは前記訓練キーワードシーケンスで、Ｓｔｃは前記訓練診断項目で、ｐ（Ｖｉｓｕａｌ，Ｋｅｙｗｏｒｄ｜Ｓｔｃ；θ）は、前記学習パラメータの値がθの場合、前記訓練視覚ベクトルおよび前記訓練キーワードシーケンスが前記ＬＳＴＭニューラルネットワークにインポートされ、出力結果が前記訓練診断項目となる確率値で、ａｒｇ  ｍａｘθΣＳｔｃｌｏｇｐ（Ｖｉｓｕａｌ，Ｋｅｙｗｏｒｄ｜Ｓｔｃ；θ）は、前記確率値が最大値を取るときの前記学習パラメータの値である。
【００５９】
本実施例において、ＬＳＴＭニューラルネットワークに複数のニューラル層が含まれ、それぞれのニューラル層に対応する学習パラメータが設けられ、学習パラメータのパラメータ値を調整することによって、異なる入力タイプおよび出力タイプに適合することができる。学習パラメータが特定のパラメータ値に設定されると、複数の訓練オブジェクトのオブジェクト画像を当該ＬＳＴＭニューラルネットワークに入力し、各オブジェクトのオブジェクト属性を対応して出力し、生成装置は出力された診断項目を訓練診断項目と比較し、今回の出力が正しいかいなかを決定し、複数の訓練オブジェクトの出力結果に基づいて、当該学習パラメータが当該パラメータ値を取るときに出力結果が正しい確率値を取得する。生成装置は、当該確率値が最大値を取るように当該学習パラメータを調整すると、当該ＬＳＴＭニューラルネットワークが既に調整されたことを示す。
【００６０】
Ｓ４０３では、調整されたＬＳＴＭニューラルネットワークを診断項目認識モデルとする。
【００６１】
本実施例において、端末装置は、学習パラメータが調整されたＬＳＴＭニューラルネットワークを診断項目認識モデルとして、診断項目認識モデル認識の精度が向上する。
【００６２】
本願の実施例において、訓練オブジェクトによってＬＳＴＭニューラルネットワークを訓練し、出力結果が正しい確率値が最大となるときに対応する学習パラメータをＬＳＴＭニューラルネットワークにおける学習パラメータのパラメータ値として選択し、それにより、診断項目認識の精度が向上し、さらに医療報告書の精度が向上する。
【００６３】
図５は、本願の第５の実施例による医療報告書の生成方法を具体的に実現するフローチャートである。図５を参照すると、図１ａに記載の実施例に対して、本実施例による医療報告書の生成方法はＳ５０１〜Ｓ５０８を含み、詳細は以下のとおりである。すなわち、
Ｓ５０１では、認識される医用画像を受信する。
【００６４】
Ｓ５０１とＳ１０１の実現方法は同じであるため、Ｓ１０１の関連する説明で特定のパラメータを参照でき、ここで再度の説明を省略する。
【００６５】
Ｓ５０２において、前記医用画像を二値化処理し、二値化された医用画像を取得する。
【００６６】
本実施例において、生成装置は、医用画像における各オブジェクトのエッジをより明確にするように医用画像に対して二値化処理を実行することによって、各オブジェクトの輪郭および各オブジェクトの内部構造を容易に決定し、視覚的特徴ベクトルおよびキーワードシーケンスの抽出操作を容易に実現する。
【００６７】
本実施例において、ユーザのニーズに従って二値化の閾値を設定してもよく、生成装置は、当該医用画像のタイプ及び／又は医用画像における各画素点の平均画素値を決定することによって、当該二値化の閾値を決定してもよく、それにより、二値化された医用画像の表示効果が向上する。
【００６８】
Ｓ５０３では、二値化された前記医用画像の境界を認識し、前記医用画像を複数の医療サブ画像に分割する。
【００６９】
本実施例において、生成装置は、事前設定された境界認識アルゴリズムによって、二値化された医用画像から各オブジェクトの境界を抽出し、認識された境界に基づいて医用画像を分割し、それにより、各オブジェクトが独立した医療サブ画像を取得することができる。言うまでもなく、いくつかのオブジェクトが相互に関連し、境界が重なっているか隣接している場合、上記のいくつかのオブジェクトを１つの医療サブ画像内に統合することができる。異なるオブジェクトを領域に分割することにより、あるオブジェクトの視覚的特徴およびキーワード抽出操作に対する他のオブジェクトの影響を低減する。
【００７０】
さらに、前記医用画像を事前設定されたＶＧＧニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得することは、以下を含む：
Ｓ５０４では、各医療サブ画像を前記ＶＧＧニューラルネットワークにそれぞれインポートし、前記医療サブ画像の視覚的特徴分量およびキーワードサブシーケンスを取得する。
【００７１】
本実施例において、生成装置は、医用画像に基づいて分割された各医療サブ画像をＶＧＧニューラルネットワークにそれぞれインポートすることによって、各医療サブ画像に対応する視覚的特徴分量およびキーワードサブシーケンスをそれぞれの取得し、当該視覚的特徴分量は当該医療サブ画像におけるオブジェクトの形状、輪郭特徴を特徴付けるためのものであり、キーワードサブシーケンスは当該医療サブ画像に含まれるオブジェクトを表示するためのものである。医用画像を分割し、ＶＧＧニューラルネットワークにそれぞれインポートすることによって、ＶＧＧニューラルネットワーク計算ごとのデータ量を減らすことができるため、処理時間が大幅に短縮され、出力効率が向上する。境界に基づいて分割するため、無効な背景領域の画像のほとんどを効果的に削除でき、データ処理量全体が大幅に削減される。
【００７２】
Ｓ５０５では、各前記視覚的特徴分量に基づいて前記視覚的特徴ベクトルを生成し、および各前記キーワードサブシーケンスに基づいて前記キーワードシーケンスを形成する。
【００７３】
本実施例において、各医療サブ画像の視覚的特徴分量をマージし、当該医用画像の視覚的特徴ベクトルを形成する。同様に、各医療サブ画像のキーワードサブシーケンスをマージし、当該医用画像のキーワードシーケンスを形成する。なお、マージのプロセスでは、ある医療サブ画像の視覚的特徴分量のマージされた視覚的特徴ベクトルおける位置は、当該医療サブ画像のキーワードサブシーケンスのマージされたキーワードシーケンスにおける位置と対応するため、両者の相関性が維持される。
【００７４】
Ｓ５０６では、前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決定する。
【００７５】
Ｓ５０７では、診断項目拡張モデルに基づいて、前述した各診断項目を記述するためのセグメントをそれぞれ構築する。
【００７６】
Ｓ５０８では、前記セグメント、前記キーワードシーケンスおよび前記診断項目に従って、前記医用画像の医療報告書を生成する。
【００７７】
Ｓ５０６〜Ｓ５０８とＳ１０３〜Ｓ１０５の実現方法は同じであるため、Ｓ１０３〜Ｓ１０５の関連する説明で特定のパラメータを参照でき、ここで再度の説明を省略する。
【００７８】
本願の実施例において、医用画像を境界で分割することにより、複数の医療サブ画像が取得され、各医療サブ画像に対応する視覚的特徴分量およびキーワードサブシーケンスがそれぞれ決定され、最後に医用画像の視覚的特徴ベクトルおよびキーワードシーケンスが構築され、それにより、ＶＧＧニューラルネットワークのデータ処理量が削減され、生成効率が向上する。
【００７９】
上記の実施例における各ステップのシリアル番号は実行順序を意味するものではなく、各プロセスの実行順序はその機能および内部ロジックによって決定され、本願の実施例の実施プロセスを限定するものではないことを理解すべきである。
【００８０】
図６は、本願の１つの実施例による医療報告書の生成装置の構造を示すブロック図であり、当該医療報告書の生成装置に含まれる各ユニットは、図１ａに対応する実施例における各ステップを実行するために使用される。詳細については、図１ａおよび図１ａに対応する実施例の関連説明を参照する。説明の便宜上、本実施例に関連する部分のみを示す。
【００８１】
図６を参照し、前記医療報告書の生成装置は、
認識される医用画像を受信するための医用画像受信ユニット６１と、
前記医用画像を事前設定された視覚幾何学グループＶＧＧニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得するための特徴ベクトル取得ユニット６２と、
前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決定するための診断項目認識ユニット６３と、
診断項目拡張モデルに基づいて、前述した各診断項目を記述するためのセグメントをそれぞれ構築するための記述セグメント決定サブユニット６４と、
前記セグメント、前記キーワードシーケンスおよび前記診断項目に従って、前記医用画像の医療報告書を生成するための医療報告書生成ユニット６５と、を含む。
【００８２】
任意選択で、前記特徴ベクトル取得ユニット６２は、
前記医用画像における各画素点の画素値および各画素値の位置座標に基づいて、前記医用画像の画素行列を構築するための画素行列構築ユニットと、
前記ＶＧＧニューラルネットワークの５層プーリング層Ｍａｘｐｏｏｌによって前記画素行列を次元削減し、前記視覚的特徴ベクトルを取得するための視覚的特徴ベクトル生成ユニットと、
前記視覚的特徴ベクトルを前記ＶＧＧニューラルネットワークの全結合層にインポートし、前記視覚的特徴ベクトルに対応するインデックスシーケンスを出力するためのインデックスシーケンス生成ユニットと、
キーワードインデックステーブルに従って、前記インデックスシーケンスに対応するキーワードシーケンスを決定するためのキーワードシーケンス生成ユニットと、を含む。
【００８３】
任意選択で、前記診断項目認識ユニット６３は、
各キーワードは事前設定されたコーパスのシリアル番号に基づいて、前記キーワードシーケンスに対応するキーワード特徴ベクトルを生成するためのキーワード特徴ベクトル構築ユニットと、
前記キーワード特徴ベクトルおよび前記視覚的特徴ベクトルをそれぞれ前処理関数にインポートし、前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを取得するための前処理ユニットと、ここで、前記前処理関数は、具体的に以下のとおりである、すなわち、
【００８４】
【数３】
0006980040.tif 000004
【００８５】
ここで、σ（ｚｊ）は、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素が前処理された値で、ｚｊは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素の値で、Ｍは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルに対応する要素の数であり、
前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを前記診断項目認識モデルの入力として、前記診断項目を出力するための前処理ベクトルインポートユニットと、を含む。
【００８６】
任意選択で、前記医療報告書の生成装置は、
複数の訓練画像の訓練視覚ベクトル、訓練キーワードシーケンスおよび訓練診断項目を取得するための訓練パラメータ取得ユニットと、
前記訓練視覚ベクトルおよび前記訓練キーワードシーケンスを長期および短期のＬＳＴＭニューラルネットワークの入力として、前記訓練診断項目を前記ＬＳＴＭニューラルネットワークの出力として、前記ＬＳＴＭニューラルネットワーク内の各学習パラメータを、前記ＬＳＴＭニューラルネットワークが収束条件を満たすように調整するための学習パラメータ訓練ユニットと、ここで、前記収束条件は下記のとおりである、すなわち、
【００８７】
【数４】
0006980040.tif 000005
【００８８】
ここで、θ＊は調整された前記学習パラメータで、Ｖｉｓｕａｌは前記訓練視覚ベクトルで、Ｋｅｙｗｏｒｄは前記訓練キーワードシーケンスで、Ｓｔｃは前記訓練診断項目で、ｐ（Ｖｉｓｕａｌ，Ｋｅｙｗｏｒｄ｜Ｓｔｃ；θ）は、前記学習パラメータの値がθの場合、前記訓練視覚ベクトルおよび前記訓練キーワードシーケンスが前記ＬＳＴＭニューラルネットワークにインポートされ、出力結果が前記訓練診断項目となる確率値で、ａｒｇ  ｍａｘθΣＳｔｃｌｏｇｐ（Ｖｉｓｕａｌ，Ｋｅｙｗｏｒｄ｜Ｓｔｃ；θ）は前記確率値が最大値を取るときの前記学習パラメータの値である。
【００８９】
調整されたＬＳＴＭニューラルネットワークを診断項目認識モデルとするための診断項目認識モデル生成ユニットと、をさらに含む。
【００９０】
任意選択で、前記医療報告書の生成装置は、
前記医用画像を二値化処理し、二値化された医用画像を取得するための二値化処理ユニットと、
二値化された前記医用画像の境界を認識し、前記医用画像を複数の医療サブ画像に分割するための境界分割ユニットと、をさらに含む。
【００９１】
前記特徴ベクトル取得ユニット６２は、
各医療サブ画像を前記ＶＧＧニューラルネットワークにそれぞれインポートし、前記医療サブ画像の視覚的特徴分量およびキーワードサブシーケンスを取得するための医療サブ画像認識ユニットと、
各前記視覚的特徴分量に基づいて前記視覚的特徴ベクトルを生成し、および各前記キーワードサブシーケンスに基づいて前記キーワードシーケンスを形成するための特徴ベクトル合成ユニットと、を含む。
【００９２】
従って、本願の実施例による医療報告書の生成装置は、同様に、医師による手書き入力を必要とせず、医用画像に含まれる特徴に従って対応する医療報告書を自動的に出力することができ、医療報告書の生成効率が向上し、人件費を削減し、患者の治療時間が短縮される。
【００９３】
図７は本願の別の実施例による医療報告書の生成装置の概略図である。図７に示すように、当該実施例の医療報告書の生成装置７は、プロセッサ７０と、メモリ７１と、医療報告書生成プログラムなど、前記メモリ７１に記憶され、前記プロセッサ７０で動作可能なコンピュータ読み取り可能なコマンド７２と、を含む。前記プロセッサ７０は、前記コンピュータ読み取り可能なコマンド７２を実行するときに上記各医療報告書の生成方法の実施例におけるステップ、例えば図１ａに示すＳ１０１〜Ｓ１０５を実現する。或いは、前記プロセッサ７０は、前記コンピュータ読み取り可能なコマンド７２を実行するときに上記各装置実施例における各ユニットの機能、例えば図６に示すモジュール６１〜６５の機能を実現する。
【００９４】
例示的に、前記コンピュータ読み取り可能なコマンド７２は、１つ以上のユニットに分割されてもよく、前記１つ以上のユニットは前記メモリ７１に格納され、前記プロセッサ７０によって実行され、本願に至る。前記１つ以上ユニットは具体的な機能を実行できる一連のコンピュータ読み取り可能なコマンドのコマンドセグメントであってもよく、このコマンドセグメントは、前記医療報告書の生成装置７における前記コンピュータ読み取り可能なコマンド７２の実行プロセスを記述するために使用される。例えば、前記コンピュータ読み取り可能なコマンド７２は医用画像受信ユニット、特徴ベクトル取得ユニット、診断項目認識ユニット、記述セグメント決定サブユニットおよび医療報告書生成ユニットに分割されてもよく、各ユニットの具体的な機能は上記のとおりである。
【００９５】
前記医療報告書の生成装置７は、デスクトップコンピュータ、ノートパソコン、ポケットコンピュータやクラウドサーバなどのコンピューティングデバイスであってもよい。前記医療報告書の生成装置はプロセッサ７０と、メモリ７１を含んでもよいが、これらに限定されない。図７は医療報告書の生成装置７の１例に過ぎず、医療報告書の生成装置７を限定するものではなく、図示よりも多くの部品またはより少ない部品を含み、または一部の部品若しくは異なる部品を組合せてもよく、例えば前記医療報告書の生成装置はさらに出入力装置、ネットワークアクセス装置やバスなどを含んでもよいことは、当業者であれば理解可能である。
【００９６】
前記プロセッサ７０は中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、ＣＰＵ）であってもよいし、他の汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ、ＦＰＧＡ）または他のプログラマブルロジックデバイス、ディスクリートゲートやトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどであってもよい。汎用プロセッサはマイクロプロセッサであり、または当該プロセッサは任意の従来のプロセッサなどであってもよい。
【００９７】
前記メモリ７１は、例えば医療報告書の生成装置７のハードディスクやメモリなど、前記医療報告書の生成装置７の内部記憶ユニットであってもよい。前記メモリ７１は、例えば前記医療報告書の生成装置７に搭載されたプラグインハードディスク、スマートメモリカード（Ｓｍａｒｔ  Ｍｅｄｉａ（登録商標）  Ｃａｒｄ、ＳＭＣ）、セキュアデジタル（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ、  ＳＤ）カード、フラッシュカード（Ｆｌａｓｈ  Ｃａｒｄ）など、前記医療報告書の生成装置７の外部記憶装置であってもよい。さらに、前記メモリ７１は、前記医療報告書の生成装置７の内部記憶ユニットと外部記憶装置の両方を備えてもよい。前記メモリ７１は前記コンピュータ読み取り可能なコマンドおよび前記医療報告書の生成装置に必要な他のプログラムおよびデータを記憶するために用いられる。前記メモリ７１はさらに出力されたまたは出力しようとするデータを一時的に記憶することができる。
【００９８】
また、本願の各実施例における各機能ユニットは、１つの処理ユニットに統合されていてもよいし、物理的に別々に存在していてもよいし、２つ以上のユニットが１つのユニットに統合されてもよい。上記の統合ユニットは、ハードウェアの形態またはソフトウェア機能ユニットの形態を用いることができる。
【００９９】
上述した実施例は本願の技術的解決手段を記述するためのものであり、これに限定されるものではない。上記の実施例を参照しながら本願を詳細に説明したが、当業者であれば、上記の各実施例に記載された技術的解決手段を変更し、またはその技術特徴の一部を等価置換することができることを理解すべきである。これらの変更や置き換えは、対応する技術的解決手段の本質が本発明の各実施例の技術的解決手段の要旨および範囲から逸脱することなく、本発明の保護の範囲に含まれる。
【符号の説明】
【０１００】
7  医療報告書の生成装置
61  医用画像受信ユニット
62  特徴ベクトル取得ユニット
63  診断項目認識ユニット
64  記述セグメント決定サブユニット
65  医療報告書生成ユニット
70  プロセッサ
71  メモリ
72  コンピュータプログラム
【図１ａ】
0006980040.tif 000010
【図１ｂ】
0006980040.tif 000011
【図１ｃ】
0006980040.tif 000012
【図２】
0006980040.tif 000013
【図３】
0006980040.tif 000014
【図４】
0006980040.tif 000015
【図５】
0006980040.tif 000016
【図６】
0006980040.tif 000017
【図７】
0006980040.tif 000018