【手続補正書】
【提出日】令和2年8月20日(2020.8.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像から鼓膜病理を分類する方法であって、
画像撮像デバイスを使用して、鼓膜の１つ以上の画像を撮像することと、
前記撮像された１つ以上の画像に対して前処理を実施することと、
前記撮像された１つ以上の画像を使用して、前記鼓膜の病理を分類することと、を含む、方法。
【請求項２】
前記撮像された１つ以上の画像を使用して前記鼓膜の病理を分類することが、前記１つ以上の画像からコンピュータビジョン特徴部（ＣＶＦ）を抽出することと、前記１つ以上の画像から臨床的に有意義な鼓膜特徴部（ＣＭＥＦ）を抽出することと、強い特徴の代わりに相補的特徴に焦点を当てる２層積層一般化アルゴリズムによって融合されたＣＶＦ及びＣＭＥＦ情報を使用して前記鼓膜の病理を分類することと、を含む、請求項１に記載の方法。
【請求項３】
前記前処理工程が、センサーベースの問題を低減することと、前記１つ以上の画像内の関心領域を選択することと、光反射を検出することと、これらのグレア効果が低減された前記１つ以上の画像のコピーを作成することと、のうちの１つ以上を含む、請求項２に記載の方法。
【請求項４】
前記１つ以上の画像から前記ＣＶＦを抽出することが、前記１つ以上の画像から色、質感、及び形状情報を抽出するために、視覚的ＭＰＥＧ−７記述子、勾配のヒストグラム、及びグリッドカラーモーメント特徴のうちの１つ以上を使用することを含む、請求項２又は３に記載の方法。
【請求項５】
前記ＣＭＥＦが、前記１つ以上の画像から異常及び正常に関する手がかりのいくつかを識別する、請求項２〜４のいずれか一項に記載の方法。
【請求項６】
ＣＭＥＦが、光円錐の位置、槌骨の視認性、膜の突出、グロメット管の存在、又は耳あかの存在を含む、請求項２〜５のいずれか一項に記載の方法。
【請求項７】
前記２層積層一般化アルゴリズムが、ファジースタック一般化（ＦＳＧ）分類子を使用することを含む、請求項２〜６のいずれか一項に記載の方法。
【請求項８】
前記撮像された１つ以上の画像を使用して前記鼓膜の病理を分類することが、前記異常の識別のために深層学習を使用することを含む、請求項５に記載の方法。
【請求項９】
前記深層学習が、Ｉｎｃｅｐｔｉｏｎ  Ｖ３又はＲｅｓＮｅｔを含む深層学習ネットワークを含む、請求項８に記載の方法。
【請求項１０】
前記撮像された１つ以上の画像を使用して前記鼓膜の病理を分類することが、コンテンツベースの画像検索（ＣＢＩＲ）を使用して前記１つ以上の画像を画像のライブラリと比較して異常を識別することを含む、請求項１に記載の方法。
【請求項１１】
前記異常が、急性中耳炎（ＡＯＭ）、滲出性中耳炎（非感染流体）、真珠腫性中耳炎（耳内の一般的な破壊的皮膚嚢胞）、鼓膜穿孔、及び正常と比較しての鼓膜の引っ込みのうちの１つ以上を含む、請求項８〜１０のいずれか一項に記載の方法。
【請求項１２】
前処理が、合成画像を生成することを含み、ぼやけ、耳あか、グレア、及び毛髪が前記合成画像から除去される、請求項１〜１１のいずれか一項に記載の方法。
【請求項１３】
前記画像撮像デバイスが、前記鼓膜の１つ以上の静止画像を撮像するか、又は前記鼓膜のビデオを撮像する、請求項１〜１２のいずれか一項に記載の方法。
【請求項１４】
前記画像撮像デバイスが高解像度耳鏡を含む、請求項１３に記載の方法。
【請求項１５】
鼓膜病理を画像から分類するためのシステムであって、
画像撮像デバイスであって、前記画像撮像デバイスが、鼓膜の１つ以上の画像を撮像する、画像撮像デバイスと、
前記撮像された１つ以上の画像が記憶されているメモリと、
前記メモリと連通するプロセッサであって、前記プロセッサは、前記プロセッサに、
前記撮像された１つ以上の画像に対して前処理を実施させ、
前記撮像された１つ以上の画像を使用して鼓膜の病理を分類させる、前記メモリに記憶されたコンピュータ可読命令を実行する、システム。
【請求項１６】
前記プロセッサが、前記１つ以上の画像からコンピュータビジョン特徴部（ＣＶＦ）を抽出することと、前記１つ以上の画像から臨床的に有意義な鼓膜特徴部（ＣＭＥＦ）を抽出することと、強い特徴の代わりに相補的特徴に焦点を当てる２層積層一般化アルゴリズムによって融合されたＣＶＦ及びＣＭＥＦ情報を使用して前記鼓膜の病理を分類することと、によって前記鼓膜の病理を分類するコンピュータ可読命令を実行する、請求項１５に記載のシステム。
【請求項１７】
前記前処理工程が、センサーベースの問題を低減することと、前記１つ以上の画像内の関心領域を選択することと、光反射を検出することと、これらのグレア効果が低減される前記１つ以上の画像のコピーを作成することと、のうちの１つ以上を含む、請求項１６に記載のシステム。
【請求項１８】
前記１つ以上の画像から前記ＣＶＦを抽出することが、前記１つ以上の画像から色、質感、及び形状情報を抽出するために、視覚的ＭＰＥＧ−７記述子、勾配のヒストグラム、及びグリッドカラーモーメント特徴のうちの１つ以上を使用することを含む、請求項１６又は１７のいずれかに記載のシステム。
【請求項１９】
前記ＣＭＥＦが、前記１つ以上の画像から異常及び正常に関する手がかりのいくつかを識別する、請求項１６〜１８のいずれか一項に記載のシステム。
【請求項２０】
ＣＭＥＦが、光円錐の位置、槌骨の視認性、膜の突出、グロメット管の存在、又は耳あかの存在を含む、請求項１６〜１９のいずれか一項に記載のシステム。
【請求項２１】
前記２層積層一般化アルゴリズムが、ファジースタック一般化（ＦＳＧ）分類子を使用することを含む、請求項１６〜２０のいずれか一項に記載のシステム。
【請求項２２】
前記撮像された１つ以上の画像を使用して前記鼓膜の病理を分類することが、前記異常の識別のために深層学習を使用することを含む、請求項１９に記載のシステム。
【請求項２３】
前記深層学習が、Ｉｎｃｅｐｔｉｏｎ  Ｖ３又はＲｅｓＮｅｔを含む深層学習ネットワークを含む、請求項２２に記載のシステム。
【請求項２４】
前記撮像された１つ以上の画像を使用して前記鼓膜の病理を分類することが、コンテンツベースの画像検索（ＣＢＩＲ）を使用して前記１つ以上の画像を画像のライブラリと比較して異常を識別することを含む、請求項１５に記載のシステム。
【請求項２５】
前記異常が、急性中耳炎（ＡＯＭ）、滲出性中耳炎（非感染流体）、真珠腫性中耳炎（耳内の一般的な破壊的皮膚嚢胞）、鼓膜穿孔、及び正常と比較しての鼓膜の引っ込みのうちの１つ以上を含む、請求項２２〜２４のいずれか一項に記載のシステム。
【請求項２６】
前処理が、合成画像を生成することを含み、ぼやけ、耳あか、グレア、及び毛髪が前記合成画像から除去される、請求項１５〜２５のいずれか一項に記載のシステム。
【請求項２７】
前記画像撮像デバイスが、前記鼓膜の１つ以上の静止画像を撮像するか、又は前記鼓膜のビデオを撮像する、請求項１５〜２６のいずれか一項に記載のシステム。
【請求項２８】
前記画像撮像デバイスが高解像度耳鏡を含む、請求項２７に記載のシステム。
【請求項２９】
コンピュータ可読媒体上に記憶されたコンピュータ実行可能コードセクションを備えた非一時的コンピュータプログラム製品であって、前記コンピュータ実行可能コードセクションが、画像から鼓膜病理を分類する方法を実施するために、
鼓膜の１つ以上の画像に対して前処理を実施することと、
前記１つ以上の画像を使用して前記鼓膜の病理を分類することと、を含む、非一時的コンピュータプログラム製品。
【請求項３０】
前記撮像された１つ以上の画像を使用して前記鼓膜の病理を分類することが、前記１つ以上の画像からコンピュータビジョン特徴部（ＣＶＦ）を抽出することと、前記１つ以上の画像から臨床的に有意義な鼓膜特徴部（ＣＭＥＦ）を抽出することと、強い特徴の代わりに相補的特徴に焦点を当てる２層積層一般化アルゴリズムによって融合されたＣＶＦ及びＣＭＥＦ情報を使用して前記鼓膜の病理を分類することと、を含む、請求項２９に記載のコンピュータプログラム製品。
【請求項３１】
前記前処理工程が、センサーベースの問題を低減することと、前記１つ以上の画像内の関心領域を選択することと、光反射を検出することと、これらのグレア効果が低減される前記１つ以上の画像のコピーを作成することと、のうちの１つ以上を含む、請求項３０に記載のコンピュータプログラム製品。
【請求項３２】
前記１つ以上の画像から前記ＣＶＦを抽出することが、前記１つ以上の画像から色、質感、及び形状情報を抽出するために、視覚的ＭＰＥＧ−７記述子、勾配のヒストグラム、及びグリッドカラーモーメント特徴のうちの１つ以上を使用することを含む、請求項３０又は３１に記載のコンピュータプログラム製品。
【請求項３３】
前記ＣＭＥＦが、前記１つ以上の画像から異常及び正常に関する手がかりのいくつかを識別する、請求項３０〜３２のいずれか一項に記載のコンピュータプログラム製品。
【請求項３４】
ＣＭＥＦが、光円錐の位置、槌骨の視認性、膜の突出、グロメット管の存在、又は耳あかの存在を含む、請求項３０〜３３のいずれか一項に記載のコンピュータプログラム製品。
【請求項３５】
前記２層積層一般化アルゴリズムが、ファジースタック一般化（ＦＳＧ）分類子を使用することを含む、請求項３０〜３４のいずれか一項に記載のコンピュータプログラム製品。
【請求項３６】
前記撮像された１つ以上の画像を使用して前記鼓膜の病理を分類することが、前記異常の識別のために深層学習を使用することを含む、請求項３３に記載のコンピュータプログラム製品。
【請求項３７】
前記深層学習が、Ｉｎｃｅｐｔｉｏｎ  Ｖ３又はＲｅｓＮｅｔを含む深層学習ネットワークを含む、請求項３６に記載のコンピュータプログラム製品。
【請求項３８】
前記撮像された１つ以上の画像を使用して前記鼓膜の病理を分類することが、コンテンツベースの画像検索（ＣＢＩＲ）を使用して前記１つ以上の画像を画像のライブラリと比較して異常を識別することを含む、請求項２９に記載のコンピュータプログラム製品。
【請求項３９】
前記異常が、急性中耳炎（ＡＯＭ）、滲出性中耳炎（非感染流体）、真珠腫性中耳炎（耳内の一般的な破壊的皮膚嚢胞）、鼓膜穿孔、及び正常と比較しての鼓膜の引っ込みのうちの１つ以上を含む、請求項３６〜３８のいずれか一項に記載のコンピュータプログラム製品。
【請求項４０】
前処理が、合成画像を生成することを含み、ぼやけ、耳あか、グレア、及び毛髪が前記合成画像から除去される、請求項２９〜３９のいずれか一項に記載のコンピュータプログラム製品。
【請求項４１】
前記１つ以上の画像が画像撮像デバイスを使用して撮像され、前記画像撮像デバイスが、前記鼓膜の１つ以上の静止画像を撮像するか、又は前記鼓膜のビデオを撮像する、請求項２９〜４０のいずれか一項に記載のコンピュータプログラム製品。
【請求項４２】
前記画像撮像デバイスが高解像度耳鏡を含む、請求項４１に記載のコンピュータプログラム製品。