(57)【要約】機械学習に用いる正解画像群を動画から効率良く作成可能な画像処理装置を提供すること。画像処理装置（１）は、複数の画像のフレーム群（ＦＧ）から特定の基準フレーム（ｆｓ）を選択する基準フレーム選択部（１２）と、選択された基準フレーム（ｆｓ）内の注目領域（ｒ）を表す基準正解フレーム（Ｆｒ）を取得する基準正解フレーム取得部（１３）と、基準正解フレーム取得部（１３）が取得した少なくとも１つの基準正解フレーム（Ｆｒ）に基づいて、フレーム群（ＦＧ）に含まれる基準フレーム（ｆｓ）以外のフレームに対応する補完正解フレーム（Ｆｃ）を作成する補完正解フレーム作成部（１４）とを備える。
2019069629.tif 000002
【特許請求の範囲】
【請求項１】
機械学習に使用する正解画像群を、複数の画像のフレーム群から作成する画像処理装置であって、
前記フレーム群から特定の基準フレームを選択する基準フレーム選択部と、
選択された基準フレーム内の注目領域を表す基準正解フレームを取得する基準正解フレーム取得部と、
前記基準正解フレーム取得部が取得した少なくとも１つの基準正解フレームに基づいて、前記フレーム群に含まれる前記基準フレーム以外のフレームに対応する補完正解フレームを作成する補完正解フレーム作成部と、
を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記基準フレーム選択部は、前記フレーム群に含まれるフレームの画像を解析した結果に基づいて前記基準フレームを選択する、画像処理装置。
【請求項３】
請求項１又は２に記載の画像処理装置であって、
前記フレーム群は、時系列の複数のフレームを含む、画像処理装置。
【請求項４】
請求項１から３のいずれか１項に記載の画像処理装置であって、
前記基準フレーム選択部は、前記フレーム群を構成する各フレームの画像のブレ又はボケの度合いに基づき、前記基準フレームを選択する、画像処理装置。
【請求項５】
請求項４に記載の画像処理装置であって、
前記基準フレーム選択部は、単一のフレームの画像解析若しくは周波数解析を行って、前記ブレ又はボケの度合いを数値化する、画像処理装置。
【請求項６】
請求項４に記載の画像処理装置であって、
前記基準フレーム選択部は、複数のフレームのずれ量又は方向の速度ベクトルを解析して、前記ブレ又はボケの度合いを数値化する、画像処理装置。
【請求項７】
請求項１から３のいずれか１項に記載の画像処理装置であって、
前記基準フレーム選択部は、前記フレーム群を構成する各フレームの画像特徴を検出した結果に基づき、前記基準フレームを選択する、画像処理装置。
【請求項８】
請求項１から３のいずれか１項に記載の画像処理装置であって、
前記基準フレーム選択部は、前記フレーム群の各フレームを撮像した際にジャイロスコープ又は加速度センサが検出したデータに基づき、前記基準フレームを選択する、画像処理装置。
【請求項９】
請求項１から８のいずれか１項に記載の画像処理装置であって、
前記フレーム群から任意のフレームを指定する操作又は指定したフレームの画像処理を行うための操作を行うための操作部を備え、
前記基準正解フレーム取得部は、前記操作部からの操作入力に基づいて、前記注目領域の特定及び前記注目領域の画像処理を行うことで前記基準正解フレームを作成する、画像処理装置。
【請求項１０】
請求項１から９のいずれか１項に記載の画像処理装置であって、
前記基準フレーム選択部が複数の前記基準フレームを選択した場合、
前記補完正解フレーム作成部は、前記基準正解フレーム取得部が取得した２つの基準正解フレーム内の前記注目領域の画像に基づきモーフィング処理を行って得られた画像を、前記２つの正解基準フレームの間の動画を構成する中間フレームに付与して、前記補完正解フレームを作成する、画像処理装置。
【請求項１１】
請求項１から１０のいずれか１項に記載の画像処理装置が作成した正解画像群を用いて機械学習を行うことで生成した、学習済みモデル。
【請求項１２】
請求項１１に記載の学習済みモデルであって、
前記学習済みモデルは、畳み込みニューラルネットワークの構成を有する、学習済みモデル。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習に用いる正解画像群を作成する画像処理装置、及び当該画像処理装置が作成した正解画像群を用いて機械学習を行うことで生成した学習済みモデルに関する。
【背景技術】
【０００２】
医療の分野では、Ｘ線ＣＴ装置やＭＲＩ等の撮影装置により得られた画像を医師が読影して診断を行う画像診断が行われている。このような画像診断を支援するために、画像中の病変領域の発見を支援する診断支援装置が提案されている（例えば、特許文献１参照）。【０００３】
この種の診断支援装置において、ニューラルネットワーク回路からなる推論部によって正確な支援情報を生成できるようにするためには、多数の正解画像（教師データ）を用いて推論部に病変領域の特徴を機械学習させる必要がある（例えば、特許文献２、３参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−７４３６３号公報
【特許文献２】特開平８−３６６４３号公報
【特許文献３】特開平４−１２５７７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
機械学習に使用される正解画像は、人手によって作成されるのが一般的である。正解画像を作成するためには、複数の画像のフレーム群に含まれる１フレームごとに病変領域を指定してマスク処理等の作業を行う。このため、フレーム群に含まれるフレーム数が膨大な数である場合、正解画像を作成するための上記作業を行うためには多大な労力が必要である。【０００６】
本発明は、上述した事情に鑑みなされたものであり、機械学習に用いる正解画像群を複数の画像のフレーム群から効率良く作成可能な画像処理装置及び学習済みモデルを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様の画像処理装置は、
機械学習に使用する正解画像群を、複数の画像のフレーム群から作成する画像処理装置であって、
上記フレーム群から特定の基準フレームを選択する基準フレーム選択部と、
選択された基準フレーム内の注目領域を表す基準正解フレームを取得する基準正解フレーム取得部と、
上記基準正解フレーム取得部が取得した少なくとも１つの基準正解フレームに基づいて、上記フレーム群に含まれる上記基準フレーム以外のフレームに対応する補完正解フレームを作成する補完正解フレーム作成部と、
を備える。【０００８】
本発明の一態様の学習済みモデルは、上記画像処理装置が作成した正解画像群を用いて機械学習を行うことで生成したものである。
【発明の効果】
【０００９】
本発明によれば、機械学習に用いる正解画像群を複数の画像のフレーム群から効率良く作成可能な画像処理装置を提供できる。【００１０】
また、本発明によれば、複数の画像のフレーム群から作成された正解画像群を用いて機械学習して学習用モデルを生成できる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る一実施形態の画像処理装置の構成を例示するブロック図である。
【図２】本発明に係る正解画像作成方法の実施形態を例示するフローチャートである。
【図３】（ａ）は動画を構成するフレーム群の表示態様についての説明図であり、（ｂ）は基準フレームの候補の表示態様についての説明図であり、（ｃ）は任意の候補フレームを拡大表示した状態を示す説明図である。
【図４】基準正解フレームの作成についての説明図である。
【図５】元のフレーム群から正解画像群を作成する説明図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００１３】
図１は、本発明に係る一実施形態の画像処理装置の構成を例示するブロック図である。図１に示す画像処理装置１は、元フレーム記憶部１１と、基準フレーム選択部１２と、基準正解フレーム取得部１３と、補完正解フレーム作成部１４と、正解フレーム記憶部１５と、正解フレーム取得部１６と、画像表示部１７と、操作部１８とを有する。
【００１４】
なお、画像処理装置１のハードウェア的な構造は、プログラムとして実行して各種処理を行うプロセッサと、ＲＡＭ（Random Access Memory）と、ＲＯＭ（Read Only Memory）とによって実現される。プロセッサには、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、又はＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。また、評価システムを構成するプロセッサは、各種プロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
【００１５】
元フレーム記憶部１１は、内視鏡装置等で撮影することにより得られた動画を構成するフレーム群ＦＧのデータを記憶する。なお、フレーム群ＦＧは、動画に限らず、時系列の関係を有する複数の画像のフレーム群であっても、単に集合体を成す複数の画像のフレーム群であっても良い。
【００１６】
基準フレーム選択部１２は、元フレーム記憶部１１が記憶するフレーム群ＦＧから、所定の条件を満たす１又は複数の特定の基準フレームｆｓを選択する。なお、基準フレーム選択部１２は、上記所定の条件を満たす複数のフレームを候補として提示し、操作部１８から指定されたフレームを基準フレームｆｓとして選択しても良い。
【００１７】
基準フレームｆｓを選択する際の基準である所定の条件とは、フレームの画像にブレやボケが少ないことであり、ボケ又はブレの度合いを示す値がしきい値以下であることである。ブレ又はボケの度合いは、単一のフレームを用いる場合は、例えば画像のエッジ強度又はコントラスト等を画像解析したり周波数解析したりすることにより数値化できる。また、複数のフレームを用いる場合は、ずれ量や方向等の速度ベクトルを解析することにより、ブレ又はボケの度合いを数値化できる。
【００１８】
なお、ブレに関しては、内視鏡装置等に搭載されたジャイロスコープ又は加速度センサが検出した撮像時のデータから、フレーム毎にブレの度合いを算出できる。また、ボケに関しては、内視鏡装置等におけるフォーカス深度等のデータから、フレーム毎にボケの度合いを算出できる。当該算出したブレ及びボケの各度合いを示す値を、各フレームの画像に参照情報として埋め込んでおいたり、各フレームの識別情報（ＩＤ）と紐付けて管理したりすることにより、基準フレーム選択部１２は、基準フレームｆｓを選択する際に、ブレ及びボケの各度合いを示す値を参照できる。また、ブレ及びボケの各度合いを示す値がしきい値以下のフレームと上記しきい値より大きなフレームとが、元フレーム記憶部１１において異なるフォルダに格納されていても良い。この場合、基準フレーム選択部１２は、上記しきい値以下のフレームが格納されたフォルダの中から基準フレームｆｓを選択すれば良い。
【００１９】
なお、ブレやボケだけでなく、内視鏡装置による撮像画像の場合には、洗浄水が全体にかかった画像、残渣残液が存在する画像、処置具がフレームインしている画像も所定の条件を満たさないと判断しても良い。したがって、これら観察対象を遮る物の存在を、色、エッジ強さ、又は輪郭形状等の画像特徴で検出することにより、所定の条件を満たさないフレームを特定しても良い。この場合、所定の条件を満たさないフレームの取得時間又はフレームの取得時間に紐付いた検査情報に基づいてフレームを特定することで、当該フレームを基準フレームｆｓに選択されないフレームとして異なるフォルダに格納する等の選別を予め行っておいても良い。
【００２０】
基準正解フレーム取得部１３は、基準フレームｆｓ内の注目領域ｒを表す基準正解フレームＦｒを取得する。基準正解フレームＦｒは、操作部１８からの操作入力に基づいて、基準正解フレーム取得部１３が注目領域ｒの特定と注目領域ｒの画像処理を行うことによって作成しても良いし、基準フレームｆｓのデータを本実施形態の画像処理装置１とは別のシステムに出力し、当該別のシステムで注目領域ｒの特定と注目領域ｒの画像処理が行われたデータを基準正解フレーム取得部１３が上記別のシステムから取得しても良い。なお、注目領域ｒは、例えば、内視鏡装置によって撮像された画像中の病変箇所を含む領域である。また、注目領域ｒに行われる画像処理は、例えば、マスク処理（塗りつぶし処理）である。
【００２１】
補完正解フレーム作成部１４は、基準正解フレーム取得部１３が取得した少なくとも１つの基準正解フレームＦｒに基づいて、フレーム群ＦＧに含まれる基準フレームｆｓ以外のフレームに対応する補完正解フレームＦｃを作成する。なお、補完正解フレーム作成部１４は、基準正解フレームＦｒに基づいて、基準フレームｆｓ以外のフレームから補完正解フレームＦｃを作成しても良い。
【００２２】
補完正解フレーム作成部１４は、基準フレーム選択部１２が複数枚の基準フレームｆｓを選択し、基準正解フレーム取得部１３が各基準フレームｆｓに基づく複数枚の基準正解フレームＦｒを取得した場合、２枚の基準正解フレームＦｒ内の注目領域ｒの画像に基づきモーフィング処理を行って得られた画像を、上記２枚の基準正解フレームＦｒの間の動画を構成する中間フレームに付与して、補完正解フレームＦｃを作成する。なお、モーフィング処理によって得られた画像は、中間フレームの各画像内の注目領域ｒに対応する領域に付与される。このため、上記２枚の基準正解フレームＦｒ内の各注目領域ｒの座標位置が異なっても、中間フレームにおける適当な座標位置に画像が付与される。
【００２３】
また、基準フレーム選択部１２が１枚の基準フレームｆｓを選択した場合、補完正解フレーム作成部１４は、基準正解フレーム取得部１３が取得した１枚の基準正解フレームＦｒから、形状モデル及び形状変化モデルの少なくとも１つに基づき画像を作成して、基準正解フレームＦｒ後のフレームに付与して、補完正解フレームＦｃを作成する。なお、上記形状モデルとは、フレーム中の病変領域等を楕円等で近似させるモデルである。また、上記形状変化モデルとは、動的輪郭モデルに基づいて、フレーム中の病変領域等を近似した楕円等の形状を時間関数で変化させるモデルである。いずれのモデルも、機械学習により憶えさせたい病変領域等の形状を、事前に関数として近似又は定義したものである。なお、病変領域等の形状は、楕円に限らず、２次元で表現可能な多角形又は円形等又はその組み合わせによって近似されても良い。また、上記形状変化モデルでは、Ｎ個の頂点（制御点）と、Ｎ−１本の辺とから構成された閉領域について、Ｎ個の制御点の内、任意個数および位置の制御点を時間によって任意距離ずつ動かす、といった時間による形状変化のルールに従う。当該ルールは、機械学習によって統計的に決定されても、機械学習によらずに人が経験的に近似又は定義しても良い。
【００２４】
正解フレーム記憶部１５は、基準正解フレーム取得部１３が取得した基準正解フレームＦｒ及び補完正解フレーム作成部１４が作成した補完正解フレームＦｃから構成された正解画像群である正解フレーム群ＧＣのデータを記憶する。なお、正解フレーム群ＧＣを構成する正解フレームは、フレームだけに限定されず、正解フレームに変換可能な、例えば注目領域ｒを表す座標情報などであってもよい。
【００２５】
正解フレーム取得部１６は、操作部１８からの指示に応じて、正解フレーム記憶部１５が記憶する正解フレーム群ＧＣから、全て又は一部のフレームのデータを取得する。正解フレーム取得部１６が取得したフレームのデータは、操作部１８からの指示内容に応じて、機械学習装置１９又は画像表示部１７に送られる。
【００２６】
画像表示部１７は、動画を構成するフレーム群ＦＧの画像、基準正解フレームＦｒの画像、又は正解フレーム群ＧＣの画像を表示する。また、画像表示部１７は、画像処理装置１のユーザが操作部１８を操作する際に参照する操作メニュー及びボタンアイコン等を表示する。
【００２７】
操作部１８は、画像処理装置１のユーザが各種操作を行うための手段である。操作部１８は、具体的には、トラックパッド、タッチパネル、又はマウス等である。
【００２８】
次に、本実施形態の画像処理装置１が正解画像群である正解フレーム群ＧＣを作成する方法について、図２に示すフローチャートを参照して説明する。
【００２９】
図２に示すフローチャートによって実行される処理は、元フレーム保存ステップＳ１、基準フレーム選択ステップＳ２、基準正解フレーム取得ステップＳ３、補完正解フレーム作成ステップＳ４、及び正解フレーム保存ステップＳ５である。
【００３０】
元フレーム保存ステップＳ１では、内視鏡装置等で撮影することにより得られた動画を構成するフレーム群ＦＧのデータが元フレーム記憶部１１に保存される。元フレーム記憶部１１に保存されたフレーム群ＦＧは、図３（ａ）に示すように画像表示部１７に表示される。図３（ａ）に示す例では、フレーム群ＦＧを構成する各フレームｆの画像Ｇが時間軸ｔに沿って並べて表示されている。
【００３１】
基準フレーム選択ステップＳ２では、基準フレーム選択部１２が、元フレーム記憶部１１に保存されたフレーム群ＦＧから、所定の条件を満たす１又は複数の特定の基準フレームｆｓを選択する。本実施形態では、基準フレームｆｓの候補（以下「候補フレーム」という。）ｆｓｃが基準フレーム選択部１２により選定され、図３（ｂ）に示すように画像表示部１７に提示される。図３（ｂ）に示す例では、複数の候補フレームｆｓｃが矢印Ａで指し示めされる態様で提示されているが、フレーム番号を表示する態様で提示されても良い。
【００３２】
基準フレーム選択ステップＳ２は、候補フレームｆｓｃを個別に拡大表示させる表示ステップＳ２１と、拡大表示させた候補フレームｆｓｃがボケやブレのない鮮明な画像であるか否か判断する判断ステップＳ２２とを有する。表示ステップＳ２１では、画像処理装置１のユーザは、図３（ｃ）に示すように、画像表示部１７に任意の候補フレームｆｓｃを拡大表示させる。次に、判断ステップＳ２２では、画像処理装置１のユーザは、拡大表示された候補フレームｆｓｃの特に病変箇所ＬＡがボケやブレなく鮮明に写っているか否か判断する。画像処理装置１のユーザが候補フレームｆｓｃの中から基準フレームｆｓを選択すると、基準正解フレーム取得ステップＳ３に進む。
【００３３】
基準正解フレーム取得ステップＳ３では、基準正解フレーム取得部１３が、基準フレームｆｓ内の注目領域ｒを表す基準正解フレームＦｒを取得する。基準正解フレーム取得ステップＳ３は、注目領域マスクステップＳ３１と、基準正解フレーム数判定ステップＳ３２とを有する。
【００３４】
注目領域マスクステップＳ３１では、画像処理装置１のユーザが、図４に示すように、画像表示部１７に表示された基準フレームｆｓの画像Ｇを目視しつつ操作部１８を操作して、その画像Ｇ内の病変箇所ＬＡを含む注目領域ｒを特定し、注目領域ｒの画像処理（マスク処理）を行う。この注目領域マスクステップＳ３１で、基準フレームｆｓから基準正解フレームＦｒを作成することにより、基準正解フレーム取得部１３は基準正解フレームＦｒを取得する。基準正解フレーム数判定ステップＳ３２では、基準正解フレームＦｒが２枚以上取得されたか否かを判定し、基準正解フレームＦｒが２枚以上取得されたと判定されなければ（ステップＳ３２でＮｏ）基準フレーム選択ステップＳ２に戻り、基準正解フレームＦｒが２枚以上取得されたと判定されたならば（ステップＳ３２でＹｅｓ）補完正解フレーム作成ステップＳ４に進む。
【００３５】
補完正解フレーム作成ステップＳ４では、補完正解フレーム作成部１４が、基準正解フレーム取得ステップＳ３で取得された２枚の基準正解フレームＦｒの注目領域ｒの画像に基づきモーフィング処理を行って、２枚の基準正解フレームＦｒの間の動画を構成する中間フレームに、上記モーフィング処理によって得られた画像を付与して、補完正解フレームＦｃを作成する。図５に示す例では、複数のフレームｆ０〜ｆｎからなるフレーム群ＦＧのうちの両端の２つのフレームｆ０、ｆｎが基準フレームｆｓに選択され２枚の基準正解フレームＦｒが作成されている。補完正解フレーム作成部１４には、基準正解フレームＦｒ（ｆ０、ｆｎ）を含むフレーム群ＦＧのデータが入力される。補完正解フレーム作成部１４は、２枚の基準正解フレームＦｒ（ｆ０、ｆｎ）の注目領域ｒ０、ｒｎの画像に基づきモーフィング処理が行われることにより、２枚の基準正解フレームＦｒ（ｆ０、ｆｎ）の間の動画を構成する中間フレームｆ１〜ｆｎ−１に、上記モーフィング処理によって得られた画像を付与して、補完正解フレームＦｃを作成する。
【００３６】
次に、正解フレーム保存ステップＳ５では、補完正解フレーム作成部１４は、基準正解フレーム取得ステップＳ３で取得した基準正解フレームＦｒ及び補完正解フレーム作成ステップＳ４で作成した補完正解フレームＦｃを正解フレーム記憶部１５に保存する。正解フレーム記憶部１５は、基準正解フレームＦｒ及び補完正解フレームＦｃから構成された正解画像群である正解フレーム群ＧＣとして記憶する。
【００３７】
正解フレーム記憶部１５が記憶する正解フレーム群ＧＣの全て又は一部のデータは、正解フレーム取得部１６によって読み込まれ、機械学習装置１９又は画像表示部１７に送られる。機械学習装置１９に送られたデータは、機械学習装置１９による機械学習の学習用データとして用いられ、機械学習装置１９は、上記機械学習を行うことによって学習済みモデルを生成する。こうして生成された学習済みモデルは、畳み込みニューラルネットワーク（Convolutional neural network）の構成を有し、内視鏡装置が取得した画像に含まれる病変箇所の評価システムに用いられる。
【００３８】
なお、機械学習装置１９は、機械学習を行うプロセッサと、ＲＡＭ（Random Access Memory）と、ＲＯＭ（Read Only Memory）を含む。また、上記評価システムは、学習済みモデルをプログラムとして実行して各種処理を行うプロセッサと、ＲＡＭと、ＲＯＭを含む。プロセッサには、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、又はＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。また、評価システムを構成するプロセッサは、各種プロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
【００３９】
上記説明した本実施形態の構成によれば、内視鏡装置等で撮像することにより得られた動画を構成するフレーム群ＦＧから、病変箇所ＬＡが鮮明に写っているフレームを少なくとも１枚（図５の例では、フレームｆ０とフレームｆｎの２枚）選択して、それぞれの注目領域ｒを特定して画像処理を行うことで基準正解フレームＦｒを取得し、基準正解フレームＦｒに基づいて補完正解フレームＦｃを作成することで、基準正解フレームＦｒ及び補完正解フレームＦｃから構成された正解画像群である正解フレーム群ＧＣを作成する。また、作成した正解フレーム群ＧＣの全て又は一部のデータを機械学習の学習用データとして用いることにより学習済みモデルを生成でき、当該学習済みモデルは、内視鏡装置が取得した画像に含まれる病変箇所の評価システムに利用される。なお、学習済みモデルは、一般に、ニューラルネットワークの構造とそのニューラルネットワークを構成する各ニューロン間の結びつきの強さであるパラメータ（いわゆる「重み」）との組み合わせとして表現される関数を意味するが、本明細書では当該関数に基づいて演算処理を行うためのプログラムを意味する。
【００４０】
なお、本発明は、上記実施形態に限定されるものではなく、適宜、変形、改良、等が可能である。例えば、上記実施形態では、基準フレーム選択ステップＳ２において、所定の条件を満たす候補フレームｆｓｃが提示され、候補フレームｆｓｃの中から画像処理装置１のユーザが操作部１８を用いて選択した候補フレームｆｓｃを、基準フレーム選択部１２が基準フレームｆｓとして選択するが、基準フレーム選択部１２は、候補フレームｆｓｃの提示を行わずに、所定の条件を満たす１又は複数のフレームを基準フレームｆｓとして選択しても良い。
【００４１】
また、上記実施形態では、基準正解フレーム取得ステップＳ３において、画像処理装置１のユーザが、画像表示部１７に表示された基準フレームｆｓの画像を目視しつつ操作部１８を操作して、その画像内の病変箇所を含む注目領域を特定し、注目領域の画像処理（マスク処理）を行うことにより基準正解フレームＦｒを取得しているが、基準フレームｆｓのデータを画像処理装置１とは別のシステムに出力し、当該別のシステムで注目領域の特定と注目領域の画像処理が行われたデータを画像処理装置１に入力して、基準正解フレームＦｒとして取得しても良い。
【００４２】
また、上記実施形態では、補完正解フレーム作成ステップＳ４において、２枚の基準正解フレームＦｒの間の動画を構成する中間フレームのフレーム補完方法としてモーフィング処理を行っているが、その他のフレーム補完方法を採用しても良い。例えば、基準正解フレームＦｒが１枚のみである場合には、この基準正解フレームＦｒから、形状モデル及び形状変化モデルの少なくとも１つに基づき画像を作成して、基準正解フレームＦｒ後のフレームに付与して、補完正解フレームＦｃを作成しても良い。
【００４３】
以上説明したとおり、本明細書に開示された画像処理装置は、
機械学習に使用する正解画像群を、複数の画像のフレーム群から作成する画像処理装置であって、
上記フレーム群から特定の基準フレームを選択する基準フレーム選択部と、
選択された基準フレーム内の注目領域を表す基準正解フレームを取得する基準正解フレーム取得部と、
上記基準正解フレーム取得部が取得した少なくとも１つの基準正解フレームに基づいて、上記フレーム群に含まれる上記基準フレーム以外のフレームに対応する補完正解フレームを作成する補完正解フレーム作成部と、
を備える。
【００４４】
また、上記基準フレーム選択部は、上記フレーム群に含まれるフレームの画像を解析した結果に基づいて上記基準フレームを選択する。
【００４５】
また、上記フレーム群は、時系列の複数のフレームを含む。
【００４６】
また、上記基準フレーム選択部は、上記フレーム群を構成する各フレームの画像のブレ又はボケの度合いに基づき、上記基準フレームを選択する。
【００４７】
また、上記基準フレーム選択部は、単一のフレームの画像解析若しくは周波数解析を行って、上記ブレ又はボケの度合いを数値化する。
【００４８】
また、上記基準フレーム選択部は、複数のフレームのずれ量又は方向の速度ベクトルを解析して、上記ブレ又はボケの度合いを数値化する。
【００４９】
また、上記基準フレーム選択部は、上記フレーム群を構成する各フレームの画像特徴を検出した結果に基づき、上記基準フレームを選択する。
【００５０】
また、上記基準フレーム選択部は、上記フレーム群の各フレームを撮像した際にジャイロスコープ又は加速度センサが検出したデータに基づき、上記基準フレームを選択する。
【００５１】
また、画像処理装置は、上記フレーム群から任意のフレームを指定する操作又は指定したフレームの画像処理を行うための操作を行うための操作部を備え、
上記基準正解フレーム取得部は、上記操作部からの操作入力に基づいて、上記注目領域の特定及び上記注目領域の画像処理を行うことで上記基準正解フレームを作成する。
【００５２】
また、上記基準フレーム選択部が複数の上記基準フレームを選択した場合、
上記補完正解フレーム作成部は、上記基準正解フレーム取得部が取得した２つの基準正解フレーム内の上記注目領域の画像に基づきモーフィング処理を行って得られた画像を、上記２つの正解基準フレームの間の動画を構成する中間フレームに付与して、上記補完正解フレームを作成する。
【００５３】
また、本明細書に開示された学習用モデルは、上記画像処理装置が作成した正解画像群を用いて機械学習を行うことで生成したものである。
【００５４】
また、上記学習済みモデルは、畳み込みニューラルネットワークの構成を有する。
【符号の説明】
【００５５】
１  画像処理装置
１１  元フレーム記憶部
１２  基準フレーム選択部
１３  基準正解フレーム取得部
１４  補完正解フレーム作成部
１５  正解フレーム記憶部
１６  正解フレーム取得部
１７  画像表示部
１８  操作部
１９  機械学習装置
ｆ０〜ｆｎ  フレーム
Ｆｃ  補完正解フレーム
ＦＧ  フレーム群
Ｆｒ  基準正解フレーム
ｆｓ  基準フレーム
ｆｓｃ  候補フレーム
Ｇ  画像
ＧＣ  正解フレーム群
ＬＡ  病変箇所
ｒ  注目領域
Ｓ１  元フレーム保存ステップ
Ｓ２  基準フレーム選択ステップ
Ｓ３  基準正解フレーム取得ステップ
Ｓ４  補完正解フレーム作成ステップ
Ｓ５  正解フレーム保存ステップ
【図１】
2019069629.tif 000003
【図２】
2019069629.tif 000004
【図３】
2019069629.tif 000005
【図４】
2019069629.tif 000006
【図５】
2019069629.tif 000007
【国際調査報告】
2019069629.tif 000008
2019069629.tif 000009