(57)【要約】【課題】  被写体の患部領域に対する評価結果をユーザに容易に把握させる。【解決手段】  撮像装置１１０は、ユーザの操作に基づいて、複数の評価指標についての基準値の設定および患部領域２０２の撮像を行う。そして、画像処理装置１２０は、撮像された画像を解析し、ユーザが設定した基準値を超えた評価指標についての患部領域２０２を特定する。そして、撮像装置１１０は、表示装置３２２に、基準値を超えた評価指標についての患部領域２０２を強調して患部領域の画像に重畳させる（表示させる）。【選択図】  図１
2020095600.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段により撮像された被写体の画像から、患部についての複数の評価指標それぞれについての患部領域を抽出する抽出手段と、
前記抽出手段によって抽出された前記複数の評価指標それぞれについての患部領域の評価の結果に基づいて、前記複数の評価指標それぞれについての患部領域から、少なくとも１つの評価指標についての患部領域を選択する第１選択手段と、
前記第１選択手段により選択された少なくとも１つの評価指標についての患部領域に関する情報を表示装置に表示させる表示制御手段と、を有し、
前記第１選択手段により選択された少なくとも１つの評価指標についての患部領域に関する情報は、その他の評価指標についての患部領域に関する情報と区別される態様で表示されることを特徴とする処理システム。
【請求項２】
前記第１選択手段により選択された少なくとも１つの評価指標についての患部領域に関する情報は、前記被写体の画像に重畳される情報であることを特徴とする請求項１に記載の処理システム。
【請求項３】
前記表示制御手段は、前記第１選択手段により選択された少なくとも１つの評価指標についての患部領域が前記被写体の画像において強調して重畳される画像を前記表示装置に表示させることと、前記複数の評価指標それぞれについての患部領域のうち、前記第１選択手段により選択された少なくとも１つの評価指標についての患部領域のみを示す情報が前記被写体の画像に重畳される画像を前記表示装置に表示させることと、の少なくとも何れかを行うことを特徴とする請求項１または２に記載の処理システム。
【請求項４】
前記表示制御手段は、前記複数の評価指標それぞれについての患部領域の評価の結果に関する情報を前記表示装置に表示させることを特徴とする請求項１〜３の何れか１項に記載の処理システム。
【請求項５】
前記第１選択手段により選択された少なくとも１つの評価指標についての患部領域の評価に関する情報は、その他の評価指標についての患部領域の評価の結果に関する情報と区別される態様で表示されることを特徴とする請求項４に記載の処理システム。
【請求項６】
前記評価指標についての患部領域の評価は、当該評価指標についての患部領域の評価値と、当該評価指標に対する基準値とを比較することにより行われ、
前記第１選択手段は、前記抽出手段によって抽出された前記複数の評価指標それぞれについての患部領域の評価値と、当該評価指標に対する基準値とを比較した結果に基づいて、前記複数の評価指標それぞれについての患部領域から、少なくとも１つの患部領域を選択することを特徴とする請求項１〜５の何れか１項に記載の処理システム。
【請求項７】
前記抽出手段によって抽出された前記複数の評価指標それぞれについての患部領域の評価値を算出する算出手段を更に有することを特徴とする請求項６に記載の処理システム。
【請求項８】
前記表示制御手段は、前記複数の評価指標それぞれについての患部領域の評価の結果に関する情報を前記表示装置に表示させ、
前記複数の評価指標についての患部領域の評価の結果に関する情報は、当該評価指標の識別情報と、当該評価指標に対する前記評価値および前記基準値の少なくとも何れかを示す情報とを含むことを特徴とする請求項６または７に記載の処理システム。
【請求項９】
前記基準値をユーザの操作に基づいて設定する設定手段を更に有することを特徴とする請求項６〜８の何れか１項に記載の処理システム。
【請求項１０】
前記複数の評価指標それぞれについての患部領域の評価値を示す情報を記憶媒体に記憶させる記憶制御手段と、
前記複数の評価指標の少なくとも１つの評価指標についての患部領域の過去の評価値を示す情報に基づいて、当該少なくとも１つの評価指標に対する前記基準値を設定する設定手段と、を更に有することを特徴とする請求項６〜９の何れか１項に記載の処理システム。
【請求項１１】
前記被写体の識別情報に基づいて、撮像手段により撮像された画像に含まれる被写体を認識する認識手段を更に有し、
前記記憶制御手段は、前記複数の評価指標それぞれについての患部領域の評価値を示す情報を、前記認識手段による認識の結果に基づいて、当該患部領域を有する被写体の情報と関連付けて記憶媒体に記憶させ、
前記設定手段は、評価対象の被写体の患部領域であって、前記複数の評価指標それぞれについての患部領域の評価値に対する前記基準値を、前記記憶媒体に記憶されている情報に基づいて設定することを特徴とする請求項１０に記載の処理システム。
【請求項１２】
前記表示制御手段は、複数の前記評価指標についての患部領域の少なくとも一部が相互に重複する場合、当該重複する領域の境界のそれぞれが区別される画像を前記表示装置に表示させることと、複数の前記評価指標についての患部領域を示す情報が重畳された前記被写体の画像であって、順番に表示される画像を前記表示装置に表示させることと、複数の前記評価指標についての患部領域を示す情報が重畳された前記被写体の画像であって、当該画像が重複しないように１つの表示画面に表示される画像を前記表示装置に表示させることの少なくとも何れか１つを実行する特徴とする請求項１〜１１の何れか１項に記載の処理システム。
【請求項１３】
撮像手段により撮像された被写体の画像から、患部についての複数の評価指標それぞれについての患部領域を抽出する抽出手段と、
前記抽出手段によって抽出された前記複数の評価指標それぞれについての患部領域の評価の結果に基づいて、前記複数の評価指標それぞれについての患部領域から、少なくとも１つの評価指標についての患部領域を選択する選択手段と、
前記選択手段により選択された前記少なくとも１つの評価指標についての患部領域に関する情報であって、当該評価指標についての患部領域に関する情報を外部装置に出力する出力手段と、を有し、
前記選択手段により選択された少なくとも１つの評価指標についての患部領域に関する情報は、その他の評価指標についての患部領域に関する情報と区別される態様で表示されることを特徴とする処理装置。
【請求項１４】
前記出力手段は、前記複数の評価指標それぞれについての患部領域の評価の結果に関する情報を前記外部装置に出力することを特徴とする請求項１３に記載の処理装置。
【請求項１５】
前記評価指標についての患部領域の評価は、当該評価指標についての患部領域の評価値と、当該評価指標に対する基準値とを比較することにより行われ、
前記選択手段は、前記抽出手段によって抽出された前記複数の評価指標それぞれについての患部領域の評価値と、当該評価指標に対する基準値とを比較した結果に基づいて、前記複数の評価指標それぞれについての患部領域から、少なくとも１つの患部領域を選択することを特徴とする請求項１３または１４に記載の処理装置。
【請求項１６】
前記抽出手段によって抽出された前記複数の評価指標それぞれについての患部領域の評価値を算出する算出手段を更に有することを特徴とする請求項１５に記載の処理装置。
【請求項１７】
前記出力手段は、前記複数の評価指標それぞれについての患部領域の評価の結果に関する情報を前記外部装置に出力し、
前記複数の評価指標についての患部領域の評価の結果に関する情報は、当該評価指標の識別情報と、当該評価指標に対する前記評価値および前記基準値の少なくとも何れかを示す情報とを含むことを特徴とする請求項１５または１６に記載の処理装置。
【請求項１８】
前記複数の評価指標それぞれについての患部領域の評価値を示す情報を記憶媒体に記憶させる記憶制御手段と、
前記複数の評価指標の少なくとも１つの評価指標についての患部領域の過去の評価値を示す情報に基づいて、当該少なくとも１つの評価指標に対する前記基準値を設定する設定手段と、を更に有することを特徴とする請求項１５〜１７の何れか１項に記載の処理装置。
【請求項１９】
前記被写体の識別情報に基づいて、撮像手段により撮像された画像に含まれる被写体を認識する認識手段を更に有し、
前記記憶制御手段は、前記複数の評価指標それぞれについての患部領域の評価値を示す情報を、前記認識手段による認識の結果に基づいて、当該患部領域を有する被写体の情報と関連付けて記憶媒体に記憶させ、
前記設定手段は、評価対象の被写体の患部領域であって、前記複数の評価指標それぞれについての患部領域の評価値に対する前記基準値を、前記記憶媒体に記憶されている情報に基づいて設定することを特徴とする請求項１８に記載の処理装置。
【請求項２０】
撮像手段により撮像された被写体の画像を外部装置に出力する出力手段と、
前記撮像手段により撮像された画像に含まれる前記被写体の患部領域であって、患部についての複数の評価指標それぞれについての患部領域から前記外部装置で選択された少なくとも１つの評価指標についての患部領域に関する情報を前記外部装置から取得する取得手段と、
前記取得手段により取得された情報に基づく表示を表示装置に行わせる表示制御手段と、を有し、
前記外部装置で選択された少なくとも１つの評価指標についての患部領域に関する情報は、その他の評価指標についての患部領域に関する情報と区別される態様で表示されることを特徴とする端末装置。
【請求項２１】
撮像手段により撮像された被写体の画像を外部装置に出力する出力手段と、
前記撮像手段により撮像された画像に含まれる前記被写体の患部領域であって、患部についての複数の評価指標それぞれについての患部領域に関する情報を前記外部装置から取得し、前記複数の評価指標それぞれについての患部領域から、少なくとも１つの評価指標についての患部領域を選択する選択手段と、
前記選択手段により選択された少なくとも１つの評価指標についての患部領域に関する情報に基づく表示を表示装置に行わせる表示制御手段と、を有し、
前記外部装置で選択された少なくとも１つの評価指標についての患部領域に関する情報は、その他の評価指標についての患部領域に関する情報と区別される態様で表示されることを特徴とする端末装置。
【請求項２２】
前記外部装置で選択された少なくとも１つの評価指標についての患部領域に関する情報は、前記被写体の画像に重畳される情報であることを特徴とする請求項２０または２１に記載の端末装置。
【請求項２３】
前記少なくとも１つの評価指標についての患部領域の評価に関する情報は、その他の評価指標についての患部領域の評価の結果に関する情報と区別される態様で表示されることを特徴とする請求項２２に記載の端末装置。
【請求項２４】
前記選択手段は、前記複数の評価指標それぞれについての患部領域の評価値と、当該評価値に対する基準値とを比較した結果に基づいて、前記複数の評価指標それぞれについての患部領域から、少なくとも１つの患部領域を選択することを特徴とする請求項２１に記載の端末装置。
【請求項２５】
前記表示制御手段は、複数の前記評価指標についての患部領域の少なくとも一部が相互に重複する場合、当該重複する領域の境界のそれぞれが区別される画像を前記表示装置に表示させることと、複数の前記評価指標についての患部領域を示す情報が重畳された前記被写体の画像であって、順番に表示される画像を前記表示装置に表示させることと、複数の前記評価指標についての患部領域を示す情報が重畳された前記被写体の画像であって、当該画像が重複しないように１つの表示画面に表示される画像を前記表示装置に表示させることの少なくとも何れか１つを行うことを特徴とする請求項２０〜２４の何れか１項に記載の端末装置。
【請求項２６】
撮像手段により撮像された被写体の画像から、患部についての複数の評価指標それぞれについての患部領域を抽出する抽出工程と、
前記抽出工程によって抽出された前記複数の評価指標それぞれについての患部領域の評価の結果に基づいて、前記複数の評価指標それぞれについての患部領域から、少なくとも１つの評価指標についての患部領域を選択する第１選択工程と、
前記第１選択工程により選択された少なくとも１つの評価指標についての患部領域に関する情報を表示する表示工程と、を有し、
前記第１選択工程により選択された少なくとも１つの評価指標についての患部領域に関する情報は、その他の評価指標についての患部領域に関する情報と区別される態様で表示されることを特徴とする処理方法。
【請求項２７】
請求項１〜１２の何れか１項に記載の処理システムの各手段としてコンピュータを機能させるためのプログラム。
【請求項２８】
請求項１３〜１９の何れか１項に記載の処理装置の各手段としてコンピュータを機能させるためのプログラム。
【請求項２９】
請求項２０〜２５の何れか１項に記載の端末装置の各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の画像に基づいて被写体の患部領域を評価する技術に関するものである。
【背景技術】
【０００２】
人や動物が横になっている状態では、体重により、床（ここで床とはマットレスや敷布団を含む。）と体の接触部位に圧迫を受ける。
同じ姿勢が継続すると、床と体の接触部位が血行不全となり周辺組織が壊死を起こす。この組織が壊死した状態を褥瘡、または床ずれと呼んでいる。
この褥瘡を発症した患者には、非特許文献１にあるように体圧分散ケア、スキンケアなどの褥瘡ケアを施し、定期的に褥瘡を評価、管理していく必要がある。
【０００３】
そして、褥瘡評価のツールとして、非特許文献２に記載があるように日本褥瘡学会学術教育委員会が開発した褥瘡状態判定スケール、"ＤＥＳＩＧＮ−Ｒ（登録商標）"が提案されている。
"ＤＥＳＩＧＮ−Ｒ（登録商標）"は褥瘡をはじめとする傷の治癒過程を評価するためのツールである。この名称は、以下の各評価指標の頭文字をとったものである。即ち、深さ（Depth）、滲出液（Exudate）、大きさ（Size）、炎症・感染（Inflammation/Infection）、肉芽組織（Granulation）、壊死組織（Necrotic tissue）の頭文字をとったものである。
【０００４】
"ＤＥＳＩＧＮ−Ｒ（登録商標）"は日常の簡便な評価のための重症度分類用，および詳細に治癒過程の流れが示される経過評価用の２つがある。重症度分類用"ＤＥＳＩＧＮ−Ｒ（登録商標）"は、６つの評価項目を軽度と重度の２つに区分して、軽度はアルファベットの小文字、重度は大文字を用いて表す。
【０００５】
初療時に重症度分類用"ＤＥＳＩＧＮ−Ｒ（登録商標）"を用いて評価することで、褥瘡の大まかな状態を把握することができる。どの項目が問題であるかがわかるため、治療方針を容易に決定できる。
一方、経過評価用"ＤＥＳＩＧＮ−Ｒ（登録商標）"として、経過評価に加え患者間の重症度の比較もできる"ＤＥＳＩＧＮ−Ｒ（登録商標）"も定められている。Ｒはｒａｔｉｎｇ（評価・評点）を表す。各評価指標に異なる重み付けをしており、深さ以外の６項目の合計点（０〜６６点）がその創の重症度を表す。治療開始後に、治療経過を詳細かつ客観的に評価できる。個人の経過評価だけでなく、患者間の重症度比較もできる。
【０００６】
"ＤＥＳＩＧＮ−Ｒ（登録商標）"の採点は、非特許文献２に記載があるように、褥瘡の治癒経過を評価し、適切なケア選択を行うために、１週間に１回採点することが推奨されており、褥瘡は定期的に病状を評価し管理していく必要がある。
ここで、"ＤＥＳＩＧＮ−Ｒ（登録商標）"の「大きさ」の評価は、皮膚損傷範囲の長径と短径（長径と直交する最大径）を（ｃｍ単位で）測定し、各々を掛け合わせた数値から、大きさを７段階に分類するものである。この７段階は、ｓ０：皮膚損傷なし、ｓ３：４未満、ｓ６：４以上１６未満、ｓ８：１６以上３６未満、ｓ９：３６以上６４未満、ｓ１２：６４以上１００未満、Ｓ１５：１００以上、である。
【０００７】
「深さ」の評価は、創内の一番深い部分の深さによって、深さを７段階に分類するものである。この７段階は、ｄ０：皮膚損傷・発赤なし、ｄ１：持続する発赤、ｄ２：真皮までの損傷、Ｄ３：皮下組織までの損傷、Ｄ４：皮下組織を超える損傷、Ｄ５：関節腔、体腔に至る損傷、Ｕ：深さ判定が不能、である。
「炎症／感染」の評価は、創周辺の炎症あるいは創自体の感染によって、炎症／感染を４段階に分類するものである。この４段階は、ｉ０：局所の炎症徴候なし、ｉ１：局所の炎症徴候あり（創周囲の発赤、腫脹、熱感、痒痛）、Ｉ３：局所の明らかな感染徴候あり（炎症徴候、膿、悪臭など）、Ｉ９：漸進的影響あり（発熱など）、である。
【０００８】
「肉芽組織」の評価は、創面の肉芽組織の量によって、肉芽組織を６段階に分類するものである。この６段階には、ｇ０：治療あるいは創が浅いため肉芽形成の評価ができない、ｇ１：良性肉芽が創面の９０％以上を占める、ｇ３：良性肉芽が創面の５０％以上９０％未満を占める、が含まれる。また、この６段階には、Ｇ４：良性肉芽が創面の１０％以上５０％未満を占める、Ｇ５：良性肉芽が創面の１０％未満を占める、Ｇ６：良性肉芽が全く形成されていない、が含まれる。
【０００９】
褥瘡の経過評価（診断）において、各評価指標はその評価値と前述の判断基準とを対比させることによって行われる。
また、非特許文献２に記載があるように、患者の衰弱具合や皮膚の湿潤度等によって褥瘡の悪化の速さは異なる。褥瘡の悪化の速さの速い患者においては軽度な症状でも早期に発見して対策を講じたい場合など、患者ごとに異なる判断基準が求められると考えられる。
画像を評価する技術として、特許文献１には、画像について部分領域ごとに算出したスコアと学習データとに基づいて、評価対象画像の評価値を算出する技術が開示されている。ここでの学習データは、画像についての複数の評価項目の各々のスコアと当該画像がユーザの嗜好に合致する度合いを示す評価値とが関連付けられたデータである。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１７−１６２０５６号公報
【非特許文献】
【００１１】
【非特許文献１】日本褥瘡学会  褥瘡予防・管理ガイドライン、褥瘡会誌（Ｊｐｎ  Ｊ  ＰＵ），  １７  （４）  ：  ４８７〜５５７，２０１５
【非特許文献２】照林社  在宅褥瘡予防・治療ガイドブック  第３版  褥瘡予防・管理ガイドライン（第４版）準拠  編集  日本褥瘡学会  ＩＳＢＮ−１３  ９７８−４７９６５２３６１５  ２５，４０ページ
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献１に開示されている技術では、画像についての複数の評価項目の各スコアを、複数の部分領域ごとに算出して画像を評価するが、評価された領域がどこであるかを視覚的に確認することができない。また、画像の評価を行う際に、ユーザが評価基準を変更することができず、前述のように患者ごとに異なる判断基準が求められる場合に対応することができない。
【００１３】
本発明は、このような問題点に鑑みてなされたものであり、被写体の患部領域に対する評価結果をユーザに容易に把握させることを目的とする。
【課題を解決するための手段】
【００１４】
本発明の処理システムは、撮像手段により撮像された被写体の画像から、患部についての複数の評価指標それぞれについての患部領域を抽出する抽出手段と、前記抽出手段によって抽出された前記複数の評価指標それぞれについての患部領域の評価の結果に基づいて、前記複数の評価指標それぞれについての患部領域から、少なくとも１つの評価指標についての患部領域を選択する第１選択手段と、前記第１選択手段により選択された少なくとも１つの評価指標についての患部領域に関する情報を表示装置に表示させる表示制御手段と、を有し、前記第１選択手段により選択された少なくとも１つの評価指標についての患部領域に関する情報は、その他の評価指標についての患部領域に関する情報と区別される態様で表示されることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、被写体の患部領域に対する評価結果をユーザに容易に把握させることができる。
【図面の簡単な説明】
【００１６】
【図１】画像処理システムの構成の第１の例を示す図である。
【図２】被写体の第１の例を示す図である。
【図３】撮像装置のハードウェア構成を示す図である。
【図４】画像処理装置のハードウェア構成を示す図である。
【図５】画像処理システムの動作の第１の例を説明する図である。
【図６】設定画面を示す図である。
【図７】患部領域の評価結果を患部領域の画像に重畳させた画像を示す図である。
【図８】患部領域の面積を計算する方法を説明する図である。
【図９】患部領域の評価結果を重畳する前の患部領域の画像を示す図である。
【図１０】患部領域の評価結果が重畳された患部領域の画像の遷移を示す図である。
【図１１】被写体の第２の例を示す図である。
【図１２】画像処理システムの動作の第２の例を説明する図である。
【図１３】画像処理システムの動作の第４の例を説明する図である。
【図１４】重複する患部領域を区別して表示する画像の第１の例を示す図である。
【図１５】重複する患部領域を区別して表示する画像の第２の例を示す図である。
【図１６】重複する患部領域を区別して表示する画像の第３の例を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照しながら、実施形態を説明する。
［第１の実施形態］
まず、第１の実施形態を説明する。
まず、図１〜図３を参照して、画像処理システムの一例について説明する。図１は、画像処理システムの構成の一例を示す図である。
画像処理システム１００は、撮像装置１１０と、画像処理装置１２０とを有する。図２は、画像処理システム１００により計測される被写体の一例を示す図である。本実施形態では、被写体２０１の臀部に生じた患部領域２０２の病態の一例を褥瘡として説明する。
【００１８】
画像処理システム１００は、被写体２０１の患部領域２０２の画像を撮影し、被写体距離を取得する。次に、画像処理システム１００は、患部領域２０２の画像から、患部についての複数の評価指標それぞれについての患部領域２０２を、抽出または領域分割する。
次に、画像処理システム１００は、複数の評価指標それぞれについての患部領域の領域分割の結果や被写体距離に基づいて、複数の評価指標それぞれについての評価値を算出する。次に、画像処理システム１００は、それらの評価値を、ユーザによって画像撮影前に設定された基準値と比較する。画像処理システムは、この比較の結果に基づいて、強調表示する患部領域を決定する。尚、患部の対象は褥瘡に限定されるものではなく、やけど、裂傷、等であってもよい。更に、計測対象は患部に限定されるものではなく、電子データにおける画像中のオブジェクトであってもよい。
【００１９】
図１の撮像装置１１０のハードウェア構成の一例を図３に示す。
撮像装置１１０は、ＡＦ制御回路３２５、撮像ユニット３１１、ズーム制御回路３１５、測距システム３１６、画像処理回路３１７、通信装置３１８、およびシステム制御回路３１９を有する。撮像装置１１０は、更に、内部メモリ３２０、外部メモリＩ／Ｆ３２１、表示装置３２２、操作部材３２３、および共通バス３２４を有する。
【００２０】
ＡＦ制御回路３２５は、指定された領域の撮像信号（映像信号）の高周波成分を抽出し、これが最大になるフォーカスレンズの位置を探索して、フォーカスレンズを制御し、自動的に焦点を調節する。フォーカスレンズは、レンズ３１２に含まれる。このフォーカス制御方式は、ＴＶ−ＡＦまたはコントラストＡＦとも称され、高精度な合焦が得られる特徴がある。また、ＡＦ制御回路３２５は、焦点の調節量またはフォーカスレンズの移動量に基づいて被写体２０１までの距離を出力する。尚、フォーカス制御方式はコントラストＡＦに限ったものではなく、位相差ＡＦや、その他のＡＦ方式でもよい。また、ＡＦ制御回路３２５は、焦点の調節量、またはフォーカスレンズの位置を検出し、フォーカスレンズの位置に基づいて被写体２０１までの距離を取得することができる。
【００２１】
撮像ユニット３１１は、レンズ３１２、シャッタ３１３、イメージセンサ３１４を有する。
レンズ３１２は、イメージセンサ３１４に被写体２０１の光学像を結像する。レンズ３１２には、露出量を調節するための絞り値を決定する絞りが含まれるものとする。
イメージセンサ３１４は、光学像を電気信号に変換するＣＣＤや、ＣＭＯＳ素子等の電荷蓄積型の固体イメージセンサを有する。
シャッタ３１３は、開閉動作によりイメージセンサ３１４への露出や遮光を行い、シャッタ速度を制御する。尚、シャッタは機械シャッタに限ったものではなく電子シャッタを用いてもよい。ＣＭＯＳセンサを用いた撮像素子では、電子シャッタは、画素ごと、或いは、複数画素からなる領域ごと（例えば、ラインごと）に、まず、画素の蓄積電荷量をゼロにするリセット走査を行う。その後、撮像ユニット３１１は、リセット走査を行った画素ごと、或いは、複数画素からなる領域ごとに、それぞれ所定の時間を経過してから信号を読み出す走査を行う。
【００２２】
ズーム制御回路３１５は、レンズ３１２に含まれるズームレンズの駆動を制御する。ズーム制御回路３１５は、システム制御回路３１９からの指示に従ってズームモータ（不図示）を介してズームレンズを駆動する。これにより変倍が行われる。
測距システム３１６は、画面を複数の画素からなる所定のブロックに分割し、画面内のブロックごとに、被写体２０１までの距離の検出が可能な機能を有する。このように測距システム３１６は、被写体２０１までの距離を検出するユニットである。測距システム３１６は、ＡＦ制御回路３２５の出力に基づいて、被写体２０１までの距離を検出してもよい。画面内のブロックが複数ある場合、測距システム３１６は、ＡＦをブロックごとに繰り返し動作させることでブロックごとに、被写体２０１までの距離を検出する。この場合は、ＡＦ制御回路３２５が測距システム３１６を兼用できるため、測距システム３１６を省略することができる。
【００２３】
尚、測距システム３１６の一例としてＴＯＦ（Time Of Flight）センサを用いたシステムを用いてもよい。ＴＯＦセンサは、照射波の送信タイミングと、当該照射波が物体で反射された波である反射波の受信タイミングとの時間差（または位相差）に基づいて、当該物体までの距離を測定するセンサである。更に、測距システム３１６として、受光素子にＰＳＤ（Position Sensitive Device）を用いたＰＳＤ方式のシステム等を用いてもよい。
【００２４】
画像処理回路３１７は、イメージセンサ３１４から出力されたＲＡＷ画像データに画像処理を施す。画像処理回路３１７は、撮像ユニット３１１から出力された画像データ（ＲＡＷ画像データ）、あるいは後述する内部メモリ３２０に記憶されている画像信号のデータに対して、種々の画像処理を行う。画像処理には、例えば、ホワイトバランス調整、ガンマ補正、色補間、デモザイキング、フィルタリング、およびリサイズの少なくとも１つが含まれる。また、画像処理回路３１７は、撮像ユニット３１１が撮像した画像信号のデータに対して、ＪＰＥＧ等の規格で、圧縮処理を行う。
【００２５】
通信装置３１８は、撮像装置１１０内の各構成が、無線のネットワーク（不図示）を介して、画像処理装置１２０等の外部装置と通信を行うための通信インターフェースである。ネットワークの具体的な一例としては、Ｗｉ−Ｆｉ（登録商標）規格に基づくネットワークが挙げられる。尚、Ｗｉ−Ｆｉ（登録商標）を用いた通信はルーターを介して実現されてもよい。また、通信装置３１８は、ＵＳＢやＬＡＮ等、有線の通信インターフェースにより実現されてもよい。
【００２６】
システム制御回路３１９は、ＣＰＵ（Central Processing Unit）を有する。システム制御回路３１９は、内部メモリ３２０に記憶されているプログラムに従って、撮像装置１１０の各部を制御することにより全体制御を行う。また、システム制御回路３１９は、ＡＦ制御回路３２５、撮像ユニット３１１、ズーム制御回路３１５、測距システム３１６、画像処理回路３１７等の全体制御を行う。
【００２７】
内部メモリ３２０は、撮像装置１１０の動作に必要な画像撮像時のピント位置の情報等の各種設定情報や、撮像ユニット３１１が撮像した画像や、画像処理回路３１７の処理を得た画像を一時的に記憶する。また、内部メモリ３２０は、通信装置３１８が画像処理装置１２０と通信して受信した画像データや、被写体２０１のサイズに関する情報等の解析データ等を一時的に記憶してもよい。内部メモリ３２０は、例えば、フラッシュメモリ、ＳＤＲＡＭ等の書き換え可能な不揮発性のメモリによって構成される。
【００２８】
外部メモリＩ／Ｆ（Interface）３２１は、撮像装置１１０本体に装着可能な不揮発性の記憶媒体、または、撮像装置１１０の内部に固定された不揮発性の記憶媒体とのインターフェースである。外部メモリＩ／Ｆ３２１は、例えば、ＳＤカードやＣＦカード等である。外部メモリＩ／Ｆ３２１は、画像処理回路３１７で処理された画像データや、通信装置３１８が画像処理装置１２０と通信して受信した画像データや解析データ等を、撮像装置１１０本体に装着可能な記憶媒体に記憶する。また、外部メモリＩ／Ｆ３２１は、画像データの再生時には、撮像装置１１０本体に装着可能な記憶媒体に記憶された画像データを読み出し、撮像装置１１０の外部に出力することが可能である。
【００２９】
表示装置３２２は、内部メモリ３２０に一時的に記憶されている画像、外部メモリＩ／Ｆ３２１に記憶されている画像やデータ、或いは、撮像装置１１０の設定画面等を表示する。表示装置３２２は、例えば、ＴＦＴ（Thin Film Transistor）液晶ディスプレイ、有機ＥＬディスプレイ、またはＥＶＦ（電子ビューファインダ）等によって構成される。表示装置３２２は、システム制御回路３１９によって表示制御が行われる。
【００３０】
操作部材３２３は、例えば、撮像装置１１０に設けられた、ボタン、スイッチ、キー、およびモードダイアル等を有する。また、撮像装置１１０は、例えば、表示装置３２２に兼用されるタッチパネル等を有する。ユーザによるモード設定や、レリーズ等の撮影動作や、患部の複数の評価指標についての基準値の設定等の指令は、操作部材３２３を経由して、システム制御回路３１９に達する。
共通バス３２４には、ＡＦ制御回路３２５、撮像ユニット３１１、ズーム制御回路３１５、測距システム３１６、および画像処理回路３１７が接続される。また、共通バス３２４には、通信装置３１８、システム制御回路３１９、内部メモリ３２０、外部メモリＩ／Ｆ３２１、表示装置３２２、および操作部材３２３も接続される。共通バス３２４は、各ブロック間で信号の送受信を行うための信号線である。
尚、撮像装置１１０は、撮像装置本体と着脱可能なレンズユニットであって、撮像素子を備えるレンズユニットを用いて構成されても良い。この場合、撮像装置本体は、撮像素子を有さない。
【００３１】
次に、図１の画像処理装置１２０のハードウェア構成の一例として、コンピュータ４００の構成を図４に示す。画像処理装置１２０の各機能は、コンピュータ４００を用いることによって実現される。図４において、コンピュータ４００は、中央演算処理装置であるＣＰＵ４１０と、記憶装置４１２と、入力装置４１３と、表示装置４１４と、補助演算装置４１７と、通信装置４１８と、を有する。
ＣＰＵ４１０は、演算装置４１１を有する。記憶装置４１２は、主記憶装置４１５（ＲＯＭまたはＲＡＭ等）と補助記憶装置４１６（磁気ディスク装置、ＳＳＤ：Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ等）とを有する。
【００３２】
入力装置４１３は、例えば、マウスおよびキーボード等を有する。表示装置４１４は、例えば、例えば、ＴＦＴ液晶ディスプレイや有機ＥＬディスプレイ等によって構成される。
補助演算装置４１７は、ＣＰＵ４１０の制御の下で用いられる補助演算用ＩＣである。補助演算装置４１７には、一例としてＧＰＵ（Graphic Processing Unit）を用いることができる。ＧＰＵは、元々は画像処理用のプロセッサであるが、複数の積和演算器を有し、行列計算を得意としているため、信号学習用の処理を行うプロセッサとしても用いられることが多い。そして、深層学習を行う処理においても、ＧＰＵが用いられることが一般的である。尚、補助演算装置４１７として、ＦＰＧＡ（Field-Programmable Gate Array）やＡＳＩＣ等を用いてもよい。
通信装置３１８は、画像処理装置１２０内の各構成が、無線のネットワークを介して、画像処理装置１２０等の外部装置と通信を行うための通信インターフェースである。
【００３３】
ＣＰＵ４１０が備える演算装置４１１は、記憶装置４１２に記憶されているプログラムを実行することで、各機能を実行する。
尚、コンピュータ４００が備えるＣＰＵ４１０および記憶装置４１２は１つであってもよいし複数であってもよい。即ち、少なくとも１以上の処理装置（ＣＰＵ）と少なくとも１つの記憶装置とが接続されており、少なくとも１以上の処理装置が少なくとも１以上の記憶装置に記憶されたプログラムを実行した場合にコンピュータ４００は上記の各手段として機能する。尚、処理装置はＣＰＵに限定されるものではなく、ＦＰＧＡやＡＳＩＣ等であってもよい。
【００３４】
次に、図５に示すワークフロー図を用いて、本実施形態の画像処理システム１００の動作の一例について説明する。図５において、ステップをＳと示す。例えば、ステップ５１０１をＳ５１０１と示す。このことは、後述する図１２、図１３も同様である。また、ステップ記号の下から３桁目が"１"のステップ（例えば、Ｓ５１０１等）は、撮像装置１１０を対象とした処理であることを示す。また、ステップ記号の下から３桁目が"２"のステップ（例えば、Ｓ５２０１等）は、画像処理装置を対象とした処理であることを示す。これらのことは後述する図１２、図１３も同様である。
Ｓ５１０１の応答処理とＳ５２０１の探索処理では、撮像装置１１０と画像処理装置１２０が無線ＬＡＮ規格であるＷｉｆｉ規格のネットワーク（不図示）にそれぞれ接続する。Ｓ５２０１において、画像処理装置１２０は、画像処理装置１２０に接続される撮像装置１１０の探索処理を行う。Ｓ５１０１において、撮像装置１１０は、画像処理装置１２０の探索処理に対する応答処理を行う。各種の画像処理装置１２０の検索は、ネットワークを介して探索する機器探索技術等を用いて行われる。機器探索技術として、例えば、ＵＰｎＰ（Universal Plug and Play）が用いられる。ＵＰｎＰにおいて個々の装置の識別はＵＵＩＤ（Universally Unique IDentifier）によって行われる。
【００３５】
次に、Ｓ５１０２において、システム制御回路３１９は、表示装置３２２に図６に示す設定画面６００を表示させる。操作部材３２３によってユーザが各評価指標に対応するスライダー６０１を左右に移動させることで各評価指標に対する基準値の設定が行われる。ここで、スライダー６０１の左の値は基準値の下限値を表し、右の値は基準値の上限値を表す。システム制御回路３１９は、このようなユーザによるスライダー６０１の操作の内容に基づいて、各評価指標に対する基準値を設定する。尚、基準値の設定を行うためのＧＵＩ（Graphical User Interface）は、スライダーに限らず、ノブ等でもよい。また、ユーザは、評価値を算出することが可能である５つの評価指標（深さ、大きさ、炎症／感染、肉芽組織、壊死組織）の中から、１または複数の評価指標を選択するようにしてもよい。ユーザによって一部の評価指標が選択された場合には、選択された評価指標についてのみ、基準値を設定する。尚、ユーザが選択することができる候補となる評価指標の数は５つに限らない。
【００３６】
以下、図７に示す画像７００を参照しながら、ライブビュー処理の一例について説明する。ライブビュー処理は、撮像装置１１０の表示装置３２２にライブ映像を表示する処理である。
ライブビュー処理は、撮像装置１１０のＳ５１０３〜Ｓ５１１２の処理と、画像処理装置１２０のＳ５２０２〜Ｓ５２０７の処理とを含む。図５において、ライブビュー処理を行うステップを、破線で囲んで示す（このことは、図１２、図１３においても同様である）。
まず、Ｓ５１０３において、システム制御回路３１９は、ユーザが、画像７００の表示中に、各評価指標に対する基準値の変更を行ったか否かを判定する。図７に示すように、画像７００の左下部には、図６に示したスライダー６０１と同様のスライダー７０１が表示される。ユーザはライブビュー中の任意のタイミングでスライダー７０１を左右に移動させることで各評価指標に対する基準値を変更することができる。尚、基準値の設定を行うためのＧＵＩ（Graphical User Interface）は、スライダーに限らず、ノブ等でもよい。
【００３７】
Ｓ５１０３の判定の結果、基準値が変更された場合、処理は、Ｓ５１０４に進む。一方、基準値が変更されなかった場合、処理は、Ｓ５１０４を省略してＳ５１０５に進む。
Ｓ５１０４において、システム制御回路３１９は、変更後の各評価指標に対する基準値を新しい基準値として設定する。
次に、Ｓ５１０５において、ＡＦ制御回路３２５は、ＡＦ処理を行う。ＡＦ処理では、被写体２０１に焦点を合わせるように焦点が自動的に調節される。ＡＦ制御回路３２５は、画面を複数のブロックに分割し、所定のブロックでＡＦ（Auto Focus）を行う。本実施形態では、画面の中央に患部領域１０２が配置されるように撮像装置１１０を構えるものとする。よって、ＡＦ制御回路３２５は、画面の中央に位置するブロックでＡＦを行う。また、ＡＦ制御回路３２５は、焦点の調節量またはフォーカスレンズの移動量から、被写体２０１のＡＦエリアまでの距離を出力する。
【００３８】
次に、Ｓ５１０６において、撮像ユニット３１１は、被写体２０１の患部領域２０２が含まれるように、被写体２０１の画像を撮像する。
次に、Ｓ５１０７において、画像処理回路３１７は、Ｓ５１０６で撮像された画像を現像し、現像後の画像に対しＪＰＥＧ等の規格で画像圧縮を行う。現像された画像は表示装置３２２にも送られ、ライブビューの表示に用いられる。そして、画像処理回路３１７は、得られた画像のリサイズを実施する。Ｓ５１０７で生成された画像は後述するＳ５１０９で画像処理装置１２０に無線通信により送信される。
【００３９】
画像処理装置１２０に送信される画像のサイズが大きいほど無線通信に時間がかかる。このため、撮像装置１１０と画像処理装置１２０との通信時間として許容される通信時間を考慮してリサイズ後の画像のサイズが選択される。更に、後述するＳ５２０３において、画像から患部領域２０２を抽出する処理がなされる。画像サイズは、抽出処理の時間および抽出精度に依存する。このため、これらの要件も考慮して、リサイズ後の画像のサイズが選択される。また、Ｓ５１０７の処理は、ライブビュー処理中の処理であるため、処理の時間が長いとライブ映像のフレームレートが遅くなり、使い勝手が低下する虞がある。このことから、画像処理回路３１７は、ライブビュー処理中の処理でない本撮影時の処理である後述するＳ５１１５の画像処理で得られるサイズに比べて、同じか小さいサイズで画像をリサイズすることが望ましい。例えば、Ｓ５１０７において、画像処理回路３１７は、７２０ピクセル×５４０ピクセルで８ビットＲＧＢカラーとして、サイズがおよそ１．１メガバイトとなるように画像をリサイズすることができる。尚、リサイズ後の画像のサイズはこれに限ったものではない。
【００４０】
次に、Ｓ５１０８において、システム制御回路３１９は、被写体２０１までの距離に関する距離情報を生成する。具体的にシステム制御回路３１９は、Ｓ５１０５のＡＦ処理で得られた、被写体２０１のＡＦエリアまでの距離に基づいて距離情報を生成する。また、Ｓ５１０５において、システム制御回路３１９は、測距システム３１６の出力に基づいて、画面を分割処理した複数のブロックのそれぞれについて、被写体２０１までの距離を取得してもよい。
【００４１】
次に、Ｓ５１０９において、通信装置３１８は、Ｓ５１０７で生成された画像データと、Ｓ５１０８で生成された距離情報と、Ｓ５１０２またはＳ５１０４で設定された各評価指標に対する基準値とを、画像処理装置１２０に出力する。
Ｓ５２０２において、ＣＰＵ４１０は、通信装置４１８を介して、撮像装置１１０から出力された画像データと、画像データに含まれる被写体２０１に対応する距離情報と、各評価指標に対する基準値とを取得する。
【００４２】
次に、Ｓ５２０３において、ＣＰＵ４１０は、補助演算装置４１７を用いて、Ｓ５２０２で取得された画像データから、被写体２０１の患部の複数の評価指標それぞれについての患部領域２０２を抽出または領域分割する。本実施形態では、ＣＰＵ４１０は、「深さ」の評価指標についての患部領域として、持続する発赤（評価値１）以上の評価値を持つ患部領域を抽出する。また、ＣＰＵ４１０は、「大きさ」の評価指標についての患部領域として患部の領域を抽出する。また、ＣＰＵ４１０は、「炎症／感染」の評価指標についての患部領域として、局所の炎症徴候あり（評価値１）以上の評価値を持つ患部領域を抽出する。また、ＣＰＵ４１０は、「肉芽組織」の評価指標についての患部領域として、良性肉芽の領域を抽出する。また、ＣＰＵ４１０は、「壊死組織」の評価指標についての患部領域として、壊死組織の領域を領域分割する。
【００４３】
ここで、領域分割として、例えば、深層学習による意味的領域分割が行われる。即ち、学習用のコンピュータ（不図示）は、複数の評価指標についての患部領域が既知である複数の実際の褥瘡患部の画像を教師データとしてニューラルネットワークのモデルを学習させて学習済モデルを生成する。そして、画像処理装置１２０は、生成された学習済モデルに基づいて入力画像から褥瘡の複数の評価指標それぞれについての患部領域を推定する。尚、生成される学習済モデルは１つとは限らない。例えば、評価指標ごとに異なる学習済モデルを生成して、それらに基づいて各評価指標の患部領域を推定してもよい。ニューラルネットワークのモデルの一例として、深層学習を用いたセグメンテーション・モデルである完全畳み込みネットワーク  ＦＣＮ（Fully Convolutional Network）を適用することができる。ここで、深層学習の推論は、積和演算の並列実行を得意とする補助演算装置４１７に含まれるＧＰＵにより処理される。尚、推論処理は、ＦＰＧＡやＡＳＩＣなどにより実行されてもよい。また、他の深層学習のモデルを用いて領域分割を実現してもよい。また、セグメンテーション手法は深層学習に限らず、例えば、グラフカットや領域成長、エッジ検出、統治分割法等を用いてもよい。
【００４４】
次に、Ｓ５２０４において、ＣＰＵ４１０は、Ｓ５２０３で抽出された患部の複数の評価指標それぞれについての患部領域２０２の評価値を、真相学習による分類結果に基づいて算出する。ＣＰＵ４１０は、「大きさ」の評価指標の評価値については、画像データの画角もしくはサイズに関する情報、および、Ｓ５１０８で生成された距離情報に基づいて患部領域２０２の面積を計算し、この面積に応じて評価値を算出する。
【００４５】
図８は、患部領域２０２の面積を計算する方法の一例を説明する図である。一般的なカメラは、図８に示すようなピンホールモデルとして扱うことができる。入射光８１１は、レンズ３１２のレンズ主点を通り、イメージセンサ３１４の撮像面で受光する。撮像面からレンズ主点までの距離が焦点距離Ｆである。ここで、薄レンズ近似を用いる場合、前側主点および後側主点の２つの主点は一致するとみなせる。また、ピンホールモデルでは見かけ上、レンズ３１２が厚みのない単一のレンズであるが、実際のレンズは、フォーカスレンズを含む複数の厚みのあるレンズ、またはズームレンズで構成されていてもよい。
【００４６】
イメージセンサ３１４の平面に像が結像するようにレンズ３１２のフォーカスレンズを調整することで、撮像装置１１０は、被写体２０１に焦点を調節する。ズームレンズにより焦点距離Ｆを可変することで画角θが変化する。このとき、撮像装置１１０の画角θと被写体距離Ｄとの関係から幾何学的に合焦面における被写体２０１の幅Ｗが決定される。被写体２０１の幅Ｗは、三角関数を用いて計算される。即ち、被写体２０１の幅Ｗは、フォーカス位置とズーム量とをパラメタとする画角θと、被写体距離Ｄとの関係によって決定される。被写体２０１の幅Ｗの値を、当該幅Ｗに対応するイメージセンサ３１４のライン上のピクセル数で除算することにより、画像上の１ピクセルに対応する合焦面上の長さが得られる。
【００４７】
面積の計算は、Ｓ５２０３による領域分割の結果から得られる、患部領域１０２のピクセル数と、画像上の１ピクセルに対応する合焦面上の長さから得られる１ピクセルの面積との積として計算される。尚、被写体２０１の幅Ｗもしくは画像上の１ピクセルに対応する合焦面上の長さを求める式は、幅Ｗが既知の被写体を、被写体距離Ｄを変化させて撮像することにより、被写体のデータを取得し回帰的に求めてもよい。また、被写体距離Ｄが単一の場合は、正しく面積を求めるためには被写体が平面であることが前提となる。ＣＰＵ４１０は、Ｓ５１０８で生成した画面の複数の位置で距離情報を用いて、Ｓ５２０４で、被写体２０１の奥行き方向の傾きや変化を検出し、検出した傾きや変化に基づいて、患部領域２０２の面積を算出してもよい。
【００４８】
また、ＣＰＵ４１０は、「深さ」の評価指標の評価値を、Ｓ５２０４で抽出された、持続する発赤（評価値１）以上の評価値を持つ患部領域に基づいて算出する。即ち、ＣＰＵ４１０は、持続する発赤（評価値１）以上の評価値を持つ患部領域２０２を、評価値１、２、３、４、５のいずれかに分類する。例えば、ＣＰＵ４１０は、補助演算装置４１７を用いて深層学習による分類を行う。即ち、学習用のコンピュータ（不図示）は、深さの評価値が既知である複数の褥瘡患部の画像を教師データとしてニューラルネットワークのモデルを学習させて学習済モデルを予め生成する。そして、画像処理装置１２０は、生成された学習済モデルに基づいて、持続する発赤（評価値１）以上の評価値を持つ患部領域から深さの評価値を推定する。ニューラルネットワークのモデルの一例として、画像分類においてよく用いられる畳み込みニューラルネットワーク  ＣＮＮ（Convolutional Neural Network）を用いることができる。尚、分類の手法は深層学習に限らない。例えば、分類対象の画像からＳＩＦＴ（Scale-Invariant Feature Transform）特徴量等の特徴量を抽出した後に、当該特徴量を、ＳＶＭ（Support Vector Machine）等の識別器を用いて分類してもよい。
【００４９】
また、ＣＰＵ４１０は、「肉芽組織」の評価指標の評価値を、Ｓ５２０４で抽出された良性肉芽の領域と、患部領域２０２のピクセル数とに基づいて算出する。背景技術の項で述べた通り、「肉芽組織」の評価指標の評価値は、良性肉芽の創面における割合によって決まる。そこで、ＣＰＵ４１０は、肉芽組織の領域のピクセル数の、患部領域２０２のピクセル数に占める割合を計算する。そして、ＣＰＵ４１０は、その値に基づいて、良性肉芽の領域が、背景技術の項で述べた６段階の何れであるかを決定する。
【００５０】
また、ＣＰＵ４１０は、「壊死組織」の評価指標の評価値を、Ｓ５２０４で抽出された壊死組織の領域に基づいて算出する。即ち、ＣＰＵ４１０は、壊死組織の領域を、評価値３、６の何れかに分類する。例えば、ＣＰＵ４１０は、補助演算装置４１７を用いて深層学習による分類を行う。即ち、学習用のコンピュータ（不図示）は、壊死組織の評価値が既知である複数の実際の褥瘡患部の画像を教師データとしてニューラルネットワークのモデルを学習させて学習済モデルを予め生成する。そして、画像処理装置１２０は、生成された学習済モデルに基づいて壊死組織の領域から壊死組織の評価値を推定する。ニューラルネットワークのモデルの一例として、画像分類においてよく用いられる畳み込みニューラルネットワーク  ＣＮＮを用いることができる。尚、分類の手法は深層学習に限らず、分類対象画像からＳＩＦＴ特徴量等の特徴量を抽出した後に、当該特徴量をＳＶＭ等の識別器を用いて分類してもよい。
【００５１】
次に、Ｓ５２０５において、ＣＰＵ４１０は、各評価指標についての基準値と、各評価指標についての評価値とに基づいて、Ｓ５２０３で抽出された各評価指標についての患部領域のうち、強調表示する患部領域を決定する。各評価指標についての基準値は、Ｓ５２０２で取得されるものである。各評価指標についての評価値は、Ｓ５２０４で算出されるものである。ＣＰＵ４１０は、各評価指標について、基準値と評価値との比較を行う。ＣＰＵ４１０は、評価指標の評価値が、当該評価指標に対する基準値以上であれば、その評価指標についての患部領域を強調表示する患部領域とする。尚、基準値と評価値との比較の方法は評価値が基準値以上であるかどうかに限らない。例えば、評価値の内容に応じて、評価値が基準値以下であるか否かや、基準値と一致しているか否か等を判定することにより、基準値と評価値との比較を行ってもよい。
【００５２】
次に、Ｓ５２０６において、ＣＰＵ４１０は、患部の複数の評価指標それぞれについての患部領域２０２の抽出を行う際に用いた画像データに対応する画像データに対して、以下の情報を重畳して表示させる。即ち、ＣＰＵ４１０は、各患部領域２０２の抽出結果を示す情報および各患部領域２０２の評価値および基準値に関する情報を重畳して表示させる。このとき、ＣＰＵ４１０は、Ｓ５２０５によって強調表示する領域として決定された患部領域２０２の抽出結果を示す情報を強調して重畳する。図７および図９を参照しながら、各患部領域の抽出結果を示す情報および各患部領域の評価値および基準値に関する情報を重畳する際に、ＣＰＵ４１０によって決定された領域の抽出結果を示す情報を強調して重畳する方法の一例について説明する。
【００５３】
図９において、画像９００は、重畳処理前の画像である。被写体２０１、患部領域２０２、良性肉芽の領域９０１、および壊死組織の領域９０２が画像９００に表示されている。一方、図７に示す画像７００は、重畳処理後の画像である。画像７００の左下部には、各評価指標名と、それらの基準値および評価値が表されたスライダー７０１とが画像９００に重畳される。スライダー７０１中の白い長方形は、基準値の位置を示す。スライダー７０１中の黒い長方形は、評価値の位置を表す。このように、スライダー７０１は、値に応じて値を示す位置が変化する。尚、スライダー７０１中の値の位置を示す長方形の形状は円等でもよい。また、スライダー７０１中の値の位置を示す色は白と黒に限らない。また、基準値と評価値を示す画像は、スライダーに限らず、ノブ等でもよい。
【００５４】
また、基準値および評価値のいずれか一方のみを重畳してもよい。また、ＣＰＵ４１０によって決定された強調表示する領域（本実施形態においては評価値が基準値以上である領域）の評価指標名は太字で強調して重畳される。これにより、評価値が基準値を超える評価指標の評価の結果が、他の評価指標の評価結果と区別される態様で表示される。
【００５５】
図７に示す画像７００においては、「Ｇｒａｎｕｌａｔｉｏｎ（肉芽組織）」と「Ｎｅｃｒｏｔｉｃ  ｔｉｓｓｕｅ（壊死組織）」の評価指標において評価値が基準値を超えており、太字で表示されている場合を例に挙げて示す。尚、評価指標名の強調方法は太字に限らず、指標名の色や大きさの変更等でもよい。更に、ＣＰＵ４１０が抽出した各評価指標についての患部領域を重畳する。このとき、ＣＰＵ４１０によって強調表示すると決定された患部領域の抽出結果を示す情報を強調して重畳する。強調方法の一例として、本実施形態では、強調表示する患部領域以外の患部領域を重畳せずに、強調表示する患部領域のみを重畳する。
【００５６】
図７に示す画像７００においては、評価値が基準値以上である肉芽組織の領域７０２と壊死組織の領域７０３が強調して重畳されている場合を例に挙げて示す。尚、強調表示する患部領域以外の患部領域を重畳させてもよい。この場合、強調表示する患部領域の強調方法は、強調表示する患部領域のみ、重畳する色や透過率を変えて重畳することで、強調表示する患部領域を強調させてもよい。何れの態様としても、評価値が基準値以上である肉芽組織の領域７０２と壊死組織の領域７０３は、他の患部領域と区別される態様で表示される。
【００５７】
図５の説明に戻り、Ｓ５２０７において、通信装置４１８は、以下の情報を撮像装置１１０に出力する。即ち、通信装置４１８は、Ｓ５２０３で抽出された患部の複数の評価指標についての患部領域２０２の抽出結果を示す情報を撮像装置１１０に出力する。また、通信装置４１８は、Ｓ５２０４で算出された各患部領域２０２の評価値に関する情報を撮像装置１１０に出力する。また、通信装置４１８は、Ｓ５２０５で決定された強調表示する患部領域２０２についての情報を撮像装置１１０に出力する。本実施形態では、Ｓ５２０６で重畳処理が行われた画像７００を撮像装置１１０に無線通信により出力する。画像７００には、患部の複数の評価指標についての基準値と評価値の比較結果に関する情報が含まれる（スライダー７０１中の白い長方形と黒い長方形を参照）。
【００５８】
Ｓ５１１０において、システム制御回路３１９は、通信装置３１８を介して、画像処理装置１２０から、患部の複数の評価指標についての患部領域２０２の抽出結果に関連する情報を取得する。本実施形態では、システム制御回路３１９は、画像処理装置１２０がＳ５２０７で出力した重畳処理済みの画像７００を取得する。
次に、Ｓ５１１１において、システム制御回路３１９は、Ｓ５１１０で受信された重畳処理済みの画像７００を表示装置３２２に表示する。このように、撮像装置１１０は、撮像ユニット３１１にて生成されたライブビュー画像に対して、患部の複数の評価指標についての患部領域２０２の抽出結果を示す情報と、各患部領域２０２の評価値に関する情報との少なくとも何れかを重畳して表示する。なお、撮像ユニット３１１にて生成されたライブビュー画像は、例えば、画像９００である。このようにすることで、撮像装置１１０のユーザは、レリーズの前に各患部領域２０２の評価値と、患部領域２０２として推定された領域が妥当であるかを確認したうえで本撮影に臨むことができる。なお、レリーズの前に患部領域として推定された領域が妥当であるか否かの確認が不要であれば、撮像装置１１０におけるＳ５１０８からＳ５１１１の処理、および、画像処理装置１２０におけるＳ５２０２からＳ５２０７の処理は省略できる。
【００５９】
また、画像処理装置１２０はＳ５２０３の患部領域の抽出処理とＳ５２０４の評価値の算出を行って、Ｓ５２０５とＳ５２０６を行わずに、患部領域の抽出結果とその評価値を撮像装置１１０に送信するようにしてもよい。この場合、撮像装置１１０が、取得したそれぞれの患部領域の評価値を、対応する基準値と比較することで、強調表示する患部領域を決定する。そして、撮像装置１１０が、強調表示する患部領域に対して、抽出結果を示す情報を重畳した画像を生成する。こうすることで、ユーザが基準値を変更した場合に、既に取得済みのそれぞれの患部領域の評価値と、変更後の基準値を比較し、速やかに強調表示する患部領域を変更することが可能となる。
【００６０】
次に、Ｓ５１１２において、システム制御回路３１９は、操作部材３２３のレリーズが押されたか否かを判定する。この判定の結果、レリーズが押されていなければ、前述したＳ５１０３に処理は戻る。一方、レリーズが押されていれば、ライブビュー処理を抜け、処理はＳ５１１３に進む。ここで、Ｓ５１１３より前の処理はライブビューの処理なのに対し、Ｓ５１１３以降の処理は、最終的に患部の複数の評価指標の評価値を計測する本撮影の処理となる。
【００６１】
Ｓ５１１３において、ＡＦ制御回路３２５は、Ｓ５１０５と同様に、ＡＦ処理を行い、被写体２０１に合焦する。また、ＡＦ制御回路３２５は、焦点の調節量またはフォーカスレンズの移動量から、被写体２０１までの距離を出力する。
次に、Ｓ５１１４において、撮像ユニット３１１は、Ｓ５１０６と同様に、被写体２０１の患部領域２０２が含まれるように、被写体２０１の画像を撮像する。
【００６２】
次に、Ｓ５１１５において、画像処理回路３１７は、Ｓ５１０７と同様に、現像処理およびリサイズ処理を行う。本ステップは、ライブビューの処理であるＳ５１０７に対し、本撮影処理なので、処理時間よりも、画像のサイズおよびサイズの計測の精度を優先する。従って、画像処理回路３１７は、Ｓ５１０７で生成される画像と同等かそれ以上のサイズにリサイズする。例えば、Ｓ５１１５において、画像処理回路３１７は、１４４０ピクセル×１０８０ピクセルで４ビットＲＧＢカラーとして、サイズがおよそ４．４５メガバイトとなるように画像をリサイズすることができる。尚、リサイズ後の画像のサイズはこれに限ったものではない。
次に、Ｓ５１１６において、システム制御回路３１９は、Ｓ５１０８と同様に、被写体２０１までの距離に関する距離情報を生成する。
【００６３】
次に、Ｓ５１１７において、通信装置３１８は、Ｓ５１０９と同様に、Ｓ５１１５で生成された画像データと、Ｓ５１１６で生成された被写体２０１までの距離に関する距離情報を、画像処理装置１２０に出力する。
次に、Ｓ５２０８において、ＣＰＵ４１０は、Ｓ５２０２と同様に、通信装置４１８を介して、撮像装置１１０から出力された画像データと、画像データに含まれる被写体２０１に対応する距離情報を取得する。
次に、Ｓ５２０９において、ＣＰＵ４１０は、Ｓ５２０３と同様に、補助演算装置４１７を用いて、Ｓ５２０８で取得された画像データから、被写体２０１の患部の複数の評価指標についての患部領域２０２を抽出または領域分割する。この処理の詳細は前述したため省略する。
【００６４】
次に、Ｓ５２１０において、ＣＰＵ４１０は、Ｓ５２０４と同様に、Ｓ５２０９で抽出された患部の複数の評価指標についての患部領域２０２の評価値を算出する。この処理の詳細は前述したため省略する。
次に、Ｓ５２１１において、ＣＰＵ４１０は、Ｓ５２０５と同様に、各評価指標についての基準値と、各評価指標についての評価値とに基づいて、Ｓ５２０９で抽出された各評価指標についての領域のうち、強調表示する患部領域を決定する。各評価指標についての基準値は、Ｓ５２０８で取得されたものである。各評価指標についての評価値は、Ｓ５２１０で算出されたものである。この処理の詳細は前述したため省略する。
【００６５】
次に、Ｓ５２１２において、ＣＰＵ４１０は、まず、Ｓ５２０６と同様に、患部の複数の評価指標それぞれについての患部領域２０２の抽出を行う際に用いた画像データに対応する画像データに対して、以下の情報を重畳して表示させる。即ち、ＣＰＵ４１０は、各患部領域２０２の抽出結果を示す情報および各患部領域２０２の評価値および基準値に関する情報を重畳して表示させる。このとき、ＣＰＵ４１０は、Ｓ５２１１で強調表示する領域として決定された患部領域２０２の抽出結果を示す情報を強調して重畳する。この処理の詳細は前述したため省略する。Ｓ５２１２では、ＣＰＵ４１０は、これに加えて、図１０に示す画像１０００のように、画像１０００の右下部に、矢印のアイコン１００１を重畳する。このアイコン１００１は、後述するＳ５１１９における表示の終了の操作のために用いられる。
【００６６】
また、ＣＰＵ４１０は、このようなアイコン１００１に加え、評価指標ごとに、Ｓ５２０９で抽出された各評価指標についてのみの患部領域２０２の抽出結果を重畳し、その評価指標名、評価値、基準値を左上部に重畳した画像を生成する。このような画像の一例として、図１０では、「大きさ」の評価指標についてのみの患部領域２０２の抽出結果を重畳し、その評価指標名、評価値、基準値を左上部に重畳した画像１０１０を示す。ＣＰＵ４１０は、画像１０１０において、「大きさ」の評価指標についての患部領域２０２としてＳ５２０９で抽出された患部領域１０１１の抽出結果を重畳する。また、ＣＰＵ４１０は、画像１０１０の左上部に、黒地の背景に白色の文字で、「大きさ」の評価指標に関する情報として、評価指標名１０１２、評価値を表す文字列１０１３、基準値を表す文字列１０１４を表示したラベル１０１５を重畳する。尚、ラベル１０１５の背景色と文字列の色は見やすいものであれば黒、白に限られない。また、透過量を設定してαブレンドすることで、ラベルが重なった部分の画像をユーザが確認できるようにしてもよい。このように生成した評価指標ごとの情報が重畳された画像は、後述するＳ５１１８の表示中の操作によってユーザが参照することができる。
【００６７】
図５の説明に戻り、Ｓ５２１３において、通信装置４１８は、Ｓ５２０７と同様に、以下の情報を撮像装置１１０に出力する。即ち、通信装置４１８は、Ｓ５２０９で抽出された患部の複数の評価指標についての患部領域２０２の抽出結果を示す情報を撮像装置１１０に出力する。また、通信装置４１８は、Ｓ５２１０で算出された各患部領域２０２の評価値に関する情報を撮像装置１１０に出力する。また、通信装置４１８は、Ｓ５２１１で決定された強調表示する患部領域２０２についての情報を撮像装置１１０に出力する。本実施形態では、通信装置４１８は、Ｓ５２１２で重畳処理が行われた画像１０００と、評価指標ごとの評価結果に関する情報が重畳された画像を撮像装置１１０に無線通信により出力する。前述したように、評価指標ごとの評価結果に関する情報が重畳された画像の一つは、「大きさ」の評価指標についての画像１０１０である。
【００６８】
次に、Ｓ５１１８において、システム制御回路３１９は、Ｓ５１１０と同様に、通信装置３１８を介して、画像処理装置１２０から、患部の複数の評価指標についての患部領域２０２の抽出結果に関連する情報を取得する。本実施形態では、システム制御回路３１９は、画像処理装置１２０がＳ５２１３で出力した重畳処理済みの画像１０００、１０１０を取得する。
次に、Ｓ５１１９において、システム制御回路３１９は、Ｓ５１１１と同様に、Ｓ５１１８で取得された重畳処理済みの画像１０００を表示装置３２２に表示する。ただし、Ｓ５１１９では、Ｓ５１１１と異なり、システム制御回路３１９は、画像１０００の表示中に、ユーザが操作部材３２３を用いた操作を行うことによって、表示装置３２２に表示された画面を遷移させることができる。
【００６９】
本実施形態において、表示画面を遷移させるための操作部材３２３は、表示装置３２２のタッチパネルディスプレイであるものとする。従って、ユーザは、表示装置３２２の画面をタップすることで表示画面を遷移させる。尚、表示画面を遷移させるための操作部は、タッチパネルディスプレイに限らず、撮像装置１１０に付いているボタン等でもよい。
【００７０】
ここで、図１０を参照しながら、表示画面の遷移の方法の一例を説明する。Ｓ５１１９の処理が始まると、まず、複数の評価指標についての情報が重畳された画像１０００が表示される。画像１０００が表示されている画面において、ユーザが、矢印のアイコン１００１をタップすると、表示装置３２２は、画像１０００の表示を終了する。
【００７１】
また、スライダー７０１の左側に表示されている各評価指標名をユーザがタップする。そうすると、システム制御回路３１９は、表示装置３２２に、タップされた評価指標名に対応する評価指標についての画像（例えば「大きさ」の評価指標についての画像１０１０）を表示させる。この画像には、Ｓ５２１２で生成された評価指標ごとの評価結果に関する情報が重畳される。評価指標ごとの評価結果に関する情報が重畳された画像１１００が表示されている表示画面において、ユーザが矢印のアイコン１００１をタップする。そうすると、システム制御回路３１９は、表示装置３２２に、複数の評価指標についての情報が重畳された画像１０００を再び表示させる。図１０に示す画像１０１０において、全ての（５つの）評価指標について、評価値と基準値とを示すスライダー７０１を表示する場合を例に挙げて示した。しかしながら、必ずしもこのようにする必要はない。例えば、画像１０００において、全ての（５つの）評価指標のうち、タップされた評価指標名のみに対応する評価値と基準値と示すスライダーを表示してもよい。
【００７２】
以上のように本実施形態によれば、撮像装置１１０は、ユーザの操作に基づいて、複数の評価指標についての基準値の設定および患部領域２０２の撮像を行う。そして、画像処理装置１２０は、撮像された画像を解析し、ユーザが設定した基準値を超えた評価指標についての患部領域２０２を特定する。そして、撮像装置１１０は、表示装置３２２に、基準値を超えた評価指標についての患部領域２０２を強調して患部領域の画像に重畳して表示させる。従って、ユーザ（医師）は、例えば、褥瘡の経過評価の際に、基準値と評価結果との対比や、基準値を超えた評価指標と、基準値を超えた評価指標についての患部領域２０２の把握を容易に行うことができる。また、患者ごとに各評価指標についての判断基準が異なる場合でも、基準値の設定を変更することで、ユーザ（医師）は、基準値を超えた評価指標の把握と、基準値を超えた評価指標についての患部領域２０２の把握を、患者ごとに容易に且つ確実に行える。これにより、ユーザ（医師）は、個々の褥瘡に応じたより適切な治療方針を選択することができる。
【００７３】
［第２の実施形態］
次に、第２の実施形態を説明する。第１の実施形態では、ユーザの操作によって、撮像装置１１０のシステム制御回路３１９が、患部の複数の評価指標それぞれについての基準値を設定する場合を例に挙げて説明した。これに対し、本実施形態では、撮像装置１１０ではなく、画像処理装置１２０が患部の複数の評価指標それぞれについての基準値を設定する。更に、画像処理装置１２０の記憶装置４１２は、評価結果を被写体ごとに識別して記憶するデータベースを有する。また、以前に記憶された被写体の撮影を行う際に、前回撮影時の評価結果を参照し、その評価値に基づいて基準値を設定することができる。尚、被写体ごとの評価結果を記憶するためのデータベースは、撮像装置および画像処理装置とは別のハードウェアによって実現されてもよい。以上のように本実施形態と第１の実施形態とは、基準値を設定するための構成および処理と、評価結果を被写体ごとに識別して記憶するための構成および処理が主として異なる。従って、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図１０に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００７４】
図１１は、本実施形態の画像処理システムにより計測される被写体の一例を示す図である。
本実施形態では、抽出対象である患部領域１１０１を有する被写体１１００には、被写体１１００を識別する情報としてバーコードタグ１１０２が付帯されている。バーコードタグ１１０２を用いることにより、患部の画像と被写体１１００のＩＤとを相互に関連付けることができる。尚、被写体を識別するタグはバーコードタグに限ったものではなく、ＱＲコード（登録商標）等の２次元コードや数値であってもよい。
【００７５】
画像処理装置１２０の表示装置４１４は、撮像ユニット３１１で撮像された画像の表示、または、記憶装置４１２のデータベースに記憶された患部領域の抽出結果を示す情報および患部領域のサイズに関する情報の、少なくとも何れかに基づく表示を行う。また、表示装置４１４は、患部領域の抽出結果を示す情報および患部領域のサイズに関する情報の少なくとも何れかを、撮像ユニット３１１で撮像された画像に重畳して表示する。尚、画像処理装置１２０のハードウェアとしてのコンピュータ４００の入力装置４１３を操作することにより、過去に撮像した画像の評価結果を閲覧することができる。
【００７６】
本実施形態では、ＣＰＵ４１０は、画像に含まれるバーコードタグ１１０２の１次元バーコード（不図示）から被写体１１００を識別する被写体ＩＤ（被写体の識別情報）を読み取る処理を行う。尚、ＣＰＵ４１０が読み取る対象は、ＱＲコード（登録商標）などの２次元コードや数値であってもよい。
ＣＰＵ４１０は、読み取った被写体ＩＤを、予め登録された被写体ＩＤと照合し、被写体の識別情報の一例として被写体１１００の名前を取得する。
ＣＰＵ４１０は、記憶装置４１２のデータベースから、読み取った被写体ＩＤを含む過去のレコードを参照し、そのレコードに含まれる情報に基づいて複数の評価指標それぞれについての基準値を設定する。
【００７７】
ＣＰＵ４１０は、画像と、複数の評価指標それぞれについての患部領域と、評価値に関する情報と、被写体ＩＤと、名前と、撮影日時などに基づくレコードを生成する。そして、ＣＰＵ４１０は、生成したレコードの情報を記憶装置４１２のデータベースに登録する記憶制御を行う。ここで、画像は、表示装置４１４により表示される画像である。
尚、バーコードタグ１１０２から被写体ＩＤを読み取る処理と、読み取った被写体ＩＤを用いて被写体１１００の名前を取得する処理は、撮像装置１１０が行うようにしてもよい。このようにする場合、撮像装置１１０の通信装置３１８は、患部領域１１０１を有する被写体１１００を識別するための情報を、距離情報とともに画像処理装置１２０に出力してもよい。
【００７８】
次に、図１２に示すワークフロー図を用いて、本実施形態の画像処理システム１００の動作の一例について説明する。
本実施形態の撮像装置１１０のワークフローでは、図５に示す第１の実施形態の撮像装置１１０のワークフローに対し、Ｓ１２１０１〜Ｓ１２１０３の処理が追加され、Ｓ５１０２の処理が削除されている。
【００７９】
Ｓ１２１０１において、撮像装置１１０は、被写体１１００の患部を撮像する前に、被写体１１００に付帯するバーコートタグ１１０２を撮影する。被写体１１００が患者である場合、バーコートタグ１１０２には、患者を識別する患者ＩＤが被写体ＩＤの一例として含まれる。ここで、バーコードタグ１１０２の撮影の直後に患部を撮影することで、撮影した画像の撮影順序を撮影日時等で管理することができる。このようにすることにより、バーコードタグ１１０２の画像から次のバーコードタグ１１０２の画像の手前の画像までが同一の被写体１１００の画像として、被写体ＩＤにより識別される。
【００８０】
Ｓ１２１０２において、通信装置３１８は、Ｓ１２１０１で得られたバーコードタグ１１０２を含む画像を画像処理装置１２０に出力する。
Ｓ１２１０３において、システム制御回路３１９は、通信装置３１８を介して、後述するＳ１２２０５で出力される基準値の設定の完了通知を取得する。
【００８１】
本実施形態の画像処理装置１２０のワークフローでは、第１の実施形態の画像処理装置１２０のワークフローに対し、Ｓ１２２０１〜Ｓ１２２０７が追加されている。
Ｓ１２２０１において、ＣＰＵ４１０は、通信装置４１８を介して、Ｓ１２１０２で出力されたバーコードタグ１１０２を含む画像を取得する。
次に、Ｓ１２２０２において、ＣＰＵ４１０は、Ｓ１２２０１で取得された画像に含まれる１次元バーコード（不図示）から、被写体１１００を識別する被写体ＩＤを読み取る処理を行う。
次に、Ｓ１２２０３において、ＣＰＵ４１０は、Ｓ１２２０２で読み取った被写体ＩＤを、予め登録された被写体のＩＤと照合し、被写体１１００の名前を取得する。
【００８２】
次に、Ｓ１２２０４において、ＣＰＵ４１０は、Ｓ１２２０２で読み取った被写体ＩＤを含む過去のレコードを参照し、そのレコードに含まれる情報に基づいて複数の評価指標それぞれについての基準値を設定する。本実施形態では、ＣＰＵ４１０は、Ｓ１２２０２で読み取られた被写体ＩＤの前回撮影時のレコードを参照し、当該レコード内の各評価指標についての評価値を取得する。ＣＰＵ４１０は、このように取得した各評価指標についての評価値を、各評価指標についての基準値として設定する。このようにして基準値を設定することで、前回撮影時からの患部の経過評価を行うことができる。尚、参照するレコードは前回撮影時のものに限らず、初めて撮影した時のもの等でもよい。また、異なる被写体ＩＤを含むレコードを参照してもよい。
【００８３】
次に、Ｓ１２２０５において、通信装置４１８は、画像処理装置１２０における基準値の設定の完了通知を撮像装置１１０に出力する。
また、Ｓ５２１３の後のＳ１２２０６において、ＣＰＵ４１０は、データベース登録処理を行う。本実施形態では、ＣＰＵ４１０は、Ｓ１２２０２で読み取った被写体ＩＤと、Ｓ１２２０３で取得した被写体１１００の名前を、Ｓ５１１４で撮像された画像に関連付ける。例えば、前述したように、バーコードタグ１１０２の撮影の後に患部を撮影し、撮影した画像の撮影順序を撮影日時等で管理することができる。このようにする場合、バーコードタグ１１０２の画像から次のバーコードタグ１１０２の画像の手前の画像までを、前者のバーコードタグ１１０２から認識される同一の被写体１１００の画像とすることができる。ＣＰＵ４１０は、当該画像に、当該被写体１１００の名前と被写体ＩＤとを関連付ける。
【００８４】
そして、ＣＰＵ４１０は、被写体１１００の画像（患部領域１１０１を含む画像）と、被写体１１００の患部領域１１０１のサイズに関する情報と、被写体ＩＤと、被写体１１００の名前と、撮影日時等とに基づくレコードを生成する。そして、ＣＰＵ４１０は、当該レコードの情報を、画像処理装置１２０に含まれる記憶装置４１２内のデータベースに登録する。
次に、Ｓ１２２０７において、ＣＰＵ４１０は、Ｓ５２１２で重畳処理が行われた画像１０００を表示装置４１４に表示する。表示画面の遷移方法の一例については、Ｓ５１１９と同様である。
【００８５】
以上のように本実施形態によれば、画像処理装置１２０は、バーコードタグ１１０２の撮像画像から、被写体１１００を認識し、被写体１１００ごとに、患部領域１１０１の評価結果を示す情報を記憶装置４１２内のデータベースに登録する。従って、本実施形態では、第１の実施形態で説明した効果に加えて以下の効果を有する。まず、患部領域１１０１の評価結果を被写体１１００ごとに識別して記憶することができる。また、以前に記憶された被写体１１００の撮影を行う際に、被写体１１００に対する過去（例えば前回）の評価結果を参照し、その評価値に基づいて基準値を設定することができる。これにより、例えば、前回の評価値よりも大きな評価値を持つ評価指標についての患部領域１１０１のみ強調して表示することができる。よって、ユーザは、前回撮影時よりも悪化した評価指標についての患部領域１１０１を容易に確認することができる。
【００８６】
また、画像処理装置１２０が、情報の保存および表示を行うことで、基本的には据え置き側で常時電源が供給された画像処理装置で、患部領域の抽出結果を示す情報と患部領域のサイズに関する情報を表示することができる。よって、バッテリー交換が必要なポータブルデバイスである撮像装置１１０で表示する場合に比べて、被写体のサイズに関する情報を含む解析結果を表示して確認する際にバッテリー切れになる可能性が低くなる。また、一般的に据え置き型のデバイスである画像処理装置の方がポータブルデバイスの画像処理装置よりも記憶容量が多いため、多数の画像を保存することができる。
【００８７】
［第３の実施形態］
次に、第３の実施形態を説明する。本実施形態では、ＣＰＵ４１０が抽出した複数の評価指標それぞれについての患部領域２０２に重複する領域が存在する場合であっても、それぞれの患部領域２０２を目視によりユーザが区別できるようにそれぞれの患部領域２０２を表示する。第１および第２の実施形態と同一の部分については、図１〜図１２に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００８８】
次に、図１３のワークフロー図を用いて、本実施形態の画像処理システム１００の動作の一例について説明する。
本実施形態の画像処理装置１２０のワークフローでは、図５に示す第１の実施形態のＳ５２１２に代えてＳ１３２０１が行われる。
【００８９】
Ｓ１３２０１において、ＣＰＵ４１０は、まず、重複重畳処理を行う。この重複重畳処理の内容の一例を、図１４を参照しながら説明する。画像１４００において、ＣＰＵ４１０により、患部の複数の評価指標それぞれについての領域の抽出を行う際に用いた画像データに対応する画像データに対して、以下の情報が重畳される。即ち、各患部領域２０２の抽出結果を示す情報と、各患部領域２０２の評価値および基準値に関する情報とが重畳される。このとき、ＣＰＵ４１０が強調表示することを決定した患部領域２０２の抽出結果を示す情報が強調して重畳される。本実施形態では、患部領域２０２のうち、ＣＰＵ４１０によって強調表示することが決定された患部領域２０２のみを重畳することで強調する。更に、ＣＰＵ４１０は、画像１４００の右下部に矢印のアイコン１００１を重畳する。また、ＣＰＵ４１０は、画像１４００の左上部に「表示切替」という文字列を含むアイコン１４０１を重畳する。これらのアイコン１００１、１４０１は、Ｓ５１１９における表示画面の遷移のために用いられる。
【００９０】
画像１４００では、「Depth（深さ）」、「Size（大きさ）」、「Granulation（肉芽組織）」、「Necrotic tissue（壊死組織）」の評価指標についての患部領域２０２が、評価値が基準値を超えている。このため、これら４つの患部領域２０２が重畳表示される。そして、これら４つの患部領域２０２には重複する領域が存在する。このため、ユーザは、全ての患部領域１０２の境界を目視により区別することができない。そこで、Ｓ１３２０１においては、ＣＰＵ４１０は、ユーザがそれぞれの患部領域２０２を目視により区別できるように、各患部領域２０２の抽出結果の重畳を行った画像を生成する。
【００９１】
図１４を参照しながら、ユーザが目視により区別できるように各患部領域２０２の抽出結果の重畳を行う方法の一例を説明する。
画像１４１０は、強調表示される患部領域２０２の数またはそれ以上の数の画面に分割されている。図１４に示す例では、画像１４１０は、強調表示される４つの患部領域２０２に対応して、４つの画面１４１１〜１４１４に分割される。画面１４１１は、「壊死組織」の評価指標についての画面である。画面１４１２は、「深さ」の評価指標についての画面である。画面１４１３は、「肉芽組織」の評価指標についての画面である。画面１４１４は、「大きさ」の評価指標についての画面である。
【００９２】
画面１４１１〜１４１４のそれぞれには、患部の複数の評価指標それぞれについての患部領域２０２の抽出を行う際に用いた画像データに対応する画像データに対して、各画面に対応する評価指標の患部領域２０２のみが重畳された画像が表示される。また、画面１４１１〜１４１４のそれぞれの左上部には、重畳している患部領域２０２の評価指標名を表すラベル１４１５が重畳される。また、画面１４１１〜１４１４のそれぞれの右上部には、重畳している患部領域２０２の評価指標についての評価値および基準値を表すラベル１４１６が重畳される。また、画像１４１０の右下部には、矢印のアイコン１００１が重畳される。このアイコン１００１は、Ｓ５１１９における表示画面の遷移のために用いられる。以上のようにして生成される画像１４００、１４１０はどちらもＳ５２１３において撮像装置１１０に出力され、Ｓ５１１９において表示される。
【００９３】
尚、ユーザが目視により区別できるように各患部領域１０２の重畳を行う方法は、図１４の画像１４１０のようにする方法に限らない。ＣＰＵ４１０は、例えば、図１５に示す画像１５００や、図１６に示す画像１６００のようにして患部領域２０２を重畳してもよい。
図１５に示す画像１５００では、重複している各患部領域２０２に対して、等しい透過量をαブレンドする画像１５０１を生成することで、相互に重複している患部領域２０２をユーザが区別できるようにしている。尚、透過量は、各患部領域２０２で等しくなくてもよい。例えば、評価指標ごとに予め透過量を決めたり、評価値と基準値との差が小さい評価指標の透過量を小さくしたりする等の手法を採用することができる。
【００９４】
図１６に示す画像１６００では、重複している各患部領域２０２の境界線のみを評価指標ごとに異なる線種で重畳する画像１６０１を生成することで、相互に重複している患部領域２０２をユーザが区別できるようにしている。尚、枠線の線種は破線に限らず、実線、点線、鎖線等でもよい。また、Ｓ５１１９において、システム制御回路３１９は、表示装置３２２に、患部領域２０２のうち、１つの評価指標に対応する患部領域２０２のみを重畳した画像を、一定の時間ごとに、各評価指標のそれぞれについて順番に表示させてもよい。このようにしても、重複している各患部領域２０２をユーザが目視により区別することができる。
【００９５】
Ｓ５１１９において、システム制御回路３１９は、Ｓ１３２０１で生成された、重複領域を考慮しない画像１４００と、重複領域を考慮した画像１４１０を、アイコン１００１、１４０１に対するユーザの操作に基づいて切り替える。これにより、表示画面は遷移する。尚、重複領域を考慮した画像として、画像１４１０の代わりに画像１５００や画像１６００等を用いてもよい。
【００９６】
図１４を参照しながら、表示画面の遷移の方法の一例を説明する。本実施形態において、表示画面を遷移させるための操作部は、表示装置３２２のタッチパネルディスプレイであるものとする。従って、ユーザは、表示装置３２２の画面をタップすることで表示画面を遷移させる。尚、表示画面を遷移させるための操作部は、タッチパネルディスプレイに限らず、撮像装置１１０に付いているボタン等でもよい。
Ｓ５１１９の処理が始まると、まず、複数の評価指標についての患部領域２０２が重畳された画像１４００が表示される。ユーザが、画像１４００が表示されている画面において、矢印のアイコン１００１をタップすると、画像１４００の表示を終了する。
【００９７】
また、「表示切替」という文字列を含むアイコン１４０１をユーザがタップすると、システム制御回路３１９は、Ｓ１３２０１で生成された、重複領域を考慮した画像（例えば、画像１４１０）を表示装置３２２に表示させる。重複領域を考慮した画像が表示されている表示画面において、ユーザが矢印のアイコン１００１をタップすると、システム制御回路３１９は、表示装置３２２に重複領域を考慮しない画像１４００を再び表示させる。尚、重複領域を考慮した画像として、画像１４１０の代わりに画像１５００や画像１６００を用いた場合の表示画面の遷移の様子は、それぞれ図１５、図１６に示され、図１４における画像１４１０を画像１５００または画像１６００に置き換えただけである。よって、画像１５００、１６００を用いた場合の表示画面の遷移の詳細な説明は省略する。
【００９８】
以上のように本実施形態によれば、相互に重複する患部領域１００２を区別して表示する。従って、本実施形態では、第１の実施形態で説明した効果に加え、以下の効果を有する。即ち、抽出された複数の評価指標それぞれについての患部領域２０２に重複する領域が存在する場合であっても、ユーザは、それぞれの領域を目視により区別することができる。よって、ユーザによる患部領域２０２の確認がより容易になる。尚、本実施形態を、第２の実施形態に適用してもよい。
【００９９】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
例えば、実施形態では、撮像装置１１０と画像処理装置１２０の２つの装置によって画像処理システム１００を構成していたが、３以上の装置を通信可能に接続して、それぞれの処理を分担するようにしてもよい。あるいは、単体の撮像装置やタブレット端末において、前述した実施形態と同様の処理を全て行うようにしても構わない。
【０１００】
（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０１】
１００：画像処理システム、１１０：撮像装置、１２０：画像処理装置
【図１】
2020095600.tif 000003
【図２】
2020095600.tif 000004
【図３】
2020095600.tif 000005
【図４】
2020095600.tif 000006
【図５】
2020095600.tif 000007
【図６】
2020095600.tif 000008
【図７】
2020095600.tif 000009
【図８】
2020095600.tif 000010
【図９】
2020095600.tif 000011
【図１０】
2020095600.tif 000012
【図１１】
2020095600.tif 000013
【図１２】
2020095600.tif 000014
【図１３】
2020095600.tif 000015
【図１４】
2020095600.tif 000016
【図１５】
2020095600.tif 000017
【図１６】
2020095600.tif 000018