(57)【要約】【課題】被写体の表層に生じた特定の領域を正確かつ高い精度に識別可能とすることを課題とする。【解決手段】画像処理装置（３００）は、被写体の表層に生じている特定の領域の少なくとも外縁を認識して外縁候補を生成する生成手段（３１７、３１１）と、生成手段（３１７，３１１）により生成された複数の外縁候補のなかから、ユーザからの指示に基づいていずれかの外縁候補を選択する選択手段（３１７，３１１）と、を有する。【選択図】図３
2020160853.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像した画像から、前記被写体の表層に生じている特定の領域の少なくとも外縁を認識して、外縁候補を生成する生成手段と、
前記生成手段により生成された複数の外縁候補のなかから、ユーザからの指示に基づいていずれかの外縁候補を選択する選択手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記選択された外縁候補の形状に関する情報と、前記選択された外縁候補に応じた特定の領域の画像とを、保存する保存手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記特定の領域に含まれる複数の状態の領域を認識し、前記複数の状態の領域ごとに外縁候補を生成することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記特定の領域の画像に、前記複数の状態の領域ごとの前記外縁候補を重畳した画像を表示する表示手段を有し、
前記選択手段は、前記特定の領域の画像に前記複数の状態の領域ごとの外縁候補が重畳された画像のなかから、ユーザからの指示に基づく外縁候補を選択することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記表示手段は、前記複数の外縁候補のうち一部の外縁候補を、前記特定の領域に重畳した画像を表示することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記表示手段は、前記複数の状態の領域ごとの外縁候補のうち、一部の状態の領域に対応した外縁候補を、前記特定の領域に重畳した画像を表示することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記生成手段は、前記特定の領域を前記複数の状態の領域ごとにクラス化し、
前記選択手段は、ユーザにより指示されたクラスに対応した外縁候補を選択することを特徴とする請求項３から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記生成手段は、前記選択手段による前記外縁候補の選択の結果を学習した学習データに基づいて、前記特定の領域の前記外縁の認識を行うことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記生成手段は、ユーザが指定した位置に基づいて前記被写体を撮像した画像について、前記特定の領域の認識と前記外縁候補の生成とを行い、
前記選択手段は、前記生成手段により生成された複数の外縁候補のなかから、前記ユーザが指定した位置に基づいていずれかの外縁候補を選択することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項１０】
前記生成手段は、前記ユーザにより指定された位置の画像の特徴と同一もしくは近似した特徴が連続した領域から、前記特定の領域を認識することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記生成手段は、前記ユーザが指定した位置に基づいて前記特定の領域と推定した複数の候補領域のなかで、前記ユーザにより指定された位置の画像の特徴と異なる特徴を有する候補領域を、前記特定の領域として認識する対象から除外することを特徴とする請求項９または１０に記載の画像処理装置。
【請求項１２】
前記生成手段は、前記除外した後に残った候補領域のなかで、前記特定の領域としての確からしさの信頼度が最も高い候補領域を、前記特定の領域として認識することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記生成手段は、前記ユーザが指定した位置に基づいて前記特定の領域と推定した複数の候補領域のなかで、前記ユーザにより指定された位置の画像の特徴と異なる特徴を有する候補領域について、前記特定の領域としての確からしさの信頼度を下げることを特徴とする請求項９に記載の画像処理装置。
【請求項１４】
前記生成手段は、ユーザが指定した領域に基づいて前記被写体を撮像した画像について、前記特定の領域の認識と前記外縁候補の生成とを行い、
前記選択手段は、前記生成手段により生成された複数の外縁候補のなかから、前記ユーザが指定した領域に基づいていずれかの外縁候補を選択することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記生成手段は、前記ユーザが閉曲線を形成して指定した領域に基づいて、前記特定の領域を認識することを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記生成手段は、前記ユーザが前記閉曲線を形成した領域と重なる部分の大きさに基づいて、前記特定の領域を認識することを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記生成手段は、前記ユーザが前記閉曲線を形成した領域に基づいて前記特定の領域と推定した複数の候補領域のなかで、前記ユーザが前記閉曲線を形成した領域と重なる部分が閾値より小さい候補領域を、前記特定の領域として認識する対象から除外することを特徴とする請求項１５または１６に記載の画像処理装置。
【請求項１８】
前記生成手段は、前記除外した後に残った複数の候補領域のなかで、前記ユーザが前記閉曲線を形成した領域と重なる部分の大きさが最も大きい候補領域を、前記特定の領域として認識することを特徴とする請求項１７に記載の画像処理装置。
【請求項１９】
前記生成手段は、前記ユーザが前記閉曲線を形成した領域に基づいて前記特定の領域と推定した複数の候補領域について、前記ユーザが前記閉曲線を形成した領域と重なる部分が小さくなるほど、前記特定の領域としての確からしさの信頼度を下げることを特徴とする請求項１５または１６に記載の画像処理装置。
【請求項２０】
前記特定の領域に前記外縁候補を重畳したプレビュー画像を表示する表示手段を有し、
前記生成手段は、前記特定の領域に前記外縁候補が重畳された前記プレビュー画像が表示されているときに取得された静止画像に対して、前記特定の領域の認識と前記外縁候補の生成とを行うことを特徴とすることを特徴とする請求項１から１９のいずれか１項に記載の画像処理装置。
【請求項２１】
前記選択された外縁候補の外形に関する情報を基に、前記特定の領域の評価に用いる情報を取得する取得手段を有することを特徴とする請求項１から２０のいずれか１項に記載の画像処理装置。
【請求項２２】
前記特定の領域は、前記被写体の表層に生じている損傷領域であり、
前記取得手段は、前記損傷領域の外形の大きさを評価する情報を取得することを特徴とする請求項２１に記載の画像処理装置。
【請求項２３】
前記損傷領域は、皮膚の表層に生じた損傷の患部領域であることを特徴とする請求項２２に記載の画像処理装置。
【請求項２４】
画像処理装置が実行する画像処理方法であって、
被写体を撮像した画像から、前記被写体の表層に生じている特定の領域の少なくとも外縁を認識して、外縁候補を生成する生成工程と、
前記生成工程により生成された複数の外縁候補のなかから、ユーザからの指示に基づいていずれかの外縁候補を選択する選択工程と、
を有することを特徴とする画像処理方法。
【請求項２５】
コンピュータを、請求項１から２３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像により得られる画像を処理する技術に関する。
【背景技術】
【０００２】
人や動物の皮膚の表層に生ずる損傷の一例として、褥瘡（いわゆる床ずれ）がある。褥瘡の重症度を評価する指標の一つに、褥瘡のサイズ（大きさ）があり、現状において、褥瘡のサイズは、褥瘡が発症している領域（患部領域とする。）に対してメジャー等をあてる手作業で測定した値を基に取得されている。褥瘡のサイズを取得する際、医療関係者は、褥瘡が発症している患部領域の外縁上で、直線距離が最も離れていると思われる２点間の距離を長径として測定し、その長径に対して直交する方向における外縁上の２点間の距離を短径として測定する。ただし褥瘡の形は複雑であることが多いため、褥瘡の患部領域を計測する際、医療関係者は、メジャーをどのように当てるかを調整する必要があり、さらにその作業を長径と短径の計測のために最低２回行う必要がある。そして、医療関係者は、このような手作業によって測定された長径と短径とを掛け合わせた値を、褥瘡のサイズとして取得する。
【０００３】
また褥瘡の治癒経過等を評価するために、医療関係者は、前述のような褥瘡のサイズ取得のための作業を定期的に行う。ただし、褥瘡の患部領域のどの場所の長径及び短径を計測したかによって、取得されるサイズは変わることになる。しがたって、褥瘡の治癒経過等を正しく評価するために、医療関係者は、褥瘡の患部領域に対するメジャー等の当て方を毎回適切に調整する必要がある。また現状では褥瘡の長径と短径を掛けた値をサイズとして取得しているが、褥瘡のサイズは、褥瘡の患部領域の面積である方が、より的確に褥瘡の重症度を評価できる可能性がある。なお、ここでは褥瘡が発症した患部領域を例に挙げているが、これらのことは、褥瘡だけでなく火傷や裂傷等の患部の領域、他の医療に掛かる患部の領域等の計測及び評価が行われる場合にも共通する話である。
【０００４】
前述したような手作業による計測及び評価は、医療関係者にとって作業負荷が大きく、また患者側においても計測中に同じ姿勢を保つことが求められるなどの大きな負荷がかかることになる。
これに対し、手作業による計測及び評価に代えて、撮像装置で撮影した画像を用いた画像処理によって患部領域の自動認識及びサイズ計測、或いは患部面積等の自動計算を行えば、医療関係者および患者の双方に対する負荷の軽減が可能になると考えらえる。ここで、皮膚の表層に生じた褥瘡等の患部領域のような、被写体の表層に形成されている特定の領域を、画像処理によって自動認識するのに適用可能な技術として、特許文献１や特許文献２に開示された技術がある。特許文献１には、画像の中心から外側に向かって渦巻き状にスキャンし、色彩の変化等から特徴点を割り出して、特定の領域の形状を自動認識する技術が開示されている。特許文献２には、人物の顔における特定の領域の画像として、例えば鼻を中心として、唇まで含む領域の画像、顎まで含む領域の画像、又は、首まで含む領域の画像といった、複数の領域の画像を候補として提示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１４６７７５号公報
【特許文献２】特開２００４−１８５５５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、被写体の表層に生じた損傷等の特定の領域を画像処理によって自動認識する場合であっても、以下のような問題が生ずる可能性がある。特定の領域として前述した褥瘡等の患部領域を例に挙げた場合、撮影時にどこまでを患部とするかは撮像装置の判断になる一方で、評価の際に必要となる患部の画像の範囲は、医療関係者による評価の目的に応じて異なることが多い。例えば、医療関係者は、患部の内で最も損傷が大きい範囲のみについて評価を行うこともあれば、患部の中心から外縁の正常な皮膚の部分までをも含む広い範囲について評価を行う場合もある。また例えば、患部が縮小しつつあるような場合、医療関係者は、患部の治癒経過を評価する際に、前回患部を撮影した時と同じ範囲を含めた範囲について評価を行うこともある。
【０００７】
しかしながら、特許文献１に記載の技術では、特徴点の認識によって患部領域とその周囲の領域との境界をおおまかに区別することは出来ても、患部領域とその周囲の領域を厳密に識別することが難しい。特許文献２に記載の技術も同様に、厳密に患部領域と周囲の領域を識別することが難しい。このように特許文献１又は２の技術では、患部の中心から周縁に向かってどこまでが患部領域なのかを正確に識別できない。このため、認識処理によって患部領域の画像を取得するような場合に、医療関係者の所望する患部の範囲の一部または全てが含まれていない画像が取得されてしまう可能性がある。また、画像処理及び自動認識を行う場合でも、例えば再度の撮影が必要になることは、医療関係者と患者の双方にとって大きな負担になるため、再撮影が必要となる事態は可能な限り避けることが望ましい。このように、被写体の表層に生じている損傷等の特定の領域を画像処理で自動認識する場合、その特定の領域を高い精度で識別可能にすることが望まれる。
【０００８】
そこで、本発明は、被写体の表層に生じた特定の領域を正確かつ高い精度で識別可能にすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、被写体を撮像した画像から、前記被写体の表層に生じている特定の領域の少なくとも外縁を認識して、外縁候補を生成する生成手段と、前記生成手段により生成された複数の外縁候補のなかから、ユーザからの指示に基づいていずれかの外縁候補を選択する選択手段と、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、被写体の表層に生じた特定の領域を正確かつ高い精度で識別可能となる。
【図面の簡単な説明】
【００１１】
【図１】患部撮影装置の概要を示す図である。
【図２】撮像装置の構成例を示す図である。
【図３】画像処理装置の構成例を示す図である。
【図４】第１の実施形態の患部撮影装置の動作フローチャートである。
【図５】撮影及び評価の対象となる患部領域のイメージ図である。
【図６】第２の実施形態の患部撮影装置の動作フローチャートである。
【図７】第３の実施形態の患部撮影装置の動作フローチャートである。
【図８】患部領域の面積の計算方法の説明図である。
【図９】患部の抽出結果とサイズ情報を画像に重畳する例の説明図である。
【図１０】撮像装置におけるレリーズ操作の一例の説明図である。
【図１１】撮像装置におけるレリーズ操作の他の例の説明図である。
【図１２】患部領域と長径と短径を画像に重畳する例の説明図である。
【図１３】第４の実施形態の患部撮影装置の動作フローチャートである。
【図１４】第５の実施形態の患部撮影装置の概要を示す図である。
【図１５】第５の実施形態の患部撮影装置の動作フローチャートである。
【図１６】端末機器に表示される選択画面の一例を示す図である。
【図１７】端末機器に表示される一覧画面の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための例示的な実施形態を、図面を参照して詳細に説明する。
本発明の実施形態では、被写体の表層に生じている損傷等の特定の領域を画像処理によって認識する例として、人や動物の皮膚の表層に生じた褥瘡（いわゆる床ずれ）の領域を推定する場合について説明する。本実施形態に係る画像処理装置の構成及び処理の詳細な説明を行う前に、皮膚の表層に生ずる褥瘡と、その褥瘡の病状に対する評価の例について説明する。
人や動物が横になっている状態では、体重により、体の下にある床、マットレス、あるいは敷布団等と体の接触部位が圧迫される。同じ姿勢が継続すると、床と体の接触部位が血行不全となり周辺組織が壊死を起こす。この組織が壊死した状態は、褥瘡または床ずれと呼ばれている。この褥瘡を発症した患者に対し、医療関係者は、体圧分散ケアやスキンケアなどの褥瘡ケアを施し、定期的に褥瘡を評価及び管理していく必要がある。
【００１３】
褥瘡をはじめとする傷の治癒過程を評価するためのツールとして、下記の参考文献に記載されているような、日本褥瘡学会学術教育委員会が開発した褥瘡状態判定スケールであるＤＥＳＩＧＮ−Ｒ（登録商標）が提案されている。
参考文献：照林社，褥瘡ガイドブック，第２版，褥瘡予防・管理ガイドライン（第４版）準拠，編集  本褥瘡学会，２３頁．
【００１４】
このＤＥＳＩＧＮ−Ｒは、褥瘡をはじめとする傷の治癒過程を評価するためのツールである。ＤＥＳＩＧＮ−Ｒでは、深さ、滲出液、大きさ、炎症・感染、肉芽組織、壊死組織の各観察項目についての評価が行われる。また、ＤＥＳＩＧＮ−Ｒは、日常の簡便な評価のための重症度分類用と、詳細に治癒過程の流れを評価するための経過評価用との２つ定められている。重症度分類用のＤＥＳＩＧＮ−Ｒは、６つの評価項目が軽度と重度の２つに区分されている。初療時には重症度分類用での評価が行われ、これによって褥瘡の大まかな状態の把握が可能となり、どの項目が問題であるかがわかるため、治療方針の決定が容易となる。経過評価用としては、経過評価に加え患者間の重症度比較が可能なＤＥＳＩＧＮ−Ｒが定められている。また、各評価項目には異なる重み付けがなされ、深さ以外の６項目の合計点（０〜６６点）がその褥瘡の重症度を表す。これにより、治療開始後に治療経過の詳細かつ客観的な評価が可能となり、個人の経過評価だけでなく、患者間の重症度比較も可能となる。
【００１５】
ここで、例えば褥瘡の大きさ（以下、サイズとする。）の評価は、皮膚損傷範囲の長径と短径（長径と直交する径）を測定し、それらを掛け合わせた数値を７段階に分類するものとなされている。また、ＤＥＳＩＧＮ−Ｒでは、褥瘡の治癒経過を評価し、適切なケア選択を行うために、それら皮膚損傷範囲の計測及び採点を１週間から２週間に１回行うことが推奨されている。このように、褥瘡の病状は、定期的に評価し管理される必要がある。また、褥瘡の病状の変化を確かめるために、褥瘡の評価は、正確であることが求められる。現状では褥瘡の患部領域が手作業で計測されているが、前述したように、患部領域を手作業により計測して評価することは、医療関係者（以下、ユーザとする。）の作業負荷が大きく、また患者側にとっても大きな負荷となる。
【００１６】
そこで、本発明の画像処理装置は、被写体を撮像した画像から、その被写体の表層に生じている特定の領域及び外縁の候補を推定し、患部領域の評価に用いる情報を取得することで、患部領域を正確かつ高い精度で識別可能とし、ユーザ等の負荷を軽減する。
＜第１の実施形態＞
図１は、本発明に係る画像処理装置の一適用例である患部撮影装置１の概要を示した図である。第１の実施形態の患部撮影装置１は、手持ち可能なポータブルデバイスである撮像装置２００と、パーソナルコンピュータ等の画像処理装置３００とから構成されている。なお、図１では、撮像装置２００と画像処理装置３００とが別々の構成となされている例を挙げているが、画像処理装置３００の機能が撮像装置２００に含まれていてもよいし、逆に撮像装置２００の機能が画像処理装置３００に含まれていてもよい。また本実施形態では、被写体１０１の患部領域１０２の病態の一例として、臀部に生じた褥瘡を挙げているが、それに限定されるものではなく、患部領域１０２は火傷や裂傷等の患部領域、或いは他の医療に掛かる患部領域であってもよい。
【００１７】
本実施形態に係る患部撮影装置１では、撮像装置２００が被写体１０１の患部領域１０２を撮影するとともに被写体距離を取得し、それらのデータを画像処理装置３００に送信する。画像処理装置３００は、受信した画像データから患部領域を認識し、その患部領域１０２の外縁である可能性のある閉曲線を認識して、その閉曲線を患部領域の外形として生成する。
【００１８】
図２は、患部撮影装置１に含まれる撮像装置２００のハードウェア構成の一例を示す図である。撮像装置２００は、一般的な一眼デジタルカメラ、コンパクトデジタルカメラ、あるいは、オートフォーカス機能付きのカメラを備えたスマートフォンやタブレット端末などの何れでもよい。
【００１９】
撮像ユニット２１１は、レンズ群２１２、シャッタ２１３、イメージセンサ２１４を有する。レンズ群２１２は、フォーカスレンズとズームレンズを含み、それらレンズの位置を変更することで、フォーカス位置とズーム倍率を変更可能となされている。レンズ群２１２は、露出量を調節するための絞りも備えている。
【００２０】
イメージセンサ２１４は、レンズ群２１２により形成された光学像等を画像データに変換するＣＣＤやＣＭＯＳセンサ等の電荷蓄積型の固体イメージセンサで構成されている。被写体からの反射光は、レンズ群２１２及びシャッタ２１３を通過することでイメージセンサ２１４の撮像面上に被写体像として結像される。そしてイメージセンサ２１４は、被写体像に応じたアナログ電気信号を生成し、この電気信号をデジタル変換した画像データを出力する。
【００２１】
シャッタ２１３は、シャッタ羽根部材の開閉動作を行うことによって、イメージセンサ２１４への露出や遮光を行って、イメージセンサ２１４の露光時間を制御する。なお、シャッタ２１３の代わりに、イメージセンサ２１４の駆動によって露光時間を制御する電子シャッタが用いられてもよい。ＣＭＯＳセンサで電子シャッタ動作が行われる場合には、画素ごと、あるいは複数画素からなる領域ごと（例えばラインごと）に、画素の蓄積電荷量をゼロにするリセット走査が行われる。その後、リセット走査が行われた画素あるいは領域ごとに、それぞれ所定の時間を経過してから電荷の蓄積量に応じた信号を読み出すような走査が行われる。
【００２２】
測距システム２１６は、被写体までの距離情報を算出する。測距システム２１６として、一眼レフカメラに搭載された一般的な位相差方式の測距センサが用いられてもよいし、ＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）センサを用いたシステムが用いられてもよい。ＴＯＦセンサは、照射波の送信タイミングと、当該照射波が物体で反射された波である反射波の受信タイミングとの時間差（または位相差）に基づいて、当該物体までの距離を測定するセンサである。さらに、測距システム２１６は、受光素子にＰＳＤ（Ｐｏｓｉｔｉｏｎ  Ｓｅｎｓｉｔｉｖｅ  Ｄｅｖｉｃｅ）を用いたＰＳＤ方式などを用いたものでもよい。
【００２３】
また、イメージセンサ２１４が例えば撮像面位相差方式のセンサである場合、測距システム２１６は、イメージセンサ２１４から出力される画素ごとの位相差信号を基に距離情報を求めることができる。撮像面位相差方式のイメージセンサ２１４は、一つのマイクロレンズに対して複数の光電変換素子を配置した複数の画素からなる撮像素子によって瞳分割像を取得し、それら瞳分割像の位相差を求めて焦点検出を可能とするセンサである。この場合の測距システム２１６は、イメージセンサ２１４から出力された、それぞれの瞳領域に対応する光電変換素子から得られた画像間の位相差信号により、画素あるいは領域の位置ごとに距離情報を求める。
【００２４】
また、測距システム２１６は、画像内の予め定められた所定の１つ、または複数の測距エリアにおける距離情報を求める構成であってもよいし、画像内の多数の画素あるいは領域の距離情報の分布を示す距離マップを求める構成であってもよい。その他にも、測距システム２１６は、画像データの高周波成分を抽出して積分し、その積分値が最大となるフォーカスレンズの位置を決定するＴＶ−ＡＦまたはコントラストＡＦを行い、このフォーカスレンズの位置から距離情報を得る構成であってもよい。
【００２５】
画像処理回路２１７は、撮像ユニット２１１のイメージセンサ２１４から出力された画像データ、あるいは内部メモリ２２１に記録されている画像データに対して、所定の画像処理を施す。画像処理回路２１７で行う画像処理には、ホワイトバランス調整、ガンマ補正、色補間またはデモザイキング、フィルタリングなど、様々な画像処理が含まれる。また、画像処理回路２１７は、それら画像処理を行った後の画像データに対し、ＪＰＥＧなどの規格に基づく圧縮処理を行うこともできる。
【００２６】
ＡＦ制御回路２１８は、測距システム２１６で得られた距離情報に基づいて、レンズ群２１２に含まれるフォーカスレンズの位置を決定し、その位置に基づいて、フォーカスレンズを駆動する不図示のモータを制御して、フォーカス位置の制御を行う。
ズーム制御回路２１５は、レンズ群２１２に含まれるズームレンズを駆動するための不図示のモータを制御して、レンズ群２１２の光学倍率を制御する。
【００２７】
通信装置２１９は、撮像装置２００が無線のネットワーク（不図示）を介して、画像処理装置３００などの外部機器と通信を行うための通信インターフェースである。ネットワークの具体的な一例としては、Ｗｉ−Ｆｉ（登録商標）規格に基づくネットワークが挙げられる。なお、Ｗｉ−Ｆｉを用いた通信は、ルーターを介して実現されてもよい。また、通信装置２１９は、ＵＳＢやＬＡＮなど有線の通信インターフェースにより画像処理装置３００などの外部機器と通信を行うものでもよい。
【００２８】
システム制御回路２２０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を有し、内部メモリ２２１に記憶されたプログラムに従って、撮像装置２００の各部を制御する。図２の構成の場合、システム制御回路２２０は、撮像ユニット２１１、ズーム制御回路２１５、測距システム２１６、画像処理回路２１７、及びＡＦ制御回路２１８などを制御する。なお、システム制御回路２２０は、ＣＰＵの代わりに、或いはＣＰＵに加えて、ＦＰＧＡやＡＳＩＣなどを有していてもよい。
【００２９】
内部メモリ２２１は、フラッシュメモリやＳＤＲＡＭ等の書き換え可能なメモリにより構成されている。内部メモリ２２１は、撮像装置２００の動作に必要な画像撮像時のピント位置の情報などの各種設定情報、撮像ユニット２１１が撮像した画像データ、及び、画像処理回路２１７による画像処理が行われた画像データなどを一時的に記憶する。また、内部メモリ２２１は、通信装置２１９が画像処理装置３００と通信して受信した、画像データや後述する褥瘡のサイズに関する情報などの解析データを一時的に記録する。
【００３０】
外部メモリＩ／Ｆ２２２は、撮像装置２００に装填可能なＳＤカードやＣＦカード（ＣＦ：コンパクトフラッシュは登録商標）等の不揮発性の記憶媒体とのインターフェースである。外部メモリＩ／Ｆ２２２は、その不揮発性の記憶媒体に対し、画像処理回路２１７で処理された画像データ、通信装置２１９が画像処理装置３００と通信して受信した画像データ、あるいは解析データなどを記録する。また、外部メモリＩ／Ｆ２２２は、その不揮発性の記憶媒体に記憶されている画像データなどを読み出し、撮像装置２００の外部に出力することも可能である。
【００３１】
表示装置２２３は、ＴＦＴ（Ｔｈｉｎ  Ｆｉｌｍ  Ｔｒａｎｓｉｓｔｏｒ）液晶又は有機ＥＬディスプレイなどで構成されたディスプレイ装置である。表示装置２２３には、ＥＶＦ（電子ビューファインダ）が含まれていてもよい。表示装置２２３は、内部メモリ２２１に一時的に保存されている画像データに基づく画像や前述の不揮発性の記憶媒体に保存されている画像データに基づく画像を表示し、あるいは撮像装置２００の設定画面などを表示する。
【００３２】
操作部２２４は、例えば、撮像装置２００に設けられたボタン、スイッチ、キー、モードダイアル、及び表示装置２２３と兼用されるタッチパネルなどで構成されている。ユーザによるモード設定や撮影指示などの指令は、操作部２２４を経由して、システム制御回路２２０に送られる。
【００３３】
共通バス２２５には、撮像ユニット２１１、ズーム制御回路２１５、測距システム２１６、画像処理回路２１７、ＡＦ制御回路２１８、及び通信装置２１９が接続されている。また共通バス２２５には、システム制御回路２２０、内部メモリ２２１、外部メモリＩ／Ｆ２２２、表示装置２２３、及び操作部２２４が接続されている。共通バス２２５は、各ブロック間で信号の送受信を行うための信号線である。
【００３４】
図３は、患部撮影装置１に含まれる画像処理装置３００のハードウェア構成の一例を示す図である。画像処理装置３００は、中央演算処理装置であるＣＰＵ３１０、記憶装置３１２、通信装置３１３、出力装置３１４、及び、補助演算装置３１７を備えている。ＣＰＵ３１０は演算装置３１１を有する。記憶装置３１２は主記憶装置３１５（ＲＯＭやＲＡＭ等）と補助記憶装置３１６（磁気ディスク装置やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等）から構成されている。
【００３５】
通信装置３１３は、無線通信モジュールとして構成されている。
出力装置３１４は、画像処理装置３００に接続されたディスプレイ、プリンタ、あるいは外部ネットワークに対し、演算装置３１１にて加工されたデータや、記憶装置３１２に記憶されたデータを出力する。
【００３６】
補助演算装置３１７は、ＣＰＵ３１０による制御の下で用いられる補助演算用ＩＣであり、一例としてＧＰＵ（Ｇｒａｐｈｉｃ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）が挙げられる。ＧＰＵは、元々は画像処理用のプロセッサであるが、複数の積和演算器を有し、行列計算を得意としているため、信号学習用の処理を行うプロセッサとしても用いられることが多い。また、深層学習を行う処理においても、ＧＰＵが用いられることが一般的である。補助演算装置３１７としては、例えばＮＶＩＤＩＡ社のＪｅｔｓｏｎ  ＴＸ２  ｍｏｄｕｌｅ（Ｊｅｔｓｏｎは登録商標）が用いられる。なお、補助演算装置３１７には、ＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）やＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）などが用いられてもよい。そして補助演算装置３１７は、画像データから、後述するように、被写体１０１の患部領域１０２の認識・識別および抽出処理を行う。
【００３７】
ＣＰＵ３１０が備える演算装置３１１は、記憶装置３１２に記憶されたプログラムを実行することで、補助演算装置３１７によって後述するように抽出された患部領域１０２の、実際のサイズや面積の演算処理を含む各種機能を実現する。さらに、演算装置３１１は各機能を実行する順番をも制御する。
【００３８】
なお、画像処理装置３００が備えるＣＰＵ３１０及び記憶装置３１２は１つであってもよいし、複数であってもよい。すなわち、少なくとも１以上の処理装置（ＣＰＵ）と少なくとも１つの記憶装置とが接続されており、少なくとも１以上の処理装置が少なくとも１以上の記憶装置に記憶されたプログラムを実行した場合に、画像処理装置３００は後述する各機能を実行する。なお、ＣＰＵ３１０の代わりに、あるいはＣＰＵ３１０に加えて、ＦＰＧＡやＡＳＩＣなどが用いられてもよい。
【００３９】
以下、本実施形態において、医療関係者等のユーザが撮像装置２００により褥瘡等の患部領域を撮影し、その撮影された画像から患部領域の評価に用いる情報を生成して保存等するまでの一連の処理を、図１〜図５を用いて説明する。
図４は、第１の実施形態に係る患部撮影装置１の動作の流れを示すフローチャートである。
図４において、左側のフローのステップＳ４０１〜Ｓ４２０の処理は撮像装置２００により行われ、右側のフローのステップＳ４３１、ステップＳ４４１〜Ｓ４４５、ステップＳ４５１〜Ｓ４５５の処理は画像処理装置３００による行われる。
【００４０】
初めに、撮像装置２００と画像処理装置３００が、無線ＬＡＮ規格であるＷｉ−Ｆｉ規格のネットワーク（不図示）にそれぞれ接続する。画像処理装置３００は、ステップＳ４３１において、無線接続する撮像装置２００の探索処理を行い、撮像装置２００は、ステップＳ４０１において、これに対する応答処理を行う。ネットワークを介して機器を探索する技術としては、ＵＰｎＰ（Ｕｎｉｖｅｒｓａｌ  Ｐｌｕｇ  ａｎｄ  Ｐｌａｙ）が用いられるとする。またＵＰｎＰにおいて個々の装置の識別はＵＵＩＤ（Ｕｎｉｖｅｒｓａｌｌｙ  Ｕｎｉｑｕｅ  ＩＤｅｎｔｉｆｉｅｒ）によって行われる。
【００４１】
撮像装置２００は、画像処理装置３００との接続がなされると、ステップＳ４０２において、ライブビュー処理を開始する。ライブビュー処理において、撮像ユニット２１１は所定のフレームレートで撮像したアナログ画像信号をデジタル変換して画像データを生成し、画像処理回路２１７はその画像データに対しライブビュー表示用の画像データを生成するために必要な現像処理を施す。これらの処理がフレーム毎に繰り返し行われることで、所定のフレームレートのライブビュー画像が表示装置２２３に表示される。
【００４２】
ステップＳ４０３において、測距システム２１６は、前述したいずれかの測距手法によって撮像装置２００から被写体１０１までの距離情報を求める。また、ＡＦ制御回路２１８は、距離情報を基に、被写体１０１にピントが合うようにレンズ群２１２を駆動制御するＡＦ処理を開始する。例えば、前述したＴＶ−ＡＦまたはコントラストＡＦでピント位置の調整が行われた場合、測距システム２１６は、ピントを合わせた状態のフォーカスレンズの位置から、ピントを合わせた対象の被写体１０１までの距離情報を求める。ピントを合わせる対象は、画像の中央に位置する被写体でもよいし、撮像装置２００に対して最も至近側の位置に存在する被写体でもよい。また例えば被写体の距離マップが得られている場合、ＡＦ制御回路２１８は、距離マップから注目すべき領域を推定し、その位置に対してピントを合わせるようにしてもよい。あるいは、ライブビュー画像において褥瘡の患部領域１０２の位置が、画像処理装置３００によって既に特定されているならば、ＡＦ制御回路２１８は、その位置に対してピントを合わせるようにしてもよい。撮像装置２００は、後述するステップＳ４１０でレリーズボタンが押されたことが検知されるまで、ライブビュー画像の表示とともにＡＦ処理を繰り返し行う。
【００４３】
次にステップＳ４０４において、画像処理回路２１７は、ライブビュー画像表示のために撮像された画像データのいずれかの画像データに対して、現像処理を行い、さらに圧縮処理を行って例えばＪＰＥＧ規格の画像データを生成する。また、画像処理回路２１７は、圧縮処理された画像データに対してリサイズ処理を行って、画像データのサイズを小さくする。なお、リサイズ処理後の画像データは、後述するステップＳ４０６において無線通信により画像処理装置３００に送信される。このとき、送信する画像データのサイズが大きいほど無線通信に時間がかかるため、ステップＳ４０４のリサイズ処理で得られる画像データのサイズは、許容される通信時間を考慮して決定される。
【００４４】
次にステップＳ４０５において、システム制御回路２２０は、ステップＳ４０４で生成されたリサイズ処理後の画像データと、測距システム２１６がステップＳ４０３で求めた距離情報とを取得する。さらに、システム制御回路２２０は、ズーム倍率の情報と、リサイズ処理後の画像データのサイズ（ピクセル数）の情報とを、必要に応じて取得する。
【００４５】
そして、ステップＳ４０６において、システム制御回路２２０は、ステップＳ４０５で取得した少なくとも画像データと距離情報を含む１以上の情報を、通信装置２１９から無線通信により画像処理装置３００に送信させる。
なお、ステップＳ４０４〜Ｓ４０６の処理は、フレームごとに行われてもよいし、数フレームに１回の割合で行われてもよい。
【００４６】
ここで、画像処理装置３００による処理の説明に移る。
ステップＳ４４１において、画像処理装置３００の通信装置３１３は、撮像装置２００のステップＳ４０６で通信装置２１９から送信された画像データ及び距離情報を含む１以上の情報を受信する。
【００４７】
次にステップＳ４４２において、画像処理装置３００のＣＰＵ３１０及び補助演算装置３１７は、ステップＳ４４１で受信した画像データから、被写体１０１の患部領域１０２を認識する。本実施形態では、例えば深層学習による意味的領域分割を行う手法を用いて患部領域１０２の認識処理が行われる。このため、本実施形態では、不図示の学習用の高性能コンピュータにおいて、予め複数の実際の褥瘡の患部領域の画像を教師データとし、ニューラルネットワークのモデルを学習した学習済モデルが生成されている。この学習済みモデルのデータは、主記憶装置３１５又は補助記憶装置３１６に記憶されている。ニューラルネットワークのモデルとしては、一例として、深層学習を用いたセグメンテーション・モデルである完全畳み込みネットワーク（ＦＣＮ（Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋ））が用いられる。
【００４８】
そして本実施形態では、積和演算の並列実行を得意とする補助演算装置３１７が、深層学習の推論処理を行う。すなわち補助演算装置３１７は、主記憶装置３１５又は補助記憶装置３１６に記憶されている学習済みモデルを、演算装置３１１を介して受け取り、その学習済モデルに基づいて、画像データから褥瘡の患部領域１０２を推定する。なお、推論処理はＦＰＧＡやＡＳＩＣなどにより実行されてもよい。また、意味的領域分割は、他の深層学習のモデルを用いて実現されてもよい。また、領域分割のセグメンテーション手法としては、深層学習に限らず、例えば、グラフカットや領域成長、エッジ検出、統治分割法等が用いられてもよい。その他にも、補助演算装置３１７が、内部の処理として、褥瘡の患部領域の画像を教師データとしたニューラルネットワークのモデルの学習を行ってもよい。
【００４９】
次にステップＳ４４３において、ＣＰＵ３１０の演算装置３１１は、補助演算装置３１７がステップＳ４４２で認識した患部領域１０２の外縁を基に、患部領域１０２の外縁候補である図５に示すような境界線５０１〜５０５を認識する。
図５は本実施形態で撮影及び評価対象とする患部のイメージ図である。褥瘡の患部領域１０２は、特に深刻になると、中央部は浸出液が出ている状態、その外側に皮膚が被っているが変色している上に別の浸出液が出ている状態、さらに外側に皮膚が変色している状態、といった具合になっていることが多い。そして、これら褥瘡のそれぞれの状態における外縁は、閉曲線を構成しているように見える。図５の例では、褥瘡の状態ごとのそれぞれの外縁による各閉曲線を、褥瘡の中心部側から周縁部に向かって、順に、境界線５０１、境界線５０２、境界線５０３、境界線５０４、境界線５０５として表している。すなわち、境界線５０１、境界線５０２、境界線５０３、境界線５０４、境界線５０５は、褥瘡の状態ごとの外形（外縁の形状）を表した線に相当している。
【００５０】
本実施形態において、補助演算装置３１７は、ステップＳ４４２において前述した学習済みモデルに基づいて褥瘡の患部領域１０２を認識する際に、これら褥瘡の状態ごとの領域をも認識しており、それら褥瘡の状態ごとの外縁をも認識している。そして、演算装置３１１は、ステップＳ４４３において、補助演算装置３１７にて認識された褥瘡の状態ごとのそれぞれの外縁により形成される閉曲線を、境界線５０１〜５０５として認識する。またこの時、補助演算装置３１７は、これまでの推論処理の結果に基づいて、それら境界線５０１〜５０５のうち、褥瘡の患部領域１０２の外縁としてユーザが選択する可能性が最も高い境界線が、いずれの境界線であるかを推定する。
【００５１】
次にステップＳ４４４において、演算装置３１１は、患部領域１０２に対して、患部領域１０２の外縁候補である境界線５０１〜５０５の各々について、その境界線の内側を患部領域とし且つその境界線を含む領域を仮にクラス化する。そして、演算装置３１１は、それら境界線ごとの仮のクラスに関する情報を、主記憶装置３１５又は補助記憶装置３１６に保存する。またその際、演算装置３１１は、ステップＳ４４３でユーザが選ぶ可能性が最も高いと推定された境界線に対応したクラスがいずれのクラスであるかを示す情報も保存する。なお、後述するステップＳ４５４においてユーザが領域を指定する際に、改めてクラス化が行われるため、ステップＳ４４４におけるクラス化は簡易的な処理でもよい。
【００５２】
ステップＳ４４５において、通信装置３１３は、患部領域１０２の認識結果の情報と、境界線５０１〜５０５に各々対応したクラスの情報と、選択される可能性が最も高い境界線に対応したクラスの情報とを、撮像装置２００に送信する。また通信装置３１３は、ステップＳ４４４で生成した、境界線５０１〜５０５をそれぞれ外形とする患部領域１０２をクラス化した画像データについても撮像装置２００に送信する。
【００５３】
ここで撮像装置２００による処理の説明に戻る。
ステップＳ４０７において、撮像装置２００の通信装置２１９は、画像処理装置３００で患部領域のクラス化された画像データが新たに生成されていれば、それを受信する。
次にステップＳ４０８において、システム制御回路２２０は、前述した境界線５０１〜５０５ごと複数のクラスの画像データ、及び、ユーザが選択する可能性が最も高い境界線に対応したクラスの画像データを、ステップＳ４０７で受信できたか判定する。そして、システム制御回路２２０は、受信できたと判定した場合にはステップＳ４０９に処理を進め、受信できていないと判定した場合にはステップＳ４１０に処理を進める。
【００５４】
ステップＳ４０９に進むと、表示装置２２３は、システム制御回路２２０による制御の下で、ステップＳ４０７で受信した患部領域の複数のクラスに関する情報を含む画像データを所定時間表示する。この時、図５に示した境界線５０１〜５０５に対応した境界線画像は、患部領域１０２の画像に重畳するように表示される。またその際、ユーザが選ぶ可能性が最も高い境界線に対応したクラスについては、境界線を強調表示したり、そのクラスの領域を網掛け表示したりする等、目立つような表示がなされてもよい。なお、境界線が多数である場合、撮像装置２００のシステム制御回路２２０は、ユーザが選択する可能性が低い境界線の表示を省略してもよい。
【００５５】
次にＳ４１０において、システム制御回路２２０は、患部領域１０２に境界線画像を重畳した画像が所定時間表示されている際に、操作部２２４に含まれているレリーズボタンが押されたかどうかを検知する。システム制御回路２２０は、所定時間表示がなされている際に、レリーズボタンが押されなかった場合には、撮像装置２００の処理をステップＳ４０４に戻し、一方、レリーズボタンが押されていれば、撮像装置２００の処理をステップＳ４１１に進める。
【００５６】
ステップＳ４１１に進むと、ステップＳ４０３と同様の方法によって、測距システム２１６が被写体の距離情報を求め、ＡＦ制御回路２１８が被写体にピントが合うようにレンズ群２１２の駆動制御を行うＡＦ処理を行う。
その後、ステップＳ４１２において、撮像装置２００は静止画の撮影を行う。
【００５７】
次にステップＳ４１３において、画像処理回路２１７は、ステップＳ４１２の静止画撮影で取得された画像データに対して現像及び圧縮処理を行い、例えばＪＰＥＧ規格の画像データを生成する。そして、画像処理回路２１７は、圧縮処理された画像データに対してリサイズ処理を行い、画像データのサイズを小さくする。ステップＳ４１３によるリサイズ処理後の画像データのサイズは、ステップＳ４０４でリサイズ処理された画像データと同じ大きさか、あるいは、それよりも大きいサイズとする。これは、画像から患部領域１０２のサイズや面積を求める際の精度を優先するためである。ここでは、例えば１４４０ピクセル×１０８０ピクセルで４ビットＲＧＢカラー画像とし、画像データのサイズがおよそ４．４５メガバイトとなるようにリサイズがなされるとする。なお、リサイズ処理後の画像の大きさはこれに限ったものではない。
【００５８】
次にステップＳ４１４において、システム制御回路２２０は、ステップＳ４１３でのリサイズ処理後の画像データとステップＳ４１１で求めた距離情報とを取得する。また、システム制御回路２２０は、ズーム倍率の情報や、リサイズ処理後の画像データのサイズ（ピクセル数）の情報も、必要に応じて取得する。
【００５９】
次にＳ４１５において、通信装置２１９は、システム制御回路２２０がステップＳ４１４で取得した少なくとも画像データと距離情報とを含む１以上の情報を、無線通信により画像処理装置３００に送信する。
ここで、再び画像処理装置３００による処理の説明に移る。
ステップＳ４５１において、画像処理装置３００の通信装置３１３は、撮像装置２００の通信装置２１９から送信されてきた画像データと距離情報とを含む１以上の情報を受信する。
【００６０】
次にステップＳ４５２において、画像処理装置３００のＣＰＵ３１０及び補助演算装置３１７は、ステップＳ４５１で受信された画像データから、被写体１０１の患部領域１０２を認識する。ここでの処理の詳細はステップＳ４４２と同様であるため、説明を省略する。
【００６１】
次にステップＳ４５３において、ＣＰＵ３１０の演算装置３１１は、補助演算装置３１７がステップＳ４５２で認識した患部領域１０２の外縁に基づいて、患部領域１０２の外縁候補である図５に示したような境界線５０１〜５０５を認識する。ここでの処理の詳細はステップＳ４４３と同じであるため、説明を省略する。
【００６２】
次にステップＳ４５４において、演算装置３１１は、ステップＳ４５３で求めた患部領域１０２の外縁候補である境界線５０１〜５０５の各々について、その境界線の内側を患部領域とし且つその境界線を含む領域をクラス化する。そして、演算装置３１１は、それら境界線ごとのクラスに関する情報を、主記憶装置３１５又は補助記憶装置３１６に保存する。またその際、演算装置３１１は、ステップＳ４４４と同様に、ユーザが選ぶ可能性が最も高いと推定される境界線に対応した領域のクラスがいずれのクラスであるかを示す情報も保存する。
【００６３】
ステップＳ４５５において、通信装置３１３は、患部領域１０２の認識結果の情報と、境界線５０１〜５０５に各々対応したクラスの情報と、選択される可能性が最も高い境界線に対応したクラスの情報とを、撮像装置２００に送信する。また通信装置３１３は、ステップＳ４５４で生成した、境界線５０１〜５０５をそれぞれ外形とする患部領域１０２をクラス化した画像データについても撮像装置２００に送信する。
【００６４】
ここで、撮像装置２００による処理の説明に戻る。
ステップＳ４１６において、撮像装置２００の通信装置２１９は、画像処理装置３００で患部領域のクラス化された画像データを受信する。
次に、ステップＳ４１７において、表示装置２２３は、システム制御回路２２０による制御の下で、ステップＳ４１６で受信した患部領域の複数のクラスに関する情報を含む画像データを所定時間表示する。この時、ステップＳ４０９と同様に、境界線５０１〜５０５に対応した境界線画像が患部領域１０２の画像に重畳するように表示される。またその際、ユーザが選ぶ可能性が最も高い境界線に対応したクラスでは、境界線を強調したり、クラスの領域を網掛けにしたりする等して目立つように表示されてもよい。ステップＳ４１７においても、境界線が多数である場合、システム制御回路２２０は、前述同様にユーザが選択する可能性が低い境界線の表示を省略してもよい。
【００６５】
次にステップＳ４１８において、システム制御回路２２０は、患部領域１０２の患部の画像として保存するクラスを指定する指示が、操作部２２４を介してユーザから入力されると、その指示情報を受け取る。そして、システム制御回路２２０は、ユーザにより指定されたクラスを、患部領域１０２の患部の画像として保存するクラスとする。このとき、システム制御回路２２０は、ユーザによって、境界線５０１〜５０５のうちでいずれかの境界線に対応したクラスが指定された場合に、そのクラスを、今回の撮影及び評価の対象とされる褥瘡のクラスとする。ここでクラスの指定方法は、表示装置２２３に表示された画像に対するユーザからの入力を、表示装置２２３のタッチパネルを介して受け付ける方法でもよいし、操作部２２４の他のポインティングデバイス等を介したユーザからの指定を受け付ける方法でもよい。クラスの指定方法は、別の方法であってもよく、例えば、境界線が指定される方法でもよいし、ユーザにより指示された位置に最も近い外側の境界線が指定される方法でもよい。そして、システム制御回路２２０は、画像処理装置３００で認識された患部領域１０２について、ユーザがクラスの指定により患部領域１０２の外形であると指定した境界線５０１〜５０５のいずれかを表す境界線画像のデータを生成する。
【００６６】
次にステップＳ４１９において、システム制御回路２２０は、ステップＳ４１２で取得された画像データと、ユーザの指定で患部の画像として保存するクラス、つまり境界線５０１〜５０５のうちユーザが最適な外形として指定した境界線の情報とを保存する。これらの情報は、内部メモリ２２１又は外部メモリＩ／Ｆ２２２を介して外部の記憶媒体に保存される。なお、システム制御回路２２０は、内部メモリ２２１又は外部の記憶媒体への保存の他に、通信装置２１９を通じて外部の保存装置に保存してもよい。つまりこの場合、患部の画像データと境界線の情報を保存することが重要であって、保存先はどこであってもよい。
【００６７】
次にステップＳ４２０において、表示装置２２３は、ステップＳ４１６で受信した患部領域１０２のクラス化された画像データを所定時間表示する。ここでは、表示装置２２３は、図５に示したような画像を表示し、所定時間経後にステップＳ４０２の処理に戻る。
【００６８】
このように、第１の本実施形態によれば、撮像装置２００で患部領域１０２等のプレビュー表示がなされている際に、画像処理装置３００は、患部領域１０２の外縁として選択し得る複数の外形の候補を推定する。そして、撮像装置２００のプレビュー画面上には、その患部領域１０２の外縁候補をそれぞれ表す境界線５０１〜５０５が、患部領域１０２の画像に重畳されて表示される。したがって医療関係者等のユーザは、患部領域１０２の画像として所望する範囲の撮影が可能になっているかどうかを容易に知ることができる。その上で、ユーザによるレリーズ操作が行われることで、撮像装置２００は、ユーザが所望している範囲の静止画像を撮影することになる。そして、画像処理装置３００は、その静止画像に対して、患部領域１０２の外縁として選択し得る複数の外縁候補を推定し、撮像装置２００の表示装置２２３にはそれら複数の候補に対応した境界線５０１〜５０５が表示される。その状態で、ユーザが所望する境界線に対応したクラスを指定すると、その指定されたクラスの患部領域の画像と、そのクラスに対応した境界線に関する情報が表示されると共に保存される。すなわち、ユーザは、この表示及び保存された患部領域の画像を基に、褥瘡等の患部領域１０２に対する評価を行うことになる。これにより、第１の実施形態の患部撮影装置１によれば、医療関係者の負荷及び評価をされる患者側の負荷を軽減しつつ、褥瘡等の患部領域のサイズ（大きさ）の正確な評価が可能となる。また、本実施形態によれば、患部領域１０２のサイズの算出がプログラムに基づいて実行されているため、ユーザ等が手作業で計測する場合に比べて個人差を少なくすることができ、褥瘡のサイズ評価の正確性を高めることができる。さらに本実施形態によれば、画像処理により、褥瘡のサイズをより的確に表すため指標としての患部面積を算出して表示することも可能となる。患部面積の算出手法については後述する実施形態において説明する。
【００６９】
なお、ライブビュー表示の際に、患部領域として推定されるエリアが妥当であるかどうかをユーザが確認する処理は、必ずしも行われなくてもよいため、図４のステップＳ４４１〜Ｓ４４５の処理は省略することも可能である。
また、画像処理装置３００は、患部領域１０２の認識結果を示す情報、患部領域１０２のサイズに関する情報、及び、これらの情報を重畳した重畳画像の画像データを記憶装置３１２に記憶するようにしてもよい。そして、出力装置３１４は、接続されたディスプレイなどの出力機器に、記憶装置３１２に記憶されているいずれか１つ以上の情報、あるいは画像データを出力することができる。ディスプレイに重畳画像を表示することで、患部領域１０２を撮影するユーザとは別のユーザが、リアルタイムで、あるいは、過去に得られた患部領域１０２の画像とサイズに関する情報を得ることができるようになる。
【００７０】
また画像処理装置３００の演算装置３１１は、出力装置３１４からディスプレイに送信する画像データに対して、任意に位置及び角度を変更するスケールバーなどを表示する機能を備えていてもよい。このようなスケールバーを表示することで、ディスプレイを見ているユーザは、患部領域１０２の任意の箇所の長さを計測することも可能となる。このスケールバーのメモリの幅は、ステップＳ４５１で受信した距離情報とズーム倍率の情報、及びリサイズ処理された画像データのサイズ（ピクセル数）の情報などに基づいて自動調整されてもよい。その他、画像処理装置３００は、据え置き側で常時電源が供給された状態で用いられる場合、バッテリー切れになる心配がなく、いつでも任意のタイミングで患部領域１０２の画像とサイズ情報を得ることができる。また、一般的に据え置き型デバイスである画像処理装置３００は記憶容量が多いため、多数の画像データを保存することができる。なお、これらのことは、後述する他の実施形態においても同様に適用可能である。
【００７１】
＜第２の実施形態＞
以下、第２の実施形態として、患部撮影装置１が、ユーザの指示した結果を基に学習を行い、次回以降の撮影及び評価の際に、その学習結果から導く推論を反映する例について説明する。なお、第２の実施形態において、前述した第１の実施形態で説明したのと同じ構成及び同じステップ等については、それぞれ第１の実施形態で使用したのと同じ参照符号を付与することで、それら同一の構成及びステップに関する重複した説明は適宜省略する。
【００７２】
以下、第２の実施形態において、患部領域の撮影から患部領域の評価に用いる情報が生成されて保存等するまでの一連の処理を、図１〜図３、図５、及び図６を用いて説明する。図６は、第２の実施形態に係る患部撮影装置１の動作の流れを示すフローチャートである。図６の左側のフローに示した各ステップの処理は撮像装置２００により行われ、右側のフローに示した各ステップの処理は画像処理装置３００により行われる。ステップＳ４０１〜Ｓ４１９、ステップＳ４３１〜Ｓ４４４、及び、ステップＳ４５１〜Ｓ４５４の処理は、前述した図４のそれぞれ対応した各ステップと同じ処理であるため、それらの説明は省略する。
【００７３】
第２の実施形態の場合、撮像装置２００によるステップＳ４０１〜Ｓ４０６の処理後、画像処理装置３００によるステップＳ４４１の処理に移り、さらにステップＳ４４４の処理後にステップＳ６４５の処理に進む。
ステップＳ６４５において、画像処理装置３００の演算装置３１１は、主記憶装置３１５又は補助記憶装置３１６内に、ユーザが過去に選んだ境界線が境界線５０１〜５０５のいずれであるかの推論結果の情報が存在するか検索する。
【００７４】
次にステップＳ６４６において、演算装置３１１は、ユーザが過去に選んだ境界線が境界線５０１〜５０５のいずれであるかが、学習データとして主記憶装置３１５又は補助記憶装置３１６内に存在するか判定する。そして、演算装置３１１は、もし学習データが存在し、その学習データに基づく推論結果の情報があれば、演算装置３１１は、ステップＳ６４７に処理を進め、一方、学習データが存在しなければステップＳ６４８に処理を進める。
【００７５】
ステップＳ６４７に進むと、演算装置３１１は、ユーザが過去に選んだ境界線の学習データを元に、境界線５０１〜５０５のうち、ユーザが最も選びそうな境界線を推論し、前述したクラスに反映する。ここで、演算装置３１１は、その推論した境界線に対応したクラスにフラグを立ててもよいし、クラス毎にメタデータとして順位付けを行ってもよい。またこの時の画像処理装置３００は、出力装置３１４を介して、ユーザによる選択が行われる際に、推論した境界線を太くするなど強調表示したり、その境界線に対応するクラスを網がけ表示したりしてもよい。あるいは、画像処理装置３００は、推論した境界線に対応したクラスを除く他のクラスをグレーアウト表示してもよい。なお、それらクラスに対する表示方法等はこれらの例に限定されるものではない。
【００７６】
次にステップＳ６４８において、演算装置３１１は、抽出された患部領域１０２の認識結果の情報と、境界線５０１〜５０５に各々対応した各クラスに関する情報と、ユーザが選択する可能性が最も高い境界線に対応したクラスの情報とを、通信装置３１３に送る。そして、通信装置３１３は、それらの情報を撮像装置２００に送信する。
【００７７】
ステップＳ６４８の後は、撮像装置２００が行うステップＳ４０７の処理に移る。そして、撮像装置２００で前述したステップＳ４０７〜Ｓ４１５の処理が行われた後、画像処理装置３００が行うステップＳ４５１の処理に移る。そして画像処理装置３００では、ステップＳ４５１〜Ｓ４５４までの処理が行われた後、ステップＳ６５５の処理に進む。
ステップＳ６５５に進むと、画像処理装置３００の演算装置３１１は、主記憶装置３１５又は補助記憶装置３１６内に、ユーザが過去に選んだ境界線が境界線５０１〜５０５のいずれであるかの推論結果の情報が存在するか検索する。
【００７８】
次にステップＳ６５６において、演算装置３１１は、ユーザが過去に選んだ境界線が境界線５０１〜５０５のいずれであるかが、学習データとして主記憶装置３１５又は補助記憶装置３１６内に存在するかを判断する。そして、もし学習データが存在し、該学習データに基づく推論結果の情報があれば、演算装置３１１は、ステップＳ６６７の処理に進み、一方、学習データが存在しなければステップＳ６５８の処理に進む。
【００７９】
ステップＳ６５７に進むと、演算装置３１１は、ステップＳ６４７と同様に、ユーザが過去に選んだ境界線の学習データを元に、境界線５０１〜５０５のうち、ユーザが最も選びそうな境界線を推論し、前述したクラスに反映する。またステップＳ６５７でも前述同様に、クラスへのフラグ立て、メタデータによる順位付け、境界線の強調表示、クラスの網がけ表示、あるいは、候補でないクラスのグレーアウト表示等を行ってもよい。
【００８０】
またステップＳ６５８に進むと、演算装置３１１は、抽出された患部領域１０２の認識結果の情報と、境界線５０１〜５０５に各々対応した各クラスに関する情報と、ユーザが選択する可能性が最も高い境界線に対応したクラスの情報とを、通信装置３１３に送る。そして、通信装置３１３は、ステップＳ６４８と同様に、それらの情報を撮像装置２００に送信する。
【００８１】
ステップＳ６５８の後は、撮像装置２００が行うステップＳ４１６の処理に移る。そして、撮像装置２００は、ステップＳ４１６〜Ｓ４１９の処理を行った後、ステップＳ６２０の処理に進む。
ステップＳ６２０に進むと、撮像装置２００のシステム制御回路２２０は、境界線５０１〜５０５のうち、ユーザが指定した境界線の情報を、通信装置２１９に送る。そして、通信装置２１９は、その情報を無線通信により画像処理装置３００に送信する。このステップＳ６２０の後は、画像処理装置３００が行うステップＳ６５９の処理に移る。
【００８２】
ステップＳ６５９において、画像処理装置３００の演算装置３１１は、認識済みの境界線５０１〜５０５のうち、ユーザが指定した境界線に囲まれたクラスを、患部領域１０２として指定する。同時に、演算装置３１１は、ユーザが指定した境界線に対応したクラスに関する情報を含む学習データを、後にステップＳ６４５及びステップＳ６５５で推論が行われる際に用いられる学習データとして、主記憶装置３１５又は補助記憶装置３１６に保存する。
このステップＳ６５９の後は、撮像装置２００が行うステップＳ６２０の処理に戻る。そして、撮像装置２００の処理は、ステップＳ６２１に進む。
【００８３】
ステップＳ６２１に進むと、撮像装置２００の表示装置２２３は、ステップＳ４１６で受信された患部領域１０２のクラス化された画像データを所定時間表示する。このとき、表示装置２２３は、前述の図５に示したような画像を表示し、所定時間経後に、ステップＳ４０２の処理に戻る。
【００８４】
このように第２の実施形態の患部撮影装置１は、ユーザの選択結果を基に学習を行い、次回以降の撮影及び評価の際に、その学習結果から導く推論を反映している。したがって、第２の実施形態によれば、第１の実施形態の場合よりもさらに、医療関係者の負荷及び評価をされる患者側の負荷を軽減でき、褥瘡等の患部領域のサイズのより正確な評価が可能となる。
【００８５】
＜第３の実施形態＞
以下、第３の実施形態の患部撮影装置１について説明する。
第３の実施形態では、撮像装置２００が被写体１０１の患部領域１０２を撮影すると共に、レリーズ時の情報（例えばタッチスクリーンにタッチするレリーズ操作の場合にはタッチした位置情報など）を取得し、それらのデータを画像処理装置３００に送信する。画像処理装置３００は、受信した画像データから複数の患部領域を抽出し、また、受信したレリーズ時の情報を用いて最も確からしい患部領域及びその外形を特定する。
【００８６】
第３の実施形態において、前述した実施形態で説明したのと同じ構成及び同じステップ等については、それぞれ前述の実施形態で使用したのと同じ参照符号を付与することで、それら同一の構成及びステップに関する重複した説明は適宜省略する。
以下、第３の実施形態において、患部領域の撮影から患部領域の評価に用いる情報が生成されて保存等するまでの一連の処理を、図１、図２、図３、及び図７を用いて説明する。
【００８７】
詳細は後述するが、第３の実施形態の患部撮影装置１は、撮像装置２００におけるレリーズ時の情報として、医療関係者等のユーザ（つまり撮影者）が画像上で指示した、位置もしくは領域の情報を取得する。そして、患部撮影装置１は、それら位置もしくは領域の情報を基に、患部領域１０２及び外形を特定する。また第３の実施形態では、画像処理装置３００のＣＰＵ３１０が、記憶装置３１２に記憶されたプログラムを実行し、補助演算装置３１７にて抽出された複数の患部領域１０２の候補のなかから、確からしい領域を特定する処理を含む各種機能を実現する。なお、第３の実施形態では、ユーザ（撮影者）が画像上で指示した位置もしくは領域の情報を取得するため、撮像装置２００の表示装置２２３は、タッチ位置を取得可能なタッチセンサを有したタッチパネルであるとする。もちろん指示された位置もしくは領域の情報を取得するための構成はタッチパネルに限定されるものではなく、レリーズ時においてユーザが指示した位置もしくは領域の情報を取得できる形態であれば他の構成であってもよい。
【００８８】
図７は、第３の実施形態に係る患部撮影装置１の動作の流れを示すフローチャートである。図７の左側のフローの各ステップの処理は撮像装置２００により行われ、右側のフローの各ステップの処理は画像処理装置３００により行われる。ステップＳ４０１〜Ｓ４０６、ステップＳ４１１〜Ｓ４１３、ステップＳ４３１、及びステップＳ４４１は、前述した図４のそれぞれ対応した各ステップと同じ処理であるため、それらの説明は省略する。
【００８９】
第３の実施形態の場合、撮像装置２００によるステップＳ４０１〜Ｓ４０６の処理が行われた後は、画像処理装置３００によるステップＳ４４１の処理に移る。
ステップＳ４４１において、画像処理装置３００の通信装置３１３は、撮像装置２００の通信装置２１９から送信されてきた画像データ及び距離情報を含む１以上の情報を、受信する。
【００９０】
次にステップＳ７４２において、画像処理装置３００のＣＰＵ３１０及び補助演算装置３１７は、ステップＳ４４１で受信した画像データから被写体１０１の患部領域１０２を抽出する。患部領域１０２の抽出は、前述の実施形態と同様に、補助演算装置３１７が深層学習による意味的領域分割の手法を用いて行う。深層学習による意味的領域分割の手法については、前述の第１の実施形態で説明したのと同様であるため、その説明は省略する。
【００９１】
ここで、深層学習による意味的領域分割の手法を用いた場合、患部領域１０２と推定される領域とその信頼度との組み合わせが複数抽出されることが多い。ただし、ライブビュー画像として表示される画像はサイズも小さく、あくまでも撮影時の「目安」になればよいため、ステップＳ７４２において補助演算装置３１７は、最も確からしいと推定された（つまり信頼度が最も高い）領域候補を自動的に選択する。
【００９２】
次にステップＳ７４３において、ＣＰＵ３１０の演算装置３１１は、補助演算装置３１７によって抽出された患部領域１０２のサイズに関する情報として、患部領域１０２の面積を計算する。
【００９３】
図８は、患部領域１０２の面積の計算方法を説明するための図である。一般的なカメラである撮像装置２００は、図８のようなピンホールモデルとして扱うことができる。入射光８０１は、レンズ２１２ａのレンズ主点を通り、イメージセンサ２１４の撮像面で受光される。ここで、レンズ群２１２を厚みのない単一のレンズ２１２ａに近似して考えた場合、前側主点と後側主点の２つの主点は一致するとみなせる。イメージセンサ２１４の平面に被写体像が結像するようにレンズ２１２ａのピント位置を調整することで、撮像装置２００は、被写体８０４に焦点を合わせることができる。また、撮像面からレンズ主点までの距離である焦点距離Ｆを変更することで、画角θが変更され、ズーム倍率が変わる。このとき、撮像装置２００の画角θと被写体距離８０５との関係から、幾何学的に合焦面における被写体８０４の幅８０６が決定される。この被写体８０４の幅８０６は、三角関数を用いて算出することができる。すなわち、被写体８０４の幅８０６は、焦点距離Ｆに応じて変化する画角θと、被写体距離８０５との関係によって決定される。そして、被写体８０４の幅８０６の値を画像データのライン上のピクセル数で除算することにより、画像データ上の１ピクセルに対応する合焦面上の長さが得られる。
【００９４】
よって、演算装置３１１は、ステップＳ７４２での患部領域の抽出結果から得られる抽出領域のピクセル数と、画像上の１ピクセルに対応する合焦面上の長さから得られる１ピクセルの面積との積として、患部領域１０２の面積を計算する。なお、焦点距離Ｆと被写体距離８０５の組合せに応じた画像上の１ピクセルに対応する合焦面上の長さは、予め求めておいて、テーブルデータとして用意しておいてもよい。この場合、画像処理装置３００の記憶装置３１２は、撮像装置２００に応じたテーブルデータが予め記憶されている。
【００９５】
なお、前述した方法で正しく患部領域１０２の面積を求めるためには、被写体８０４が平面であり、かつ、この平面がレンズの光軸に対して垂直であることが前提となる。またステップＳ４４１で撮像装置２００から取得した距離情報が、画像データ内の複数の位置における距離情報や距離マップであれば、演算装置３１１は、被写体の奥行き方向の傾きや変化を検出し、その検出した傾きや変化を基に面積を算出することもできる。
【００９６】
次にステップＳ７４４において、演算装置３１１は、患部領域１０２を抽出する対象となっている画像データに対し、患部領域１０２の抽出結果を示す情報と、患部領域１０２のサイズに関する情報とを重畳した画像データを生成する。
【００９７】
図９（ａ）及び図９（ｂ）は、患部領域１０２の抽出結果を示す情報、及び、患部領域１０２のサイズに関する情報を画像データに重畳する方法を説明するための図である。図９（ａ）の画像９０１は、重畳処理前の画像データを用いて表示された例であって、被写体１０１及び患部領域１０２を含む画像となっている。図９（ｂ）の重畳画像９０２は、重畳処理後の画像データに基づく画像が表示された画像である。なおこの例では患部領域１０２の候補が１つの場合を例示したが、患部領域として複数の確からしい候補領域がある場合、演算装置３１１は、それら複数の候補領域に対して重畳処理を行ってもよいし、最も確からしい候補領域に限って重畳処理を行ってもよい。
【００９８】
図９（ｂ）に示すように、重畳画像９０２は、画像の左上隅に、患部領域１０２のサイズに関する情報として、黒地の背景に白色の文字で患部領域１０２の面積値の文字列９１２を表示したラベル９１１が重畳された画像となされている。なお、ラベル９１１の背景色と文字列の色は見やすいものであれば、黒と白に限らなくてもよい。また、ラベル９１１の背景色と文字列は、透過量を設定してαブレンドすることで、ラベルが重なった部分の画像が確認できるようになされてもよい。
【００９９】
また図９（ｂ）に示すように、重畳画像９０２は、ステップＳ７４２において抽出された、患部領域１０２の推定エリアを示す指標９１３が重畳された画像となされている。すなわち、重畳画像９０２は、患部領域と推定されるエリアが存在する位置において、その推定エリアを示す指標９１３と、画像９０１の元となる画像データとを、αブレンドして重畳した画像である。これにより、患部領域１０２の面積の元となる推定エリアが妥当かどうかを、ユーザが確認することができるようになる。推定エリアを示す指標９１３の色は、被写体の色と重ならないようにすることが望ましい。またαブレンドの透過率は、推定エリアが認識できて、元の患部領域１０２も確認できる範囲の値であることが望ましい。なお、患部領域１０２の推定エリアを示す指標９１３が重畳表示されていれば、ラベル９１１の表示はなくとも、ユーザは推定エリアが妥当かどうかを確認することはできるため、ステップＳ７４３の処理は省略されてもよい。
【０１００】
次にステップＳ７４５において、画像処理装置３００の通信装置３１３は、前述のように抽出された患部領域１０２の抽出結果を示す情報と、患部領域１０２のサイズに関する情報とを撮像装置２００に送信する。すなわち通信装置３１３は、ステップＳ７４４で生成した、患部領域１０２のサイズに関する情報を含む画像データを、撮像装置２００に無線通信により送信する。このステップＳ７４５の後は、撮像装置２００によるステップＳ７０７の処理に移る。
【０１０１】
ステップＳ７０７において、撮像装置２００の通信装置２１９は、画像処理装置３００にて患部領域１０２のサイズに関する情報を含む画像データが新たに生成されていれば、それを受信する。
次にステップＳ７０８において、システム制御回路２２０は、ステップＳ７０７で患部領域１０２のサイズに関する情報を含む画像データを受信できたか判定する。そして、システム制御回路２２０は、受信できた場合にはステップＳ７０９に処理を進め、受信できていなければステップＳ７１０に処理を進める。
【０１０２】
ステップＳ７０９に進むと、表示装置２２３は、ステップＳ７０７で受信した患部領域１０２のサイズに関する情報を含む画像データを、所定時間表示する。ここで、表示装置２２３は、図９（ｂ）に示したような重畳画像９０２を表示させる。このように第３の実施形態では、ライブビュー画像に対して、患部領域１０２の抽出結果を示す情報が重畳表示される。これにより、ユーザは、患部領域の面積及び推定エリアが妥当であるかをプレビュー画像で確認したうえで、本撮影に臨むことができる。なお、本実施形態では、患部領域１０２の推定エリアを示す指標９１３と、患部領域１０２のサイズの情報の両方を表示する例を挙げて説明したが、いずれか一方だけが表示されてもよい。このステップＳ７０９の後、撮像装置２００の処理はステップＳ７１０に進む。
【０１０３】
ステップＳ７１０に進むと、システム制御回路２２０は、ユーザ等の撮影者により、操作部２２４を介してレリーズ操作が行われたかどうかを判定する。システム制御回路２２０は、レリーズ操作が行われなかった場合、撮像装置２００の処理はステップＳ４０４に戻り、レリーズ操作が行われた場合、撮像装置２００の処理はステップＳ４１１に進む。
【０１０４】
ここで、第３の実施形態の場合、レリーズ操作は、図１０及び図１１で説明するような操作となされている。なお本実施形態では、説明の簡略化のため、操作部２２４が、表示装置２２３と兼用されるタッチパネルである例を挙げるが、操作部２２４の構成はそれに限定されるものではない。
【０１０５】
図１０は、操作部２２４のタッチパネルが設けられている表示装置２２３に表示されたライビュー画像例を示した図であり、ユーザ等の撮影者が手指１００２等によりタッチパネル上の所望の位置をタッチすることでレリーズが行われる例を表している。このとき、撮像装置２００は、例えばメッセージ表示や音声出力などにより、撮影者に対して、患部領域であると自身が判断する領域内のどこかをタッチしてレリーズ操作を行うように要求する。そして、撮影者によるタッチ操作がなされた場合、システム制御回路２２０は、そのタッチ位置の情報を、レリーズ時のタッチ位置情報１００１として取得する。
【０１０６】
図１１は、図１０と同様のライビュー画像の例を示した図であり、図１０の例とは別のレリーズ操作の例を説明する図である。図１１は、図１０のようにタッチパネルがタッチされた時にレリーズが行われる例とは異なる。図１１の例は、撮影者がタッチ状態のまま手指１００２を離さずに、患部領域１０２であると自身が判断した領域のエッジ部分をなぞるようなスライド操作を行った場合の例を示した図である。このとき、撮像装置２００は、例えばメッセージ表示や音声出力などによって、撮影者に対して、患部領域１０２であると自身が判断した領域の外縁を手指１００２によってなぞるスライド操作を行うように要求する。そして、図１１の例のように、撮影者により、手指１００２を離さずに患部領域１０２と思われる領域の外縁をなぞったスライド操作軌跡が閉じた形状になった場合、システム制御回路２２０は、レリーズ指示がなされたと判断して画像の撮像を行う。そして、システム制御回路２２０は、タッチした状態で手指１００２が移動したスライド操作軌跡で囲われた閉じた形状の領域の位置を表す情報を、レリーズ時のタッチ領域情報１１０１として取得する。
【０１０７】
図７に説明を戻し、ステップＳ７１０の後に進むステップＳ４１１〜Ｓ４１３の処理は、前述の図４で説明したのと同様であるため詳細な説明を省略する。ステップＳ４１３の後、撮像装置２００の処理は、ステップＳ７１４に進む。
ステップＳ７１４において、システム制御回路２２０は、ステップＳ４１３で生成されたリサイズ処理後の画像データと、ステップＳ４１１で求めた距離情報、及び、ステップＳ７１０で取得したタッチ位置情報１００１又はタッチ領域情報１１０１を取得する。さらに、システム制御回路２２０は、ズーム倍率の情報やリサイズ処理された画像データのサイズ（ピクセル数）の情報も、必要に応じて取得する。
【０１０８】
次にステップＳ７１５において、通信装置２１９は、ステップＳ７１４で取得した画像データと、距離情報と、タッチ位置情報又はタッチ領域情報とを含む情報を、無線通信により画像処理装置３００に送信する。
ステップＳ７１５の後は、画像処理装置３００が行うステップＳ７５１〜Ｓ７５６の処理に移る。
ステップＳ７５１の処理に移ると、画像処理装置３００の通信装置３１３は、撮像装置２００の通信装置２１９から送信された画像データと、距離情報と、タッチ位置情報又はタッチ領域情報とを受信する。
【０１０９】
次にステップＳ７５２において、画像処理装置３００のＣＰＵ３１０及び補助演算装置３１７は、ステップＳ７５１で受信した画像データから被写体１０１の患部領域１０２を抽出する。患部領域１０２の抽出は補助演算装置３１７により行われ、抽出手法は前述のステップＳ７４２と同様な手法（深層学習による意味的領域分割など）を用いる。ステップＳ７４２では、患部領域として最も確からしいと推定された（信頼度が最も高い）領域候補を自動的に選択したが、ここでは、より大きな画像データとタッチ位置情報又はタッチ領域情報を用いて、撮影者の意図に則した領域が選択されるようにする。
【０１１０】
ここで、例えばタッチ位置情報が受信された場合、前述したように、ユーザ等の撮影者に対しては、患部領域１０２上のどこかをタッチすることが要求されている。このため該タッチ位置は患部領域に含まれる可能性が高く、該タッチ位置の画像特徴と概ね同様の特徴を有する領域、つまりタッチ位置の画像特徴と同一もしくは近似した特徴が連続した領域は患部領域である確からしさが高いといえる。一方で、タッチ位置の画像特徴とは異なる特徴を有する領域、つまりタッチ位置の画像特徴とは連続していない特徴を有する領域は、患部領域である確からしさが低いといえる。したがって、補助演算装置３１７は、タッチ位置の画像特徴と連続していない異なった特徴の領域については患部領域の候補領域から除外する。もしくは、補助演算装置３１７は、タッチ位置の画像特徴と連続していない異なった特徴の領域については、確からしさを示す信頼度の値を減らすようにする。あるいは、補助演算装置３１７は、タッチ位置の画像特徴と同一若しくは近似した特徴が連続している領域に対しては、確からしさを示す信頼度の値を増やすようにしてもよい。もちろん、タッチ位置が含まれている領域が候補領域として優先される処理であれば、これらの例には限定されない。そして、補助演算装置３１７は、前述したような候補領域からの除外、或いは、信頼度の値の増減などの処理を行った上で、候補領域の中で最も信頼度の高い領域を、撮影者に提示する領域として特定する。
【０１１１】
また、例えばタッチ領域情報が受信された場合、前述したように、撮影者に対しては、自身が患部領域と判断した領域の縁をなぞることが要求されている。このため、その要求に応じたスライド操作軌跡で囲まれた領域と概ね同様の特徴を有していて、スライド操作軌跡で囲まれた領域と重なっている部分が大きい領域は、患部領域である確からしさが高い（信頼度が高い）といえる。一方で、スライド操作軌跡で囲まれた領域と概ね同様の特徴を有しているが、スライド操作軌跡で囲まれた領域と重なっている部分が小さい領域は、患部領域である確からしさが低いといえる。このため、補助演算装置３１７は、スライド操作軌跡で囲まれた領域と概ね同様の特徴を有している領域について、スライド操作軌跡で囲まれた領域との重なり度を求める。そして、補助演算装置３１７は、スライド操作軌跡で囲まれた領域との重なり度が閾値より小さい領域については患部領域の候補領域から除外する。もしくは、補助演算装置３１７は、スライド操作軌跡で囲まれた領域との重なり度が小さくなるほど、信頼度の値を減らすようにする。あるいは、補助演算装置３１７は、スライド操作軌跡で囲まれた領域との重なり度が大きくなるほど、信頼度の値を増やすようにしてもよい。そして、補助演算装置３１７は、前述したような候補領域からの除外、或いは、信頼度の値の増減などの処理を行った上で、候補領域の中で最も信頼度の高い領域を、撮影者に提示する領域として特定する。
【０１１２】
次にステップＳ７５３において、ＣＰＵ３１０の演算装置３１１は、ステップＳ７５２で抽出された患部領域１０２のサイズに関する情報の一例として、患部領域１０２の面積を計算する。面積計算処理は前述のステップＳ７４３と同じであるため、その説明については省略する。
【０１１３】
ステップＳ７５４において、演算装置３１１は、ステップＳ７５３で求めた画像上の１ピクセルに対応する合焦面上の長さに基づいて、前述の抽出された患部領域１０２の長径及び短径の長さと、患部領域１０２に外接する矩形の面積とを算出する画像解析を行う。ここで、前述したＤＥＳＩＧＮ−Ｒにおける患部の評価指標のうち、患部領域のサイズは長径と短径の積の値とすることが定められている。本実施形態の患部撮影装置１では、長径と短径の解析を行うことで、今までＤＥＳＩＧＮ−Ｒで計測されたデータとの互換性を確保することができる。なお、ＤＥＳＩＧＮ−Ｒは厳密な定義がないため、数学的には複数の長径、短径の算出方法が考えられる。
【０１１４】
長径と短径の算出方法の一例として、まず、演算装置３１１は、患部領域１０２に外接する矩形のうち、面積が最小となる矩形（Ｍｉｎｉｍｕｍ  ｂｏｕｎｄｉｎｇ  ｒｅｃｔａｎｇｌｅ）を算出する。さらに、演算装置３１１は、この矩形の長辺と短辺の長さを算出し、長辺の長さを長径とし、短辺の長さを短径として算出する。そして、演算装置３１１は、ステップＳ７５３で求めた画像上の１ピクセルに対応する合焦面上の長さに基づいて、この矩形の面積を算出する。
【０１１５】
また、長径と短径の算出方法の他の例として、演算装置３１１は、長径として最大のキャリパー長である最大フェレ径を選択し、短径として最小フェレ径を選択してもよい。あるいは、演算装置３１１は、長径として最大のキャリパー長である最大フェレ径を選択し、短径として、最大フェレ径の軸に直交する方向で計測した長さを選択してもよい。長径と短径の計算方法は、従来の計測結果との互換性に基づいて任意の方法を選択することができる。
【０１１６】
なお、前述した患部領域１０２の長径及び短径の長さと矩形面積の算出は、ステップＳ４４１で受け取った画像データに対しては実行しない処理である。すなわち、ライブビュー画像の表示中は、患部領域１０２の抽出結果をユーザが確認できるようにすることを目的としているため、ステップＳ７５４の画像解析ステップの処理を省くことで、処理時間を削減している。
【０１１７】
ステップＳ７５５において、演算装置３１１は、患部領域１０２の抽出対象とした画像データに対し、ステップＳ７５２で患部領域１０２に最も近いと判断された領域の抽出結果の情報とサイズに関する情報とを重畳した画像を生成する。
【０１１８】
図１２（ａ）〜図１２（ｃ）は、患部領域１０２の抽出結果を示す情報、及び、患部領域１０２の長径と短径を含む患部領域のサイズに関する情報を、画像データに重畳する方法を説明するための図である。患部領域１０２のサイズに関する情報は複数存在することが考えられるため、ここでは図１２（ａ）の重畳画像１２０１、図１２（ｂ）の重畳画像１２０２、及び、図１２（ｃ）の重畳画像１２０３に分けて説明する。
【０１１９】
図１２（ａ）の重畳画像１２０１は、長径、短径の算出方法としてＭｉｎｉｍｕｍ  ｂｏｕｎｄｉｎｇ  ｒｅｃｔａｎｇｌｅが用いられた場合の画像例である。重畳画像１２０１は、左上隅に、患部領域１０２のサイズに関する情報として、図９（ｂ）の例と同様に、黒地の背景に白色の文字で患部領域１０２の面積値の文字列を表示したラベル９１１が重畳された画像となされている。さらに、重畳画像１２０１は、右上隅に、患部領域１０２のサイズに関する情報として、Ｍｉｎｉｍｕｍ  ｂｏｕｎｄｉｎｇ  ｒｅｃｔａｎｇｌｅに基づいて算出した長径及び短径を表示したラベル１２１２が重畳表示されている。文字列１２１３は、長径の長さ（単位はｃｍ）を表し、文字列１２１４は短径の長さ（単位はｃｍ）を表す。そして、重畳画像１２０１には、患部領域１０２に、Ｍｉｎｉｍｕｍ  ｂｏｕｎｄｉｎｇ  ｒｅｃｔａｎｇｌｅを表す矩形の枠１２１５が表示されている。矩形の枠１２１５は、長径及び短径の長さと一緒に重畳されるため、ユーザは、画像中のどの箇所の長さが計測されているのかを確認することができる。
【０１２０】
また、重畳画像１２０１は、右下隅にスケールバー１２１６が重畳されている。スケールバー１２１６は、患部領域１０２のサイズに関する情報としてサイズを測定するためのものであり、距離情報に応じて、画像データに対する前記スケールバーのサイズが変更される。具体的には、スケールバー１２１６は、ステップＳ７５３で得られた画像上の１ピクセルに対応する合焦面上の長さに基づいて、１ｃｍ単位で５ｃｍまでの目盛りを刻んだバーであり、撮像装置の合焦面上すなわち被写体上のサイズに対応したものである。ユーザは、スケールバーを参照することにより、被写体１０１もしくは患部領域１０２の大きさをおよそ把握することができる。
【０１２１】
さらに、前述したＤＥＳＩＧＮ−Ｒのサイズ評価の指標は、重畳画像１２０１の左下隅にラベル１２１７として重畳表示される。ＤＥＳＩＧＮ−Ｒのサイズ評価の指標は、皮膚損傷範囲の、長径と短径（長径と直交する最大径）を測定し（単位はｃｍ）、各々を掛け合わせた数値から前述した７段階に分類されている。本実施形態では、長径と短径をそれぞれの算出方法によって出力された値に置き換えて得られる指標がラベル１２１７として重畳表示される。
【０１２２】
図１２（ｂ）の重畳画像１２０２は、長径として最大フェレ径を用い、短径として最小フェレ径を用いたものである。重畳画像１２０２の右上隅には、長径の文字列１２２３及び短径の文字列１２２４を表示したラベル１２２２が重畳される。さらに、重畳画像１２０２には、患部領域１０２に、最大フェレ径の計測位置に相当する補助線１２２５と、最小フェレ径に相当する補助線１２２６とが表示される。このように、補助線を長径及び短径の長さと一緒に重畳することで、ユーザは、画像中のどの箇所の長さが計測されているのかを確認することができる。
【０１２３】
図１２（ｃ）の重畳画像１２０３は、長径については重畳画像１２０２と同じであるが、短径が最小フェレ径ではなく最大フェレ径の軸に直交する方向で計測した長さを表したものである。重畳画像１２０２の右上隅には、長径の文字列１２２３及び短径の文字列１２３４を表示したラベル１２３２が重畳され。さらに、重畳画像１２０３には、患部領域１０２に、最大フェレ径の計測位置に相当する補助線１２２５と、最大フェレ径の軸に直交する方向で計測した長さに相当する補助線１２３６が表示される。
【０１２４】
なお、図１２（ａ）〜図１２（ｃ）のそれぞれに示した、画像データに重畳する各種情報は、いずれか１つ、または、複数の組合せとしてもよく、ユーザが表示する情報を選択できるようにしてもよい。また、図９（ａ）と図９（ｂ）及び図１２（ａ）〜図１２（ｃ）に示した重畳画像は１つの例である。したがって、患部領域１０２及び患部領域１０２のサイズに関する情報の表示形態、表示位置、サイズ、フォント、フォントサイズ、フォントの色、あるいは、位置関係などは、様々な条件に応じて変更されてもよい。
【０１２５】
図７に説明を戻し、ステップＳ７５６において、画像処理装置３００の通信装置３１３は、抽出された患部領域１０２の抽出結果を示す情報と、患部領域１０２のサイズに関する情報とを、撮像装置２００に送信する。本実施形態の場合、通信装置３１３は、ステップＳ７５５で生成した、患部領域１０２のサイズに関する情報を含む画像データを、撮像装置２００に無線通信により送信する。
ステップＳ７５６の後は、撮像装置２００が行うステップＳ７１６の処理に移る。
【０１２６】
ステップＳ７１６の処理に移ると、撮像装置２００の通信装置２１９は、画像処理装置３００にて生成された患部領域１０２のサイズに関する情報を含む画像データを受信する。
次にステップＳ７１７において、表示装置２２３は、ステップＳ７１６で受信された患部領域１０２のサイズに関する情報を含む画像データを、所定時間表示する。このとき表示装置２２３は、図１２（ａ）〜図１２（ｃ）に示した重畳画像１２０１〜１２０３のいずれかを表示する。そして、所定時間経後、撮像装置２００の処理はステップＳ４０２の処理に戻る。
【０１２７】
前述したように、第３の実施形態によれば、撮像装置２００におけるレリーズ時に、ユーザ（撮影者）が画像上で指示した位置の情報が取得され、その指示位置情報に基づいて、患部領域１０２及び外縁が推定される。すなわち、第３の実施形態によれば、前述したユーザの指定した位置の情報に基づいて患部領域１０２及び外縁が推定されるため、ユーザが意図した患部領域に最も近い領域を特定することができる。そして、撮像装置２００の表示装置２２３には患部領域のサイズに関する情報が表示される。したがって、第３の実施形態によれば、患部領域１０２のサイズ評価の際に、ユーザの負荷及び評価をされる患者側の負荷が軽減される。また、前述の実施形態と同様に、第３の実施形態においても、患部領域のサイズの算出がプログラムに基づいて実行されることで、ユーザが手作業で計測する場合に比べて個人差を少なくでき、患部領域１０２のサイズ評価の正確性を高めることができる。
【０１２８】
なお、ライブビュー表示の際に、ユーザが患部領域の推定エリアが妥当であるかを確認する機能は必須ではないため、ステップＳ４４１〜Ｓ７４５の処理は省略してもよい。また、画像処理装置３００は、患部領域１０２の抽出結果を示す情報、患部領域１０２のサイズに関する情報、及び、これらの情報を重畳した重畳画像の画像データを記憶装置３１２に記憶するようにしてもよい。そして、出力装置３１４は、接続されたディスプレイなどの出力機器に、記憶装置３１２に記憶したいずれか１つ以上の情報、あるいは、画像データを出力することができる。
【０１２９】
＜第４の実施形態＞
前述の第３の実施形態では、画像処理装置３００が、患部領域の抽出結果を示す情報及び患部領域のサイズに関する情報を、画像に重畳表示する例を挙げた。これに対し、以下の第４の実施形態では、撮像装置２００の画像処理回路２１７が、患部領域１０２の抽出結果を示す情報及び患部領域のサイズに関する情報を、画像に重畳表示する処理を行う例について説明する。
【０１３０】
図１３は、第４の実施形態に係る患部撮影装置１の動作の流れを示すフローチャートである。図１３の左側のフローの各ステップの処理は撮像装置２００により行われ、右側のフローの各ステップの処理は画像処理装置３００により行われる。図１３のフローチャートの場合、図７の各処理のうち、画像処理装置３００によるステップＳ７４４及びステップＳ７５５の重畳処理が無く、代わりに、撮像装置２００によるステップＳ１３０１及びステップＳ１３０２の重畳処理が追加されている。また、画像処理装置３００のステップＳ７４５及びステップＳ７５６の送信の処理に変えて、ステップＳ１３１１及びステップＳ１３１２の送信の処理が追加されている。なお、図１３に記載されたステップのうち、図７に示したステップと同じ参照符号が付与されたステップは、図７の対応するステップと同様の処理が行われる。
【０１３１】
第４の実施形態では、撮像装置２００が重畳画像を生成するため、ステップＳ１３１１及びステップＳ１３１２において、画像処理装置３００から撮像装置２００へ送られるデータは、カラースケールの画像データである必要はない。第４の実施形態の場合、画像処理装置３００は、画像データは送信せずに、推定した患部領域のサイズに関するメタデータ及び患部領域の位置を表すデータを送信する。このため、第４の実施形態の場合、通信トラフィックが軽減され、通信の高速化が可能となる。推定された患部領域の位置を表すデータは、よりデータ量が少ないベクター形式のデータであるとする。なお、推定された患部領域の位置を表すデータは、２値のラスター形式のデータであってもよい。
【０１３２】
また撮像装置２００は、ステップＳ７０７において、画像処理装置３００から、推定された患部領域のサイズに関するメタデータ及び患部領域の位置を表すデータを受信する。そして、撮像装置２００は、ステップＳ１３０１において、重畳画像を生成する。具体的には、Ｓ１３０１において、撮像装置２００の画像処理回路２１７は、ステップＳ７４４で図９（ｂ）を用いて説明したように重畳画像を生成する。推定された患部領域のサイズ及び位置を表す情報が重畳される画像データは、ステップＳ４０６で撮像装置２００から画像処理装置３００に送信した画像データでもよいし、ライブビュー用の画像として表示に用いられている最新の画像データでもよい。その後、撮像装置２００の処理はステップＳ７０９に進む。
【０１３３】
また、撮像装置２００は、ステップＳ７１６において、画像処理装置３００から、推定された患部領域のサイズに関するメタデータ及び患部領域の位置を表すデータを受信する。そして、撮像装置２００は、ステップＳ１３０２において、重畳画像を生成する。具体的には、Ｓ１３０２において、撮像装置２００の画像処理回路２１７は、ステップＳ７４５で図９（ｂ）を用いて説明したように重畳画像を生成する。推定された患部領域のサイズ及び位置を表す情報を重畳する画像データは、ステップＳ７１５で撮像装置２００から画像処理装置３００に送信した画像データである。その後、撮像装置２００の処理はステップＳ７１７に進む。
【０１３４】
このように、第４の実施形態によれば、第３の実施形態と比較すると、画像処理装置３００から撮像装置２００へ送るデータを軽減することができるため、撮像装置２００と画像処理装置３００の間の通信トラフィックを軽減し、通信を高速化することができる。
【０１３５】
＜第５の実施形態＞
図１４は、第５の実施形態に係る患部撮影装置１１の概要を示す図である。第５の本実施形態の患部撮影装置１１は、前述の実施形態と同様の撮像装置２００及び画像処理装置３００に加えて、Ｗｅｂアクセスが可能な端末機器１４００を有している。端末機器１４００は、例えばタブレット端末で構成され、Ｗｅｂブラウザの機能を有し、Ｗｅｂサーバーへのアクセスと取得したＨＴＭＬファイルの表示をすることができる。なお、端末機器１４００は、タブレット端末に限らず、Ｗｅｂブラウザを表示できるデバイスならばよく、例えばスマートフォンやパーソナルコンピュータであってもよい。
【０１３６】
画像処理装置３００のＣＰＵ３１０は、前述した第３の実施形態又は第４の各実施形態で説明した処理に加え、画像データから被写体を識別する処理を行う。さらに、ＣＰＵ３１０は、推定された患部領域のサイズ及び位置に関する情報と、患部領域１０２の画像データとを、識別した被写体ごとに紐づけして記憶装置３１２に記憶させる処理を実行する。端末機器１４００は、画像処理装置３００の記憶装置３１２に記憶された、被写体１０１に紐付けられている、推定された患部領域のサイズに関する情報と患部領域の画像データとを、Ｗｅｂブラウザで確認することができる。
【０１３７】
なお、画像データから被写体を識別する機能、識別した被写体ごとに患部領域の情報或いは画像データを記憶する機能、又は、Ｗｅｂサービスの処理を行う機能は、本実施形態では画像処理装置３００が実施するものとするが、これに限られない。これらの機能の一部または全ては、画像処理装置３００とは別のハードウェアによって実現されてもよい。
【０１３８】
また第５の実施形態の場合、図１４に示すように、被写体１０１には、該被写体を識別する情報としてバーコードタグ１０３が付帯されており、撮影した患部領域１０２の画像データと、バーコードタグ１０３が示す被写体のＩＤとが紐付けられている。なお、被写体を識別するタグは、１次元バーコードタグに限ったものではなく、ＱＲコード（登録商標）などの２次元コードや数値であってもよい。あるいは、被写体を識別するタグは、テキストが記載されたタグでもよく、画像処理装置３００は、搭載しているＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ／Ｒｅａｄｅｒ）機能によってタグのテキストを読み取るようにしてもよい。
【０１３９】
画像処理装置３００のＣＰＵ３１０は、撮影された画像データに含まれるバーコードタグを解析して得られたＩＤと、予め記憶装置３１２に登録されている被写体ＩＤとを照合し、被写体１０１の名前を取得する。なお、撮像装置２００がＩＤの解析を行い、その得られたＩＤを画像処理装置３００に送信する構成としてもよい。
【０１４０】
ＣＰＵ３１０は、患部領域１０２の画像データと患部領域１０２のサイズに関する情報と被写体ＩＤおよび取得した被写体の名前及び撮影日時などに基づくレコードを生成し、記憶装置３１２のデータベースに登録する。
さらに、ＣＰＵ３１０は、端末機器１４００からのリクエストに反応して、記憶装置３１２のデータベースに登録された情報をレスポンスする。
【０１４１】
図１５は、第５の実施形態に係る患部撮影装置１１の動作の流れを示すフローチャートである。図１５の左側のフローの各ステップの処理は撮像装置２００により行われ、右側のフローの各ステップの処理は画像処理装置３００により行われる。図１５に記載された各ステップのうち、図７に示したステップと同じ参照符号が付与されたステップは、図７の対応するステップと同様の処理が行われる。
【０１４２】
撮像装置２００は、ステップＳ４０１及びＳ４３１で画像処理装置３００との接続がなされると、ステップＳ１５０１において、まずユーザ等の撮影者に対し、バーコードタグ１０３を撮影するように指示するメッセージ等を表示装置２２３に表示させる。そして、撮像装置２００は、ユーザからのレリーズ操作に応じて、バーコードタグ１０３の撮影を行う。ステップＳ１５０１の後、撮像装置２００は、ステップＳ４０２に処理を進める。
【０１４３】
バーコードタグ１０３には、前述した被写体１０１を識別する被写体ＩＤとして、患者を識別する患者ＩＤの情報が含まれる。第５の実施形態の場合、撮像装置２００では、バーコードタグ１０３の撮影がなされた後に、患部領域１０２の撮影が行われる。第５の患部撮影装置１１では、撮影日時などで撮影順序が管理され、１つのバーコードタグの画像から次のバーコードタグの画像の手前までが、同一被写体の画像として被写体ＩＤにより識別される。もちろん、患部領域１０２が撮影された後に、バーコードタグ１０３が撮影されるような順序であってもよい。
【０１４４】
ステップＳ４０２からステップＳ７１５まで処理が進むと、通信装置２１９は、画像データと距離情報とを含む１以上の情報を、無線通信により画像処理装置３００に送信する。第５の実施形態の場合、ステップＳ７１５で送信される画像データには、患部領域１０２を撮影した画像データに加えて、ステップＳ１５０１でバーコードタグ１０３を撮影した画像データが含まれる。
【０１４５】
また第５の実施形態の場合、画像処理装置３００は、前述同様のステップＳ７５１からステップＳ７５６まで処理後、ステップＳ１５０２に処理を進める。
ステップＳ１５０２において、ＣＰＵ３１０は、撮像装置２００がステップＳ１５０１で撮影した画像データに含まれるバーコードタグの画像データから、被写体１０１を識別する被写体ＩＤ（つまり患者ＩＤ）を読み取る処理を行う。
【０１４６】
次にステップＳ１５０３において、ＣＰＵ３１０は、読み取った被写体ＩＤを、予め記憶装置３１２のデータベースに登録しておいた被写体のＩＤと照合し、被写体の名前を取得する。
次にステップＳ１５０４において、ＣＰＵ３１０は、患部領域１０２を撮影した画像データ、患部領域１０２のサイズに関する情報、被写体ＩＤ、取得した被写体の名前、及び撮影日時になどに基づくレコードを作成し、記憶装置３１２のデータベースに登録する。
その後、ステップＳ１５０５において、ＣＰＵ３１０は、端末機器１４００からの要求に対する応答として、記憶装置３１２のデータベースに登録された情報を端末機器１４００に送信する。
【０１４７】
図１６と図１７は、端末機器１４００におけるブラウザ表示の一例を示した図である。
図１６は、端末機器１４００に表示されるデータ選択画面の一例を説明するための図である。データ選択画面１６０１は、日付１６０２ごとに仕切り線１６０３で仕切られ、それぞれの日付の領域には撮像時間１６０４ごとにアイコン１６０５が表示されている。アイコン１６０５には、被写体ＩＤと被写体の名前が表示されており、アイコン１６０５は同じ時間帯に撮影された同一の被写体のデータセットを表している。また、データ選択画面１６０１には検索窓１６０６が設けられている。端末機器１４００は、検索窓１６０６に日付、被写体ＩＤ、または被写体の名前がユーザ等から入力された場合、それら入力された情報を基に、データセットを検索する。さらに、端末機器１４００は、ユーザ等によりスクロールバー１６０７が操作された場合、その操作に応じて、限られた表示領域において複数のデータを拡張して表示する。またユーザ等によりアイコン１６０５が選択されてクリックされると、端末機器１４００は、ブラウザにおいてデータ閲覧画面に遷移させ、そのデータセットの画像、及び、被写体のサイズに関する情報を閲覧可能とする。そして、端末機器１４００は、ユーザ等により指定された被写体及び日時を示す要求を画像処理装置３００に送信する。画像処理装置３００は、端末機器１４００からの要求に対応する画像データ及び被写体のサイズに関する情報を、端末機器１４００に送信する。
【０１４８】
図１７は、端末機器１４００のブラウザに表示されるデータ一覧画面の一例を説明するための図である。データ閲覧画面１７０１には、図１６のデータ選択画面１６０１で選択されたデータセットの被写体ＩＤ及び被写体の名前１７０２と、撮影日時及び時間１７０３とが表示されている。また、データ閲覧画面１７０１には、１回の撮影ごとの画像データに基づく画像１７０４と、この画像１７０４における患部領域のサイズと位置に関する情報を含むデータ１７０５とが表示されている。さらに、データ閲覧画面１７０１には、同一の被写体の患部領域を連続して複数撮影した場合の撮影番号１７０６が表示されている。
【０１４９】
これらの構成により、第５の実施形態に係る患部撮影装置１１では、第３の実施形態の患部撮影装置１にて得られる効果に加えて、患部領域１０２の画像データとその解析結果を、被写体ごとに識別して記憶することができる。また、ユーザは、タブレット端末などの端末機器１４００から、Ｗｅｂブラウザを用いて、被写体ＩＤや被写体の名前と関連付けて、患部領域１０２の画像データの解析結果を確認することができる。
【０１５０】
＜その他の実施形態＞
前述した各実施形態では、人や動物の体表面の皮膚の表層に生じた褥瘡等の損傷領域が撮像される例を挙げたが、撮像装置は例えば内視鏡カメラであってもよく、内視鏡カメラにより撮像される被写体は胃壁等の表層に生じた損傷領域であってもよい。その他にも、前述した各実施形態で説明した手法は、例えば建造物の壁面の表層に生じた剥がれなどの損傷領域を特定の領域として認識するような場合にも適用可能である。
【０１５１】
本発明は、上述した各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１５２】
１：患部撮影装置、２００：撮像装置、３００：画像処理装置、３１０：ＣＰＵ、３１１：演算装置、３１７：補助演算装置、３１２：記憶装置
【図１】
2020160853.tif 000003
【図２】
2020160853.tif 000004
【図３】
2020160853.tif 000005
【図４】
2020160853.tif 000006
【図５】
2020160853.tif 000007
【図６】
2020160853.tif 000008
【図７】
2020160853.tif 000009
【図８】
2020160853.tif 000010
【図９】
2020160853.tif 000011
【図１０】
2020160853.tif 000012
【図１１】
2020160853.tif 000013
【図１２】
2020160853.tif 000014
【図１３】
2020160853.tif 000015
【図１４】
2020160853.tif 000016
【図１５】
2020160853.tif 000017
【図１６】
2020160853.tif 000018
【図１７】
2020160853.tif 000019