(57)【要約】【課題】本発明は、話者とその話者に関連する画像とを対応付けることができる医療記録作成装置、該方法および該システムを提供する。【解決手段】本発明の医療記録作成装置を含む管理サーバ装置ＳＶは、互いに異なる複数の位置それぞれに配置された複数のマイクロフォンで集音された所定の時間長の音を取得する音取得部の一例、および、前記所定の時間長の音に時間的に対応付けられ、前記複数のマイクロフォンのうちの少なくとも一部を写し込んだ時系列な複数の画像を取得する画像取得部の一例としてのＳＶ通信ＩＦ部３１と、前記所定の時間長の音のうち、所定の対象音の音源方向を、前記複数のマイクロフォンの各位置から特定される所定の基準位置を基準に検出する音源方向検出部３２２と、前記対象音と、前記対象音に時間的に対応付けられた対象画像と、前記対象音の音源方向とを互いに対応付けて医療記録を作成する医療記録作成部３２３とを備える。【選択図】図７
2019114096.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる複数の位置それぞれに配置された複数のマイクロフォンで集音された所定の時間長の音を取得する音取得部と、
前記所定の時間長の音に時間的に対応付けられ、前記複数のマイクロフォンのうちの少なくとも一部を写し込んだ時系列な複数の画像を取得する画像取得部と、
前記所定の時間長の音のうちの対象となる所定の対象音の音源方向を、前記複数のマイクロフォンの配置された前記複数の位置から特定される所定の基準位置を基準に検出する音源方向検出部と、
前記対象音と、前記時系列な複数の画像のうちから前記対象音に時間的に対応付けられた対象画像と、前記音源方向検出部で検出された前記対象音の音源方向とを互いに対応付けて医療記録を作成する医療記録作成部とを備える、
医療記録作成装置。
【請求項２】
前記医療記録作成部は、
前記所定の時間長の音をテキストに変換するテキスト変換部と、
前記対象画像に対して前記基準位置を求め、前記求めた基準位置を基準に前記対象画像を複数の領域に分割する画像分割部と、
前記画像分割部で分割された複数の領域のうちから、前記音源方向検出部で検出した前記対象音の音源方向に対応する領域を抽出する領域抽出部と、
前記対象音のテキストと、前記対象画像における前記領域抽出部で抽出された前記領域の画像とを互いに対応付けて前記医療記録を作成する作成部とを備える、
請求項１に記載の医療記録作成装置。
【請求項３】
前記医療記録作成部は、さらに、前記所定の時間長の音に基づいて前記対象音の開始時点を求め、前記求めた対象音の開始時点をさらに対応付けて前記医療記録を作成する、
請求項１または請求項２に記載の医療記録作成装置。
【請求項４】
前記医療記録を外部に出力する外部出力部をさらに備える、
請求項１ないし請求項３のいずれか１項に記載の医療記録作成装置。
【請求項５】
互いに異なる複数の位置それぞれに配置された複数のマイクロフォンで集音された所定の時間長の音を取得する音取得工程と、
前記所定の時間長の音に時間的に対応付けられ、前記複数のマイクロフォンのうちの少なくとも一部を写し込んだ時系列な複数の画像を取得する画像取得工程と、
前記所定の時間長の音のうちの対象となる対象音の音源方向を、前記複数のマイクロフォンの配置された前記複数の位置から特定される基準位置を基準に検出する音源方向検出工程と、
前記対象音と、前記時系列な複数の画像のうちから前記対象音に時間的に対応付けられた対象画像と、前記音源方向検出工程で検出された前記対象音の音源方向とを互いに対応付けて医療記録を作成する医療記録作成工程とを備える、
医療記録作成方法。
【請求項６】
画像を生成するカメラを備えるカメラユニットと、互いに異なる複数の位置それぞれに配置された複数のマイクロフォンを備え前記複数のマイクロフォンで集音するマイクユニットと、前記カメラユニットおよび前記マイクユニットそれぞれと通信可能に接続され、前記カメラユニットで生成された画像、および、前記マイクユニットで集音された音を管理する管理サーバ装置とを備える医療記録作成システムであって、
前記管理サーバ装置は、請求項１ないし請求項４のいずれか１項に記載の医療記録作成装置を含む、
医療記録作成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、いわゆるカルテやレセプト等を作成するための基礎的なデータとなる医療記録を自動的に作成する医療記録作成装置、医療記録作成方法および医療記録作成システムに関する。
【背景技術】
【０００２】
近年、我が国（日本）では、超高齢社会の突入に伴って、医療業界、看護業界および介護業界等の業務を補完する技術が、研究、開発されており、例えば、その１つに、特許文献１には、レセプト電算データチェックシステムが提案されている。レセプトとは、病院等の医療機関で医療報酬を請求（保険請求）するために毎月作成される医療報酬の明細書をいい、医療機関は、レセプトを審査機関に提出し、審査機関の審査を通過すると、医療報酬が医療機関に支払われる。レセプトには、医科、歯科の場合に作成される診療報酬明細書、調剤の場合に作成される薬剤報酬明細書、および、訪問看護の場合に作成される訪問看護療養費明細書等の複数種類の明細書がある。
【０００３】
前記特許文献１に開示されたレセプト電算データチェックシステムは、各種診療行為または医薬品がそれぞれ適用される病名に対応付けられてデータベース（１４）として蓄積された記憶部（２）と、レセプトデータ（３）に記憶された診療行為または医薬品が適用される病名を適応病名として記憶部（２）の前記データベース（１４）から取得する取得手段と、該取得手段により取得した適応病名が前記レセプトデータ（３）に含まれているか否かを識別することにより、前記診療行為または医薬品が適切であったか否かを点検する点検手段とを備える。このレセプト電算データチェックシステムでは、適応病名として診療行為または医薬品が標準的に適用される標準病名と、標準病名に近い症状の病名である関連病名とが設けられ、取得手段は、レセプトデータ（３）に記憶された診療行為または医薬品の標準病名および関連病名の全てを適応病名として取得し、点検手段は、取得手段により取得した適応病名の内の何れかが前記レセプトデータ（３）に含まれているか否かを識別し、これによって点検が実施される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−８７１０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、省力化、誤記載防止および記載漏れ防止等のために、診察室での診察、病棟の回診、訪問診療（在宅診療）、往診、看護および介護等の業務中の録音データや画像データ等から、いわゆるカルテやレセプト等を作成するための基礎的なデータとなる医療記録を自動的に作成することが望まれる。この際に、録音データや画像データに複数人の音声や人物が記録されていると、画像の複数の人物（人物画像）のなかから、音声の話者を特定することが難しく、音声と話者とを互いに対応付けた医療記録の自動作成が難しい。
【０００６】
前記特許文献１に開示されたレセプト電算データチェックシステムは、レセプトデータに記憶された診療行為が適切であったか否かを点検しているが、レセプトデータに記憶された診療行為を実施した行為者を特定していない。
【０００７】
本発明は、上述の事情に鑑みて為された発明であり、その目的は、話者とその話者に関連する画像とを対応付けることができる医療記録作成装置、医療記録作成方法および医療記録作成システムを提供することである。
【課題を解決するための手段】
【０００８】
本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる医療記録作成装置は、互いに異なる複数の位置それぞれに配置された複数のマイクロフォンで集音された所定の時間長の音を取得する音取得部と、前記所定の時間長の音に時間的に対応付けられ、前記複数のマイクロフォンのうちの少なくとも一部を写し込んだ時系列な複数の画像を取得する画像取得部と、前記所定の時間長の音のうちの対象となる所定の対象音の音源方向を、前記複数のマイクロフォンの配置された前記複数の位置から特定される所定の基準位置を基準に検出する音源方向検出部と、前記対象音と、前記時系列な複数の画像のうちから前記対象音に時間的に対応付けられた対象画像と、前記音源方向検出部で検出された前記対象音の音源方向とを互いに対応付けて医療記録を作成する医療記録作成部とを備える。好ましくは、上述の医療記録作成装置において、前記音取得部は、互いに異なる複数の位置それぞれに配置された複数のマイクロフォンを備え前記複数のマイクロフォンで集音するマイクユニットである。好ましくは、上述の医療記録作成装置において、前記音取得部は、互いに異なる複数の位置それぞれに配置された複数のマイクロフォンを備え前記複数のマイクロフォンで集音するマイクユニットから、ネットワークを介して、前記マイクユニットにおける複数のマイクロフォンで集音された所定の時間長の音を収容した通信信号を受信する通信部である。好ましくは、上述の医療記録作成装置において、前記画像取得部は、画像を生成するカメラである。好ましくは、上述の医療記録作成装置において、前記画像取得部は、画像を生成するカメラを備えるカメラユニットから、ネットワークを介して、前記カメラユニットで生成した時系列な複数の画像を収容した通信信号を受信する通信部である。好ましくは、上述の医療記録作成装置において、前記所定の対象音は、医療行為で用いられる医療用語を発音した音声を含む。好ましくは、前記医療用語は、病名、薬剤名、治療法名、手術名および医療器具名のうちの少なくともいずれかを含む。好ましくは、上述の医療記録作成装置において、前記所定の対象音は、看護行為で用いられる看護用語を発音した音声を含む。好ましくは、上述の医療記録作成装置において、前記所定の対象音は、介護行為で用いられる介護用語を発音した音声を含む。好ましくは、上述の医療記録作成装置において、前記所定の基準位置は、前記複数のマイクロフォンの配置された前記複数の位置における中央位置（中心位置）である。
【０００９】
このような医療記録作成装置は、対象音と、前記対象音に時間的に対応付けられた対象画像と、前記対象音の音源方向とを互いに対応付けて医療記録を作成する。したがって、前記対象画像から、前記対象音の音源方向に写り込んでいる画像を参照可能となり、上記医療記録作成装置は、前記対象音の話者とその話者に関連する画像とを対応付けることができる。
【００１０】
他の一態様では、上述の医療記録作成装置において、前記医療記録作成部は、前記所定の時間長の音をテキストに変換するテキスト変換部と、前記対象画像に対して前記基準位置を求め、前記求めた基準位置を基準に前記対象画像を複数の領域に分割する画像分割部と、前記画像分割部で分割された複数の領域のうちから、前記音源方向検出部で検出した前記対象音の音源方向に対応する領域を抽出する領域抽出部と、前記対象音のテキストと、前記対象画像における前記領域抽出部で抽出された前記領域の画像とを互いに対応付けて前記医療記録を作成する作成部とを備える。
【００１１】
このような医療記録作成装置は、対象音のテキストと、前記対象音の音源方向に対応する領域の画像とを互いに対応付けて前記医療記録を作成する。したがって、前記対象音の音源方向に対応する領域の画像を参照でき、上記医療記録作成装置は、前記対象音の話者とその話者に関連する画像とを対応付けることができる。
【００１２】
他の一態様では、上述の医療記録作成装置において、前記医療記録作成部は、さらに、前記所定の時間長の音に基づいて前記対象音の開始時点を求め、前記求めた対象音の開始時点をさらに対応付けて前記医療記録を作成する。
【００１３】
このような医療記録作成装置は、前記対象音の開始時点をさらに対応付けて前記医療記録を作成する。したがって、上記医療記録作成装置は、前記時系列な複数の画像のうち、前記対象音の開始時点から、前記画像を参照できる。このため、ユーザは、前記対象音の話者を、前記時系列な複数の画像のうちから、効率的に参照し、確認できる。
【００１４】
他の一態様では、これら上述の医療記録作成装置において、前記医療記録を外部に出力する外部出力部をさらに備える。好ましくは、上述の医療記録作成装置において、表示を行う表示部をさらに備え、前記外部出力部は、前記表示部に前記医療記録を表示することで、前記医療記録を外部に出力する。好ましくは、上述の医療記録作成装置において、通信を行う通信部をさらに備え、前記外部出力部は、前記医療記録を収容する通信信号を所定の外部装置宛に作成し、この作成した通信信号を前記通信部で前記所定の外部装置へ送信することで、前記医療記録を外部に出力する。
【００１５】
これによれば、ユーザは、外部に出力された医療記録を参照できる。
【００１６】
本発明の他の一態様にかかる医療記録作成は、互いに異なる複数の位置それぞれに配置された複数のマイクロフォンで集音された所定の時間長の音を取得する音取得工程と、前記所定の時間長の音に時間的に対応付けられ、前記複数のマイクロフォンのうちの少なくとも一部を写し込んだ時系列な複数の画像を取得する画像取得工程と、前記所定の時間長の音のうちの対象となる対象音の音源方向を、前記複数のマイクロフォンの配置された前記複数の位置から特定される基準位置を基準に検出する音源方向検出工程と、前記対象音と、前記時系列な複数の画像のうちから前記対象音に時間的に対応付けられた対象画像と、前記音源方向検出工程で検出された前記対象音の音源方向とを互いに対応付けて医療記録を作成する医療記録作成工程とを備える。
【００１７】
このような医療記録作成方法は、対象音と、前記対象音に時間的に対応付けられた対象画像と、前記対象音の音源方向とを互いに対応付けて医療記録を作成する。したがって、前記対象画像から、前記対象音の音源方向に写り込んでいる画像を参照可能となり、上記医療記録作成方法は、前記対象音の話者とその話者に関連する画像とを対応付けることができる。
【００１８】
本発明の他の一態様にかかる医療記録作成システムは、画像を生成するカメラを備えるカメラユニットと、互いに異なる複数の位置それぞれに配置された複数のマイクロフォンを備え前記複数のマイクロフォンで集音するマイクユニットと、前記カメラユニットおよび前記マイクユニットそれぞれと通信可能に接続され、前記カメラユニットで生成された画像、および、前記マイクユニットで集音された音を管理する管理サーバ装置とを備える医療記録作成システムであって、前記管理サーバ装置は、これら上述のいずれかの医療記録作成装置を含む。
【００１９】
このような医療記録作成システムは、これら上述のいずれかの医療記録作成装置を含むので、対象音の話者とその話者に関連する画像とを対応付けることができる。
【発明の効果】
【００２０】
本発明にかかる医療記録作成装置、医療記録作成方法および医療記録作成システムは、対象音の話者とその話者に関連する画像とを対応付けることができる。
【図面の簡単な説明】
【００２１】
【図１】実施形態における医療記録作成システムの構成を示す図である。
【図２】前記医療記録作成システムにおけるカメラユニットの構成を示すブロック図である。
【図３】前記医療記録作成システムにおけるマイクユニットの構成を示すブロック図である。
【図４】前記マイクユニットの第１形態を示す外観平面図である。
【図５】前記マイクユニットの第２ないし第４形態を示す外観平面図である。
【図６】前記マイクユニットの第５ないし第７形態を示す外観平面図である。
【図７】前記医療記録作成システムにおける管理サーバ装置の構成を示すブロック図である。
【図８】前記医療記録作成システムにおける、録画情報および録音情報の取得に関する動作を示すシーケンス図である。
【図９】前記管理サーバ装置における、医療記録作成に関する動作を示すフローチャートである。
【図１０】前記医療記録作成システムにおける対象画像の一例を示す図である。
【図１１】前記対象画像を分割した複数の領域を説明するための図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、本発明の１または複数の実施形態が説明される。しかしながら、発明の範囲は、開示された実施形態に限定されない。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
【００２３】
実施形態における医療記録作成システムは、録画（録画データ）および録音（録音データ）に基づいて所定の医療記録を自動的に作成するシステムである。前記医療記録は、いわゆるカルテやレセプト等を作成するための基礎的なデータである。この医療記録作成システムは、画像を生成するカメラを備えるカメラユニットと、互いに異なる複数の位置それぞれに配置された複数のマイクロフォンを備え前記複数のマイクロフォンで集音するマイクユニットと、前記カメラユニットおよび前記マイクユニットそれぞれと通信可能に接続され、前記カメラユニットで生成された画像、および、前記マイクユニットで集音された音を管理する管理サーバ装置とを備える。この管理サーバ装置は、録画（録画データ）および録音（録音データ）に基づいて所定の医療記録を自動的に作成する医療記録作成装置を含む。この医療記録作成装置は、互いに異なる複数の位置それぞれに配置された複数のマイクロフォンで集音された所定の時間長の音を取得する音取得部と、前記所定の時間長の音に時間的に対応付けられ、前記複数のマイクロフォンのうちの少なくとも一部を写し込んだ時系列な複数の画像を取得する画像取得部と、前記所定の時間長の音のうちの対象となる所定の対象音の音源方向を、前記複数のマイクロフォンの配置された前記複数の位置から特定される所定の基準位置を基準に検出する音源方向検出部と、前記対象音と、前記時系列な複数の画像のうちから前記対象音に時間的に対応付けられた対象画像と、前記音源方向検出部で検出された前記対象音の音源方向とを互いに対応付けて医療記録を作成する医療記録作成部とを備える。
【００２４】
前記音取得部は、互いに異なる複数の位置それぞれに配置された複数のマイクロフォンを備え、前記複数のマイクロフォンで集音するマイクユニットであり、前記画像取得部は、画像を生成するカメラであって良い。すなわち、医療記録作成装置は、マイクユニットおよびカメラを一体的に備え、１個の装置として構成されて良い。本実施形態では、１個の医療記録作成装置で複数の対象者（例えば患者や被介護者等）に対する複数の医療記録を作成可能であることから、前記音取得部は、互いに異なる複数の位置それぞれに配置された複数のマイクロフォンを備え前記複数のマイクロフォンで集音するマイクユニットから、ネットワークを介して、前記マイクユニットにおける複数のマイクロフォンで集音された所定の時間長の音を収容した通信信号を受信する通信部であり、前記画像取得部は、画像を生成するカメラを備えるカメラユニットから、ネットワークを介して、前記カメラユニットで生成した時系列な複数の画像を収容した通信信号を受信する前記通信部である。
【００２５】
このような医療記録作成装置を備える医療記録作成システムについて、以下、より具体的に説明する。
【００２６】
図１は、実施形態における医療記録作成システムの構成を示す図である。図２は、前記医療記録作成システムにおけるカメラユニットの構成を示すブロック図である。図３は、前記医療記録作成システムにおけるマイクユニットの構成を示すブロック図である。図４は、前記マイクユニットの第１形態を示す外観平面図である。図５は、前記マイクユニットの第２ないし第４形態を示す外観平面図である。図５Ａは、第２態様のマイクユニットを示し、図５Ｂは、第３のマイクユニットを示し、図５Ｃは、第４のマイクユニットを示す。図６は、前記マイクユニットの第５ないし第７形態を示す外観平面図である。図６Ａは、第５態様のマイクユニットを示し、図６Ｂは、第６のマイクユニットを示し、図６Ｃは、第７のマイクユニットを示す。図７は、前記医療記録作成システムにおける管理サーバ装置の構成を示すブロック図である。
【００２７】
実施形態における医療記録作成システムＭＳは、例えば、図１に示すように、１または複数のカメラユニットＣＵ（図１に示す例ではｋ個のカメラユニットＣＵ−１、ＣＵ−２、ＣＵ−３、・・・、ＣＵ−ｋ）と、マイクユニットＭＵと、これらカメラユニットＣＵ（ＣＵ−１〜ＣＵ−ｋ）およびマイクユニットＭＵそれぞれと通信可能に接続される管理サーバ装置ＳＶとを備える。なお、ｋは２以上の整数であって良い。
【００２８】
ネットワーク（通信回線）ＮＷは、例えば、電話網、データ通信網および移動通信網等を備えて構成され、例えば、ＦＴＰ（Ｆｉｌｅ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）、ＨＴＴＰ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）およびＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）等のいわゆるインターネットプロトコル郡を用いることによってインターネットを構成する。あるいは、ネットワークＮＷは、例えば無線や有線を用いたイーサネット環境のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）であっても良い。なお、イーサネットは、登録商標である。
【００２９】
カメラユニットＣＵは、通信機能を有し、画像を生成するカメラを備える装置である。このようなカメラユニットＣＵは、例えば、図２に示すように、音声付きの画像を生成するために、撮像部１１と、カメラ側マイクロフォン（ＣＵマイクロフォン）１２と、カメラ側制御処理部（ＣＵ制御処理部）１３と、カメラ側通信インターフェース部（ＣＵ通信ＩＦ部）１４と、カメラ側記憶部（ＣＵ記憶部）１５とを備える。
【００３０】
撮像部１１は、ＣＵ制御処理部１３と接続され、ＣＵ制御処理部１３の制御に従って時系列な複数の画像（画像データ）を生成する装置（デバイス）である。撮像部１１は、２４ｆｐｓや３０ｆｐｓで時系列な複数の画像（いわゆる動画）を生成して良いが、時系列な複数の画像から後述のように話者が特定できれば良いので、フレームレートは、これ以下であっても良く、これ以上であっても良い。撮像部１１は、患者等全体を撮像できる蓋然性が高いことから、診察室の天井、病室の天井および住戸等の居室における天井等に配置され、診察室、病室および住戸等の居室等を撮像対象としてその上方から撮像し、前記撮像対象を俯瞰した画像を生成し、前記撮像対象の画像をＣＵ制御処理部１３へ出力する。本実施形態では、在宅医療の際のカルテ作成やレセプト作成を好適に支援できる観点から、撮像部１１は、患者等が所在を予定している住戸ＨＭ等の居室（部屋）に配置されている。このように配設されることによって、患者等が診療を受けると、医師Ｄｒや看護師ＮＳも、前記患者等と共に撮像される。
【００３１】
このような撮像部１１は、例えば、本実施形態では、撮像対象の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記撮像対象の光学像を電気的な信号に変換するエリアイメージセンサ、および、エリアイメージセンサの出力を画像処理することで前記撮像対象の画像を表すデータである画像データを生成する画像処理部等を備えるデジタルカメラである。撮像部１１の前記結像光学系は、本実施形態では、その配設された居室ＲＭ全体を撮像できる画角を持つ広角な光学系（いわゆる広角レンズ（魚眼レンズを含む））であることが好ましい。
【００３２】
ＣＵマイクロフォン１２は、ＣＵ制御処理部１３と接続され、音声付きの画像を生成するために、可聴領域の音の機械振動信号を電気信号に変換することによって、音をカメラユニットＣＵに入力するための装置（デバイス）である。ＣＵマイクロフォン１２は、撮像部１１の周辺に併設される。
【００３３】
ＣＵ通信ＩＦ部１４は、ＣＵ制御処理部１３に接続され、ＣＵ制御処理部１３の制御に従って通信を行うための通信回路である。ＣＵ通信ＩＦ部１４は、ＣＵ制御処理部１３から入力された転送すべきデータを収容した通信信号を、この医療記録作成システムＭＳのネットワークＮＷで用いられる通信プロトコルに従って生成し、この生成した通信信号をネットワークＮＷを介して管理サーバ装置ＳＶ等の他の装置へ送信する。ＣＵ通信ＩＦ部１４は、ネットワークＮＷを介して管理サーバ装置ＳＶ等の他の装置から通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータをＣＵ制御処理部１３が処理可能な形式のデータに変換してＣＵ制御処理部１３へ出力する。ＣＵ通信ＩＦ部１４は、例えば、データ通信する通信カード、あるいは、ＩＥＥＥ８０２．１１規格等に従った通信インターフェース回路を備えて構成される。
【００３４】
ＣＵ記憶部１６は、ＣＵ制御処理部１３に接続され、ＣＵ制御処理部１３の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、カメラユニットＣＵの各部を当該各部の機能に応じてそれぞれ制御するＣＵ制御プログラムや、診療スケジュールに従って撮像部１１およびＣＵマイクロフォン１２それぞれで音声付きで録画するＣＵ記録プログラムや、前記ＣＵ記録プログラムで生成された音声付きの時系列な複数の画像（画像データ）を管理サーバ装置ＳＶへ送信するＣＵ記録送信プログラムや、年月日時分秒で計時するＣＵ時計プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、自機の、カメラユニットＣＵを特定し識別するための識別子であるカメラユニット識別子（カメラＩＤ）、管理サーバ装置ＳＶの通信アドレス、および、前記診療スケジュール等の、各プログラムを実行する上で必要なデータ等が含まれる。前記診療スケジュールは、医師や介護士や看護師等が患者等へ訪問する際の訪問の開始予定時刻を表す情報であり、管理サーバ装置ＳＶから受信され、ＣＵ記憶部１５に記憶される。なお、前記診療スケジュールには、前記訪問の終了予定時刻が含まれても良い。ＣＵ記憶部１５は、例えば不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）や書き換え可能な不揮発性の記憶素子であるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等を備える。そして、ＣＵ記憶部１５は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆるＣＵ制御処理部１３のワーキングメモリとなるＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等を含む。
【００３５】
ＣＵ制御処理部１３は、カメラユニットＣＵの各部１１、１２、１４、１５を当該各部１１、１２、１４、１５の機能に応じてそれぞれ制御し、音声付きの画像を生成し、この音声付きの画像を管理サーバ装置ＳＶへ送信するための回路である。より具体的には、本実施形態では、ＣＵ制御処理部１３は、年月日時分秒で計時する。ＣＵ制御処理部１３は、診療スケジュールを収容した通信信号（予定通知通信信号）を管理サーバ装置ＳＶから受信すると、この予定通知通信信号に収容された診療スケジュールを取り出してＣＵ記憶部１５に記憶する。ＣＵ制御処理部１３は、ＣＵ記憶部１５に記憶された診療スケジュールの開始予定時刻（あるいは開始予定時刻の数分前の時刻）になると、録画の開始時刻を記憶し、撮像部１１に時系列な複数の画像（画像データ）を生成させ、ＣＵマイクロフォン１２に音データを生成させ、これによって音声付きで録画を開始して時刻情報（あるいは経過時間情報）と共に録画を続ける。ＣＵ制御処理部１３は、例えば、ＣＵマイクロフォン１２で予め設定されたレベル以上の音が予め設定された所定の時間、集音されなくなると、あるいは、終了予定時刻（終了予定時刻の数分後の時刻）になると、この音声付きの録画を終了する。ＣＵ制御処理部１３は、この録画を終了すると、自機のカメラＩＤ、前記録画の開始時刻、および、音声付きの時系列な複数の画像（画像データ）を収容した通信信号（録画情報通知通信信号）を管理サーバ装置ＳＶへ送信する。ＣＵ制御処理部１３は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）およびその周辺回路を備えて構成される。
【００３６】
図１には、一例として、複数ｋ個のカメラユニットＣＵ−１、ＣＵ−２、ＣＵ−３、・・・、ＣＵ−ｋが示されており、各カメラユニットＣＵそれぞれは、住戸ＨＭ−１、ＨＭ−２、ＨＭ−３、・・・、ＨＭ−ｋ等における、例えば診療（在宅医療）や看護（訪問看護）や介護（訪問介護）等を受ける患者Ｏｂ等の各居室（部屋）に配置されている。
【００３７】
マイクユニットＭＵは、通信機能を有し、対象となる所定の対象音の音源方向を検出するために、互いに異なる複数の位置それぞれに配置された複数のマイクロフォンを備え、前記複数のマイクロフォンで集音する装置である。マイクユニットＭＵは、カメラユニットＣＵと同様に、患者等の各居室（部屋）に予め配置されても良いが、本実施形態では、患者等を訪問する医師や看護師や介護士等に携行され、診療や看護や介護等の際に前記患者等の居室に配置される。このようなマイクユニットＭＵは、例えば、図３に示すように、複数のマイク側マイクロフォン（ＭＵマイクロフォン）２１と、マイク側制御処理部（ＭＵ制御処理部）２２と、マイク側通信インターフェース部（ＭＵ通信ＩＦ部）２３と、マイク側記憶部（ＭＵ記憶部）２４と、これらを収容するハウジングＨＧ（ＨＧａ〜ＨＧｇ、図４ないし図６参照）とを備える。
【００３８】
複数のＭＵマイクロフォン２１は、それぞれ、ＣＵマイクロフォン１２と同様に、ＭＵ制御処理部２２と接続され、可聴領域の音の機械振動信号を電気信号に変換することによって、音をマイクユニットＭＵに入力するための装置（デバイス）である。複数のＭＵマイクロフォン２１は、複数ｍ個の第１ないし第ｍＭＵマイクロフォン２１−１〜２１−ｍを含み、これら第１ないし第ｍＭＵマイクロフォン２１−１〜２１−ｍは、ハウジングＨＧにおける互いに異なる複数の位置それぞれに配置される。より具体的には、後述する。
【００３９】
ＭＵ通信ＩＦ部２３は、ＣＵ通信ＩＦ部１４と同様に、ＭＵ制御処理部２２に接続され、ＭＵ制御処理部２２の制御に従って通信を行うための通信回路である。ＭＵ通信ＩＦ部２３は、例えば、データ通信する通信カード、あるいは、ＩＥＥＥ８０２．１１規格等に従った通信インターフェース回路を備えて構成される。
【００４０】
ＭＵ記憶部２４は、ＣＵ記憶部１６と同様に、ＭＵ制御処理部２２に接続され、ＭＵ制御処理部２２の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、マイクユニットＭＵの各部を当該各部の機能に応じてそれぞれ制御するＭＵ制御プログラムや、図略の電源スイッチの投入（オン）によって録音するＭＵ記録プログラムや、前記ＭＵ記録プログラムで生成された音（音データ、音声データ）を管理サーバ装置ＳＶへ送信するＭＵ記録送信プログラムや、年月日時分秒で計時するＭＵ時計プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、自機の、マイクユニットＭＵを特定し識別するための識別子であるマイクユニット識別子（マイクＩＤ）、および、管理サーバ装置ＳＶの通信アドレス等の、各プログラムを実行する上で必要なデータ等が含まれる。ＭＵ記憶部２４は、例えばＲＯＭ、ＥＥＰＲＯＭおよびＲＡＭ等を備える。
【００４１】
ＭＵ制御処理部２２は、ＣＵ制御処理部１３と同様に、マイクユニットＭＵの各部２１、２３、２４を当該各部２１、２３、２４の機能に応じてそれぞれ制御し、録音し、この録音した音を管理サーバ装置ＳＶへ送信するための回路である。より具体的には、本実施形態では、ＭＵ制御処理部２２は、年月日時分秒で計時する。ＭＵ制御処理部２２は、図略の前記電源スイッチが投入（オン）されると、録音の開始時刻を記憶し、複数のＭＵマイクロフォン２１によって録音を開始して時刻情報（あるいは経過時間情報）と共に録音を続け、複数のＭＵマイクロフォン２１のいずれからも予め設定されたレベル以上の音が予め設定された所定の時間、集音されなくなると、あるいは、図略の前記電源スイッチが切られる（オフされる）と、録音を終了する。ＭＵ制御処理部２２は、録音を終了すると、自機のマイクＩＤ、録音の開始時刻および録音の音（音データ、音声データ）を収容した通信信号（録音情報通知通信信号）を管理サーバ装置ＳＶへ送信する。ＭＵ制御処理部２２は、例えば、ＣＰＵおよびその周辺回路を備えて構成される。なお、録音の音は、カメラユニットＣＵを介して、カメラユニットＣＵによる録画の画像と一緒に、あるいは、カメラユニットＣＵによる録画の画像とは別に、管理サーバ装置ＳＶへ送信されても良い。
【００４２】
なお、音のファイルフォーマットは、種々のフォーマットを利用することができるが、ＢＷＦ（Ｂｒｏａｄｃａｓｔ  Ｗａｖｅ  Ｆｏｒｍａｔ）が好ましい。このＢＷＦは、ファイルにメタデータを含めることができ、タイムコードをファイルに含めることができ、別に録画された画像と容易に同期をとることができる。
【００４３】
ここで、対象音の音源方向を検出するためには、マイクユニットＭＵの方向を検出する必要がある。本実施形態では、後述のように、対象音の音源方向は、画像の一部領域で表される。このため、本実施形態では、後述のように、マイクユニットＭＵの配置位置が画像から検出され、マイクユニットＭＵの方向が前記画像から検出される。このマイクユニットＭＵの方向を画像から検出可能とするために、本実施形態では、例えば、ハウジングＨＧにマークが設けられる。あるいは、例えば、ハウジングＨＧの形状が非対称とされている。より具体的には、一例として、図４ないし図６に示すように、マイクユニットＭＵは、マイクユニットＭＵの方向を表すために、第１ないし第７態様のマイクユニットＭＵａ〜ＭＵｇのいずれかである。第１ないし第４態様のマイクユニットＭＵａ〜ＭＵｄでは、マイクユニットＭＵの方向は、マーク２５ａ〜２５ｄによって表され、第５ないし第７態様のマイクユニットＭＵｅ〜ＭＵｇでは、マイクユニットＭＵの方向は、非対称なハウジングＨＧｅ〜ＨＧｇの形状によって表されている。
【００４４】
第１態様のマイクユニットＭＵａは、図４に示すように、平面視にて対称な円形であって例えばドーム状のハウジングＨＧａを備える。ハウジングＨＧａは、上述の複数のＭＵマイクロフォン２１、ＭＵ制御処理部２２、ＭＵ通信ＩＦ部２３およびＭＵ記憶部２４を収容する。図４に示す例では、複数のＭＵマイクロフォン２１は、８個の第１ないし第８ＭＵマイクロフォン２１−１〜２１−８を含み、これら８個の第１ないし第８ＭＵマイクロフォン２１−１〜２１−８は、平面視にてハウジングＨＧａの周辺部に、同心円上の周方向に等間隔（８個のため、４５度間隔）で配設されている。ハウジングＨＧａの表面上には、４個の第１ないし第４マーク２５ａ−１〜２５ａ−４が非対称な位置に設けられている。図４に示す例では、第２および第４マーク２５ａ−２、２５ａ−４それぞれは、前記円形の中心を通る中心線上に所定の間隔を空けてハウジングＨＧａの表面上に配置され、第１および第３マーク２５ａ−１、２５ａ−３それぞれは、前記中心線に直交し、かつ、前記円形の中心を通らない線上（図４では、前記円形の中心から図４の紙面上上方に寄った線上）に所定の間隔を空けてハウジングＨＧａの表面上に配置される。これら第１ないし第４マーク２５ａ−１〜２５ａ−４は、第２ないし第４態様のマイクユニットＭＵｂ〜ＭＵｄにおけるマーク２５ｂ〜２５ｄも同様に、例えば、ハウジングＨＧａの表面色と異なる色とすることで形成されて良く、あるいは、例えば、ＬＥＤ（発光ダイオード）等の発光体で形成されて良い。第１態様のマイクユニットＭＵａでは、非対称に配置された第１ないし第４マーク２５ａ−１〜２５ａ−４を画像から検出することによって、マイクユニットＭＵの方向が検出できる。例えば、第４マーク２５ａ−４の位置から第２マーク２５ａ−２の位置に向かう方向がマイクユニットＭＵの方向とされる。
【００４５】
第２態様のマイクユニットＭＵｂは、図５Ａに示すように、第１態様のマイクユニットＭＵａと同様なハウジングＨＧｂおよび８個の第１ないし第８ＭＵマイクロフォン２１−１〜２１−８を備えるが、マーク２５ｂは、第１態様のマイクユニットＭＵａと異なり、１個で形成されている。このマーク２５ｂは、前記円形の中心を除く周方向の任意の位置でハウジングＨＧａの表面上に配置される。第２態様のマイクユニットＭＵｂでは、１個のマーク２５ｂを画像から検出することによって、マイクユニットＭＵの方向が検出できる。例えば、ハウジングＨＧｂにおける前記円形の中心の位置からマーク２５ｂの位置に向かう方向がマイクユニットＭＵの方向とされる。
【００４６】
第３態様のマイクユニットＭＵｃは、図５Ｂに示すように、第１態様のマイクユニットＭＵａと同様なハウジングＨＧｃおよび８個の第１ないし第８ＭＵマイクロフォン２１−１〜２１−８を備えるが、マーク２５ｃは、第１態様のマイクユニットＭＵａと異なり、１個だけ異なる色（発光色）を持つ４個の第１ないし第４マーク２５ｃ−１〜２５ｃ−４を備えて形成されている。図５Ｂに示す例では、第２ないし第４マーク２５ｃ−２〜２５ｃ−４は、同色（同発光色）であり、第１マーク２５ｃ−１は、これら第２ないし第４マーク２５ｃ−２〜２５ｃ−４の色と異なる色（発光色）である。これら第１ないし第４マーク２５ｃ−１〜２５ｃ−４は、平面視にてハウジングＨＧｃの周辺部に、同心円上の周方向に等間隔（４個のため、９０度間隔）でハウジングＨＧｃの表面上に配置される。第３態様のマイクユニットＭＵｃでは、異色の第１マーク２５ｃ−１を画像から検出することによって、マイクユニットＭＵの方向が検出できる。例えば、ハウジングＨＧｃにおける前記円形の中心の位置から第１マーク２５ｃ−１の位置に向かう方向がマイクユニットＭＵの方向とされる。
【００４７】
第４態様のマイクユニットＭＵｄは、図５Ｃに示すように、第１態様のマイクユニットＭＵａと同様なハウジングＨＧｄおよび８個の第１ないし第８ＭＵマイクロフォン２１−１〜２１−８を備えるが、マーク２５ｄは、第１態様のマイクユニットＭＵａと異なり、互いに異なる色（発光色）を持つ４個の第１ないし第４マーク２５ｄ−１〜２５ｄ−４を備えて形成されている。これら第１ないし第４マーク２５ｄ−１〜２５ｄ−４は、平面視にてハウジングＨＧｄの周辺部に、同心円上の周方向に等間隔でハウジングＨＧｄの表面上に配置される。第４態様のマイクユニットＭＵｄでは、異色の第１ないし第４マーク２５ｄ−１〜２５ｄ−４のうちの予め特定された色（特定色）を持つマーク２５ｄを画像から検出することによって、マイクユニットＭＵの方向が検出できる。例えば、ハウジングＨＧｄにおける前記円形の中心の位置から前記特定色のマーク２５ｄ（一例では第１マーク２５ｄ−１）の位置に向かう方向がマイクユニットＭＵの方向とされる。
【００４８】
第５態様のマイクユニットＭＵｅは、図６Ａに示すように、平面視にて非対称な四辺形であって例えばドーム状のハウジングＨＧｅを備える。ハウジングＨＧｅは、上述の複数のＭＵマイクロフォン２１、ＭＵ制御処理部２２、ＭＵ通信ＩＦ部２３およびＭＵ記憶部２４を収容する。図６Ａに示す例では、複数のＭＵマイクロフォン２１は、４個の第１ないし第４ＭＵマイクロフォン２１−１〜２１−４を含み、これら４個の第１ないし第４ＭＵマイクロフォン２１−１〜２１−４は、平面視にてハウジングＨＧｅの周辺部に、同心円上の周方向に等間隔（４個のため、９０度間隔）で配設されている。
【００４９】
第６態様のマイクユニットＭＵｆは、図６Ｂに示すように、平面視にて円弧の一部を交差する２直線とした非対称な大略円形であって例えばドーム状のハウジングＨＧｆを備える。ハウジングＨＧｅは、上述の複数のＭＵマイクロフォン２１、ＭＵ制御処理部２２、ＭＵ通信ＩＦ部２３およびＭＵ記憶部２４を収容する。図６Ｂに示す例では、複数のＭＵマイクロフォン２１は、８個の第１ないし第８ＭＵマイクロフォン２１−１〜２１−８を含み、これら８個の第１ないし第８ＭＵマイクロフォン２１−１〜２１−８は、第１ないし第４態様のマイクユニットＭＵａ〜ＭＵｄと同様に、平面視にてハウジングＨＧｅの周辺部に、同心円上の周方向に等間隔で配設されている。
【００５０】
第７態様のマイクユニットＭＵｇは、図６Ｃに示すように、平面視にて円弧の一部を切り欠いて１つの直線とした非対称な大略円形であって例えばドーム状のハウジングＨＧｇを備える。ハウジングＨＧｇは、上述の複数のＭＵマイクロフォン２１、ＭＵ制御処理部２２、ＭＵ通信ＩＦ部２３およびＭＵ記憶部２４を収容する。図６Ｃに示す例では、複数のＭＵマイクロフォン２１は、４個の第１ないし第４ＭＵマイクロフォン２１−１〜２１−４を含み、これら４個の第１ないし第４ＭＵマイクロフォン２１−１〜２１−４は、平面視にてハウジングＨＧｇの周辺部に、同心円上の周方向に等間隔で配設されている。
【００５１】
これら第５ないし第７態様のマイクユニットＭＵｅ〜ＭＵｇでは、非対称なハウジングＨＧｅ〜ＨＧｇの形状を画像から検出することによって、マイクユニットＭＵの方向が検出できる。例えば、非対称なハウジングＨＧｅ〜ＨＧｇの形状における予め特定された方向（特定方向）がマイクユニットＭＵの方向とされる。
【００５２】
なお、これら第５ないし第７態様のマイクユニットＭＵｅ〜ＭＵｇでは、ハウジングＨＧｅ〜ＨＧｇの表面上には、第１ないし第４態様のマイクユニットＭＵａ〜ＭＵｄのように、マーク２５ａ〜２５ｄは、設けられていないが、マーク２５ａ〜２５ｄのようなマーク２５がさらに設けられても良い。
【００５３】
管理サーバ装置ＳＶは、通信機能を有し、各カメラユニットＣＵ−１〜ＣＵ−ｋで生成された各画像、および、マイクユニットＭＵで集音された所定の時間長の音を管理する装置である。管理サーバ装置ＳＶは、カメラユニットＣＵ−１〜ＣＵ−ｋで生成された時系列な複数の画像（画像データ）およびマイクユニットＭＵで集オンされた所定の時間長の音（音データ、音声データ）に基づいて所定の医療記録を自動的に作成する医療記録作成装置を含む。このような管理サーバ装置ＳＶは、例えば、図７に示すように、サーバ側通信インターフェース部（ＳＶ通信ＩＦ部）３１と、サーバ側制御処理部（ＳＶ制御処理部）３２と、サーバ側記憶部（ＳＶ記憶部）３３と、サーバ側入力部（ＳＶ入力部）３４と、サーバ側表示部（ＳＶ表示部）３５と、サーバ側インターフェース部３６（ＳＶＩＦ部）とを備える。
【００５４】
ＳＶ通信ＩＦ部３１は、ＣＵ通信ＩＦ部１４と同様に、ＳＶ制御処理部３２に接続され、ＳＶ制御処理部３２の制御に従って通信を行うための通信回路である。ＳＶ通信ＩＦ部３２は、例えば、データ通信する通信カード、あるいは、ＩＥＥＥ８０２．１１規格等に従った通信インターフェース回路を備えて構成される。ＳＶ通信ＩＦ部３１は、本実施形態では、互いに異なる複数の位置それぞれに配置された複数のマイクロフォンで集音された所定の時間長の音を取得する音取得部の一例に相当し、そして、前記所定の時間長の音に時間的に対応付けられ、前記複数のマイクロフォンのうちの少なくとも一部を写し込んだ時系列な複数の画像を取得する画像取得部の一例にも相当する。
【００５５】
ＳＶ入力部３４は、ＳＶ制御処理部３２に接続され、開始を指示するコマンド等の各種コマンド、および、例えば後述の診療スケジュールや後述の所定の対応関係等の管理や医療記録を作成する上で必要な各種データを管理サーバ装置ＳＶに入力する装置であり、例えば、キーボードやマウス等である。ＳＶ表示部３５は、ＳＶ制御処理部３２に接続され、ＳＶ制御処理部３２の制御に従って、ＳＶ入力部３４から入力されたコマンドやデータ、および、医療記録等を出力する装置であり、例えばＣＲＴディスプレイ、ＬＣＤ（液晶表示装置）および有機ＥＬディスプレイ等の表示装置である。ＳＶＩＦ部３６は、ＳＶ制御処理部３２に接続され、ＳＶ制御処理部３２の制御に従って、外部機器との間でデータの入出力を行う回路であり、例えば、シリアル通信方式であるＲＳ−２３２Ｃのインターフェース回路、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格を用いたインターフェース回路、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｃｏｉａｔｉｏｎ）規格等の赤外線通信を行うインターフェース回路、および、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）規格を用いたインターフェース回路等である。
【００５６】
ＳＶ記憶部２４は、ＣＵ記憶部１６と同様に、ＳＶ制御処理部３２に接続され、ＳＶ制御処理部３２の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば管理サーバ装置ＳＶを制御し、所定の情報処理を実行する制御処理プログラムが含まれ、この制御処理プログラムには、例えば、管理サーバ装置ＳＶの各部を当該各部の機能に応じてそれぞれ制御するＳＶ制御プログラムや、マイクユニットＭＵから受信した所定の時間長の音のうちの、対象となる所定の対象音の音源方向を、マイクユニットＭＵにおける複数のＭＵマイクロフォン２１の配置された複数の位置から特定される所定の基準位置を基準に検出する音源方向検出プログラムや、前記対象音と、カメラユニットＣＵから受信した時系列な複数の画像のうちから前記対象音に時間的に対応付けられた対象画像と、前記音源方向検出プログラムで検出された前記対象音の音源方向とを互いに対応付けて医療記録を作成する医療記録作成プログラムや、前記医療記録を外部に出力する外部出力プログラムや、年月日時分秒で計時する時計プログラム等が含まれる。前記医療記録作成プログラムには、前記所定の時間長の音をテキストに変換するテキスト変換プログラムや、前記テキスト変換プログラムで変換されたテキストから、前記対象音のテキストを抽出する対象音抽出プログラム（対象テキスト抽出プログラム）や、前記対象画像に対して前記基準位置を求め、この求めた基準位置を基準に前記対象画像を複数の領域に分割する画像分割プログラムや、前記画像分割プログラムで分割された複数の領域のうちから、前記音源方向検出プログラムで検出した前記対象音の音源方向に対応する領域を抽出する領域抽出プログラムや、前記対象音のテキストと、前記対象画像における前記領域抽出プログラムで抽出された前記領域の画像とを互いに対応付けて前記医療記録を作成する作成プログラム等が含まれる。前記各種の所定のデータには、自機の、管理サーバ装置ＳＶを特定し管理サーバ装置ＳＶを識別するための識別子であるサーバ識別子（サーバＩＤ）や、カメラユニットＣＵから受信した音声付きの時系列な複数の画像（画像データ）、マイクユニットＭＵから受信した所定の時間長の音（音データ、音声データ）、前記医療記録作成プログラムで作成された医療記録、診療スケジュール、ならびに、各装置間等の対応関係等の、各プログラムを実行する上で必要なデータ等が含まれる。ＳＶ記憶部３３は、例えばＲＯＭ、ＥＥＰＲＯＭおよびＲＡＭ等を備える。これら各種の所定のデータを記憶するために、ＳＶ記憶部３３は、録画情報記憶部３３１、録音情報記憶部３３２、医療記録情報記憶部３３３、診療スケジュール情報記憶部３３４および対応関係情報記憶部３３５を機能的に備える。
【００５７】
録画情報記憶部３３１は、カメラユニットＣＵから受信した時系列な複数の画像（画像データ）を記憶するものである。本実施形態では、カメラユニットＣＵが複数であるので、これらは、カメラユニットＣＵのカメラＩＤと対応付けて録画情報記憶部３３１に記憶される。より具体的には、本実施形態では、録画情報記憶部３３１は、カメラユニットＣＵから受信した音声付きの時系列な複数の画像（画像データ）をファイル名（録画ファイル名）を付して記憶し、カメラユニットＣＵから受信した音声付きの時系列な複数の画像（画像データ）のファイルの録画ファイル名、前記音声付きの時系列な画像を生成した前記カメラユニットＣＵのカメラＩＤ、および、年月日時分秒で表された前記音声付きの時系列な画像の生成を開始した開始時刻（録画の開始時刻）を互いに対応付けて記憶する。
【００５８】
録音情報記憶部３３２は、マイクユニットＭＵから受信した所定の時間長の音（音データ、音声データ）を記憶するものである。本実施形態では、複数のマイクユニットＭＵに対応可能とするために、これらは、マイクユニットＭＵのマイクＩＤと対応付けて録音情報記憶部３３２に記憶される。より具体的には、本実施形態では、録音情報記憶部３３２は、マイクユニットＭＵから受信した所定の時間長の音をファイル名（録音ファイル名）を付して記憶し、マイクユニットＭＵから受信した所定の時間長の音のファイルの録音ファイル名、前記音を集音した前記マイクユニットＭＵのマイクＩＤ、および、年月日時分秒で表された前記音の集音を開始した開始時刻（録音の開始時刻）を互いに対応付けて記憶する。
【００５９】
医療記録情報記憶部３３３は、前記医療記録を記憶するものである。より具体的には、本実施形態では、医療記録情報記憶部３３３は、対象音のテキスト、前記対象音に時間的に対応付けられた対象画像における前記対象音の音源方向に対応する領域の画像、前記対象音のテキストを抽出した元の、前記所定の時間長の音のファイルの録音ファイル名、前記対象画像を抽出した元の、前記音声付きの時系列な複数の画像のファイルの録画ファイル名、および、前記所定の時間長の音における前記対象音の開始時点を互いに対応付けて記憶する。
【００６０】
診療スケジュール情報記憶部３３４は、診療スケジュールを記憶するものである。より具体的には、本実施形態では、診療スケジュール情報記憶部３３４は、医師や看護師や介護士等の氏名、医師や看護師や介護士等が患者等を訪問する際における訪問先の前記患者等の氏名、および、前記訪問の開始予定時刻を互いに対応付けて記憶する。
【００６１】
対応関係情報記憶部３３５は、各装置間等の、所定の対応関係を表す情報を記憶するものである。より具体的には、本実施形態では、対応関係情報記憶部３３５は、カメラユニット対応関係およびマイクユニット対応関係を記憶する。前記カメラユニット対応関係は、カメラユニットＣＵのカメラＩＤと、このカメラユニットＣＵが配置されている居室に居る患者等の氏名との対応関係を表す。前記マイクユニット対応関係は、マイクユニットＭＵのマイクＩＤと、このマイクユニットを携行する医師や看護師や介護士等の氏名と、このマイクユニットＭＵを携行する日付との対応関係を表す。
【００６２】
ＳＶ制御処理部３２は、管理サーバ装置ＳＶの各部を当該各部の機能に応じてそれぞれ制御し、各カメラユニットＣＵ−１〜ＣＵ−ｋで生成された各画像、および、マイクユニットＭＵで集音された所定の時間長の音を管理し、これらに基づいて医療記録を作成するための回路である。ＳＶ制御処理部３２は、例えば、ＣＰＵおよびその周辺回路を備えて構成される。ＳＶ制御処理部３２は、前記制御処理プログラムが実行されることによって、サーバ側制御部（ＳＶ制御部）３２１、音源方向検出部３２２、医療記録作成部３２３、外部出力部３２４および時計部３２５を機能的に備える。
【００６３】
ＳＶ制御部３２１は、管理サーバ装置ＳＶの各部２１、２３を当該各部２１、２３の機能に応じてそれぞれ制御し、管理サーバ装置ＳＶの全体制御を司るものである。
【００６４】
音源方向検出部３２２は、マイクユニットＭＵから受信した所定の時間長の音のうちの、対象となる所定の対象音の音源方向を、マイクユニットＭＵにおける複数のＭＵマイクロフォン２１の配置された複数の位置から特定される所定の基準位置を基準に検出するものである。より具体的には、音源方向検出部３２２は、マイクユニットＭＵから受信した所定の時間長の音のうちの、前記対象音を含む一文の音声から、いわゆるビームフォーミング法を用いることで、前記音源方向を前記基準位置を基準に検出する。前記ビームフォーミング法は、公知技術であり、例えば特開２００７−２８６１３６号公報（特許第５０１４６６２号公報）に開示されている（例えばその［００３１］段落および図３参照）。前記ビームフォーミング法では、音源（話者）から到来する音（音声）を複数のＭＵマイクロフォン２１それぞれでその各配置位置と前記音源との各距離に応じた各時間差で集音することから、複数のＭＵマイクロフォン２１で検出した各音データの各信号レベルと各位相差とに基づき、音源方向が検出される。
【００６５】
前記所定の対象音は、例えば、医療行為で用いられる医療用語を発音した音声を含む。前記医療用語は、例えば、病名、薬剤名、治療法名、手術名および医療器具名のうちの少なくともいずれかを含む。なお、前記所定の対象音は、看護行為で用いられる看護用語を発音した音声を含んでも良く、介護行為で用いられる介護用語を発音した音声を含んでも良い。前記所定の基準位置は、マイクユニットＭＵにおける複数のマイクロフォン２１の配置された複数の位置から特定され得る位置であれば任意の位置であって良いが、本実施形態では、例えば、前記複数のマイクロフォンの配置された前記複数の位置における中央位置（中心位置）である。
【００６６】
医療記録作成部３２３は、前記対象音と、カメラユニットＣＵから受信した時系列な複数の画像のうちから前記対象音に時間的に対応付けられた対象画像と、音源方向検出部３２２で検出された前記対象音の音源方向とを互いに対応付けて医療記録を作成し、この作成した医療記録を医療記録情報記憶部３３３に記憶するものである。本実施形態では、医療記録作成部３２３は、さらに、前記所定の時間長の音に基づいて前記対象音の開始時点を求め、この求めた対象音の開始時点をさらに対応付けて前記医療記録を作成する。より具体的には、医療記録作成部３２３は、前記所定の時間長の音をテキストに変換し、前記対象画像に対して前記基準位置を求め、この求めた基準位置を基準に前記対象画像を複数の領域に分割し、この分割された複数の領域のうちから、音源方向検出部３２２で検出した前記対象音の音源方向に対応する領域を抽出し、前記所定の時間長の音に基づいて前記対象音の開始時点を求め、そして、前記対象音のテキストと、前記対象画像における前記抽出された前記領域の画像と、前記対象音の開始時点とを互いに対応付けて前記医療記録を作成する。より詳しくは、医療記録作成部３２３は、テキスト変換部３２３１、対象音抽出部（対象テキスト抽出部）３２３２、画像分割部３２３３、領域抽出部３２３４、作成部３２３５を機能的に備える。
【００６７】
テキスト変換部３２３１は、前記所定の時間長の音をテキストに変換する。音声をテキストに変換する変換技術は、公知技術であり、例えば特開２００６−２４３５７５号公報（特許第４７３６４７８号公報）に開示され（例えばその［００２７］段落および［００２８］段落）、そして、例えばＡｍｉＶｏｉｃｅ（株式会社アドバンスト・メディア製）等の音声認識ソフトとして流通している。そして、本実施形態では、テキスト変換部３２３１は、音声認識結果のテキスト（テキストデータ）に加えて、その音声認識結果と元の前記音声（音声データ）とを対応付けるための時刻情報（時点情報）も付随して出力する。
【００６８】
対象音抽出部（対象テキスト抽出部）３２３２は、テキスト変換部３２３１で変換されたテキストから、前記対象音のテキストを抽出するものである。例えば、対象音として抽出すべきテキストデータ（対象音辞書情報）がＳＶ記憶部３３に予め記憶され、対象音抽出部（対象テキスト抽出部）３２３２は、テキスト変換部３２３１で変換されたテキストから、前記対象音辞書情報に登録されているテキストデータを検索し、この検索したテキストデータとその開始時点（対象音の開始時点）と、前記テキストに変換される前の元の音声データ（音データ）のファイル名とを互いに対応付けてＳＶ記憶部３３に記憶する。
【００６９】
画像分割部３２３３は、前記対象画像に対して前記基準位置を求め、この求めた基準位置を基準に前記対象画像を複数の領域に分割するものである。より具体的には、本実施形態では、例えば、ＭＵマイクロフォン２１の外観形状がＳＶ記憶部３３に予め記憶された、画像分割部３２３３は、ＭＵマイクロフォン２１の外観形状を用いたパターンマッチングによって、前記対象画像から複数のＭＵマイクロフォン２１における各位置を検出し、これら各位置から前記対象画像における前記基準位置を求め、この求めた基準位置を中心に４５度ずつの放射状に前記対象画像を８個の領域に分割するものである。この際に、画像分割部３２３３は、複数８個の領域における各境界のうちの１つの境界がマイクユニットＭＵの方向に一致するように、前記複数８個の領域に分割する。なお、複数のＭＵマイクロフォン２１の各配置位置関係を用いることによって、複数のＭＵマイクロフォン２１の一部が前記対象画像に写り込んでいない場合でも、前記基準位置を求めることができる。この場合において、好ましくは、マイクユニットＭＵの形状も用いられる。
【００７０】
領域抽出部３２３４は、画像分割部３２３３で分割された複数の領域のうちから、音源方向検出部３２２で検出した前記対象音の音源方向に対応する領域を抽出するものである。
【００７１】
作成部３２３５は、前記対象音のテキストと、前記対象画像における領域抽出部３２３４で抽出された前記領域の画像とを互いに対応付けて前記医療記録を作成し、この作成した医療記録を医療記録情報記憶部３３３に記憶するものである。本実施形態では、作成部３２３５は、さらに、対象音抽出部３２３２で抽出された対象音のテキストに対応付けてＳＶ記憶部３３に記憶された前記開始時点（前記対象音の開始時点）も、これら前記対象音のテキストと、前記対象画像における領域抽出部３２３４で抽出された前記領域の画像とに互いに対応付けて前記医療記録を作成し、この作成した医療記録を医療記録情報記憶部３３３に記憶する。なお、前記対象画像における領域抽出部３２３４で抽出された前記領域の画像は、前記対象画像の静止画であって良く、前記対象画像を含む所定の時間長の動画であっても良い。
【００７２】
外部出力部３２４は、医療記録作成部３２３で作成した前記医療記録を外部に出力するものである。より具体的には、外部出力部３２４は、医療記録作成部３２３で作成した前記医療記録をＳＶ表示部３５に表示することで、前記医療記録を外部に出力する。なお、これに代え、あるいは、これに加えて、外部出力部３２４は、医療記録作成部３２３で作成した前記医療記録を収容する通信信号（医療記録通知通信信号）を所定の外部装置宛に作成し、この作成した医療記録通知通信信号をＳＶ通信ＩＦ３１で前記所定の外部装置へ送信することで、前記医療記録を外部に出力しても良い。前記所定の外部装置は、例えば、前記ネットワークＮＷを介して管理サーバ装置ＳＶに通信可能に接続される端末装置（例えば、通信機能付きのデスクトップ型コンピュータや通信機能的のタブレット型コンピュータやスマートフォン等）である。
【００７３】
時計部３２５は、年月日時分秒で計時するものである。
【００７４】
このような管理サーバ装置ＳＶは、例えば、通信機能付きのコンピュータによって構成可能である。
【００７５】
次に、本実施形態の動作について説明する。図８は、前記医療記録作成システムにおける、録画情報および録音情報の取得に関する動作を示すシーケンス図である。図９は、前記管理サーバ装置における、医療記録作成に関する動作を示すフローチャートである。図１０は、前記医療記録作成システムにおける対象画像の一例を示す図である。図１１は、前記対象画像を分割した複数の領域を説明するための図である。
【００７６】
上記構成の医療記録作成システムＭＳでは、各装置ＣＵ、ＳＶは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。管理サーバ装置ＳＶでは、その制御処理プログラムの実行によって、ＳＶ制御処理部２２には、ＳＶ制御部２２１、音源方向検出部３２２、医療記録作成部３２３、外部出力部３２４および時計部３２５が機能的に構成される。医療記録作成部３２３には、テキスト変換部３２３１、対象音抽出部（対象テキスト抽出部）３２３２、画像分割部３２３３、領域抽出部３２３４および作成部３２３５が機能的に作成される。
【００７７】
ここで、本実施形態における医療記録作成システムＭＳでは、カメラユニットＣＵ、マイクユニットＭＵおよび管理サーバ装置ＳＶは、互いに時刻が同期されている。例えば、カメラユニットＣＵ、マイクユニットＭＵおよび管理サーバ装置ＳＶは、それぞれ、ＮＴＰサーバから日本標準時の時刻情報を受信することによって、互いに時刻が同期される。カメラユニットＣＵおよび管理サーバ装置ＳＶは、それぞれ、１日１回、所定の時刻（例えば０時等）になると、ＮＴＰサーバから日本標準時の時刻情報を受信し、時計合わせする。マイクユニットＭＵは、電源スイッチが投入（オン）されると、ＮＴＰサーバから日本標準時の時刻情報を受信し、時計合わせする。
【００７８】
以下、まず、録画情報および録音情報の取得に関する動作について説明し、次に、医療記録作成に関する動作について説明し、そして、医療記録の参照に関する動作について説明する。
【００７９】
録画情報および録音情報の取得に関する動作では、図８において、まず、医師等のユーザ（オペレータ）は、管理サーバ装置ＳＶのＳＶ入力部３４から診療スケジュールを入力する（Ｃ１１）。より具体的には、ユーザは、自己の氏名、訪問先の患者等の氏名および前記訪問の開始予定時刻をＳＶ入力部から入力する。
【００８０】
診療スケジュールの入力をＳＶ入力部３４で受け付けると、管理サーバ装置ＳＶは、ＳＶ制御処理部３２によって、この受け付けた診療スケジュールをＳＶ記憶部３３４に記憶し、診療スケジュールを収容した予定通知通信信号を前記訪問先の患者等の居室に配置されたカメラユニットＣＵへ送信する（Ｃ１２）。より具体的には、ＳＶ制御処理部３２は、まず、ＳＶ入力部３４から入力された医師等のユーザの氏名、訪問先の患者等の氏名および前記訪問の開始予定時刻を互いに対応付けて診療スケジュールとして診療スケジュール情報記憶部３３４に記憶する。次に、ＳＶ制御処理部３２は、対応関係情報記憶部３３５に記憶されたカメラユニット対応関係から、ＳＶ入力部３４から入力された訪問先の患者等の氏名に対応するカメラユニットＣＵのカメラＩＤを検索し、この検索したカメラＩＤを持つカメラユニットＣＵの通信アドレスをＳＶ記憶部３３から取得する。そして、ＳＶ制御処理部３２は、この取得したカメラユニットＣＵの通信アドレスを送信先アドレスとして、ＳＶ入力部３４から入力された医師等のユーザの氏名および前記訪問の開始予定時刻を収容した予定通知通信信号を生成し、この生成した予定通知通信信号をＳＶ通信ＩＦ部２１で前記検索したカメラユニットＣＵへ送信する。なお、自機宛の診療スケジュールであるか否かを検証するために、予定通知通信信号には、さらに、前記検索したカメラＩＤが収容されても良い。
【００８１】
カメラユニットＣＵは、この予定通知通信信号を受信すると（Ｃ１３）、この受信した予定通知通信信号に収容された診療スケジュールを取り出してＣＵ記憶部１５に記憶する（Ｃ１４）。この例では、カメラユニットＣＵは、予定通知通信信号に収容された医師等のユーザの氏名および前記訪問の開始予定時刻を互いに対応付けて前記診療スケジュールとしてＣＵ記憶部１５に記憶する。
【００８２】
そして、カメラユニットＣＵは、ＣＵ制御処理部１３によって年月日時分秒で計時し、前記訪問の開始予定時刻（あるいは開始予定時刻の数分前の時刻）になると、ＣＵ制御処理部１３によって、生成の開始時刻（録画の開始時刻）を記憶し、撮像部１１に時系列な複数の画像（画像データ）を生成させ、ＣＵマイクロフォン１２に音データを生成させ、これによって音声付きで録画を開始して時刻情報（あるいは経過時間情報）と共に録画を続ける（Ｃ２１−１）。
【００８３】
一方、医師等は、診療スケジュールに従って訪問先の患者等の居室を訪れると、携行したマイクユニットＭＵを前記居室に配置し、その電源スイッチを投入（オン）する。前記電源スイッチが投入（オン）されると、マイクユニットＭＵは、ＭＵ制御処理部２２によって、録音の開始時刻を記憶し、複数のＭＵマイクロフォン２１によって録音を開始して時刻情報（あるいは経過時間情報）と共に録音を続ける（Ｃ２１−２）。
【００８４】
続いて、カメラユニットＣＵは、ＣＵ制御処理部１３によって、ＣＵマイクロフォン１２で予め設定されたレベル以上の音が予め設定された所定の時間、集音されなくなると、終了予定時刻（終了予定時刻の数分後の時刻）になると、この音声付きの録画を終了する（Ｃ２２−１）。なお、前記予定通知通信信号に前記診療スケジュールとして終了予定時刻が収容されている場合には、ＣＵ制御処理部１３は、前記終了予定時刻（前記終了予定時刻の数分後の時刻）になると、この音声付きの録画を終了しても良い。
【００８５】
この録画を終了すると、カメラユニットＣＵは、ＣＵ制御処理部１３によって、自機のカメラＩＤ、前記録画の開始時刻、および、音声付きの時系列な複数の画像（画像データ）を収容した録画情報通知通信信号を管理サーバ装置ＳＶ宛に生成し、この生成した録画情報通知通信信号をＣＵ通信ＩＦ部１４で管理サーバ装置ＳＶへ送信する（Ｃ２３−１）。
【００８６】
一方、マイクユニットＭＵは、ＭＵ制御処理部２２によって、複数のＭＵマイクロフォン２１のいずれからも予め設定されたレベル以上の音が予め設定された所定の時間、集音されなくなると、録音を終了する（Ｃ２２−２）。なお、図略の前記電源スイッチが切られる（オフされる）と、ＭＵ制御処理部２２は、録音を終了しても良い。
【００８７】
録音を終了すると、マイクユニットＭＵは、ＭＵ制御処理部２２によって、自機のマイクＩＤ、前記録音の開始時刻および録音の音（音データ、音声データ）を収容した録音情報通知通信信号を管理サーバ装置ＳＶ宛に生成し、この生成した録音情報通知通信信号をＭＵ通信ＩＦ部２３で管理サーバ装置ＳＶへ送信する（Ｃ２３−２）。
【００８８】
前記録画情報通知通信信号を受信すると（Ｃ２４−１）、管理サーバ装置ＳＶは、ＳＶ制御処理部３２によって、この受信した録画情報通信信号に収容された時系列な複数の画像（画像データ）をＳＶ記憶部３３に記憶する（Ｃ２５−１）。より具体的には、ＳＶ制御処理部３２は、前記受信した録画情報通信信号に収容された音声付きの時系列な複数の画像（画像データ）を録画ファイル名を付して録画情報記憶部３３１に記憶し、ＳＶ制御処理部３２は、前記音声付きの時系列な複数の画像（画像データ）のファイルの録画ファイル名、前記受信した録画情報通信信号に収容されたカメラＩＤ（すなわち、前記音声付きの時系列な画像を生成した前記カメラユニットＣＵのカメラＩＤ）、および、前記受信した録画情報通信信号に収容された録画の開始時刻（すなわち、前記音声付きの時系列な画像の生成を開始した開始時刻）を互いに対応付けて録画情報記憶部３３１に記憶する。これによってカメラユニットＣＵで生成された時系列な複数の画像が取得され、ＳＶ記憶部３３に記憶（記録）される。
【００８９】
一方、前記録音情報通知通信信号を受信すると（Ｃ２４−２）、管理サーバ装置ＳＶは、ＳＶ制御処理部３２によって、この受信した録音情報通信信号に収容された所定の時間長の音（音データ、音声データ）をＳＶ記憶部３３に記憶する（Ｃ２５−２）。より具体的には、ＳＶ制御処理部３２は、前記受信した録音情報通信信号に収容された所定の時間長の音を録音ファイル名を付して記憶し、ＳＶ制御処理部３２は、前記所定の時間長の音のファイルの録音ファイル名、前記受信した録音情報通信信号に収容されたマイクＩＤ（すなわち、前記音を集音した前記マイクユニットＭＵのマイクＩＤ）、および、前記受信した録音情報通信信号に収容された録音の開始時刻（すなわち、前記音の集音を開始した開始時刻）を互いに対応付けて録音情報記憶部３３２に記憶する。これによってマイクユニットＭＵで生成された所定の時間長の音が取得され、ＳＶ記憶部３３に記憶（記録）される。
【００９０】
このような動作によって、カメラユニットＣＵおよびマイクユニットＭＵそれぞれから、訪問中における時系列な複数の画像およびその際の音（音声）それぞれを、管理サーバ装置ＳＶは、取得し、記憶（記録）する。
【００９１】
次に、医療記録作成に関する動作では、医療記録の作成に携わるユーザ（オペレータ）は、まず、管理サーバ装置ＳＶのＳＶ入力部３４から、医療記録を作成する対象の時系列な複数の画像を決定するために、管理サーバ装置ＳＶで管理されている前記時系列な複数の画像を表示させる指示を入力する。
【００９２】
この指示の入力をＳＶ入力部３４で受け付けると、管理サーバ装置ＳＶは、ＳＶ制御処理部３２によって、録画情報記憶部３３１に記憶されている音声付きの時系列な複数の画像（画像データ）の録画ファイル名を例えば一覧表でＳＶ表示部３５に表示する。なお、前記一覧表には、録画ファイル名だけでなく、この録画ファイル名を持つ音声付きの時系列な複数の画像を生成したカメラユニットＣＵ（また、このカメラユニットＣＵが配置されている居室に居る患者等の氏名）、この録画ファイル名を持つ音声付きの時系列な複数の画像を生成したカメラユニットＣＵが配置されている居室を訪問した医師等の氏名、および、この録画ファイル名を持つ音声付きの時系列な複数の画像を生成した録画の開始時刻も含まれて良い。
【００９３】
前記録画ファイル名がＳＶ表示部３５に表示されると、前記ユーザは、管理サーバ装置ＳＶのＳＶ入力部３４から、医療記録を作成する対象の時系列な複数の画像の録画ファイル名を指定し、医療記録の作成開始を指示する。
【００９４】
これら指定および指示の入力をＳＶ入力部３４で受け付けると、管理サーバ装置ＳＶは、ＳＶ制御処理部３２の医療記録作成部３２３によって、前記指定された録画ファイル名を持つ時系列な複数の画像に対応する、録音情報記憶部３３２に記憶された所定の時間長の音をビームフォーミング処理することによって、目的音方向の音源に分離した音源分離ファイルを生成し（Ｓ１０）、これをテキスト化する（Ｓ１１）。より具体的には、医療記録作成部３２３は、まず、録画情報記憶部３３１から、前記指定された録画ファイル名に対応付けられているカメラＩＤおよび録画の開始時刻を取り出す。次に、医療記録作成部３２３は、対応関係情報記憶部３３５に記憶されているカメラユニット対応関係から、前記取り出したカメラＩＤに対応付けられている患者等の氏名を取り出す。次に、医療記録作成部３２３は、診療スケジュール情報記憶部３３４から、前記取り出した患者等の氏名に対応付けられ、かつ、前記取り出した録画の開始時刻に最も近い訪問の開始予定時刻に対応付けられている医師等の氏名を取り出す。次に、医療記録作成部３２３は、対応関係情報記憶部３３５に記憶されているマイクユニット対応関係から、前記取り出した医師等の氏名に対応付けられ、かつ、前記取り出した録画の開始時刻の日付に対応付けられているマイクＩＤを取り出す。次に、医療記録作成部３２３は、録音情報記憶部３３２から、前記取り出したマイクＩＤに対応付けられ、かつ、前記取り出した録画の開始時刻に最も近い録音の開始時刻に対応付けられた録音ファイル名を取り出し、この取り出した録音ファイル名を持つファイルの前記所定の時間長の音（音データ、音声データ）からビームフォーミング処理によって生成した音声分離ファイルを取り出す。そして、医療記録作成部３２３は、テキスト変換部３２３１によって、この所定の時間長の音（音データ、音声データ）の音源分離ファイルをテキストに変換する。
【００９５】
次に、医療記録作成部３２３は、対象音抽出部３２３２によって、処理Ｓ１１で変換されたテキストから、前記対象音のテキストを抽出する（Ｓ１２）。より具体的には、対象音抽出部３２３２は、音声認識結果のテキストそれぞれを、対象音として抽出すべきテキストデータ（対象音辞書情報）と比較し、この比較の結果、前記対象音辞書情報と一致する音声認識結果のテキストを抽出し、その時刻情報（時点情報）と共に、ＳＶ記憶部３３に記憶する。なお、対象音のテキストが複数抽出された場合には、対象音抽出部３２３２は、全てＳＶ記憶部３３に記憶する。以下、前記所定の時間長の音から複数の対象音が検出されたものとして説明するが、前記所定の時間長の音から１個の対象音が検出された場合も同様に説明できる。
【００９６】
次に、管理サーバ装置ＳＶは、ＳＶ制御処理部３２の医療記録作成部３２３によって、前記指定された対象の時系列な複数の画像から、前記対象音に時間的に対応付けられた対象画像を抽出する（Ｓ１３）。より具体的には、医療記録作成部３２３は、ＳＶ記憶部３３に記憶した各対象音それぞれについて、前記指定された対象の時系列な複数の画像から、前記対象音の時刻情報（時点情報）に対応する時点の画像（フレーム）を前記対象画像として抽出し、前記対象音に対応付けてＳＶ記憶部３３に記憶する。なお、時刻情報（時点情報）が実際の年月日時分秒ではなく、経過時間で録画および録音が実施されている場合には、録画の開始時刻および録音の開始時刻に用いることで、前記指定された対象の時系列な複数の画像と前記所定の時間長の音とは、時間的に同期できる。
【００９７】
次に、管理サーバ装置ＳＶは、ＳＶ制御処理部３２における医療記録作成部３２３の画像分割部３２３３によって、対象画像における基準位置を抽出する（Ｓ１４）。より具体的には、画像分割部３２３３は、ＳＶ記憶部３３に記憶した各対象音それぞれに対応付けられた各対象画像それぞれについて、ＭＵマイクロフォン２１の外観形状を用いたパターンマッチングによって、前記対象画像から複数のＭＵマイクロフォン２１における各位置を検出し、これら各位置から前記対象画像における前記基準位置を求め、前記対象画像に対応付けてＳＶ記憶部３３に記憶する。例えば、画像分割部３２３３は、前記複数のＭＵマイクロフォン２１の配置された前記複数の位置における中央位置（中心位置）を前記基準位置として求める。
【００９８】
次に、管理サーバ装置ＳＶは、画像分割部３２３３によって、前記対象画像を複数の領域に分割する（Ｓ１５）。より具体的には、画像分割部３２３３は、ＳＶ記憶部３３に記憶した各対象音それぞれに対応付けられた各対象画像それぞれについて、複数の領域における各境界のうちの１つの境界がマイクユニットＭＵの方向に一致するように、前記求めた基準位置を中心に放射状に前記対象画像を複数の領域に分割する。例えば、図１０に示す対象画像の場合、図１１に示すように、処理Ｓ１４によって基準位置ＲＰが抽出され、処理Ｓ１５によって、複数８個の領域における各境界のうちの１つの境界がマイクユニットＭＵの方向に一致するように、前記基準位置ＲＰを中心に４５度ずつ放射状に前記対象画像が８個の領域ＡＲ−１〜ＡＲ−８に分割される。例えば、第８領域ＡＲ−８と第１領域ＡＲ−１との境界（偶数個に分割されているので、すなわち、第４領域ＡＲ−４と第５領域ＡＲ−５との境界）がマイクユニットＭＵの方向に一致している。ここで、図１０に示す対象画像には、ベッドＢＤに横臥する患者Ｏｂと、ベッドサイドに配置された載置台（テーブル）ＴＢ上に載置されたマイクユニットＭＵと、このマイクユニットＭＵの周囲に立っている医師Ｄｒ、看護師ＮＳおよび家族ＰＳとが写り込んでいる。この図１０に示す対象画像が図１１に示すように８個の領域ＡＲ−１〜ＡＲ−８に分割されると、患者Ｏｂは、第１および第８領域ＡＲ−１、ＡＲ−８の方向に存在し、医師Ｄｒは、第２領域ＡＲ−２の方向に存在し、看護師ＮＳは、第５領域の方向に存在し、そして、家族ＰＳは、第３領域ＡＲ−３の方向に存在している。
【００９９】
次に、管理サーバ装置ＳＶは、ＳＶ制御処理部３２の音源方向検出部３２２によって、対象音の音源方向を検出する（Ｓ１６）。より具体的には、音源方向検出部３２２は、ＳＶ記憶部３３に記憶した対象音それぞれについて、その時刻情報（時点情報）で、前記所定の時間長の音（音データ、音声データ）から、例えばいわゆるビームフォーミング法を用いることで、前記対象音の音源方向を前記基準位置を基準に検出し、前記対象音に対応付けてＳＶ記憶部３３に記憶する。例えば、図４に示す第１態様のマイクユニットＭＵが用いられ、図１０に示す対象画像で医師Ｄｒが前記対象音を話すと、前記ビームフォーミング法によって、第４ＭＵマイクロフォン２１−４と第５ＭＵマイクロフォン２１−５との間の方向が前記対象音の音源方向として検出される。
【０１００】
次に、管理サーバ装置ＳＶは、ＳＶ制御処理部３２における医療記録作成部３２３の領域抽出部３２３４によって、前記処理Ｓ１５で画像分割部３２３３によって分割された複数の領域のうちから、前記処理Ｓ１６で音源方向検出部３２２によって検出した前記対象音の音源方向に対応する領域を抽出する（Ｓ１７）。例えば、図１０および図１１に示す例で医師Ｄｒが前記対象音を話すと、第２領域ＡＲ−２の画像が、前記対象音の音源方向に対応する領域の画像となる。
【０１０１】
次に、管理サーバ装置ＳＶは、ＳＶ制御処理部３２の医療記録作成部３２３によって、前記対象音と、前記対象音に時間的に対応付けられた前記対象画像と、前記対象音の音源方向とを互いに対応付けて医療記録を作成し、この作成した医療記録をＳＶ記憶部３３に記憶し（Ｓ１８）、本処理を終了する。より具体的には、医療記録作成部３２３は、その作成部３２３５によって、前記対象音のテキストと、前記対象画像における領域抽出部３２３４で抽出された前記領域の画像とを互いに対応付けて前記医療記録を作成し、この作成した医療記録を医療記録情報記憶部３３３に記憶する。より詳しくは、本実施形態では、作成部３２３５は、ＳＶ記憶部３３に記憶した各対象音それぞれについて、前記対象音のテキスト、前記対象音に時間的に対応付けられた対象画像における前記対象音の音源方向に対応する領域の画像、上述のように取り出された録音ファイル名（すなわち、前記対象音のテキストを抽出した元の、前記所定の時間長の音のファイルの録音ファイル名）、前記指定された対象の時系列な複数の画像の録画ファイル名（すなわち、前記対象画像を抽出した元の、前記音声付きの時系列な複数の画像のファイルの録画ファイル名）、および、前記対象音のテキストに付随した時刻情報（時点情報）（すなわち、前記所定の時間長の音における前記対象音の開始時点）を互いに対応付けて前記医療記録として医療記録情報記憶部３３３に記憶する。なお、医療記録情報記憶部３３３に他の時系列な複数の画像に基づく医療記録が既に記憶されている場合には、この処理Ｓ１８によって、医療記録が追加され、更新される。
【０１０２】
このような動作によって、医師等の患者等への訪問中に、カメラユニットＣＵで生成された時系列な複数の画像およびマイクユニットＭＵで集音された所定の時間長の音から、医療記録が作成される。
【０１０３】
そして、医療記録の参照に関する動作では、医療記録の作成に携わるユーザ（オペレータ）は、まず、管理サーバ装置ＳＶのＳＶ入力部３４から、参照したい対象の医療記録を決定するために、管理サーバ装置ＳＶで管理されている医療記録を表示させる指示を入力する。
【０１０４】
この指示の入力をＳＶ入力部３４で受け付けると、管理サーバ装置ＳＶは、ＳＶ制御処理部３２によって、録画情報記憶部３３１に記憶されている音声付きの時系列な複数の画像（画像データ）の録画ファイル名およびその医療記録の有無を例えば一覧表でＳＶ表示部３５に表示する。なお、前記一覧表には、録画ファイル名およびその医療記録の有無だけでなく、この録画ファイル名を持つ音声付きの時系列な複数の画像を生成したカメラユニットＣＵ（また、このカメラユニットＣＵが配置されている居室に居る患者等の氏名）、この録画ファイル名を持つ音声付きの時系列な複数の画像を生成したカメラユニットＣＵが配置されている居室を訪問した医師等の氏名、および、この録画ファイル名を持つ音声付きの時系列な複数の画像を生成した録画の開始時刻も含まれて良い。
【０１０５】
前記録画ファイル名およびその医療記録の有無がＳＶ表示部３５に表示されると、前記ユーザは、管理サーバ装置ＳＶのＳＶ入力部３４から、医療記録の有る、参照したい対象の医療記録の録画ファイル名を指定し、医療記録の表示を指示する。
【０１０６】
これら指定および指示の入力をＳＶ入力部３４で受け付けると、管理サーバ装置ＳＶは、ＳＶ制御処理部３２の外部出力部３２４によって、医療記録情報記憶部３３３から、前記指定された録画ファイル名に対応する医療記録を取り出し、この取り出した医療記録をＳＶ表示部３５に表示する。より具体的には、外部出力部３２４は、医療記録情報記憶部３３３から、前記指定された録画ファイル名に対応付けられている対象音のテキスト、前記対象音の音源方向に対応する領域の画像、および、前記所定の時間長の音における前記対象音の開始時点を取り出し、これらをＳＶ表示部３５に表示する。
【０１０７】
これによって、前記ユーザは、ＳＶ表示部３５に表示された医療記録を参照できる。上述では、前記対象音の開始時点も表示されるので、前記指定された録画ファイル名を持つ前記時系列な複数の画像のうち、前記対象音の開始時点から、前記画像を参照できる。このため、前記ユーザは、前記対象音の話者を、前記時系列な複数の画像のうちから、効率的に参照し、確認できる。
【０１０８】
このような動作によって、医療記録が参照される。
【０１０９】
以上説明したように、本実施形態における医療記録作成システムＭＳ、医療記録作成装置を含む管理サーバ装置ＳＶおよびこれに実装された医療記録作成方法は、対象音と、前記対象音に時間的に対応付けられた対象画像と、前記対象音の音源方向とを互いに対応付けて医療記録を作成する。したがって、前記対象画像から、前記対象音の音源方向に写り込んでいる画像を参照可能となり、そこには、前記対象音の話者が写り込んでいる可能性が高いから、上記医療記録作成システムＭＳ、医療記録作成装置および医療記録作成方法は、前記対象音の話者とその話者に関連する画像とを対応付けることができる。
【０１１０】
さらに本実施形態では、上記医療記録作成システムＭＳ、医療記録作成装置および医療記録作成方法は、対象音のテキストと、前記対象音の音源方向に対応する領域の画像とを互いに対応付けて前記医療記録を作成する。したがって、前記対象音の音源方向に対応する領域の画像を参照でき、前記領域の画像には、前記対象音の話者が写り込んでいる蓋然性が高いから、上記医療記録作成システムＭＳ、医療記録作成装置および医療記録作成方法は、前記対象音の話者とその話者に関連する画像とを対応付けることができる。
【０１１１】
上記医療記録作成システムＭＳ、医療記録作成装置および医療記録作成方法は、前記対象音の開始時点をさらに対応付けて前記医療記録を作成する。したがって、上記医療記録作成システムＭＳ、医療記録作成装置および医療記録作成方法は、前記時系列な複数の画像のうち、前記対象音の開始時点から、前記画像を参照できる。このため、ユーザは、前記対象音の話者を、前記時系列な複数の画像のうちから、効率的に参照し、確認できる。
【０１１２】
なお、上述の実施形態では、診療スケジュールは、管理サーバ装置ＳＶに入力されると、速やかにカメラユニットＣＵへ送信されたが、予め設定された定時ごとに管理サーバ装置ＳＶからカメラユニットＣＵへ送信されても良い。
【０１１３】
また、上述の実施形態では、カメラユニットＣＵは、診療スケジュールに従って時系列な複数の画像を生成して録画したが、マイクユニットＭＵの電源スイッチが投入（オン）されると、マイクユニットＭＵが前記時系列な複数の画像の生成および録画を指示（指示を送信）し、これを受けてカメラユニットＣＵは、前記時系列な複数の画像を生成して録画しても良い。
【０１１４】
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
【符号の説明】
【０１１５】
ＭＳ  医療記録作成システム
ＳＶ  管理サーバ装置（医療記録作成装置が含まれる）
ＣＵ  カメラユニット
ＭＵ  マイクユニット
１１  撮像部
１３  カメラ側制御処理部（ＣＵ制御処理部）
１４  カメラ側通信インターフェース部（ＣＵ通信ＩＦ部）
１５  カメラ側記憶部（ＣＵ記憶部）
２１（２１−１〜２１−ｍ）  マイク側マイクロフォン（ＭＵマイクロフォン）
２２  マイク側制御処理部（ＭＵ制御処理部）
２３  マイク側通信インターフェース部（ＭＵ通信ＩＦ部）
２４  マイク側記憶部（ＭＵ記憶部）
３１  サーバ側通信インターフェース部（ＳＶ通信ＩＦ部）
３２  サーバ側制御処理部（ＳＶ制御処理部）
３３  サーバ側記憶部（ＳＶ記憶部）
３２１  サーバ側制御部（ＳＶ制御部）
３２２  音源方向検出部
３２３  医療記録作成部
３２４  外部出力部
３２５  時計部
３２３１  テキスト変換部
３２３２  対象音抽出部（対象テキスト抽出部）
３２３３  画像分割部
３２３４  領域抽出部
３２３５  作成部
【図１】
2019114096.tif 000003
【図２】
2019114096.tif 000004
【図３】
2019114096.tif 000005
【図４】
2019114096.tif 000006
【図５】
2019114096.tif 000007
【図６】
2019114096.tif 000008
【図７】
2019114096.tif 000009
【図８】
2019114096.tif 000010
【図９】
2019114096.tif 000011
【図１０】
2019114096.tif 000012
【図１１】
2019114096.tif 000013