【事件の表示】
　特願２０２０−　　８２５４号「支援システム及び支援プログラム」拒絶査定不服審判事件〔請求項の数（２）〕について，次のとおり審決する。
【結　論】
　原査定を取り消す。
　本願の発明は，特許すべきものとする。
【理　由】
第１．手続の経緯
　本願は，令和１年９月２７日を出願日とする特願２０１９−１７７２０７号の一部を令和２年１月２２日に新たな特許出願としたものであって，同日付けで上申書が提出され，同年１月３０日付けで拒絶理由が通知され，同年３月３日付けで意見書が提出されるとともに手続補正がされたが，同年３月１８日付けで拒絶査定（以下「原査定」という。）がされ，これに対し，同年６月８日に拒絶査定不服審判の請求がされると同時に手続補正がされ，同年６月１８日付け手続補正指令がされ，同年７月１０日に手続補正（方式）がされたものである。
第２．原査定の概要
　原査定の概要は次のとおりである。
　本願の請求項１，２に係る発明は，以下の引用文献１−３に基いて，その発明の属する技術の分野における通常の知識を有する者（以下「当業者」という。）が容易に発明できたものであるから，特許法第２９条第２項の規定により特許を受けることができない。
　　　　　　　　　　　　　　　　　　　記
・請求項　１，２
・引用文献等　１−３
＜＜引用文献等一覧＞＞
１．特開２０１３−１１４３１５号公報
２．特開２０１７−１１１７３１号公報（新たに引用される文献：周知技術を示す文献）
３．特開２０１８−９６８３４号公報（新たに引用される文献：周知技術を示す文献）
第３．本願発明
　本願請求項１，２に係る発明（以下「本願発明１」，「本願発明２」という。）は，令和２年６月８日付けの手続補正で補正された特許請求の範囲の請求項１，２に記載された事項により特定される，以下のとおりの発明である。
「【請求項１】
　少なくとも患者又は被介護者を含む対象者を支援する支援者に利用される端末装置を備える支援システムであって，
　前記端末装置は，前記対象者に関する撮像対象を撮像した撮像画像を受け付け，
　前記支援システムは，
　前記端末装置が受け付けた前記撮像画像に基づいて，前記患者の看護又は介護に関する情報を特定し，特定した前記患者の看護又は介護に関する情報を，格納装置に格納する処理手段，を備え，
　前記端末装置は，第１の日時に前記撮像対象を撮像した第１の撮像画像と，前記第１の日時よりも後の日時である第２の日時に前記撮像対象を撮像した第２の撮像画像を受け付け，
　前記処理手段は，
　前記端末装置が受け付けた前記第１の撮像画像に基づいて，前記患者の看護又は介護に関する第１の数値情報を特定する第１処理と，
　前記端末装置が受け付けた前記第２の撮像画像に基づいて，前記患者の看護又は介護に関する第２の数値情報を特定する第２処理と，
　前記第１処理の処理結果及び前記第２処理の処理結果に基づいて，前記第１の数値情報と前記第２の数値情報との差分値を演算し，演算された当該差分値を示す情報を，前記格納装置に格納する第３処理と，を行い，
　前記撮像対象は，液体を収容する収容パックを含み，
　前記処理手段は，
　前記第１処理において，
　教師有り機械学習を行うことにより予め生成されている画像認識用モデルを用いて，前記端末装置が受け付けた前記第１の撮像画像の画像認識を行うことにより，前記第１の撮像画像に写っている前記収容パックの種類と当該収容パックに収容されている液体の量を示す前記第１の数値情報とを特定し，
　前記第２処理において，
　前記画像認識用モデルを用いて，前記端末装置が受け付けた前記第２の撮像画像の画像認識を行うことにより，前記第２の撮像画像に写っている前記収容パックの種類と当該収容パックに収容されている液体の量を示す前記第２の数値情報とを特定し，
　前記第３処理において，
　前記第１処理で特定した前記収容パックの種類と前記第２処理で特定した前記収容パックの種類が相互に同じ種類である場合に，
　前記第２処理にて特定した前記第２の数値情報と，
　前記第１処理にて特定した前記第１の数値情報であって，前記第２処理にて特定した前記収容パックの種類と同じ種類の前記収容パックに収容されている液体の量を示す前記第１の数値情報との差分値を演算する，
　支援システム。
【請求項２】
　少なくとも患者又は被介護者を含む対象者を支援する支援者に利用される端末装置であって，対象者に関する撮像対象を撮像した撮像画像を受け付ける前記端末装置を備える支援システムを，
　前記端末装置が受け付けた前記撮像画像に基づいて，前記患者の看護又は介護に関する情報を特定し，特定した前記患者の看護又は介護に関する情報を，格納装置に格納する処理手段，として機能させ，
　前記端末装置は，第１の日時に前記撮像対象を撮像した第１の撮像画像と，前記第１の日時よりも後の日時である第２の日時に前記撮像対象を撮像した第２の撮像画像を受け付け，
　前記処理手段は，
　前記端末装置が受け付けた前記第１の撮像画像に基づいて，前記患者の看護又は介護に関する第１の数値情報を特定する第１処理と，
　前記端末装置が受け付けた前記第２の撮像画像に基づいて，前記患者の看護又は介護に関する第２の数値情報を特定する第２処理と，
　前記第１処理の処理結果及び前記第２処理の処理結果に基づいて，前記第１の数値情報と前記第２の数値情報との差分値を演算し，演算された当該差分値を示す情報を，前記格納装置に格納する第３処理と，を行い，
　前記撮像対象は，液体を収容する収容パックを含み，
　前記処理手段は，
　前記第１処理において，
　教師有り機械学習を行うことにより予め生成されている画像認識用モデルを用いて，前記端末装置が受け付けた前記第１の撮像画像の画像認識を行うことにより，前記第１の撮像画像に写っている前記収容パックの種類と当該収容パックに収容されている液体の量を示す前記第１の数値情報とを特定し，
　前記第２処理において，
　前記画像認識用モデルを用いて，前記端末装置が受け付けた前記第２の撮像画像の画像認識を行うことにより，前記第２の撮像画像に写っている前記収容パックの種類と当該収容パックに収容されている液体の量を示す前記第２の数値情報とを特定し，
　前記第３処理において，
　前記第１処理で特定した前記収容パックの種類と前記第２処理で特定した前記収容パックの種類が相互に同じ種類である場合に，
　前記第２処理にて特定した前記第２の数値情報と，
　前記第１処理にて特定した前記第１の数値情報であって，前記第２処理にて特定した前記収容パックの種類と同じ種類の前記収容パックに収容されている液体の量を示す前記第１の数値情報との差分値を演算する，
　支援プログラム。」
第４．引用文献，引用発明等
１．引用文献１
　原査定の拒絶の理由に引用された引用文献１には，図面とともに次の事項が記載されている（下線は当審で付与した。以下同様。）。
・「【請求項１】
　
実空間に存在するオブジェクトを入力画像内で識別する識別部と，
　前記識別部により識別される第１のオブジェクトと第２のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出する検出部と，
　前記イベントの検出に応じて，前記第１のオブジェクトに関連付けられている属性データを前記第２のオブジェクトに関連付ける属性制御部と，
　
を備える画像処理装置
【請求項２】
　
前記第１のオブジェクト及び前記第２のオブジェクトは，物質を収容可能なオブジェクトである
【請求項３】
　
前記属性データは，関連付けられるオブジェクトに収容される物質の少なくとも種類を示す
【請求項４】
　
前記属性データは，関連付けられるオブジェクトに収容される物質の数量をさらに表す
・「【請求項１６】
　
前記属性制御部は，前記イベントの検出時刻に対応する時刻認証データ及び前記属性データを，前記第２のオブジェクトに関連付けて記憶媒体に記憶させる，
・「【請求項２２】
　
実空間に存在するオブジェクトを映す入力画像を取得する画像取得部と，
第１のオブジェクトとの間の物理的作用に関与する，前記入力画像内で識別される第２のオブジェクトに関連付けられている属性データを取得するデータ取得部と，
前記データ取得部により取得される前記属性データを前記入力画像に重畳する表示制御部と，
を備え，
前記属性データは，前記物理的作用に対応するイベントの検出前に前記第１のオブジェクトに関連付けられており，前記イベントの検出に応じて前記第２のオブジェクトに新たに関連付けられるデータである，
端末装置。
・「【技術分野】
【０００１】
　本開示は，
画像処理装置
及び端末装置に関す
【背景技術】
【０００２】
　医療分野では，医薬の調剤又は患者への投薬などの医療行為において生じ得る過誤を防止するための多くの取組みが行われている。例えば，点滴注射の薬液の調剤に際して，医師又は看護師は，点滴バッグに注入した薬液の名称及び量を，マーカペンなどの筆記具を用いて当該点滴バッグに書き残す。下記特許文献１は，不適切な医療行為がなされることを防止するために，
医療行為が行われる際に，行為者及び患者の識別子，使用される医療機器の識別子，並びに時刻を互いに関連付けるデータを，履歴として記録すること
・「【発明が解決しようとする課題】
【０００５】
　履歴データを追跡するための既存の取組みの多くは，データ入力などの場面で人手を要する。しかし，人手を要する手法では，データの入力ミス又は故意の不正入力などのリスクが残される。また，目的とする行為に加えてデータ入力作業を行為者に課すことは，行為者にとっての負担となる。上記特許文献１に記載された仕組みによれば，医療機器と接続される特別な端末装置の導入によって，データ入力は自動化される。しかし，当該仕組みは特別な端末装置の存在を前提とするため，その応用範囲は限られる。
【０００６】
　これに対し，作業行為を映した映像を履歴として記録する手法が考えられる。この場合，履歴を記録するために人手は不要である。しかし，単純に映像を記録するだけでは，外部から内容物を判別できない容器などを用いた行為の詳細を事後的に把握することが難しい。
【０００７】
　従って，上述した分野に限らず一般的に，
行為者に過度の負担を課すことなく行為の詳細を履歴としてより容易に管理することのできる
・「【００１９】
　端末装置２００は，撮像部（図示せず）と表示部２１０とを有する。端末装置２００は，撮像部を用いて何らかのオブジェクトを撮像し，画像に映るオブジェクトに関連付けられているデータの配信を画像処理装置１００へ要求する。そして，端末装置２００は，画像処理装置１００から配信されるデータを表示部２１０に表示させる。画像処理装置１００から配信されるデータは，いずれかのオブジェクトについて行われた作業行為の履歴を事後的に把握することを可能とするデータである。作業行為の履歴は，例えば，オブジェクトに関連付けられる属性を通じて把握され，又はタイムスタンプを付与される履歴データそのものから把握され得る。」
・「【００３１】
　（２）オブジェクト識別部 
　
オブジェクト識別部１３０は，実空間に存在するオブジェクトを入力画像内で識別する。
・「【００３３】
　（４）イベント検出部
　
イベント検出部１５０は，オブジェクト識別部１３０により識別される複数のオブジェクトの間の物理的作用に対応するイベントを，入力画像を用いて検出する。
　第１の実施例）医療行為における薬液の移送
　第２の実施例）調剤行為における薬品の調合
　第３の実施例）患者による薬の服用
　第４の実施例）食品加工行為における食材及び調味料の配合
なお，これらは説明のための例に過ぎず，他の行為におけるオブジェクト間の物理的作用についてイベントが検出されてもよい。」
・「【００３５】
　（６）属性制御部
　属性制御部１７０は，各オブジェクトに関連付けられる属性を制御する。例えば，本実施形態において，
属性制御部１７０は，イベント検出部１５０による上述したイベントの検出に応じて，検出されたイベントに対応する物理的作用に関与した第１のオブジェクトに関連付けられている属性データを第２のオブジェクトに関連付ける
【００３６】
　図４は，本実施形態における属性の制御の基本的な概念について説明するための説明図である。図４を参照すると，物理的作用に関与する２つのオブジェクトＯｂｊ１及びＯｂｊ２が示されている。これら２つのオブジェクトは，典型的には，物質を収容可能なオブジェクトである。本明細書において，物質の収容とは，物質を内部に収納すること，物質を可搬な形で保持すること，及び物質を構成成分として有することなどの様々な形態を含むものとする。例えば，図４の上段において，オブジェクトＯｂｊ１は物質ＳＢ１を，オブジェクトＯｂｊ２は物質ＳＢ２をそれぞれ収容している。この場合，属性データ１６２において，オブジェクトＯｂｊ１に物質ＳＢ１の種類を示す属性値が，オブジェクトＯｂｊ２に物質ＳＢ２の種類を示す属性値がそれぞれ関連付けられる。そして，属性制御部１７０は，オブジェクトＯｂｊ１からオブジェクトＯｂｊ２への物理的作用に対応するイベントが検出されると，オブジェクトＯｂｊ１に関連付けられている属性値をオブジェクトＯｂｊ２に新たに関連付ける。いくつかの実施例において，このような属性値の移動の方向は，上述した属性制御テーブル１４４を参照することで属性制御部１７０により決定され得る。図４の下段において，物理的作用に対応するイベントの検出の結果，オブジェクトＯｂｊ２に物質ＳＢ１の種類を示す属性値が新たに関連付けられている。一方，オブジェクトＯｂｊ１から物質ＳＢ１の種類を示す属性値が削除されている。なお，各オブジェクトの属性データは，関連付けられるオブジェクトに収容される物質の種類のみならず，当該物質の数量をも表してよい。」
・「【００４８】
　　　［３−２．機能構成］
　図６は，図５に示した端末装置２００の記憶部２０６及び制御部２１８により実現される論理的機能の構成の一例を示すブロック図である。図６を参照すると，端末装置２００は，画像取得部２２０，データ取得部２３０，表示制御部２４０及びユーザインタフェース部２５０を含む。
【００４９】
　　　（１）画像取得部
　
画像取得部２２０は，撮像部２０２により生成される撮像画像を入力画像として取得する
【００５０】
　　　（２）データ取得部
　
データ取得部２３０は，画像取得部２２０により取得される入力画像内で識別されるオブジェクトに関連付けられている属性データを取得する
【００５１】
　本実施形態においてデータ取得部２３０により取得される属性データは，第１のオブジェクトとの間の物理的作用に関与する第２のオブジェクトに関連付けられている属性データを含み得る。当該属性データは，物理的作用に対応するイベントの検出前に第１のオブジェクトに関連付けられており，当該イベントの検出に応じて第２のオブジェクトに新たに関連付けられるデータであってよい。即ち，データ取得部２３０により取得される属性データを閲覧することで，入力画像に映るオブジェクトを対象として行われた行為の詳細が把握され得る。なお，画像処理装置１００から取得される属性データは，タイムスタンプの付与された履歴データの形式で表現されていてもよい。
【００５２】
　　　（３）表示制御部
　
表示制御部２４０は，端末装置２００における画像及びデータの表示を制御する
【００５３】
　図７は，本実施形態において表示される出力画像の一例について説明するための説明図である。図７の左には，端末装置２００により撮像され得る一例としての入力画像Ｉｍ００が示されている。入力画像Ｉｍ００には，オブジェクトＯｂｊ２が映っている。端末装置２００は，入力画像Ｉｍ００に重畳すべきデータを要求するデータ要求を画像処理装置１００へ送信し，画像処理装置１００から配信されるデータを受信する。図７の右には，端末装置２００により表示され得る一例としての出力画像Ｉｍ０１が示されている。出力画像Ｉｍ０１は，入力画像Ｉｍ００に仮想オブジェクトであるメッセージＭＳＧ１を重畳することにより生成された画像である。メッセージＭＳＧ１は，例えば図４の下段に示した属性データ１６２に基づいて生成され，入力画像Ｉｍ００に映るオブジェクトＯｂｊ２が物質ＳＢ１及びＳＢ２を収容していることを表す。端末装置２００のユーザは，出力画像Ｉｍ０１を閲覧することにより，例えばオブジェクトＯｂｊ２に物質ＳＢ１及びＳＢ２を加える行為が行われたことを把握することができる。なお，表示部２１０を介して表示制御部２４０によりメッセージＭＳＧ１が表示される代わりに，音声出力部２１４を介してメッセージＭＳＧ１を読み上げる音声が出力されてもよい。」
・「【００５６】
　＜４．第１の実施例＞
 【００５７】
　第１の実施例では，履歴管理の対象として，医療行為における薬液の移送を例示する。従って，画像処理装置１００は，医師，看護師又は薬剤師などの人物が薬液を取り扱う際に用いる医療器具の間の物理的作用に対応するイベントを検出する。
【００５８】
　　　（１）オブジェクトの例
　図８は，第１の実施例におけるオブジェクトデータの一例について説明するための説明図である。図８を参照すると，オブジェクトＤＢ１４０により記憶される一例としてのオブジェクトデータ１４２ａが示されている。オブジェクトデータ１４２ａは，「オブジェクトＩＤ」，「名称」，「品番」，「タイプ」及び「特徴量」という５つのデータ項目を有する。
【００５９】
　「オブジェクトＩＤ」は，各オブジェクトを一意に識別するための識別子である。「名称」は，各オブジェクトに付与される名称を示す。図８の例では，オブジェクトＯｂｊ１１に「バイアル」，オブジェクトＯｂｊ１２に「注射器」，オブジェクトＯｂｊ１３に「点滴バッグ」という名称がそれぞれ付与されている。「品番」は，同じ種類のオブジェクトを個々に区別するために付与される文字列を示す。
【００６０】
　「タイプ」は，属性制御部１７０による属性の制御の際に参照される区分であり，複数のタイプの候補のうちの少なくとも１つが各オブジェクトについて定義される。本実施例では，次の３つのタイプの候補のうちのいずれかが各オブジェクトに割当てられる。
　“ＳＯＵＲＣＥ”…物質の移送元のオブジェクトを示すタイプである
　“ＴＲＡＮＳＰＯＲＴＥＲ”…物質を移送可能なオブジェクトを示すタイプである
　“ＤＥＳＴＩＮＡＴＩＯＮ”…物質の移送先のオブジェクトを示すタイプである
図８の例では，オブジェクトＯｂｊ１１のタイプは“ＳＯＵＲＣＥ”，オブジェクトＯｂｊ１２のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ”，オブジェクトＯｂｊ１３のタイプは“ＤＥＳＴＩＮＡＴＩＯＮ”である。
【００６１】
　「特徴量」は，各オブジェクトについて既知の画像から抽出される特徴量である。オブジェクト識別部１３０は，入力画像から抽出される画像特徴量をオブジェクトデータ１４２ａのこれら特徴量と照合し，入力画像に映るオブジェクトを識別し得る。
【００６２】
　　　（２）イベント
　本実施例において，イベント検出部１５０は，オブジェクト識別部１３０により識別される医療器具の間の物理的作用に対応するイベントを検出する。例えば，図８に例示したオブジェクトが関与するイベントとして，次のようなイベントが挙げられる。
　　イベントＥｖ１１）バイアルから注射器への薬液の抽出
　　イベントＥｖ１２）注射器から点滴バッグへの薬液の注入
【００６３】
　これらイベントは，例えば，２つのオブジェクトについて所定のイベント検出条件が満たされること条件として検出されてよい。所定のイベント検出条件とは，例えば，次のような条件のいずれかであってよい。
　　条件Ｃ１１）２つのオブジェクトの間の距離が閾値を下回る。
　　条件Ｃ１２）条件Ｃ１１が連続的に満たされている時間が閾値を上回る。
　　条件Ｃ１３）２つのオブジェクトを扱う人物の所定のジェスチャが認識される。
条件Ｃ１１における距離は，入力画像内の２次元的な距離であってもよく，又は公知の３次元構造認識技術に基づいて認識される実空間内の３次元的な距離であってもよい。条件Ｃ１１及びＣ１２における閾値は，オブジェクトに依存することなく共通的に定義されても，各オブジェクトについて個別に定義されてもよい。
【００６４】
　上述したイベント検出条件に従って複数のオブジェクト間の物理的作用に対応するイベントが検出されると，イベント検出部１５０は，検出されたイベントを属性制御部１７０に通知する。
【００６５】
　　　（３）属性の制御
　本実施例において，属性制御部１７０は，検出されたイベントに関与するオブジェクトについて定義されているタイプが所定の属性制御条件を満たす場合に，それらオブジェクトの属性を更新する。属性制御条件は，上述した属性制御テーブルにおいて定義される。
【００６６】
　図９は，第１の実施例における属性制御テーブルの一例について説明するための説明図である。図９を参照すると，オブジェクトＤＢ１４０により記憶される一例としての属性制御テーブル１４４ａが示されている。属性制御テーブル１４４ａは，行及び列の双方にオブジェクトの３つのタイプを配置したマトリックス形式で定義されている。各列は，イベントに関与する第１のオブジェクトのタイプに対応する。各行は，イベントに関与する第２のオブジェクトのタイプに対応する。
【００６７】
　例えば，第１のオブジェクトのタイプが“ＳＯＵＲＣＥ”であって，第２のオブジェクトのタイプが“ＴＲＡＮＳＰＯＲＴＥＲ”である場合には，第１のオブジェクトに関連付けられている属性が第２のオブジェクトに追加される（即ち，新たに関連付けられる）。第１のオブジェクトの属性は更新されない。
【００６８】
　また，第１のオブジェクトのタイプが“ＴＲＡＮＳＰＯＲＴＥＲ”であって，第２のオブジェクトのタイプが“ＤＥＳＴＩＮＡＴＩＯＮ”である場合には，第１のオブジェクトに関連付けられている属性が第２のオブジェクトに追加される。第１のオブジェクトの属性は削除される。
【００６９】
　これら以外のタイプの組合せにおいては，第１及び第２のオブジェクトの属性は更新されない。
【００７０】
　即ち，属性制御部１７０は，イベント検出部１５０によりイベントが検出されると，検出されたイベントに関与するオブジェクトを特定し，特定したオブジェクトのタイプの組合せに対応する属性の制御内容を，属性制御テーブル１４４ａを参照することにより決定する。そして，属性制御部１７０は，決定した制御内容に従って，属性ＤＢ１６０に記憶されている属性データ１６２を更新する。ここでの属性データ１６２の更新は，特定されたオブジェクトへの新たな属性の関連付け，及び特定されたオブジェクトの属性の削除を含み得る。また，属性制御部１７０は，検出されたイベントに対応するレコードを後に説明する履歴データに追加する。
【００７１】
　　 （４）データ遷移
　図１０Ａ及び図１０Ｂは，本実施例における例示的なシナリオに沿った属性データの状態遷移の一例について説明するための説明図である。これら図の左側には時系列で取得される４つの入力画像Ｉｍ１１〜Ｉｍ１４が順に示されており，右側には各時点の属性データ１６２ａの部分的な内容が示されている。
【００７２】
　図１０Ａを参照すると，入力画像Ｉｍ１１には，バイアルＯｂｊ１１及び注射器Ｏｂｊ１２が映っている。属性データ１６２ａにおいて，バイアルＯｂｊ１１には，物質ＳＢ１１を示す属性値が関連付けられている。これは，バイアルＯｂｊ１１に物質ＳＢ１１が収容されていることを表す。一方，注射器Ｏｂｊ１２には，いずれの属性値も関連付けられていない。これは，注射器Ｏｂｊ１２に何も収容されていないことを表す。
【００７３】
　次に，入力画像Ｉｍ１２において，バイアルＯｂｊ１１から距離閾値Ｄ１の範囲内に，注射器Ｏｂｊ１２が映っている。イベント検出部１５０は，例えば上述したイベント検出条件Ｃ１１又はＣ１２に従って，バイアルＯｂｊ１１と注射器Ｏｂｊ１２との間の薬液の抽出に対応するイベントを検出する。オブジェクトデータ１４２ａによれば，バイアルＯｂｊ１１のタイプは“ＳＯＵＲＣＥ”，注射器Ｏｂｊ１２のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ”である。そこで，属性制御部１７０は，“ＳＯＵＲＣＥ”及び“ＴＲＡＮＳＰＯＲＴＥＲ”の組合せに対応する属性の制御内容を属性制御テーブル１４４ａを参照して決定し，バイアルＯｂｊ１１に関連付けられている属性値“ＳＢ１１”を注射器Ｏｂｊ１２に新たに関連付ける。その結果，属性データ１６２ａは，注射器Ｏｂｊ１２に物質ＳＢ１１が収容されていることを表す。
【００７４】
　次に，図１０Ｂを参照すると，入力画像Ｉｍ１３には，注射器Ｏｂｊ１２及び点滴バッグＯｂｊ１３が映っている。属性データ１６２ａにおいて，点滴バッグＯｂｊ１３には，物質ＳＢ１２を示す属性値が関連付けられている。これは，図１０Ａ及び図１０Ｂに示したシナリオ以前の行為の結果であって，点滴バッグＯｂｊ１３に物質ＳＢ１２が収容されていることを表す。
【００７５】
　次に，入力画像Ｉｍ１４において，注射器Ｏｂｊ１２から距離閾値Ｄ１の範囲内に，点滴バッグＯｂｊ１３が映っている。イベント検出部１５０は，例えば上述したイベント検出条件Ｃ１１又はＣ１２に従って，注射器Ｏｂｊ１２と点滴バッグＯｂｊ１３との間の薬液の注入に対応するイベントを検出する。オブジェクトデータ１４２ａによれば，注射器Ｏｂｊ１２のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ”，点滴バッグＯｂｊ１３のタイプは“ＤＥＳＴＩＮＡＴＩＯＮ”である。そこで，属性制御部１７０は，“ＴＲＡＮＳＰＯＲＴＥＲ”及び“ＤＥＳＴＩＮＡＴＩＯＮ”の組合せに対応する属性の制御内容を属性制御テーブル１４４ａを参照して決定し，注射器Ｏｂｊ１２に関連付けられている属性値“ＳＢ１１”を点滴バッグＯｂｊ１３に新たに関連付ける。その結果，属性データ１６２ａは，点滴バッグＯｂｊ１３に物質ＳＢ１１及びＳＢ１２が収容されていることを表す。
【００７６】
　図１１は，上述したシナリオの間に属性制御部１７０により生成される一例としての履歴データ１６４ａの内容を示している。図１１を参照すると，履歴データ１６４ａは，「オブジェクトＩＤ」，「属性（前）」，「属性（後）」及び「時刻」という４つのデータ項目を有する。「オブジェクトＩＤ」は，個々のレコードが示す履歴に関与したオブジェクトを識別する識別子である。「属性（前）」は，属性制御部１７０により更新される前の当該オブジェクトの属性値を示す。「属性（後）」は，属性制御部１７０により更新された後の当該オブジェクトの属性値を示す。「時刻」は，対応するイベントの検出時刻（又は属性の更新時刻であってもよい）を示す。属性制御部１７０は，履歴の信頼性を補強するために，これら時刻に対応する時刻認証データを外部の時刻認証サービスから取得し，取得した時刻認証データを図１１に示したような履歴に関連付けて記憶させてもよい。図１１の例では，時刻Ｔ１１において注射器Ｏｂｊ１２の属性が更新され，さらに時刻Ｔ１２において注射器Ｏｂｊ１２及び点滴バッグＯｂｊ１３の属性が更新されたことが，履歴データ１６４ａにより示されている。
【００７７】
　　　（５）表示例
　図１２は，本実施例において端末装置２００により表示される出力画像の一例について説明するための説明図である。図１２を参照すると，一例としての出力画像Ｉｍ１９が示されている。出力画像Ｉｍ１９には，バイアルＯｂｊ１１及び点滴バッグＯｂｊ１３が映っている。また，出力画像Ｉｍ１９には，バイアルＯｂｊ１１を指し示すメッセージＭＳＧ１１及び点滴バッグＯｂｊ１３を指し示すメッセージＭＳＧ１２が重畳されている。メッセージＭＳＧ１１は，バイアルＯｂｊ１１が物質ＳＢ１１を収容していることを表す。メッセージＭＳＧ１２は，点滴バッグＯｂｊ１３が物質ＳＢ１１及びＳＢ１２を収容していることを表す。端末装置２００のユーザは，例えば，このようなメッセージＭＳＧ１２を閲覧することにより，点滴バッグＯｂｊ１３に適切な薬液が注入されたかを容易に把握することができる。
【００７８】
　　　（６）処理の流れ
　　　（６−１）属性制御処理
　図１３は，本実施例における画像処理装置１００による属性制御処理の流れの一例を示すフローチャートである。図１３に示した属性制御処理は，画像取得部１２０により順次取得される入力画像について繰り返される。
【００７９】
　まず，画像取得部１２０は，撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ１００）。そして，画像取得部１２０は，取得した入力画像をオブジェクト識別部１３０へ出力する。
【００８０】
　次に，オブジェクト識別部１３０は，オブジェクトＤＢ１４０により記憶されている各オブジェクトの既知の特徴量を用いて，入力画像に映るオブジェクトを識別する（ステップＳ１０４）。
【００８１】
　次に，イベント検出部１５０は，オブジェクト識別部１３０により識別されるオブジェクトについて上述したイベント検出条件が満たされているかを判定する（ステップＳ１０８）。ここで，イベント検出条件が満たされていない場合には，その後の処理はスキップされる（ステップＳ１１２）。イベント検出条件が満たされている場合には，イベント検出部１５０は，検出したイベントを属性制御部１７０に通知する。
【００８２】
　属性制御部１７０は，イベント検出部１５０によりイベントが検出されると，属性制御テーブル１４４ａを用いて，検出されたイベントに関与するオブジェクトについての属性の制御内容を決定する（ステップＳ１１６）。そして，属性制御部１７０は，第１のオブジェクトから第２のオブジェクトへ属性値を移動することを決定した場合には（ステップＳ１２０），第１のオブジェクトに関連付けられている属性値を第２のオブジェクトに関連付ける（ステップＳ１２４）。また，属性制御部１７０は，第１のオブジェクトの属性値を削除することを決定した場合には（ステップＳ１２８），第１のオブジェクトに関連付けられている属性値を削除する（ステップＳ１３２）。
【００８３】
　そして，属性制御部１７０は，更新前及び更新後の属性値を含む履歴データ１６４ａの新たなレコードを属性ＤＢ１６０に記憶させる（ステップＳ１４８）。
【００８４】
　　　（６−２）表示制御処理
　図１４は，本実施例における端末装置２００による表示制御処理の流れの一例を示すフローチャートである。図１４に示した表示制御処理は，端末装置２００の画像取得部２２０により順次取得される入力画像について繰り返されてもよく，又はスナップショットとして取得される１つの入力画像について単発的に実行されてもよい。
【００８５】
　まず，画像取得部２２０は，撮像部２０２により生成される撮像画像を入力画像として取得する（ステップＳ１５０）。そして，画像取得部２２０は，取得した入力画像を，データ取得部２３０及び表示制御部２４０へ出力する。
【００８６】
　次に，データ取得部２３０は，取得された入力画像内で識別されるオブジェクトに関連付けられている属性データを要求するデータ要求を，画像処理装置１００へ送信する（ステップＳ１５４）。そして，データ取得部２３０は，データ要求に対する応答を画像処理装置１００から受信する（ステップＳ１５８）。ここで，データ要求に対する応答として上述した属性データが受信された場合には，処理はステップＳ１７０へ進む。一方，属性データが受信されなかった場合には，表示制御部２４０により入力画像が表示される（ステップＳ１６６）。
【００８７】
　ステップＳ１７０において，表示制御部２４０は，データ取得部２３０により取得された属性データを入力画像に重畳することにより，出力画像を生成する（ステップＳ１７０）。そして，表示制御部２４０は，表示部２１０に出力画像を表示させる（ステップＳ１６４）。
【００８８】
　ここまで，図８〜図１４を用いて第１の実施例について説明した。本実施例によれば，ある医療器具から他の医療器具へ薬液が移送される状況において，医療器具に収容されている薬液の成分をオブジェクトの属性を通じて把握することが可能となる。
【００８９】
　一般的に，一度薬液をある医療器具へ移すと，メモ書きなどが無ければ，行為者本人以外の人物がその医療器具に何が収容されているかを知ることは難しい。しかし，本実施例によれば，オブジェクトの属性データ又は属性の更新履歴を閲覧することで，行為者本人以外の人物であっても，医療器具に何が収容されているかを容易に把握することができる。
【００９０】
　また，オブジェクトの属性の更新に際して医療行為の行為者にデータ入力などの作業は課されない。従って，行為者の過度な負担を原因として履歴が誤って記録されなかったり，不正なデータが入力されたりするリスクが防止される。」
・「【００９１】
　＜５．第２の実施例＞
　第２の実施例では，履歴管理の対象として，調剤行為における薬品の調合を例示する。従って，画像処理装置１００は，医師，看護師又は薬剤師などの人物が薬品を取り扱う際に用いる調剤器具の間の物理的作用に対応するイベントを検出する。なお，説明の簡明さのために，本実施例において第１の実施例と重複する事項についての説明は省略する。
【００９２】
　　　（１）オブジェクトの例
　図１５は，第２の実施例におけるオブジェクトデータの一例について説明するための説明図である。図１５を参照すると，オブジェクトＤＢ１４０により記憶される一例としてのオブジェクトデータ１４２ｂが示されている。オブジェクトデータ１４２ｂは，第１の実施例に係るオブジェクトデータ１４２ａと同様，「オブジェクトＩＤ」，「名称」，「品番」，「タイプ」及び「特徴量」という５つのデータ項目を有する。
【００９３】
　図１５の例では，オブジェクトＯｂｊ２１に「薬瓶」，オブジェクトＯｂｊ２２に「さじ」，オブジェクトＯｂｊ２３に「薬包紙」，オブジェクトＯｂｊ２４に「計量器」，オブジェクトＯｂｊ２５に「パッケージ」，という名称がそれぞれ付与されている。
【００９４】
　本実施例において，各オブジェクトには次の５つのタイプの候補のうちのいずれかが割当てられる。
　　“ＳＯＵＲＣＥ”…物質の移送元のオブジェクトを示すタイプである
　　“ＴＲＡＮＳＰＯＲＴＥＲ１”…物質を移送可能なオブジェクトを示すタイプである
　　“ＴＲＡＮＳＰＯＲＴＥＲ２”…物質を移送可能なオブジェクトを示すタイプである
　　“ＳＣＡＬＥ”…物質を計量可能なオブジェクトを示すタイプである
　　“ＤＥＳＴＩＮＡＴＩＯＮ”…物質の移送先のオブジェクトを示すタイプである
図１５の例では，オブジェクトＯｂｊ２１のタイプは“ＳＯＵＲＣＥ”，オブジェクトＯｂｊ２２のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ１”，オブジェクトＯｂｊ２３のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ２”，オブジェクトＯｂｊ２４のタイプは“ＳＣＡＬＥ”，オブジェクトＯｂｊ２５のタイプは“ＤＥＳＴＩＮＡＴＩＯＮ”である。
【００９５】
　　　（２）イベント
　本実施例において，イベント検出部１５０は，オブジェクト識別部１３０により識別される調剤器具の間の物理的作用に対応するイベントを検出する。例えば，図１５に例示したオブジェクトが関与するイベントとして，次のようなイベントが挙げられる。
　　イベントＥｖ２１）薬瓶からさじへの薬品の取り出し
　　イベントＥｖ２２）さじから薬包紙への薬品の移し替え
　　イベントＥｖ２３）さじからパッケージへの薬品の移し入れ
　　イベントＥｖ２４）薬包紙からパッケージへの薬品の移し入れ
　　イベントＥｖ２５）薬包紙に収容される薬品の計量器による計量
【００９６】
　これらイベントは，例えば，２つのオブジェクトについて所定のイベント検出条件が満たされること条件として検出されてよい。所定のイベント検出条件とは，例えば，次のような条件のいずれかであってよい。
　　条件Ｃ２１）２つのオブジェクトの間の距離が閾値を下回る。
　　条件Ｃ２２）一方のオブジェクトの上方に他方のオブジェクトが位置する。
　　条件Ｃ２３）条件Ｃ２１又はＣ２２が連続的に満たされている時間が閾値を上回る。
　　条件Ｃ２４）２つのオブジェクトを扱う人物の所定のジェスチャが認識される。
条件Ｃ２１における距離は，入力画像内の２次元的な距離であってもよく，又は公知の３次元構造認識技術に基づいて認識される実空間内の３次元的な距離であってもよい。条件Ｃ２１及びＣ２３における閾値は，オブジェクトに依存することなく共通的に定義されても，各オブジェクトについて個別に定義されてもよい。 」
・「【０１０２】
　また，第１のオブジェクトのタイプが“ＴＲＡＮＳＰＯＲＴＥＲ２”であって，第２のオブジェクトのタイプが“ＳＣＡＬＥ”である場合には，第２のオブジェクトに関連付けられている属性に物質の数量が付加される。即ち，属性制御部１７０は，例えば，タイプ“ＳＣＡＬＥ”を有する計量器による計量結果を（例えば，公知のＯＣＲ（Optical Character Recognition）技術を表示パネルに適用することにより）入力画像から読み取り，読み取った数量の値を第２のオブジェクトの属性に付加する。
【０１０３】
　同様に，第１のオブジェクトのタイプが“ＳＣＡＬＥ”であって，第２のオブジェクトのタイプが“ＤＥＳＴＩＮＡＴＩＯＮ”である場合には，第１のオブジェクトに関連付けられている属性に物質の数量が付加される。
【０１０４】
　これら以外のタイプの組合せにおいては，第１及び第２のオブジェクトの属性は更新されない。
【０１０５】
　なお，例えば計量さじのような器具について，“ＴＲＡＮＳＰＯＲＴＥＲ１”及び“ＳＣＡＬＥ”という２つのタイプの双方が設定されてもよい。また，固定的な数量の計量のために用いられる器具については，動的に読み取られる値の代わりに，予め定義される固定的な数量の値が割当てられてよい。
【０１０６】
　（４）データ遷移
　図１７Ａ及び図１７Ｂは，本実施例における例示的なシナリオに沿った属性データの状態遷移の一例について説明するための説明図である。これら図の左側には時系列で取得される６つの入力画像Ｉｍ２１〜Ｉｍ２６が順に示されており，右側には各時点の属性データ１６２ｂの部分的な内容が示されている。
【０１０７】
　図１７Ａを参照すると，入力画像Ｉｍ２１には，薬瓶Ｏｂｊ２１及びさじＯｂｊ２２が映っている。属性データ１６２ｂにおいて，薬瓶Ｏｂｊ２１には，物質ＳＢ２１を示す属性値が関連付けられている。これは，薬瓶Ｏｂｊ２１に物質ＳＢ２１が収容されていることを表す。一方，さじＯｂｊ２２には，いずれの属性値も関連付けられていない。これは，さじＯｂｊ２２に何も収容されていないことを表す。
【０１０８】
　次に，入力画像Ｉｍ２２において，薬瓶Ｏｂｊ２１の上方に，さじＯｂｊ２２が映っている。イベント検出部１５０は，例えば上述したイベント検出条件Ｃ２２又はＣ２３に従って，薬瓶Ｏｂｊ２１とさじＯｂｊ２２との間の薬品の取り出しに対応するイベントを検出する。オブジェクトデータ１４２ｂによれば，薬瓶Ｏｂｊ２１のタイプは“ＳＯＵＲＣＥ”，さじＯｂｊ２２のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ１”である。そこで，属性制御部１７０は，“ＳＯＵＲＣＥ”及び“ＴＲＡＮＳＰＯＲＴＥＲ１”の組合せに対応する属性の制御内容を属性制御テーブル１４４ｂを参照して決定し，薬瓶Ｏｂｊ２１に関連付けられている属性値“ＳＢ２１”をさじＯｂｊ２２に新たに関連付ける。その結果，属性データ１６２ｂは，さじＯｂｊ２２に物質ＳＢ２１が収容されていることを表す。
【０１０９】
　次に，入力画像Ｉｍ２３には，さじＯｂｊ２２，薬包紙Ｏｂｊ２３及び計量器Ｏｂｊ２４が映っている。属性データ１６２ｂにおいて，さじＯｂｊ２２には，物質ＳＢ２１を示す属性値が関連付けられている。一方，薬包紙Ｏｂｊ２３には，いずれの属性値も関連付けられていない。
【０１１０】
　次に，図１７Ｂを参照すると，入力画像Ｉｍ２４において，薬包紙Ｏｂｊ２３の上方に，さじＯｂｊ２２が映っている。イベント検出部１５０は，例えば上述したイベント検出条件Ｃ２２又はＣ２３に従って，さじＯｂｊ２２と薬包紙Ｏｂｊ２３との間の薬品の移し替えに対応するイベントを検出する。オブジェクトデータ１４２ｂによれば，さじＯｂｊ２２のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ１”，薬包紙Ｏｂｊ２３のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ２”である。そこで，属性制御部１７０は，“ＴＲＡＮＳＰＯＲＴＥＲ１”及び“ＴＲＡＮＳＰＯＲＴＥＲ２”の組合せに対応する属性の制御内容を属性制御テーブル１４４ｂを参照して決定し，さじＯｂｊ２２に関連付けられている属性値“ＳＢ２１”を薬包紙Ｏｂｊ２３に新たに関連付ける。その結果，属性データ１６２ｂは，薬包紙Ｏｂｊ２３に物質ＳＢ２１が収容されていることを表す。
【０１１１】
　次に，入力画像Ｉｍ２５において，計量器Ｏｂｊ２４が薬包紙Ｏｂｊ２３に収容されている物質の数量を計量している様子が映っている。オブジェクトデータ１４２ｂによれば，薬包紙Ｏｂｊ２３のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ２”，計量器Ｏｂｊ２４のタイプは“ＳＣＡＬＥ”である。そこで，属性制御部１７０は，計量器Ｏｂｊ２４により表示される数量の値を入力画像Ｉｍ２５から読み取り，読み取った値を薬包紙Ｏｂｊ２３の属性に付加する。図１７Ｂの例では，結果として，属性データ１６２ｂは，薬包紙Ｏｂｊ２３に物質ＳＢ２１が３．０ｇ収容されていることを表す。
【０１１２】
　次に，入力画像Ｉｍ２６において，パッケージＯｂｊ２５の上方に，薬包紙Ｏｂｊ２３が映っている。イベント検出部１５０は，例えば上述したイベント検出条件Ｃ２２又はＣ２３に従って，薬包紙Ｏｂｊ２３からパッケージＯｂｊ２５への薬品の移し入れに対応するイベントを検出する。オブジェクトデータ１４２ｂによれば，薬包紙Ｏｂｊ２３のタイプは“ＴＲＡＮＳＰＯＲＴＥＲ２”，パッケージＯｂｊ２５のタイプは“ＤＥＳＴＩＮＡＴＩＯＮ”である。そこで，属性制御部１７０は，“ＴＲＡＮＳＰＯＲＴＥＲ２”及び“ＤＥＳＴＩＮＡＴＩＯＮ”の組合せに対応する属性の制御内容を属性制御テーブル１４４ｂを参照して決定し，薬包紙Ｏｂｊ２３に関連付けられている属性値“ＳＢ２１＿３．０ｇ”をパッケージＯｂｊ２５に新たに関連付ける。その結果，属性データ１６２ｂは，パッケージＯｂｊ２５に物質ＳＢ２１が３．０ｇ収容されていることを表す。
【０１１３】
　　　（５）表示例
　図１８は，本実施例において端末装置２００により表示される出力画像の一例について説明するための説明図である。図１８を参照すると，一例としての出力画像Ｉｍ２９が示されている。出力画像Ｉｍ２９には，パッケージＯｂｊ２５が映っている。また，出力画像Ｉｍ２９には，パッケージＯｂｊ２５を指し示すメッセージＭＳＧ２１が重畳されている。メッセージＭＳＧ２１は，パッケージＯｂｊ２５が物質ＳＢ２１を３．０ｇ収容していることを表す。端末装置２００のユーザは，例えば，このようなメッセージＭＳＧ２１を閲覧することにより，パッケージＯｂｊ２５に現在いずれの薬品がどれだけの数量収容されているかを容易に把握することができる。
【０１１４】
　　　（６）処理の流れ
　図１９は，本実施例における画像処理装置１００による属性制御処理の流れの一例を示すフローチャートである。図１９に示した属性制御処理は，画像取得部１２０により順次取得される入力画像について繰り返される。
【０１１５】
　まず，画像取得部１２０は，撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ２００）。そして，画像取得部１２０は，取得した入力画像をオブジェクト識別部１３０へ出力する。
【０１１６】
　次に，オブジェクト識別部１３０は，オブジェクトＤＢ１４０により記憶されている各オブジェクトの既知の特徴量を用いて，入力画像に映るオブジェクトを識別する（ステップＳ２０４）。
【０１１７】
　次に，イベント検出部１５０は，オブジェクト識別部１３０により識別されるオブジェクトについて上述したイベント検出条件が満たされているかを判定する（ステップＳ２０８）。ここで，イベント検出条件が満たされていない場合には，その後の処理はスキップされる（ステップＳ２１２）。イベント検出条件が満たされている場合には，イベント検出部１５０は，検出したイベントを属性制御部１７０に通知する。
【０１１８】
　属性制御部１７０は，イベント検出部１５０によりイベントが検出されると，属性制御テーブル１４４ｂを用いて，検出されたイベントに関与するオブジェクトについての属性の制御内容を決定する（ステップＳ２１６）。そして，属性制御部１７０は，第１のオブジェクトから第２のオブジェクトへ属性値を移動することを決定した場合には（ステップＳ２２０），第１のオブジェクトに関連付けられている属性値を第２のオブジェクトに関連付ける（ステップＳ２２４）。また，属性制御部１７０は，第１のオブジェクトの属性値を削除することを決定した場合には（ステップＳ２２８），第１のオブジェクトに関連付けられている属性値を削除する（ステップＳ２３２）。
【０１１９】
　また，属性制御部１７０は，いずれかのオブジェクトに数量を付加することを決定した場合には（ステップＳ２３６），付加すべき物質の数量の値を取得し（ステップＳ２４０），取得した数量の値を“ＳＣＡＬＥ”オブジェクトではない方のオブジェクトの属性に付加する（ステップＳ２４４）。
【０１２０】
　そして，属性制御部１７０は，更新前及び更新後の属性値を含む履歴データ１６４の新たなレコードを属性ＤＢ１６０に記憶させる（ステップＳ２４８）。なお，いずれのオブジェクトの属性も更新されない場合には，ステップＳ２４８の処理はスキップされる。
【０１２１】
　ここまで，図１５〜図１９を用いて第２の実施例について説明した。本実施例によれば，調剤器具を用いて薬品が調合される状況において，調剤器具に収容されている薬品の成分をオブジェクトの属性を通じて把握することが可能となる。また，オブジェクトに収容される物質の数量をもオブジェクトの属性に付加することができる。また，オブジェクトの属性データ又は属性の更新履歴を閲覧することで，行為者本人以外の人物であっても薬品の成分及びその数量を容易に把握することができる。オブジェクトの属性の更新に際しては，調剤行為の行為者にデータ入力などの作業は課されない。」
・「【０１２２】
　＜６．第３の実施例＞
　第３の実施例では，履歴管理の対象として，患者による薬の服用を例示する。従って，画像処理装置１００は，患者と薬との間の物理的作用，即ち薬の服用行為に対応するイベントを検出する。なお，説明の簡明さのために，本実施例において先行するいずれかの実施例と重複する事項についての説明は省略する。
【０１２３】
　　　（１）オブジェクトの例
　図２０は，第３の実施例におけるオブジェクトデータの一例について説明するための説明図である。図２０を参照すると，オブジェクトＤＢ１４０により記憶される一例としてのオブジェクトデータ１４２ｃが示されている。オブジェクトデータ１４２ｃは，人物オブジェクトについての人物データと，処方薬オブジェクトについての処方薬データとを含む。
【０１２４】
　人物データは，「オブジェクトＩＤ」，「名称」及び「特徴量」という３つのデータ項目を有する。「オブジェクトＩＤ」は，各人物オブジェクトを一意に識別するための識別子である。「名称」は，各人物の名前を示す。「特徴量」は，各人物の既知の顔画像から抽出される特徴量である。
【０１２５】
　処方薬データは，「オブジェクトＩＤ」，「名称」，「患者ＩＤ」，「服用量」及び「特徴量」という５つのデータ項目を有する。「オブジェクトＩＤ」は，各処方薬オブジェクトを一意に識別するための識別子である。「名称」は，各処方薬の名称を示す。「患者ＩＤ」は，各処方薬を服用する人物のオブジェクトＩＤを示す。図２０の例では，オブジェクトＯｂｊ３５，即ち「Ｘ１錠」を服用する人物は，オブジェクトＯｂｊ３１，即ち「ＸＸさん」である。「服用量」は，各処方薬をいつどれだけ服用すべきかについての情報を示す。「特徴量」は，各処方薬の既知の画像から抽出される特徴量である。
【０１２６】
　　　（２）イベント
　本実施例において，イベント検出部１５０は，オブジェクト識別部１３０により識別される人物による処方薬の服用行為に対応するイベントを検出する。イベント検出部１５０は，例えば，公知のジェスチャ認識技術を用いて，人物による服用行為のジェスチャを検出してもよい。本実施例におけるイベント検出条件は，次のような条件となる。 条件Ｃ３１）人物オブジェクトが処方薬オブジェクトを服用するジェスチャが認識される。
【０１２７】
　　　（３）属性の制御
　属性制御部１７０は，イベント検出部１５０により服用行為に対応するイベントが検出されると，服用行為に関与する人物オブジェクト及び処方薬オブジェクトの属性を更新する。例えば，属性制御部１７０は，処方薬オブジェクトに含まれる物質の種類と１回当たりの服用量とを示す属性を人物オブジェクトに新たに関連付けてもよい。また，属性制御部１７０は，処方薬オブジェクトの属性から，１回当たりの服用量に相当する数量を削除してもよい。さらに，属性制御部１７０は，これらオブジェクトの属性を更新すると，更新の履歴を示すレコードを履歴データ１６４ｃに記憶させる。
【０１２８】
　図２１は，本実施例において属性制御部１７０により生成される一例としての履歴データ１６４ｃの内容を示している。図２１を参照すると，履歴データ１６４ｃは，「オブジェクトＩＤ」，「属性」及び「時刻」という３つのデータ項目を有する。「オブジェクトＩＤ」は，処方薬を服用した人物の人物オブジェクトを識別する識別子である。「属性」は，属性制御部１７０により当該人物オブジェクトに新たに関連付けられた属性値を示す。「時刻」は，対応するイベントの検出時刻（又は属性の更新時刻であってもよい）を示す。属性制御部１７０は，履歴の信頼性を補強するために，これら時刻に対応する時刻認証データを外部の時刻認証サービスから取得し，取得した時刻認証データを図２１に示したような履歴に関連付けて記憶させてもよい。図２１の例では，時刻Ｔ３１，Ｔ３２及びＴ３３において，患者Ｏｂｊ３１が物質ＳＢ３１を２錠ずつ服用したことが，履歴データ１６４ｃにより示されている。
【０１２９】
　さらに，属性制御部１７０は，服用行為に対応するイベントの検出に応じて，担当の医師，看護師又は患者の家族などが有する端末装置に通知メッセージを送信してもよい。また，属性制御部１７０は，患者が服用すべきでない薬を服用したことが検出された場合には，警報メッセージを送信し又は警報音を発してもよい。
【０１３０】
　　　（４）データ遷移
　図２２は，本実施例における例示的なシナリオに沿った属性データの状態遷移の一例について説明するための説明図である。これら図の左側には時系列で取得される３つの入力画像Ｉｍ３１〜Ｉｍ３３が順に示されており，右側には各時点の属性データ１６２ｃの部分的な内容が示されている。
【０１３１】
　図２２を参照すると，入力画像Ｉｍ３１には，患者Ｏｂｊ３１及び処方薬Ｏｂｊ３５が映っている。属性データ１６２ｃにおいて，患者Ｏｂｊ３１には，いずれの属性値も関連付けられていない。一方，処方薬Ｏｂｊ３５には，物質ＳＢ３１の種類と数量３０錠とを示す属性値が関連付けられている。これは，処方薬Ｏｂｊ３５に物質ＳＢ３１が３０錠収容されていることを表す。
【０１３２】
　次に，入力画像Ｉｍ３２において，処方薬Ｏｂｊ３５を患者Ｏｂｊ３１が服用する様子が映っている。イベント検出部１５０は，このような服用行為のジェスチャを認識することにより，当該服用行為に対応するイベントを検出する。すると，属性制御部１７０は，処方薬Ｏｂｊ３５に関連付けられている属性値“ＳＢ３１”を患者Ｏｂｊ３１に新たに関連付ける。また，属性制御部１７０は，１回当たりの服用量に相当する数量を患者Ｏｂｊ３１の属性に付加する。また，属性制御部１７０は，処方薬Ｏｂｊ３５の属性から１回当たりの服用量に相当する数量を削除する。その結果，属性データ１６２ｃは，患者Ｏｂｊ３１が物質ＳＢ３１を２錠服用したこと，及び処方薬Ｏｂｊ３５に物質ＳＢ３１が２８錠収容されていることを表す。
【０１３３】
　その後，入力画像Ｉｍ３３には，患者Ｏｂｊ３１が映っている。属性データ１６２ｃは，引き続き患者Ｏｂｊ３１が物質ＳＢ３１を２錠服用したことを表している。なお，属性制御部１７０は，服用行為に対応するイベントの検出時刻から処方薬の効果の持続時間が経過した時点で，当該イベントが検出された際に患者オブジェクトに関連付けた属性を削除してもよい。
【０１３４】
　　　（５）表示例
　図２３は，本実施例において端末装置２００により表示される出力画像の一例について説明するための説明図である。図２３を参照すると，一例としての出力画像Ｉｍ３９が示されている。出力画像Ｉｍ３９には，患者Ｏｂｊ３１が映っている。また，出力画像Ｉｍ３９には，患者Ｏｂｊ３１を指し示すメッセージＭＳＧ３１が重畳されている。メッセージＭＳ３１は，患者Ｏｂｊ３１が２０１１年１１月１日１４時に“Ｘ１錠”を２錠服用したことを表す。端末装置２００のユーザは，例えば，このようなメッセージＭＳＧ３１を閲覧することにより，患者が適切な時刻に適切な処方薬を服用したかを容易に把握することができる。
【０１３５】
　なお，画像処理装置１００のユーザインタフェース部１９０又は端末装置２００のユーザインタフェース部２５０は，患者のオブジェクトＩＤ又は名前をユーザ（例えば医師，看護師又は家族など）に指定させ，指定された患者に関連付けられている服用行為の履歴を当該ユーザに呈示するためのＵＩ画面を，ユーザに提供してもよい。
【０１３６】
　　　（６）処理の流れ
　図２４は，本実施例における画像処理装置１００による属性制御処理の流れの一例を示すフローチャートである。図２４に示した属性制御処理は，画像取得部１２０により順次取得される入力画像について繰り返される。
【０１３７】
　まず，画像取得部１２０は，撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ３００）。そして，画像取得部１２０は，取得した入力画像をオブジェクト識別部１３０へ出力する。
【０１３８】
　次に，オブジェクト識別部１３０は，オブジェクトＤＢ１４０により記憶されている人物オブジェクト及び処方薬オブジェクトの既知の特徴量を用いて，入力画像に映るこれらオブジェクトを識別する（ステップＳ３０４）。
【０１３９】
　次に，イベント検出部１５０は，オブジェクト識別部１３０により識別されるオブジェクトについて，ジェスチャ認識技術を用いてイベント検出条件が満たされているかを判定する（ステップＳ３０８）。ここで，イベント検出条件が満たされていない場合には，その後の処理はスキップされる（ステップＳ３１２）。イベント検出条件が満たされている場合には，イベント検出部１５０は，検出したイベントを属性制御部１７０に通知する。
【０１４０】
　属性制御部１７０は，イベント検出部１５０によりイベントが検出されると，処方薬オブジェクトである第１のオブジェクトに関連付けられている属性値及び服用量を，人物オブジェクトである第２のオブジェクトに関連付ける（ステップＳ３２４）。また，属性制御部１７０は，第１のオブジェクトに関連付けられている属性の数量から，１回当たりの服用量を削除する（ステップＳ３３２）。そして，属性制御部１７０は，履歴データ１６４ｃの新たなレコードを属性ＤＢ１６０に記憶させる（ステップＳ３４８）。
【０１４１】
　ここまで，図２０〜図２４を用いて第３の実施例について説明した。本実施例によれば，患者が処方薬を服用する状況において，患者がどの薬をいつ服用したかをオブジェクトの属性データ又は属性の更新履歴を通じて第３者が把握することが可能となる。オブジェクトの属性の更新に際しては，患者及び第３者にデータ入力などの作業は課されない。 」
・図１，図３，図６，図１０Ａ，図１０Ｂ，図１１，図１２，図１７Ａ，図１７Ｂ，図１８，図２１，図２２，図２３には，以下の内容が示されている。
【図１】
【図３】
【図６】
【図１２】
【図１８】
【図２３】
・「画像処理装置１００」と「端末装置２００」がシステムとして機能していることは明らかである。
　これらの記載事項からみて，引用文献１には，以下の発明（以下「引用発明」という。）が記載されていると認められる。
「実空間に存在するオブジェクトを入力画像内で識別するオブジェクト識別部１３０と，
　前記オブジェクト識別部１３０により識別される第１のオブジェクトと第２のオブジェクトとの間の物理的作用に対応するイベントを前記入力画像を用いて検出するイベント検出部１５０と，
　前記イベントの検出に応じて，前記第１のオブジェクトに関連付けられている属性データを前記第２のオブジェクトに関連付ける属性制御部１７０と，
　を備える画像処理装置１００であって，
　前記第１のオブジェクト及び前記第２のオブジェクトは，物質を収容可能なオブジェクトであり，?　前記属性データは，関連付けられるオブジェクトに収容される物質の少なくとも種類を示し，
?　前記属性データは，関連付けられるオブジェクトに収容される物質の数量をさらに表し，
　前記属性制御部１７０は，前記イベントの検出時刻に対応する時刻認証データ及び前記属性データを，前記第２のオブジェクトに関連付けて記憶媒体に記憶させる，
　画像処理装置１００と，
　実空間に存在するオブジェクトを映す入力画像を取得する画像取得部２２０と，
　第１のオブジェクトとの間の物理的作用に関与する，前記入力画像内で識別される第２のオブジェクトに関連付けられている属性データを取得するデータ取得部２３０と，
　前記データ取得部２３０により取得される前記属性データを前記入力画像に重畳する表示制御部２４０と，
を備える端末装置２００であって，
　前記属性データは，前記物理的作用に対応するイベントの検出前に前記第１のオブジェクトに関連付けられており，前記イベントの検出に応じて前記第２のオブジェクトに新たに関連付けられるデータである，
　端末装置２００と，
を備える，
　行為者に過度の負担を課すことなく行為の詳細を履歴としてより容易に管理することができる，画像処理装置１００及び端末装置２００からなるシステム。」
２．引用文献２
　原査定の拒絶の理由に引用された引用文献２には，次の事項が記載されている。
・「【技術分野】
【０００１】
　本発明は，
情報処理システム
【背景技術】
【０００２】
　ここ数年，
教師あり学習による画像認識技術として
機械学習の一つであり，学習用画像を用いて事前に学習させることで，画像分類などの問題を解決する。
３．引用文献３
　原査定の拒絶の理由に引用された引用文献３には，次の事項が記載されている。
 ・「【技術分野】
【０００１】
　本開示は，
データ処理装置
・「【０００５】
　ところで，上述したように画像に写されている作物の種別の認識などのように，
画像から物体を認識する物体認識処理では，
大量の教師データを用いて事前に機械学習を行う
第５．対比・判断
１．本願発明１について
（１）対比
ア．本願発明１と引用発明とを対比すると，後者の「端末装置２００」は前者の「端末装置」に相当し，以下同様に，「画像処理装置１００及び端末装置２００からなるシステム」は「支援システム」に，「オブジェクト」は「撮像対象」に，「入力画像」は「撮像画像」に，「データ取得部２３０」は「格納手段」にそれぞれ相当する。
イ．後者の「行為者」は，段落【０００２】の背景技術の「医療行為が行われる際に，行為者及び患者の識別子，使用される医療機器の識別子，並びに時刻を互いに関連付けるデータを，履歴として記録すること」という記載を考慮すると，前者の「患者または被介護者を含む対象者を支援する支援者」に相当する。
ウ．上記ア．とイ．を踏まえると，後者の「行為者に過度の負担を課すことなく行為の詳細を履歴としてより容易に管理することができる，画像処理装置１００及び端末装置２００」は前者の「少なくとも患者又は被介護者を含む対象者を支援する支援者に利用される端末装置を備える支援システム」に相当する。
エ．後者の「端末装置２００」は「実空間に存在するオブジェクトを映す入力画像を取得する画像取得部２２０」「を備える」ものであり，オブジェクトは，本願明細書に記載された第１実施例と第２実施例を参照すると，患者又は被介護者を含む対象者に関する撮像対象であることは明らかであるから，後者の「端末装置２００」は「実空間に存在するオブジェクトを映す入力画像を取得する画像取得部２２０」「を備える」ことは，上記ア．の相当関係を踏まえると，前者の「前記端末装置は，前記対象者に関する撮像対象を撮像した撮像画像を受け付け」ることに相当する。
オ．後者の「属性データ」は「関連付けられるオブジェクトに収容される物質の少なくとも種類を示し，」「関連付けられるオブジェクトに収容される物質の数量をさらに表し，」「前記物理的作用に対応するイベントの検出前に前記第１のオブジェクトに関連付けられており，前記イベントの検出に応じて前記第２のオブジェクトに新たに関連付けられるデータである」から，上記エ．を踏まえると，後者の「属性データ」は前者の「患者の看護又は介護に関する情報」に相当する。
カ．後者の「端末装置２００」は「実空間に存在するオブジェクトを映す入力画像を取得する画像取得部２２０と，第１のオブジェクトとの間の物理的作用に関与する，前記入力画像内で識別される第２のオブジェクトに関連付けられている属性データを取得するデータ取得部２３０と，　前記データ取得部２３０により取得される前記属性データを前記入力画像に重畳する表示制御部２４０と，を備える」から，上記オ．を踏まえると，後者のこれらの事項は，前者の「前記端末装置が受け付けた前記撮像画像に基づいて，前記患者の看護又は介護に関する情報を特定し，特定した前記患者の看護又は介護に関する情報を，格納装置に格納する処理手段，を備え」ることに相当する。
キ．後者の「前記属性制御部１７０は，前記イベントの検出時刻に対応する時刻認証データ及び前記属性データを，前記第２のオブジェクトに関連付けて記憶媒体に記憶させる」こと，及び，上記エ.を踏まえると，後者の「端末装置２００」は「実空間に存在するオブジェクトを映す入力画像を取得する画像取得部２２０」「を備える」ことは，２つのイベントを異なる時間に検出した際には，前者の「前記端末装置は，第１の日時に前記撮像対象を撮像した第１の撮像画像と，前記第１の日時よりも後の日時である第２の日時に前記撮像対象を撮像した第２の撮像画像を受け付け」ることに相当することは明らかである。
ク．後者の「前記第１のオブジェクト及び前記第２のオブジェクトは，物質を収容可能なオブジェクトであ」ることと，前者の「前記撮像対象は，液体を収容する収容パックを含」むこととは，「前記撮像対象は，収容パックを含」むことにおいて共通する。
ケ．後者の「前記属性データは，関連付けられるオブジェクトに収容される物質の少なくとも種類を示し，前記属性データは，関連付けられるオブジェクトに収容される物質の数量をさらに表し」ていることと，前者の「前記処理手段は，前記端末装置が受け付けた前記第１の撮像画像に基づいて，前記患者の看護又は介護に関する第１の数値情報を特定する第１処理と，前記端末装置が受け付けた前記第２の撮像画像に基づいて，前記患者の看護又は介護に関する第２の数値情報を特定する第２処理と，前記第１処理の処理結果及び前記第２処理の処理結果に基づいて，前記第１の数値情報と前記第２の数値情報との差分値を演算し，演算された当該差分値を示す情報を，前記格納装置に格納する第３処理と，を行」うこと，及び，前者の「前記処理手段は，前記第１処理において，教師有り機械学習を行うことにより予め生成されている画像認識用モデルを用いて，前記端末装置が受け付けた前記第１の撮像画像の画像認識を行うことにより，前記第１の撮像画像に写っている前記収容パックの種類と当該収容パックに収容されている液体の量を示す前記第１の数値情報とを特定し，前記第２処理において，前記画像認識用モデルを用いて，前記端末装置が受け付けた前記第２の撮像画像の画像認識を行うことにより，前記第２の撮像画像に写っている前記収容パックの種類と当該収容パックに収容されている液体の量を示す前記第２の数値情報とを特定し，前記第３処理において，前記第１処理で特定した前記収容パックの種類と前記第２処理で特定した前記収容パックの種類が相互に同じ種類である場合に，前記第２処理にて特定した前記第２の数値情報と，前記第１処理にて特定した前記第１の数値情報であって，前記第２処理にて特定した前記収容パックの種類と同じ種類の前記収容パックに収容されている液体の量を示す前記第１の数値情報との差分値を演算する」こととは，「前記処理手段は，前記患者の看護又は介護に関する数値情報を特定する処理を行い，」及び「前記処理手段は，前記処理において，前記収容パックに収容される物質の種類と当該収容パックに収容されている物質の量を示す数値情報とを特定」することにおいて共通する。
コ．そうすると，両者は，
「少なくとも患者又は被介護者を含む対象者を支援する支援者に利用される端末装置を備える支援システムであって，
　前記端末装置は，前記対象者に関する撮像対象を撮像した撮像画像を受け付け，
　前記支援システムは，
　前記端末装置が受け付けた前記撮像画像に基づいて，前記患者の看護又は介護に関する情報を特定し，特定した前記患者の看護又は介護に関する情報を，格納装置に格納する処理手段，を備え，
　前記端末装置は，第１の日時に前記撮像対象を撮像した第１の撮像画像と，前記第１の日時よりも後の日時である第２の日時に前記撮像対象を撮像した第２の撮像画像を受け付け，
　前記処理手段は，
　前記患者の看護又は介護に関する数値情報を特定する処理を行い，
前記撮像対象は，収容パックを含み，
　前記処理手段は，
　前記処理において，前記収容パックに収容される物質の種類と当該収容パックに収容されている物質の量を示す数値情報とを特定する，
　支援システム。」
の点で一致し，以下の各点で相違すると認められる。
＜相違点１＞
　処理手段に関して，本願発明１では，「前記端末装置が受け付けた前記第１の撮像画像に基づいて，前記患者の看護又は介護に関する第１の数値情報を特定する第１処理と，前記端末装置が受け付けた前記第２の撮像画像に基づいて，前記患者の看護又は介護に関する第２の数値情報を特定する第２処理と，前記第１処理の処理結果及び前記第２処理の処理結果に基づいて，前記第１の数値情報と前記第２の数値情報との差分値を演算し，演算された当該差分値を示す情報を，前記格納装置に格納する第３処理と，を行い」，及び，「前記第１処理において，教師有り機械学習を行うことにより予め生成されている画像認識用モデルを用いて，前記端末装置が受け付けた前記第１の撮像画像の画像認識を行うことにより，前記第１の撮像画像に写っている前記収容パックの種類と当該収容パックに収容されている液体の量を示す前記第１の数値情報とを特定し，前記第２処理において，前記画像認識用モデルを用いて，前記端末装置が受け付けた前記第２の撮像画像の画像認識を行うことにより，前記第２の撮像画像に写っている前記収容パックの種類と当該収容パックに収容されている液体の量を示す前記第２の数値情報とを特定し，前記第３処理において，前記第１処理で特定した前記収容パックの種類と前記第２処理で特定した前記収容パックの種類が相互に同じ種類である場合に，前記第２処理にて特定した前記第２の数値情報と，前記第１処理にて特定した前記第１の数値情報であって，前記第２処理にて特定した前記収容パックの種類と同じ種類の前記収容パックに収容されている液体の量を示す前記第１の数値情報との差分値を演算する」ものであるのに対して，引用発明では，「前記属性データは，関連付けられるオブジェクトに収容される物質の少なくとも種類を示し，前記属性データは，関連付けられるオブジェクトに収容される物質の数量をさらに表し」ている点。
＜相違点２＞
　前記撮像対象は，収容パックを含むことに関し，収容パックが，本願発明１では，「液体を収容する」収容パックであるのに対して，引用発明では，特定されていない点。
（２）相違点についての判断
＜相違点１について＞
　引用文献２，３に記載された事項からみて，「教師有り機械学習を行うことにより予め生成されている画像認識用モデルを用いて，撮像画像の画像認識を行うこと」は周知の事項といえる。
　しかしながら，引用発明には，相違点１の本願発明１の構成のうち，少なくとも「第１処理で特定した前記収容パックの種類と前記第２処理で特定した前記収容パックの種類が相互に同じ種類である場合に，前記第２処理にて特定した前記第２の数値情報と，前記第１処理にて特定した前記第１の数値情報であって，前記第２処理にて特定した前記収容パックの種類と同じ種類の前記収容パックに収容されている液体の量を示す前記第１の数値情報との差分値を演算する」ことは，記載されておらず，また，上述した各引用文献のいずれにも記載されていないから，引用発明に上記周知の事項を適用できたとしても，本願発明１の構成には至らない。
　そして，上記相違点１に係る本願発明１の構成により，本願発明１は，端末装置が受け付けた撮像画像に基づいて，患者の看護又は介護に関する情報を特定し，特定した患者の看護又は介護に関する情報を格納することにより，使い勝手の良い形式で情報を格納することが可能となるという格別の作用効果を奏するものである。
　したがって，相違点２については，検討するまでもなく，本願発明１は，引用発明，及び，上記周知の事項に基いて，当業者が容易に発明をすることができたものではない。
２．本願発明２について
　本願発明２と引用発明とを対比すると，本願発明１と引用発明との対比における相違点１と同様の相違点が存在し，本願発明１と同様の理由により，本願発明２は，引用発明，及び，上記周知の事項に基いて，当業者が容易に発明をすることができたものではない。
第６．むすび
　以上のとおり，原査定の理由によっては，本願を拒絶することはできない。
　また，他に本願を拒絶すべき理由を発見しない。
　よって，結論のとおり審決する。