(57)【要約】【課題】  ＰＴＰシートに収容されている錠剤の種別の特定精度を向上させることが可能な仕組みを提供すること。【解決手段】  同一の錠剤シートを撮像装置により複数回撮像することにより得られる複数の画像データそれぞれから、当該錠剤シートの特徴領域を特定するとともに、錠剤シートに収容される錠剤の種別を取得し、特定した特徴領域のうち、所定数以上の画像データで特定された特徴領域の情報を、取得した錠剤の種別と対応付けて管理する。そして、収容されている錠剤の種別を特定する対象の錠剤シートを撮像手段により撮像することにより得られる画像データと、管理する特徴領域の情報、および錠剤の種別の情報とを用いて、当該錠剤シートに収容されている錠剤の種別を特定する。【選択図】図１０
2019017913.tif 000002
【特許請求の範囲】
【請求項１】
錠剤シートに向けて光を射出する射出手段と、
前記射出手段により射出された光で照らされた錠剤シートを撮像する撮像手段と、
同一の錠剤シートを前記撮像手段により複数回撮像することにより得られる複数の画像データそれぞれから、当該錠剤シートの特徴領域を特定する特定手段と、
前記錠剤シートに収容される錠剤の種別を取得する種別取得手段と、
前記特定手段で特定した前記特徴領域のうち、所定数以上の前記画像データで特定された特徴領域の情報を、前記取得手段で取得した錠剤の種別と対応付けて管理する管理手段と、
収容されている錠剤の種別を特定する対象の錠剤シートを前記撮像手段により撮像することにより得られる画像データと、前記管理手段で管理する前記特徴領域の情報、および前記錠剤の種別の情報とを用いて、当該錠剤シートに収容されている錠剤の種別を特定する錠剤種別特定手段と
を備えることを特徴とする情報処理システム。
【請求項２】
前記画像データは、前記錠剤シートの錠剤が収容される錠剤収容部側の面を前記撮像手段により撮像することで得られる画像データを含むことを特徴とする請求項１に記載の情報処理システム。
【請求項３】
複数の前記画像データは、各画像データ間で映っている前記錠剤シートの傾きが異なることを特徴とする請求項１または２に記載の情報処理システム。
【請求項４】
前記画像データは、前記錠剤シートの錠剤が収容される錠剤収容部側の面と反対側の面を前記撮像手段により撮像することで得られる画像データを含むことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
【請求項５】
前記錠剤シートの色に係る特徴量を取得する色特徴量取得手段を備え、
前記錠剤種別特定手段は、前記色特徴量取得手段で取得した前記色に係る特徴量と、収容されている錠剤の種別を特定する対象の錠剤シートを前記撮像手段により撮像することにより得られる画像データと、前記管理手段で管理する前記特徴領域の情報、および前記錠剤の種別の情報とを用いて、当該錠剤シートに収容されている錠剤の種別を特定することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。
【請求項６】
前記特定手段は、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ａｃｃｅｌｅｒａｔｅｄ  Ｓｅｇｍｅｎｔ  Ｔｅｓｔ）やＯＲＢ（Ｏｒｉｅｎｔｅｄ  ＦＡＳＴ  ａｎｄ  Ｒｏｔａｔｅｄ  ＢＲＩＥＦ）を用いて前記特徴領域を特定することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
【請求項７】
錠剤シートに向けて光を射出する射出手段と、前記射出手段により射出された光で照らされた錠剤シートを撮像する撮像手段とを備える情報処理システムの制御方法であって、
同一の錠剤シートを前記撮像手段により複数回撮像することにより得られる複数の画像データそれぞれから、当該錠剤シートの特徴領域を特定する特定工程と、
前記錠剤シートに収容される錠剤の種別を取得する種別取得工程と、
前記特定工程で特定した前記特徴領域のうち、所定数以上の前記画像データで特定された特徴領域の情報を、前記取得工程で取得した錠剤の種別と対応付けて管理する管理工程と、
収容されている錠剤の種別を特定する対象の錠剤シートを前記撮像手段により撮像することにより得られる画像データと、前記管理工程で管理する前記特徴領域の情報、および前記錠剤の種別の情報とを用いて、当該錠剤シートに収容されている錠剤の種別を特定する錠剤種別特定工程と
を備えることを特徴とする情報処理システムの制御方法。
【請求項８】
錠剤シートに向けて光を射出する射出手段と、前記射出手段により射出された光で照らされた錠剤シートを撮像する撮像手段とを備える情報処理システムで読み取り実行可能なプログラムであって、
前記情報処理システムを、
同一の錠剤シートを前記撮像手段により複数回撮像することにより得られる複数の画像データそれぞれから、当該錠剤シートの特徴領域を特定する特定手段と、
前記錠剤シートに収容される錠剤の種別を取得する種別取得手段と、
前記特定手段で特定した前記特徴領域のうち、所定数以上の前記画像データで特定された特徴領域の情報を、前記取得手段で取得した錠剤の種別と対応付けて管理する管理手段と、
収容されている錠剤の種別を特定する対象の錠剤シートを前記撮像手段により撮像することにより得られる画像データと、前記管理手段で管理する前記特徴領域の情報、および前記錠剤の種別の情報とを用いて、当該錠剤シートに収容されている錠剤の種別を特定する錠剤種別特定手段と
して機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理システムの制御方法、およびプログラムに関し、特に、ＰＴＰシートに収容されている錠剤の種別の特定精度を向上させることが可能な仕組みに関する。
【背景技術】
【０００２】
患者が医療機関で受診や入院する際に、患者が現在服用している薬を医療機関へ持参することがある（以下、このような薬を持参薬とも呼ぶ）。
【０００３】
医療機関では、今後の治療方針を立てたり、今後処方すべき薬剤の種類や量を特定したりするために、医師や薬剤師がその持参薬の薬剤名を患者に確認している。
【０００４】
しかし、患者自身が持参薬の薬剤名を覚えていない、あるいはそもそも認識していないこと等から、薬剤師が、その薬を患者が持参したお薬手帳や薬剤データベースとつき合わせて鑑別しているのが現状である。
【０００５】
従って、ジェネリック医薬品など多種多様な薬が存在している現在、薬剤師にとっては、この鑑別にかかる作業に非常に大きな手間と時間等が費やされている。
【０００６】
そこで、薬剤の種別を自動的に特定するシステムとして、カメラ撮影した画像から特徴情報を抽出し、予め辞書的に登録されている薬剤の特徴情報とを照合する技術が開示されている（例えば、特許文献１参照）
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１４−１２０１５６号
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１において開示された発明は、包装材（ＰＴＰシート）の裏面（錠剤ポケットがない側の面）を撮影した画像から局所特徴量を抽出し、薬剤データベースに予め登録されている局所特徴量（以下、単に特徴情報とも呼ぶ）との類似度を算出することで、最も類似度の高い薬剤を識別結果として出力している。これにより、医師の処方によって薬剤を提供する調剤時において、薬剤師の確認作業の負担を軽減している。
【０００９】
しかし、持参薬の場合、ＰＴＰシートの一部の錠剤ポケットから錠剤が取り出されていることがある。一部の錠剤が取り出されたＰＴＰシートの場合、ＰＴＰシート裏面の蓋材が破れているため、印字やテクスチャ等から特徴情報を抽出することができない。また、破れた個所の周辺では、データベースに予め登録されている特徴情報とは異なる特徴情報が抽出される可能性があるため誤検出の原因になる。
【００１０】
そこで、高い識別精度を得るためには、ＰＴＰシートからより多くの特徴情報を抽出する必要があり、そのためにはＰＴＰシートの表面（錠剤ポケットがある側の面）の特徴情報を用いることが求められるが、ＰＴＰシートの表面は、錠剤ポケットが存在することや、表面に凹凸が存在すること等の理由により、ＰＴＰシートの姿勢によっては、錠剤ポケットに反射した光や凸凹部分に反射した光が撮影されてしまうことがあった。
【００１１】
そうすると、光が反射している箇所も特徴情報として抽出されてしまう可能性があるが、そのような特徴量は他のＰＴＰシートでは必ずしも抽出されない特徴情報、つまりノイズとなり持参薬との類似度を特定する際にノイズの特徴量を用いてしまうと、特定精度の低下を招く恐れがあった。
【００１２】
本発明は、ＰＴＰシートに収容されている錠剤の種別の特定精度を向上させることが可能な仕組みを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、錠剤シートに向けて光を射出する射出手段と、前記射出手段により射出された光で照らされた錠剤シートを撮像する撮像手段と、同一の錠剤シートを前記撮像手段により複数回撮像することにより得られる複数の画像データそれぞれから、当該錠剤シートの特徴領域を特定する特定手段と、前記錠剤シートに収容される錠剤の種別を取得する種別取得手段と、前記特定手段で特定した前記特徴領域のうち、所定数以上の前記画像データで特定された特徴領域の情報を、前記取得手段で取得した錠剤の種別と対応付けて管理する管理手段と、収容されている錠剤の種別を特定する対象の錠剤シートを前記撮像手段により撮像することにより得られる画像データと、前記管理手段で管理する前記特徴領域の情報、および前記錠剤の種別の情報とを用いて、当該錠剤シートに収容されている錠剤の種別を特定する錠剤種別特定手段とを備えることを特徴とする。
【００１４】
また、本発明は、錠剤シートに向けて光を射出する射出手段と、前記射出手段により射出された光で照らされた錠剤シートを撮像する撮像手段とを備える情報処理システムの制御方法であって、同一の錠剤シートを前記撮像手段により複数回撮像することにより得られる複数の画像データそれぞれから、当該錠剤シートの特徴領域を特定する特定工程と、前記錠剤シートに収容される錠剤の種別を取得する種別取得工程と、前記特定工程で特定した前記特徴領域のうち、所定数以上の前記画像データで特定された特徴領域の情報を、前記取得工程で取得した錠剤の種別と対応付けて管理する管理工程と、収容されている錠剤の種別を特定する対象の錠剤シートを前記撮像手段により撮像することにより得られる画像データと、前記管理工程で管理する前記特徴領域の情報、および前記錠剤の種別の情報とを用いて、当該錠剤シートに収容されている錠剤の種別を特定する錠剤種別特定工程とを備えることを特徴とする。
【００１５】
また、本発明は、錠剤シートに向けて光を射出する射出手段と、前記射出手段により射出された光で照らされた錠剤シートを撮像する撮像手段とを備える情報処理システムで読み取り実行可能なプログラムであって、前記情報処理システムを、同一の錠剤シートを前記撮像手段により複数回撮像することにより得られる複数の画像データそれぞれから、当該錠剤シートの特徴領域を特定する特定手段と、前記錠剤シートに収容される錠剤の種別を取得する種別取得手段と、前記特定手段で特定した前記特徴領域のうち、所定数以上の前記画像データで特定された特徴領域の情報を、前記取得手段で取得した錠剤の種別と対応付けて管理する管理手段と、収容されている錠剤の種別を特定する対象の錠剤シートを前記撮像手段により撮像することにより得られる画像データと、前記管理手段で管理する前記特徴領域の情報、および前記錠剤の種別の情報とを用いて、当該錠剤シートに収容されている錠剤の種別を特定する錠剤種別特定手段として機能させることを特徴とする。
【発明の効果】
【００１６】
本発明により、ＰＴＰシートに収容されている錠剤の種別の特定精度を向上させることが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る持参薬識別システム１００のシステム構成の一例を示す図。
【図２】図１に示した持参薬識別装置１０４、薬剤マスタ用ＤＢサーバ１０６に適用可能な情報処理装置のハードウェア構成の一例を示す図。
【図３】ＰＴＰシートのマスタ画像登録処理を示すフローチャート。
【図４】ＰＴＰシートの識別結果出力処理を示すフローチャート。
【図５】局所特徴量の選別処理を示すフローチャート。
【図６】代表局所特徴量の算出処理を示すフローチャート。
【図７】撮影台のＰＴＰシートの姿勢を変えて、Ｓ３０１〜Ｓ３１０の処理を繰り返すイメージを示す図。
【図８】一つの局所特徴点に対して、複数の類似点を紐づけるイメージを示す図。
【図９】対応点を決定するイメージを示す図。
【図１０】代表局所特徴量を算出するイメージを示す図。
【図１１】鑑別画面の一例を示す図。
【発明を実施するための形態】
【００１８】
以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。
【００１９】
まず図１を用いて本発明の実施形態に係る持参薬識別システム１００のシステム構成の一例について説明する。
【００２０】
図１には、本発明の実施形態に係る持参薬識別システム１００の概略構成が示されている。
【００２１】
持参薬識別システム１００（情報処理システムともいう）は、患者が持参する薬を備え付けのカメラで撮影する持参薬撮影装置１０２、持参薬撮影装置１０２によって撮影して得られたＰＴＰシートの画像を取り込む持参薬識別装置１０４（情報処理装置ともいう）、ＰＴＰシートの薬剤名や、各ＰＴＰシートを撮影することにより得られる画像、画像から取得される各種特徴情報（色特徴情報、局所特徴情報など）を記憶する薬剤マスタ用ＤＢサーバ１０６を備えており、各装置は、それぞれネットワーク１１０を介して、通信可能なように接続されている。
【００２２】
持参薬撮影装置１０２は、患者が持参した薬を置くための透明な撮影台１１２、撮影台１１２に置かれたＰＴＰシートの領域を算出する為の撮影に用いられる照明１１４、当該ＰＴＰシート上の特徴情報を取得する為に撮影に用いられる照明１１８及び照明１２０、当該ＰＴＰシートを撮影するためのカメラ１２２及びカメラ１２４を備えている。
【００２３】
照明１１４、照明１１８、照明１２０は、錠剤シートに向けて光を射出する射出手段の一例である。
【００２４】
また、カメラ１２２及びカメラ１２４は、本発明における射出手段により射出された光で照らされた錠剤シートを撮像する撮像手段の一例である。
【００２５】
照明１１８及び照明１２０は、それぞれ撮影台１１２を挟んで上下に配置されている。また、カメラ１２２及びカメラ１２４も、それぞれ撮影台１１２を挟んで上下に配置されている。また、照明１１４は、撮影台１１２の下側に配置されている。
【００２６】
撮影台１１２に置かれたＰＴＰシートの領域を抽出する場合、照明制御１２８により照明１１４をＯＮとした状態（バックライト）で、カメラ１２２で撮影する。
【００２７】
また、ＰＴＰシートの表（オモテ）面の特徴情報を撮影する場合、照明制御１２６により照明１１８をＯＮとした状態でカメラ１２２と同期撮影する。同様に、ＰＴＰシートの裏（ウラ）面の特徴情報を撮影する場合、照明制御１２８により照明１２０をＯＮとした状態でカメラ１２４と同期撮影する。
【００２８】
持参薬撮影装置１０２は、このような構成により、撮影台１１２に置かれた薬の表裏を撮影することが可能となる。以上で図１の説明を終了する。
【００２９】
なお、本実施形態では持参薬撮影装置１０２と、持参薬識別装置１０４とを別々の装置としたが、持参薬撮影装置１０２と、持参薬識別装置１０４とが一体となった装置であっても良いし、さらに薬剤マスタ用ＤＢサーバ１０６も一体となった装置であっても良い。
【００３０】
次に、図２を用いて、図１に示した持参薬識別装置１０４、薬剤マスタ用ＤＢサーバ１０６に適用可能な情報処理装置のハードウェア構成の一例について説明する。
【００３１】
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
【００３２】
２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。
【００３３】
また、２０５は入力コントローラで、キーボード（ＫＢ）２０９や、不図示のマウス等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ディスプレイ２１０（液晶、ブラウン管を問わない）等の表示器への表示を制御する。
【００３４】
２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。
【００３５】
２０８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示した１１０）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【００３６】
なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【００３７】
本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。以上で、図２の説明を終了する。
【００３８】
次に、図３を用いて、持参薬識別装置１０４で実行されるＰＴＰシートのマスタ画像登録処理に関する処理フローについて説明する。
【００３９】
本発明では、ＰＴＰシートの表（オモテ）面と裏（ウラ）面の両面で特徴情報を抽出するが、ＰＴＰシートの表（オモテ）面を撮影する場合、ＰＴＰシート上のポケット領域や、表面の凹凸で発生する不規則な反射光によって期待しない特徴点が観測されることがある。この問題を解決するため、本発明では、カメラ（照明）に対して位置姿勢を変えた複数枚の画像を撮影し、繰り返し観測される安定した特徴点のみを登録対象とする。
【００４０】
なお、図３に示す各処理は、撮影台１１２に、任意の位置、姿勢（面内回転）でＰＴＰシートが配置された状態でユーザ操作に従って実行する。
【００４１】
また、図３の処理の開始時に、撮像する錠剤シートに収容されている錠剤の種別（錠剤名等）をユーザが持参薬識別装置１０４に入力する（本発明における、前記錠剤シートに収容される錠剤の種別を取得する種別取得手段）。なお、他の実施形態として、Ｓ３１７で代表局所特徴量を登録するときに入力するとしても良い。
【００４２】
Ｓ３０１において、持参薬識別装置１０４は、撮影台１１２の下に搭載した照明１１４を照射して、カメラ１２２で撮影し、持参薬撮影装置１０２に画像を入力する。照明１１４で照射された画像は、背景が白、ＰＴＰシート領域が黒で撮影される。
【００４３】
Ｓ３０２において、持参薬識別装置１０４は、入力画像から黒領域を抽出することで、これをＰＴＰシート領域とする。複数のＰＴＰシートが存在する場合、ＰＴＰシート領域をラベリングし、ＰＴＰシート領域ごとに以降の認識処理を実施する。
【００４４】
Ｓ３０３において、持参薬識別装置１０４は、照明１１４と照明１２０がＯＦＦになった状態で、カメラ１２２で撮影し、持参薬撮影装置１０２に画像を入力する。このとき、撮影と同期して照明１１８を照射する。
【００４５】
Ｓ３０４において、持参薬識別装置１０４は、入力画像に対して、Ｓ３０２で抽出したＰＴＰシート領域の外側をマスキングする（ＰＴＰシート領域のみに注目する）。
【００４６】
Ｓ３０５において、持参薬識別装置１０４は、ＰＴＰシート領域内で、色特徴量ＦＨ’を算出する。色特徴量には、ＲＧＢヒストグラムや、ＨＳＶヒストグラムを利用する（各チャンネルの階調を４とした場合、６４次元の情報となる）。
【００４７】
Ｓ３０６において、持参薬識別装置１０４は、ＰＴＰシート領域内で、局所特徴量ＦＦ’を算出する。局所特徴量の算出には、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ａｃｃｅｌｅｒａｔｅｄ  Ｓｅｇｍｅｎｔ  Ｔｅｓｔ）やＯＲＢ（Ｏｒｉｅｎｔｅｄ  ＦＡＳＴ  ａｎｄ  Ｒｏｔａｔｅｄ  ＢＲＩＥＦ）を利用する。
【００４８】
Ｓ３０７において、持参薬識別装置１０４は、照明１１８がＯＦＦになった状態で、カメラ１２４で撮影し、持参薬撮影装置１０２に画像を入力する。このとき、撮影と同期して照明１２０を照射する。
【００４９】
Ｓ３０８において、持参薬識別装置１０４は、入力画像に対して、ＰＴＰシート領域の外側をマスキングする。Ｓ３０２で抽出したＰＴＰシート領域は、カメラ１２２の画像座標系で定義されているため、カメラ１２４の画像座標系に変換したものを利用する。上下カメラで撮影される画像間の射影関係は、カメラ設置時にキャリブレーションする。
【００５０】
Ｓ３０９において、持参薬識別装置１０４は、Ｓ３０５と同じ処理を実行し、色特徴量ＢＨ’を算出する。
【００５１】
Ｓ３１０において、持参薬識別装置１０４は、Ｓ３０６と同じ処理を実行し、局所特徴量ＢＦ’を算出する。
【００５２】
Ｓ３１１において、持参薬識別装置１０４は、撮影台のＰＴＰシートの姿勢（面内回転）を変えて、Ｓ３０１〜Ｓ３１０の処理を複数回（５〜１０回）繰り返す（図７参照）。
【００５３】
Ｓ３１２において、持参薬識別装置１０４は、Ｓ３０５で算出した色特徴量の平均値を、シート表（オモテ）面の色特徴量ＦＨｉとして算出する。Ｓ３０９で算出した色特徴量の平均値を、シート裏（ウラ）面の色特徴量ＢＨｉとして算出する。
【００５４】
Ｓ３１３において、持参薬識別装置１０４は、Ｓ３０６で算出した局所特徴点を元に、各画像間（時系列）で対応点（特徴量の類似点）を算出する。シート上の印字個所など、安定して観測される特徴点では、複数回の撮影で対応点が８割程度算出される。一方、ＰＴＰシートの姿勢によって偶然撮影されてしまう反射光などは、複数回の撮影で対応点が存在しない。そこで、オクルージョンや観測誤差などを踏まえて、複数回の撮影中、８割で対応点を持つ特徴点のみ残し、それ以外はノイズ点として除外する。そうすることで、計測画像とマスタ画像のマッチングを行う際の精度を向上させることが可能となる。Ｓ３１３の処理の詳細は後述する図５で説明する。
【００５５】
Ｓ３１４において、持参薬識別装置１０４は、Ｓ３１３で選別された局所特徴点のうち、同一画像の異なる位置に、高頻度で観測される類似特徴点（特徴量の類似点）を代表局所特徴量として算出する。代表局所特徴量は、位置情報は捨て、特徴量のみ記録する。高頻度で観測される点が複数ある場合は、複数の代表局所特徴量を出力する。Ｓ３１４の処理の詳細は後述する図６で説明する。
【００５６】
Ｓ３１４は、本発明における、同一の錠剤シートを前記撮像手段により複数回撮像することにより得られる複数の画像データそれぞれから、当該錠剤シートの特徴領域を特定する特定手段の一例である。
【００５７】
Ｓ３１５において、持参薬識別装置１０４は、Ｓ３１２で算出した色特徴量の平均値（ＦＨｉ，ＢＨｉ）を、薬剤マスタ用ＤＢサーバ１０６に登録する。
【００５８】
Ｓ３１６において、持参薬識別装置１０４は、Ｓ３１３で算出した選別された局所特徴点（ＦＦｉ，ＢＦｉ）を、薬剤マスタ用ＤＢサーバ１０６に登録する。
【００５９】
Ｓ３１７において、持参薬識別装置１０４は、Ｓ３１４で算出した代表局所特徴量（ＦＲｉ，ＢＲｉ）を、ユーザによりあらかじめ入力された錠剤の種別と対応付けて薬剤マスタ用ＤＢサーバ１０６に登録する。
【００６０】
Ｓ３１７は、本発明における、前記特定手段で特定した前記特徴領域のうち、所定数以上の前記画像データで特定された特徴領域の情報を、前記取得手段で取得した錠剤の種別と対応付けて管理する管理手段の一例である。
【００６１】
以上で、図３の説明を終了する。
【００６２】
次に、図４を用いて、持参薬識別装置１０４で実行されるＰＴＰシートの識別結果出力処理に関する処理フローについて説明する。
【００６３】
薬剤マスタ用ＤＢサーバ１０６に登録されているマスタ画像は、数千件以上が想定される。局所特徴情報を利用したマッチングでは、計測対象の画像（以下、計測画像とも呼ぶ）と、マスタ画像の特徴点を総当たりで類似比較をする為、処理時間が膨大になり、システム応答性に影響する。
【００６４】
この問題を解決する為、局所特徴点以外の特徴情報も用いて、マッチング候補のマスタ画像を絞り込む。
【００６５】
第一に、シート全体の色特徴量（ＲＧＢヒストグラムや、ＨＳＶヒストグラム）を比較する。比較にはヒストグラムインタセクションを利用し、各チャンネル階調を４として、６４次元のヒストグラムとすることで高速に比較する。
【００６６】
ただし、一部の錠剤が取り出されたＰＴＰシートの場合、計測対象の画像からは、特徴となる情報が欠損してしまうため、正しい比較ができない（例えば、穴の領域をヒストグラムの母数から除外すると、期待しないヒストグラム形状になる）。この対策として、シート上の穴領域は、マスタ画像と同色が含まれているものとして比較する。これにより、誤って類似するマスタ画像を除外してしまうことを防止する。
【００６７】
第二に、マスタ画像が持つ代表局所特徴量が、計測対象の画像に含まれていか確認する。
【００６８】
代表局所特徴量は、ＰＴＰシート間で高い頻度で存在する特徴量であり、マスタ画像登録時に、最大５個まで登録される。なお、高い頻度で存在する特徴量が無い場合は登録されていない。
【００６９】
計測対象の画像上から算出した局所特徴点に、マスタ画像が持つ代表局所特徴点が含まれている場合、マッチング候補として残す。一方、代表局所特徴点が含まれていない場合は候補から除外する。ただし、計測対象が、マスタ画像に対して小さすぎる場合（面積比で１／３以下の場合）代表点が含まれていない可能性が高いため、代表点を使った比較はせず、マッチング候補のままとする。
【００７０】
撮影台１１２の任意の位置、姿勢（面内回転）に、患者が持参したＰＴＰシート（計測対象）が配置された状態で、以下の処理を実行する。
【００７１】
Ｓ４０１において、持参薬識別装置１０４は、持参薬撮影装置１０２で撮影された画像から、ＰＴＰシート領域を抽出する。
【００７２】
Ｓ４０２において、持参薬識別装置１０４は、持参薬撮影装置１０２で撮影された画像から、ＰＴＰシート表（オモテ）面の特徴情報（色特徴量、局所特徴量）を抽出する。
【００７３】
Ｓ４０３において、持参薬識別装置１０４は、持参薬撮影装置１０２で撮影された画像から、ＰＴＰシート裏（ウラ）面の特徴情報（色特徴量、局所特徴量）を抽出する。
【００７４】
次に、薬剤マスタ用ＤＢサーバ１０６に登録されているマスタ画像を、１番から登録数Ｍ番まで順番に参照して、以下の処理を実行する。
【００７５】
Ｓ４０４において、持参薬識別装置１０４は、マスタ画像ｉから、表（オモテ）面の色特徴量ＦＨｉを取得する。
【００７６】
Ｓ４０５において、持参薬識別装置１０４は、計測画像の表（オモテ）面の色特徴量ＦＨ’と比較（ヒストグラムインタセクション）する。計測画像の穴領域は母数から除外して、類似度が閾値以下である場合、次のマスタ画像を参照する。
【００７７】
Ｓ４０６において、持参薬識別装置１０４は、マスタ画像ｉから、裏（ウラ）面の色特徴量ＢＨｉを取得する。
【００７８】
Ｓ４０７において、持参薬識別装置１０４は、計測画像の裏（ウラ）面の色特徴量ＢＨ’と比較（ヒストグラムインタセクション）する。計測画像の穴領域は母数から除外して、類似度が閾値以下である場合、次のマスタ画像を参照する。
【００７９】
Ｓ４０８において、持参薬識別装置１０４は、マスタ画像ｉから、表（オモテ）面の代表局所特徴量ＦＲｉを登録数分だけ取得する。
【００８０】
Ｓ４０９において、持参薬識別装置１０４は、計測対象の表（オモテ）面の局所特徴点ＦＦ’に、代表局所特徴量ＦＲｉが全て含まれていることを確認する。一つでも含まれていない場合、次のマスタ画像を参照する。
【００８１】
Ｓ４１０において、持参薬識別装置１０４は、マスタ画像ｉから、裏（ウラ）面の代表局所特徴量ＢＲｉを登録数分だけ取得する。
【００８２】
Ｓ４１１において、持参薬識別装置１０４は、計測対象の裏（ウラ）面の局所特徴点ＢＦ’に、代表局所特徴量ＢＲｉが全て含まれていることを確認する。一つでも含まれていない場合、次のマスタ画像を参照する。
【００８３】
Ｓ４１１は、本発明における、収容されている錠剤の種別を特定する対象の錠剤シートを前記撮像手段により撮像することにより得られる画像データと、前記管理手段で管理する前記特徴領域の情報、および前記錠剤の種別の情報とを用いて、当該錠剤シートに収容されている錠剤の種別を特定する錠剤種別特定手段の一例である。
【００８４】
Ｓ４１２において、持参薬識別装置１０４は、マスタ画像ｉから、表（オモテ）面の局所特徴点ＦＦｉを取得する。局所特徴点には、特徴点数分の座標と特徴量が含まれている。
【００８５】
Ｓ４１３において、持参薬識別装置１０４は、マスタ画像ｉから、裏（ウラ）面の局所特徴点ＢＦｉを取得する。局所特徴点には、特徴点数分の座標と特徴量が含まれている。
【００８６】
Ｓ４１４において、持参薬識別装置１０４は、表（オモテ）面で、マスタ画像の局所特徴点ＦＦｉと、計測対象の画像の局所特徴点ＦＦ’を突き合わせて特徴量の類似度を比較して、閾値（ｅ．ｇ．０．８５）以上で類似する点を対応点とする。同様に裏（ウラ）面で、マスタ画像の局所特徴点ＢＦｉと、計測対象の画像の局所特徴点ＢＦ’を突き合わせて特徴量の類似度を比較して、閾値（ｅ．ｇ．０．８５）以上で類似する点を対応点とする。表（オモテ）面の対応点間の誤差と、裏（ウラ）面の対応点間の誤差の総和が最小になるような、マスタ画像に対する計測画像の相対位置姿勢を計算する（位置のマッチング）。計算には、ロバスト推定（ＲＡＮＳＡＣ）を使用する。
【００８７】
Ｓ４１５において、持参薬識別装置１０４は、マッチングした位置において、閾値以下の距離で重畳する対応点の数をカウントしこれをマッチングスコアとする。マッチングスコアが閾値（ｅ．ｇ．１０個）以下の場合、次のマスタ画像を参照する。
【００８８】
Ｓ４１６において、持参薬識別装置１０４は、マッチングスコアが閾値（ｅ．ｇ．１０個）以上の場合、判定結果リストに追加する。
【００８９】
Ｓ４１７において、持参薬識別装置１０４は、薬剤マスタ用ＤＢサーバ１０６の全てのマスタ画像に対して、Ｓ４０４〜Ｓ４１６の処理を実行する。
【００９０】
Ｓ４１８において、持参薬識別装置１０４は、Ｓ４１６で更新された判定結果リストから、マスタ画像に紐づいた薬剤名を画面に表示する。
【００９１】
Ｓ４１８で表示される画面とは、例えば、図１１に示す鑑別画面１１００（図１１参照）を表示する。
【００９２】
図１１には、鑑別画面１１００の構成が示されており、鑑別画面１１００は、撮影した画像を表示するための撮影画像表示領域１１０２を備えている。
【００９３】
図示するように、撮影画像表示領域１１０２には、撮影台１１２に置かれた薬の撮影画像が表示されており、何れの薬が選択されたことを検知すると、選択されたことが識別可能なように、その選択された薬に対して選択表示１１０４（例えば、薬の外周を点線で囲う等）がなされる。撮影画像表示領域１１０２の左側の円形のトレイが裸状の薬を置くトレイであり、右側の四角形のトレイが錠剤シートを置くトレイである。
【００９４】
そして、選択された薬の画像と、薬剤マスタ用ＤＢサーバ１０６の薬の画像との照合処理（マッチング処理）を行い、各画像の特徴量に係る類似度の高い順に、候補薬表示領域１１０６に薬剤名や類似度等の情報を表示する。
【００９５】
尚、候補薬表示領域１１０６に表示されているレコードを選択すると、その薬に関しての画像を表示する構成を備えても良い。
【００９６】
選択表示１１０４がなされた薬に対して適切な薬剤名を、候補薬表示領域１１０６に表示されているレコードから選択されると、選択欄１１０８にチェック印が表示される。
【００９７】
また、選択表示１１０４に表示されたレコードを選択すると、当該レコードの薬の薬剤名が登録薬剤名１１１０へ表示される。
【００９８】
また、鑑別画面１１００は、鑑別画面１１００を閉じる際に押下するためのキャンセルボタン１１１２を備え、さらに、患者に関する情報と、選択表示がなされた薬と、選択欄１１０８にチェック印がなされたレコードの薬剤名等の情報とを対応付けて、薬剤マスタ用ＤＢサーバ１０６へ登録する際に押下するための薬情報登録ボタン１１１４を備えている。
【００９９】
以上で、図４の説明を終了する。
【０１００】
次に、図５を用いて、持参薬識別装置１０４で実行される、局所特徴点の選別処理に関する処理フロー（図３のＳ３１３の処理の詳細処理フロー）について説明する。
【０１０１】
Ｓ５０１において、持参薬識別装置１０４は、複数枚の撮影画像から、任意の２枚の画像を選択する（画像ｉとｊ）。以下、２枚の全組み合わせでＳ５０２〜Ｓ５０８を実施する。
【０１０２】
Ｓ５０２において、持参薬識別装置１０４は、画像ｉから局所特徴点を取得する。局所特徴点には、特徴点数分の座標と特徴量が含まれている。
【０１０３】
Ｓ５０３において、持参薬識別装置１０４は、画像ｊから局所特徴点を取得する。局所特徴点には、特徴点数分の座標と特徴量が含まれている。
【０１０４】
Ｓ５０４において、持参薬識別装置１０４は、画像ｉと画像ｊの局所特徴点を総当たりで比較して、特徴量が閾値以上で類似する特徴点を類似点として紐づける。ＰＴＰシート上には、同じテキストやマークが繰り返し登場するので、一つの局所特徴点に対して、複数の類似点を紐づけることを許容する（図８参照）。
【０１０５】
Ｓ５０５において、持参薬識別装置１０４は、画像ｉと画像ｊの類似点から、ロバスト推定（ＲＡＮＳＡＣ）により画像間の相対位置姿勢ｉＴｊを算出する。
【０１０６】
Ｓ５０６において、持参薬識別装置１０４は、相対位置姿勢ｉＴｊに従って、画像ｊの特徴点座標を画像ｉに変換する。
【０１０７】
Ｓ５０７において、持参薬識別装置１０４は、画像ｉ座標系で、画像ｉと画像ｊの類似点の距離を算出し、閾値以下（ｅ．ｇ．３ピクセル）で隣接する類似点を対応点として決定する（図９参照）。
【０１０８】
Ｓ５０８において、持参薬識別装置１０４は、対応点が見つかった画像ｉ、画像ｊの特徴点に、夫々評価値（＋１）を加算する。
【０１０９】
Ｓ５０９において、持参薬識別装置１０４は、撮影画像の全組み合わせが全て評価されるまで、Ｓ５０２〜Ｓ５０８を繰り返す。
【０１１０】
Ｓ５１０において、持参薬識別装置１０４は、各撮影画像において、評価値が閾値（ｅ．ｇ．  撮影枚数×０．８）よりも低い特徴点は、安定しない特徴点として削除する。
【０１１１】
Ｓ５１１において、持参薬識別装置１０４は、削除されなかった評価値の高い特徴点を、全て画像１座標系に変換して出力する。
【０１１２】
以上で、図５の説明を終了する。
【０１１３】
次に、図６を用いて、持参薬識別装置１０４で実行される、代表局所特徴量の算出（図３のＳ３１４の処理の詳細処理フロー）に関する処理フローについて説明する。
【０１１４】
代表局所特徴量は、同じＰＴＰシート上で繰り返し観測される類似特徴点（特徴量の類似点）である（図１０参照）。
【０１１５】
Ｓ６０１において、持参薬識別装置１０４は、図５の処理により選別された局所特徴から１点ずつ局所特徴点を取得する。
【０１１６】
Ｓ６０２において、持参薬識別装置１０４は、取得した特徴点が、既に代表点として登録済み（非活性）である場合、次の局所特徴点を取得する。
【０１１７】
Ｓ６０３において、持参薬識別装置１０４は、取得した局所特徴点と、それ以外の局所特徴点の特徴量を比較して、閾値以上で類似した特徴点を、類似点として全てリストアップする。この時、既に代表点として登録済み（非活性）の特徴点はリストアップしない。
【０１１８】
Ｓ６０４において、持参薬識別装置１０４は、Ｓ６０３でリストアップされた類似点の数が、閾値（ｅ．ｇ．  ５点）よりも低い場合、代表特徴点てしては扱わず、Ｓ６０１で取得した局所特徴点を非活性にして、次の特徴点を取得する。
【０１１９】
Ｓ６０５において、持参薬識別装置１０４は、Ｓ６０３でリストアップされた類似点が、シート内に万遍なく配置されていることを確認する。
【０１２０】
Ｓ６０６において、持参薬識別装置１０４は、Ｓ６０５で算出した類似点の分布の評価値を閾値と比較して、万遍なく配置されていることが確認できなければ代表特徴点としては扱わず、取得した局所特徴点を非活性にして、次の特徴点を取得する。
【０１２１】
Ｓ６０７において、持参薬識別装置１０４は、Ｓ６０１で取得した局所特徴点と、Ｓ６０３でリストアップした類似点の特徴量の平均値（または中央値）を算出する。
【０１２２】
Ｓ６０８において、持参薬識別装置１０４は、Ｓ６０７で算出した特徴量の平均値を、代表局所特徴量として薬剤マスタ用ＤＢサーバ１０６へ登録する。代表局所特徴量は複数登録することを許容する。
【０１２３】
Ｓ６０９において、持参薬識別装置１０４は、Ｓ６０３でリストアップした類似点を非活性にして、重複して代表局所特徴量に登録しないようにする。
【０１２４】
Ｓ６１０において、持参薬識別装置１０４は、Ｓ６０１で取得した局所特徴点を非活性にして、重複して代表局所特徴量に登録しないようにする。
【０１２５】
Ｓ６１１において、持参薬識別装置１０４は、シート上の全ての局所特徴点で、Ｓ６０１〜Ｓ６１０の処理を実行する。
【０１２６】
以上で、図６の説明を終了する。
【０１２７】
以上、本発明によると、ＰＴＰシートに収容されている錠剤の種別の特定精度を向上させることができる。
【０１２８】
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
【０１２９】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
【０１３０】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１３１】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０１３２】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【０１３３】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【０１３４】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１３５】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１３６】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１３７】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０１３８】
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１３９】
１００  持参薬識別システム
１０２  持参薬撮影装置
１０４  持参薬識別装置
１０６  薬剤マスタ用ＤＢサーバ
１１０  ネットワーク
【図１】
2019017913.tif 000003
【図２】
2019017913.tif 000004
【図３】
2019017913.tif 000005
【図４】
2019017913.tif 000006
【図５】
2019017913.tif 000007
【図６】
2019017913.tif 000008
【図７】
2019017913.tif 000009
【図８】
2019017913.tif 000010
【図９】
2019017913.tif 000011
【図１０】
2019017913.tif 000012
【図１１】
2019017913.tif 000013