(57)【要約】  識別情報が刻印であっても印字であっても、識別情報を適切に認識する薬剤検査支援装置、画像処理装置、画像処理方法及びプログラムを提供する。薬剤の複数の撮影画像を取得し、複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の刻印部分を強調する処理を行って第１強調画像を生成し、複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行って第２強調画像を生成し、第１強調画像と第２強調画像とを統合した統合画像とマスタ画像とを照合して、調剤されるべき薬剤と調剤された薬剤とが同一であるか否かを判定する画像処理装置によって上記課題を解決する。
2019039015.tif 000002
【特許請求の範囲】
【請求項１】
処方箋情報に基づいて、調剤されるべき薬剤のマスタ画像を取得するマスタ画像取得部と、
調剤された薬剤の表面への光の照明方向がそれぞれ異なる前記薬剤の複数の撮影画像を取得する撮影画像取得部と、
前記複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の刻印部分を強調する処理を行い、第１強調画像を生成する第１画像処理部と、
前記複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、第２強調画像を生成する第２画像処理部と、
前記第１強調画像と前記第２強調画像とを統合して統合画像を生成する画像統合部と、
前記生成した統合画像と前記マスタ画像とを照合して、前記調剤されるべき薬剤と前記調剤された薬剤とが同一であるか否かを判定する判定部と、
を備えた画像処理装置。
【請求項２】
前記第１画像処理部は、薬剤の刻印部分の輝度値を大きくする処理を行い、
前記第２画像処理部は、薬剤の印字部分の輝度値を大きくする処理を行い、
前記画像統合部は、前記第１強調画像及び前記第２強調画像のそれぞれ対応する位置の輝度値を比較し、輝度が大きい方の輝度値を採用する請求項１に記載の画像処理装置。
【請求項３】
前記第１画像処理部は、薬剤の刻印部分の輝度値を小さくする処理を行い、
前記第２画像処理部は、薬剤の印字部分の輝度値を小さくする処理を行い、
前記画像統合部は、前記第１強調画像及び前記第２強調画像のそれぞれ対応する位置の輝度値を比較し、輝度が小さい方の輝度値を採用する請求項１に記載の画像処理装置。
【請求項４】
前記複数の撮影画像から薬剤の写った領域を検出する薬剤検出部を備え、
前記第１画像処理部及び前記第２画像処理部は、前記検出した領域について前記処理を行う請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記撮影画像取得部は、３枚以上の撮影画像を取得し、
前記第１画像処理部は、前記３枚以上の撮影画像に基づいて前記第１強調画像を生成する請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第１画像処理部は、照度差ステレオ法により前記薬剤の表面の三次元情報を取得して前記第１強調画像を生成する請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記第２画像処理部は、平滑化処理、鮮鋭化処理、及びエッジ検出処理の少なくとも１つを施して前記第２強調画像を生成する請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記統合画像と前記マスタ画像とが類似する度合を示す類似度を算出する類似度算出部を備え、
前記判定部は、前記類似度に基づいて前記調剤されるべき薬剤と前記調剤された薬剤とが同一であるか否かを判定する請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記類似度算出部は、複数の前記統合画像と複数の前記マスタ画像との類似度を算出し、
前記判定部は、最も類似度の高い前記統合画像と前記マスタ画像との組み合わせについて前記調剤されるべき薬剤と前記調剤された薬剤とが同一であると判定する請求項８に記載の画像処理装置。
【請求項１０】
処方箋情報を取得する処方箋情報取得部と、
前記処方箋情報に基づいて、調剤されるべき薬剤のマスタ画像を取得するマスタ画像取得部と、
調剤された薬剤の表面に対してそれぞれ異なる複数の照明方向から光を照射する複数の光源を有する照明部と、
前記薬剤を撮影する撮影部と、
前記照明部及び前記撮影部を制御して、前記薬剤への光の照明方向がそれぞれ異なる前記薬剤の複数の撮影画像を取得する撮影制御部と、
前記複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の刻印部分を強調する処理を行い、第１強調画像を生成する第１画像処理部と、
前記複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、第２強調画像を生成する第２画像処理部と、
前記第１強調画像と前記第２強調画像とを統合して統合画像を生成する画像統合部と、
前記生成した統合画像と前記マスタ画像とを照合して、前記調剤されるべき薬剤と前記調剤された薬剤とが同一であるか否かを判定する判定部と、
を備えた薬剤検査支援装置。
【請求項１１】
前記撮影制御部は、前記照明部の前記複数の光源のうち２以上の光源により前記薬剤に対して光を照射した前記薬剤の撮影画像を取得する請求項１０に記載の薬剤検査支援装置。
【請求項１２】
前記照明部は、前記薬剤の表側及び裏側に光を照射し、
前記撮影部は、前記薬剤の表側及び裏側を撮影する請求項１０又は１１に記載の薬剤検査支援装置。
【請求項１３】
前記照明部は、第１方向に光を照射する第１光源と、第２方向に光を照射する第２光源と、第３方向に光を照射する第３光源と、第４方向に光を照射する第４光源と、
を備え、
前記第２方向は前記表面の平面視において前記第１方向と対向する方向であり、前記第３方向は前記表面の平面視において前記第１方向と直交する方向であり、前記第４方向は前記表面の平面視において前記第３方向と対向する方向である請求項１０から１２のいずれか１項に記載の薬剤検査支援装置。
【請求項１４】
処方箋情報に基づいて、調剤されるべき薬剤のマスタ画像を取得するマスタ画像取得工程と、
調剤された薬剤の表面への光の照明方向がそれぞれ異なる前記薬剤の複数の撮影画像を取得する撮影画像取得工程と、
前記複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の刻印部分を強調する処理を行い、第１強調画像を生成する第１画像処理工程と、
前記複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、第２強調画像を生成する第２画像処理工程と、
前記第１強調画像と前記第２強調画像とを統合して統合画像を生成する画像統合工程と、
前記生成した統合画像と前記マスタ画像とを照合して、前記調剤されるべき薬剤と前記調剤された薬剤とが同一であるか否かを判定する判定工程と、
を備えた画像処理方法。
【請求項１５】
処方箋情報に基づいて、調剤されるべき薬剤のマスタ画像を取得するマスタ画像取得機能と、
調剤された薬剤の表面への光の照明方向がそれぞれ異なる前記薬剤の複数の撮影画像を取得する撮影画像取得機能と、
前記複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の刻印部分を強調する処理を行い、第１強調画像を生成する第１画像処理機能と、
前記複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、第２強調画像を生成する第２画像処理機能と、
前記第１強調画像と前記第２強調画像とを統合して統合画像を生成する画像統合機能と、
前記生成した統合画像と前記マスタ画像とを照合して、前記調剤されるべき薬剤と前記調剤された薬剤とが同一であるか否かを判定する判定機能と、
をコンピュータに実行させるプログラム。
【請求項１６】
非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
処方箋情報に基づいて、調剤されるべき薬剤のマスタ画像を取得するマスタ画像取得機能と、
調剤された薬剤の表面への光の照明方向がそれぞれ異なる前記薬剤の複数の撮影画像を取得する撮影画像取得機能と、
前記複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の刻印部分を強調する処理を行い、第１強調画像を生成する第１画像処理機能と、
前記複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、第２強調画像を生成する第２画像処理機能と、
前記第１強調画像と前記第２強調画像とを統合して統合画像を生成する画像統合機能と、
前記生成した統合画像と前記マスタ画像とを照合して、前記調剤されるべき薬剤と前記調剤された薬剤とが同一であるか否かを判定する判定機能と、
をコンピュータに実行させる記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は薬剤検査支援装置、画像処理装置、画像処理方法及びプログラムに係り、特に薬剤を撮影した画像から薬剤の種類を特定する薬剤検査支援装置、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
薬剤には、薬剤を識別するための情報が付与されている。この識別情報を読み取ることで、薬剤の種類を識別することができる。識別情報の付与の方法として、刻印として彫られている薬剤と、印字されている薬剤とがある。【０００３】
特許文献１には、照度差ステレオ法を使用して、画像の濃淡（輝度）で高さを表現した輪郭抽出画像を作成し、傷や印字を検査する技術が記載されている。特許文献１の技術によれば、ワークや照明の傾きの影響を受け難い、環境にロバストな画像検査を実現することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−２３２４８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
薬剤の表面に印字された文字等は、表面に凹凸が存在しない。このため、特許文献１に記載の装置のように輪郭抽出画像を生成すると、印字された情報は認識できなくなってしまう。また、照合対象の薬剤は、識別情報が刻印で付与されているのか、又は印字により付与されているのかが不明である。【０００６】
このため、撮影した画像に対してどのような画像処理を行うことが好ましいのかが不明であるという問題点があった。【０００７】
本発明はこのような事情に鑑みてなされたもので、識別情報が刻印であっても印字であっても、識別情報を適切に認識する薬剤検査支援装置、画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために画像処理装置の一の態様は、処方箋情報に基づいて、調剤されるべき薬剤のマスタ画像を取得するマスタ画像取得部と、調剤された薬剤の表面への光の照明方向がそれぞれ異なる薬剤の複数の撮影画像を取得する撮影画像取得部と、複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の刻印部分を強調する処理を行い、第１強調画像を生成する第１画像処理部と、複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、第２強調画像を生成する第２画像処理部と、第１強調画像と第２強調画像とを統合して統合画像を生成する画像統合部と、生成した統合画像とマスタ画像とを照合して、調剤されるべき薬剤と調剤された薬剤とが同一であるか否かを判定する判定部と、を備えた。【０００９】
本態様によれば、調剤された薬剤の表面への光の照明方向がそれぞれ異なる薬剤の複数の撮影画像を取得し、薬剤の刻印部分を強調する処理を行って生成した第１強調画像と薬剤の印字部分を強調する処理を行って生成した第２強調画像とを統合して統合画像を生成し、統合画像とマスタ画像とを照合して、調剤されるべき薬剤と調剤された薬剤とが同一であるか否かを判定するようにしたので、識別情報が刻印であっても印字であっても、識別情報を適切に認識することができる。【００１０】
第１画像処理部は、薬剤の刻印部分の輝度値を大きくする処理を行い、第２画像処理部は、薬剤の印字部分の輝度値を大きくする処理を行い、画像統合部は、第１強調画像及び第２強調画像のそれぞれ対応する位置の輝度値を比較し、輝度が大きい方の輝度値を採用することが好ましい。これにより、統合画像を適切に生成することができる。【００１１】
また、第１画像処理部は、薬剤の刻印部分の輝度値を小さくする処理を行い、第２画像処理部は、薬剤の印字部分の輝度値を小さくする処理を行い、画像統合部は、第１強調画像及び第２強調画像のそれぞれ対応する位置の輝度値を比較し、輝度が小さい方の輝度値を採用してもよい。このような態様であっても、統合画像を適切に生成することができる。【００１２】
複数の撮影画像から薬剤の写った領域を検出する薬剤検出部を備え、第１画像処理部及び第２画像処理部は、検出した領域について処理を行うことが好ましい。これにより、処理を行う領域を限定することができ、処理にかかる時間を短縮することができる。【００１３】
撮影画像取得部は、３枚以上の撮影画像を取得し、第１画像処理部は、３枚以上の撮影画像に基づいて第１強調画像を生成することが好ましい。これにより、薬剤の刻印部分を適切に強調することができる。【００１４】
第１画像処理部は、照度差ステレオ法により薬剤の表面の三次元情報を取得して第１強調画像を生成することが好ましい。これにより、薬剤の刻印部分を適切に強調することができる。【００１５】
第２画像処理部は、平滑化処理、鮮鋭化処理、及びエッジ検出処理の少なくとも１つを施して第２強調画像を生成することが好ましい。これにより、薬剤の印字部分を適切に強調することができる。【００１６】
統合画像とマスタ画像とが類似する度合を示す類似度を算出する類似度算出部を備え、判定部は、類似度に基づいて調剤されるべき薬剤と調剤された薬剤とが同一であるか否かを判定することが好ましい。これにより、調剤されるべき薬剤と調剤された薬剤とが同一であるか否かを適切に判定することができる。【００１７】
類似度算出部は、複数の統合画像と複数のマスタ画像との類似度を算出し、判定部は、最も類似度の高い統合画像とマスタ画像との組み合わせについて調剤されるべき薬剤と調剤された薬剤とが同一であると判定することが好ましい。これにより、調剤されるべき薬剤と調剤された薬剤とが同一であるか否かを適切に判定することができる。【００１８】
上記目的を達成するために薬剤検査支援装置の一の態様は、処方箋情報を取得する処方箋情報取得部と、処方箋情報に基づいて、調剤されるべき薬剤のマスタ画像を取得するマスタ画像取得部と、調剤された薬剤の表面に対してそれぞれ異なる複数の照明方向から光を照射する複数の光源を有する照明部と、薬剤を撮影する撮影部と、照明部及び撮影部を制御して、薬剤への光の照明方向がそれぞれ異なる薬剤の複数の撮影画像を取得する撮影制御部と、複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の刻印部分を強調する処理を行い、第１強調画像を生成する第１画像処理部と、複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、第２強調画像を生成する第２画像処理部と、第１強調画像と第２強調画像とを統合して統合画像を生成する画像統合部と、生成した統合画像とマスタ画像とを照合して、調剤されるべき薬剤と調剤された薬剤とが同一であるか否かを判定する判定部と、を備えた。【００１９】
本態様によれば、調剤された薬剤の表面への光の照明方向がそれぞれ異なる薬剤の複数の撮影画像を取得し、薬剤の刻印部分を強調する処理を行って生成した第１強調画像と薬剤の印字部分を強調する処理を行って生成した第２強調画像とを統合して統合画像を生成し、統合画像とマスタ画像とを照合して、調剤されるべき薬剤と調剤された薬剤とが同一であるか否かを判定するようにしたので、識別情報が刻印であっても印字であっても、識別情報を適切に認識することができる。【００２０】
撮影制御部は、照明部の複数の光源のうち２以上の光源により薬剤に対して光を照射した薬剤の撮影画像を取得することが好ましい。これにより、薬剤の印字部分を適切に強調することができる。【００２１】
照明部は、薬剤の表側及び裏側に光を照射し、撮影部は、薬剤の表側及び裏側を撮影することが好ましい。これにより、薬剤の向きに依らずに適切な撮影画像を取得することができる。【００２２】
照明部は、第１方向に光を照射する第１光源と、第２方向に光を照射する第２光源と、第３方向に光を照射する第３光源と、第４方向に光を照射する第４光源と、を備え、第２方向は表面の平面視において第１方向と対向する方向であり、第３方向は表面の平面視において第１方向と直交する方向であり、第４方向は表面の平面視において第３方向と対向する方向であることが好ましい。これにより、薬剤への光の照明方向がそれぞれ異なる薬剤の複数の撮影画像を適切に取得することができる。【００２３】
上記目的を達成するために画像処理方法の一の態様は、処方箋情報に基づいて、調剤されるべき薬剤のマスタ画像を取得するマスタ画像取得工程と、調剤された薬剤の表面への光の照明方向がそれぞれ異なる薬剤の複数の撮影画像を取得する撮影画像取得工程と、複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の刻印部分を強調する処理を行い、第１強調画像を生成する第１画像処理工程と、複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、第２強調画像を生成する第２画像処理工程と、第１強調画像と第２強調画像とを統合して統合画像を生成する画像統合工程と、生成した統合画像とマスタ画像とを照合して、調剤されるべき薬剤と調剤された薬剤とが同一であるか否かを判定する判定工程と、を備えた。【００２４】
本態様によれば、調剤された薬剤の表面への光の照明方向がそれぞれ異なる薬剤の複数の撮影画像を取得し、薬剤の刻印部分を強調する処理を行って生成した第１強調画像と薬剤の印字部分を強調する処理を行って生成した第２強調画像とを統合して統合画像を生成し、統合画像とマスタ画像とを照合して、調剤されるべき薬剤と調剤された薬剤とが同一であるか否かを判定するようにしたので、識別情報が刻印であっても印字であっても、識別情報を適切に認識することができる。【００２５】
上記目的を達成するためにプログラムの一の態様は、処方箋情報に基づいて、調剤されるべき薬剤のマスタ画像を取得するマスタ画像取得機能と、調剤された薬剤の表面への光の照明方向がそれぞれ異なる薬剤の複数の撮影画像を取得する撮影画像取得機能と、複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の刻印部分を強調する処理を行い、第１強調画像を生成する第１画像処理機能と、複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、第２強調画像を生成する第２画像処理機能と、第１強調画像と第２強調画像とを統合して統合画像を生成する画像統合機能と、生成した統合画像とマスタ画像とを照合して、調剤されるべき薬剤と調剤された薬剤とが同一であるか否かを判定する判定機能と、をコンピュータに実行させる。【００２６】
本態様によれば、調剤された薬剤の表面への光の照明方向がそれぞれ異なる薬剤の複数の撮影画像を取得し、薬剤の刻印部分を強調する処理を行って生成した第１強調画像と薬剤の印字部分を強調する処理を行って生成した第２強調画像とを統合して統合画像を生成し、統合画像とマスタ画像とを照合して、調剤されるべき薬剤と調剤された薬剤とが同一であるか否かを判定するようにしたので、識別情報が刻印であっても印字であっても、識別情報を適切に認識することができる。
【発明の効果】
【００２７】
本発明によれば、識別情報が刻印であっても印字であっても、識別情報を適切に認識することができる。
【図面の簡単な説明】
【００２８】
【図１】薬剤検査支援装置の構成を示す図
【図２】分包袋の画像を取得する様子を示す側面図
【図３】分包袋の画像を取得する様子を示す上面図
【図４】処理部の内部構成を示す図
【図５】薬剤検査支援方法の処理を示すフローチャート
【図６】画像処理の結果の一例を示す図
【図７】画像処理の結果の一例を示す図
【図８】画像処理の結果の一例を示す図
【図９】画像処理の結果の一例を示す図
【図１０】薬剤検査支援装置の構成を示す図
【図１１】処理部の内部構成を示す図
【図１２】薬剤検査支援方法の処理を示すフローチャート
【図１３】薬剤検査支援方法の処理を示すフローチャート
【発明を実施するための形態】
【００２９】
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
【００３０】
＜第１の実施形態＞
第１の実施形態に係る薬剤検査支援装置は、マスタ画像と撮影画像とを照合して薬剤の鑑査を実施する装置であり、薬剤に付された識別情報が刻印によって付された場合であっても、印字によって付された場合であっても、正確な照合を行う。
【００３１】
なお、刻印によって付されたとは、薬剤の表面に陥没領域である溝を形成することによって識別情報が形成されたことをいう。溝は、表面を掘って形成されたものに限定されず、表面を押圧することで形成されたものであってもよい。また、刻印は、割線等の識別機能を伴わないものも含んでもよい。
【００３２】
また、印字によって付されたとは、錠剤の表面に接触又は非接触で可食性インク等を付与することによって識別情報が形成されたことをいう。ここでは、印字によって付されたとは、印刷によって付されたと同義である。
【００３３】
図１は、第１の実施形態に係る薬剤検査支援装置１の構成を示す図である。薬剤検査支援装置１は処理部１０、記憶部４０、表示部５０、操作部６０、及び搬送機構７０を備えている。また、処理部１０には照明部３２、カメラ３６Ａ、カメラ３６Ｂ、及び処方箋リーダ３８が接続されている。
【００３４】
図２は、分包袋の画像を取得する様子を示す側面図であり、図３は上面図である。
【００３５】
照明部３２は、分包袋ＴＰが連続して構成される薬包帯ＰＢに光を照射する複数の光源３４を備えている。分包袋ＴＰには、それぞれ調剤された薬剤が分包されている。複数の光源３４は、薬包帯ＰＢの上側（図２の＋ｚ方向側）及び下側（図２の−ｚ方向側）に、それぞれ４つの光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗが配置される。なお、図２においては薬包帯ＰＢの上側及び下側の光源３４Ｎ及び３４Ｓの図示を、図３においては薬包帯ＰＢの下側の４つの光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗの図示を、それぞれ省略している。
【００３６】
薬包帯ＰＢの上側の光源３４Ｎ（第１光源の一例）、３４Ｓ（第２光源の一例）、３４Ｅ（第３光源の一例）、及び３４Ｗ（第４光源の一例）は、ｘｙ平面視においてそれぞれ図３の−ｙ方向（第１方向の一例）、＋ｙ方向（第２方向の一例）、−ｘ方向（第３方向の一例）、及び＋ｘ方向（第４方向の一例）に光を照射する。即ち、光源３４Ｓの照明方向はｘｙ平面視において光源３４Ｎの照明方向と対向する方向であり、光源３４Ｅの照明方向はｘｙ平面視において光源３４Ｎの照明方向と直交する方向であり、光源３４Ｗの照明方向はｘｙ平面視において光源３４Ｅの照明方向と対向する方向である。
【００３７】
薬包帯ＰＢの下側の光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗについても、同様に配置されている。これにより、照明部３２は、分包袋ＴＰ（に分包された薬剤）の表側及び裏側に光を照射する。
【００３８】
カメラ３６Ａ及びカメラ３６Ｂ（撮影部の一例）は、デジタルカメラにより構成される。図２に示すように、カメラ３６Ａは薬包帯ＰＢの上側に、カメラ３６Ｂは薬包帯ＰＢの下側に配置される。カメラ３６Ａ及びカメラ３６Ｂは、分包袋ＴＰ（に分包された薬剤）の表側及び裏側を撮影する。
【００３９】
分包袋ＴＰ（薬包帯ＰＢ）は、搬送機構７０により図３の＋ｘ方向（薬包帯ＰＢの長手方向）に搬送される。撮影の際には、分包袋ＴＰの上側の光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗによって分包袋ＴＰの上側が、分包袋ＴＰの下側の光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗによって分包袋ＴＰの下側が、それぞれ４方向から照明される。なお、分包袋ＴＰには、撮影の際には複数の光源３４から照射される光以外の光は照射されないことが好ましい。
【００４０】
図３に示すように、分包袋ＴＰの上側の光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗのそれぞれとカメラ３６Ａの撮影光軸ＰＡとの間隔（ｄ１、ｄ２、ｄ３、ｄ４）は同じである。つまり、複数の光源３４と撮影光軸ＰＡとが等間隔（ｄ１＝ｄ２＝ｄ３＝ｄ４）である。分包袋ＴＰの下側の光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗのそれぞれとカメラ３６Ｂについても、同様に配置されている。
【００４１】
薬剤検査支援装置１に、分包袋ＴＰを載置するステージを設けてもよい。この場合、ステージは、分包袋ＴＰの下側の光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗから照射される光を透過する素材で構成すればよい。
【００４２】
図１に示す処方箋リーダ３８（処方箋情報取得部の一例）は、処方箋を読み取って処方箋情報を取得する。例えばＯＣＲ（Optical Character Recognition）により、紙に記載された処方箋から患者氏名、処方された薬剤、及びその数量等の情報を読み取る。処方された薬剤に関する情報を示すバーコード等が処方箋に記録されている場合は、処方された薬剤及びその数量等の情報をバーコードから読み取ってもよい。また、ユーザが処方箋を読み取り、操作部６０が有するキーボード等の入力デバイスにより処方箋情報を入力してもよい。処方箋リーダ３８によって取得された処方箋情報は、記憶部４０に記憶される。
【００４３】
記憶部４０はＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ハードディスク（Hard Disk）、各種半導体メモリ等の非一時的記録媒体により構成される。記憶部４０には、処方箋情報、マスタ画像の他、カメラ３６Ａ及びカメラ３６Ｂにより取得した撮影画像、又は撮影画像に画像処理を施した処理済み撮影画像（撮影画像に基づく画像）が互いに関連づけて記憶される。
【００４４】
表示部５０はモニタ５２を備えており、処方箋リーダ３８から取得された処方箋情報、分包された薬剤の撮影画像、記憶部４０に記憶されたマスタ画像等を表示することができる。操作部６０はマウス等のポインティングデバイス及びキーボード等の入力デバイスを含んでおり、ユーザはモニタ５２に表示された画像、ボタン等を操作部６０により操作することができる。
【００４５】
搬送機構７０は、分包袋ＴＰ（薬包帯ＰＢ）を図３の＋ｘ方向に搬送する。
【００４６】
〔処理部の構成〕
図４は、処理部１０（画像処理装置の一例）の内部構成を示す図である。図４に示すように、処理部１０は、マスタ画像取得部１２、撮影画像取得部１４、第１画像処理部１８、第２画像処理部２０、画像統合部２２、及び判定部２４を備えている。
【００４７】
マスタ画像取得部１２は、処方箋リーダ３８から取得した処方箋情報に基づいて、処方された薬剤のマスタ画像を記憶部４０から読み出し、取得する。マスタ画像は、薬剤の基準画像、又は基準画像に画像処理を施した処理済み画像である。マスタ画像は、識別情報の輝度値が他の部分に対して相対的に大きく表現されている。マスタ画像は、１つの薬剤に対して、一方の面側のマスタ画像と他方の面側のマスタ画像との一対のマスタ画像があり、これらは関連付けられて予め記憶部４０に記憶されている。
【００４８】
撮影画像取得部１４（撮影制御部の一例）は、照明部３２、カメラ３６Ａ及びカメラ３６Ｂを制御し、分包袋ＴＰに分包された薬剤の表面への光の照明方向がそれぞれ異なる薬剤の複数の撮影画像を取得する。また、撮影画像取得部１４は、薬剤検出部１６を備えている。薬剤検出部１６は、取得した複数の撮影画像のそれぞれから薬剤の写った領域を検出する。
【００４９】
第１画像処理部１８は、撮影画像取得部１４が取得した複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の刻印部分を強調する処理を行い、第１強調画像を生成する。複数枚の撮影画像に基づいて第１強調画像を生成する場合は、各撮影画像に対して薬剤の刻印部分を強調する処理を行い、処理後の画像を加算又は乗算して合成すればよい。
【００５０】
第２画像処理部２０は、撮影画像取得部１４が取得した複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、第２強調画像を生成する。複数枚の撮影画像に基づいて第２強調画像を生成する場合は、各撮影画像に対して薬剤の印字部分を強調する処理を行い、処理後の画像を加算又は乗算して合成すればよい。
【００５１】
画像統合部２２は、第１画像処理部１８が生成した第１強調画像と第２画像処理部２０が生成した第２強調画像とを統合して、照合対象画像としての統合画像を生成する。
【００５２】
判定部２４は、画像統合部２２が生成した統合画像とマスタ画像取得部１２が取得したマスタ画像とを照合して、処方箋によって調剤されるべき薬剤と、分包袋ＴＰに分包された薬剤とが同一であるか否かを判定する。
【００５３】
判定部２４は、類似度算出部２６を備えている。類似度算出部２６は、画像統合部２２が生成した統合画像とマスタ画像取得部１２が取得したマスタ画像とが類似する度合を示す類似度を算出する。判定部２４は、類似度に基づいて統合画像とマスタ画像とを照合する。
【００５４】
これらの機能による薬剤検査支援方法の詳細な処理は後述する。
【００５５】
〔薬剤検査支援方法の処理〕
薬剤検査支援装置１による薬剤検査支援方法（画像処理方法の一例）について説明する。図５は薬剤検査支援方法の処理を示すフローチャートである。
【００５６】
ステップＳ１では、処方箋リーダ３８において処方箋を読み取り、処方箋情報を取得する。記憶部４０に予め記憶されている処方箋情報を用いてもよい。
【００５７】
ステップＳ２（撮影画像取得工程の一例、撮影画像取得機能の一例）では、撮影画像取得部１４において照明部３２、カメラ３６Ａ及びカメラ３６Ｂを制御して、薬包帯ＰＢの分包袋ＴＰに分包された薬剤を撮影し、複数の撮影画像を取得する。
【００５８】
ここでは、撮影画像取得部１４は、分包袋ＴＰの上側の光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗを１つずつ順番に点灯させ、他を消灯させることで、分包袋ＴＰを照射する照明方向を順番に切り替え、かつ、照明方向が切り替わるごとにカメラ３６Ａによって分包袋ＴＰの撮影を繰り返し行わせる。これにより、撮影画像取得部１４は、分包袋ＴＰの上側の撮影画像であって、照明方向がそれぞれ異なる４方向の撮影画像を取得する。
【００５９】
また、撮影画像取得部１４は、分包袋ＴＰの下側の光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗを１つずつ順番に点灯させ、他を消灯させることで、分包袋ＴＰを照射する照明方向を順番に切り替え、かつ、照明方向が切り替わるごとにカメラ３６Ｂによって分包袋ＴＰの撮影を繰り返し行わせる。これにより、撮影画像取得部１４は、分包袋ＴＰの下側の撮影画像であって、照明方向がそれぞれ異なる４方向の撮影画像を取得する。
【００６０】
さらに、分包袋ＴＰの上側の光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗを全て（２以上の光源の一例）点灯させた状態でカメラ３６Ａによって分包袋ＴＰの撮影を行って、撮影画像（全点灯画像）を取得してもよいし、分包袋ＴＰの下側の光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗを全て点灯させた状態でカメラ３６Ｂによって分包袋ＴＰの撮影を行って、撮影画像を取得してもよい。
【００６１】
ステップＳ３では、薬剤検出部１６において、撮影画像取得部１４が取得した複数の撮影画像からそれぞれ薬剤の写った領域（薬剤領域）を検出する。分包袋ＴＰには複数の薬剤が分包されているため、１枚の撮影画像から複数の薬剤領域を検出する。薬剤領域を検出することで、処理を行う領域を限定することができ、処理にかかる時間を短縮することができる。なお、同じ薬剤についての薬剤領域であって、カメラ３６Ａの撮影画像から検出された薬剤領域と、カメラ３６Ｂの撮影画像から検出された薬剤領域とを、同じ薬剤の一対の薬剤領域として関連付けて検出する。
【００６２】
ステップＳ４（第１画像処理工程の一例、第１画像処理機能の一例）では、第１画像処理部１８において、撮影画像取得部１４が取得した複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて、薬剤の刻印部分を強調する処理を行う。ここでは、ステップＳ３で検出した複数の薬剤領域のうち同じ薬剤の一対の薬剤領域について、それぞれ一対の第１強調画像を生成する。生成された複数対の第１強調画像は、画像統合部２２に入力される。
【００６３】
薬剤の刻印部分を強調する処理としては、例えば、照度差ステレオ法等により薬剤の表面の三次元情報を取得して第１強調画像を生成する。第１強調画像として、例えば特許文献１に記載された、画像の濃淡（輝度）で高さを表現した輪郭抽出画像を適用することができる。ここでは、第１強調画像は、薬剤の刻印の溝の部分の輝度値が大きく表現される。
【００６４】
ステップＳ５（第２画像処理工程の一例、第２画像処理機能の一例）では、第２画像処理部２０において、撮影画像取得部１４が取得した複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて、薬剤の印字部分を強調する処理を行う。ここでは、ステップＳ３で検出した複数の薬剤領域のうち同じ薬剤の一対の薬剤領域について、それぞれ一対の第２強調画像を生成する。生成された複数対の第２強調画像は、画像統合部２２に入力される。
【００６５】
薬剤の印字部分を強調する処理としては、例えば、ノイズ成分を低減するための平滑化処理、エッジを強調するための鮮鋭化処理、及び印字部分以外を除去するためのエッジ検出処理の少なくとも１つを施し、２値化処理を行う。また、画素値の平均値との差分の絶対値を画素値とする処理、画素値の平均値との除算結果を画素値とする処理、ぼかした画像で除算する処理、局所的な画素値の差分を適用する処理等の、公知の方法を用いることができる。ここでは、第２強調画像は、薬剤の印字部分の輝度値が大きく表現される。
【００６６】
ステップＳ６（画像統合工程の一例、画像統合機能の一例）では、画像統合部２２において、同じ撮影画像から生成された第１強調画像及び第２強調画像について、それぞれ対応する位置の輝度値を比較し、輝度が相対的に大きい方の輝度値を採用して、統合画像を生成する。ここでは、同じ薬剤領域から生成した一対の第１強調画像及び一対の第２強調画像から、一対の統合画像を生成する。生成された複数対の統合画像は、判定部２４に入力される。
【００６７】
ステップＳ７（マスタ画像取得工程の一例、マスタ画像取得機能の一例）では、ステップＳ１で取得した処方箋情報に含まれる複数の薬剤のうちの１つの薬剤の一対のマスタ画像を取得する。記憶部４０に記憶された基準画像をそのまま取得してマスタ画像としてもよいし、基準画像に対し拡大又は縮小、明るさ調整等の画像処理を施してマスタ画像としてもよい。前述のように、１つの薬剤に対して一対のマスタ画像が存在する。
【００６８】
ステップＳ８では、判定部２４において、ステップＳ６で生成した複数対の統合画像のうち、一対の統合画像を選択する。
【００６９】
ステップＳ９では、類似度算出部２６において、ステップＳ７で取得した一対のマスタ画像とステップＳ８で選択された一対の統合画像との、類似度を算出する。ここでの類似度は、類似性が高いほど大きい値として算出される。
【００７０】
ステップＳ１０（判定工程の一例、判定機能の一例）では、判定部２４において、ステップＳ９で算出された類似度に基づいて、処方箋に記載された薬剤と撮影した薬剤とが同一であるか否かを判定する。ここでは、類似度が予め定められた閾値よりも大きい場合に、同一であると判定する。
【００７１】
なお、ステップＳ７で取得した一対のマスタ画像に対して全ての統合画像との類似度を算出し、最も類似度が高い統合画像についてマスタ画像の薬剤と統合画像の薬剤とが同一の薬剤であると判定してもよい。
【００７２】
ステップＳ１１では、処理部１０において、全ての統合画像についての照合が終了したか否かを判定する。照合が終了していない統合画像が存在する場合は、ステップＳ８に戻り、新たな統合画像を選択し、同様の処理を繰り返す。照合が終了した場合は、ステップＳ１２に移行する。
【００７３】
ステップＳ１２では、ステップＳ７において選択したマスタ画像の薬剤と同一の薬剤、即ち処方箋に記載された薬剤と同一の薬剤が存在したか否かを判定する。処方箋に記載された薬剤が存在しないと判定された場合は、ステップＳ１３に移行する。また、処方箋に記載された薬剤が存在すると判定された場合は、ステップＳ１４に移行する。
【００７４】
ステップＳ１３では、表示部５０において、モニタ５２に処方箋に記載された薬剤が存在しない旨を表示し（エラー表示）、本フローチャートの処理を終了する。
【００７５】
ステップＳ１４では、処理部１０において、処方箋に記載された全ての薬剤（ステップＳ１で読み取った処方箋情報に含まれる全ての薬剤）についての照合が終了したか否かを判定する。照合が終了していない薬剤が存在する場合は、ステップＳ７に戻り、新たな一対のマスタ画像を取得し、同様の処理を繰り返す。照合が終了した場合は、ステップＳ１５に移行する。
【００７６】
ステップＳ１５では、処理部１０において、薬包帯ＰＢに含まれる全ての分包袋ＴＰについての照合が完了したか否かを判定する。照合が終了していない分包袋ＴＰが存在する場合は、ステップＳ２に戻り、薬包帯ＰＢを搬送して新たな分包袋ＴＰの撮影画像を取得し、同様の処理を繰り返す。照合が終了した場合は、ステップＳ１６に移行する。
【００７７】
ステップＳ１６では、表示部５０において、モニタ５２に監査結果が正常である旨を表示（正常表示）し、本フローチャートの処理を終了する。
【００７８】
図６〜図９は、各画像処理の結果の一例を示す図である。図６に示す薬剤領域Ａ１〜Ａ１１は、表面に刻印が付された薬剤の撮影画像から検出された薬剤領域の一例である。同様に、図７に示す薬剤領域Ａ１２〜Ａ２２は、表面に刻印が付された薬剤の撮影画像から検出された薬剤領域の一例である。
【００７９】
また、図８に示す薬剤領域Ａ２３〜Ａ３３は、表面に印字が付された薬剤の撮影画像から検出された薬剤領域の一例である。同様に、図９に示す薬剤領域Ａ３４〜Ａ４４は、表面に印字が付された薬剤の撮影画像から検出された薬剤領域の一例である。
【００８０】
なお、図６〜図９に示した薬剤領域Ａ１〜Ａ４４が検出された撮影画像は、光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗを全て点灯させた状態で取得された全点灯画像である。また、薬剤領域Ａ１〜Ａ４４は、薬剤の一方の面側の撮影画像から取得された薬剤領域と、他方の面側の撮影画像から取得された薬剤領域とが混在している。
【００８１】
図６〜図９に示す第１強調画像Ｂ１〜Ｂ４４は、それぞれ薬剤領域Ａ１１〜Ａ４４と同じ領域から生成された第１強調画像の一例である。ここでは、光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗを個別に点灯させた状態で撮影した４枚（３枚以上の一例）の撮影画像の各薬剤領域に基づいて生成した第１強調画像を示している。
【００８２】
また、図６〜図９に示す第２強調画像Ｃ１〜Ｃ４４は、それぞれ薬剤領域Ａ１１〜Ａ４４から生成された第２強調画像の一例である。
【００８３】
図６〜図９に示す統合画像Ｄ１〜Ｄ４４は、それぞれ第１強調画像Ｂ１〜Ｂ４４及び第２強調画像Ｃ１〜Ｃ４４から生成された統合画像の一例である。図６及び図７に示す薬剤においては、第１強調画像Ｂ１〜Ｂ２２の方が第２強調画像Ｃ１〜Ｃ２２よりも識別情報の輝度値が相対的に大きく（白色に）表現されている。このため、統合画像として主に第１強調画像Ｂ１〜Ｂ２２の画素が採用される。
【００８４】
一方、図８及び図９に示す薬剤においては、第２強調画像Ｃ２３〜Ｃ４４の方が第１強調画像Ｂ２３〜Ｂ４４よりも識別情報の輝度値が相対的に大きく表現されている。このため、統合画像として主に第２強調画像Ｃ２３〜Ｃ４４の画素が採用される。
【００８５】
本実施形態では、第１画像処理部１８において薬剤の刻印部分の輝度値が大きくなる処理を行い、第２画像処理部２０において薬剤の印字部分の輝度値が大きくなる処理を行い、画像統合部２２において第１強調画像及び第２強調画像のそれぞれ対応する位置の輝度値を比較し、輝度が大きい方の輝度値を採用したが、マスタ画像の識別情報の輝度値が他の部分に対して相対的に小さく表現されている場合は、第１画像処理部１８において薬剤の刻印部分の輝度値が小さくなる処理を行い、第２画像処理部２０において薬剤の印字部分の輝度値が小さくなる処理を行い、画像統合部２２において第１強調画像及び第２強調画像のそれぞれ対応する位置の輝度値を比較し、輝度が小さい方の輝度値を採用すればよい。
【００８６】
また、本実施形態では、薬剤検出部１６によって検出した領域について第１強調画像及び第２強調画像を生成したが、撮影画像の第１強調画像及び第２強調画像を生成してから薬剤の領域を検出してもよい。
【００８７】
以上のように、薬剤の刻印部分を強調する処理を行って第１強調画像を生成し、かつ薬剤の印字部分を強調する処理を行って第２強調画像を生成し、第１強調画像と第２強調画像とを統合して統合画像を生成し、この統合画像を用いてマスタ画像との照合を行うようにしたので、薬剤に付された識別情報が刻印であっても印字であっても、識別情報を適切に認識することができ、正確な照合を行うことができる。
【００８８】
＜第２の実施形態＞
図１０は、第２の実施形態に係る薬剤検査支援装置２の構成を示す図である。なお、図１に示した薬剤検査支援装置１と共通する部分には同一の符号を付し、その詳細な説明は省略する。薬剤検査支援装置２は、処理部１１を備えている。処理部１１には、照明部３２、カメラ３６Ａ、カメラ３６Ｂ、及び処方箋リーダ３８が接続されている。
【００８９】
照明部３２は、複数の光源３４を備えている。複数の光源３４、カメラ３６Ａ、及びカメラ３６Ｂの配置は、図２及び図３に示した薬剤検査支援装置１と同様である。
【００９０】
〔処理部の構成〕
図１１は、処理部１１（画像処理装置の一例）の内部構成を示す図である。なお、図４に示した処理部１０と共通する部分には同一の符号を付し、その詳細な説明は省略する。図１１に示すように、処理部１１は、指定情報取得部２８を備えている。
【００９１】
指定情報は、第１画像処理部１８が生成した第１強調画像と第２画像処理部２０が生成した第２強調画像とのうち、いずれの画像を照合に用いるかを薬剤毎に指定した情報である。
【００９２】
識別情報が刻印によって付されている薬剤は、薬剤の刻印部分を強調する処理を行った第１強調画像を用いると識別情報が判別しやすくなる。したがって、刻印の薬剤のマスタ画像に関連付けられた指定情報は、照合に用いる照合対象画像として第１強調画像を指定する。また、識別情報が印字によって付されている薬剤は、薬剤の印字部分を強調する処理を行った第２強調画像を用いると識別情報が判別しやすくなる。したがって、印字の薬剤のマスタ画像に関連付けられた指定情報は、照合に用いる照合対象画像として第２強調画像を指定する。
【００９３】
指定情報は、マスタ画像等の薬剤の情報に関連付けられて記憶部４０に記憶されている。指定情報取得部２８は、処方箋リーダ３８から取得した処方箋情報に基づいて、処方された薬剤の指定情報を記憶部４０から読み出し、取得する。
【００９４】
第１画像処理部１８が生成した第１強調画像、及び第２画像処理部２０が生成した第２強調画像は、判定部２４に入力される。判定部２４は、指定情報取得部２８が取得した指定情報に基づいて、第１強調画像及び第２強調画像のうちいずれの画像を照合対象画像として選択する。また、判定部２４は、選択した照合対象画像とマスタ画像取得部１２が取得したマスタ画像とを照合して、処方箋によって調剤されるべき薬剤と、分包袋ＴＰに分包された薬剤とが同一であるか否かを判定する。
【００９５】
〔薬剤検査支援方法の処理〕
薬剤検査支援装置２による薬剤検査支援方法（画像処理方法の一例）について説明する。図１２は薬剤検査支援方法の処理を示すフローチャートである。なお、図５に示したフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
【００９６】
ステップＳ１では、処方箋情報を取得する。
【００９７】
ステップＳ２（撮影画像取得工程の一例、撮影画像取得機能の一例）では、分包袋ＴＰの上側及び下側について、照明方向がそれぞれ異なる４方向の撮影画像と、４方向から全て照射した全点灯画像とを取得する。
【００９８】
ステップＳ３では、複数の撮影画像からそれぞれ薬剤領域を検出する。なお、同じ薬剤についての薬剤領域であって、カメラ３６Ａの撮影画像から検出された薬剤領域と、カメラ３６Ｂの撮影画像から検出された薬剤領域とを、同じ薬剤の一対の薬剤領域として関連付けて検出する。
【００９９】
ステップＳ４（第１画像処理工程の一例、第１画像処理機能の一例）では、薬剤の刻印部分を強調する処理を行って、薬剤領域毎の第１強調画像を生成する。第１画像処理部１８は、同じ薬剤の一対の薬剤領域について、一対の第１強調画像を生成する。ここでは、第１強調画像は、薬剤の刻印の溝の部分の輝度値が大きく表現される。生成された複数対の第１強調画像は、判定部２４に入力される。
【０１００】
ステップＳ５（第２画像処理工程の一例、第２画像処理機能の一例）では、薬剤の印字部分を強調する処理を行って、薬剤領域毎の第２強調画像を生成する。第２画像処理部２０は、同じ薬剤の一対の薬剤領域について、一対の第２強調画像を生成する。ここでは、第２強調画像は、薬剤の印字部分の輝度値が大きく表現される。生成された複数対の第２強調画像は、判定部２４に入力される。
【０１０１】
ステップＳ７（マスタ画像取得工程の一例、マスタ画像取得機能の一例）では、ステップＳ１で取得した処方箋情報に含まれる複数の薬剤のうちの１つの薬剤の一対のマスタ画像を取得する。マスタ画像は、識別情報の輝度値が他の部分に対して相対的に大きく表現されている。
【０１０２】
ステップＳ２１では、指定情報取得部２８において、ステップＳ７で取得したマスタ画像に関連づけられた指定情報を記憶部４０から取得する。この指定情報は、第１強調画像と第２強調画像とのうちいずれか一方の画像が指定されている。
【０１０３】
ステップＳ２２では、判定部２４において、照合しようとする薬剤の第１強調画像及び第２強調画像のうち、指定情報取得部２８から入力された指定情報で指定された画像を選択する。即ち、指定情報が第１強調画像であれば一対の第１強調画像を、指定情報が第２強調画像であれば一対の第２強調画像を、一対の照合対象画像として選択する。なお、薬剤の一方の面側に刻印、他方の面側に印字が付されている場合は、指定情報が第１強調画像及び第２強調画像であってもよい。この場合は、一対の第１強調画像及び一対の第２強調画像から、適宜必要な第1強調画像及び第２強調画像を選択すればよい。
【０１０４】
ステップＳ２３では、類似度算出部２６において、ステップＳ７で取得した一対のマスタ画像とステップＳ２２で選択された一対の照合対象画像とが類似する度合を示す類似度を算出する。ここでの類似度は、類似性が高いほど大きい値として算出される。
【０１０５】
ステップＳ２４（判定工程の一例、判定機能の一例）では、判定部２４において、ステップＳ２３で算出された類似度に基づいて、処方箋に記載された薬剤と撮影した薬剤とが同一であるか否かを判定する。ここでは、類似度が予め定められた閾値よりも大きい場合に、同一であると判定する。
【０１０６】
ステップＳ２５では、処理部１０において、全ての照合対象画像についての照合が終了したか否かを判定する。照合が終了していない統合画像が存在する場合は、ステップＳ２２に戻り、新たな照合対象画像を選択し、同様の処理を繰り返す。照合が終了した場合は、ステップＳ１２に移行する。
【０１０７】
ステップＳ１２では、ステップＳ７において選択したマスタ画像の薬剤と同一の薬剤、即ち処方箋に記載された薬剤と同一の薬剤が存在したか否かを判定する。処方箋に記載された薬剤が存在しないと判定された場合は、ステップＳ１３に移行する。また、処方箋に記載された薬剤が存在すると判定された場合は、ステップＳ１４に移行する。
【０１０８】
ステップＳ１３では、表示部５０において、モニタ５２に処方箋に記載された薬剤が存在しない旨を表示し（エラー表示）、本フローチャートの処理を終了する。
【０１０９】
ステップＳ１４では、処理部１０において、処方箋に記載された全ての薬剤（ステップＳ１で読み取った処方箋情報に含まれる全ての薬剤）についての照合が終了したか否かを判定する。照合が終了していない薬剤が存在する場合は、ステップＳ７に戻り、新たなマスタ画像を取得し、同様の処理を繰り返す。照合が終了した場合は、ステップＳ１５に移行する。
【０１１０】
ステップＳ１５では、処理部１０において、薬包帯ＰＢに含まれる全ての分包袋ＴＰについての照合が完了したか否かを判定する。照合が終了していない分包袋ＴＰが存在する場合は、ステップＳ２に戻り、薬包帯ＰＢを搬送して新たな分包袋ＴＰの撮影画像を取得し、同様の処理を繰り返す。照合が終了した場合は、ステップＳ１６に移行する。
【０１１１】
ステップＳ１６では、表示部５０において、モニタ５２に監査結果が正常である旨を表示（正常表示）し、本フローチャートの処理を終了する。
【０１１２】
図６及び図７に示す薬剤は、刻印が付されている。この薬剤のマスタ画像に関連付けられた指定情報は、第１強調画像である。したがって、薬剤領域Ａ１〜Ａ２２に係るマスタ画像との照合には、それぞれ第１強調画像Ｂ１〜Ｂ２２が選択される。
【０１１３】
一方、図８及び図９に示す薬剤は、印字が付されている。この薬剤のマスタ画像に関連付けられた指定情報は、第２強調画像である。したがって、薬剤領域Ａ２３〜Ａ４４に係るマスタ画像との照合には、それぞれ第２強調画像Ｃ２３〜Ｃ４４が選択される。
【０１１４】
本実施形態では、第１画像処理部１８において薬剤の刻印部分の輝度値が大きくなる処理を行い、第２画像処理部２０において薬剤の印字部分の輝度値が大きくなる処理を行ったが、マスタ画像の識別情報の輝度値が他の部分に対して相対的に小さく表現されている場合は、第１画像処理部１８において薬剤の刻印部分の輝度値が小さくなる処理を行い、第２画像処理部２０において薬剤の印字部分の輝度値が小さくなる処理を行えばよい。
【０１１５】
以上のように、薬剤の刻印部分を強調する処理を行って第１強調画像を生成し、かつ薬剤の印字部分を強調する処理を行って第２強調画像を生成し、第１強調画像及び第２強調画像のうちいずれの画像を照合に用いるかを指定した指定情報を取得し、指定情報により指定された画像とマスタ画像との照合を行うようにしたので、薬剤に付された識別情報が刻印であっても印字であっても、識別情報を適切に認識することができ、正確な照合を行うことができる。
【０１１６】
ここでは、第１強調画像及び第２強調画像のうちいずれの画像を照合に用いるかを指定情報によって指定したが、撮影画像を解析したり、第１強調画像及び第２強調画像を解析したりすることで、識別情報が刻印によって付されているか、又は印字によって付されているかを判定し、判定結果に応じて照合に用いる画像を指定してもよい。
【０１１７】
例えば、第１強調画像と第２強調画像とを比較し、第１強調画像の識別情報の輝度値の方が高い場合に識別情報が刻印によって付されていると判定し、第２強調画像の識別情報の輝度値の方が高い場合に識別情報が印字によって付されていると判定することができる。
【０１１８】
また、照明方向がそれぞれ異なる４方向の撮影画像について各画像間の相関を解析し、画像間の相関が低い場合に識別情報が刻印によって付されていると判定し、画像間の相関が高い場合に第識別情報が印字によって付されていると判定してもよい。
【０１１９】
＜第３の実施形態＞
〔薬剤検査支援方法の処理〕
図１３は、第３の実施形態に係る薬剤検査支援方法の処理を示すフローチャートである。なお、図１２に示したフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０１２０】
ステップＳ１〜ステップＳ５は、第２の実施形態と同様である。即ち、処方箋情報を取得し、薬包帯ＰＢの分包袋ＴＰに分包された薬剤を撮影して複数の撮影画像を取得し、複数の撮影画像からそれぞれ薬剤の写った薬剤領域を検出し、薬剤の刻印部分を強調した第１強調画像及び薬剤の印字部分を強調した第２強調画像を生成する。
【０１２１】
また、ステップＳ７において一対のマスタ画像を取得し、ステップＳ２１においてマスタ画像に関連づけられた指定情報を取得する。さらに、ステップＳ２２において、照合しようとする薬剤の第１強調画像及び第２強調画像のうち、指定情報で指定された画像を選択する。
【０１２２】
そして、ステップＳ２３において、ステップＳ７で取得した一対のマスタ画像とステップＳ２２で選択された一対の照合対象画像との、類似度を算出する。ここでの類似度は、類似性が高いほど大きい値として算出される。
【０１２３】
次に、ステップＳ３１では、処理部１０において、ステップＳ７で取得したマスタ画像に対する全ての照合対象画像との組み合わせについて類似度の算出が終了したか否かを判定する。類似度の算出が終了していない照合対象画像が存在する場合は、ステップＳ２２に戻り、新たな一対の照合対象画像を選択し、同様の処理を繰り返す。これにより、ステップＳ７で取得したマスタ画像に対して全ての照合対象画像との組み合わせについて類似度を算出することができる。全ての照合対象画像との組み合わせについて類似度の算出が終了した場合は、ステップＳ３２に移行する。
【０１２４】
続いて、ステップＳ３２では、処理部１０において、処方箋に記載された全ての薬剤（ステップＳ１で読み取った処方箋情報に含まれる全ての薬剤）についての類似度の算出が終了したか否かを判定する。類似度の算出が終了していない薬剤が存在する場合は、ステップＳ７に戻り、新たな一対のマスタ画像を取得し、同様の処理を繰り返す。これにより、全てのマスタ画像に対して、ステップＳ２２で取得した全ての照合対象画像との組み合わせについて類似度を算出することができる。全てのマスタ画像についての類似度の算出が終了した場合は、ステップＳ３３に移行する。
【０１２５】
ステップＳ３３（判定工程の一例、判定機能の一例）では、判定部２４において、ステップＳ２３で算出された複数のマスタ画像及び複数の照合対象画像の全ての組み合わせの類似度に基づいて、処方箋に記載された薬剤と撮影した薬剤とが同一であるか否かを判定する。
【０１２６】
一例として、４枚の照合対象画像（１）、照合対象画像（２）、照合対象画像（３）、及び照合対象画像（４）と、４枚のマスタ画像（Ａ）、マスタ画像（Ｂ）、マスタ画像（Ｃ）、及びマスタ画像（Ｄ）とについて、各組合せの類似度（１Ａ）、類似度（１Ｂ）、類似度（１Ｃ）、類似度（１Ｄ）、類似度（２Ａ）、類似度（２Ｂ）、…、類似度（４Ｃ）、及び類似度（４Ｄ）が算出されているものとする。
【０１２７】
ここで、照合対象画像（１）に関する類似度（１Ａ、１Ｂ、１Ｃ、１Ｄ）の中で最も高い類似度が類似度（１Ｂ）であり、マスタ画像（Ｂ）に関する類似度（１Ｂ、２Ｂ、３Ｂ、４Ｂ）の中で最も高い類似度が類似度（１Ｂ）であるとすると、判定部２４は、照合対象画像（１）の示す薬剤がマスタ画像（Ｂ）の示す薬剤であると判定する。
【０１２８】
続いて、判定部２４は、照合対象画像（１）とマスタ画像（Ｂ）を照合対象から排除し、同様に類似度が高い組み合わせを選択し、処方箋に記載された薬剤と撮影した薬剤との組み合わせを判定していく。
【０１２９】
ステップＳ３４では、ステップＳ３３での判定結果から、分包袋ＴＰに分包された薬剤が処方箋の記載通りか否かを判定する。処方箋通りでないと判定された場合は、ステップＳ１３に移行する。また、処方箋通りであると判定された場合は、ステップＳ３５に移行する。
【０１３０】
ステップＳ１３では、表示部５０においてモニタ５２にエラー表示を行い、本フローチャートの処理を終了する。
【０１３１】
ステップＳ３５では、処理部１０において、薬包帯ＰＢに含まれる全ての分包袋ＴＰについての照合が完了したか否かを判定する。照合が終了していない分包袋ＴＰが存在する場合は、ステップＳ２に戻り、薬包帯ＰＢを搬送して新たな分包袋ＴＰの撮影画像を取得し、同様の処理を繰り返す。照合が終了した場合は、ステップＳ１６に移行する。
【０１３２】
ステップＳ１６では、表示部５０においてモニタ５２に正常表示を行い、本フローチャートの処理を終了する。
【０１３３】
このように、類似度の相対関係を用いて調剤されるべき薬剤と調剤された薬剤との組み合わせと判定していくことで、撮影した全ての薬剤について、調剤されるべき薬剤と調剤された薬剤とが同一であるか否かを判定することができる。
【０１３４】
同様に、第１の実施形態において、複数のマスタ画像及び複数の統合画像の全ての組み合わせの類似度の相対関係に基づいて、処方箋に記載された薬剤と撮影した薬剤とが同一であるか否かを判定することも可能である。
【０１３５】
＜その他＞
上記の画像処理方法は、コンピュータにマスタ画像取得機能、撮影画像取得機能、第１画像処理機能、第２画像処理機能、画像統合機能、指定情報取得機能、及び判定機能を実現させるためのプログラムとして構成し、このプログラムを記憶したＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的な記録媒体を構成することも可能である。
【０１３６】
ここまで説明した実施形態において、例えば、処理部１０及び処理部１１等の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【０１３７】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
【０１３８】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
【０１３９】
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
【符号の説明】
【０１４０】
１  薬剤検査支援装置
２  薬剤検査支援装置
１０  処理部
１１  処理部
１２  マスタ画像取得部
１４  撮影画像取得部
１６  薬剤検出部
１８  第１画像処理部
２０  第２画像処理部
２２  画像統合部
２４  判定部
２６  類似度算出部
２８  指定情報取得部
３２  照明部
３４  光源
３４Ｅ  光源
３４Ｎ  光源
３４Ｓ  光源
３４Ｗ  光源
３６Ａ  カメラ
３６Ｂ  カメラ
３８  処方箋リーダ
４０  記憶部
５０  表示部
５２  モニタ
６０  操作部
７０  搬送機構
Ａ１〜Ａ４４  薬剤領域
Ｂ１〜Ｂ４４  第１強調画像
Ｃ１〜Ｃ４４  第２強調画像
Ｄ１〜Ｄ４４  統合画像
ＰＡ  撮影光軸
ＰＢ  薬包帯
ＴＰ  分包袋
Ｓ１〜Ｓ３５  薬剤検査支援装置における薬剤検査支援方法のステップ
【図１】
2019039015.tif 000003
【図２】
2019039015.tif 000004
【図３】
2019039015.tif 000005
【図４】
2019039015.tif 000006
【図５】
2019039015.tif 000007
【図６】
2019039015.tif 000008
【図７】
2019039015.tif 000009
【図８】
2019039015.tif 000010
【図９】
2019039015.tif 000011
【図１０】
2019039015.tif 000012
【図１１】
2019039015.tif 000013
【図１２】
2019039015.tif 000014
【図１３】
2019039015.tif 000015
【手続補正書】
【提出日】令和2年2月12日(2020.2.12)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
図６〜図９に示す第１強調画像Ｂ１〜Ｂ４４は、それぞれ薬剤領域Ａ１〜Ａ４４と同じ領域から生成された第１強調画像の一例である。ここでは、光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗを個別に点灯させた状態で撮影した４枚（３枚以上の一例）の撮影画像の各薬剤領域に基づいて生成した第１強調画像を示している。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
また、図６〜図９に示す第２強調画像Ｃ１〜Ｃ４４は、それぞれ薬剤領域Ａ１〜Ａ４４から生成された第２強調画像の一例である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１１８
【補正方法】変更
【補正の内容】
【０１１８】
また、照明方向がそれぞれ異なる４方向の撮影画像について各画像間の相関を解析し、画像間の相関が低い場合に識別情報が刻印によって付されていると判定し、画像間の相関が高い場合に識別情報が印字によって付されていると判定してもよい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１３３
【補正方法】変更
【補正の内容】
【０１３３】
このように、類似度の相対関係を用いて調剤されるべき薬剤と調剤された薬剤との組み合わせを判定していくことで、撮影した全ての薬剤について、調剤されるべき薬剤と調剤された薬剤とが同一であるか否かを判定することができる。
【国際調査報告】
2019039015.tif 000016
2019039015.tif 000017
2019039015.tif 000018
2019039015.tif 000019