(57)【要約】【目的】作業者がピッキングした薬剤を低コストに特定することができる、薬剤ピッキング検査等に適したピッキング薬剤特定システムを提供する。【構成】薬剤の収容棚の前方に居る作業者の手とその周辺の距離画像を取得する距離画像取得手段と、距離画像に基づいて前記収容棚中の収容部の中の作業者の手が対向し又は伸びた収容部を特定する収容部特定手段と、前記収容部特定手段及び前記容器内変化検出手段からのデータに基づいて作業者が前記収容棚中の収容部から薬剤を取り出して載置容器に入れ置いたこと及び前記取り出されピッキングされた薬剤に関するデータを取得する取出薬剤データ取得手段とを備えている。【選択図】    図１
2015013089.tif 000002
【特許請求の範囲】
【請求項１】
複数の種類又は銘柄の薬剤を各種類又は銘柄別にそれぞれ収容する各収容部が縦及び横方向に並べられて成る収容棚（複数個の収納棚が組み合わされたものを含む）と、
前記収容棚中の収容部から取り出された一つ又は複数の薬剤が載置される載置容器と、
前記収容棚中の各収容部毎の３次元位置データを記録すると共に、前記収容棚中の各収容部又はその３次元位置データと各収容部内にそれぞれ収容されている薬剤の識別データとを互いに対応付けて記録する収納部対薬剤記録手段と、
少なくとも前記収容棚の前方に居る作業者の手、前記載置容器、及びそれらの周辺の距離画像を取得する距離画像取得手段と、
前記距離画像取得手段からの距離画像と前記収納部対薬剤記録手段に記録された各収容部の３次元位置データとに基づいて、作業者の手が接近又は侵入した収容部を特定する収容部特定手段と、
前記距離画像取得手段からの距離画像に基づいて、前記載置容器内又はその近傍領域に作業者の手が接近又は侵入したことを検出する接近検出手段と、
前記接近検出手段からの信号と、前記収容部特定手段からの特定された収容部に関するデータと、前記収納部対薬剤記録手段に記録された薬剤の識別データとに基づいて、作業者が前記収容棚中の収容部から薬剤を取り出して載置容器に入れ置いたこと及び前記取り出した薬剤に関するデータを取得する取出薬剤データ取得手段と、
を備えたことを特徴とする薬剤ピッキング検査等に適したピッキング薬剤特定システム。
【請求項２】
請求項１において、前記取出薬剤データ取得手段は、前記接近検出手段により前記載置容器内又はその近傍領域に作業者の手が接近又は侵入したことが検出されたとき、前記検出された時点より前に作業者の手が接近又は侵入した収容部に対応する薬剤に関するデータを、作業者が収容部から取り出して載置容器に入れ置いた薬剤に関するデータとして取得するものである、ことを特徴とする薬剤ピッキング検査等に適したピッキング薬剤特定システム。
【請求項３】
請求項１において、さらに、前記接近検出手段により前記載置容器内又はその近傍領域に作業者の手が接近又は侵入したことが検出された場合において、前記検出の時点より前の所定時間内に作業者の手がいずれかの収容部に接近又は侵入したことがなく且つ前記検出の時点より後に作業者の手がいずれかの収容部に接近又は侵入したとき、前記検出の時点より後に作業者の手が接近又は侵入した収容部に対応する薬剤に関するデータを、作業者が載置容器から取り出して収容部に戻した薬剤に関するデータとして取得する戻し薬剤データ取得手段を備えた、ことを特徴とする薬剤ピッキング検査等に適したピッキング薬剤特定システム。
【請求項４】
複数の種類又は銘柄の薬剤を各種類又は銘柄別にそれぞれ収容する各収容部が縦及び横方向に並べられて成る収容棚（複数個の収納棚が組み合わされたものを含む）と、
前記収容棚中の収容部から取り出された一つ又は複数の薬剤が載置される載置容器と、
前記収容棚中の各収容部毎の３次元位置データを記録すると共に、前記収容棚中の各収容部又はその３次元位置データと各収容部内にそれぞれ収容されている薬剤の識別データとを互いに対応付けて記録する収納部対薬剤記録手段と、
少なくとも前記収容棚の前方に居る作業者の手の距離画像を取得する距離画像取得手段と、
少なくとも前記載置容器の可視光又は赤外線画像を取得する撮像手段と、
前記距離画像取得手段からの距離画像と前記収納部対薬剤記録手段に記録された各収容部の３次元位置データとに基づいて、作業者の手が近接して対向し又は伸びた収容部を特定する収容部特定手段と、
前記撮像手段からの今回取得された載置容器内画像とその前又は後に取得された載置容器内画像とを比較して、載置容器内画像に変化があったことを検出する容器内変化検出手段と、
前記容器内変化検出手段からの信号と、前記収容部特定手段からの特定された収容部に関するデータと、前記収納部対薬剤記録手段に記録された薬剤の識別データとに基づいて、作業者が前記収容棚中の収容部から薬剤を取り出して載置容器に入れ置いたこと及び前記取り出した薬剤に関するデータを取得する取出薬剤データ取得手段と、
を備えたことを特徴とする薬剤ピッキング検査等に適したピッキング薬剤特定システム。
【請求項５】
複数の種類又は銘柄の薬剤を各種類又は銘柄別にそれぞれ収容する各収容部が縦及び横方向に並べられて成る収容棚（複数個の収納棚が組み合わされたものを含む）と、
前記収容棚中の収容部から取り出された一つ又は複数の薬剤が載置される載置容器と、
前記収容棚中の各収容部毎の３次元位置データを記録すると共に、前記収容棚中の各収容部又はその３次元位置データと各収容部内にそれぞれ収容されている薬剤の識別データとを互いに対応付けて記録する収納部対薬剤記録手段と、
少なくとも前記収容棚の前方に居る作業者の手及び前記載置容器の距離画像を取得する距離画像取得手段と、
前記距離画像取得手段からの距離画像と前記収納部対薬剤記録手段に記録された各収容部の３次元位置データとに基づいて、作業者の手が接近又は侵入した収容部を特定する収容部特定手段と、
前記距離画像取得手段からの今回取得された載置容器内画像とその前又は後に取得された載置容器内画像とを比較して、載置容器内画像に変化があったことを検出する容器内変化検出手段と、
前記容器内変化検出手段からの信号と、前記収容部特定手段からの特定された収容部に関するデータと、前記収納部対薬剤記録手段に記録された薬剤の識別データとに基づいて、作業者が前記収容棚中の収容部から薬剤を取り出して載置容器に入れ置いたこと及び前記取り出した薬剤に関するデータを取得する取出薬剤データ取得手段と、
を備えたことを特徴とする薬剤ピッキング検査等に適したピッキング薬剤特定システム。
【請求項６】
請求項４又は５において、
前記容器内変化検出手段は、前記の今回取得された載置容器内画像（以下「今回画像」という）とその直前に取得された載置容器内画像とを比較して、前記載置容器内の薬剤の個数、面積又は体積が減ったことを検出するものであり、
前記取出薬剤データ取得手段は、前記容器内変化検出手段からの前記減ったことを示す信号と、「前記今回画像が取得された後に前記距離画像取得手段により取得された作業者の手の距離画像から特定される、作業者の手が対向し又は伸びた収容部」に関するデータと、前記収納部対薬剤記録手段に記録された薬剤の識別データとに基づいて、作業者が前記載置容器内から一つ又は複数の薬剤を取り上げて収容棚中の収容部に戻したこと及び前記戻した薬剤に関するデータをも取得するものである、ことを特徴とする薬剤ピッキング検査等に適したピッキング薬剤特定システム。
【請求項７】
請求項４から６までのいずれかにおいて、
前記収容部特定手段は、前記距離画像取得手段からの距離画像に基づいて複数の作業者の手をそれぞれ互いに区別して特定し、この互いに区別して特定した複数の作業者の手の各３次元位置に基づいて、前記収容棚中の収容部の中、複数の作業者の手がそれぞれ対向し又は伸びた各収容部を互いに区別して特定するものである、ことを特徴とする薬剤ピッキング検査等に適したピッキング薬剤特定システム。
【請求項８】
請求項４から７までのいずれかにおいて、
前記容器内変化検出手段は、互いに色又は形状等の特徴を異にする複数の載置容器の画像に基づいて、前記各載置容器内の画像の変化を、互いに区別して検出するものであり、
さらに、互いに色又は形状等の特徴を異にする各載置容器の識別データと各載置容器を使用してピッキングした各作業者の識別データとを対応付けて記録する容器対作業者記録手段を備えたことを特徴とする薬剤ピッキング検査等に適したピッキング薬剤特定システム。
【請求項９】
請求項１から８までのいずれかにおいて、
作業者が或る薬剤を載置容器から取り出して或る収容部に戻そうとしてその収容部に手を接近させたとき、それまでに前記取出薬剤データ取得手段が取得しておいた当該の作業者が手を接近又は侵入させた１つ又は複数の収容部又はその収容部から取り出して載置容器に入れ置いた一つ又は複数の薬剤の識別データと、当該作業者が前記載置容器から取り出した薬剤をこれから戻そうとして手を接近させた収容部又はその中にあるべき薬剤の識別データとを比較する比較手段と、
上記比較の結果、双方の収容部又は薬剤の識別データが互いに一致しないとき所定の警告を画面や音または光などで出力する警告出力手段と、
を備えたことを特徴とする薬剤ピッキング検査等に適したピッキング薬剤特定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は調剤薬局などにおいて薬剤のピッキングが処方箋に従って正しく行われたかどうかを検査又は監査するための薬剤ピッキング検査等に適したピッキング薬剤特定システムに関する。
【背景技術】
【０００２】
従来より、調剤薬局などにおいて、薬剤のピッキングが処方箋に従って正しく行われたかどうかを検査又は監査するための薬剤ピッキング検査システムが提案されている。例えば、特許文献１では、薬剤師が薬剤をピッキングした後に検査人がピッキングされた薬剤が入っているＰＴＰシートを取り出して、該ＰＴＰシートのバーコードなどが記載された印刷面を撮像及び画像認識し、該ＰＴＰシートの薬剤の名称やＩＤを取得し、該ピッキングされた薬剤が処方箋内容と適合しているかどうかをチェックして調剤ミスを防止するシステムが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１６７１５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１が提案する調剤ミス防止等のためのシステムでは、薬剤師が薬剤をピッキングした後に検査人がピッキングされた複数のＰＴＰシートをいちいち取り出してそのバーコードなどが表示された印刷面を撮像し画像認識するようにしているため、薬剤師によるピッキング動作の後にＰＴＰシート印刷面の読取りや画像認識などの手間や時間が余分に必要になり患者が調剤された薬剤を受け取るまでの待ち時間が長くなってしまう、ＰＴＰシートの印刷面の読取装置やその読み取った画像から薬品名などを得る画像認識処理装置などを備えるために多くのコストが掛かってしまうなどの問題があった。また、このような問題は、調剤ミス防止のためのシステムだけでなく、調剤ミスが判明した後の調剤ミスの原因究明のためのシステムなどにおいても同様に存在していた。
【０００５】
さらに、従来は、薬剤師は、これから収容棚中の収容部（収容箱）から薬剤をピッキングしようとするとき、前記各収容部から取り出したＰＴＰシートの印刷面の文字などを見て薬剤の名称や内容などを確認するしかなかったため、薬剤師は、これから手を入れて取り出そうとする収容部内の薬剤の効能、副作用、対応ジェネリック製品、又は在庫数などの詳細な関連情報を事前に（又はピッキングと同時並行的に）容易に知ることができないという問題があった。
【０００６】
本発明はこのような従来技術の問題点に着目してなされたものであって、作業者がピッキングした薬剤を、患者等の待ち時間を増加させないままで且つ簡単な構成だけで低コストに、特定することができる、薬剤ピッキング検査等に適したピッキング薬剤特定システムを提供することを目的とする。また本発明は、作業者がこれからピッキングしようとする薬剤についてその効能、副作用、対応ジェネリック製品、又は在庫数などの詳細な関連情報を事前に又は同時並行的に容易に知ることができるピッキング薬剤特定システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
以上のような課題を解決するための本発明によるピッキング薬剤特定システムは、複数の種類又は銘柄の薬剤を各種類又は銘柄別にそれぞれ収容する各収容部が縦及び横方向に並べられて成る収容棚（複数個の収納棚が組み合わされたものを含む）と、前記収容棚中の収容部から取り出された一つ又は複数の薬剤が載置される載置容器と、前記収容棚中の各収容部毎の３次元位置データを記録すると共に、前記収容棚中の各収容部又はその３次元位置データと各収容部内にそれぞれ収容されている薬剤の識別データとを互いに対応付けて記録する収納部対薬剤記録手段と、少なくとも前記収容棚の前方に居る作業者の手、前記載置容器及びそれらの周辺の距離画像を取得する距離画像取得手段と、前記距離画像取得手段からの距離画像と前記収納部対薬剤記録手段に記録された各収容部の３次元位置データとに基づいて、作業者の手が接近又は侵入した収容部を特定する収容部特定手段と、前記距離画像取得手段からの距離画像に基づいて、前記載置容器内又はその近傍領域に作業者の手が接近又は侵入したことを検出する接近検出手段と、前記接近検出手段からの信号と、前記収容部特定手段からの特定された収容部に関するデータと、前記収納部対薬剤記録手段に記録された薬剤の識別データとに基づいて、作業者が前記収容棚中の収容部から薬剤を取り出して載置容器に入れ置いたこと及び前記取り出した薬剤に関するデータを取得する取出薬剤データ取得手段とを備えたことを特徴とする。
【０００８】
また本発明によるピッキング薬剤特定システムにおいては、前記取出薬剤データ取得手段は、前記接近検出手段により前記載置容器内又はその近傍領域に作業者の手が接近又は侵入したことが検出されたとき、前記検出された時点より前に作業者の手が接近又は侵入した収容部に対応する薬剤に関するデータを、作業者が収容部から取り出して載置容器に入れ置いた薬剤に関するデータとして取得するものであってもよい。
【０００９】
また、本発明によるピッキング薬剤特定システムにおいては、さらに、前記接近検出手段により前記載置容器内又はその近傍領域に作業者の手が接近又は侵入したことが検出された場合において、前記検出の時点より前の所定時間内に作業者の手がいずれかの収容部に接近又は侵入したことがなく且つ前記検出の時点より後に作業者の手がいずれかの収容部に接近又は侵入したとき、前記検出の時点より後に作業者の手が接近又は侵入した収容部に対応する薬剤に関するデータを、作業者が載置容器から収容部に戻した薬剤に関するデータとして取得する戻し薬剤データ取得手段を備えたことが望ましい。
【００１０】
また、本発明によるピッキング薬剤特定システムにおいては、作業者が或る薬剤を載置容器から取り出して或る収容部に戻そうとしてその収容部に手を接近させたとき、それまでに前記取出薬剤データ取得手段が特定・取得しておいた当該の作業者が手を接近又は侵入させた１つ又は複数の収容部又はその収容部から取り出して載置容器に入れ置いた一つ又は複数の薬剤の識別データと、当該作業者が前記載置容器から取り出した薬剤をこれから戻そうとして手を接近させた収容部又はその中にあるべき薬剤の識別データとを比較する比較手段と、上記比較の結果、双方の収容部又は薬剤の識別データが一致しないときは所定の警告を画面や音または光などで出力する警告出力手段とを備えるようにしてもよい。なお、上記の比較手段及び警告手段は、下記の「前記撮像手段からの今回取得された載置容器内画像とその前又は後に取得された載置容器内画像とを比較して、載置容器内画像に変化があったことを検出する容器内変化検出手段」を含む発明の場合も同様に適用可能なものである。
【００１１】
また、本発明による薬剤ピッキング検査等に適したピッキング薬剤特定システムは、複数の種類又は銘柄の薬剤を各種類又は銘柄別にそれぞれ収容する各収容部が縦及び横方向に並べられて成る収容棚（複数個の収納棚が組み合わされたものを含む）と、前記収容棚中の収容部から取り出された一つ又は複数の薬剤が載置される略籠又は箱状の載置容器と、前記収容棚中の各収容部の３次元位置データと各収容部内にそれぞれ収容されている薬剤の識別データとを互いに対応付けて記録する収納部対薬剤記録手段と、少なくとも前記収容棚の前方に居る作業者の手の距離画像を取得する距離画像取得手段と、少なくとも前記載置容器の可視光又は赤外線画像を取得する撮像手段と、前記距離画像取得手段からの距離画像と前記収納部対薬剤記録手段に記録された３次元位置データとに基づいて、作業者の手の３次元位置と対応する３次元位置を有する収容部を、前記作業者の手が対向し又は伸びた収容部として特定する収容部特定手段と、前記撮像手段からの今回取得された載置容器内画像とその前又は後に取得された載置容器内画像とを比較して、載置容器内画像に変化があったことを検出する容器内変化検出手段と、前記容器内変化検出手段からの信号と、前記収容部特定手段からの特定された収容部に関するデータと、前記収納部対薬剤記録手段に記録された薬剤の識別データとに基づいて、作業者が前記収容棚中の収容部から薬剤を取り出して載置容器に入れ置いたこと及び前記取り出した薬剤に関するデータを取得する取出薬剤データ取得手段と、を備えたことを特徴とするものである。
【００１２】
また、本発明によるピッキング薬剤特定システムは、複数の種類又は銘柄の薬剤を各種類又は銘柄別にそれぞれ収容する各収容部が縦及び横方向に並べられて成る収容棚（複数個の収納棚が組み合わされたものを含む）と、前記収容棚中の収容部から取り出された一つ又は複数の薬剤が載置される略籠又は箱状の載置容器と、前記収容棚中の各収容部の３次元位置データと各収容部内にそれぞれ収容されている薬剤の識別データとを互いに対応付けて記録する収納部対薬剤記録手段と、少なくとも前記収容棚の前方に居る作業者の手及び前記載置容器の距離画像を取得する距離画像取得手段と、前記距離画像取得手段からの距離画像と前記収納部対薬剤記録手段に記録された３次元位置データとに基づいて、作業者の手の３次元位置と対応する３次元位置を有する収容部を、前記作業者の手が対向し又は伸びた収容部として特定する収容部特定手段と、前記距離画像取得手段からの今回取得された載置容器内画像とその前又は後に取得された載置容器内画像とを比較して、載置容器内画像に変化があったことを検出する容器内変化検出手段と、前記容器内変化検出手段からの信号と、前記収容部特定手段からの特定された収容部に関するデータと、前記収納部対薬剤記録手段に記録された薬剤の識別データとに基づいて、作業者が前記収容棚中の収容部から薬剤を取り出して載置容器に入れ置いたこと及び前記取り出した薬剤に関するデータを取得する取出薬剤データ取得手段と、を備えたことを特徴とするものである。
【００１３】
また、本発明によるピッキング薬剤特定システムにおいては、前記容器内変化検出手段は、前記の今回取得された載置容器内画像（以下「今回画像」という）とその直前に取得された載置容器内画像とを比較して、前記載置容器内の薬剤の個数、面積又は体積が減ったことを検出するものであり、前記取出薬剤データ取得手段は、前記容器内変化検出手段からの前記減ったことを示す信号と、「前記今回画像が取得された後に前記距離画像取得手段により取得された作業者の手の距離画像から特定される、作業者の手が対向し又は伸びた収容部」に関するデータと、前記収納部対薬剤記録手段に記録された薬剤の識別データとに基づいて、作業者が前記載置容器内から一つ又は複数の薬剤を取り上げて収容棚中の収容部に戻したこと及び前記戻した薬剤に関するデータを取得するものであってもよい。
【００１４】
また、本発明によるピッキング薬剤特定システムにおいては、前記収容部特定手段は、前記距離画像取得手段からの距離画像に基づいて複数の作業者の手をそれぞれ互いに区別して特定し、この互いに区別して特定した複数の作業者の手の各３次元位置に基づいて、前記収容棚中の収容部の中、複数の作業者の手がそれぞれ対向し又は伸びた各収容部を互いに区別して特定するものでもよい。
【００１５】
また、本発明によるピッキング薬剤特定システムにおいては、前記容器内変化検出手段は、互いに色又は形状等の特徴を異にする複数の載置容器内の画像に基づいて、前記各載置容器内の画像の変化を、互いに区別して検出するものであり、さらに、互いに色又は形状等の特徴を異にする各載置容器の識別データと各載置容器を使用してピッキングした各作業者の識別データとを対応付けて記録する容器対作業者記録手段を備えるようにしてもよい。
【００１６】
また、本発明によるピッキング薬剤特定システムにおいては、前記収納部対薬剤記録手段に記録された各薬剤の識別データとその薬剤の効能や在庫数などの関連情報とを互いに対応付けて記録する他の記録手段を備えるか、又は前記収納部対薬剤記録手段を各薬剤の識別データとその薬剤の効能や在庫数などの関連情報とを互いに対応付けて記録するように構成し、前記収容棚又はその近傍に配置された表示手段と、前記収容部特定手段により特定された収容部のデータ又は前記取出薬剤データ取得手段により特定された薬剤のデータと、前記他の記録手段又は前記収納部対薬剤記録手段に記録された関連情報とに基づいて、前記作業者の手が対向し又は伸びた収容部に対応する薬剤の関連情報を取得する関連情報取得手段と、前記関連情報取得手段により取得された関連情報を前記表示手段に表示させる表示制御手段と、を備えていてもよい。
【発明の効果】
【００１７】
本発明においては、作業者の手、載置容器及びそれらの周辺の距離画像（センサから対象物までの距離の値を持った２次元データ）を取得し、作業者の手及びその周辺の距離画像に基づいて作業者の手が接近又は侵入した収容部を特定し、作業者の手、載置容器及びその周辺の距離画像に基づいて、作業者の手が載置容器内又はその近傍に接近又は侵入したことを検出したとき、前記取出薬剤データ取得手段が、前記の作業者の手が接近又は侵入した収容部に対応する薬剤に関するデータを、作業者が前記収容棚中の収容部から薬剤を取り出して載置容器に入れ置いた薬剤に関するデータとして特定、取得するようにしたので、作業者が調剤等のためにピッキングした薬剤を、患者等の待ち時間を増加させないままで且つ簡単な構成だけで低コストに、特定することができるようになる。
【００１８】
また、本発明において、さらに、前記の作業者の手が載置容器又はその近傍に接近又は侵入したことが検出された場合において、前記検出の時点より前の所定時間内には作業者の手がいずれかの収容部に接近又は侵入したことがなく且つ前記検出の時点より後に作業者の手がいずれかの収容部に接近又は侵入したときは、前記戻し薬剤データ取得手段が、前記検出の時点より後に作業者の手が接近又は侵入した収容部に対応する薬剤に関するデータを、作業者が載置容器から収容部に戻した薬剤に関するデータとして特定、取得するようにしたので、薬剤ピッキングの検査（調剤ミスの検査）や調剤ミスの原因究明などをより高精度に行えるようになる。
【００１９】
また、本発明においては、作業者が収容棚中のいずれかの収容部から薬剤を取り出して載置容器内に入れ置いた（薬剤から手を離した）とき、前記取出薬剤データ取得手段が当該の作業者が取り出した収容部又は当該の収容部から取り出して載置容器に入れ置いた薬剤の銘柄等の識別データを取得するので、その後に、もし作業者が或る薬剤を載置容器から取り出して収容部に戻そうとする場合であって、その戻そうとした収容部又はその収容部内に収容されるべき薬剤のデータが、前記取出薬剤データ取得手段がそれまでに取得しておいた収容部又は薬剤（それまでに作業者がピッキングのために手を接近又は侵入させた１つ又は複数の収容部、又はその収容部から取り出した１つ又は複数の薬剤）のデータと異なっているときは、その旨の警告を出力するようにしているので、載置容器から収容部へ薬剤の戻すときの戻し先（収容部）の間違いを防止することができる。
【００２０】
本発明においては、収納棚内の各収納部の３次元位置を事前に記録しておき、容器内変化検出手段により、載置容器内の画像（距離画像、可視光画像、又は赤外線画像）が変化したこと、すなわち載置容器内の薬剤の個数、面積又は体積等が増減したことが検出されたとき、距離画像取得手段により取得された距離画像から得られる作業者の手の３次元位置に対応する３次元位置を有する収容部を「作業者の手が伸びて中身の薬剤が取り出された収容部」（又は「ピッキングされた後に薬剤が戻された収容部」）として特定すると共に、その特定された収容部内に収容されている薬剤を「ピッキングされた薬剤」（又は「ピッキングされた後に戻された薬剤」）として特定するようにしている。よって、本発明によれば、作業者がピッキングした薬剤を、患者等の待ち時間を増加させないままで、且つ距離画像取得手段（近年は安価な距離画像センサが市販されている）などの簡単な構成だけで低コストに、特定できるようになる。
【００２１】
また特に、前記の容器内変化検出手段による載置容器内の画像の変化（載置容器内の薬剤の個数、面積又は体積等の増減）の検出を、載置容器の距離画像に基づいて行うようにしたときは、載置容器内の画像の取得と作業者の手の３次元位置の取得とを、一つの距離画像取得手段（「作業者の手と載置容器」の距離画像を取得する距離画像取得手段）だけで行えるようになるので、載置容器の可視光又は赤外線画像を取得する撮像手段を距離画像取得手段と別個に備えることが不要になり、装置全体をより低価格化できるようになる。
【００２２】
また、本発明において、容器内変化検出手段により載置容器の中に在る薬剤の個数、面積又は体積が減ったことを示す情報、及び前記個数等が減った後に取得された作業者の手の距離画像から、作業者が（既に行ったピッキングのミスに気が付くなどして）載置容器から取り上げて戻した先の収容部とその戻した薬剤を特定するようにしたときは、作業者が載置容器から薬剤を取り上げて収容棚中の所定の収容部に戻したこと及び前記戻した薬剤をも特定することができるので、薬剤ピッキングの検査（調剤ミスの検査）や調剤ミスの原因究明などをより高精度に行えるようになる。
【００２３】
また、本発明において、画像（距離画像、可視光画像、又は赤外線画像）中に複数の載置容器が存在している場合に、前記容器内変化検出手段が、各載置容器内の画像の変化を、各載置容器の色又は形状などの各載置容器毎に互いに異なる特徴に対応して互いに区別して検出するようにしたときは、ピッキングされた薬剤を、各載置容器毎に特定、記録することができる。よって、本発明によれば、例えば互いに色又は形状等の特徴が異なる複数の各載置容器の識別データと複数の各作業者の識別データとを互いに対応付けて記録しておくことにより、複数の作業者が同時並行的にピッキング作業をした場合でも、各載置容器毎にすなわち各作業者毎に、ピッキングされた薬剤を特定、記録し、薬剤ピッキングの検査（調剤ミスの検査）や調剤ミスの原因究明を行うことが可能になる。
【００２４】
また、本発明において、前記収容部特定手段が、前記距離画像に基づいて、複数の各作業者のそれぞれの手の３次元位置にそれぞれ対応する収容部（複数の各作業者の手がそれぞれ対向し又は伸びた収容部）を各作業者毎に互いに区別して特定するようにしたときは、複数の作業者のピッキング動作が略同時並行的に行われている場合でも、各作業者が手を伸ばした先の収容部を各作業者と対応付けて特定することができる。よって、本発明によれば、例えば互いに色又は形状等の特徴が異なる複数の各載置容器の識別データと複数の各作業者の識別データとを互いに対応付けて記録しておき更に各載置容器の色又は形状等の特徴を画像等により互いに識別することにより、複数の作業者が同時並行的にピッキング作業をした場合でも、各載置容器毎にすなわち各作業者毎に、ピッキングされた薬剤を特定、記録し、薬剤ピッキングの検査（調剤ミスの検査）や調剤ミスの原因究明を行うことが可能になる。
【００２５】
さらに、本発明においては、前記関連情報取得手段が、前記収容部特定手段又は前記取出薬剤データ取得手段からのデータと、前記他の記録手段又は前記収納部対薬剤記録手段に記録された薬剤関連情報とに基づいて、前記作業者の手が対向し又は伸びた収容部に対応する薬剤の関連情報を取得し、この取得した関連情報を収容棚又はその近傍に配置された表示手段に表示するようにしている。したがって、本発明によれば、作業者は、薬剤ピッキング作業中に、例えば目的とする薬剤が収容されている（であろう）収容部の方に手を伸ばし又は伸ばそうとするだけで、自らがこれからピッキングしようとしている収容部内の薬剤の効能等の関連情報を画面で目視することができる。よって、本発明によれば、作業者は、収容部から薬剤を取り出す直前に（又は収容部からの薬剤の取り出し動作と同時並行的に）当該収容部内の薬剤の詳細な内容等を確認することができるので、薬剤ピッキング作業をより容易にし且つピッキング作業ミスをより低減させることができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施形態１に係るピッキング薬剤特定システムの構成を示す概略図である。
【図２】本実施形態１の動作を説明するための概略図である。
【図３】本実施形態１の動作を説明するための概略図である。
【図４】本実施形態１の動作を説明するための概略図である。
【図５】本実施形態１の動作を説明するための概略図である。
【図６】本発明の実施形態２に係るピッキング薬剤特定システムの構成を示す概略図である。
【図７】本実施形態２の動作を説明するための概略図である。
【図８】本発明の実施形態３に係るピッキング薬剤特定システムの構成を示す概略図である。
【図９】本実施形態３の動作を説明するための概略図である。
【発明を実施するための形態】
【００２７】
［実施形態１］
以下、本発明の実施の形態１を図面を用いて説明する。図１は、本発明の実施形態１に係る薬剤ピッキング支援システムの構成を示す概略図である。図１において、１は各薬剤をその種類又は銘柄毎に収容する各収容部２を上下及び左右方向に並べて成る収容棚、３は薬剤師１０が処方箋に基づいてピッキングした薬剤を載置するための載置籠、４は前記載置籠３などを置くための作業台、５は前記収容棚１の上方に配置されたディスプレイ、６は前記載置籠３及びその中に入れられた薬剤などのＲＧＢ画像を取得する可視光カメラ、７は前記収容棚１の近傍（例えば上方）に配置され薬剤師１０の手１０ａ及びその周辺（載置籠３などを含んでもよい）の距離画像を取得する距離画像センサである（なお本実施形態１では、前記可視光カメラ６と距離画像センサ７は実際には図１の奥行き方向に並べられているが、図１では図示の便宜上、左右に並べて図示している）。
【００２８】
本実施形態１では、図１の可視光カメラ６及び距離画像センサ７は、米マイクロソフト社製「Ｋｉｎｅｃｔ  ｆｏｒ  Ｗｉｎｄｏｗｓ」（登録商標。以下「Ｋｉｎｅｃｔ」と略す。）に備えられたものを使用している。Ｋｉｎｅｃｔ（登録商標）は、周囲のカラー画像を取得するＲＧＢカメラ、周囲に所定の赤外線ドットパターンを照射する赤外線プロジェクタ、及び前記照射された赤外線の反射光を撮像する赤外線カメラを備えており、また、前記赤外線カメラからのデータ（距離画像）に基づいて膨大なサンプル画像との比較から身体の骨格部位を推定し追跡する処理などを行うプロセッサを内蔵している。これらの中、前記ＲＧＢカメラが図１の可視光カメラ６を、前記赤外線プロジェクタ及び赤外線カメラが図１の距離画像センサ７を、前記プロセッサが図１の制御部１１の一部を構成している。図１の距離画像センサ７は、所定パターンで赤外線を照射し、その反射光を赤外線カメラで撮像することにより、画素毎の奥行き情報（深度情報）を含む距離画像を毎フレームごとに取得するものである。
【００２９】
次に、図１において、１１は前記ディスプレイ５を制御し、前記可視光カメラ６を制御し且つそれが取得した画像データを受信、記録し、前記距離画像センサ７を制御し且つそれが取得した距離画像データを受信、記録する制御部（パソコンなどで構成される）である。また、１２は前記可視光カメラ６が例えば所定時間毎に取得した前記載置籠３の画像を例えば取得日時などと関連付けて逐次記録、蓄積する籠画像蓄積部、１３は前記距離画像センサ７が例えば所定時間毎に取得した薬剤師１０の手の３次元位置データを例えば取得日時などと関連付けて逐次記録、蓄積する手位置データ蓄積部、１４は前記Ｋｉｎｅｃｔ（登録商標）を使用して作成した前記収容棚１の各収容部２の３次元位置範囲（距離画像に基づく座標から、ｘ座標○〜●，ｙ座標△〜▲，ｚ座標□〜■を各収容部別に羅列したもの）と各収容部２に収容されている薬剤の識別データ（銘柄・名称などを含む）を互いに対応付けて記録した収納部対薬剤データベース、１５は各薬剤の識別データ（銘柄・名称などを含む）とその効能、副作用、代替品（ジェネリック製品）、又は在庫数などの関連情報（属性情報）を互いに対応付けて記録した薬剤関連データベースである。
【００３０】
次に本実施形態１の動作を説明する。まず事前作業について説明する。事前作業としては、Ｋｉｎｅｃｔ（登録商標。可視光カメラ６及び距離画像センサ７などを含む）を、収容棚１の上方の位置であって可視光カメラ６が載置籠３を撮像可能で且つ距離画像センサ７がピッキング作業を行う薬剤師１０（及び収容棚１）の距離画像を取得可能な位置に配置する。次に、Ｋｉｎｅｃｔ（登録商標）の距離画像センサ７を使用して、前記収容棚１中の各収容部２のそれぞれの３次元位置範囲（ｘ座標○〜●，ｙ座標△〜▲，ｚ座標□〜■を各収容部別に羅列したもの）を取得し、取得した各収容部２毎の３次元位置範囲（各３次元位置座標データ）を、各収容部２に収容されている薬剤の識別データ（名称・銘柄など）と対応付けて記録し、これにより収納部対薬剤データベース１４を作成する。また、各薬剤の効能、副作用、代替品（ジェネリック製品）、又は在庫数などの関連情報（属性情報）を各薬剤の識別データと対応付けて記録した薬剤関連データベース１５も予め用意しておく。
【００３１】
次に、薬剤師１０がピッキング作業を行っているときにその薬剤師１０により前記各収容部２から取り出された薬剤を検出・特定する動作を、図２〜４を参照して説明する。なお、図３，４において、２１，２２，２３はそれぞれ薬剤師１０により前記載置籠３上に置かれたＰＴＰシート（薬剤が封入されている）である。
【００３２】
まず、前記Ｋｉｎｅｃｔ（登録商標）の可視光カメラ６は、前記載置籠３のＲＧＢ画像を例えば所定時間毎に取得する。制御部１１は、この可視光カメラ６からの画像データを所定時間毎に受信し、逐次、取得日時等と関連付けて前記籠画像蓄積部１２に記録・蓄積する。また、前記Ｋｉｎｅｃｔ（登録商標）は、搭載した距離画像センサ７により、対象物に照射した赤外線の反射光を赤外線カメラで撮像して得た距離画像を取得し、さらに、内蔵したプロセッサ（又はこれにより駆動されるソフトウェア）により、前記取得した距離画像から、薬剤師１０の手の３次元位置データを例えば所定時間毎に取得する。図１Ａの制御部１１は、この薬剤師１０の手の３次元位置データを所定時間毎に前記Ｋｉｎｅｃｔ（登録商標）より受信して逐次、取得日時等と関連付けて前記手位置データ蓄積部１３に記録・蓄積する。
【００３３】
また、制御部１１は、前記距離画像センサ７から所定時間毎に送信される距離画像（前記Ｋｉｎｅｃｔ（登録商標）から所定時間毎に送信される薬剤師１０の手の３次元位置データ）に基づいて、例えば薬剤師１０の手１０ａと収納部２ａ（図２参照）との間の３次元的距離が所定距離よりも近づいたとき、薬剤師１０が当該収納部２に手１０ａを対向し又は伸ばしたと判定する。
【００３４】
また、制御部１１は、随時、前記可視光カメラ６から送信されるＲＧＢ画像をその直前のＲＧＢ画像と比較し、前記載置籠３内の画像（前記載置籠３上に置かれたモノの画像）に変化があったかどうか、具体的には、前記載置籠３上に置かれたもの（薬剤）の個数又は面積が増えたこと又は減ったことを判定する。そして、例えば、制御部１１が、前回取得した画像（図３（ａ）参照）と今回取得した画像（図３（ｂ）参照）とを比較し、例えば、前記載置籠３上に置かれたもの（ＰＴＰシート）の全体の面積が「増えた」と判定した場合は、今回の画像（図３（ｂ）参照）を取得した時点の直前に前記収容棚１内の収容部２ａに延びた薬剤師１０の手（図２参照）の３次元位置データを、前記手位置データ蓄積部１３から取得する。そして、制御部１１は、この取得した３次元位置データから、前記収納部対薬剤データベース１４を参照して、前記３次元位置データに対応する収納部２及びそこに収納された薬剤のデータ（識別データなど）を取得する。
【００３５】
以上により、制御部１１は、薬剤師１０が前記収容棚１内の収容部２ａから薬剤を取り出して載置籠３に置いたこと、及び、前記の収容部２ａから取り出されて載置籠３内に置かれた薬剤（図３（ａ）の画像では無かったが図３（ｂ）の画像では存在するＰＴＰシート２２）の名称・銘柄を、特定する。また、さらに新たな画像が取得されたときも、制御部１１は、前回取得した画像（図３（ｂ）参照）とその後に新たに取得された画像（図３（ｃ）参照）とを比較して前記載置籠３上に置かれたもの（ＰＴＰシート）の例えば個数又は面積が増えたと判定された場合は、上記と同じ動作を繰り返す。
【００３６】
以上の図３の動作例に示すように、本実施形態１では、載置籠３の画像が変化したとき、例えば載置籠３上の物体（薬剤）の全体の個数又は面積が増加したときは、制御部１１が、その直前に取得された薬剤師１０の手の３次元位置から、対応する収容部２及びその内容物としての薬剤を、「薬剤師１０が収容部２ａから取り出して載置籠３に入れ置いた薬剤」として、特定する。したがって、本実施形態１によるときは、現在安価に市販されているＫｉｎｅｃｔ（登録商標）を備えるだけで、薬剤師１０が収容部２ａから取り出して載置籠３に入れ置いた薬剤を、そのピッキング動作と同時並行的に特定することが可能になる。よって、本実施形態１によれば、患者の待ち時間を増加させないままで且つ極めて低コストで、ピッキング薬剤を特定することができるようになり、その結果、調剤ミスの防止や調剤ミスの原因究明などを効率的に実現できるようになる。
【００３７】
次に、例えば、制御部１１が、前回取得した画像（図４（ｂ）参照）と今回取得した画像（図４（ｃ）参照）とを比較し、前記載置籠３上に置かれたもの（ＰＴＰシート）の例えば個数又は面積が「減った」と判定した場合は、今回の画像（図４（ｃ）参照）を取得した時点の直後に前記収容棚１内のいずれかの収容部２に延びた薬剤師１０の手の３次元位置データを、前記手位置データ蓄積部１３から取得する。そして、制御部１１は、この取得した３次元位置データから、前記収納部対薬剤データベース１４を参照して、前記３次元位置データに対応する収納部２及びそこに収納された薬剤のデータ（銘柄などの識別データなど）を取得する。以上により、制御部１１は、薬剤師１０が（例えば既に行ったピッキングの誤りに後から気が付いて）載置籠３から一つ又は複数の薬剤を取り上げて収容棚１内の対応の収容部２に戻したこと、及び前記の収容部２に戻した薬剤（図４（ｂ）の画像では存在していたが図４（ｃ）の画像では無くなったＰＴＰシート２２）に関する名称・銘柄を、特定する。
【００３８】
以上の図４の動作例に示すように、本実施形態１では、載置籠３上の物体（薬剤）の全体の個数又は面積が減少したときは、制御部１１が、その直後に取得された薬剤師１０の手の３次元位置から、対応する収容部２及びその内容物としての薬剤を、「薬剤師１０が（例えば、既に行ったピッキングの誤りに気付いて）載置籠３から取り上げて収容部２に戻した薬剤」として、特定する。よって、本実施形態１によれば、「薬剤師１０が（例えば、既に行ったピッキングの誤りに気付いて）載置籠３から薬剤を取り上げて収容部２に戻したこと、及びそのようにして収容部に戻した薬剤」をも特定することが可能になり、その結果、薬剤ピッキングの検査（調剤ミスの検査）や調剤ミスの原因究明などをより高精度に行えるようになる。
【００３９】
次に、本実施形態１の本発明に係る部分の動作を図５を参照して説明する。前述のように、制御部１１は、前記距離画像センサ７から所定時間毎に送信される距離画像（前記Ｋｉｎｅｃｔ（登録商標）から所定時間毎に送信される薬剤師１０の手の３次元位置データ）に基づいて、例えば薬剤師１０の手１０ａといずれかの収納部２ａとの間の距離が所定距離よりも近づいたとき、薬剤師１０が当該収納部２ａに手１０ａを伸ばしたと判定する。そして、制御部１１は、前記判定時の薬剤師１０の手１０ａの３次元位置から、収納部対薬剤データベース１４を参照して、前記手１０ａの３次元位置と対応する収容部２ａを特定し、さらにこの収容部２ａに対応する薬剤を特定する。そして、制御部１１は、薬剤関連データベース１５を参照して、前記特定した薬剤の関連情報（属性情報）を取得して、その関連情報をディスプレイ５に表示させる。図５はこのようにして表示されたディスプレイ５の画面の一例を示すものである。
【００４０】
例えば薬剤師１０の１０ａ手が収容部２−５（例えば図２の収容棚１において左から２番目で上から５番目の収容部）の近くに伸びたとき（未だ収容部２−５から内容物の薬剤は取り出していない段階）で、制御部１１は、前記手１０ａの３次元位置から、対応する収容部２−５を特定し、前記薬剤関連データベース１５を参照して、前記収容部２−５内に収容されている薬剤の関連情報を取得する。そして、これをディスプレイ５に送信し、例えば「収容部２−５  アーチスト１０ｍｇ  血圧硬化剤  ジェネリックはカルベジロール錠  収容部２−１に在庫有り」と表示させる。これにより、薬剤師１０は、今から自分が取り出そうとしている収容部２−５内の内容物（薬剤）の関連情報（銘柄等の識別情報と効能等の属性情報）を見て、今から自分が取り出そうとしている（又は現在取り出しつつある）薬剤が処方箋の内容と適合しているかどうかを容易に確認することができるので、薬剤ピッキング作業をより容易にし、かつ効率化し、ピッキング作業ミスをより低減させることができる。
【００４１】
［実施形態２］
次に図６，７を参照して本発明の実施形態２の構成及び動作を説明する。図６，７において図１，図２と共通する部分は同一の符号を付して説明を省略する。図６において、符号２４は、複数の各薬剤師が同時にピッキング作業を行った場合等における各薬剤師のＩＤ又は氏名等の識別データとその各薬剤師がそれぞれ使用した各載置籠（前記色又は形状等の特徴から互いに区別できるもの）の識別データとを互いに対応付けて記録しておく容器対作業者記録部である。また、図７は、２人の薬剤師１０，２０が、色又は形状等の特徴により互いに区別可能な複数の載置籠３ａ，３ｂをそれぞれ使用しながら、薬剤ピッキングを同時並行的に行っている場合を示すものである。
【００４２】
本実施形態２においては、制御部１１（実際には、制御部１１、及び距離画像センサ７に内蔵されたプロセッサ）はＫｉｎｅｃｔ（登録商標）の一部を含むように構成されている。そして、Ｋｉｎｅｃｔ（米マイクロソフト社が提供しているＫｉｎｅｃｔ  ｆｏｒ  Ｗｉｎｄｏｗｓ  ＳＤＫ（登録商標））は、複数人の各ユーザー毎に区別された距離画像、すなわち複数人の各ユーザーＩＤにそれぞれ対応付けられた距離画像（各ユーザーＩＤでラベリング処理された距離画像。各画素中にそれぞれ各ユーザーを区別するインデックス値が入れられている距離画像）を同時に取得する機能を有している。本実施形態２では、このような制御部１１（実際には、制御部１１、及び距離画像センサ７に内蔵されたプロセッサ）が、Ｋｉｎｅｃｔ（登録商標）に含まれる前記赤外線カメラ（距離画像センサ７の一部）からの各薬剤師の手などの画像データに基づいて、複数の各薬剤師１０，２０の手１０ａ，２０ａ及びその周囲の距離画像を、各薬剤師１０，２０のＩＤと対応付けて取得する。そして、制御部１１は、前記取得した各薬剤師１０，２０のＩＤとそれぞれ対応する距離画像に基づいて各薬剤師１０，２０の手１０ａ，２０ａがそれぞれ伸びた又はその中に入った各収容部２ａ，２ｂ及びその中に収容されている薬剤に関する関連情報（銘柄などの識別情報、及び効能などの属性情報）を各薬剤師１０，２０のＩＤと対応付けて取得し、その薬剤関連情報を各薬剤師１０，２０のＩＤと対応付けてディスプレイ５に表示する。この場合、ディスプレイ５には、例えば、各薬剤師１０，２０毎に画面が分割され、その各分割画面中にそれぞれ各薬剤師１０，２０がピッキングしようとしている（各薬剤師１０，２０の手１０ａ，２０ａが伸びる又は入っている）収容部２ａ，２ｂ中の薬剤の銘柄、効能、又は在庫数等の関連情報が表示される。
【００４３】
次に、本実施形態２において、制御部１１は、前記可視光カメラ６からのＲＧＢ画像に基づいて、複数の載置籠３ａ，３ｂをその色や形状により互いに識別する機能（画像認識ソフト）を備えている。よって、制御部１１は、前記可視光カメラ６からの画像に基づいて、複数の薬剤師１０，２０がそれぞれピッキング薬剤を入れ置く載置籠３ａ，３ｂを互いに識別し、それらの各載置籠３ａ，３ｂ内の画像に変化があったこと（載置籠３ａ，３ｂに置かれた薬剤が増えたこと又は減ったこと）を互いに区別して検出することができる。
【００４４】
また、本実施形態２において、制御部１１は、前記距離画像センサ７からの距離画像に基づいて、複数人の手をそれぞれ互いに区別して認識する（例えば、近くの人の手と遠くの人の手とを別の人の手だと認識する）機能を備えている（さらに、Ｋｉｎｅｃｔ（登録商標）は、複数のプレーヤー毎の各骨格の組み合わせとその動きを別々に推定、追跡する機能、をも有している）。よって、制御部１１は、前記距離画像センサ７からの距離画像に基づいて、複数の薬剤師１０，２０の各手１０ａ，２０ａの３次元位置及び動きを、それぞれ、互いに区別して認識することができる。よって、制御部１１は、複数の薬剤師１０，２０の各手１０ａ，２０ａの３次元位置に基づいて、複数の各薬剤師１０，２０がそれぞれピッキング対象とした収容部２ａ，２ｂを、各薬剤師１０，２０の手１０ａ，２０ａとそれぞれ対応付けて特定することができる。
【００４５】
また、本実施形態２では、前述のように、ピッキングをする各薬剤師１０，２０のＩＤ又は氏名等と各薬剤師１０，２０が使用する各載置籠３ａ，３ｂ（色又は形状などで互いに区別可能なもの）の識別データとを互いに対応付けて記録しておく容器対作業者記録部２４が備えられている。よって、本実施形態２においては、制御部１１が容器対作業者記録部２４を参照することにより、載置籠３ａ，３ｂが複数個ある場合でも、各載置籠３ａ，３ｂ内の変化（面積の増減又は薬剤の増減）とこれにより求められる各載置籠３ａ，３ｂ中の各ピッキングされた薬剤とを、各薬剤師１０，２０のＩＤ又は氏名等と対応付けて特定、記録することができる。
【００４６】
次に、以上の構成の下で、本実施形態２の制御部１１は、次のような手順により、各薬剤師１０，２０がピッキングして各載置籠３ａ，３ｂ内に置いた薬剤のデータを取得するようにしている。
１．制御部１１は、各薬剤師１０，２０が収容棚１中の各収容部２ａ，２ｂに自分の手を近づけるか各収容部２ａ，２ｂの中に自分の手を入れたら、各薬剤師１０，２０の骨格の追跡を開始する。そして、制御部１１は、各薬剤師１０，２０が各収容部２ａ，２ｂに自分の手１０ａ，２０ａを近づけるか又は各収容部２ａ，２ｂ中に自分の手１０ａ，２０ａを入れた段階で、ピッキングしようとした薬剤のデータｘ，ｙ（この場合は、薬品名、薬品を一意に表すＩＤなどの識別データだけでもよい）を前述のように認識する。また、制御部１１は、各手１０ａ，２０ａの追跡中は、各手１０ａ，２０ａの３次元位置と薬剤のデータｘ，ｙとを互いにで結び付けている。
２．制御部１１は、各手１０ａ，２０ａの３次元位置と載置籠３ａ，３ｂとの距離がしきい値以下になったら、薬剤のデータｘ，ｙと当該載置籠３ａ，３ｂ又はその所有者（薬剤師１０，２０）とを対応付ける。
３．制御部１１は、載置籠３ａ，３ｂ内の面積が増えた場合、薬剤師１０，２０がピッキング動作を行ったと判定する（薬剤師１０，２０のピッキング履歴に当該薬品のデータｘ，ｙを追加する）。
【００４７】
また、本実施形態２の制御部１１は、次のような手順により、各薬剤師１０，２０が、いったんピッキングして載置籠３ａ，３ｂ内に置いた薬剤をその後に載置籠３ａ，３ｂから取り出して各収容部２ａ，２ｂに戻したとき、その戻した当該薬剤のデータを、取得するようにしている。
１．制御部１１は、載置籠３ａ，３ｂ内の面積が減った場合、各薬剤師１０，２０の各手１０ａ，２０ａの骨格の追跡を開始する。
２．制御部１１は、追跡開始後に初めて認識された各手１０ａ，２０ａの中、各載置籠３ａ，３ｂに最も近い位置にある各手１０ａ，２０ａと各載置籠３ａ，３ｂの所有者（薬剤師１０，２０）の情報（ＩＤ等）とを結び付ける。
３．制御部１１は、各薬剤師１０，２０がその手１０ａ，２０ａを収容棚１中の各収容部２ａ，２ｂに近づけたか又はその中に入れたとき、各薬剤師１０，２０が各収容部２ａ，２ｂに対応する薬剤データｘ，ｙの薬剤を各載置籠３ａ，３ｂから各収容部２ａ，２ｂ内に戻したと判定する（この場合は、各薬剤師１０，２０のピッキング履歴から、当該薬剤データｘ，ｙを消去する）。
【００４８】
以上より、本実施形態２においては、複数の薬剤師１０，２０により同時並行的に薬剤ピッキングが行われる場合でも、各載置籠３ａ，３ｂ内の薬剤の増減、及びピッキングされた収容部２ａ，２ｂと薬剤を、各載置籠３ａ，３ｂ毎・各薬剤師１０，２０毎に、特定できるようになる。よって、本実施形態２によれば、複数人により同時並行的に行なわれた薬剤ピッキングの検査（調剤ミスの検査）を効率化できると共に、各作業者毎にピッキングされた薬剤を追跡することができることから、調剤ミスの原因究明などもより効率的、高精度に行うことができるようになる。
【００４９】
［実施形態３］
次に図８，９を参照して本発明の実施形態３によるピッキング薬剤特定システムの構成及び動作を説明する。図８，９において、図１〜７における各部分と基本的構成が共通する部分には同一の符号を付している。以下の本実施形態３に関する構成及び動作の説明においては、前記実施形態１，２と共通する部分の説明を省略している場合がある。
【００５０】
図８において、１は各薬剤をその種類又は銘柄毎に収容する各収容部２を上下及び左右方向に並べて成る収容棚、３は薬剤師１０が処方箋に基づいてピッキングした薬剤を載置するための載置籠、４は前記載置籠３などを置くための作業台、５は前記収容棚１の上方に配置されたディスプレイ、６は前記載置籠３及びその中に入れられた薬剤などのＲＧＢ画像を取得する可視光カメラ、７は前記収容棚１の近傍（例えば上方）に配置された距離画像センサであって薬剤師１０の手１０ａ、載置籠３及びそれらの周辺の距離画像を取得する距離画像センサである（なお本実施形態３では、前記可視光カメラ６と距離画像センサ７は実際には図９に示すように薬剤師１０側から見て左右方向に並んで配置されているが、図８では、図示の便宜上、薬剤師１０側から見て奥行き方向に並ぶように示している）。
【００５１】
本実施形態３では、図８の可視光カメラ６及び距離画像センサ７は、Ｋｉｎｅｃｔ（登録商標）に備えられたものを使用している。Ｋｉｎｅｃｔ（登録商標）は、周囲のカラー画像を取得するＲＧＢカメラ、周囲に所定の赤外線ドットパターンを照射する赤外線プロジェクタ、及び前記照射された赤外線の反射光を撮像する赤外線カメラを備えており、また、前記赤外線カメラからのデータ（距離画像）に基づいて膨大なサンプル画像との比較から身体の骨格部位を推定し追跡する等の処理を行うプロセッサを内蔵している。これらの中、前記ＲＧＢカメラが図８の可視光カメラ６を、前記赤外線プロジェクタ及び赤外線カメラが図１の距離画像センサ７を、前記プロセッサが後述の制御部３１の一部を構成している。図８の距離画像センサ７は、例えば、所定パターンで赤外線を照射し、その反射光を赤外線カメラで撮像することにより、画素毎の奥行き情報（深度情報）を含む距離画像を毎フレームごとに取得するものである。
【００５２】
次に、図８において、３１は前記ディスプレイ５を制御し、前記可視光カメラ６を制御し且つそれが取得した画像データを受信して記録手段に記録し、前記距離画像センサ７を制御し且つそれが取得した距離画像データを受信して記録手段に記録する制御部（Ｋｉｎｅｃｔ（登録商標）及びパソコンなどで構成される）である。また、３２は前記距離画像センサ７からのデータに基づいて載置籠３の３次元空間上の位置を追跡する籠位置追跡部である。前記籠位置追跡部３２は、前記距離画像センサ７により取得された毎フレームの距離画像から、例えば予め記録した載置籠３のサンプル形状等データと比較照合することにより対応する形状等を有する載置籠３の部分（前記距離画像中の一部分）を特定して載置籠３及びその所定の近傍領域３ｃ（例えば載置籠３とその上方の約１〜１５ｃｍ又は約２〜６ｃｍ程度の範囲内）の３次元座標データを取得する。そして、その取得した各フレーム間における形状等データ及び３次元座標データの同一性又は近似性などに基づいて、載置籠３の３次元的な動きを追跡する（なお本実施形態３では、前記籠位置追跡部３２は、本発明者がＫｉｎｅｃｔ（登録商標）の外部に実装した）。
【００５３】
また、３３は前記距離画像センサ７からのデータに基づいて薬剤師１０及びその手１０ａの３次元空間上の位置を追跡する手位置追跡部である。前記手位置追跡部３３は、前記距離画像センサ７により取得された毎フレームの距離画像から、例えば予め記録した作業者のサンプル形状等データと比較照合することにより対応する形状等を有する薬剤師１０及びその手１０ａの部分（前記距離画像中の一部分）を特定して薬剤師１０及びその手１０ａの３次元座標データを取得する。そして、その取得した各フレーム間における形状等データ及び３次元座標データの同一性又は近似性などに基づいて、薬剤師１０及びその手１０ａの３次元的な動きを追跡する（なお、Ｋｉｎｅｃｔ（登録商標）にもプレーヤの骨格情報に基づいて手首を含む体の各部位を追跡する機能が実装されているが、本実施形態３では、前記手位置追跡部３３は、本発明者がＫｉｎｅｃｔ（登録商標）の外部に実装した）。
【００５４】
また、３４は前記距離画像センサ７が例えば所定時間毎に取得した薬剤師１０の手１０ａの３次元位置データを例えば取得日時などと関連付けて逐次記録、蓄積する手位置データ蓄積部、１４は前記Ｋｉｎｅｃｔ（登録商標）を使用して予め作成しておく前記収容棚１の各収容部２のそれぞれの３次元位置範囲（距離画像に基づく座標から、ｘ座標○〜●，ｙ座標△〜▲，ｚ座標□〜■を各収容部別に羅列したもの）と各収容部２に収容されている薬剤の識別データ（銘柄・名称などを含む）を互いに対応付けて記録した収納部対薬剤データベース、１５は各薬剤の識別データ（銘柄・名称などを含む）とその効能、副作用、代替品（ジェネリック製品）、又は在庫数などの関連情報（属性情報）を互いに対応付けて記録した薬剤関連データベースである。
【００５５】
次に本実施形態３の動作を説明する。本実施形態３においては、前記距離画像センサ７が前述のように薬剤師１０の手１０ａと載置籠３の距離画像を取得し、それに基づいて前記手１０ａと載置籠３の３次元位置データを各フレーム毎に取得する。そして、前記籠位置追跡部３２及び手位置追跡部３３が、前記手１０ａ及び載置籠３の各フレームの３次元位置データに基づいて、前記手１０ａ及び載置籠３の各３次元的な動きを追跡する。
【００５６】
そして、例えば、薬剤師１０の手１０ａが収容棚１中の或る収容部２ａに接近又は侵入したとき（図８（ａ）及び図９（ａ）に示す状態）、制御部３１は、前記距離画像センサ７からのデータ及び前記手位置追跡部３３からのデータに基づいて、薬剤師１０の手１０ａが収容部２ａに接近又は侵入したことを検出、認識し、その手１０ａが接近又は侵入した収容部２ａの３次元位置座標データを取得すると共に、この収容部２ａの３次元位置座標データから、収容部対薬剤データベース１４を参照して、前記収容部２ａに収容されている薬剤の銘柄等データを取得する。
【００５７】
その後、例えば前記の薬剤師１０の手１０ａが収容棚１中の或る収容部２ａに接近又は侵入した時点から例えば約０．５〜２秒などの所定時間内に、薬剤師１０の手１０ａが載置籠３又はその近傍領域３ｃ（例えば載置籠３の上方の例えば約１〜１５ｃｍ又は約２〜６ｃｍの領域）に接近又は侵入したとき（図８（ｂ）及び図９（ｂ）に示す状態）、制御部３１は、前記距離画像センサ７からのデータ及び前記籠位置追跡部３２からのデータに基づいて、薬剤師１０の手１０ａが載置籠３又はその近傍領域３ｃに接近又は侵入したことを検出、認識する。そして、制御部３１は、この検出等に基づいて、前記検出等の直前（約０．５〜２秒などの所定時間が経過する前）に薬剤師１０の手１０ａが接近又は侵入した前記の収容部２ａに収容されている薬剤の銘柄等データを、薬剤師１０によりピッキングされた薬剤に関するデータとして特定、取得する。以上の動作は、薬剤師１０が調剤等のためのピッキングの過程で各収容部２から薬剤を取り出して載置籠３に入れ置く動作を行う毎に同様に繰り返される。
【００５８】
次に、本実施形態３による他の動作を説明する。例えば、薬剤師１０の手１０ａが載置籠３又はその近傍領域３ｃに接近又は侵入した（図８（ｂ）及び図９（ｂ）に示す状態）ことが制御部３１により検出、認識されたが、その検出した時点より前（例えば約０．５〜２秒などの所定時間が経過する前）に薬剤師１０の手１０ａが収容棚１中のいずれかの収容部２に接近又は侵入したことは検出、認識されなかった場合、制御部３１は、前記の薬剤師１０の手１０ａが載置籠３又はその近傍領域３ｃに接近又は侵入した後に薬剤師１０の手１０ａが収容棚１中のいずれかの収容部２に接近又は侵入したかどうかを検出、判定する。そして、前記の薬剤師１０の手１０ａが載置籠３又はその近傍領域３ｃに接近又は侵入した後に薬剤師１０の手１０ａがいずれかの収容部２ａに接近又は侵入したこと（図８（ａ）及び図９（ａ）に示す状態）が検出等されたときは、制御部３１は、前記の薬剤師１０の手１０ａが接近又は侵入した収容部２ａに対応する薬剤の銘柄等データを、薬剤師１０が載置籠３から取り出して収容部２ａに戻し入れた薬剤に関するデータとして特定、取得する。以上の動作は、薬剤師１０がピッキングの過程で載置籠３から薬剤を取り出して各収容部２に戻し入れる動作を行う毎に同様に繰り返される。
【００５９】
また、本実施形態３においては、薬剤師１０が或る薬剤を載置籠３から取り出して例えば収容部２ａに戻そうとしてその収容部２ａに手を接近させたとき、制御部３１は、それまでに取得しておいた当該の薬剤師１０が手１０ａを接近又は侵入させた１つ又は複数の収容部２及びその収容部２から取り出して載置籠３に入れ置いた一つ又は複数の薬剤の識別データと、当該薬剤師１０が前記載置籠３から取り出した薬剤をこれから戻そうとして手１０ａを接近させた前記の収容部２ａ及びその中にあるべき薬剤の識別データとを比較するようにしている。そして、制御部３１は、上記の比較の結果、双方の収容部及び薬剤の識別データ（すなわち、それまでに制御部３１が取得したピッキング済みの１つ又は複数の収容部２及び１つ又は複数の薬剤の識別データと、薬剤師１０がこれから薬剤を戻すために手を伸ばした先にある収容部２ａ及びその中にあるべき薬剤の識別データ）が互いに一致しないときは、所定の警告を画面や音又は光などで出力することにより、上記の一致していないこと（すなわち、当該薬剤を戻すべき収容部２ａが当該薬剤を戻すべき本来の正しい収容部２ではない可能性があること）を薬剤師１０に警告するようにしている。
【００６０】
なお、Ｋｉｎｅｃｔ（登録商標）は距離画像データから複数人の骨格部位を同時に特定し追跡する機能を有しているので、このようなＫｉｎｅｃｔ（登録商標）を利用するようにしたときは、複数人の薬剤師１０の手１０ａとそれぞれが持つ載置籠３を同時に特定、追跡することができ、その結果、上記の複数の各薬剤師１０がそれぞれ収容部２からピッキングして載置籠３に入れ置いた薬剤に関するデータ、及び複数の各薬剤師１０がそれぞれ自らの載置籠３から取り出して収容部２に戻した薬剤に関するデータを同時並行的に特定、取得することができる。
【００６１】
以上のように、本実施形態３においては、薬剤師１０の手１０ａ及びその周辺の距離画像に基づいて薬剤師１０の手１０ａが接近又は侵入した収容部２ａを特定した後（例えば約０．５〜２秒内などの所定時間内に）、薬剤師１０の手１０ａ、載置籠３及びその周辺の距離画像に基づいて薬剤師１０の手１０ａが載置籠３内又はその近傍領域３ｃに接近又は侵入したことを検出したとき、制御部３１が、前記の薬剤師１０の手１０ａが接近又は侵入した収容部２ａに対応する薬剤に関するデータを、薬剤師１０が前記収容棚１中の収容部２ａから薬剤を取り出して載置籠３に入れ置いた薬剤に関するデータとして取得するようにしたので、薬剤師１０が調剤等のためにピッキングした薬剤を、患者等の待ち時間を増加させないままで且つ簡単な構成だけで低コストに、特定することができるようになる。
【００６２】
また、本実施形態３において、さらに、前記の薬剤師１０の手１０ａが載置籠３又はその近傍領域３ｃに接近又は侵入したことが検出等された場合において、前記検出等の時点より前に（例えば約０．５〜２秒）内に薬剤師１０の手１０ａがいずれかの収容部２に接近又は侵入したことがなく且つ前記検出等の時点より後に薬剤師１０の手１０ａがいずれかの収容部２に接近又は侵入したときは、制御部３１が、前記検出等の時点より後に薬剤師１０の手１０ａが接近又は侵入した収容部２ａに対応する薬剤に関するデータを、薬剤師１０が載置籠３から取り出して収容部２ａに戻した薬剤に関するデータとして取得するようにしたので、薬剤ピッキングの検査（調剤ミスの検査）や調剤ミスの原因究明などをより高精度に行えるようになる。
【００６３】
また、本実施形態３においては、薬剤師１０が或る薬剤を載置籠３から取り出して例えば収容部２ａに戻そうとしてその収容部２ａに手を接近させたとき、それまでに取得されていた当該の薬剤師１０が手１０ａを接近又は侵入させた１つ又は複数の収容部２及びその収容部２から取り出して載置籠３に入れ置いた一つ又は複数の薬剤の識別データと、当該薬剤師１０が前記載置籠３から取り出した薬剤をこれから戻そうとして手１０ａを接近させた前記の収容部２ａ及びその中にあるべき薬剤の識別データとを比較して双方が互いに一致していないときは、所定の警告を画面や音または光などで出力するようにしたので、薬剤師１０がピッキング間違いに気が付いて収容部に戻そうとして載置籠３から取り出した薬剤を間違った収容部に戻してしまうことを、有効に防止することができる。なお、このような比較及び警告は、本実施形態３だけでなく上記実施形態１，２においても同様に適用可能である。
【００６４】
以上、本発明の各実施形態について説明したが、本発明は前記の実施形態１として述べたものに限定されるものではなく、様々な修正及び変更が可能である。例えば、前記実施形態１，２においては、距離画像取得手段として、Ｋｉｎｅｃｔ（登録商標）に備えられている赤外線プロジェクタ及び赤外線カメラを使用するようにしたが、本発明ではこれに限られるものではなく、例えば「Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ」方式による距離画像センサを使用するようにしてもよい。
【００６５】
また、前記実施形態１，２に係る図２，７では、一台の収容棚１中の各収容部２から薬剤をピッキングする例を示したが、本発明は複数台の収容棚を並べて置いた場合にも対応できるものであり、複数台の収容棚が並べられたものに本発明を適用した場合でも、それらの複数の収容棚中の各収容部は、「複数の収容棚の中のどの収容棚に含まれるものか」に拘わらずそれぞれの３次元位置に基づいて、作業者の手が伸びてピッキングされた収容部かどうかなどが判断（特定）される。
【００６６】
また、前記実施形態１，２においては、制御部１１は、可視光カメラ６により取得された載置籠３のＲＧＢ画像に基づいて、載置籠３内の薬剤の変化（薬剤の個数又は面積の増減）を判定するようにしたが、本発明はこれに限られるものではなく、例えば、制御部１１は、「図１，６などの距離画像センサ７に含まれる赤外線カメラ、又は前記距離画像センサ７の赤外線カメラとは別個に設置された赤外線カメラ」により撮像された載置籠３の赤外線画像に基づいて、載置籠３内の薬剤の変化（薬剤の個数又は面積の増減）を判定するようにしてもよい（この場合、図１，６などの可視光カメラ６は不要となる）。さらに、本発明では、例えば、距離画像センサ７が少なくとも「作業者１０，２０の手１０ａ，２０ａと載置籠３，３ａ，３ｂ」の距離画像を取得するようにし、制御部１１が、距離画像センサ７により取得された載置籠３，３ａ，３ｂの距離画像に基づいて、載置籠３，３ａ，３ｂ内の薬剤の変化（薬剤の個数、面積又は体積の増減）を判定するようにしてもよい（この場合、図１，６などの可視光カメラ６は不要となるので、装置を低コスト化できるなどの効果が得られる）。
【００６７】
また、前記実施形態１においては、本発明に係る薬剤師がピッキングしようとしている薬剤の関連情報をディスプレイに表示するための構成（図５など参照）を、「載置籠３，３ａ，３ｂ内の薬剤の変化（薬剤の個数、面積又は体積の増減）の判定、及び、薬剤師等により収容部からピッキングされた薬剤の特定」と関連付けて実施するようにしているが、本発明はこれに限られるもではなく、例えば、「載置籠３，３ａ，３ｂ内の薬剤の変化（薬剤の個数、面積又は体積の増減）の判定、及び、薬剤師等により収容部からピッキングされた薬剤の特定」を行わないまま、薬剤師等がこれからピッキングしようとしている（又はピッキング中の）薬剤の関連情報を取得してそれをディスプレイに表示するようにしてもよい。このように、「載置籠３，３ａ，３ｂ内の薬剤の変化（薬剤の個数、面積又は体積の増減）の判定、及び、薬剤師等により収容部からピッキングされた薬剤の特定」を行わないまま、薬剤師等がこれからピッキングしようとしている（又はピッキング中の）薬剤の関連情報をディスプレイに表示するだけでも、薬剤師等による薬剤ピッキング作業を支援する効果を十分に発揮することができる。
【００６８】
また、前記実施形態１においては、各収容部の３次元位置データと各収容部に収容されている薬剤の識別データ（銘柄等）を互いに対応付けて記録する収容部対薬剤データベース１４と、各薬剤の識別データと各薬剤の属性情報（効能、製薬会社名、副作用、又は在庫数などの属性データ）とを互いに対応付けて記録する薬剤関連データベース１５とを互いに別個に構成するようにしている（図１など参照）が、本発明においては、これらを一つのデータベースとして構成するようにしてもよい（すなわち、各収容部の３次元位置データと、各収容部に収容されている薬剤の関連情報（銘柄等の識別データ、及び、効能、製薬会社名、副作用、又は在庫数などの属性データ）とを互いに対応付けて記録しておく一つのデータベースとして構成するようにしてもよい）。
【００６９】
また、前記実施形態１ではディスプレイ５は収容棚１の上にＫｉｎｅｃｔ（登録商標）と一緒に設置する（ボルトや粘着テープなどで固定的に設置する）ようにしている（図１参照）が、本発明におけるディスプレイはこれに限られるものではなく、例えばスマートフォンやタブレット端末などに備えられたディスプレイのように、薬剤師等が携帯して又は身体装着して使用する携帯型端末又は腕時計型などのウェアラブル型端末に備えられたディスプレイであってもよい。
【００７０】
さらに、前記実施形態２に関する図７では図示していないが、本発明においては、前記実施形態２のように複数の薬剤師が同時並行的に薬剤ピッキング作業を行う場合は、各薬剤師毎に別々のディスプレイ５を備えるようにして、各薬剤師のピッキング作業に即して各人がこれからピッキングしようとしている又はピッキング中の収容部に収容された薬剤の関連情報を各人別のディスプレイ５（例えば前述の各薬剤師等が携帯して又は身体装着して使用する携帯型端末又はウェアラブル型端末に備えられたディスプレイ）に表示させるようにすることも可能である。
【符号の説明】
【００７１】
１     収容棚
２，２ａ，２ｂ 収納部
３，３ａ，３ｂ 載置籠
５     ディスプレイ
６     可視光カメラ
７     距離画像センサ
１０，２０    薬剤師
１０ａ，２０ａ 薬剤師の手
１１，３１    制御部
１２   籠画像蓄積部
１３   手位置データ蓄積部
１４   収納部対薬剤データベース
１５   薬剤関連データベース
２１，２２，２３     ＰＴＰシート
２４   容器対作業者記録部
３２   籠位置追跡部
３３   手位置追跡部
【図１】
2015013089.tif 000003
【図２】
2015013089.tif 000004
【図３】
2015013089.tif 000005
【図４】
2015013089.tif 000006
【図５】
2015013089.tif 000007
【図６】
2015013089.tif 000008
【図７】
2015013089.tif 000009
【図８】
2015013089.tif 000010
【図９】
2015013089.tif 000011