(57)【要約】  デジタル画像内の各錠剤の大きさ及び形を決定することにより、錠剤を識別するシステム及び方法。システムは、交互に着色された形状のグリッドとして構成された背景グリッドを含む。システムは、また、デジタルカメラ、プロセッサ、及びメモリを含む。プロセッサは、画像内の各錠剤の輪郭を決定するために、デジタルカメラによって撮影されるデジタル画像を受信し処理するのに使用される。輪郭の決定は精密化され、各錠剤についての大きさ及び形の情報を決定するのに使用される。
2015523561.tif 000002
【特許請求の範囲】
【請求項１】
１つ以上の錠剤の輪郭を識別する方法であって、
交互に着色された形状のグリッドとして構成された背景グリッド上にある１つ以上の錠剤を表すデジタル画像を受信するステップと、
交互に着色された形状のグリッドを使用して、撮像された錠剤の輪郭の最初の推定を決定するステップと、
各輪郭は錠剤部分を囲み、
輪郭の最初の推定において多数の錠剤を囲む輪郭を、単一の錠剤のみを囲む個々の輪郭に分離することにより、第１の精密な輪郭推定を生成するステップと、
輪郭の最初の推定において単一の錠剤を表す錠剤部分を、多数の錠剤部分により表される錠剤の単一輪郭に結合することにより、第２の精密な輪郭推定を生成するステップと、
第１及び第２の精密な輪郭推定を結合して、改良された輪郭の推定を生成するステップと、
を含む方法。
【請求項２】
前記デジタル画像を受信するステップは、互いに不規則に配置された錠剤を含むデジタル画像を受信することをさらに含む、請求項１に記載の方法。
【請求項３】
前記デジタル画像を受信するステップは、２色の背景を使用することをさらに含む、請求項１に記載の方法。
【請求項４】
前記デジタル画像を受信するステップは、３色の背景を使用することをさらに含む、請求項１に記載の方法。
【請求項５】
前記デジタル画像を受信するステップは、少なくとも４色の背景を使用することをさらに含む、請求項１に記載の方法。
【請求項６】
前記交互に着色された形状のグリッドを使用して輪郭の最初の推定を決定するステップは、エッジ濃度に基づくアプローチを使用して、輪郭の最初の推定を決定することをさらに含む、請求項１に記載の方法。
【請求項７】
前記エッジ濃度に基づくアプローチは、
デジタル画像内のエッジを探すステップと、
エッジを隣接するエッジにつなぎ合わせて、背景グリッド内のエッジを取り除くステップと、
隣接するエッジをつなぎ合わした後に残ったエッジから、前記輪郭の最初の推定を決定するステップと、
を含む、請求項６に記載の方法。
【請求項８】
交互に着色された形状のグリッドを使用して、追加の錠剤部分を前記輪郭の最初の推定により囲まれる錠剤部分に追加する精密な二値画像を生成するステップをさらに含み、
前記第１の精密な輪郭推定を生成するステップは、精密な二値画像内の多数の錠剤を囲む輪郭を、単一の錠剤のみを囲む個々の輪郭に分離することにより、実行され、
前記第２の精密な輪郭推定を生成するステップは、輪郭の最初の推定において単一の錠剤を表す錠剤部分を、多数の錠剤部分により表される錠剤の単一輪郭に結合することにより、実行される、
請求項１に記載の方法。
【請求項９】
前記交互に着色された形状のグリッドを使用して精密な二値画像を生成するステップは、
デジタル画像内の第１色の有無を表す第１色の二値画像をデジタル画像から決定し、
前記第１色は背景グリッド内の色の一つであり、
デジタル画像内の第２色の有無を表す第２色の二値画像をデジタル画像から決定し、
前記第２色は背景グリッド内の色の一つであり、
第１色及び第２色の二値画像において第１色及び第２色の存在をそれぞれ表す、第１色及び第２色の二値画像内の領域を膨張させることにより、第１色及び第２色の二値画像を変更し、
変更された第１色及び第２色の二値画像を交差して、多色の背景画像を生成し、
多色の背景画像を輪郭の最初の推定に結合して、前記精密な二値画像を生成すること、
をさらに含む、請求項８に記載の方法。
【請求項１０】
前記第１の精密な輪郭推定を生成するステップは、
精密な二値画像内の各輪郭を多角形で近似するステップと、
連続的な多角形の線分が所定の最大角より小さい角度で接続されているピンチポイントを決定するステップと、
前記角度は頂点を形成し、
決定されたピンチポイントの第１の所定の最大距離内に、各多角形を除いて、輪郭線が存在しないことを決定することにより、ピンチポイントを検証するステップと、
互いからの第２の所定の最大距離より小さく且つ頂点が互いの方向に向いているピンチポイントのペアを決定するステップと、
ピンチポイントの各ペア間に線分状のエッジを挿入するステップと、
エッジがピンチポイントのペア間に挿入された後、精密な二値画像の輪郭を再決定するステップと、
をさらに含み、
前記第１の精密な輪郭推定は再決定された輪郭で構成される、
請求項８に記載の方法。
【請求項１１】
前記所定の最大角は１００度より小さい、請求項１０に記載の方法。
【請求項１２】
前記第１の所定の最大距離は、決定された各ピンチポイントから、決定された各ピンチポイントの側に位置する連続的な多角形線分の遠隔終点間に伸びる線分の中点までの距離である、請求項１０に記載の方法。
【請求項１３】
前記第２の所定の最大距離は５ｍｍである、請求項１０に記載の方法。
【請求項１４】
前記ピンチポイントのペアを決定するステップは、各頂点をベクトルとして表し、ピンチポイントのペアの候補の頂点を接続する第３のベクトルを決定し、頂点ベクトル間のコサインが−０．８より小さく且つ頂点を接続するベクトルと頂点ベクトルのうちの一つの間のコサインが−０．８より小さいかどうかを決定することにより、ピンチポイントの頂点が互いの方向に向いているかどうかを決定することを含む、請求項１０に記載の方法。
【請求項１５】
前記第２の精密な輪郭推定を生成するステップは、
精密な二値画像において、単一の錠剤を表す可能性がある錠剤部分の組み合わせを識別するステップと、
識別された各錠剤部分の組み合わせの凸包を探しだすステップと、
凸包を分析して、錠剤部分のどの組み合わせが単一の錠剤を表しそうかを決定するステップと、
単一の錠剤を表しそうな錠剤部分の各組み合わせについて、凸包への内部の輪郭を取り除いて、凸包を新しい輪郭に置き換えるステップと、
をさらに含み、
前記第２の精密な輪郭推定は新しい輪郭で構成される、
請求項８に記載の方法。
【請求項１６】
前記凸包を分析するステップは、凸包の大きさ及び形を既知の錠剤の大きさ及び形と比較することを含む、請求項１５に記載の方法。
【請求項１７】
デジタル画像内の錠剤の輪郭を決定する方法であって、
少なくとも２色の正方形の交互パターンに構成された背景グリッド上にある１つ以上の錠剤を表すデジタル画像を受信するステップと、
交互に着色された正方形のグリッドを使用して、撮像された錠剤の輪郭の最初の推定を決定するステップと、
各輪郭は錠剤部分を囲み、
交互に着色された正方形のグリッドを使用して、追加の錠剤部分を前記輪郭の最初の推定により囲まれる錠剤部分に追加する精密な二値画像を生成するステップと、
精密な二値画像内の単一の錠剤を表す錠剤部分を、多数の錠剤部分により表される錠剤の単一の輪郭に結合させることにより、第１の改良された輪郭の推定を生成するステップと、
を含む方法。
【請求項１８】
前記交互に着色された正方形のグリッドを使用して輪郭の最初の推定を決定するステップは、
デジタル画像内のエッジを探すステップと、
エッジを隣接するエッジにつなぎ合わせて、背景グリッド内のエッジを取り除くステップと、
隣接するエッジをつなぎ合わした後に残ったエッジから、前記輪郭の最初の推定を決定するステップと、
をさらに含む、請求項１７に記載の方法。
【請求項１９】
交互に着色された正方形のグリッドを使用して精密な二値画像を生成するステップは、
デジタル画像内の第１色の有無を表す第１色の二値画像をデジタル画像から決定し、
前記第１色は背景グリッド内の色の一つであり、
デジタル画像内の第２色の有無を表す第２色の二値画像をデジタル画像から決定し、
前記第２色は背景グリッド内の色の一つであり、
第１色及び第２色の二値画像内の第１色及び第２色の存在をそれぞれ表す、第１色及び第２色の二値画像内の領域を膨張させることにより、第１色及び第２色の二値画像を変更し、
変更された第１色及び第２色の二値画像を交差して、多色の背景画像を生成し、
多色の背景画像を輪郭の最初の推定に結合して、前記精密な二値画像を生成すること、
をさらに含む、請求項１７に記載の方法。
【請求項２０】
前記改良された輪郭の推定を生成するステップは、
精密な二値画像において、単一の錠剤を表す可能性がある錠剤部分の組み合わせを識別するステップと、
識別された各錠剤部分の組み合わせの凸包を探しだすステップと、
凸包を分析して、錠剤部分のどの組み合わせが単一の錠剤を表しそうかを決定するステップと、
単一の錠剤を表しそうな錠剤部分の各組み合わせについて、凸包への内部の輪郭を取り除いて、凸包を新しい輪郭に置き換えるステップと、
さらに含み、
前記第１の改良された輪郭の推定は新しい輪郭で構成される、
請求項１７に記載の方法。
【請求項２１】
精密な二値画像内の多数の錠剤を囲む輪郭を単一の錠剤のみを囲む個々の輪郭に分離することにより、第２の改良された輪郭の推定を生成するステップと、
第１及び第２の改良された輪郭の推定を結合して、結合され改良された輪郭の推定を生成するステップと、
をさらに含む、請求項１７に記載の方法。
【請求項２２】
前記第１の精密な輪郭推定を生成するステップは、
精密な二値画像内の各輪郭を多角形で近似するステップと、
連続的な多角形の線分が所定の最大角より小さい角度で接続されているピンチポイントを決定するステップと、
前記角度は頂点を形成し、
決定されたピンチポイントの第１の所定の最大距離内に、多角形を除いて、輪郭線が存在しないことを決定することにより、ピンチポイントを検証するステップと、
互いからの第２の所定の最大距離より小さく且つ頂点が互いの方向に向いているピンチポイントのペアを決定するステップと、
ピンチポイントの各ペア間に線分状のエッジを挿入するステップと、
エッジがピンチポイントのペア間に挿入された後、精密な二値画像の輪郭を再決定するステップと、
をさらに含み、
前記第２の改良された輪郭推定は再決定された輪郭で構成される、
請求項２１に記載の方法。
【請求項２３】
前記第１の所定の最大距離は、決定された各ピンチポイントから、決定された各ピンチポイントの側に位置する連続的な多角形線分の遠隔終点間に伸びる線分の中点までの距離である、請求項２２に記載の方法。
【請求項２４】
携帯装置を使用して、１つ以上の錠剤の大きさ及び形を識別する方法であって、
携帯装置を使用して、１つ以上の錠剤のデジタル画像を背景グリッド上に生成するステップと、
前記背景グリッドは交互に着色された形状のグリッドとして構成されていて、
交互に着色された形状のグリッドを使用して、撮像された錠剤の輪郭の最初の推定を決定するステップと、
各輪郭は錠剤部分を囲み、
交互に着色された形状のグリッドを使用して、追加の錠剤部分を前記輪郭の最初の推定により囲まれる錠剤部分に追加する精密な二値画像を生成するステップと、
精密な二値画像内の多数の錠剤を囲む輪郭を、単一の錠剤のみを囲む個々の輪郭に分離することにより、第１の精密な輪郭推定を生成するステップと、
精密な二値画像内の単一の錠剤を表す錠剤部分を、多数の錠剤部分により表される錠剤の単一輪郭に結合することにより、第２の精密な輪郭推定を生成するステップと、
第１及び第２の精密な輪郭推定を結合して、改良された輪郭の推定を生成するステップと、
改良された輪郭の推定における輪郭の対応する大きさ及び形に基づいて、デジタル画像内の各錠剤の大きさ及び形を決定するステップと、
を含む方法。
【請求項２５】
携帯装置を使用してデジタル画像を生成するステップは、背景グリッド上のターゲットを使用して背景グリッドを並べることにより、デジタル画像を生成することを含む、請求項２４に記載の方法。
【請求項２６】
交互に着色された形状のグリッドを使用して輪郭の最初の推定を決定するステップは、エッジ濃度に基づくアプローチを使用して、輪郭の最初の推定を決定することをさらに含む、請求項２４に記載の方法。
【請求項２７】
前記エッジ濃度に基づくアプローチは、
デジタル画像内のエッジを探すステップと、
エッジを隣接するエッジにつなぎ合わせて、背景グリッド内のエッジを取り除くステップと、
隣接するエッジをつなぎ合わした後に残ったエッジから、前記輪郭の最初の推定を決定するステップと、
を含む、請求項２６に記載の方法。
【請求項２８】
前記交互に着色された形状のグリッドを使用して精密な二値画像を生成するステップは、
デジタル画像内の第１色の有無を表す第１色の二値画像をデジタル画像から決定し、
前記第１色は背景グリッド内の色の一つであり、
デジタル画像内の第２色の有無を表す第２色の二値画像をデジタル画像から決定し、
前記第２色は背景グリッド内の色の一つであり、
第１色及び第２色の二値画像において第１色及び第２色の存在をそれぞれ表す、第１色及び第２色の二値画像内の領域を膨張させることにより、第１色及び第２色の二値画像を変更し、
変更された第１色及び第２色の二値画像を交差して、多色の背景画像を生成し、
多色の背景画像を輪郭の最初の推定に結合して、前記精密な二値画像を生成すること、
をさらに含む、請求項２４に記載の方法。
【請求項２９】
前記第１の精密な輪郭推定を生成するステップは、
精密な二値画像内の各輪郭を多角形で近似するステップと、
連続的な多角形の線分が所定の最大角より小さい角度で接続されているピンチポイントを決定するステップと、
前記角度は頂点を形成し、
決定されたピンチポイントの第１の所定の最大距離内に、各多角形を除いて、輪郭線が存在しないことを決定することにより、ピンチポイントを検証するステップと、
互いからの第２の所定の最大距離より小さく且つ頂点が互いの方向に向いているピンチポイントのペアを決定するステップと、
ピンチポイントの各ペア間に線分状のエッジを挿入するステップと、
エッジがピンチポイントのペア間に挿入された後、精密な二値画像の輪郭を再決定するステップと、
をさらに含み、
第１の精密な輪郭推定は再決定された輪郭で構成される、
請求項２４に記載の方法。
【請求項３０】
第２の精密な輪郭推定を生成するステップは、
精密な二値画像において、単一の錠剤を表す可能性がある錠剤部分の組み合わせを識別するステップと、
識別された各錠剤部分の組み合わせの凸包を探しだすステップと、
凸包を分析して、錠剤部分のどの組み合わせが単一の錠剤を表しそうかを決定するステップと、
単一の錠剤を表しそうな錠剤部分の各組み合わせについて、凸包への内部の輪郭を取り除いて、凸包を新しい輪郭に置き換えるステップと、
をさらに含み、
前記第２の精密な輪郭推定は新しい輪郭で構成される、
請求項２４に記載の方法。
【請求項３１】
前記凸包を分析するステップは、凸包の大きさ及び形を既知の錠剤の大きさ及び形と比較することを含む、請求項３０に記載の方法。
【請求項３２】
各錠剤の決定された大きさ及び形を使用して、デジタル画像内の各錠剤のアイデンティティを決定することをさらに含む、請求項２４に記載の方法。
【請求項３３】
各錠剤のカラースキーム、切り込み及び印のパターンのうちの少なくとも１つが、各錠剤の決定された大きさ及び形と共に使用されて、各錠剤のアイデンティティを決定する、請求項３２に記載の方法。
【請求項３４】
デジタル画像内の各錠剤のアイデンティティを携帯装置に表示することをさらに含む、請求項３２に記載の方法。
【請求項３５】
錠剤の輪郭を識別するシステムであって、
交互に着色された形状のグリッドとして構成された背景グリッドと、
デジタルカメラと、
前記デジタルカメラから背景グリッド上にある１つ以上の錠剤を表すデジタル画像を受信し、前記デジタル画像内の各錠剤の輪郭を識別するために前記デジタル画像を処理する、プロセッサと、
識別された輪郭を格納するメモリと、
を有するシステム。
【請求項３６】
前記背景グリッドは少なくとも２色の背景を含む、請求項３５に記載のシステム。
【請求項３７】
撮像された錠剤の輪郭の最初の推定を決定する、最初の輪郭推定モジュールと、
各輪郭は錠剤部分を囲み、
背景グリッドを使用して、追加の錠剤部分を前記輪郭の最初の推定により囲まれる錠剤部分に追加する精密な二値画像を生成する、錠剤部分追加モジュールと、
精密な二値画像内の多数の錠剤を囲む輪郭を、単一の錠剤のみを囲む個々の輪郭に分離することにより、第１の精密な輪郭推定を生成する、ピンチポイントモジュールと、
精密な二値画像内の単一の錠剤を表す錠剤部分を、多数の錠剤部分により表される錠剤の単一輪郭に結合することにより、第２の精密な輪郭推定を生成する、錠剤ステッチモジュールと、
第１及び第２の精密な輪郭推定を結合して、改良された輪郭の推定を生成する、最後の輪郭推定モジュールと、
をさらに有する、請求項３５に記載のシステム。
【請求項３８】
前記最初の輪郭推定モジュールは、エッジ濃度に基づくアプローチを使用して、輪郭の最初の推定を決定するように構成される、請求項３７に記載のシステム。
【請求項３９】
前記最初の輪郭推定モジュールは、
デジタル画像内のエッジを探し、
エッジを隣接するエッジにつなぎ合わせて、背景グリッド内のエッジを取り除き、
隣接するエッジをつなぎ合わした後に残ったエッジから、前記輪郭の最初の推定を決定することにより、
輪郭の最初の推定を決定する、請求項３７に記載のシステム。
【請求項４０】
前記錠剤部分追加モジュールは、
デジタル画像内の第１色の有無を表す第１色の二値画像をデジタル画像から決定する、第１色の二値画像モジュールと、
前記第１色は背景グリッド内の色の一つであり、
デジタル画像内の第２色の有無を表す第２色の二値画像をデジタル画像から決定する、第２色の二値画像モジュールと、
前記第２色は背景グリッド内の色の一つであり、
変更された第１色及び第２色の二値画像を交差して、多色の背景画像を生成する、交差モジュールと、
多色の背景画像を輪郭の最初の推定に結合して、前記精密な二値画像を生成する、結合モジュールと、
を含む、請求項３７に記載のシステム。
【請求項４１】
前記ピンチポイントモジュールは、
精密な二値画像内の各輪郭を多角形で近似し、
連続的な多角形の線分が所定の最大角より小さい角度で接続されているピンチポイントを決定し、
前記角度は頂点を形成し、
決定されたピンチポイントの第１の所定の最大距離内に、各多角形を除いて、輪郭線が存在しないことを決定することにより、ピンチポイントを検証し、
互いからの第２の所定の最大距離より小さく且つ頂点が互いの方向に向いているピンチポイントのペアを決定し、
ピンチポイントの各ペア間に線分状のエッジを挿入し、
エッジがピンチポイントのペア間に挿入された後、精密な二値画像の輪郭を再決定することにより、
第１の精密な輪郭推定を生成し、
前記第１の精密な輪郭推定は再決定された輪郭で構成される、
請求項３７に記載のシステム。
【請求項４２】
前記錠剤ステッチモジュールは、
精密な二値画像において、単一の錠剤を表す可能性がある錠剤部分の組み合わせを識別し、
識別された各錠剤部分の組み合わせの凸包を探しだし、
凸包を分析して、錠剤部分のどの組み合わせが単一の錠剤を表しそうかを決定し
単一の錠剤を表しそうな錠剤部分の各組み合わせについて、凸包への内部の輪郭を取り除いて、凸包を新しい輪郭に置き換えることにより、
第２の精密な輪郭推定を生成し、
前記第２の精密な輪郭推定は新しい輪郭で構成される、
請求項３７に記載のシステム。
【請求項４３】
デジタルカメラと、
前記デジタルカメラから、交互に着色された形状のグリッドとして構成された背景グリッド上にある１つ以上の錠剤を表すデジタル画像を受信し、前記デジタル画像内の各錠剤を識別するために前記デジタル画像を処理する、プロセッサと、
各錠剤のアイデンティティを格納するメモリと、
を有する、錠剤を識別するための携帯装置。
【請求項４４】
携帯装置のユーザに対して各錠剤のアイデンティティを表示するためのユーザインターフェースをさらに有する、請求項４３に記載の携帯装置。
【請求項４５】
各錠剤のアイデンティティを遠隔地に送信するための送信機をさらに有する、請求項４３に記載の携帯装置。
【請求項４６】
前記背景グリッドは少なくとも２色の背景を含む、請求項４３に記載の携帯装置。
【請求項４７】
撮像された錠剤の輪郭の最初の推定を決定する、最初の輪郭推定モジュールと、
各輪郭は錠剤部分を囲み、
背景グリッドを使用して、追加の錠剤部分を前記輪郭の最初の推定により囲まれる錠剤部分に追加する精密な二値画像を生成する、錠剤部分追加モジュールと、
精密な二値画像内の多数の錠剤を囲む輪郭を、単一の錠剤のみを囲む個々の輪郭に分離することにより、第１の精密な輪郭推定を生成する、ピンチポイントモジュールと、
精密な二値画像内の単一の錠剤を表す錠剤部分を、多数の錠剤部分により表される錠剤の単一輪郭に結合することにより、第２の精密な輪郭推定を生成する、錠剤ステッチモジュールと、
第１及び第２の精密な輪郭推定を結合して、改良された輪郭の推定を生成する、最後の輪郭推定モジュールと、
改良された輪郭推定における輪郭を使用して、デジタル画像内の各錠剤を識別する錠剤識別モジュールと、
をさらに有する、請求項４３に記載の携帯装置。
【請求項４８】
前記最初の輪郭推定モジュールは、エッジ濃度に基づくアプローチを使用して、輪郭の最初の推定を決定するように構成される、請求項４７に記載の携帯装置。
【請求項４９】
前記最初の輪郭推定モジュールは、
デジタル画像内のエッジを探し、
エッジを隣接するエッジにつなぎ合わせて、背景グリッド内のエッジを取り除き、
隣接するエッジをつなぎ合わした後に残ったエッジから、前記輪郭の最初の推定を決定することにより、
輪郭の最初の推定を決定する、請求項４７に記載の携帯装置。
【請求項５０】
前記錠剤部分追加モジュールは、
デジタル画像内の第１色の有無を表す第１色の二値画像をデジタル画像から決定する、第１色の二値画像モジュールと、
前記第１色は背景グリッド内の色の一つであり、
デジタル画像内の第２色の有無を表す第２色の二値画像をデジタル画像から決定する、第２色の二値画像モジュールと、
前記第２色は背景グリッド内の色の一つであり、
変更された第１色及び第２色の二値画像を交差して、多色の背景画像を生成する、交差モジュールと、
多色の背景画像を輪郭の最初の推定に結合して、前記精密な二値画像を生成する、結合モジュールと、
を含む、請求項４７に記載の携帯装置。
【請求項５１】
前記ピンチポイントモジュールは、
精密な二値画像内の各輪郭を多角形で近似し、
連続的な多角形の線分が所定の最大角より小さい角度で接続されているピンチポイントを決定し、
前記角度は頂点を形成し、
決定されたピンチポイントの第１の所定の最大距離内に、各多角形を除いて、輪郭線が存在しないことを決定することにより、ピンチポイントを検証し、
互いからの第２の所定の最大距離より小さく且つ頂点が互いの方向に向いているピンチポイントのペアを決定し、
ピンチポイントの各ペア間に線分状のエッジを挿入し、
エッジがピンチポイントのペア間に挿入された後、精密な二値画像の輪郭を再決定することにより、
第１の精密な輪郭推定を生成し、
前記第１の精密な輪郭推定は再決定された輪郭で構成される、
請求項４７に記載の携帯装置。
【請求項５２】
前記錠剤ステッチモジュールは、
精密な二値画像において、単一の錠剤を表す可能性がある錠剤部分の組み合わせを識別し、
識別された各錠剤部分の組み合わせの凸包を探しだし、
凸包を分析して、錠剤部分のどの組み合わせが単一の錠剤を表しそうかを決定し
単一の錠剤を表しそうな錠剤部分の各組み合わせについて、凸包への内部の輪郭を取り除いて、凸包を新しい輪郭に置き換えることにより、
第２の精密な輪郭推定を生成し、
前記第２の精密な輪郭推定は新しい輪郭で構成される、
請求項４７に記載の携帯装置。
【請求項５３】
前記錠剤識別モジュールは、改良された輪郭推定の輪郭を使用して、各錠剤の大きさ及び形を決定する、請求項４７に記載の携帯装置。
【請求項５４】
前記錠剤識別モジュールは、さらに、各錠剤のカラースキーム、切り込み及び印のパターンのうちの少なくとも１つを各錠剤の決定された大きさ及び形と共に使用して、各錠剤のアイデンティティを決定する、請求項５３に記載の携帯装置。
【発明の詳細な説明】
【技術分野】
【０００１】
開示された実施形態は、錠剤を識別するためのデジタル画像処理に関し、特に各錠剤の識別を容易にするために、デジタル画像内の各錠剤の輪郭を決定することに関する。
【背景技術】
【０００２】
多数の形、大きさ、及び色の錠剤が、処方薬及び非処方薬として市販されている。米国では、固体製剤の薬剤の物質的識別子は、連邦医薬品局（Federal Drug Administration）により、承認される。理想的には、全く同一の識別子を持つものとして承認される錠剤は一つもない。それ故、錠剤はそれぞれ、形、大きさ、色、印（すなわち、薬剤に印刷された文字又は数字）、及び／又は切り込み（scoring）の唯一の組み合わせを持つものとして承認される。それにもかかわらず、ＦＤＡに承認されたあらゆる種類の錠剤は、実際に唯一となるようにしているという事実にもかかわらず、時に錠剤の違いはわずかである。例えば、形は同じであるがわずかに色及び／又は大きさが異なる２つの錠剤は、患者に間違えられやすい。普段、印により区別される錠剤は、その錠剤が回転していて印が見えない場合、少しも異なっているように見えないかもしれない。このような懸念は、十分に首尾一貫していない又は用心深くない患者の行動により、悪化する。
【０００３】
患者は、すぐに且つ簡単に錠剤を識別する必要がある人だけではない。患者の親族又は介護者がそのような必要性を持っている場合もある。そのような必要性は、患者に正しい錠剤を提供する責任から生じるかもしれない、又は単に患者が正しい錠剤を飲んだことを確かめたいという要望から生じるかもしれない。病院は、薬剤の誤飲で運び込まれた子供が服用した可能性のある錠剤群の各々を素早く識別する必要性を持っているかもしれない。薬局は、正しい錠剤が調剤されることを確実にすることに関心を持つ。保険会社は薬剤の順守を監視し、正しい錠剤が調剤されて、被保険者が規則通りにその正しい錠剤を飲むことを確実にすることに関心を持っているかもしれない。言い換えると、多数の関係者は、錠剤が個別に識別されるか又はさまざまな錠剤の集まりとして識別されるかにかかわらず、錠剤のアイデンティティを確認することに関心を持っている。
【０００４】
錠剤は、さまざまな写真処理方法及び画像処理方法を使用して識別されうる。例えば、１個の錠剤又は複数の錠剤の集まりのデジタル画像が撮影され、それから画像処理方法が用いられて、画像内に錠剤がいくつあるかと画像内の錠剤の位置及び境界が決定され、画像内のピクセルを識別のための錠剤候補に割り当てられる。この区分け（segmentation）の工程により、理想的には、画像内の各ピクセルは、明確に定義された正確な境界を持つ錠剤に割り当てられるか、又はいずれの錠剤にも属さないとして無視されることになる。ピクセルが一旦割り当てられると、所定の錠剤のために集められたピクセルが分析されて、錠剤の特性（例えば、その大きさ、形、及び色）が決定されうる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、現在の写真錠剤識別方法には問題がある。具体的には、現在の区分けの方法は、多数の錠剤を囲む単一の輪郭をもたらす。時に、錠剤の輪郭は、錠剤の全体ではなく、錠剤の一部のみを囲むことになる。錠剤の輪郭は、後述するように、変形している、粗い、又は“内側にかまれている（chewed in）”可能性がある。これらの区分けの誤りにより、ピクセルが間違った錠剤に割り当てられ、撮像された錠剤の大きさ及び形に関し誤った結果をもたらす。
【０００６】
よって、写真錠剤識別の改良された方法及びシステムが必要である。
【図面の簡単な説明】
【０００７】
【図１】本開示における錠剤の区分け及び識別のための背景を示す。
【図２】本開示における識別される錠剤の画像を示す。
【図３】本開示におけるエッジ濃度に基づく区分け方法を示す。
【図４】本開示におけるエッジ濃度の画像を示す。
【図５】本開示における処理後のエッジ濃度の画像を示す。
【図６】本開示における輪郭画像を示す。
【図７Ａ】本開示における“内側にかまれている”錠剤輪郭の決定を示す。
【図７Ｂ】本開示における“内側にかまれている”錠剤輪郭の決定を示す。
【図７Ｃ】本開示における“内側にかまれている”錠剤輪郭の決定を示す。
【図７Ｄ】本開示における“内側にかまれている”錠剤輪郭の決定を示す。
【図８】本開示における多色に基づく区分け方法を示す。
【図９】本開示における第１色の二値画像を示す。
【図１０】本開示における第２色の二値画像を示す。
【図１１】本開示における多色の背景画像を示す。
【図１２】本開示における解像された二値画像を示す。
【図１３Ａ】本開示におけるピンチポイント方法を示す。
【図１３Ｂ】本開示におけるピンチポイント方法を示す。
【図１３Ｃ】本開示におけるピンチポイント方法を示す。
【図１４】本開示における錠剤部分ステッチ方法を示す。
【図１５】本開示における錠剤識別方法を示す。
【図１６】本開示における錠剤を識別する携帯装置システムを示す。
【発明を実施するための形態】
【０００８】
下記の詳細な説明において、添付の図面（これの一部を形成し、実行される具体的な実施形態が例として示されている。）が参照される。全図面中、同様の参照符号は同様の要素を示すことは当然である。実施形態は、当業者が実施できるように十分詳細に記載されている。当然、他の実施形態が採用されても良く、種々の構造的、論理的、及び電気的な変更が、本発明の精神と範囲から逸脱することなく行われても良い。
【０００９】
区分け（segmentation）を使用したデジタル画像錠剤識別により得られる結果を改良するために、区分けの改良されたシステム及び方法について以下に説明する。以下に説明する実施形態は、特定の背景を使用して、より良いピクセルの区分けを容易にすることを含む。さらに、種々の画像処理ステップが開示される。開示される画像処理ステップは、多色に基づく区分けの方法、エッジ濃度及び多色に基づく区分けの情報の組み合わせ方法、接触している錠剤を分離する“ピンチポイント（pinch point）”方法、及びマルチセグメントの錠剤の一部を単一の錠剤に結合する“錠剤部分ステッチ（pill part stitching）”方法を含む。明らかであるように、開示されたステップは、様々な順番で実行されても良い。さらに、開示されたステップは、ハードウェア、ソフトウェア、又はそれらの組み合わせにより実施されても良い。
【００１０】
錠剤識別のためのデジタル画像の区分けの開示された改良システムにおいて、錠剤は背景に対して撮像される。好ましくは、背景は、多色の格子状（checkerboard）の背景である。格子状の背景は、密集し狭い間隔のマトリックス状の正方形（squares）を含む。一実施形態において、背景は４色の格子であって、青、緑、白、及び黄の正方形の２×２組を含む。当然、他の色が使用されても良い。図１は、格子状パターンの背景１００の例を示している。図１の例において、背景１００は４つの異なる色を含み、全ての２×２セクションは各色の１つの正方形１１０を含む。それ故、各２×２セクションは、第１色Ｃ１の正方形１１０、第２色Ｃ２の正方形１１０、第３色Ｃ３の正方形１１０、第４色Ｃ４の正方形１１０を含む。例えば、色Ｃ１は青、色Ｃ２は緑、色Ｃ３は白、色Ｃ４は黄である。図１の例において、各正方形１１０の大きさは７２ｄｐｉ（dots per inch）ピクセルである。
【００１１】
高密度の着色された格子状パターンを使用する理由は、撮像された錠剤とその背景のコントラストを生成するためである。例えば、格子状の背景は、錠剤のエッジ濃度と比較して、高いエッジ濃度を持つ。説明した例では、２×２の正方形のサブグリッドは、（２／７２）^２平方インチの領域と１２／７２インチのエッジを持つ。錠剤はこの種のエッジ濃度の近くには何も持たないため、説明した背景は、さらに後述するように、エッジに基づく区分けに使用することができる。さらに、多色の背景が、いろんな種類の色の錠剤のためのコントラストを提供するのに有用である。錠剤は非常に多くの色で提供されるため、任意の色の無地（solid-colored）の背景を使用すると、その背景と同一色又は近い色の錠剤間の不十分なコントラストの結果をもたらすおそれがある。しかし、背景を多色の適当な寸法のグリッドにさらに分割することにより、錠剤と背景の色の類似度により、通常容易に解像（resolved）できない可能性のある錠剤は、背景のさまざまな色によって解像することができるようになる。当然、グリッドは、錠剤の全体が単一色の正方形の範囲内に収まらないように十分小さい正方形を含まなければならない。それ故、図１の例は特定サイズの正方形を示しているけれども、撮像される錠剤が個々の正方形の寸法よりも十分大きければ、且つ撮像装置（例えば、カメラ）が種々の正方形を解像することができさえすれば、他のサイズが使用されても良い。
【００１２】
図１の背景１００は４色パターンを示しているけれども、各正方形の色が隣接する正方形と異なりさえすれば、異なる数の色（２色のみを含む）を使用して、結果を得ることができる。さらに、背景１００は正方形のマトリックスに限定される必要はない。背景パターン要素の寸法が種々の大きさの錠剤を解像するのに適した大きさでありさえすれば、他の背景パターン（例えば、ダイヤモンド）が使用されても良い。
【００１３】
背景の変化が正確に構成され且つ使用されるために、背景は撮像されるときに正確に並べられなければならない。背景の整列を支援するために、背景は、ターゲットを含む。図１の例では、背景１００は４つのターゲット１２０を含む。ターゲット１２０は、背景と区別するために、且つ各ターゲットの位置の正確な決定を可能にするために、特有の形、大きさ、及び色を持つ。例として、ターゲット１２０はそれぞれ、直径９ｍｍの黒縁の黄色の円であり、その中心に直径１．５ｍｍの黒の標的を持ち、その標的の中心に小さい白の点がある。他の大きさ、形、及び色がターゲット１２０に使用されても良い。ターゲットが背景の正確な整列を可能にしさえすれば、ターゲット１２０の数、形、及び色は変えても良い。
【００１４】
１つ以上の錠剤が、背景１００上で撮像されて、識別されうる。背景１００のデザインと適用される画像処理ステップ（後述する）のおかげで、錠剤を背景１００上の任意の特定方向に並べる必要はない。図２の例２００に示されるように、錠剤が背景１００上に無造作に置かれ、互いに接触しているときであっても、錠剤の識別は生じうる。多種類の錠剤２１０を同時に撮像でき、それぞれを識別できる。
【００１５】
錠剤２１０が背景１００上に配置されて撮像されると、画像内のピクセルを区分けするのに様々な方法が用いられて、各錠剤がその特徴により区別される。区分けの第１のステップでは、エッジ濃度に基づく区分けが使用される。エッジ濃度に基づく区分けは、高いエッジ濃度を持つ背景の面（例えば、十分濃い格子又はグリッド）と、比較すると低いエッジ濃度を持つ錠剤との、エッジ濃度の違いに依存する。
【００１６】
図３は、エッジ濃度に基づく区分けのアプローチ３００を示す。第１のステップ３１０では、画像内に存在するエッジを決定する。オリジナルの画像から、エッジは、はっきりしたコントラストの領域を識別することにより、決定できる。エッジ又は境界が、異なる色、光沢などの領域間に存在することを人間の眼がとらえるのと同じように、周知のアルゴリズムが画像処理プロセッサにより使用されて、撮像された異なる特性間の境界が識別され、その境界がエッジとして定義される。いくつかの周知のエッジ検索アルゴリズムは、キャニー（Canny）又は適応閾値アルゴリズムを含む。他のものも使用されても良い。エッジ検出アルゴリズムの結果は、オリジナル画像の修正版となる。修正版は、２値又は２色（一般的に、黒（２値の０）及び白（２値の１））の画像であり、２値の０は背景を示し、２値の１はオリジナル画像内で検出された全てのエッジを示す。例えば、修正画像において、オリジナル画像内で見つかった全てのエッジは、黒の背景に重ね合わされた白の境界として示される。修正画像は、エッジ濃度画像（edge density image）又はＥＤＩと呼ばれる。図２のオリジナル画像２００のＥＤＩであるエッジ濃度画像４００の例が図４に示されている。
【００１７】
エッジ濃度画像４００は多くのエッジを含み、そのうちのほんの一部のみが実際に錠剤に関係する。例えば、背景グリッド上の全てのエッジは、エッジ濃度画像４００内に白色の線として含まれている。エッジ濃度画像４００内において、錠剤の印及び光（glare）もまたエッジとして表されるけれども、錠剤自身のエッジは相対的に少ししかない。最も関連のあるエッジをエッジ濃度画像４００から抽出するために、ＥＤＩ４００はさらに処理され、ＥＤＩ４００内の隣接するエッジを“結合する（join together）”。図３に再び戻り、エッジ濃度画像がステップ３１０で生成された後、エッジ濃度画像内の隣接するエッジがステップ３２０で結合される。
【００１８】
隣接するエッジは、１つ以上の画像フィルタリング演算を実行することにより、結合される。有用な演算は、ＤＩＬＡＴＥ演算及びＣＬＯＳＥ演算などのモルフォロジー（morphological）演算を含む。モルフォロジーＤＩＬＡＴＥ演算は、画像内のピクセルを値「１」で“厚くする（thicken）”すなわち膨張させるアルゴリズムを使用する。画像４００の例では、ＤＩＬＡＴＥ演算は画像内の白の領域を厚くする。モルフォロジーＣＬＯＳＥ演算は、前景（foreground）内の小さい穴を取り除くのに使用され、二値「０（0's）」の小さい島を二値「１（1's）」に変更する。よって、エッジ濃度画像４００が、モルフォロジーＤＩＬＡＴＥ演算を使用して処理されて、白の境界線が厚くなる。すなわち、高いエッジ濃度の領域の大部分が白くなることを意味する。それから、黒の背景の小さい島を取り除くために、モルフォロジーＣＬＯＳＥ演算が使用される。その結果が、図５に示されるような処理後のエッジ濃度画像５００である。処理後のエッジ濃度画像５００は、識別される錠剤に最も関連するエッジを示している。エッジ濃度画像４００が二値のカラースキームを反転させたものである場合、画像５００の変形は、（ＤＩＬＡＴＥ及びＣＬＯＳＥの代わりに）ＥＲＯＤＥ及びＯＰＥＮなどの他のモルフォロジー演算子を使用して達成されうる。使用される特定の演算子（又は他の画像処理技術）にかかわらず、ステップ３２０の結果として、最も関連性のあるエッジのみを示す画像が生成される。
【００１９】
（図３のアプローチ３００に再び戻り）ステップ３３０では、処理後のエッジ濃度画像５００がさらに処理されて、輪郭が決定される。輪郭は対象物を囲む曲線である。処理後のエッジ濃度画像５００において、黒の領域は関心のある物体であると見なされ、輪郭が黒の領域を囲むのに使用されている。輪郭は、周知の画像処理技術により、生成される。処理後のエッジ濃度画像５００において、輪郭は、より大きい物体の内側にある物体のために生成されても良い。そのような輪郭は内部輪郭と呼ばれ、内部の錠剤特徴（印及び切り込み線（score）など）の分析に重要である。しかし、錠剤の最も外側の輪郭を探す目的では、内部輪郭は重要ではない。よって、処理後のエッジ濃度画像５００の輪郭の生成において、他の輪郭で囲われていない外側の輪郭のみが、生成される。処理後のエッジ濃度画像５００について生成される輪郭の例が図６の輪郭画像６００に示されている。
【００２０】
輪郭画像６００において、輪郭は、画像内のオリジナルの９個の錠剤のうちの６個の位置を正確に描写している。しかし、輪郭Ａは、接触している２つの別個の錠剤を囲んでいる。輪郭Ｂ，Ｃは、真ん中で切れ目を付けられた（scored）同一の錠剤の２つの部分を囲んでいる。さらに、輪郭は、“内側にかまれている（chewed in）”。画像６００の輪郭Ｂ，Ｃで示されるように、光は、時々、この問題を生じさせる。輪郭Ｂ，Ｃの両方は、撮像されたカプセルの中心が実際に何であるかについて、“内側にかまれている”ように見える。錠剤の印は、例えば、“内側にかまれた”エッジをもたらす場合がある。図７Ａ〜図７Ｄの例に示すように、（図７Ａのように）背景に隣接するエッジの近くに見える印を持つカプセルが撮像されて、ステップ３１０（図７Ｂ）、ステップ３２０（図７Ｃ）、及びステップ３３０（図７Ｄ）に従い処理されて、もはや撮像された錠剤の形に合致しない輪郭が生成される。このように、図６及び図７Ｄの輪郭は、エッジ濃度に基づく区分けのアプローチ３００のみを使用したときの限界のいくつかを示している。エッジ濃度に基づく区分けのアプローチ３００の限界は、後述するように、さらなる処理により克服できる。
【００２１】
多色に基づく区分け（multiple color-based segmentation）、すなわち、ＭＣＢＳにより、“内側にかまれている”輪郭の問題を解決することができる。ＭＣＢＳは、多色の背景１００の色情報を使用して、この問題を解決する。解決は、前景の役者のために、緑のスクリーンが背景として使用されるビデオアプリケーションにおいて使用されるものに関連している。それらのアプリケーションにおいて、緑のスクリーンの背景は、その背景を異なる背景に置き換えるために、結果の映像又は画像から差し引かれる。これは、役者が背景で使用されるのと同じ緑色の服を着ていない限り、行うことができる。例えば、役者が背景と同じ色のシャツを着ていた場合、そのシャツも結果の画像から差し引かれ、所望の背景と置き換えられて、役者の腕や脚につながらずに浮いている役者の頭を残すことになる。
【００２２】
しかし、ＭＣＢＳにおいて、背景は単に単色ではなく、むしろ多色である。これは、同一色の単色の背景と同じ色の、前景の物体の識別を可能にするという利点がある。錠剤は多くの異なる色で提供され、且つ異なる照明条件で撮像されるため、標準の背景減算方法を用いた錠剤の区分けにおいて、理想的な単一の背景色はない。
【００２３】
ＭＣＢＳは、上述したエッジ濃度に基づく区分けのアプローチ３００と併用して使用される。アプローチ３００は背景１００を使用して実行されるものとして説明したけれども、エッジ濃度に基づく区分けのアプローチ３００において、特定の背景１００を必ずしも必要とするものは何もない。しかし、ＭＣＢＳのアプリケーションにおいて、背景１００の有用性は明らかである。
【００２４】
上述したように、背景１００は少なくとも２つの異なる色を持たなければならない。背景１００は、７２ｄｐｉ正方形を含む格子状パターンに配置された４つの異なる色を持つとして説明した。それにもかかわらず、ＭＣＢＳは、例えば、２色（Ｃ１及びＣ２）だけで使用されても良い。
【００２５】
ＭＣＢＳを使用した方法８００が図８に示されている。ステップ８１０では、オリジナル画像２００内のＣ１で着色されたピクセルが配置され、Ｃ１画像と呼ばれる新しい二値画像が生成される。Ｃ１画像は、例えば、黒（二値の０）と白（二値の１）の二値画像である。Ｃ１画像はオリジナル画像２００と同じ大きさであるが、Ｃ１画像のピクセルはＣ１で着色されたピクセルが有ること（又は無いこと）を表す。例えば、オリジナル画像２００のＣ１画像９００が図９に示されている。Ｃ１画像９００は、Ｃ１で着色されているピクセルを除けば、黒（二値の０）である。Ｃ１で着色されたピクセルは、Ｃ１画像９００において白（二値の１）である。
【００２６】
同様にして、（図８の）方法８００のステップ８２０と図１０のＣ２画像１０００で示されるように、Ｃ２画像が生成される。Ｃ２画像１０００は、Ｃ２画像がオリジナル画像２００内のＣ２で着色されたピクセルの存在を示すことを除いて、Ｃ１画像９００が生成されたのと同じ工程を使用して生成される。Ｃ２画像１０００において、白（二値の１）のピクセルはＣ２で着色されたピクセルを表し、黒（二値の０）のピクセルはＣ２で着色されていないピクセルを表す。もちろん、Ｃ１画像９００とＣ２画像１０００の両方に対し、異なる二値のカラースキームが両方の画像に一貫して使用される限り、異なる二値のカラースキームが使用されても良い。
【００２７】
（図８に再び戻り）方法８００のステップ８３０では、Ｃ１の画像９００とＣ２の画像１０００がＤＩＬＡＴＥ演算を使用して処理される。上述したように、ＤＩＬＡＴＥ演算は、Ｃ１の画像９００とＣ２の画像１０００の両方の白（二値の１）のピクセルを厚くする又は膨張させる。画像５００に関して上述したように、Ｃ１の画像９００とＣ２の画像１０００の二値のカラースキームが反転していた場合、ＤＩＬＡＴＥ演算子の代わりに、ＥＲＯＤＥ演算子を使用することができる。
【００２８】
ステップ８４０では、Ｃ１の画像９００とＣ２の画像１０００が交差されて、図１１に示されるように、多色の背景画像（multiple colored background image）（又はＭＣＢＩ）１１００と呼ばれる新しい画像が生成される。Ｃ１の画像９００とＣ２の画像１０００の両方がそれぞれどこで二値の１であろうと、組み合わされた画像は、ほぼ二値の１である。背景グリッドがオリジナル画像２００内のどこにあろうと、結果の画像１１００は概して白（二値の１）であり、錠剤の位置で黒である。重要なことは、Ｃ１の画像９００とＣ２の画像１０００の両方において、以前は“内側にかまれている”ように見えた錠剤の領域は、ＭＣＢＩ１１００においてはもはや“内側にかまれて”いない。しかし、ＤＩＬＡＴＥ演算により、ＥＤＩ４００と比較して、錠剤の境界の解像度は精密さに欠けている。それ故、ＭＣＢＩ１１００の解像度を改善するために、（図３の）方法３００のステップ３３０で決定され、輪郭画像６００内で示された輪郭は、白（二値の１）の線としてＭＣＢＩ１１００上に描かれる（ステップ８５０）。解像された二値画像（resolved binary image）（ＲＢＩ）１２００が、図１２に示されている。
【００２９】
ＲＢＩ１２００内の錠剤は、比較的に滑らかなエッジを持つ。輪郭画像６００の“内側にかまれている”輪郭Ｂ及びＣは、黒（二値の０）のピクセルで埋められ、カプセルは、実際に撮像された錠剤の大きさ及び形に共に合致する４つの部分（上半分の２つと下半分の２つ）により表される。これらの４つの部分は、後述するように、単一の錠剤に一緒に縫い合わされうる。さらに、輪郭Ａはまだ２つの別の錠剤の境界を示している。しかし、これは、後述するように、輪郭Ａを２つの輪郭に分離することにより、修正される。錠剤部分ステッチ方法と錠剤分離方法は、任意の順で実行されても良い。
【００３０】
ピンチポイント（pinch point）方法は、単一の輪郭により境界を示されている接触している錠剤を分離するのに使用される。ピンチポイント方法１３００が図１３Ａに示されている。ステップ１３１０では、ＲＢＩ１２００内の輪郭が多角形により近似される。多角形近似のアルゴリズムは周知である。ステップ１３２０ではピンチポイントが識別される。ピンチポイントは、同一の輪郭により境界を示されている２つの錠剤が交差しそうな輪郭内の位置（point）を定義する。ピンチポイントを識別する１つの方法は、多角形の線分が小さい角度で結合している位置を特定することである。例えば、ピンチポイントは、多角形の線分が１００度より小さい角度で結合している位置として定義されても良い。識別されたピンチポイントは、識別されたピンチポイントの特定の距離内のピクセルが輪郭の外側において白であること（すなわち、輪郭の線を少しも含まないこと）を確実にすることにより、ピンチポイントとして検証される。この基準は、図１３Ｂ及び図１３Ｃに示されている。図１３Ｂにおいて、識別されたピンチポイント１３６０が示されている。ピンチポイント１３６０は、輪郭１３９０上に位置付けられている。ピンチポイント１３６０は、（図１３Ｃに示されている）２つの交差する多角形の線分１３７０、１３７５の内角にある。真のピンチポイント１３６０は、輪郭１３９０の外側で、輪郭の線を含まない交差している多角形の線分１３７０，１３７５間にある領域１３８０により特徴付けられる。それ故、ピンチポイント１３６０は、ピンチポイントの境界を示している多角形の線分１３７０，１３７５の遠隔端を接続する線分の中間点１３８５を検査することにより、検証されうる。中間点１３８５が白の空間により特徴付けられる（すなわち、輪郭の線が存在しない）場合、識別されたピンチポイント１３６０はピンチポイントとして検証される。中間点１３８５が暗い空間により特徴付けられる（すなわち、輪郭の線が存在する）場合、識別されたピンチポイント１３６０はピンチポイントとして検証されない。他の方法が、十分な量の白の空間が、識別されたピンチポイントの近くの輪郭の外側の領域に隣接していることを確実にするのに用いられても良い。例えば、ある方法は、白の空間が、識別されたピンチポイントから特定の距離で且つ輪郭の外側に存在するかどうかを検査することを含む。
【００３１】
（図１３Ａに戻り）ステップ１３３０で、ピンチポイントのペアが識別される。ピンチポイントのペアが存在する場合、互いに向き合い、互いに所定の距離内（例えば、５ｍｍ未満）にある２つのピンチポイントが識別されることになり、そのピンチポイントのペアが、２つの別個の錠剤が互いに接触している位置を最も示しそうであると仮定される。各ピンチポイントで多角形の線分の交差により形成される頂点が互いの方向を向いている場合に、ピンチポイントは互いに向き合っているといえる。ピンチポイントが互いに向き合っているかどうかは、各ピンチポイントについて、頂点の方向のベクトルと、ピンチポイントのペアの候補を接続するベクトルを決定することにより、検査されうる。各ピンチポイントについてのベクトルは、多角形の線分の交差により形成される角度を二等分し、頂点の方向に伸びる。ピンチポイントのペアの候補からのベクトルは、互いに且つピンチポイントのペアの候補を接続するベクトルと比較されて、ベクトルがおよそ同一線上にあるかどうかが決定される。これは、ピンチポイントのベクトル同士の且つ接続ベクトルとの交点により形成される角度のコサインを決定することにより、行われる。ピンチポイントベクトルのペア間の「−１」に等しいコサインと、接続ベクトルとピンチポイントベクトルのうちの一つの間の「−１」に等しいコサインは、ベクトルが同一直線上で、ピンチポイントが互いにぴったり向き合うことを示す。これらの一対比較のそれぞれの「−０．８」より小さいコサインは、ピンチポイントが互いに向き合っていることを示すのに十分である。ピンチポイントのペアの例が、図１２のＲＢＩ１２００に示されていて、ここでは輪郭Ａは、輪郭Ａにより囲まれる２つの錠剤が互いにどこで接触しているかを示すピンチポイントのペアを含む。
【００３２】
ステップ１３４０で、ピンチポイントのペアは、白（二値の１）の線を使用して接続される。前に輪郭Ａで囲まれていた個々の錠剤は、白の線で分離され、（ピンチポイントを接続する線により修正されたように）ＲＢＩ１２００内の錠剤の輪郭は、ステップ１３５０で再決定される。
【００３３】
錠剤部分ステッチ方法は、多数の輪郭を単一の錠剤のための単一の輪郭に結合するのに使用される。錠剤部分ステッチ方法１４００が図１４に示されている。ステップ１４１０では、錠剤部分の組み合わせが識別される。錠剤部分の組み合わせは、互いの所定距離内にあり、同一の錠剤の一部でありそうな錠剤の輪郭を識別することにより、決定される。もう一方の輪郭の所定距離内にある各輪郭は、隣接している輪郭により囲まれる錠剤部分と組み合わされうる錠剤部分を定義しても良い。例えば、ＲＢＩ１２００において、他の輪郭に非常に近い輪郭が少なくとも４つ（輪郭Ｂ，Ｃを含む）あり、それぞれ１つ以上の錠剤の錠剤部分を表している。もう一方の錠剤部分に近接している各錠剤部分について、錠剤部分の組み合わせが形成されうる。
【００３４】
ステップ１４２０では、錠剤部分の組み合わせの各候補が分析されて、組み合わせの凸包（convex hull）が決定される。錠剤部分の組み合わせの凸包は、輪郭の組み合わせ周辺にゴムバンドを巻き付けることにより形成される境界と考えられる。凸包は、周知のアルゴリズムを使用して決定されうる。ステップ１４３０では分析が行われて、各組み合わせについての凸包がもっともらしい錠剤を示すかどうかが決定される。分析は、ヒューリスティックを使用して行われる。凸包が錠剤の特徴である寸法と形状を含む形状という結果になる場合、錠剤部分の組み合わせは単一の錠剤を表すとものとして決定される。
【００３５】
方法１４００が適用されて、ＲＢＩ１２００内の錠剤部分の有力な各組み合わせが分析される。実際の錠剤の組み合わせが決定されると、錠剤部分の要素の境界を示す凸包が錠剤の新しい輪郭となる。
【００３６】
このように、背景１００、エッジ濃度に基づく方法３００、多色に基づく区分けアプローチ８００、ピンチポイント方法１３００、及び錠剤部分ステッチ方法１４００を使用して、オリジナル画像２００内のピクセルは、識別のための正しい錠剤に正確に分割される。改良された区分け工程１５００の実施形態が図１５に示されている。最初に、ステップ１５１０で錠剤のデジタル画像が取得される。デジタル画像は、識別される錠剤と背景１００を表す。デジタル画像はデジタルカメラを使用して取得されても良い。デジタルカメラは、背景１００の個々の正方形を解像するのに十分な解像度を持たなければならない。確実に、デジタル画像が並べられて、必要とされる解像度を提供するのに十分な大きさとなるように、デジタル画像は、背景１００内のターゲット１２０を使用して作られる。ターゲット１２０により約１Ｍｂの大きさに適切に作られたデジタル画像は、一般的に十分な解像度を提供する。もちろん、十分な解像度は、背景１００自身の大きさ及び解像度や照明状態などを含む多くの要因に依存する。
【００３７】
デジタル画像がステップ１５１０で取得されると、デジタル画像はプロセッサと方法３００，８００，１３００，１４００を使用して処理される。ステップ１５２０で、エッジ濃度に基づく方法３００がデジタル画像に適用される。ステップ１５３０で、多色に基づく区分けアプローチ８００がデジタル画像に適用される。方法１５００の例では、ピンチポイント方法１３００が次のステップ１５４０で適用され、その後に錠剤部分ステッチ方法１４００がステップ１５５０に続く。ステップ１５４０とステップ１５５０は、順番が逆であっても良い。ステップ１５５０が完了すると、デジタル画像内の錠剤はそれぞれ輪郭により正確に明示される。それから、各錠剤の輪郭は、オリジナルのデジタル画像からの色情報と組み合わせられ、ステップ１５６０における錠剤の識別を容易にする。錠剤は、それらの輪郭の形及び大きさ、カラースキーム、切り込みパターン、及び錠剤の印に基づいて識別される。錠剤の識別は、例えば、撮像された錠剤を代表するデータをデータベース内に集められたデータと比較することにより、生じる。
【００３８】
それ故、方法１５００は、背景１００、デジタルカメラ、プロセッサ、及びデータベースを使用して実行される。スマートフォン又は他の携帯装置が、デジタルカメラ、プロセッサ、及びデータベースを提供するのに使用されても良い。例えば、図１６は、処理システム、カメラ、及びメモリを含む携帯装置１６００（スマートフォンなど）を示している。携帯装置１６００は、一般的に、バス又は他の相互接続１６９０を介して様々な入力／出力（Ｉ／Ｏ）デバイス１６２０と通信する中央処理装置（ＣＰＵ）１６１０（マイクロプロセッサ、デジタルシグナルプロセッサ、又は他のプログラム可能なデジタル論理デバイスなど）を有する。入力／出力デバイス１６２０は、背景１００上に錠剤のデジタル画像を入力するためのデジタルカメラ１６２２を含む。入力／出力デバイスは、ユーザに錠剤の識別結果を表示するユーザインターフェース１６２４と、錠剤の識別結果を遠隔地に送信するための送信機１６２６を含んでも良い。メモリデバイス１６３０は、一般的にメモリコントローラにより、バス又は他の相互接続１６９０を介して、ＣＰＵ１６１０と通信する。メモリデバイス１６３０は、例えば、ＲＡＭ、ハードディスクドライブ、ＦＬＡＳＨドライブ、又はリムーバブルメモリを含んでも良い。メモリデバイス１６３０は、１つ以上のデータベースを含む。ＣＰＵ１６１０は、カメラ１６２２により得られるデジタル画像に適用される方法１５００を実施する。ＣＰＵ１６１０は、デジタル画像を処理し、処理された錠剤の結果を１つ以上の錠剤データベース（そのうちの少なくとも１つはメモリデバイス１６３０に格納されている）と比較し、それからユーザインターフェース１６２０及び／又は送信機１６２６を介して錠剤の識別結果を出力する。必要に応じて、メモリデバイス１６３０は、単一の集積回路として、プロセッサ（例えばＣＰＵ１６１０）と組み合わされても良い。
【００３９】
方法３００，８００，１３００，１４００，１５００は、ハードウェア、ソフトウェア、又はそれらの組み合わせにより実施される。携帯装置１６００は、方法３００，８００，１３００，１４００，１５００を実施するためのシステム１６５０を含む。システム１６５０は、最初の輪郭推定モジュール１６５５、錠剤部分追加モジュール１６６０、ピンチポイントモジュール１６６５、錠剤ステッチモジュール１６７０、最後の輪郭推定モジュール１６７５、及び錠剤識別モジュール１６８０を含む。最初の輪郭推定モジュール１６５５は、方法３００を実施するように構成される。錠剤部分追加モジュール１６６０は、方法８００を実施するように構成され、いくつかのサブモジュールを含む。例えば、錠剤部分追加モジュール１６６０は、（上述した）Ｃ１画像を生成するための第１色の二値画像モジュール１６６１と、（上述した）Ｃ２画像を生成するための第２色の二値画像モジュール１６６２とを含む。第１色及び第２色の二値画像モジュール１６６１，１６６２は組み合わされて、単一のモジュールとしても良い。また、錠剤部分追加モジュール１６６０は、Ｃ１画像とＣ２画像を交差して多色の背景画像を生成するための交差モジュール１６６３と、多色の背景画像をエッジ濃度画像に組み合わせて、（上述した）精密な二値画像を生成する結合モジュール１６６４を含む。ピンチポイントモジュール１６６５は、方法１３００を実施するように構成される。錠剤ステッチモジュール１６７０は、方法１４００を実施するように構成される。最後の輪郭推定モジュール１６７５は、ピンチポイントモジュール１６６５と錠剤ステッチモジュール１６７０（すなわち、方法１３００と方法１４００）の出力を組み合わせて、デジタル画像内の各錠剤の輪郭を決定するように構成される。錠剤識別モジュール１６８０は、モジュール１６７５内で生成された輪郭情報を使用して、デジタル画像内の錠剤を識別する。錠剤識別モジュール１６８０は、追加の情報（カラースキーム、切り込み、及び印など）を使用して、錠剤の識別に役立てても良い。システム１６５０内のモジュールは、要望通りに、結合されても良いし、さらなるサブモジュールに分離されても良い。例として、システム１６５０とシステム１６５０内で使用されるモジュールは、スマートフォンのアプリケーションとして実施されても良い。
【００４０】
上述した説明及び図面は、ここに記載された特徴及び利点を実現する特定の実施形態の実例と見なされるだけである。特定の工程条件への変更及び置換が行われても良い。本発明の実施形態は、上述した説明及び図面により限定されるものと見なされず、添付の特許請求の範囲によってのみ限定される。
【図１】
2015523561.tif 000003
【図２】
2015523561.tif 000004
【図３】
2015523561.tif 000005
【図４】
2015523561.tif 000006
【図５】
2015523561.tif 000007
【図６】
2015523561.tif 000008
【図７Ａ】
2015523561.tif 000009
【図７Ｂ】
2015523561.tif 000010
【図７Ｃ】
2015523561.tif 000011
【図７Ｄ】
2015523561.tif 000012
【図８】
2015523561.tif 000013
【図９】
2015523561.tif 000014
【図１０】
2015523561.tif 000015
【図１１】
2015523561.tif 000016
【図１２】
2015523561.tif 000017
【図１３Ａ】
2015523561.tif 000018
【図１３Ｂ】
2015523561.tif 000019
【図１３Ｃ】
2015523561.tif 000020
【図１４】
2015523561.tif 000021
【図１５】
2015523561.tif 000022
【図１６】
2015523561.tif 000023
【国際調査報告】
2015523561.tif 000024
2015523561.tif 000025
2015523561.tif 000026