(57)【要約】  錠剤を識別するために画像の色を補正するためのシステム及び方法。システムは一つ以上の錠剤を撮像するための表面を備え、表面は、一つ以上の錠剤が配置される背景と、背景の周りに延在する境界と、複数の対象物とを含む。システムは、デジタルカメラと、画像上の一つ以上の錠剤を表すデジタル画像をデジタルカメラから受信した後、表面の複数の領域に対応する画像の複数の領域を既知の色及び特徴を用いて識別し、画像に対して画像診断を行って色補正とは逆の撮像条件を識別し、画像診断結果が許容される場合に、既知の色を有する対応する表面を用いて、画像の複数の色の比較に基づいて画像の色を補正するためにデジタル画像を処理するプロセッサとを備える。種々のグラフィック表示及びキューが使用可能な画像を取得する際にユーザを支援することができる。
2015535108.tif 000002
【特許請求の範囲】
【請求項１】
画像の色を補正する方法であって、
上記方法は、
表面上の一つ以上の錠剤を表すデジタル画像を取得することを含み、
上記表面は、一つ以上の錠剤が配置される背景と、背景の周りに延在する境界と、複数の対象物とを含み、
上記方法は、
既知の色と特徴を有する上記表面の複数の領域に対応する画像の複数の領域を識別することと、
上記画像に対して画像診断を行って色補正とは逆の撮像条件を識別することと、
上記画像診断の結果が許容される場合には、既知の色を有する対応する複数の表面領域を用いて、画像の色の比較に基づいて画像の色を補正することとを含む方法。
【請求項２】
上記境界は無彩色である請求項１に記載の方法。
【請求項３】
上記境界の色は既知である請求項１に記載の方法。
【請求項４】
複数の対象物は上記境界内に配置される請求項１に記載の方法。
【請求項５】
上記複数の対象物は１つ以上の高いコントラストの特徴を含む請求項１に記載の方法。
【請求項６】
上記複数の対象物はそれぞれ、他のアンカーポイントに対して既知であるアンカーポイントを含む請求項５に記載の方法。
【請求項７】
上記表面の領域に対応する画像の複数の領域を識別するステップは、上記表面上のアンカーポイントに対応する画像の複数のアンカーポイントを識別することを含む請求項６に記載の方法。
【請求項８】
上記複数のアンカーポイントは、上記複数の対象物が配置される可能性がある上記画像の複数の領域内の複数の対象物を配置し、上記複数の対象物における高いコントラストの特徴を使用して上記複数のアンカーポイントを識別することにより識別される請求項７に記載の方法。
【請求項９】
互いに対して撮像された複数のアンカーポイントの位置は、上記画像と上記表面との間の幾何学的な変動を補正するために、上記表面上の複数のアンカーポイントの位置と比較される請求項７に記載の方法。
【請求項１０】
上記画像診断は、露出チェックを含む請求項９に記載の方法。
【請求項１１】
上記露出チェックは、上記画像におけるある領域の色が上記表面の対応する領域の色の所定の範囲内にあることを決定することを含む請求項１０に記載の方法。
【請求項１２】
上記画像及び上記表面が露出チェックのために用いられた上記画像及び上記表面の領域は、複数の対象物のうちの少なくとも一つである請求項１１に記載の方法。
【請求項１３】
上記画像診断は合焦チェックを含む請求項９に記載の方法。
【請求項１４】
上記合焦チェックは、対象物内の複数の高いコントラスト画素の割合が所定のしきい値を超えていることを決定することを含む請求項１３に記載の方法。
【請求項１５】
画像のリアルタイムなディスプレイ上において、どの画像が、複数の対象物が上記所定の割合を超える複数の高いコントラスト画素の割合を有することにより上記合焦チェックを通過したかを示すことをさらに含む請求項１４に記載の方法。
【請求項１６】
上記示すことは、複数の対象物が上記合焦チェックを通過するか否かを示すボックスの色を用いて、複数の対象物の周りの着色された複数のボックスを表示すことを含む請求項１５に記載の方法。
【請求項１７】
上記画像診断は影検出テストを含む請求項９に記載の方法。
【請求項１８】
上記影検出テストは、
上記境界に対応する画像の複数の領域をサンプリングすることと、
上記サンプリングされた複数の領域の光強度を互いに比較することと
を含む請求項１７に記載の方法。
【請求項１９】
一つのサンプリングされた領域の光強度が所定値を超える値だけ隣接するサンプリングされた領域の光強度から異なるときに、エッジを有する影が検出され、当該画像が使用されない請求項１８に記載の方法。
【請求項２０】
上記画像のリアルタイムなディスプレイ上で上記影のエッジがどこで検出されたかを示すことをさらに備える請求項１９に記載の方法。
【請求項２１】
上記画像診断はカメラの傾斜角検出テストを含む請求項９に記載の方法。
【請求項２２】
上記カメラの傾斜角検出テストは、上記画像のアンカーポイントの複数のペア間の距離の複数の比を算出し、上記複数の比を、上記表面上のアンカーポイントの複数のペア間の距離の対応する複数の比と比較し、上記比較された複数の比が所定値を超えた値だけ異なるときに、当該画像は使用されない請求項２１に記載の方法。
【請求項２３】
上記画像のリアルタイムなディスプレイ上において、上記画像が傾斜する方向を示すことを含む請求項２２に記載の方法。
【請求項２４】
上記画像のリアルタイムなディスプレイ上において、上記画像が傾斜する相対量を示すことを含む請求項２３に記載の方法。
【請求項２５】
上記傾斜の方向及び相対量を示すために上記ディスプレイ上においてデジタルバブルが表示される請求項２４に記載の方法。
【請求項２６】
上記画像の色を補正するステップは、所定の関数に適用される統計的回帰を使用して実行される請求項１に記載の方法。
【請求項２７】
上記所定の関数は多項式である請求項２６に記載の方法。
【請求項２８】
上記画像の複数の錠剤の補正された色を、複数の錠剤のための既知の色のデータベースと比較することをさらに備える請求項１に記載の方法。
【請求項２９】
画像の色を補正するためのシステムであって、
上記システムは、
一つ以上の錠剤を撮像するための表面を備え、
上記表面は、一つ以上の錠剤が配置される背景と、上記背景の周りに延在する境界と、複数の対象物とを含み、
上記システムは、
デジタルカメラと、
上記画像上の一つ以上の錠剤を表すデジタル画像を上記デジタルカメラから受信した後、上記表面の複数の領域に対応する画像の複数の領域を既知の色及び特徴を用いて識別し、上記画像に対して画像診断を行って色補正とは逆の撮像条件を識別し、画像診断結果が許容される場合に、既知の色を有する対応する表面を用いて、画像の複数の色の比較に基づいて上記画像の色を補正するために上記デジタル画像を処理するプロセッサとを備えるシステム。
【請求項３０】
上記境界は無彩色である請求項２９に記載のシステム。
【請求項３１】
上記境界の色は既知である請求項２９に記載のシステム。
【請求項３２】
上記複数の対象物は境界に配置される請求項２９に記載のシステム。
【請求項３３】
上記複数の対象物は１つ以上の高いコントラストの特徴を含む請求項２９に記載のシステム。
【請求項３４】
上記複数の対象物はそれぞれ、他のアンカーポイントに対して位置が既知であるアンカーポイントを含む請求項３３に記載のシステム。
【請求項３５】
上記プロセッサは、上記表面上の複数のアンカーポイントに対応する画像の複数のアンカーポイントを識別するように構成される請求項３４に記載のシステム。
【請求項３６】
上記プロセッサは、
上記複数の対象物が配置される可能性がある画像の複数の領域内の複数の対象物を配置し、上記複数の対象物における高いコントラストの特徴を使用して複数のアンカーポイントを識別することにより、複数のアンカーポイントを識別するように構成される請求項３５に記載のシステム。
【請求項３７】
上記プロセッサは、上記画像と上記表面との間の幾何学的な変動を補正するために、撮像された複数のアンカーポイントの位置を、上記表面上の複数のアンカーポイントの位置と比較するように構成される請求項３５に記載のシステム。
【請求項３８】
上記画像診断の一つである露出チェックモジュールを備える請求項３７のシステム。
【請求項３９】
上記露出チェックモジュールは、上記画像の領域の色が上記表面の対応する領域の色の所定の範囲内にあることを決定するように構成される請求項３８に記載のシステム。
【請求項４０】
上記画像及び上記表面の色が上記露出チェックモジュールにより使用される画像及び表面の領域は、上記対象物のうちの少なくとも一つである請求項３９に記載のシステム。
【請求項４１】
上記画像診断の一つである合焦チェックモジュールをさらに備える請求項３７に記載のシステム。
【請求項４２】
上記合焦チェックモジュールは、対象物内の高いコントラスト画素の割合が所定のしきい値を超えていることを決定するように構成される請求項４１に記載のシステム。
【請求項４３】
上記合焦チェックモジュールはさらに、上記画像のリアルタイムなディスプレイ上において、上記所定のしきい値を超えた高いコントラスト画素の割合を有することによって、どの対象物が合焦チェックを通過したかを示すように構成される請求項４２に記載のシステム。
【請求項４４】
上記システムはさらにリアルタイムなディスプレイをさらに備え、
上記合焦チェックモジュールは、複数の対象物が上記合焦チェックを通過するか否かを示すボックスの色を用いて、上記複数の対象物の周りに着色されたボックスを表示すように構成される請求項４３のシステム。
【請求項４５】
上記画像診断の一つである影検出テストモジュールをさらに備える請求項３７のシステム。
【請求項４６】
上記影検出テストモジュールは、上記境界に対応する画像の領域をサンプリングし、上記サンプリングされた複数の領域の光強度を互いに比較するように構成される請求項４５のシステム。
【請求項４７】
上記一つのサンプリングされた領域の光強度が所定量以上の値だけ隣接するサンプリングされた領域の光強度と異なるときに、上記影検出テストモジュールは、エッジを有する影を検出し、当該画像を使用しないことを示すように構成される請求項４６に記載のシステム。
【請求項４８】
上記システムはリアルタイムなディスプレイをさらに備え、
上記影検出テストモジュールは、上記ディスプレイにおいて上記影のエッジが画像内でどこで検出されたかを示すように構成される請求項４７のシステム。
【請求項４９】
上記システムは、上記画像診断の一つであるカメラの傾斜角検出テストモジュールをさらに備える請求項３７のシステム。
【請求項５０】
上記カメラの傾斜角検出テストモジュールは、上記画像の複数のアンカーポイントの複数のペア間の距離の複数の比を算出し、上記複数の比を、上記表面上の複数のアンカーポイントの複数のペア間の距離の対応する複数の比と比較するように構成され、
上記比較された複数の比が所定量以上の値だけ異なるときに、上記カメラの傾斜角検出テストモジュールは、当該画像を使用しないことを示すように構成される請求項４９のシステム。
【請求項５１】
上記システムはリアルタイムなディスプレイをさらに備え、
上記カメラの傾斜角検出テストモジュールは、上記ディスプレイ上において上記画像が傾斜する方向を示すように構成される請求項５０に記載のシステム。
【請求項５２】
上記カメラの傾斜角検出テストモジュールは、上記ディスプレイ上において上記画像が傾斜する相対量を示すように構成される請求項５１に記載のシステム。
【請求項５３】
上記カメラの傾斜角検出テストモジュールは、傾斜の方向及び相対量を示すために上記ディスプレイにおいてデジタルバブルを示すように構成される請求項５２記載のシステム。
【請求項５４】
上記プロセッサは、所定の関数に適用される統計的回帰を使用して画像の色を補正するように構成される請求項２９に記載のシステム。
【請求項５５】
上記所定の関数は多項式である請求項５４のシステム。
【請求項５６】
上記システムは、複数の錠剤のための既知の色のデータベースをさらに備え、
上記データベースにより、上記画像の複数の補正された色が比較される請求項２９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
開示された実施形態は、錠剤の同定のためのデジタル画像処理に関し、具体的には、錠剤の識別を容易にするようにデジタル画像の色を補正することに関する。
【背景技術】
【０００２】
多くの形状、サイズ、色を有する錠剤は、処方薬及び市販薬の両方として利用可能である。米国では、固体として投与される医薬品の物理的な識別子は、連邦医薬品局（ＦＤＡ）により承認される。理想的には、どの２つの錠剤はまったく同じ識別子を持つことが承認されていない。それぞれの形状、サイズ、色、インプリント（すなわち、薬物に印刷された文字や数字）、及び／又はスコアリングのユニークな組み合わせを有する錠剤がこのように承認される。それにもかかわらず、ＦＤＡ承認の錠剤のすべてのタイプが実際に一意であることを意図するという事実にもかかわらず、錠剤の違いは時々微妙である。例えば、同じ形状が、わずかに異なる色及び／又はサイズの２つの錠剤は患者が容易に混同することがある。インプリント（刻印）によって通常区別される錠剤は全く異なるように表示されない場合がある。例えば、錠剤はフェイスダウンであるか、又は患者が弱い視力を持っている場合にインプリントを読み取ることができないかもしれない。このような懸念は完全に理解できない又は注意しない患者の行動によって悪化する。
【０００３】
患者は、複数の錠剤を迅速かつ容易に同定する必要性を持っている人ばかりではない。患者の親戚又は世話人はまた、このような必要性を有するかもしれない。その必要性は、患者に適切な薬を提供するための責任から、又は単に患者が正しい薬を取ったことを確認したいという願望に由来する可能性がある。病院はすぐに人が自宅から持って来るか、それは薬の誤飲のため入院し、子供が摂取される可能性が錠剤の収集のそれぞれを識別する必要性を有するかもしれない。薬局は正しい錠剤が分配されることについて確実に興味を持っている。保険会社は正しい錠剤の分配に対して興味を持ち、被保険者が定期的に取られていることを確認して、服薬遵守を監視することに興味を持っている。言い換えると、多くの当事者は、錠剤は、個々に、又は種々の錠剤の集まりとして識別されるか否か、錠剤の身元を確認することに関心を持っている。
【０００４】
錠剤は、種々の写真及び画像処理方法を用いて同定することができる。例えば、錠剤又は錠剤の収集物のデジタル画像を撮影することができ、次に、画像処理方法は、画像内の錠剤の位置及び境界画像であるか多数の錠剤を決定し、識別のための潜在的な錠剤の画像内の画素を割り当てるために使用することができる。区分け（セグメンテーション）のこのプロセスは、理想的には、明確に定義され、正確な境界と錠剤に割り当てられているか、いずれかの錠剤に属していないと無視されるいずれかのイメージの各画素になる。複数の画素が割り当てられると、与えられた錠剤の累積画素は、錠剤（例えば、そのサイズ、形状、色、及びインプリント）の特性を決定するために分析することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
色は、特に錠剤の色が同じ大きさと形状を有する２つの異なる錠剤の間には非常にいくつかの相違点の一つであり、時には錠剤の識別のために、対象物の識別に使用される重要な機能である。ただし、対象物の色が異なる照明条件の下で異なって見えることができる。撮像された色が修正されない場合はこのように、錠剤の誤認が発生する可能性がある。
【０００６】
この課題を認識し、従来の錠剤の識別技術は、しばしば理想的な照明条件は、デジタル画像処理中に使用することを必要としていた。理想的な照明条件は、撮像された色は錠剤の実際の色であることを確認することができる。残念ながら、真の色画像が得られる理想的な照明条件を見つけることが一般的にほとんどの個人のために便利ではない。さらに、（例えば、ヒストグラム均等化など）シーン内の色分布に基づいて、伝統的な色補正方法は、一般的に錠剤を識別するための良好な色補正にはならない。
【０００７】
そのため、理想的な照明条件よりも少なく補償し、錠剤の識別の前に錠剤の撮像された色を自動的に補正することができる色補正方法が必要である。
【課題を解決するための手段】
【０００８】
本発明の一態様にかかる画像の色を補正する方法は、
表面上の一つ以上の錠剤を表すデジタル画像を取得することを含み、
上記表面は、一つ以上の錠剤が配置される背景と、背景の周りに延在する境界と、複数の対象物とを含み、
上記方法は、
既知の色と特徴を有する上記表面の複数の領域に対応する画像の複数の領域を識別することと、
上記画像に対して画像診断を行って色補正とは逆の撮像条件を識別することと、
上記画像診断の結果が許容される場合には、既知の色を有する対応する複数の表面領域を用いて、画像の色の比較に基づいて画像の色を補正することとを含む。
【図面の簡単な説明】
【０００９】
【図１】本開示にかかる、錠剤の識別のための色補正可能な画像を得る方法を示す。
【図２】本開示にかかる、錠剤を識別するための制御された表面を示す図である。
【図３】本開示にかかる、モバイルデバイス上の画像を示す。
【図４】本開示にかかる、画像診断テストを実施する方法を示す図である。
【図５】本開示にかかる、影のために分析される画像を示す。
【図６】本開示にかかる、傾斜のために分析される画像を示す。
【図７Ａ】本開示にかかる、色補正可能な画像を得るために使用される視覚的なキューを示す。
【図７Ｂ】本開示にかかる、色補正可能な画像を得るために使用される視覚的なキューを示す。
【図７Ｃ】本開示にかかる、色補正可能な画像を得るために使用される視覚的なキューを示す。
【図７Ｄ】本開示にかかる、色補正可能な画像を得るために使用される視覚的なキューを示す。
【図７Ｅ】本開示にかかる、色補正可能な画像を得るために使用される視覚的なキューを示す。
【図８】本開示にかかる、錠剤を識別しながら、画像の色を補正するためのモバイルデバイスのシステムを示す図である。
【発明を実施するための形態】
【００１０】
以下の詳細な説明では、参照は、本明細書の一部を形成する添付の図面を参照し、ここで実施され得る特定の実施形態の図として示される。ここで、同様の参照番号は、図面全体を通じて同様の要素を表すことを理解すべきである。実施形態は、それらを実践する当業者を可能にするために十分に詳細に記載されている。他の実施形態を用いることができ、その種々の、構造的、論理的、及び電気的変更が本発明の精神又は範囲から逸脱することなくなされ得ることが理解されるべきである。
【００１１】
錠剤は、タブレット、カプセル、カプレット、もしくは、経口的に摂取される、薬剤、処方又は店頭での他の固体単位である。錠剤は他の特徴の中で、色、大きさ、形状によって外観が異なる。デジタル画像及び信号処理により錠剤識別が錠剤を識別するために、錠剤の外観でこれらの違いを利用する。例えば、各個人は、１つ以上の錠剤を撮像するためにスマートフォンなどのモバイルデバイスを使用することができる。スマートフォン上に存在し、もしくはスマートフォンから遠隔で存在するソフトウェアは、画像を処理することで複数の錠剤を区分化し、各撮像された錠剤の特徴を識別し、各錠剤の識別を決定するために、各錠剤の識別された特徴を、錠剤特徴のデータベースと比較する。錠剤データベースは、データベース内の各錠剤の色の表示を含む。各錠剤の色が標準化され、１つ又はいくつかの色の基準（例えば、ＲＧＢ、ＨＳＶ、ＹＵＶ等）の複数を使用して表される。従って、一つ以上の錠剤を撮像したとき、各錠剤のための１つ以上の色値が決定された後、決定された色値がデータベースに格納された色値と比較される。色の一致は各錠剤を識別の一工程である。
【００１２】
照明条件を変えることは画像形成された錠剤のいずれかの決定された色の値に影響を与える可能性があり、また、モバイルデバイスは、常に理想的な照明条件で使用されていないため、自動的に撮像された色を補正する方法及びシステムが提供される。この方法を図１に要約される。方法１００において、一つ以上の錠剤は、既知の特性及び特徴を用いてで制御された表面上に撮像される（ステップ１１０）。いったん撮像されると、制御された表面の既知の特性と特徴に対応する画像の複数の領域が識別される（ステップ１２０）。そして、画像診断は、任意の逆の（反対又は不利な）撮像条件を識別するために上記画像に対して実行される（ステップ１３０）。もし識別された撮像条件が許容範囲内にある場合（ステップ１４０）、上記画像の色は、制御された表面の既知の特性及び特徴に対応する画像の識別された領域との比較に基づいて補正される（ステップ１５０）。もし識別された撮像条件が許容範囲になく（ステップ１４０）それ故反対であるときは、モバイルデバイスのユーザは、新たな画像が取得されなければならないことを通知される。種々のグラフィック表示（ディスプレイ）又はキュー（合図又は表示）は許容範囲内の画像を取得する際にユーザを支援することができる。
【００１３】
方法１００の基本的な前提は、色が既知である制御された表面の部分に対応する画像の部分又は領域を使用して、色が未知である画像の他の部分の色を予測する。そうすることで、最初の課題は、正確に制御された表面の既知の領域に対応する得られた画像の領域を検出することである。得られた画像は、一般的に理想的な照明条件下で得られていないので、制御された表面の既知の領域に対応する画像の領域はまだ異なった色（これは照明条件による）並びに異なる形状（これは非標準の角度又は位置にあるモバイルデバイスによる）を有する可能性がある。そして、まだ、色や形の違いにもかかわらず、画像の対応する複数の領域は、依然として任意の差を決定し、画像の残りの部分に違いを適用するために識別されなければならない。
【００１４】
もう一つの課題は、色を適切に補正することのみならず、他の錠剤検出要件に対して逆の条件で診断することである。短い処理時間を確保するために、方法１００のステップ１５０で使用される色補正モデルは典型的には、複数の仮定及び複数の簡単化を含む。しかし、このことは、ある逆の不利な条件は適用される補正モデルの仮定を超え、得られた補正はそれほど正確でレンダリングすることができることが意味する。例えば、色補正モデルは、外部照明の色がより複雑な予測モデルの必要性を除去し、撮像されたシーン全体に滑らかに変化することを仮定してもよいである。従って、外部照明（例えば、光と影の境界）の急激な変化を含んで撮像されたシーンは、選択した補正モデルで扱うことができない悪条件を構成するであろう。従って、このような不利な条件を識別し、避けなければならない。不利な条件の他の例は極端な照明条件、極端なカメラアングル、不十分なインカメラ露出、悪いカメラの焦点がある。リアルタイムな画像診断及び視覚的なキューは、画像も使用可能であるか否かを決定するために提供される。
【００１５】
追加の課題は、画像が（極端ではないが）複雑な照明条件下で取得された場合でも、効率的かつ効果的に画像全体の色を補正する補正モデルを構築することである。
【００１６】
これらの課題を解決するために、方法１００は、適用された色補正の基礎として使用される画像領域の識別を助けるために制御された表面の使用を含む。種々の画像診断は、任意の条件が許容範囲内であることを確認するためにテストされる。リアルタイムの視覚的なキューは、モバイルデバイスユーザーに対して検出された診断の問題を通知するために使用される。診断テストは、過度の不利な条件のいずれか発見することなく完了した場合、その後、下記の適応的色補正モデルが使用される。すなわち、上記制御された表面上の対応する複数の値は既知である特定の画像の複数の領域から色情報のための画素値をサンプリングし、上記特定の複数の領域における各画素又は画素セットに対して期待される色差及び実際の色差を算出し、上記色差の統計的なモデルを構築するための適応的色補正モデルが使用される。当該モデルは、色差を予測し、画像内の１つ又は複数の未知の領域の色を補正するために使用される。
【００１７】
制御された表面２００は、図２に示される。制御された表面２００は、錠剤が撮像された背景２１０を含む。背景２１０は、好ましくは、密集してパッケージ化され近接した間隔を有する矩形の行列を含むマルチ色チェッカーボードの背景である。高密度の着色チェッカーボードパターンは、撮像された錠剤と、適切な錠剤の区別化のために必須である背景との間のコントラストを形成するために使用される。背景２１０は、既知の色特性の境界２２０によって囲まれている。典型的には、境界２２０は、既知の白である。境界２２０は、他の色であってもよいが、好ましくは無彩色（白黒）であることができる。境界２２０の色は既知であるので、境界２２０を含む画像の対応する境界領域は、色の違いを決定するために、境界２２０の色特性と比較することができる。
【００１８】
制御された表面２００はまた、一般的に境界２２０に位置する対象物２３０を含む。対象物２３０は、それらを容易に検出可能にするために指定された色及び形の特徴を有する。例えば、図２において、対象物２３０は、背景２１０の四角の近くに位置する４つの雄牛（bull）目の黄色の円である。対象物２３０は複数の高いコントラストの特徴を含む。例えば、図２において、雄牛目の黄色の円の中心は、中央に白いドットを有する黒で充填された円である。他の複数の高いコントラストパターンを対象物２３０において使用することができる。対象物２３０において含まれる高いコントラストの特徴は、詳細後述するように合焦チェックのために使用される。また、高いコントラストの複数の対象物２３０は簡単に検出可能なアンカーポイント２４０を提供する。上記表面上のこれらの複数のアンカーポイント２４０の間の距離は正確に既知であり、画像のスケールを計算するために、対応する画像における距離とは対照的に使用することができる。
【００１９】
制御された表面２００を使用して、上記制御された表面２００を含む画像内の対応する表面の特徴を検出することができ、そして、対象物の検出及び認識のために使用することができる。これを行うには、例えばスマートフォンなどのモバイル機器のユーザは、カメラのファインダー又はスクリーンを通して制御された表面２００を可視化する。適切なスケールの画像を生成するために、複数のアンカーポイント２４０、例えば、各対象物２３０の中央の白点は、識別の領域内であることが要求される。このことは、複数のアンカーポイントを対象物２３０の中心２４０を識別するためのソフトウェアを使用することによって達成される。このことは、ある対象物の複数の領域内の対象物２３０に対してまず検索することによって行われる。例えば、制御面２００を撮像するときに、図３のスマートフォン又はカメラによる取得画像３００に示すように、カメラの画面は４つの対象物の領域３３０を表示し、ここで、その１つはそれぞれ、対象物２３０が最も発見できると期待される画像の複数の位置において、画面の各角の近傍である。画面上の視覚的なキューは、各対象物２３０が対応する対象物の領域３３０の内側にあるように、ユーザがカメラ又はスマートフォンを整列させることを支援するためにリアルタイムでユーザに与えてもよい。対象物２３０は周りの境界２２０及び背景２１０から弁別的であり、各対象物２３０を有して含まれる高いコントラストの特徴のために、標準的なコンピュータの画像技術を、複数の対象物２３０を発見し、複数の対象物２３０が対象物の複数の領域３３０内にあることを決定するために、一つのカメラによって使用してもよい。
【００２０】
複数の対象物２３０が一旦対象物の領域３３０内に位置すると、複数のアンカーポイント２４０は各対象物の黒い雄牛目の中心において白いドットを位置させることにより識別してもよい。上記制御された表面２００上の複数のアンカーポイント２４０の表面位置が正確に既知であるので、複数の既知の表面位置は画像３００における識別された福江卯宇野アンカーポイントと比較することができ、補正は任意の幾何学的スキュー又は歪みを考慮して行うことができる。
【００２１】
複数のアンカーポイント２４０が一旦識別されて同定され撮像されるシーンに位置されるときに、種々の画像診断を逆の条件（不利な条件）でテストし、結果として得られる画像が錠剤の区別化及び識別（同定）のために許容可能であることを確実にするために実行することができる。従って、別の多くの診断テストを実行してもよい。いくつかのテストは図４の方法４００に示される。方法４００は、図１の方法１００のステップ１３０，１４０のより詳細な図を表す。
【００２２】
方法４００における一つの診断テストは露出チェック４１０である。各対象物２３０は、その支配的で既知の色（図２の例では黄色）が（使用される色標準に依存して）複数の色値の所定の範囲内にあるか否かをチェックする。露出テストは、色情報が極端な照明条件のために失われないことを保証する。換言すれば、色は所定の照明条件下で復元又は修正することができるか否かをテストする。もし複数の対象物２３０における識別された支配的な（優勢な）色が所定の色の範囲内にある場合、画像の露出量について色を補正することができるものであると考えられる。
【００２３】
方法４００のもう一つの診断テストは合焦チェック４２０である。各対象物２３０は、対象物内の高いコントラスト画素の割合が所定のしきい値を超えるか否かを決定するためにチェックされる。高いコントラストは、画素のコントラストの変化を示す境界にある画素である。画像の焦点が合っていない場合は、画素は明確に定義された境界を表すので、各対象物２３０における高いコントラストの画素の低い割合が存在することになる。画像の焦点が合っている場合は、対象物２３０の画素数が多いほど、高いコントラストの画素になる。下限しきい値は、各対象物を超えている場合、画像が合焦されていると考えられる。
【００２４】
追加の診断テストは影検出テスト４３０である。制御された表面２００上における一つ以上の強い影のキャスト（色合い）は結果として得られた画像を色補正することを難しくさせる。複数の強い影が制御された表面２００上に存在するか否かを決定するために、無彩色の境界２２０は、境界の周囲において周期的な間隔でサンプリングされる。図５は、例えば、画像５００内の可能なサンプリングポイント５１０を示す。次いで、テストは、境界２２０でサンプリングされたサンプリングポイント５１０のそれぞれについて光強度の違いを決定する。光強度の違いは、円形の順序でポイント間で決定され、このことは境界の周りの順次的な（シーケンシャルな）順番を意味する。もし光強度の違いが他のものよりも有意に大きい場合は、テストは強い影が存在することを前提とし、当該画像が使用されない。従って、所定の差分しきい値が設定され、もし隣接するサンプリングポイントの間の差が所定の差分しきい値を超える値だけ、隣接するポイントの間の他の差分から異なる場合、当該画像は使用されない。
【００２５】
診断テストの第４のタイプは、カメラの傾斜角検出テスト４４０である。画像取り込み中のカメラの傾きは、幾何学的に補正された画像における複数のアンカーポイント２４０の複数のペア間の距離の複数の比を計算し、これらの複数の比を、所定のしきい値と比較することによって決定される。例えば、図６の制御された表面２００の画像６００において、各アンカーポイント２４０は、他の三つのアンカーポイントから既知の距離である。例えば、距離１、２、３は、あるアンカーポイントと他のアンカーポイントのそれぞれとの間の距離として示される。反対に位置するアンカーポイントは、他のアンカーポイントの各々からの距離１’、２’、３’である。無傾斜の画像において、距離比１：１’、２：２’及び３：３’はそれぞれ１であろう。しかし傾斜が存在する場合、これらの比は変化する。もし複数の比のいずれかが無傾斜画像比（１）から（所定量だけ）大きく異なっている場合には、かなりのカメラの傾きが検出され、当該画像が使用されない。他の方法は、ジャイロスコープを使用するように、傾斜を決定するために使用することができるが、上記の傾斜角の検出テストが有利である。それは、ジャイロスコープ又は他の傾斜検出技術を持っているモバイルデバイスを必要としないためである。また、上記の方法は、制御された表面２００は、レベル自体ではない場合でも動作する。
【００２６】
錠剤の識別のための画像を取得しようとするモバイル機器のユーザを支援するために、種々のリアルタイムな視覚的なキューをユーザに表示することができる。キューは、ユーザに対して、複数の画像に適用される診断テストのそれぞれを通過する画像を取得することを可能にする。例えば、視覚的なキューは、１つ以上の対象物が合焦点から外れている場合を、モバイルデバイスの画面上に表示してもよい。図７Ａにおいて、例えば、（合焦チェック４１０によって決定されるように）合焦点から外れている対象物は（例えば、赤いボックスなどの）ハイライト表示されたボックス７１０として輪郭形成される。合焦状態の対象物は、非ハイライト表示ボックス（例えば、緑色のボックス）７２０を用いて輪郭形成される。ユーザがモバイルデバイスをシフト移動させると、対象物を合焦点に移動させることができる。
【００２７】
図７Ｂ及び図７Ｃは、画像がかなり傾斜しているときを示す視覚的なキューを示す。図７Ｂ及び７Ｃの画像における赤色のバブル７３０は許容できないカメラの傾きを示す。図７Ｂにおいて、許容できないカメラの傾斜は、画像が方向付けされるように上下方向にある。図７Ｂの赤色のバブル７３０はレベルの泡のようなものであって、カメラが少なくともアップ／ダウン方向に制御された表面２００と同じレベルではないことを示す。図７Ｃにおいて、許容できないカメラの傾きは、画像の図示の向きに応じて、左／右方向にある。
【００２８】
図７Ｄは、いつどこで強い影が検出された示す視覚的なキューを示す。図７Ｄの例では、点滅する小さな赤色の複数の矩形７５０は、強い影が存在する（すなわち影検出テストが失敗した場合）境界２２０においてサンプリングされた複数のポイントを示す。
【００２９】
視覚的キューのいずれかの存在は、画像が許容されないユーザと通信を行う。従って、ユーザはディスプレイによってキューとして画像を調整するように動機づけられる。調整後は、図７Ｅに示すように、許容可能な画像を取得することができる。
【００３０】
許容可能な画像が取得されると、画像は色補正のために処理することができる。このことは、既知の色値を有する無彩色の境界２２０の領域をサンプリングし、既知の値のサンプリング値を比較することによって行われる。サンプリング処理のロバスト性を改善しかつ（例えば、表面の斑点、小さな傷、汚れ又は小粒子などの）境界２２０上の不整合から結果としてえられる誤差又はノイズを回避するために、境界２２０の複数のサンプルは、実際には、サンプルポイント付近の画素の組の切り捨て平均値を表す。例えば、サンプルは境界２２０上のポイント（ｘ，ｙ）を中心とした場合、得られたサンプルは、ポイント（ｘ，ｙ）を中心とするｎ行ｎ列の画素のそれぞれの色サンプルの平均値が割り当てられる。平均の色値を計算するときに、範囲外の画素が破棄される。従って、ポイントのサンプル（ｘ，ｙ）はｎ行ｎ列の画素の切り捨て平均である。複数のサンプルポイントは、境界２２０の周りに取られる。
【００３１】
サンプルポイントの集合が収集されると、サンプリングされた色と理想的な照明条件の下でサンプリングされたポイントの既知の色との差が決定される。既知の色の領域全体の色の変化をモデル化することにより、予測的な数学モデルは、式（１）により以下に示されるように、その座標の関数として（ｘ，ｙ）のポイントで、各画素のための理想的な照明下でサンプリング領域の色をサンプリングした色の違いを近似するために構築することができる。
【００３２】
【数１】
2015535108.tif 000003
【００３３】
式（１）において、Ｌｘ，ｙは座標（ｘ，ｙ）の画素の観測される色／強度であり、Ｌ０ｘ，ｙは理想的な照明下で同一の画素の色／強度であり、Ｄ（，）は、観測された画素と、理想的な照明下での外観との間の強度の色差の測度（例えば、ＲＧＢチャンネルの比）であり、Ｓは境界２２０の画素の集合であり、ここで、理想的な照明条件の下で、各画素の色が既知である。関数ｆ（ｘ，ｙ）は、Ｓ内のすべての画素のずれｄがいくつかの基準（例えば、二乗誤差の和）に従って最小化されるように最適化される。このことは、標準的な統計的回帰法によって行うことができる。実施形態では、関数ｆ（ｘ，ｙ）は多項式である。
【００３４】
取得された画像は、任意の適用された画像診断テストに合格（パス又は通過）したので、画像全体の照明が比較的滑らかであると仮定することができる。画像を横切る照明が一様ではないかもしれないが、それは依然として平滑であってもよい。従って、不連続を仮定しない関数ｆ（ｘ，ｙ）は、画像内の任意の画素に適用される色差を予測するために使用することができる。特に興味深いのは、以下の式（２）に示されるように、関数ｆ（ｘ，ｙ）は、理想的な照明条件の下で、背景２１０上の複数の錠剤に属する画素の色の変化を予測することができる。
【００３５】
【数２】
2015535108.tif 000004
【００３６】
関数ｆ（ｘ，ｙ）は偏差ｄを決定するので、画素の色は、位置（ｘ，ｙ）における関数ｆ（ｘ，ｙ）により予測される変動ｄを、上記観測された画素（ｘ，ｙ）の色に加算することで補正することができる。一旦補正されると、区別化（セグメンテーション）により識別（同定）される錠剤は、例えばデータベースに格納された錠剤の標準化された色の値を有する色で比較することができる。比較及び錠剤の識別のためのデータベースは、スマートフォン上に位置してもよく、又は遠隔に配置することができる。比較及び錠剤識別のためのデータベースが遠隔に配置される場合には、データを比較及び識別のための遠隔のデータベースに送るように構成される。
【００３７】
方法１００及び４００は、ハードウェア又はソフトウェア、又はそれらの組み合わせのいずれかとして実装される。図８に示すように、モバイルデバイス８００は方法１００及び４００を実装するためのシステム８５０を含む。システム８５０は、モバイルデバイスのカメラ、プロセッサ、データベースと接続して使用される色補正モジュールを含む。モバイルデバイス８００は、一般に、例えば、マイクロプロセッサ、デジタル信号プロセッサ、又は他のプログラム可能なデジタル論理デバイスなどの中央処理装置（ＣＰＵ）８１０を備え、中央処理装置（ＣＰＵ）８１０はバス又はその他の相互接続８９０上の種々の入出力（Ｉ／Ｏ）デバイス８２０と通信する。入／出力装置８２０は、制御された表面２００上に錠剤のデジタル画像を入力するためのデジタルカメラ８２２を含む。入／出力装置は、ユーザに錠剤識別結果を表示すためのユーザインターフェース８２４、及び遠隔地への錠剤の識別結果を送信するための送信機８２６を含むことができる。メモリ装置８３０は、典型的には、メモリコントローラを介して、バス又は他の相互接続８９０を介してＣＰＵ８１０と通信する。メモリ装置８３０はＲＡＭ、例えばハードドライブ、フラッシュドライブ、又は取り外し可能なメモリを含むことができる。メモリ装置８３０は、１つ又は複数のデータベースを含む。ＣＰＵ８１０は、カメラ８２２によって得られたデジタル画像に適用されるように方法１００及び４００を実装する。ＣＰＵ８１０はデジタル画像を処理し、少なくとも１つのデータベースがメモリ装置８３０に格納される一つ以上の錠剤データベースにおける各錠剤に対して識別される色を比較し、錠剤の識別結果をユーザインターフェース８２４及び／又は送信機８２６を介して出力する。所望であれば、メモリ装置８３０は、単一の集積回路として、例えばＣＰＵ８１０などのプロセッサと組み合わされてもよい。
【００３８】
システム８５０は、色補正モジュール８５５を含む。色補正モジュール８５５は、方法１００及び４００を実行する。色補正モジュール８５５は、露出チェックモジュール８６０、合焦チェックモジュール８６５、影検出テストモジュール８７０、及びカメラ傾斜角検出テストモジュール８７５などの種々の診断モジュールを実行することができる。方法４００で識別された診断テストに加えて、色補正モジュール８５５は、追加テスト８８０を実行することができ、もしくはユーザに対して追加の視覚的なキューを提供する。一例として、システム８５０及びシステム８５０内で使用されるモジュールは、スマートフォン上のアプリケーションとして実装されてもよい。
【００３９】
上記の説明及び図面は、本明細書に記載の特徴及び利点を達成するための具体的な実施形態の例示であるとみなされるべきである。識別のプロセス条件に対する変更及び置換を行うことができる。従って、本発明の実施形態は、前述の説明及び図面によって限定されるとみなされないが、添付の特許請求の範囲によってのみ限定される。
【図１】
2015535108.tif 000005
【図２】
2015535108.tif 000006
【図３】
2015535108.tif 000007
【図４】
2015535108.tif 000008
【図５】
2015535108.tif 000009
【図６】
2015535108.tif 000010
【図７Ａ】
2015535108.tif 000011
【図７Ｂ】
2015535108.tif 000012
【図７Ｃ】
2015535108.tif 000013
【図７Ｄ】
2015535108.tif 000014
【図７Ｅ】
2015535108.tif 000015
【図８】
2015535108.tif 000016
【国際調査報告】
2015535108.tif 000017
2015535108.tif 000018
2015535108.tif 000019
2015535108.tif 000020
2015535108.tif 000021
2015535108.tif 000022