(57)【要約】  点滴過程の滴下速度を監視し且つ点滴の終了を検出する方法及び装置が開示された。この装置はカメラと、撮像されたビデオから取得された情報を分析するプロセッサとを備える。画像シーケンスにおける特徴が抽出され、離散フーリエ変換により滴下速度を算出する。この装置は、さらに点滴筒内の液面の位置を見出すことで点滴過程の終了を検出することができる。さらにバーコードを使用することで情報を監視機器及びプログラムに提供することが開示された。【選択図】図１
2014502379.tif 000002
【特許請求の範囲】
【請求項１】
点滴監視用の装置であって、
a)  点滴筒を保持する収納筐体と、
b)  滴下過程のビデオを撮像する、カメラなどの画像撮像機器と、
c)  撮像されたビデオに基づき分析を行うプロセッサと、
を備え、
点滴監視用の方法であって、
d)  滴下過程と同じ周期性を有する、画像シーケンスから取得された任意の測定量と、
e)  フーリエ分析方法により滴下速度を確定すること
に基づく。
【請求項２】
請求項１に記載の方法と装置であって、液滴の形成及び落下過程中の垂直位置を測定し、フーリエ分析方法によりその信号から滴下速度を確定することを特徴とする。
【請求項３】
請求項２に記載の方法と装置であって、フーリエ分析により滴下速度を確定することは、以下のステップで完成され、
１）  数秒（例えばL）にわたって秒毎に所定の数（例えばN）のフレームを撮像し、
２）  各フレームから液滴の形成過程/滴下過程中の垂直位置を表す数を抽出し、
３）  ２）における数を記憶するベクトルに対して離散フーリエ変換を行い、０からNL-1で合計NL個のスペクトル成分をインデックスし、
４）  平均（固定）部分に対応する０にあるスペクトル成分を除外し、スペクトル成分
【数３】
2014502379.tif 000005
において（あるいは、対称の右半分スペクトルの絶対値において）、最大複素絶対値の成分を見出し、そのインデックスをPとして記憶し、
５）  L秒内にP個の周期（滴）があるという関係から、以下のような数式により１分間内或いは拡張された任意の周期内の滴数を確定し、
【数４】
2014502379.tif 000006
もしステップ４）においてPは対称のスペクトル絶対値の右半分から抽出されれば、上記関係は、L秒内にNL-P個の周期（滴）があるものであり、対応する数式は、
【数５】
2014502379.tif 000007
であり、
６）必要があれば、現有の計算方法により整数割り算によるエラーを補正し、L秒より長い周期で１）−５）のステップを重複することで結果の精度を高め、あるいは秒毎に異なる数（N）のフレームを撮像し１）−５）のステップを重複し、あるいはここの６）で言及した方法の組み合わせを使う
ことを特徴とする。
【請求項４】
請求項３に記載の方法と装置であって、請求項３のステップ２）において、液滴の垂直位置を表す数を抽出することは以下のステップで完成され、
１）  勾配方法またはその変形などの空間領域方法により、撮像された画像をシャープ化し、あるいは周波数領域においてフィルタリングし、ここで空間領域と周波数領域の方法は機能的に等価であり、
２）  ２値化或いは２値化以外の方法によりステップ１）においてシャープ化された或いはシャープ化されていない画像を２値画像に変換し、閾値は大津の方法などの教師なしの方法、或いは固定の所定値の使用を含むほかの方法により選択することができ、
３）  モーフォロジー収縮により、それに続き膨張を使用し或いは使用せず、大きな連結領域を保留するとともに、２値画像内の相対的に小さなスポット/領域を消去し、
４）  ステップ２）で得られた、あるいはステップ２）に続きステップ３）で得られた２値画像から、最大連結成分を見出しその垂直位置を表す数を算出することで、液滴の位置を認識し、その数は、最大連結成分の画素の平均縦座標であってもよいが、これに限られず、
５）  方法１）−４）の全部または一部の任意組み合わせ、あるいは等価または類似する代替方法が、任意の順でロジック上の処理ステップを構成することで、液滴の垂直位置を表す数を生成する
ことを特徴とする。
【請求項５】
請求項１に記載の方法と装置であって、液滴の形成及び落下過程中のサイズを測定し、その信号からフーリエ分析方法により滴下速度を確定することを特徴とする。
【請求項６】
請求項５に記載の方法と装置であって、フーリエ分析により滴下速度を確定することは、以下のステップで完成され、
１）  数秒（例えばL）にわたって秒毎に所定の数（例えばN）のフレームを撮像し、
２）  各フレームから液滴の形成過程/滴下過程中のサイズを表す数を抽出し、
３）  ２）における数を記憶するベクトルに対して離散フーリエ変換を行い、０からNL-1で合計NL個のスペクトル成分をインデックスし、
４）  平均（固定）部分に対応する０にあるスペクトル成分を除外し、スペクトル成分
【数６】
2014502379.tif 000008
において（あるいは、対称の右半分スペクトルの絶対値において）、最大複素絶対値の成分を見出し、そのインデックスをPとして記憶し、
５）  L秒内にP個の周期（滴）があるという関係から、以下のような数式により１分間内或いは拡張された任意の周期内の滴数を確定し、
【数７】
2014502379.tif 000009
もしステップ４）においてPは対称のスペクトル絶対値の右半分から抽出されれば、上記関係は、L秒内にNL-P個の周期（滴）があるものであり、対応する数式は、
【数８】
2014502379.tif 000010
であり、
６）必要があれば、現有の計算方法により整数割り算によるエラーを補正し、L秒より長い周期で１）−５）のステップを重複することで結果の精度を高め、あるいは秒毎に異なる数（N）のフレームを撮像し１）−５）のステップを重複し、あるいはここの６）で言及した方法の組み合わせを使う
ことを特徴とする。
【請求項７】
請求項６に記載の方法と装置であって、請求項６のステップ２）において、液滴のサイズを表す数を抽出することは以下のステップで完成され、
１）  勾配方法またはその変形などの空間領域方法により、撮像された画像をシャープ化し、あるいは周波数領域においてフィルタリングし、ここで空間領域と周波数領域の方法は機能的に等価であり、
２）  ２値化或いは２値化以外の方法によりステップ１）においてシャープ化された或いはシャープ化されていない画像を２値画像に変換し、閾値は大津の方法などの教師なしの方法、或いは固定の所定値の使用を含むほかの方法により選択することができ、
３）  モーフォロジー収縮により、それに続き膨張を使用し或いは使用せず、大きな連結領域を保留するとともに、２値画像内の相対的に小さなスポット/領域を消去し、
４）  ステップ２）で得られた、あるいはステップ２）に続きステップ３）で得られた２値画像から、最大連結成分を見出しそのサイズを表す数を算出することで、液滴の位置を認識し、その数は、最大連結成分の画素の合計数であってもよいが、これに限られず、
５）  方法１）−４）の全部または一部の任意組み合わせ、あるいは等価または類似する代替方法が、任意の順でロジック上の処理ステップを構成することで、液滴のサイズを表す数を生成する
ことを特徴とする。
【請求項８】
点滴過程の終了を検出する装置であって、
a)  点滴筒を保持する収納筐体と、
b)  滴下過程のビデオを撮像する、カメラなどの画像撮像機器と、
c)  撮像されたビデオに基づき分析を行うプロセッサと、
を備え
液面を検出する方法であって、以下のステップに基づき、
a. 一連の画像を平均化することで、落下液滴による液面の波打ち現象を消去し、
b. 勾配方法の異なる変形、特に垂直方向上の勾配方法などの空間領域方法により、撮像された画像をシャープ化し、あるいは周波数領域においてフィルタリングし、ここで空間領域と周波数領域の方法は機能的に等価であり、
c. ２値化或いは２値化以外の方法によりステップ１）においてシャープ化された或いはシャープ化されていない画像を２値画像に変換し、閾値は大津の方法などの教師なしの方法、或いは固定の所定値の使用を含むほかの方法により選択することができ、
d. ステップ３）で得られた２値画像の各行内に最大連続画素数をカウントし、あるいは単純に画素の合計数をカウントし、カウント結果をベクトルに記憶し、
e. ４）で生成したベクトルの全部または一部の区間内に液面の位置に対応する最大要素を見出し、前記ベクトルの区間は、所定の固定値、ユーザの入力、またはバーコードから取得された情報のいずれかによって確定することができ、
点滴過程の終了を検出する方法であって、
ステップ５）におけるベクトルの最大要素の行数と点滴筒の底部に対応する行数とを比べ、その差が充分に小さくなるときに警告を出す。
【請求項９】
バーコード付きのラベルまたは任意の印刷物であって、カメラにより読み取ることで、情報を点滴監視機器及びプログラムに提供することが可能である。
【請求項１０】
請求項９に記載のラベルまたは任意の印刷物であって、バーコードにより点滴筒の種類についての情報を監視機器及びプログラムに提供することを特徴とする。
【請求項１１】
請求項９に記載のラベルまたは任意の印刷物であって、バーコードにより点滴筒の物理測定量についての情報を監視機器及びプログラムに提供することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、（１）点滴監視、及び（２）点滴監視におけるバーコードの利用に関する。
【背景技術】
【０００２】
点滴は、一般的には時間が多くかかる。滴下過程を自動的に監視するには、多くの試みが行われているとともに、いくつかの従来システムが存在している。これらの中でほとんどは物理量の測定を利用している。
これらの方法の１つの種類として、液滴の数をカウントするものがあり、これらの方法は一般的には光学センサを利用することで行われている。その分野においていくつかの米国特許が存在し、例えば
１．米国特許4,383,252の点滴フィードモニターであって、ダイオードとフォトトランジスターとの組み合わせで液滴を検出する。
２．米国特許6,736,801の点滴監視の方法及び装置であって、赤外線または他の種類のエミッターとセンサとの組み合わせで液滴をカウントする。
液滴の数をカウントする機器は一般的には２つの機能があり：
１．滴下速度が所定値からずれすぎるときに、警告する。
２．点滴が停止するときに警告することで、しみ込みを防止する。
本発明者は、異なる角度からこれらの問題を解決する。カメラで滴下過程を記録し、ビデオにより滴下速度を分析する。さらに点滴筒内の液面を検出し、その液面が下がり始めるときに患者に警告する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許4,383,252
【特許文献２】米国特許6,736,801
【発明の概要】
【０００４】
本発明はそれぞれ、滴下速度を監視することと、点滴が終了したときに警告することとの２つの目的がある。この２つの機能は同一の機器で、異なるアルゴリズムで実現される。次の実施例において、この機器は、主に収納筐体と、カメラと、プロセッサから構成される。点滴筒は、筐体内の固定位置に配置されるので、点滴筒とカメラとの相対位置も固定されている。
滴下速度の監視について、画像のシーケンスを分析する。それぞれの画像において、同じ測定量を算出し、この測定量に対する要求は、滴下過程自身と同じ周期性を有することである。画像のシーケンスから得る上記測定量は１つの信号を形成する。滴下速度を確定するために、離散フーリエ変換を行い、その最大の非定数成分を、画像シーケンスにおける周期の数として認識する。それによって速度を算出することができる。
【０００５】
以下の検討において、いくつかの可能な測定量として、液滴のサイズと、液滴の位置と、画像のある領域における平均階調レベルが挙げられている。実験によると、本発明の方法は、実際速度の広い範囲内に、正確な速度を測定することが示されている。
図３の説明において、測定量の選択に関する基準と数学的な論証を提出している。それは、理論的な基礎を構築し、つまり滴下過程と同じ周期性を有する如何なる測定量も、速度の確定に用いられることが可能である。われわれの結果は、さらに実験上それを証明した。
滴下過程の終了を検出するために、点滴筒内の液面の位置を見出す。しかしながら、点滴により、液面が波打ってしまうので、まずいくつかの隣接する画像の平均値を算出することで、この波打ちの現象を消去する。そして、エッジ検出を行い、点滴筒内の水平方向の一番長い線分を液面として認識する。この液面が下がり始めるときに、機器は患者と看護師に通知する。
バーコードの利用の目的は、アルゴリズムに情報を提供することにある。点滴筒のタイプとサイズは、アルゴリズムに要求されている画像の適当な領域の、プログラムによる抽出に寄与することができる。バーコードはカメラにより読み取ることができ、そのバーコードから情報を抽出することができる。バーコードに含まれる薬剤の量などのほかの情報に基づき、残存時間も推定することができる。
【発明の効果】
【０００６】
本発明は、１）正確性、２）廉価、３）便利性にメリットがある。本発明は、安価のカメラだけで高い精度を実現し、安全性を確保し、患者と看護師の時間を数多く省くことができる。
【図面の簡単な説明】
【０００７】
【図１】図１は１つの可能なハードウエアの実施例を示す。
【図２Ａ−２Ｅ】図２A−２Eは点滴筒の撮像画像とその画像に対する前処理を示す。    １．図２Aは左側に、撮像された画像を示し、右側において、矩形で囲まれたのは分析領域を示す。    ２．図２Bは垂直方向のソーベル（Sobel）の勾配演算子を示す。    ３．図２Cは垂直方向のプリウィット（Prewitt）の勾配演算子を示す。    ４．図２Dはラプラス（Laplacian）の演算子を示す。    ５．図２Eはそれぞれ図２Aにおける矩形領域内の部分と、そのソーベル、プリウィット、及びラプラスの演算結果とを示す。
【図３Ａ−３Ｅ】図３A-３Dは、一連の撮像画像に対して行う分析のステップを示す。それぞれの画像は、左上図が原始画像であり、右上図がソーベルの勾配演算子の演算結果であり、左下図がソーベル勾配の２値化結果であり、右下図が左下図の収縮(erosion、浸食)結果である。    画像タイトルにおける数字について、    １．左上図タイトルにおける数字は画像シーケンスにおける該図の項数（index）である。    ２．右下図タイトルにおける数字は３つの部分を含み：        a. セミコロン前の１つ目の数字は図における連結成分の数である。        b. セミコロンに続く２つ目の数字は図における画素数で計算するときの最大連結成分のサイズである。        c. 最後の数字は最大成分の重心（centroid）の縦座標である。    図３Eは、図３A-３Dの右下図において使用された収縮のカーネル(kernel)を示す。
【図４】図４は一連の測定量から離散フーリエ変換により滴下速度を確定することを示す。    １．図４Aは一連の画像から得られた図３A−３Dにおける重心の縦座標を示す。    ２．図４Bは図４Aの離散フーリエ変換を示す。    ３．図４Cは一連の画像から得られた図３A−３Dにおける最大連結成分のサイズを示す。    ４．図４Dは図４Cの離散フーリエ変換を示す。    ５．図４E-４Fは、他の一連の画像に対して図４A-4Bと同様に得られたものである。    ６．図４G-４Hは、さらに他の一連の画像に対して図４A-4Bと同様に得られたものである。    ７．図４Iは図４Aと同様な画像シーケンスについての時間に伴う画像平均階調レベルの変化を示す。    ８．図４Jは図４Iの離散フーリエ変換の拡大表示を示す。
【図５Ａ−５Ｆ】図５A-5Fは点滴筒内の液面の位置を如何に検出することを示す。    １．図５Aはビデオからの連続する１０枚の画像の平均画像である。    ２．図５Bは図５Aに垂直方向のソーベルの勾配演算子（図２B）を応用した結果を示す。    ３．図５Cは図５Bを２値化した結果を示す。    ４．図５Dは図５Cにおける各行の連続する点の最大数を示す。    ５．図５Eは図５Cにおける各行の連続する点の最大数を示したが、点滴筒両端間かつ両端を含めない行しか示していない。    ６．図５Fは検出し且つマークした液面と点滴筒の底部を示す。
【図６Ａ−６Ｂ】図６A-６Bは如何にバーコードを使用することでモニターに情報を提供することを示す。    １．図６Aは典型的なバーコードの例を示す。    ２．図６Bは図６Aのスキャニング結果を示す。
【図７】図７はいくつかのアルゴリズムのフロー図を示す。    １．図７Aは滴下速度監視の実施例用のアルゴリズムを示す。    ２．図７Bは警告機能の実施例用のアルゴリズムを示す。    ３．図７Cはバーコード読み取りの実施例用のアルゴリズムを示す。
【符号の説明】
【０００８】
１１  収納筐体
１２  カメラ
１３  プロセッサ
１４  光源
１５  収納筐体外の表示器
１６  点滴筒
１７  筐体内壁に固定されるバーコードラベル
【発明を実施するための形態】
【０００９】
本発明の第１の目的は、安全性を確保することにある。医療実践では、常に滴下速度に対して要求されている。赤ちゃん、大人、心血管病と腎臓病の患者によって、異なる滴下速度が要求されている。滴下速度は処方された値からずれすぎると、悪影響が発生するおそれがある。極端の場合、命まで脅かす可能性もある。
【００１０】
本発明の第２の目的は、効き目を確保することにある。多くの薬剤は、薬剤の投与速度に対して要求している。投与速度が遅すぎ或いは速すぎると、希望の効果を達成できなくなる。
本発明の第３の目的は、看護師と患者の手間と時間を省くことにある。一般的な滴下過程において、看護師と患者両者は常に滴下速度をチェックし、偏差が発生するときにその滴下速度を調整する必要があり、このような過程は彼らの時間と注意力を多く占用している。また、点滴が終了するまでの残存時間の推定も困難であり、看護師と患者らのスケジュール策定も困難になってしまう。
【００１１】
もちろん、輸液ポンプを使うなど、これらの問題を解決する提案がある。しかしながら、輸液ポンプの高価（通常1000ドル以上）により、普通治療での使用が制限され、特に開発途上国での使用が制限されている。さらに、赤外線信号により滴下速度を測定するものもある。本発明者は、その種類の機器を使ったことがないので、その性能を評価できない。
その代わりに、本発明において、正確で且つコストが低い、ビデオ及び画像処理技術により滴下速度を測定する手段を提供する。本発明は、普通の医療実践に充分で且つ広い速度範囲以内に、非常に正確に滴下速度を測定できるとともに、低分解能と低フレームレートのカメラ及び低コストのプロセッサだけでよいので、経済的にも優れている。さらに、点滴筒内の液面の高さも検出することができるので、薬剤を使いきり液面が下がり始めるときに、看護師と患者に警告できることにより、通知失敗により血液がチューブへ回流することを防止できる。
【００１２】
以下、本発明の詳細を説明する。
図１―ハードウエアの１つの可能な実施例
１１は不透明の材料からなる収納筐体であり、これにより外部の光は中に入ることができず、カメラに対して理想的、且つ一定の照明環境を確保する。
１２は筐体のドアに固定されたカメラである。ドアが閉まっているときに、そのカメラは点滴筒に面する。
１３は自分で撮像画像を処理することができる独立のプロセッサである。
１４は筐体内の光源であり、カメラに対して理想的な照明を提供する。
【００１３】
１５は収納筐体のドアの外側である。LCDなどの低電力消耗の表示器に現在の滴下速度と時間情報を表示する。
１６は筐体内の両端に固定される点滴筒である。
１７はカメラにより読み取るバーコードであり、滴下過程に関する情報を提供する。
１８は大量の監視カメラについての、１３の動作を実行することができるリモート監視ステーションである。
【００１４】
図２−前処理
此処で、分解能が320×240で、フレームレートが15fps（秒毎のフレーム）であるカメラを利用する例を示す。他のデジタル機器上の部品として、この仕様のカメラは、中国のメーカーから何ドルだけで入手できる。図２Aは、取得されたビデオから抽出した１つの画像であり、その中で点滴筒は中部に位置する。図２Aの右側は、矩形を使って、実際の分析が行われる領域を明示している。
【００１５】
どうして画像においてこの領域を指定する必要があるか？われわれは、１）この領域が点滴口の端部から点滴筒の中部に延べること、２）液面が含まれていないことに気付く。
この領域を選択する理由は、最小のコストで、要求される精度を実現するためである。
【００１６】
もしコストを考慮に入れなければ、もちろんより高い分解能とより高いフレームレートを有する先端のカメラを使用することができる。この極端の場合、実験室で高速度カメラにより物体の落下軌跡を撮像する方式と同様に液滴の運動を撮像することができる。高性能のチップと合わせて、滴下速度を含む各種のパラメータを測定することが可能である。しかしながら、このようなコストが必要となると、輸液ポンプと比べて商業的には競争力がなく、その発明が売れない可能性が大きい。
【００１７】
低いコストに取り組むので、液滴の落下過程の全軌跡を分析することは現実的ではない。点滴筒の最大長さは一般的には５ｃｍ（２インチ）より小さく、点滴筒内の液面の高さは一般的には１ｃｍ（０．４インチ）を超える。したがって、液滴が点滴口から液面まで落下する残りの高さは一般的には４ｃｍ（１．６インチ）より小さい。空気摩擦がないとすると、液滴が液面まで落下するには必要な時間はおよそ
【数１】
2014502379.tif 000003
秒である。カメラのフレームレートは１５であり、つまり画像は、１/１５＝０．０６７秒の間隔で撮像される。この間隔は、やはり液滴が液面まで落下するには必要な時間より小さいが、軌跡のぼやける画像（落下速度による）を１つまたは２つ撮像することは、分析にはあまり寄与していない。もしチューブの口で液滴が小さいから大きく成長し最終的に落下する液滴の形成というより遅い過程に注意を払えば、その周期性（速度）を確定できる充分な情報が存在している。実際に、これこそ、本実施例で使用された手段である。
【００１８】
もう１つの問題は、どうして液面に注意を払わないのか。液滴の落下により液体が波打ってしまい、その液面が起伏し、それは、滴下速度の確定に用いられることが可能である。このような起伏はチューブの口での液滴の形成より速いが、一般的には落下過程より遅い。この手段は可能であり、排除してはならず、周期性を確定する基本的な原理は、本実施例で用いる方法と同様である。
【００１９】
上記分析において画像の小さいウィンドウを選択する理由を検討する。それは、液滴のの落下およびそれによる液面の波打ちと比べて、液滴の形成は相対的には遅いからであり、したがって計算上のメリットとカメラに対する低い要求から考え、その液滴の形成を選択する。後述のように、滴下速度の確定は、抽出された信号に対して離散フーリエ変換を行うことで実現される。当該信号がその画像のどの部分から抽出されることを問わず、その基本的な原理は変わっていない。したがって、分析が行われた画像の部分の選択は、限定ではなく、ただの例示として理解すべきである。
【００２０】
ここまで依然としてもう１つの問題が存在し、つまり、画像内において如何にウィンドウの位置を確定するのか。上記実施例において、矩形の位置とサイズは手動で選択されたが、実際の製品についてはどうすれば良いか。もちろん、機器は物体認識を行い、点滴筒の各部を分析し、ウィンドウを自動的に選択することができ、それは実行できる。取得された画像のコンテンツは簡単で、且つ点滴筒は収納筐体のある位置に固定することができるので、このような認識は難しくないと考えられる。しかしながら、たとえこの種類の点滴筒を正確に認識できるだとしても、他の種類の点滴筒についてはどうすれば良いか。１つの種類について成功することは、他の種類についても成功することを確保できない。さらに重要なのは、医療分野においてミスは一般的には許されていない。
この問題を解決する方法として、バーコードを利用する。図１の１７を参照すると、カメラはバーコードを読み取り、これにより点滴筒のタイプを含む滴下過程の各種の情報を読み取ることができる。異なる点滴筒について異なるウィンドウが選択され、機器はそれに応じて動作する。
次に、取得された画像を如何に強調するかを説明する。
図２Eの第１の画像は図２Aのウィンドウ内のコンテンツである。それは階調画像であり、その位置から分かるように、上部の明るい物体は、光を反射する形成中の液滴の下部である。計算に便利なために、デジタル画像処理によりその画像を強調する。図２Bは垂直方向のソーベルの勾配演算子を示し、図２Cは垂直方向のプリウィットの勾配演算子を示し、図２Dはラプラスの演算子を示す。これらの演算子の詳細については、[Digital Image Processing, 2ed, Prentice Hall, 2002, Gonzalez, Woods]の第三章と第１０．１３節を参照されたい。
【００２１】
図２Eの第２、３、４の画像はそれぞれ、ソーベル、プリウィット、及びラプラスの演算子が応用された結果である。図２Bと２Cにおいて、垂直方向のソーベルとプリウィットの演算子しか示していないが、図２Eの結果は「全」勾配の結果である。より具体的には、その垂直方向成分と水平方向成分の絶対値を加算することで勾配値の絶対値の近似値を算出する。
【数２】
2014502379.tif 000004
これは、デジタル画像処理分野の標準手段である。その詳細については[Digital Image Processing, 2ed, Prentice Hall, 2002, Gonzalez, Woods]の第５７９ページを参照されたい。
図２Eによると、ソーベル勾配結果は強度が一番大きく、プリウィット勾配の結果より明るい。ラプラス演算子は、一番弱い結果が得られる。プリウィットとラプラス両者の結果も、周波数領域をフィルタリングする他の数多くの強調技術も、それ自身の役割を有するが、それらの目的は全て画像内の顕著な特徴を強調することにある。したがって、次の説明においてソーベル勾配の結果を使用するが、画像強調技術の選択は、限定ではなく、ただの例示として理解すべきである。
図３−画像から特徴を抽出する
【００２２】
以下、如何にビデオ（画像シーケンス）から数値特徴を抽出できるかを示す。図３Aは４つの画像を含み、上部の２つについて、左側は原始画像であり、右側はソーベル勾配結果である。原始画像のタイトルにおいて、画像シーケンスの項数である数字がある。したがって、「原始３０」はシーケンスにおける第３０フレームを表す。下部の左側は、ソーベル勾配画像の２値化結果であり、そのタイトルにおける「大津」は閾値が自動的に大津法により選択されることを示し、これにより人為的介入が必要なくなる。２値化の目的は、階調レベルのソーベル勾配画像を２値画像に変換することにある。下部の右側は２値画像の収縮（erosion）結果である。
どうして収縮を行う必要があるのか。その目的は、不要の小さい点を消去することにある。図３B-3Dによると、２値化の結果はいくつかの連結成分を含み、ほとんどの最小成分は不要であり、特に図３Dでより顕著である。その基本的な原理については、液滴上の明るい反射が、画像における明るい成分の最大部分であるので、小さい部分には興味を持っていない。図３Eは収縮のカーネルを示す。もちろん、高い分解能のカメラに対して、大きいカーネルを選択する必要がある。
【００２３】
収縮は、デジタル画像処理における基本的なモーフォロジー演算である。その詳細については、[Digital Image Processing, 2ed, Prentice Hall, 2002, Gonzalez, Woods]の第九章を参照されたい。
収縮された画像のタイトルは３つの部分を含む。第１部分は、画像における連結成分の数である。この実施例において８隣接を選択するが、実際の場合は、８隣接を選択してもよいし、４隣接を選択してもよい。８隣接と４隣接は何であるかについて、[Digital Image Processing, 2ed, Prentice Hall, 2002, Gonzalez, Woods]の第２．５節を参照されたい。タイトルの第２部分は、画素数で計算するときの最大連結成分のサイズである。第３部分は、最大連結成分の重心の縦座標であり、つまりそのY座標の平均値である。例えば、図３Dの下部の右側画像のタイトルは、「７；２６,１１．７７」であり、それは、画像が７つの連結成分を含み、画素数で計算するときの最大連結成分のサイズが２６であり、その縦座標が１１．７７であることを表す。
図３A-３Dにおける画像は、シーケンスにおける第３０、３３、３７および３８の画像であり、ここで連続する画像を示していない理由は、説明を省略するためである。第３３の画像と第３０の画像とを比べると、液滴のサイズが増加し且つその位置が低くなる。それは、勾配、２値化、及び収縮の結果においても明らかである。最大連結成分のサイズは１１画素から１７画素まで増加し、その平均Y座標は６．７２７から９．５２９まで増加し、液滴が大きくなりその位置が低くなるという事実と一致する。
シーケンスにおける第３７の画像である図３Cにおいて、液滴が落下し始める。重力により液滴が伸ばされ、それは勾配、２値化、及び収縮結果においても明らかである。図３Bと比べて、その最大連結成分の平均Y座標は９．５２９から１４．７６まで増加したが、そのサイズは変わっていない。
図３Dはシーケンスにおける第３８の画像であり、そのコンテンツはその前の図面ほど鮮明ではない。画像の中部に相対的に明るいスポットがあるが、それは落下液滴の頭部または尾部か、それとも点滴筒の表面の反射によるか判断しにくい。さらに上部に新たに形成している液滴がある。勾配、２値化、及び収縮結果も解釈しにくい。２値化結果は、いくつかの顕著なサイズの部分を含み、収縮されてもやはり多く存在し、その結果は、原始画像の視認印象と一致していないようである。
【００２４】
この結果は、われわれのアルゴリズムが問題あることを示しているのか。これは、われわれの手段の有効性を証明できる前に答えなければならない重要な問題である。その肯定的な答えは、以下のように数学上で得ることができ：点滴は周期的過程であるので、取得された画像シーケンスも周期性を有する。アルゴリズムは、固定的且つ機械的なプロセスであり、同じ入力に対して同じ結果を出す。したがって、周期的信号に対してこの機械的なプロセスの出力も周期性を有する。この事実を符号で表すと、
画像（ｔ＋T）＝画像（ｔ）
したがって  F（画像（ｔ＋T））＝F(画像（ｔ）)
これにより、たとえ抽出された信号に図３Dのような「ノイズ」が存在しても、一定時間で収集した情報が周期的信号であることを確保できる。その周期は滴下過程と同じであり、滴下速度は、それに基づき離散フーリエ変換により算出することができる。
さらに、図２に関する説明で検討したように、液滴の形成は、液滴の落下よりずっと遅いので、画像シーケンスのほとんどについては、われわれの分析アルゴリズムにより意義ある結果を抽出することができ、抽出された信号の周期は、少ない異常結果の部分によって変わることはない。
【００２５】
上記周期性に関する数学上の検討は、根本的な重要性を有する。それは基礎から、滴下過程の周期性さえ確実にキャプチャーできれば、画像の如何なる測定量も、滴下速度の計算に用いられることが可能であることを指摘した。したがって、本実施例において、計算効率とカメラの能力を考慮に入れて、主に液滴の形成を分析したが、理論上、われわれの方法は、液滴の落下、落下による液体下の波打ち、ならびに他の数多くの考えられる測定方式に対しても分析することができる。抽出された信号も、最大成分のサイズまたは垂直方向位置に限らず、滴下過程と同じ周期性を有する全ての計算可能量まで拡張できる。例えば、もし一定領域内の全体輝度（強度）は液滴の反射によって周期的に変化すれば、それも滴下速度の確定に用いられることが可能である。
もう１つの問題は、小さいスポットを消去するにはどうして収縮を選択するのか。他の方法ではなく収縮を選択することについては、固有の理由がなくて、それはただ画像における不要の部分を消去する方法の１つに過ぎない。本実施例において、収縮後のサイズによって連結成分をソートしたが、それは収縮しなくても実現でき、単純に小さい成分を廃棄してもよい。われわれは、本実施例における処理方法はその周期性をキャプチャーする方法の１つに過ぎず、同じ周期性をキャプチャーする他の手段も機能することについて、再び強調したい。根本的に重要なのは、抽出された信号に対して離散フーリエ変換を行うことで滴下速度を確定することである。
図４−離散フーリエ変換による滴下速度の確定
【００２６】
図３A−３Dにおいて、シーケンス（ビデオ）における画像毎に２つの数値を算出し：１）最大連結成分のサイズ、２）最大連結成分の平均縦座標である。滴下速度は、これらの何れかに基づき即座に算出できる。
図４Aは１８０枚の画像のシーケンスについて最大連結成分の平均縦座標を示す。周期性は直観的には明らかであり、周期の数を容易にカウントすることができる。各周期において、その値は単調に増加し、液滴が重力下で落下することと一致する。
如何に周期の数をカウントするのか。デジタル信号処理の知識が不足の人は、その結果における「局部ピーク」をカウントしてみるかもしれない。ある場合、この単純な手段は成功できるが、ほとんどの場合、それは間違いやすい。標準の手段は、信号の離散フーリエ変換を計算し、その最大の非定数成分を見出すものである。
図４Bは、図４Aの離散フーリエ変換（DFT）を示す。最大値はゼロで現れ、それは信号の固定平均値に対応し、周期性と関係がない。残る部分は対称であり、２つの半分のいずれかにおける最大値だけ見出せばよく、ここで左半分を選択する。この最大値の座標が（１３,３５４）であることが発見され、３５４は信号における最強成分のフーリエ係数であり、１８０枚の画像にわたって１３回重複した。
離散フーリエ変換の詳細については、[Discrete-Time Signal Processing, 2ed, Prentice Hall, 1999, Oppenheim, Schafer, Buck]の第八章を参照されたい。
【００２７】
これにより、滴下速度は、即座に算出できる。
180/15（フレームレート）＝12秒
１２秒内に信号が１３回重複し、
したがって、滴下速度は、13×(60/12) = 65滴/分となる。
【００２８】
撮像されたビデオから、滴下過程の滴下速度をカウントした結果、67滴/分である。これはわれわれの結果と実質的に同じであり、なぜなら手動でカウントしても正確に整数周期をカバーできない。速度が完全に一定であれば、１２秒内に67/5 = 13.4 滴がある。離散フーリエ変換は整数ｘ値しか計算しないので、この点から、１３と１３．４は同等である。
図４Cは同じ画像シーケンスにわたって最大連結成分のサイズの変化を示す。概して、最大連結成分のサイズは、各周期において増加してから減少し、それは液滴の形成及び落下と一致するが、この弱い規則性は、多くの例外がある。直観的に周期をカウントすることも非常に困難となり、単純に「局部ピーク」をカウントすることも非常に困難となる。しかしながら、図４Dにおける離散フーリエ変換はやはりわれわれに正確な決定を提供し、同じ１３回の重複を認識した。したがって、図４Bと同様に65滴/分の結果が得られる。
図４E-４Fは１８０枚の画像（１２秒）のシーケンスについて、手動でカウントして得られた実際の速度が117滴/分の滴下過程に対して、図４A−４Bの演算を重複し、此処で得られた結果は23×(60/12) =115滴/分である。
図４G-４Hは１８０枚の画像（１２秒）のシーケンスについて、手動でカウントして得られた実際の速度が26滴/分の滴下過程に対して、図４A−４Bの演算を重複し、此処で得られた結果は5×(60/12) =25滴/分である。
【００２９】
ここでの３つの例から、われわれの方法で確定した速度は非常に正確であることが分かる。実際に、滴下速度が30滴/分より低いまたは120滴/分を超える場合は少なくて、われわれの方法は、このような極端の場合にも中間の場合にもうまく機能する。
これらの例によると、最大連結成分のサイズと比べて、その平均縦座標が相対的に好ましい測定量である。なお、たとえ最大連結成分のサイズを使用することで直観的なカウントが困難になる場合であっても、われわれの方法はやはり正確な結果を得ることができる。実際に、２つの極端の場合（26滴/分と117滴/分）にも同様である。それは、われわれの数学上の主張を証明し、つまり滴下過程の周期性を確実にキャプチャーする如何なる測定量も、滴下速度の確定に用いられることが可能である。
図４I−４Jは、測定量選択時の自由度を証明する最後の例である。この例において、画像シーケンスは、図４A−４Dで用いられたものと同じである。ここで、勾配、２値化、収縮がなく、単純にシーケンスにおける画像毎に全画素の平均階調レベルしか計算していない。図４Iに示すように、この単純な測定方法は依然として周期性を示していて、図４Jにおける離散フーリエ変換は、図４Bと４Dと全く同じ周期数を認識した。
この最後の例の目的は、滴下速度計算の本質は特定の測定量ではなく、離散フーリエ変換であることを再び強調するためである。上記最大成分のサイズと位置は、１つの可能な実施案に過ぎず、限定ではなく、ただの例示として理解すべきである。われわれの目的を達成するには、広い範囲の測定量を使用することが可能である。
図５−点滴が終了するときに警告する
ここで、本発明のほかの重要な役割を示し：滴下過程が終了するときに警告する。滴下速度の監視と比べて、これは相対的には簡単な動作である。
【００３０】
薬液容器内の薬液を使いきるとき、点滴筒内の液面は下がり始めるので、液面の位置を検出し、下がり始めるときに警告を出す必要がある。
それはエッジ検出に基づく。図５Aはビデオにおける１０枚の連続する画像の平均画像である。どうして画像を平均化するのか。その理由は、もしビデオから１つの画像をランダム抽出し、その画像は液面が落下液滴により波打つ瞬間に対応する可能性があり、このとき液面は振動が存在し、検出が困難になってしまうからである。画像の平均化は、この現象を顕著に低減し、これらの連続する一連の画像がいつから始めるにかかわらず、液面は常に近似的に水平である。
図５Bは図２Bの垂直方向のソーベルの勾配演算子を図５Aに応用する。水平方向のエッジしか検出していないので、垂直方向の勾配演算子だけで充分である。それ以外に、この目的を達成するには、空間領域と周波数領域のフィルタリングを含む数多くのほかの方法があるので、ここでソーベルの選択は、限定ではなく、ただの例示として理解すべきである。
図５Cは図５Bを２値化し、その閾値は大津法で確定される。それは、図５Bの階調画像を図５Cの２値画像に変換し、計算に便利となる。
図５Dは図５Cの各行内に最大連続点数をカウントした結果を示す。数の高い値は明らかな水平方向の線分に対応し、最高値はエッジの位置と点滴筒の底部に集中する。
【００３１】
図において「高い数」がいくつかあるが、どれが液面の位置であるのか。１つの方法としては、液面が点滴筒の底部より低い可能性がないので、高いほうを選択する。このような基準はもっともらしいが、基礎が固まらない。医療実践において安全性を確保するには、より確実な基準が必要となる。
【００３２】
点滴筒の実際のサイズが既知であるとすると、点滴筒が収納筐体に固定し（図１参照）カメラも固定するので、図５Cにおける点滴筒の頂部と底部の位置も分かる。したがって、これらの境界に、及び境界を超えるところに最大連続点数をカウントする必要がなく、この簡略化により図５Eが得られる。図５Eにおける単一の最高値は液面の位置に対応する。図５Fにおいて、検出された液面位置は既知の点滴筒の底部位置とともにマークされている。それらが接近するときに、機器は患者と看護師に警告する。
如何に点滴筒の正確な物理サイズを知ることができるのか。この問題は、われわれに図２の説明で言及された解決されていない問題を気付かせ：如何に画像における分析が行われる小さいウィンドウの位置を確定するのか。この前、バーコードによりそれを解決することを述べたが、図６はこの問題を、此処で新たに直面する問題とともに検討する。
図６−バーコードを利用する
図６Aは統一商品コード（UPC）というバーコードの符号化方式の例を示す。黒いバーは１を表し、白いバーは０を表す。頂部、中部、底部において、それぞれ特別なビットパターン101,01010と101を表す長いバーがあり、プログラムは最頂部または最底部から、単一（単位）バーの幅を検出することができる。基本バーより幅広い全てのバーは、単位バーの連結である。
バーコードの画像は撮像されることができ、プログラムは下向き（または上向き）にスキャンし、第１の連続する黒幅を見出し、画素数で計算するときの幅を、その後の計算用の基本単位幅として使用する。そして、下向きにスキャンし続け、基本幅を単位として（基本幅で割る）各黒幅と白幅の長さを測定し、頂部、中部、底部のビットパターン（その詳細についてはUPC規格を参照されたい）を廃棄する。各10進数は７つの単位幅で表され、中間のビットパターンの前後にそれぞれ６つの10進数がある。プログラムは黒い基本幅を１に、白い基本幅を０に変換し、図６Bに示すような各10進数のビットパターンを生成する。
【００３３】
図６Bにおけるビットパターンは、対応するバーコードの符号化方式で、それが表す１０進数に復号化される。もちろん、上記例においてUPC規格の使用は、概念を説明するためであり、点滴監視に対して、専門的な符号化方式を設計してもよい。
これらの10進数は任意の情報を表すことができる。
１．一定の範囲以内に（病院、国家、または国際）輸液容器のバーコードに標準を設定し、１０進数の異なる部分は、コンピュータファイル内の異なるセクションと同様に、異なる情報を表す。例えば、最初の５つの数字は薬剤の種類を表し、次の３つの数字は容積を表し、次の３つの数字は速度の要求を表す。特に、国際標準が確立されている場合、この標準はハードウエアの内部メモリに記憶することができ、モニターは中央サーバに情報を問い合わせることなく、独立に動作できる。
２．病院により指定した内部で使用する非標準符号化方式を用いてもよい。この場合、より便利なやり方として、モニターはコードを中央サーバに送信し、その中央サーバから、復号化された結果を受信する
ラベルは、薬剤のメーカーまたは病院によりステッカーなどの表面にプリントされることができる。薬剤を投与するときにラベルを図１に示すように、筐体の内壁に配置する。ラベルは固定の領域に配置されるので、プログラムは認識アルゴリズムで、取得された画像においてラベルの位置を探す必要がない。
【００３４】
バーコードで提供された情報により、点滴筒のタイプと正確なサイズを知ることができるので、図２と図５の説明で提出した問題を答えた。これらの情報により、機器は画像のどの部分で分析を行うべきか、どの領域で液面を検出すべきかを知ることができる。
この２つの情報以外に、バーコードを使用することで薬剤の容積もプログラムに伝えることができる。滴下速度は自動的に監視され且つ容積は既知であるので、投与された薬剤量、および残存の薬剤量も算出できる。現在の滴下速度に基づき、機器は点滴が終了するまでの残存時間を推定することができる。これにより、世界中で患者と看護師の時間を数多く省くことができる。
バーコードを使用することで監視プログラムに情報を提供し、現有構成の機能を強化した。さらに２Dのバーコード、ならびにほかの符号化方式を使用してもよく、それらはすべて撮像された画像により処理されることができる。したがって、図６における具体的な例は、限定ではなく、ただの例示として理解すべきである。
【００３５】
謝辞
説明するためのプログラミング環境としてTheMathworks,Inc.社のMATLAB（登録商標） 7.6.0.324 (R2008a)を使用したことについて、ここで声明および感謝する。本発明の実施例は、如何なる適切なプログラミング言語を使用しても、そのロジックを実現することができる。
【図１】
2014502379.tif 000011
【図２Ａ】
2014502379.tif 000012
【図２Ｂ】
2014502379.tif 000013
【図２Ｃ】
2014502379.tif 000014
【図２Ｄ】
2014502379.tif 000015
【図２Ｅ】
2014502379.tif 000016
【図３Ａ】
2014502379.tif 000017
【図３Ｂ】
2014502379.tif 000018
【図３Ｃ】
2014502379.tif 000019
【図３Ｄ】
2014502379.tif 000020
【図３Ｅ】
2014502379.tif 000021
【図４Ａ】
2014502379.tif 000022
【図４Ｂ】
2014502379.tif 000023
【図４Ｃ】
2014502379.tif 000024
【図４Ｄ】
2014502379.tif 000025
【図４Ｅ】
2014502379.tif 000026
【図４Ｆ】
2014502379.tif 000027
【図４Ｇ】
2014502379.tif 000028
【図４Ｈ】
2014502379.tif 000029
【図４Ｉ】
2014502379.tif 000030
【図４Ｊ】
2014502379.tif 000031
【図５Ａ】
2014502379.tif 000032
【図５Ｂ】
2014502379.tif 000033
【図５Ｃ】
2014502379.tif 000034
【図５Ｄ】
2014502379.tif 000035
【図５Ｅ】
2014502379.tif 000036
【図５Ｆ】
2014502379.tif 000037
【図６Ａ】
2014502379.tif 000038
【図６Ｂ】
2014502379.tif 000039
【図７Ａ】
2014502379.tif 000040
【図７Ｂ】
2014502379.tif 000041
【図７Ｃ】
2014502379.tif 000042
【国際調査報告】
2014502379.tif 000043
2014502379.tif 000044
2014502379.tif 000045
2014502379.tif 000046
2014502379.tif 000047