(57)【要約】【課題】業務をクリアな画像で撮影し、認識した画像から読み出した情報を利用して作成したインデックスを付与して記録し、必要な画像・音声の敏速な検索を可能にし、必要な業務についての画像を容易に確認できる高いトレーサビリティを実現する画像音声監視システムを提供する。【解決手段】図１は、本発明のシステムの概略構成図である。ネットワーク１００に接続した３箇所のワークエリア１０１〜１０３、画像音声解析手段１０４、画像音声記憶手段１０５、データ管理手段１０６、システム制御センター１０７、ブラウザ端末１０８から構成される。ワークエリア１０１の内部の撮影、録音に関わる部分は、WEBカメラ２０１、WEBカメラに固定されたマイクロフォン２０２、撮影範囲２０３、撮影範囲に置かれたマーク表示板２０３、マーク表示版の表面に表記された２つの縞マーク２０５、２０６、縞マークに併記された2次元バーコード２０７という構成である。【選択図】図１
2010258729.tif 000002
【特許請求の範囲】
【請求項１】
薬局業務の監視システムにおいて、
１）薬局内に設定されたワークエリア毎に決められた撮影範囲に撮像パラメータを設定し、該ワークエリアにおける業務進行を、前記撮影範囲を連続して撮影し、撮影した画像データを所定の送信先へ送信する、ネットワークに接続したWEBカメラを含む動画、静止画撮影装置、
２）監視の対象となる業務を行っていることを示す意図をもつ作業者によって、自在に移動されて前記撮影範囲内に置くことのできるマーク表示物、
３）前記画像データを受信し、格納する、ネットワークに接続した画像記憶手段、
４）前記画像データを受信し、該画像を走査し、マーク領域を抽出し、前記マークを認識する、ネットワークに接続した解析手段、
を構成要素として含み、前記撮影装置が送信する画像データにおいて、前記解析手段が前記マークを認識すると、少なくともマークの撮影時間、ワークエリアＩＤを含むインデックスを作成し、該画像データを該インデックスと関連づけて画像記憶手段に格納することを特徴とするシステム。
【請求項２】
薬局業務の監視システムにおいて、
１）薬局内に設定されたワークエリア毎に決められた撮影範囲に撮像パラメータを設定し、該ワークエリアにおける業務進行を、前記撮影範囲を連続して撮影し、撮影した画像データを所定の送信先へ送信する、ネットワークに接続したWEBカメラを含む動画、静止画撮影装置、
２）前記撮影範囲内に置かれたマーク表示物、
３）前記画像データを受信し、格納する、ネットワークに接続した画像記憶手段、
４）前記画像データを受信し、該画像を走査し、マーク領域を抽出し、前記マークを認識する、ネットワークに接続した解析手段、
を構成要素として含み、前記撮影装置が送信する画像データにおいて、前記解析手段が前記マークを認識しなくなると、少なくともマークが認識できない時間、ワークエリアＩＤを含むインデックスを作成し、該画像データを該インデックスと関連づけて画像記憶手段に格納することを特徴とするシステム。
【請求項３】
前記マークは、色マークであり、前記表示物が所定の色で着色されていることを特徴とする請求項１又は２記載のシステム。
【請求項４】
前記マークは、縞マークであり、前記表示物に所定の縞が表示されていることを特徴とする請求項１又は２記載のシステム。
【請求項５】
前記マークは、幾何学マークであり、前記表示物に所定の幾何学模様が施されていることを特徴とする請求項１又は２記載のシステム。
【請求項６】
前記マーク表示物は、前記業務に供する作業指示書、処方せんホルダー、薬剤トレイ、処方せんから選ばれる少なくとも１つの物であることを特徴とする請求項１記載のシステム。
【請求項７】
前記マーク表示物は、作業者の手の甲もしくは作業服の袖であり、所定のマークに対して特定の作業者が対応づけられており、前記マークの認識において該作業者のＩＤが読み出され、前記インデックスの構成要素となることを特徴とする請求項１記載のシステム。
【請求項８】
前記マーク表示物は、各ワークエリアにおける前記業務をおこなう作業台であり、該作業台の作業面に前記マークが設けられてあることを特徴とする請求項１又は２記載のシステム。
【請求項９】
前記マークには、少なくとも処方ID を含むインデックスがバーコード、2次元バーコード、文字から選ばれる形式で併記されており、そのインデックスを読み出すことで、該インデックスが読み取られた画像群の属性を確定し、前記画像記憶装置に収納することを特徴とする請求項１乃至８記載のシステム。
【請求項１０】
薬局業務の監視システムにおいて、
１）薬局内に設定されたワークエリア毎に決められた撮影範囲に撮像パラメータを設定し、該ワークエリアにおける業務進行を、前記撮影範囲を連続して撮影し、撮影した画像データを所定の送信先へ送信する、ネットワークに接続したWEBカメラを含む動画、静止画撮影装置、
２）前記画像データを受信し、格納する、ネットワークに接続した画像記憶手段、
３）前記画像データを受信し、該画像を走査し、所定の色パラメータを示す予め定めた背景色領域を抽出し、前記撮影範囲における該背景色領域の割合を認識する、ネットワークに接続した解析手段、
を構成要素として含み、前記撮影装置が送信する画像データにおいて、前記解析手段が認識した前記背景色領域の割合が所定の値を超えている間の画像データについて、少なくとも撮影時間、ワークエリアＩＤを含むインデックスを作成し、該画像データを該インデックスと関連づけて画像記憶手段に格納することを特徴とするシステム。
【請求項１１】
薬局業務の監視システムにおいて、
１）薬局内に設定されたワークエリア毎に決められた撮影範囲に撮像パラメータを設定し、該ワークエリアにおける業務進行を、前記撮影範囲を連続して撮影し、撮影した画像データを所定の送信先へ送信する、ネットワークに接続したWEBカメラを含む動画、静止画撮影装置、
２）薬局業務を行う作業者の手に付されたマーク、
３）前記画像データを受信し、格納する、ネットワークに接続した画像記憶手段、
４）前記画像データを受信し、該画像を走査し、連続する画像からマークのモーションを抽出し、該マークの予め設定したモーションを認識する、ネットワークに接続した解析手段、
を構成要素として含み、前記撮影装置が送信する画像データにおいて、前記解析手段が前記設定したモーションを認識すると、該画像データについて、少なくとも撮影時間、ワークエリアＩＤを含むインデックスを作成し、該画像データを該インデックスと関連づけて画像記憶手段に格納することを特徴とするシステム。
【請求項１２】
薬局業務の監視システムにおいて、
１）薬局内に設定されたワークエリア毎に決められた撮影範囲に撮像パラメータを設定
し、該ワークエリアにおける業務進行を、前記撮影範囲を連続して撮影し、撮影した画
像データを所定の送信先へ送信する、ネットワークに接続したWEBカメラを含む動
画、静止画撮影装置、
２）前記撮像範囲に撮影パラメータを設定し、撮影した熱映像データを所定の送信先へ
送信する、ネットワークに接続した熱映像装置、
３）前記画像データを受信し、格納する、ネットワークに接続した画像記憶手段、
４）前記熱映像データを受信し、該熱映像を走査し、人間の存在を認識する、ネットワ
ークに接続した解析手段、
を構成要素として含み、前記解析手段が人間の存在を認識すると、該認識が続く間の画
像データについて、少なくとも撮影時間、ワークエリアＩＤを含むインデックスを作成
し、該画像データを該インデックスと関連づけて画像記憶手段に格納することを特徴と
するシステム。
【請求項１３】
前記撮影範囲において前記マーク表示物を置く又は前記マークを設ける位置を設定し、該設定した位置により限定される領域のみを走査し、マークを認識することを特徴とする請求項１乃至８記載のシステム。
【請求項１４】
前記マーク表示物の表面において、マーク領域を更に設定してあることを特徴とする請
求項１３記載のシステム。
【請求項１５】
前記撮影範囲もしくはマーク表示物表面には、前記バーコード、2次元バーコード、文字から選ばれる形式のインデックスを併記するためのインデックス領域が設定されており、そのインデックスを読み出すことで、読み取られた画像群の属性を確定し、前記画像記憶装置に格納することを特徴とする請求項９，１３又は１４記載のシステム。
【請求項１６】
前記マークは2つ以上の縞マークもしくは幾何学模様マークであり、該マークのうちの少なくとも２つが重なり部分を有しており、該重なり部分を基準として限定した領域に前記インデックスが併記されていることを特徴とする請求項１５記載のシステム。
【請求項１７】
前記マークは、バーコード、2次元バーコード、文字から選ばれる少なくとも１つであ
り、前記認識は、バーコード認識、2次元バーコード認識、ＯＣＲから選ばれる少なく
とも１つの前記マークの種類に対応する認識モードによる認識であることを特徴とする
請求項１又は６記載のシステム。
【請求項１８】
前記マークが示す情報もしくは前記インデックスを構成する情報は、処方ＩＤ、患者ＩＤ、作業者ＩＤ、監査者ＩＤ、処方せんＩＤ、取り扱い薬種ＩＤから選ばれる少なくとも１つであることを特徴とする請求項１、６、１６又は１７記載のシステム。
【請求項１９】
前記ワークエリアは、受付エリア、調剤エリア、ピッキングエリア、交付エリアから選ばれる少なくとも１つのエリアであり、各ワークエリアにはワークエリアＩＤが対応づけられていることを特徴とする請求項１乃至１８記載のシステム。
【請求項２０】
前記ワークエリア毎に決められた撮影範囲には、前記マーク表示物を置く位置を示す表示が設けられており、該ワークエリアにおける作業者が前記マークもしくは前記マークを付す物をマークの認識に適切な位置に置くためのガイドに供せられることを特徴とする請求項１乃至６記載のシステム。
【請求項２１】
前記画像は動画であり、前記マークの認識もしくは認識されないことによって１つの業務シークエンスと判別される業務進行に係わるビデオデータを１つのファイルとして保存することを特徴とする請求項１乃至８記載のシステム。
【請求項２２】
請求項１乃至２１のシステムにおいて、ネットワークに接続した音声記憶手段および前記画撮影装置に付加された音声収録手段を備え、前記インデックスと関連づけられて前記音声記憶手段に格納されることを特徴とするシステム。
【請求項２３】
請求項１乃至２１のシステムにおいて、ネットワークに接続した音声記憶手段、および、前記ワークエリア毎に配置されネットワークに接続した音声収録手段を備え、前記マークが認識された場合、認識に係わるワークエリアに配置された音声収録手段が収録した音声データを前記作成されたインデックスと関連づけて前記音声記憶手段に格納されることを特徴とするシステム。
【請求項２４】
前記作成されたインデックスに含まれる情報は、所定のワークフローに従って前記ワー
クエリアを移動する前記マーク表示物が認識される時間によって関連付けられており、
該撮影時間、該ワークエリアＩＤ、前記ワークエリア又は業務毎に予め設定された標準
時間の少なくとも1つを参照して所定の演算をし、その演算結果の値に応じてワークフ
ロー管理情報を作成し、所定形式で出力をすることにより、ワークフローの管理を支援
することを特徴とする請求項１乃至２３記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置あるいは音声収録装置を利用して、業務を監視するシステム、特に画像認識により撮影対象内に設けられたマークあるいはコードを認識することにより制御された業務監視システムに関する。
【背景技術】
【０００２】
最近は、記憶媒体や記憶装置の大容量化にともない、ビデオカメラで業務を監視するシステムが様々な業務において事故や犯罪を防止する目的で利用されている。しかしながら、タダ漫然とビデオカメラによって業務進行や業務が行われているワークエリアを撮影しつづけている従来の監視システムでは、業務事故や業務に関わる商品に瑕疵が発見されてその原因や瑕疵の範囲をトレースしようとしても、膨大なビデオデータから瑕疵に関係する画像を探し出すことは時間の掛かる作業であり、敏速な対応を要求する高度なトレーサビリティを実現するには、問題があるシステムであった。
【０００３】
さらには従来の漫然とワークエリアを撮影する方法では、トレースしたい対象をクリアに撮影することを意図的に出来ず、長時間にわたる画像から対象に焦点があった画像を探さなければならず、非効率的であった。また、音声マイクをビデオカメラに併設したり、或いは、ワークエリアの適当な場所に音声マイクを配置して、業務における会話を収録する方式も知られているが、所望の業務についての音声記録であるかを確認するためには、関係者が音声に収録された会話の内容を確認する必要があり、その面でも非効率的であった。
【０００４】
（トリガに応じた記録）
漫然と画像記録するのではなく、所定のトリガに応じてクリアな記録をしていくことを目的としたシステムとして、特許文献１に挙げられるようなシステムがある。ここでは、パン・チルド・ズーム機能を備えたカメラを撮影対象の場所に複数設置して、撮影画像の逐次比較による動き検出トリガと、監視センターのパソコンのＷｅｂブラウザの操作によるトリガと、一定周期ごとに所定の間隔で自動発生するトリガと、非常釦の操作によるトリガといった様々なトリガを設定して監視情報に記録しているが、例えば調剤薬局など医療機関において取り扱う医薬品のように外見はあまり違いが無くても大きな医療過誤、事故を含んでいるような撮影対象をクリアに撮影したり、業務のタイミングに合わせて撮影し、撮影した画像と処方指示との関連付けをしながら画像を記録し、高いトレーサビリティを実現するには不十分である。
【特許文献１】特開２００２−３２５７１
【０００５】
（コード、文字の領域を確定して、認識精度向上）
撮影画像から所定のパターンを認識して、その認識をシステム制御のトリガとする技術、あるいは、その認識したパターンから読み取った情報を利用してシステムを制御する技術は、知られているが、そのパターンの認識精度が問題となっている。
特許文献２においては、カメラによって撮影した画像からバーコードを認識する技術が示されている。ここでは入力画像に文字や模様など認識対象以外のものが混在していることから、固定の閾値ではうまくバーコード領域を抽出できない点を問題としている。バーコード特有のパターンを調べる技術やバー幅の判定に用いる閾値にある幅をもたせて、その範囲にあるときに等しいとする方式の技術が開示されている。
しかしながら、マークとしてのバーコードを撮影することを主目的せず、薬局業務を撮影対象とする画像からマークを認識する場合、十分なで認識精度を確保するには問題がある。
【特許文献２】特許第４１６３４０６号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
WEBカメラを含む動画、静止画撮影装置が取得した画像を高精度に認識し、その画像データや併設したマイクロフォンなどの音声収録装置が取得した音声によって、撮影の対象とする業務を漏れなく把握し記録し、かつ瑕疵や事故があった場合などに関連する画像を敏速に検索し、高度なトレーサビリティを実現する画像監視システムを提供することが本発明の課題である。
【０００７】
また、認識画像の撮影時間やその認識されたワークエリア、あるいは作業者あるいは処方の種類を利用して解析することにより、当該薬局における業務を評価し、その評価結果を所定の形式で表示することにより、ワークフローの管理を支援することも本発明の課題である。
【課題を解決するための手段】
【０００８】
本発明者は、上記課題を達成するため鋭意検討の結果、ＲＦＩＤでWEBカメラを含む動画、静止画撮影装置を制御していくことで高いトレーサビリティを実現するシステムを実現可能であることを知見し、本発明をなすに至った。
【０００９】
請求項１記載の発明は、薬局業務の監視システムにおいて、
１）薬局内に設定されたワークエリア毎に決められた撮影範囲に撮像パラメータを設定
し、該ワークエリアにおける業務進行を、前記撮影範囲を連続して撮影し、撮影した画
像データを所定の送信先へ送信する、ネットワークに接続したWEBカメラを含む動
画、静止画撮影装置、
２）監視の対象となる業務を行っていることを示す意図をもつ作業者によって、自在に
移動されて前記撮影範囲内に置くことのできるマーク表示物、
３）前記画像データを受信し、格納する、ネットワークに接続した画像記憶手段、
４）前記画像データを受信し、該画像を走査し、マーク領域を抽出し、前記マークを認
識する、ネットワークに接続した解析手段、
を構成要素として含み、前記撮影装置が送信する画像データにおいて、前記解析手段が
前記マークを認識すると、少なくともマークの撮影時間、ワークエリアＩＤを含むイン
デックスを作成し、該画像データを該インデックスと関連づけて画像記憶手段に格納す
ることを特徴とする。
【００１０】
請求項２記載の発明は、薬局業務の監視システムにおいて、
１）薬局内に設定されたワークエリア毎に決められた撮影範囲に撮像パラメータを設定
し、該ワークエリアにおける業務進行を、前記撮影範囲を連続して撮影し、撮影した画
像データを所定の送信先へ送信する、ネットワークに接続したWEBカメラを含む動
画、静止画撮影装置、
２）前記撮影範囲内に置かれたマーク表示物、
３）前記画像データを受信し、格納する、ネットワークに接続した画像記憶手段、
４）前記画像データを受信し、該画像を走査し、マーク領域を抽出し、前記マークを認
識する、ネットワークに接続した解析手段、
を構成要素として含み、前記撮影装置が送信する画像データにおいて、前記解析手段が
前記マークを認識しなくなると、少なくともマークが認識できない時間、ワークエリア
ＩＤを含むインデックスを作成し、該画像データを該インデックスと関連づけて画像記
憶手段に格納することを特徴とする。
【００１１】
請求項３記載の発明においては、請求項１又は２記載の発明における前記マークは、色マークであり、前記表示物が所定の色で着色されていることを特徴とする。
【００１２】
請求項４記載の発明においては、請求項１又は２記載の発明における前記マークは、縞マークであり、前記表示物に所定の縞が表示されていることを特徴とする。
【００１３】
請求項５記載の発明においては、請求項１又は２記載の発明における前記マークは、幾何学マークであり、前記表示物に所定の幾何学模様が施されていることを特徴とする。
【００１４】
請求項６記載の発明においては、請求項１記載の発明における前記マーク表示物は、前記業務に供する作業指示書、処方せんホルダー、薬剤トレイ、処方せんから選ばれる少なくとも１つの物であることを特徴とする。
【００１５】
請求項７記載の発明においては、請求項１記載の発明における前記マーク表示物は、作業者の手の甲もしくは作業服の袖であり、所定のマークに対して特定の作業者が対応づけられており、前記マークの認識において該作業者のＩＤが読み出され、前記インデックスの構成要素となることを特徴とする。
【００１６】
請求項８記載の発明においては、請求項１又は２記載の発明における前記マーク表示物は、各ワークエリアにおける前記業務をおこなう作業台であり、該作業台の作業面に前記マークが設けられてあることを特徴とする。
【００１７】
請求項９記載の発明においては、請求項１乃至８記載の発明における前記マークには、少なくとも処方ID を含むインデックスがバーコード、2次元バーコード、文字から選ばれる形式で併記されており、そのインデックスを読み出すことで、該インデックスが読み取られた画像群の属性を確定し、前記画像記憶装置に収納することを特徴とする。
【００１８】
請求項１０記載の発明においては、薬局業務の監視システムにおいて、
１）薬局内に設定されたワークエリア毎に決められた撮影範囲に撮像パラメータを設定し、該ワークエリアにおける業務進行を、前記撮影範囲を連続して撮影し、撮影した画像データを所定の送信先へ送信する、ネットワークに接続したWEBカメラを含む動画、静止画撮影装置、
２）前記画像データを受信し、格納する、ネットワークに接続した画像記憶手段、
３）前記画像データを受信し、該画像を走査し、所定の色パラメータを示す予め定めた背景色領域を抽出し、前記撮影範囲における該背景色領域の割合を認識する、ネットワークに接続した解析手段、
を構成要素として含み、前記撮影装置が送信する画像データにおいて、前記解析手段が認識した前記背景色領域の割合が所定の値を超えている間の画像データについて、少なくとも撮影時間、ワークエリアＩＤを含むインデックスを作成し、該画像データを該インデックスと関連づけて画像記憶手段に格納することを特徴とする。
【００１９】
請求項１１記載の発明においては、薬局業務の監視システムにおいて、
１）薬局内に設定されたワークエリア毎に決められた撮影範囲に撮像パラメータを設定し、該ワークエリアにおける業務進行を、前記撮影範囲を連続して撮影し、撮影した画像データを所定の送信先へ送信する、ネットワークに接続したWEBカメラを含む動画、静止画撮影装置、
２）薬局業務を行う作業者の手に付されたマーク、
３）前記画像データを受信し、格納する、ネットワークに接続した画像記憶手段、
４）前記画像データを受信し、該画像を走査し、連続する画像からマークのモーションを抽出し、該マークの予め設定したモーションを認識する、ネットワークに接続した解析手段、
を構成要素として含み、前記撮影装置が送信する画像データにおいて、前記解析手段が前記設定したモーションを認識すると、該画像データについて、少なくとも撮影時間、ワークエリアＩＤを含むインデックスを作成し、該画像データを該インデックスと関連づけて画像記憶手段に格納することを特徴とする。
【００２０】
請求項１２記載の発明においては、薬局業務の監視システムにおいて、
１）薬局内に設定されたワークエリア毎に決められた撮影範囲に撮像パラメータを設定
し、該ワークエリアにおける業務進行を、前記撮影範囲を連続して撮影し、撮影した画
像データを所定の送信先へ送信する、ネットワークに接続したWEBカメラを含む動
画、静止画撮影装置、
２）前記撮像範囲に撮影パラメータを設定し、撮影した熱映像データを所定の送信先へ
送信する、ネットワークに接続した熱映像装置、
３）前記画像データを受信し、格納する、ネットワークに接続した画像記憶手段、
４）前記熱映像データを受信し、該熱映像を走査し、人間の存在を認識する、ネットワ
ークに接続した解析手段、
を構成要素として含み、前記解析手段が人間の存在を認識すると、該認識が続く間の画
像データについて、少なくとも撮影時間、ワークエリアＩＤを含むインデックスを作成
し、該画像データを該インデックスと関連づけて画像記憶手段に格納することを特徴と
する。
【００２１】
請求項１３記載の発明においては、請求項１乃至８記載の発明における前記撮影範囲において前記マーク表示物を置く又は前記マークを設ける位置を設定し、該設定した位置により限定される領域のみを走査し、マークを認識することを特徴とする。
【００２２】
請求項１４記載の発明においては、請求項１３記載の発明における前記マーク表示物の表面において、マーク領域を更に設定してあることを特徴とする。
【００２３】
請求項１５記載の発明においては、請求項請求項９，１３又は１４記載の発明における前記撮影範囲もしくはマーク表示物表面には、前記バーコード、2次元バーコード、文字から選ばれる形式のインデックスを併記するためのインデックス領域が設定されており、そのインデックスを読み出すことで、読み取られた画像群の属性を確定し、前記画像記憶装置に格納することを特徴とする。
【００２４】
請求項１６記載の発明においては、請求１５記載の発明における前記マークは2つ以上の縞マークもしくは幾何学模様マークであり、該マークのうちの少なくとも２つが重なり部分を有しており、該重なり部分を基準として限定した領域に前記インデックスが併記されていることを特徴とする。
【００２５】
請求項１７記載の発明においては、請求項１乃至６記載の発明における前記マークは、バーコード、2次元バーコード、文字から選ばれる少なくとも１つであり、前記認識は、バーコード認識、2次元バーコード認識、ＯＣＲから選ばれる少なくとも１つの前記マークの種類に対応する認識モードによる認識であることを特徴とする。
【００２６】
請求項１８記載の発明においては、請求項１、６、１６又は１７記載の発明における前記マークが示す情報もしくは前記インデックスを構成する情報は、処方ＩＤ、患者ＩＤ、作業者ＩＤ、監査者ＩＤ、処方せんＩＤ、取り扱い薬種ＩＤから選ばれる少なくとも１つであることを特徴とする。
【００２７】
請求項１９記載の発明においては、請求項１乃至１８記載の発明における前記ワークエリアは、受付エリア、調剤エリア、ピッキングエリア、交付エリアから選ばれる少なくとも１つのエリアであり、各ワークエリアにはワークエリアＩＤが対応づけられていることを特徴とする。
【００２８】
請求項２０記載の発明においては、請求項１乃至６記載の発明における前記ワークエリア毎に決められた撮影範囲には、前記マーク表示物を置く位置を示す表示が設けられており、該ワークエリアにおける作業者が前記マークもしくは前記マークを付す物をマークの認識に適切な位置に置くためのガイドに供せられることを特徴とする。
【００２９】
請求項２１記載の発明においては、請求項１乃至８記載の発明における前記画像は動画であり、前記マークの認識もしくは認識されないことによって１つの業務シークエンスと判別される業務進行に係わるビデオデータを１つのファイルとして保存することを特徴とする。
【００３０】
請求項２２記載の発明においては、請求項１乃至２１記載のシステムにおいて、ネットワークに接続した音声記憶手段および前記画撮影装置に付加された音声収録手段を備え、前記インデックスと関連づけられて前記音声記憶手段に格納されることを特徴とする。
【００３１】
請求項２３記載の発明においては、請求項１乃至２１のシステムにおいて、ネットワークに接続した音声記憶手段、および、前記ワークエリア毎に配置されネットワークに接続した音声収録手段を備え、前記マークが認識された場合、認識に係わるワークエリアに配置された音声収録手段が収録した音声データを前記作成されたインデックスと関連づけて前記音声記憶手段に格納されることを特徴とする。
【００３２】
請求項２４記載の発明においては、請求項１乃至２３記載の発明における前記インデックスに含まれる情報は、所定のワークフローに従って前記ワークエリアを移動する前記マーク表示物が撮影される時間によって関連付けられており、該撮影時間、該ワークエリアＩＤ、前記ワークエリア又は業務毎に予め設定された標準時間の少なくとも1つを参照して所定の演算をし、その演算結果の値に応じてワークフロー管理情報を作成し、所定形式で出力をすることにより、ワークフローの管理を支援することを特徴とする。
【発明の効果】
【００３３】
本発明により、WEBカメラを含む動画、静止画撮影装置が取得する画像を適切に認識し、撮影の対象とする業務を漏れなく記録し、かつ瑕疵や事故があった場合などに関連する画像や音声を敏速に検索し、高度なトレーサビリティを実現する画像・音声監視システムを提供することができる。
【００３４】
また、認識画像の撮影時間やその認識されたワークエリア、あるいは作業者あるいは処方の種類を解析することにより、当該薬局における業務を評価し、その評価結果を所定の形式で表示することにより、ワークフローの管理を支援することもできる。
【実施例】
【００３５】
図１は、本発明のシステムの概略構成図である。ネットワーク１００に接続した３箇所のワークエリア１０１、１０２、１０３、画像音声解析手段１０４、画像・音声記憶手段１０５、データ管理手段１０６、システム制御センター１０７、ブラウザ端末１０８から構成される。
ここで示すシステムの構成は一例に過ぎず、設置する対象や構成する具体的なハード機器に応じて適宜構成することができる。例えばワークエリアを3箇所としたが、本発明のワークエリアはこれに限られるものではなく、薬局が有するワークエリアに応じて適宜設定可能である。また、画像音声解析手段をネットワーク上に１つを設けて集中解析しているが、各ワークエリアの画像撮影装置やマイクロフォンに1対1で対応させて設けてもよい。また、画像撮影装置とハード的に一体としたものでもよい。
また、以下の説明における画像音声解析手段、画像・音声記憶手段、データ管理手段、システム制御センターなどの動作は、予め用意されたプログラムをモニター、キーボード、マウス等のインターフェースを備えたパーソナルコンピュータやワークステーション等のコンピュータで実行し、各種デバイスを制御することにより実現される。また、これらのプログラムは、たとえばハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出され、システムのユーザが操作することによって実行される。
【００３６】
（マークの種類とワークエリアの構成  １）
図２はワークエリアのひとつ１０１の内部の撮影、録音に関わる部分を示した構成図である。WEBカメラ２０１、WEBカメラに固定されたマイクロフォン２０２、撮影範囲２０３、撮影範囲に置かれたマーク表示板２０３、マーク表示版の表面に表記された２つの縞マーク２０５、２０６、縞マークに併記された2次元バーコード２０７という構成である。
ここで縞マークに併記するコードを2次元バーコードとしたが、本発明で採用可能な表示の構成はこれに限られるものではなく、バーコード、文字マークなども適宜採用することができる。
2つの縞マークの効果は、後述の画像解析で詳しく説明するように、マークに方向性があり、コードとの位置関係を予め決めておけば、複数のマークもしくは、マークと画面倍率からコードの位置が推測できる。これはコード発見までの画像走査演算に対する負担を大幅に軽減する効果がある。
【００３７】
WEBカメラ２０１の撮影パラメータは、業務に係わる処方せん、医薬品等をクリアに撮影するため、対象とする業務の性質、作業位置、明るさ等によって調整されおり、所定の間隔で撮影し、撮影時間およびワークエリアIDがマークされた画像信号をネットワークへ送出する。マイクロフォン２０２は、その音声感知範囲を撮影範囲２０３に合わせて調節して、業務に係わる音声を拾う設定である。撮影範囲２０３は、当該ワークエリアにおける業務の性質に応じて当該業務を収める範囲に調節されてある。収録した音声信号は、収録時間およびワークエリアIDをマークしてネットワークへ送出される。
ここで撮影パラメータは、焦点の位置、撮影範囲、被写界深度、シャッター速度、光感度から選ばれる少なくとも１つを含んでいる。
マーク表示板２０４は、作業者の持ち運びの便および作業台等に置いたときの安定を考慮して、適当なサイズ、形状、重さで作成される。数cm 角が適当であるが、カメラの性能や業務の性質により適当な変更をしてもよい。
ここで画像撮影装置としてWEBカメラを採用したが、本発明の画像撮影装置はWEBカメラに限られるものではなく、ネットワークに接続できる動画、静止画撮影装置であれば、いかなる画像撮影装置でも採用することが可能である。
また、マーク表示物に２つの縞マークと2次元バーコードを併記させる構成としたが、カメラに認識させたい情報量が少ない場合や、単に業務開始・終了を把握させるのであれば、１つの縞模様や幾何学模様だけを表示する構成としてもよい。
【００３８】
（マークの種類とワークエリアの構成  ２）
図３はワークエリア１０２の内部の撮影、録音に関わる部分を示した構成図である。WEBカメラ３０１、ワークエリアに設置されたデスク等の作業面３０３をカバーするように調節された撮影範囲３０２、ワークエリアに設置されたマイクロフォン３０３、作業面に置かれた作業指示書３０５、作業指示書の所定の場所に表示された直線のラインマーク３０６、該ラインマークに沿って記載されたバーコード３０７、バーコードの上に先のラインマークとへ移行に記載された作業者を表す文字３０８という構成である。
WEBカメラ３０１の撮影パラメータは、業務に係わる作業指示書、医薬品等をクリアに撮影するため、対象とする業務の性質、作業位置、明るさ等によって調整されてある。撮影範囲３０２は、作業面３０３をカバーするように調節されている。
マイクロフォン３０４は、その音声感知範囲を撮影範囲３０２に合わせて調節して、業務に係わる音声を拾う設定である。ここで画像撮影装置としてWEBカメラを採用したが、本発明の画像撮影装置はWEBカメラに限られるものではなく、ネットワーク１０２に接続できる動画、静止画撮影装置であれば、いかなる画像撮影装置でも採用することが可能である。
【００３９】
３０５は、作業指示書である。作業指示書の表面上には、直線の幾何学マーク３０６が表記されており、その上にバーコード３０７が平行に記され、そのまた上に作業者所属名前が文字３０８で記されている。これらの位置関係及び領域は予め設定されており、後で説明する認識のフローにおいては、この位置関係や領域で抽出されるそれぞれの認識対象領域を走査する。
ここでは幾何学マークを作業指示書の表面に表記したが、本発明のマーク表示物はこれに限られるものではなく、処方せんホルダー、薬品トレイあるいは処方せんなど薬局業務に供するもので、マークを表示できるものであれば採用可能である。
【００４０】
（マークの種類とワークエリアの構成  ３）
図４はワークエリア１０３の内部の撮影・録音に関わる部分を示した構成図である。WEBカメラ４０１、カメラの撮影範囲４０２、撮影範囲内に固定された作業台の作業面４０３、青色の四角枠マーク４０４、四角枠内に表記された2次元コード４０５、指向性のマイクロフォン４０６，４０７という構成である。WEBカメラ４０１の撮影パラメータは、業務に係わる処方せん、医薬品等をクリアに撮影するため、対象とする業務の性質、作業面の位置、明るさ等によって調整されてある。撮影範囲４０２は、業務を行う作業面４０３を収める範囲に調節されてある。四角枠の色マークは、通常の薬局業務では現れない青色の幾何学模様で作業面の中央に表示されている。さらにこの四角枠で限定される枠内の領域に2次元コード４０５が記されている。
【００４１】
ワークエリア１０３の構成は、接客カウンターに適当な構成であり、2つの指向性マイクロフォン４０６，４０７はそれぞれ薬剤師と患者とに指向しており、2トラックで画像と共に収録することができるので、薬剤師の発話、患者の発話を明確に識別できる。薬局業務のトレーサビリティのために効果がある。
ここで薬剤師の音声を取得するためのマイクロフォンについては、ヘッドセットマイクやピンマイクとして薬剤師に付けてもらう方式を採用してもよい。この場合、これらのマイクに指向性は設ける必要はない。
【００４２】
ここで画像撮影装置としてWEBカメラを採用したが、本発明の画像撮影装置はWEBカメラに限られるものではなく、ネットワークに接続できる動画、静止画撮影装置であれば、いかなる画像撮影装置でも採用することが可能である。
また、マーク表示物に幾何学模様の色マークとそのマークで限定された領域に2次元バーコードを設ける構成としたが、カメラに認識させたい情報量が少ない場合や、単に業務開始・終了を把握させるのであれば、適当な大きさの青色に塗りつぶされた正方形を作業面に設けて、その色マークを認識させる構成としてもよい。
【００４３】
１０１〜１０３で示したワークエリアの構成においてWEBカメラは、業務の妨げにならず、調剤業務を監視するによい場所を選び固定し、予めワークエリアの作業面に撮影パラメータを設定しておけばよく。作業面の真上に配置することが望ましいが、後で述べる認識方式においてカメラ位置と作業面あるいはマーク位置との関係から発生する歪みを補正する手段を備えていれば、作業面の真上に限定されるものではない。
また、１０１〜１０３で示したワークエリアでは、それぞれ異なったマークを採用しており、そのマーク認識方式はそれぞれ異なる。以下それらを認識する解析手段１０４の解析動作ついて順番に説明する。
【００４４】
（マークの応じた認識  １）
図５は、ワークエリア１０１からの入力画像に対する画像音声解析手段１０４の動作を示したフローチャートである。
ＷＥＢカメラからの画像信号は、５０１において、まずイメージデータとして画像信号処理が行われる。ここで処理されたイメージデータは、後で説明するシステム制御センターにおける動作において、特に図示しないバッファーメモリに一時保存されて（物理的には存在しない論理メモリとして存在させることもできる。）、マークが認識された場合、ステップ５０８で作成されたインデックスと関連づけて画像・音声記憶手段１０５に保存される。あるいは、そのままネットワーク経由で画像・音声記憶手段に送信して一時保存してもよい。その場合でも、システム制御センター１０７の動作によって、インデックスが作成された後に、マーク認識されたイメージデータが分類され、インデックスに関連づけて画像・音声記憶手段に格納される。
【００４５】
５０２は、イメージデータに対して、グレースケール処理をする、グレースケール化ステップである。５０３は、グレースケール化された画像領域の各画素の照度の値を走査し、照度の値変化が所定の閾変化値を超える大きく変化する領域を抽出し、かかる領域の画素数から算出される面積が閾面積値を超える領域を縞マーク領域として抽出するパターン抽出ステップである。５０４は、抽出された縞マーク領域が構成するパターンをマークパターン・テーブル５０９に登録された縞パターンと比較し、所定の縞マークを認識するマーク認識ステップである。
【００４６】
図６は、マークパターン・テーブル５０９の一部を示したものである。パターンＩＤが「ＭＰ−１」である縞マークが２つ認識され、業務状態のラベルは「１」であり、当該画像・音声データのインデックス項目に作業中であることを示すフラグをたてる。ここで示されるラベルは、「１」は作業進行中、「０」は作業が行われていないことを示す。
図２に示したワークエリア１０１では、2つの縞パターンが認識され、業務進行中であると把握される。さらには、連続して送信される画像信号を認識することで業務状態が「０」から「１」へ変わった画像が業務開始に係わるものであり、「１」から「０」へと変わる画像が業務終了に係わるものであると把握することが可能であり、係る状態変化を検知して業務開始時間、業務終了時間を認識することができる。
【００４７】
認識ステップ５０４で縞マークの存在を認識した場合、コード領域抽出ステップ５０５において、マーク領域の抽出が行われる。この抽出は予めマークと併記されるコードの位置関係やサイズをパターンとして登録しておいたコード配置パターン・テーブル５１０を参照して行われる。
【００４８】
図７は、コード配置パターン・テーブル５０９の内部構成の一部を示したものである。
ここではコード配置パターンＩＤが「ＲＰ−１」である「シマシマ」という配置パターンであることが認識され、２つの縞マークが重なった領域に近辺に設定された2次元バーコードのコード領域が示される。すなわち、コード領域イメージ項目における四角いワクで囲われた無地部分７０１である。
ここで、カメラ位置や作業位置は予め設定されているので、カメラと撮影範囲の位置関係から定まるサイズの大小、変形を補正して、パターン・テーブルに示す標準サイズのイメージと比較することにより、認識精度がさせることができる。
【００４９】
５０６は、そのコード領域として限定された領域の画像信号を2次元コードデータとして処理する画像処理ステップである。５０７において、マークに併記された2次元バーコードは認識され、コード化されていた情報が読み出される。５０８は、読み出された情報を利用してインデックスが作成されるインデックス作成ステップである。
【００５０】
図８は2次元バーコードに書き込まれた情報のデータ項目であり、図９はインデックスを構成するデータ項目である。ここで示したデータ項目は本発明の一例に過ぎず、薬局業務に係わるデータ項目を2次元バーコードやインデックスの構成データとして利用することが可能である。
【００５１】
上述のフローにおいては、ＷＥＢカメラからの画像信号の前処理行程において、グレースケール化処理を採用した方式を示したが、２値化処理を採用した方法を採用することも可能である。図５-２は、前処理に２値化処理を採用した場合のフローチャートである。
以下に、その場合のフローを説明する。
【００５２】
５２０１において、まずイメージデータとして画像信号処理が行われる。
５２０２は、イメージデータに対して、黒画素を判定し、2値化を行う2値化ステップである。５２０３は、2値化により判定された黒画素の分布から、縞を構成するバーパターンを抽出するパターン抽出ステップである。５２０４は、抽出されたバーが構成するパターンをマークパターン・テーブル５０９に登録された縞パターンと比較し、所定の縞マークを認識するマーク認識ステップである。
【００５３】
認識ステップ５２０４で縞マークの存在を認識した場合、コード領域抽出ステップ５２０５において、マーク領域の抽出が行われる。この抽出は予めマークと併記されるコードの位置関係やサイズをパターンとして登録しておいたコード配置パターン・テーブル５１０を参照して行われる。
【００５４】
５２０６は、そのコード領域として限定された領域の画像信号を2次元コードデータとして処理する画像処理ステップである。５２０７において、マークに併記された2次元バーコードは認識され、コード化されていた情報が読み出される。５２０８は、読み出された情報を利用してインデックスが作成されるインデックス作成ステップである。
【００５５】
（マークの種類に応じた認識２：文字、バーコード、直線の併記）
図１０は、ワークエリア１０２からの入力画像に対する画像音声解析手段１０４の動作を示したフローチャートである。
ＷＥＢカメラからの画像信号は、１００１において、まずイメージデータとして画像信号処理が行われる。１００２は、イメージデータに対して、黒画素を判定し、2値化を行う2値化ステップである。１００３は、2値化により判定された黒画素の分布から、バーを抽出するパターン抽出ステップである。
【００５６】
ここで抽出対象となるバーは、作業指示書の所定の位置に表示されているので、作業台等に設けられた作業面３０３において、指示書を置く場所を定めておけば、マークを認識するために走査すべき画像領域を特定の範囲に限定することができる。マーク認識の精度向上と認識の高速化に顕著な効果がある。また、作業者が正しく定められた位置におけるようにペイントマークなどのガイドを設けておけば尚、正確で高速なマーク認識を実現することができる。
【００５７】
１００４は、抽出されたバーが構成するパターンをマークパターン・テーブル５０９に登録されたパターンと比較し、作業指示書３０５に記載されたバー３０６を認識するマーク認識ステップである。
図６は、マークパターン・テーブル５０９の一部を示したものである。パターンＩＤが「ＭＰ−２」であるバーが認識され、業務状態は「１」と把握される。
図３に示したワークエリア１０２では、業務進行中であると把握される。
【００５８】
認識ステップ１００４でバーの存在を認識した場合、コード領域抽出ステップ１００５において、マーク領域の抽出が行われる。この抽出は予めマークと併記されるコードの位置関係やサイズをパターンとして登録して置いたコード配置パターン・テーブル５１０を参照して行われる。
【００５９】
図７で示したコード配置パターン・テーブル５０９を参照して、コード配置パターンＩＤが「ＲＰ−２」である「アンダーライン」という配置パターンであることが認識され、バーに平行して並ぶバーコード領域および文字領域の推定が行われる。すなわち、コード領域イメージ項目における四角いワクで囲われた７０２および７０３で示される領域である。
ここで、画像に占めるバーの太さ、長さ等をピクセルに換算し、上記コード領域や文字領域との位置関係、その領域のサイズを算定し、その算定された位置・サイズにマッチする領域の画像信号を走査の対象として抽出するのである。
【００６０】
１００６は、そのバーコード領域として限定された領域の画像信号をバーコードデータとして処理するバーコード認識ステップである。１００７は、その文字領域として限定された領域の画像信号を文字としてOCR（Optical Character Reader）処理するOCR認識ステップである。
【００６１】
インデックス作成ステップ１００８において、認識されたバーコードおよび文字から読み出された情報を利用してインデックスが作成される。
【００６２】
（マークの種類に応じた認識３：青色の四角枠と2次元バーコード）
図１１は、ワークエリア１０３からの入力画像に対するＷＥＢカメラからの画像信号の処理に関するフローチャートである。ここでのマークは、作業面の中央に設けられてあり、作業行われている間は、作業者や作業対象物の影になり、画像に現れない。
ここで、マークを作業面中央に設けたが、撮影範囲内で作業中隠れる領域であれば、どこに設けてもしてもよい。
【００６３】
１１０１において、まず業務開始前の画像信号について処理が行われる。前処理ステップ１１０２では、イメージデータに対して、黒画素を判定し、2値化を行う2値化処理、2値化により判定された黒画素の分布からバーを抽出するパターン抽出処理が行われる。
【００６４】
１１０３は、抽出されたバーが構成するパターンをマークパターン・テーブル５０９に登録されたパターンと比較し、作業面中央に記載された四角枠４０４を認識するマーク認識ステップである。
図６におけるパターンＩＤが「ＭＰ−３」である四角ワクが認識され、業務状態は「０」と把握される。「０」は、当ワークエリアで業務が行われていないことを示すラベルである。
【００６５】
認識ステップ１１０３で四角ワクマークの存在を認識した場合、コード領域抽出処理が、コード配置パターン・テーブル５１０を参照して行われ、抽出されたコード領域の認識処理が行われる。
【００６６】
図７で示したコード配置パターン・テーブル５０９を参照して、コード配置パターンＩＤが「ＲＰ−３」である「ワク」という配置パターンであることが認識され、ワク内に2次元バーコード領域を推定する。すなわち、「コード領域イメージ」項目における四角いワクで囲われた７０４で示される領域である。
【００６７】
コード認識処理は、その2次元バーコード領域として限定された領域の画像信号を2次元バーコードデータとして処理する2次元バーコード認識である。
【００６８】
インデックス登録ステップ１１０６において、認識された2次元バーコードから読み出された情報を利用して図９で示すようなインデックスが作成される。ここでインデックスは、まだインデックスが示すファイルについての情報や業務開始時間は空欄であり、ワークエリアIDなど確定された情報のみが埋まっている状態である。
ここで作成するインデックスの構造は、図９で示す構造に限られるものではなく、ワークフロー管理などに利用できる情報であれば、いかなる構造でも採用可能である。
【００６９】
１１０７から１１１０までのフローは、インデックス登録後のワークエリア１０３における業務監視についてのフローである。１１０７は、一定間隔で撮影するカメラからの入力画像に所定のマークが認識されるかどうかの確認がおこなわれるマーク確認ステップである。
【００７０】
１１０８のマーク確認処理では、前述の処理をおこないマーク存在について、認識されれば「Yes」の判定を、確認されなければ「No」の判定を行う判別処理である。１１０９は、判定が「Yes」の連続から「No」への切り替わり、及び「No」の連続から「Yes」への切り替わりをもって行う処理である。
ここで、画像の誤認識等を考慮して、所定のコマ数だけの切り替わりについては判定しない補正処理をしておいてもよい。
１１１０のインデックスに追記ステップにおいて、把握された業務開始から撮影開始時間を検出し、インデックスに追記する。
【００７１】
（色マークによる業務の認識）
図１２は、これまでの構成や方式とは異なるが、本システムに採用可能なワークエリア１２０１の構成を示したものである。WEBカメラ１２０１、カメラの撮影範囲１２０２、撮影範囲内に固定された作業台の作業面１２０３、四角の色マーク１２０４、指向性のマイクロフォン１２０５，１２０６という構成である。四角の色マーク１２０４は、通常の薬局業務では現れない蛍光オレンジ色に着色されている。従って、撮影エリアにおける蛍光オレンジ色領域は、通常はこのマークが占める面積である。
【００７２】
図１３は、ワークエリア１２０１のＷＥＢカメラからの画像信号に対する画像音声解析手段１０４の動作に関するフローチャートである。ここでのマークは、作業面の中央に設けられてあり、作業行われている間は、作業者や作業対象物の影になり、画像に現れない。
ここで、マークを作業面中央に設けたが、撮影範囲内で作業中隠れる領域であれば、どこに設けてもしてもよい。
【００７３】
１３０１において、まずマーク認識処理が行われる。動作フローの分岐１３０２において、マークが認識（Ｙｅｓ）ならば、マーク・コード処理１３０３となる。マークやコードの認識については、マークやコードの種類に応じて、既に述べた方式を適宜採用すればよい。マークが認識されない（Ｎｏ）ならば、色認識ステップ１３０４へ動作が移行する。
【００７４】
色認識ステップ１３０４では、イメージデータに対して、画素の分析を行い、判定対象の色毎に設定したＲＧＢの色範囲に収まる画素を判定し、その色領域が占める撮影範囲に対する割合を撮影範囲の画素数全体に対する対象色と判定された画素の数の割合として演算し、色認識をおこなう。図１４は、この色認識において参照する色認識テーブルであり、蛍光オレンジ色マーク１２０４が、撮影されている画像であれば、色領域は５％以上を占めるので、色ＩＤ「Ｃ−1」の認識条件を５％以上と定め、演算結果と比較して条件満たされると、業務状態を示すラベル「０」が当該画像に付与される。
ここで色範囲とは、検査画像の色空間の各次元に対する上限値及び下限値である。通常、色空間は、赤、緑、青のＲＧＢにより表されものであり、本実施例でもこの方式を採用しているが、本発明で採用可能な色認識の方式はこれに限られるものではない。
【００７５】
１３０５では、連続して撮影される画像毎に画像に付与されたラベルにより、業務状態をチェックする判定ステップである。１３０６は、判定が「１」の連続から「０」への切り替わり、及び「０」の連続から「１」への切り替わりをもって行う業務開始・終了の把握処理である。把握された業務開始および終了は、該当する画像データもしくは、撮影時間に関連づけされて、データ管理手段において記録される。
【００７６】
（白領域の認識）
ワークエリア１２０１に採用した色認識方式では、青マーク１２０４のような色マークを設定しないでも、薬局業務中に特に増加する色の領域を認識することによって業務を把握することが可能である。図１５に示すワークエリアの構成は、WEBカメラ１５０１、カメラの撮影範囲１５０２、撮影範囲内に固定されたカウンター（作業台の作業面）１５０３、マイクロフォン１５０４，１５０５、薬剤師（作業者）１５０６、患者１５０７という構成である。
【００７７】
ここで薬剤師１５０６は、標準的服装の場合大部分が白色領域となり、作業面に置く処方せんや業務指示書等も大部分が白色である。図１５の薬剤師がカウンターにつくと、通常は撮影範囲の３０％以上が白色領域となる。ここで図１４に示す色認識テーブルを参照すると、色ＩＤ「Ｃ−２」が認識され、条件は色領域が３０％以上と登録されている。
したがって、図１５のワークエリアで業務の開始を白色「Ｃ−２」についての色認識によって、画像音声解析手段１０４に色認識テーブルなどを利用した認識動作をさせることにより、特別なマークを設けることなく業務を把握することができる。
ここで、白領域の位置を把握することにより、その白領域に向いた指向性マイクが収録する音声が薬剤師の音声であることを把握することができる。
【００７８】
（作業者の手の甲、袖に表示したマークの認識）
図１６は、これまでの構成や方式とは異なるが、本システムに採用可能なワークエリア１６０１の構成を示したものである。マイクと一体型のWEBカメラ１６０１、撮影・集音範囲１６０３、作業者１６０４、作業者の手の甲に記載された文字マーク１６０５、マーク１６０６という構成である。ここで文字マーク１６０５及びマーク１６０６は、ＷＥＢカメラから撮影可能な袖口や肩などであってもよいが、業務の性質を考慮して撮影範囲から見えなくなる頻度が少ない位置に設定される。
【００７９】
図１７は、作業者の体の部位に記載された文字マークに係わるマークパターン・テーブルに一部である。図１８は、マーク１６０６に係わる文字マーク・テーブルの一部を示したものである。図１９は、コード配置パターン・テーブルのマーク１６０６に係わる一部分を示したものである。
【００８０】
ここで、ワークエリア１６０１からの画像信号に対する画像音声解析手段１０４の動作を示す。図２０は、その画像解析動作のフローチャートである。
ＷＥＢカメラからの画像信号は、２００１において、まずイメージデータとして画像信号処理が行われる。ここで処理されたイメージデータは、後で説明するシステム制御センターにおける動作において、特に図示しないバッファメモリに一時保存されて、マークが認識された場合、ステップ２００９で作成されたインデックスと関連づけて画像・音声記憶手段１０５に保存される。あるいは、そのままネットワーク経由で画像・音声記憶手段に送信して一時保存してもよい。その場合でも、システム制御センター１０７の動作によって、インデックスが作成された後に、マーク認識されたイメージデータが分類され、インデックスに関連づけて画像・音声記憶手段に格納される。
【００８１】
２００２は、イメージデータに対して、黒画素を判定し、2値化を行う2値化ステップである。２００３は、2値化により判定された黒画素の分布から、マークを構成するパターンを抽出するパターン抽出ステップである。２００４は、抽出されたバーが構成するパターンをマークパターン・テーブル５０９に登録されたパターンと比較し、マークを認識するマーク認識ステップである。
【００８２】
図１８は、マーク１６０６の認識に係わるマークパターン・テーブル５０９の一部を示したものである。パターンＩＤが「ＭＰ−４」である「文字ガイド」が認識され、業務状態は「１」と把握される。
【００８３】
マーク認識ステップ２００４で「文字ガイド」の存在を認識した場合、コード領域抽出ステップ２００５において、文字マーク領域の抽出が行われる。この抽出は予めマークと併記される文字マークやコードとの位置関係やサイズがパターンとして登録されたコード配置パターン・テーブル５１０を参照して行われる。図１９は、「文字ガイド」に係わるテーブル部分を記したものである。
【００８４】
ここではコード配置パターンＩＤが「ＲＰ−４」である「文字ガイド」という配置パターンであることが認識され、文字マーク領域１９０１と短いバーの方向である文字の上方向と長いバーの方向である左右の方向を認識することができる。
【００８５】
２００６は、その文字マーク領域として限定された領域の２値化された黒画素から文字マークを切り出す処理する文字マーク切り出しステップである。２００７において、切り出された文字マークが文字マーク・テーブル２００８を参照しては認識される。文字マークの上下・左右方向は「文字ガイド」によって検知できるので、認識の精度を高くすることができる。
【００８６】
ここでは、文字マークＩＤ「Ｈ−１」が認識され、作業者ＩＤ「赤城」という情報が読み出される。また、業務状態のラベルは業務進行中を示す「１」であることも確認される。これらの読み取り情報は、必要に応じてインデックスの項目とすることができる。２００８は、読み出された情報を利用してインデックスが作成されるインデックス作成ステップである。
【００８７】
ここでWEBカメラ１６０１の撮影パラメータは、業務に係わる処方せん、医薬品そして作業台に置かれたときの手の甲をクリアに撮影するため、対象とする業務の性質、作業位置等によって調整される。さらに画像の濃淡をしきい値で行う２値化は照度の変化に弱いので、照明を厳しく調節しておくと、より高精度な認識結果を得ることができる。
【００８８】
（手のモーションの認識）
図２１は、これまでの構成や方式とは異なるが、本システムに採用可能なワークエリア２１０１の構成を示したものである。マイクと一体型のWEBカメラ２１０２、撮影・集音範囲２１０３、作業者２１０４、作業者の手に固定されたマーク２１０５という構成である。ここでマーク２１０５は、所定の合図をするときだけＷＥＢカメラから撮影可能なように手のひらに隠すように付することが望ましい。あるいは、合図動作するときだけ取り出して、ＷＥＢカメラに向けて合図動作をするようなマーク表示体であってもよい。
【００８９】
図２２は、作業者がマークを付けなどした手を振るなどの所定の動作（モーション）をしたときに、その連続して撮影されたマーク部分の画像を切り出して、時系列に移動していくマーク領域が形成するモーションパターンを認識するために参照するモーションパターン・テーブルである。
例えば、作業者２１０５が、カメラに向かってマークを固定等した手を一直線に振れば、画像音声解析手段１０４は、所定の認識動作にしたがって、モーションパターン認識テーブルを参照し、モーションＩＤ「Ｍ−１」のスタートと認識する。このときの業務状態は「業務開始」であることが把握される。
同様に、カメラに向かってマークを固定した手を回せば、「Ｍ−２」のストップを認識し、そのときの業務状態は「業務終了」であると把握される、といったように画像解析されるのである。
ここで認識された業務状態に係わる業務開始時間等は、インデックスを構成する項目となるものであり、ワークエリア２１０１のワークエリアＩＤとともに画像・音声データのインデックスを作成するために利用される。
【００９０】
本発明のモーション認識方式は、本実施例で示した予め設定して置いたモーションイメージと比較することによるモーション認識に限られるものでなく、周知のモーション認識技術を本発明の構成要素として適宜採用可能である。
【００９１】
（赤外線カメラによる業務開始・終了の認識）
図２３は、これまでの構成や方式とは異なるが、本システムに採用可能なワークエリア２３０１の構成を示したものである。WEBカメラ２３０１、ワークエリアに設置されたデスク等の作業面２３０５をカバーするように調節された撮影範囲２３０３、この撮影範囲に撮影パラメータを設定した赤外線カメラ２３０４、作業者が装着するマイクロフォン２３０６、作業者２３０７いう構成である。赤外線カメラ２３０４が取得する熱映像は、ワークエリアＩＤ、撮影時間の情報を付加されて、ネットワークを介して画像音声解析手段に送信され、後で説明するフローを実行するプログラムによる動作に従って認識が行われる。
ここでの熱映像は、作業者の存在を認識するために利用するものであるから、作業面そのものではなく作業者の作業位置を設定し、その範囲をカバーするように赤外線カメラの撮影パラメータを調整する方式を本発明に採用することもできる。
【００９２】
図２４は、ワークエリア２３０１の赤外線カメラ２３０４からの熱映像信号に対する画像音声解析手段１０４の動作に関するフローチャートである。
【００９３】
２４０１において、まず熱映像の２値化が行われる。２値化は、画素毎に閾温度をこえているかを判定して行われる。閾温度は、熱映像認識テーブル２４０２に登録された温度を用いる。図２５は、熱映像認識テーブルの構成の一部を示したものである。ワークエリア毎に閾温度と画像全体に対する熱映像領域の割合が登録されており、作業者が認識された場合の作業状態ラベルは「１」である。ここでは図示しないが、作業者が認識されない熱映像データのラベルは「０」となる。
【００９４】
作業者領域切り出しステップ２４０３において、作業者領域の切り出しが行われる。切り出し対象は２値化されて閾温度を超えたと判定された画素の領域である。
【００９５】
作業者認識ステップ２４０４では、前のステップで切り出した領域が占める撮影範囲に対する割合を撮影範囲の画素数全体に対する切り出し領域の画素数の割合として演算し、熱映像認識テーブル２４０２に登録された認識条件の割合と比較し、条件をみたしているならば、作業者の存在が認識される。
【００９６】
２４０５は、連続して撮影される熱映像毎に付与されたラベルを読み出し、業務状態をチェックする判定ステップである。２５０６は、判定が「１」の連続から「０」への切り替わり、及び「０」の連続から「１」への切り替わりをもって行う業務開始と業務終了を把握する処理である。把握された業務開始および業務終了は、該当する画像音声データのファイル、撮影時間、ワークエリアＩＤに関連づけされて、データ管理手段１０６において記録される。
【００９７】
（音声をトリガとした業務開始・終了の認識）
ここまでは、業務の把握のために、画像信号を解析する方法による技術を説明してきたが、
本発明の業務把握方法はこれに限られるものでなく、ワークエリアにおいて収録する音声信号を解析して、業務を把握し、システムを制御していく方法も採用可能である。
図２６は、ワークエリアに設けられたマイクロフォンからの音声信号に対する画像音声解析手段１０４の動作に関するフローチャートである。
【００９８】
２６０１において、まず音声信号の２値化が行われる。２値化は、閾音圧を超えた音声信号を業無音と定義して、業無音の有無によって判定が行われる。ここで１秒毎としたが、業務の性質によって音声を解析する間隔を決めればよい。閾音圧は、音声認識テーブル２６０２に登録された閾音圧値を基準に判定される。図２７は、音声認識テーブルの構成の一部を示したものである。ワークエリア毎に閾音圧と業務進行の認識条件が登録されている。
【００９９】
業務音切り出しステップ２６０３において、業無音がある音声信号収録時間の切り出しが行われる。切り出し対象は２値化されて閾音圧を超えたと判定された音声信号のある収録時間である。
【０１００】
業務進行認識ステップ２６０４では、前のステップで切り出した収録時間の分布が、音声認識テーブルに登録された条件を満たす区間を抽出し、２６０４でその区間の始まりを業務開始時間とその区間の終了時点を業務終了時間として認識する。
ワークエリアが「受け付け」である場合の認識条件２７０１の場合の認識であれば、業無音の継続を最初に３秒以上検出したとき、その業務音の開始時間を業務開始時間とし、その後、無音が5秒以上継続すると、その無音の開始時間を業務終了時間として把握するのである。
【０１０１】
把握された業務開始時間および業務終了時間は、該当する画像・音声データのファイル、ワークエリアＩＤ、業務ＩＤなどに関連づけされて、データ管理手段１０６において記録される。
【０１０２】
（システム制御センターによる画像・音声データの記録動作）
図２８は、システム制御センター１０７における画像・音声データの記録動作を示したフローチャートである。
画像・音声信号受信ステップ２８０１において、ワークエリアに設けられＷＥＢカメラやマイクロフォンからの画像信号や音声信号を、これら信号に付加された撮影時間およびワークエリアＩＤとともに受信する。一時保存ステップでこれら信号とインデックス情報をバッファーメモリ２８０３に一時保存する。バッファーメモリは、システム制御センター内に物理的に設けておく。ここで本発明のバッファーメモリは、この構成に限られるものではなく、画像音声記憶手段１０５の領域に論理的に確保しておいても良い。
【０１０３】
画像音声解析ステップ２８０４では、画像音声解析手段１０４を制御して画像音声信号の解析を行う。この解析動作については、ワークエリアの構成に応じて、複数のフローがあり、その詳細については既に説明した。
判別ステップ２８０５では、画像音声解析手段の解析動作の対象となる画像データを所定の間隔で監視し、業務進行状態であることのフラグもしくはラベルの付与を検出することによって判別が行われる。ここで業務進行状態を示すフラグを検出できなければ、記録の対象とされず、放置されバッファーメモリの更新とともに消去される。
ここで記録対象は消去することとしたが、本発明の方式はこれに限られるものではなく、撮影・録音に係わるデータをすべて所定の記憶装置に保存して、必要に応じて解析する方式を採用することもできる。
【０１０４】
業務シークエンス把握ステップ２８０６では、画像音声解析手段１０４による解析動作で把握された業務開始・終了に係わる画像音声データに関連づけされた撮影時間を当該データから読み出して、業務進行シークエンスに係わる画像音声データの区間を把握する。
【０１０５】
画像音声データ切り出しステップ２８０７では、ステップ２８０６で把握された区間の画像音声データを切り出しが行われ、当該業務シークエンスに係わるデータファイルが作成される。そして、ステップ２８０８において、業務シークエンスに係わる画像音声データファイルとして画像音声記憶手段１０５に格納される。このとき、業務シークエンスに係わるデータファイルで作成されたインデックスに受信した画像音声信号から読み取り可能な撮影開始時間、ワークエリアＩＤ、カメラＩＤなど所定の情報をインデックス項目として追加したうえで、このインデックスと当該データファイルと関連づけがおこなわれる。
【０１０６】
（画像・音声記憶手段の構造）
図２９は、業務シークエンスに係わるデータファイル格納する画像音声記憶手段１０５の格納データの構造を示したものである。
ここでデータ項目である「処方ＩＤ」「患者ＩＤ」「薬種ＩＤ」「用量」は、マークや各種コードの認識において、その読み取り情報から取得することができるが、音声、熱映像、色マークに関連づけて読み取ることは困難菜情報である。
「ワークエリアＩＤ」「撮影開始時間」「カメラＩＤ」といった項目は、画像音声信号のヘッダー情報などから読み取ることができるので、どの認識方法からでも読み取ることが容易である。
「作業者ＩＤ」は、作業者の手の甲などの部位に作業者を識別する文字マークを付けて、おこなうマーク認識や各種コード認識においては、そのマークやコードの情報として読み取る方式を採用することができる。
２９０１の「業務評価」は、読み取り情報等として取得可能な情報と予め設定した基準とを用いた演算を行うことによって作成するものであり、後のワークフロー管理動作の説明において詳細に説明する「待ち時間」による評価であり、更新され、当該業務が終了したときの最終的な評価値である。
本発明のインデックス項目は、ここに示した項目に限れるものではなく、本発明のシステムを実施する対象の業務や施設に応じて、この他の項目を採用し、項目数を減らすなど最適化したインデックス項目を設定すればよい。
【０１０７】
上記説明から分かるとおり、画像音声データのインデックスとなるデータ項目として、利用する項目は多くあるが、それらの中には特定の認識方式においてでなければ、取得困難なものが含まれている。
一方、コード認識のように多くのデータ項目を読み取り情報として取得可能な方式は、認識条件が厳しく、照明等を厳格に調整したり、撮影パラメータを正確に合わせる必要があるなど認識不能やご認識を招きやすい脆弱な認識方式でもある。
業務進行の存在を認識できるだけで、他の情報を取得する困難な熱映像による認識は、認識不能、誤認識が少ない頑健な認識を実現する方式である。
また、前に述べたようにマークやコードを組み合わせることで、認識の脆弱さを補ったり、必要なＣＰＵやメモリのリソースを節約することが可能となる。
【０１０８】
ここで採用した複数の認識方式を組合せ、補完して、必要なインデックス項目に空欄が生じないようにすることが望ましく、トレーサビリティ情報の欠落を防ぐ意味でも大きな貢献がある。
【０１０９】
（システム制御センターによるワークフロー管理動作）
図３０は、ワークフロー管理のために参照されるデータの構造である。
ここで一つの処方に関する業務を完成するために、ワークエリア１とワークエリア２の2箇所が必要なため、ワークエリア毎に撮影開始時間、業務状態のデータを取得する。
各ワークエリアＩＤに続く撮影開始時間、業務状態は、当該ワークエリアについての情報である。ここで項目「業務状態」は、「未着手」「業務着手」「中断」「業務終了」という３つの値を取り、当該ワークエリアで予定されている業務がまだ着手されていないのか、着手されて進行中なのか、中断しているのか、すでに終了しているのかを表す値である。
３００１の項目「現在の状態評価」は、最初にワークエリア１の業務における撮影時間と現在時間まで差である「待ち時間」を所定の基準で評価した値である。図３１は、その評価テーブルであり、評価は、待ち時間を計算し、このテーブルを参照して導かれた評価値である。
３００２の項目「全体業務状態」は、当該処方ＩＤに係わる業務全体について、先にワークエリア毎に示したのと同様の「未着手」「業務着手」「中断」「業務終了」という４つの値判定し、書き込み、ワークフロー管理を行うとき、当該データをその管理対象のデータとして抽出するために参照される。すなわち、「業務着手」「中断」の状態を取る進行中の業務に関するデータを選び、評価する。この選ばれたデータについて、現在時間と最初のワークエリア１における撮影開始時間との差から待ち時間を計算し、図３１に示すような評価テーブルを参照し、評価値を抽出するのである。
尚、待ち時間は所定の短い間隔で更新する必要があり、ここでは２分間隔の更新を採用することとするが、本発明の待ち時間更新間隔は、これ以外の更新間隔を適宜採用可能である。
【０１１０】
図３２は、上記評価を軸に作成したワークフロー管理支援情報である。患者をその評価別に整理して並べ、問題を抱える患者の特性や場所を表示し、ワークフロー管理を支援する。
ここで各データに対する評価表示においては、ワークフロー管理を詳細に行うための参照情報として、「患者名」「場所」「処方」「薬種」「用量」も同時に表示してある。これらの参照情報は、インデックスに含まれる患者ＩＤ、ワークエリアＩＤ、処方ＩＤ、薬種ＩＤ、用量を検出して、予め用意した「表示用の記載」と上記インデックスの項目毎に収めた辞書（ＩＤを表示用の記載に変換するためのテーブル）を参照して求めることができる。
図３３は、ワークエリアを軸に作成したワークフロー管理支援情報である。ワークエリア毎に患者がどのような評価をしているかを整理して、ワークフロー上の問題を抱えている場所の特性をまとめて表示出力し、ワークフロー管理を支援する。
【０１１１】
（トレーサビリティ情報の検索、表示）
図３４は、ブラウザ端末１０８に表示された検索画面である。検索項目となっているキーの入力について簡単な説明を加える。検索項目同士は３つの薬ＩＤを除き、基本的には入力されたキー同士のＡＮＤ検索として認識され、動作する。ここで検出時間は所望の時間的範囲を指定することが可能であり、例えば２００９年４月２３日０９時００分〜２００９年４月２３日１１時００分というように一定の範囲で検索することが出来る。薬ＩＤ１〜３の項目は、その用量ともにそれぞれ、ＡＮＤ検索かＯＲ検索かを選択することが可能となっている。
【０１１２】
図３５は、画像検索した結果の一覧表画面である。ここでヒットした画像データは、業務シークエンス毎にそのインデックス項目が表示され、その欄クリックすることで該当する業務シークエンスの画像を表示することが出来る。３５０１は一覧表示の一例である。下に表示されたサムネイル表示ボタン３５０２をクリックすると、ヒットしたファイルの小さな画像を上位１０件までまとめて閲覧することが出来る。
【０１１３】
本発明はここで示した検索方式や検索画面に限られるものではなく、トレーサビリティの必要から求められる検索項目や検索方法を本発明で扱うデータの範囲内において採用可能である。
図３６は、選択した業務シークエンスに関するデータを表示・再生するブラウザ画面である。検索結果としての業務シークエンスは、３６０１の撮影時間リストに示すように約1秒毎に連続して記録されており、効果的に所定の業務についての適切な作業がおこなわれているかどうかといったことをトレースすることができる。
ここでリスト３６０１に表示された撮影時間をクリックすると該当する画像３６０２が表示され、再生ボタン３６０３をクリックすれば、その時間に収録された音声が所定の時間だけ再生される。
【産業上の利用可能性】
【０１１４】
本発明のシステムは、注意深い作業が要求される業務において、そのワークエリアでの作業を記録し、事故や過誤が発生した場合でも、その事故や過誤に関連するクリアな画像や音声を迅速に検索し、作業を確認することが可能となり、高度なトレーサビリティが強く求められる業界において利用の可能性が大きい。
また、マーク等の認識がされる時間やワークエリアなどを把握することにより、ワークの状況を評価した支援情報を出力して、ワークフローを管理することにより、業務に貢献することができるのでこの点でも業界における利用可能がある。
さらには、コード、マーク、熱映像、音声といった認識上の特性に違いのある対象を利用した認識方式を補完的に採用することにより、多くの情報をインデックスとした高度なトレーサビリティ情報を抽出できる一方で、誤認識、認識不能といったトラブルに強い頑健なシステムを提供することができ、業務監視業界での利用性が高い。
【図面の簡単な説明】
【０１１５】
【図１】本発明のシステムの概略構成図
【図２】ワークエリア１０１の構成図
【図３】ワークエリア１０２の構成図
【図４】ワークエリア１０３の構成図
【図５】画像音声解析手段１０４の動作を示したフローチャート１
【図５−２】画像音声解析手段１０４の動作を示したフローチャート2
【図６】マークパターン・テーブル５０８の内部構成
【図７】コード配置パターン・テーブル５０９の内部構成
【図８】2次元バーコードに書き込まれた情報のデータ項目
【図９】インデックスを構成するデータ項目
【図１０】ワークエリア１０２からの入力画像に対する画像音声解析フロー
【図１１】ワークエリア１０３からの入力画像に対する画像信号の処理フロー
【図１２】ワークエリア１２０１の構成
【図１３】ワークエリア１２０１からの画像信号に対する画像音声解析フロー
【図１４】色認識テーブル
【図１５】ワークエリアの構成
【図１６】ワークエリア１６０１の構成
【図１７】マークパターン・テーブル
【図１８】文字マーク・テーブル
【図１９】コード配置パターン・テーブル
【図２０】ワークエリア１６０１からの画像信号に対する画像音声解析フロー
【図２１】ワークエリア２１０１の構成
【図２２】モーションパターン・テーブル
【図２３】ワークエリア２３０１の構成
【図２４】熱映像信号に対する画像音声解析フロー
【図２５】熱映像認識テーブルの構成
【図２６】音声信号に対する画像音声解析手段１０４の動作フロー
【図２７】音声認識テーブルの構成
【図２８】画像・音声データの記録動作を示したフローチャート
【図２９】画像音声記憶手段１０５の格納データの構造
【図３０】ワークフロー管理のために参照されるデータの構造
【図３１】評価テーブル
【図３２】評価を軸に作成したワークフロー管理支援情報
【図３３】ワークエリアを軸に作成したワークフロー管理支援情報
【図３４】検索画面
【図３５】画像検索した結果の一覧表画面
【図３６】選択した業務シークエンスに関する画像
【符号の説明】
【０１１６】
１００  ネットワーク
１０１  ワークエリア
１０４  画像音声解析手段
１０７  画像音声記憶手段
１０８  データ管理手段
１０９  システム制御センター
１１０  ブラウザ端末
【図１】
2010258729.tif 000003
【図２】
2010258729.tif 000004
【図３】
2010258729.tif 000005
【図４】
2010258729.tif 000006
【図５】
2010258729.tif 000007
【図５−２】
2010258729.tif 000008
【図６】
2010258729.tif 000009
【図７】
2010258729.tif 000010
【図８】
2010258729.tif 000011
【図９】
2010258729.tif 000012
【図１０】
2010258729.tif 000013
【図１１】
2010258729.tif 000014
【図１２】
2010258729.tif 000015
【図１３】
2010258729.tif 000016
【図１４】
2010258729.tif 000017
【図１６】
2010258729.tif 000018
【図１７】
2010258729.tif 000019
【図１８】
2010258729.tif 000020
【図１９】
2010258729.tif 000021
【図２０】
2010258729.tif 000022
【図２１】
2010258729.tif 000023
【図２２】
2010258729.tif 000024
【図２３】
2010258729.tif 000025
【図２４】
2010258729.tif 000026
【図２５】
2010258729.tif 000027
【図２６】
2010258729.tif 000028
【図２７】
2010258729.tif 000029
【図２８】
2010258729.tif 000030
【図２９】
2010258729.tif 000031
【図３０】
2010258729.tif 000032
【図３１】
2010258729.tif 000033
【図３２】
2010258729.tif 000034
【図３３】
2010258729.tif 000035
【図３４】
2010258729.tif 000036
【図３５】
2010258729.tif 000037
【図１５】
2010258729.tif 000038
【図３６】
2010258729.tif 000039
【手続補正書】
【提出日】平成21年8月21日(2009.8.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
薬局業務の監視システムにおいて、
１）薬局内に設定されたワークエリア毎に決められた撮影範囲に撮像パラメータを設定し、該ワークエリアにおける業務進行を、前記撮影範囲を連続して撮影し、撮影した画像データを所定の送信先へ送信する、ネットワークに接続したWEBカメラを含む動画、静止画撮影装置、
２）監視の対象となる業務を行っていることを示す意図をもつ作業者によって、自在に移動されて前記撮影範囲内に置くことのできるマーク表示物、
３）前記画像データを受信し、格納する、ネットワークに接続した画像記憶手段、
４）前記画像データを受信し、該画像を走査し、マーク領域を抽出し、前記マークを認識する、ネットワークに接続した解析手段、
を構成要素として含み、前記撮影装置が送信する画像データにおいて、前記解析手段が前記マークを認識すると、走査すべき画像領域を、前記マーク領域及び前記マークに併記されるバーコード領域に特定し、該バーコード領域から読み出される情報に基づいて、少なくともマークの撮影時間、ワークエリアＩＤを含むインデックスを作成し、該画像データを該インデックスと関連づけて画像記憶手段に格納することを特徴とするシステム。
【請求項２】
薬局業務の監視システムにおいて、
１）薬局内に設定されたワークエリア毎に決められた撮影範囲に撮像パラメータを設定し、該ワークエリアにおける業務進行を、前記撮影範囲を連続して撮影し、撮影した画像データを所定の送信先へ送信する、ネットワークに接続したWEBカメラを含む動画、静止画撮影装置、
２）前記撮影範囲内に置かれたマーク表示物、
３）前記画像データを受信し、格納する、ネットワークに接続した画像記憶手段、
４）前記画像データを受信し、該画像を走査し、マーク領域を抽出し、前記マークを認識する、ネットワークに接続した解析手段、
を構成要素として含み、前記撮影装置が送信する画像データにおいて、前記解析手段が前記マークを認識すると、走査すべき画像領域を、前記マーク領域及び前記マークに併記されるバーコード領域に特定し、前記解析手段が前記マークを認識しなくなると、少なくともマークが認識できない時間、ワークエリアＩＤを含むインデックスを作成し、該画像データを該インデックスと関連づけて画像記憶手段に格納することを特徴とするシステム。
【請求項３】
前記マークは、色マークであり、前記表示物が所定の色で着色されていることを特徴とする請求項１又は２記載のシステム。
【請求項４】
前記マークは、縞マークであり、前記表示物に所定の縞が表示されていることを特徴とする請求項１又は２記載のシステム。
【請求項５】
前記マークは、幾何学マークであり、前記表示物に所定の幾何学模様が施されていることを特徴とする請求項１又は２記載のシステム。
【請求項６】
前記マーク表示物は、前記業務に供する作業指示書、処方せんホルダー、薬剤トレイ、処方せんから選ばれる少なくとも１つの物であることを特徴とする請求項１記載のシステム。
【請求項７】
前記マーク表示物は、作業者の手の甲もしくは作業服の袖に記載されており、所定のマークに対して特定の作業者が対応づけられており、前記マークの認識において該作業者のＩＤが読み出され、前記インデックスの構成要素となることを特徴とする請求項１記載のシステム。
【請求項８】
前記マーク表示物は、各ワークエリアにおける前記業務をおこなう作業台であり、該作業台の作業面に前記マークが設けられてあることを特徴とする請求項１又は２記載のシステム。
【請求項９】
前記バーコード領域には、少なくとも処方ID を含むインデックスがバーコード、2次元バーコード、文字から選ばれる形式で記載されており、そのインデックスを読み出すことで、該インデックスが読み取られた画像群の属性を確定し、前記画像記憶装置に収納することを特徴とする請求項１乃至８のいずれか１項に記載のシステム。
【請求項１０】
前記撮影範囲において前記マーク表示物を置く又は前記マークを設ける位置を設定し、該設定した位置により限定される領域のみを走査し、マークを認識することを特徴とする請求項１乃至８のいずれか１項に記載のシステム。
【請求項１１】
前記マーク表示物の表面において、マーク領域を更に設定してあることを特徴とする請求項１０記載のシステム。
【請求項１２】
前記撮影範囲もしくはマーク表示物表面には、前記バーコード、2次元バーコード、文字から選ばれる形式のインデックスを併記するためのインデックス領域が設定されており、そのインデックスを読み出すことで、読み取られた画像群の属性を確定し、前記画像記憶装置に格納することを特徴とする請求項９，１０又は１１記載のシステム。
【請求項１３】
前記マークは2つ以上の縞マークもしくは幾何学模様マークであり、該マークのうちの少なくとも２つが重なり部分を有しており、該重なり部分を基準として限定した領域に前記インデックスが併記されていることを特徴とする請求項１２記載のシステム。
【請求項１４】
前記マークは、バーコード、2次元バーコード、文字から選ばれる少なくとも１つであり、前記認識は、バーコード認識、2次元バーコード認識、ＯＣＲから選ばれる少なくとも１つの前記マークの種類に対応する認識モードによる認識であることを特徴とする請求項１又は６記載のシステム。
【請求項１５】
前記マークが示す情報もしくは前記インデックスを構成する情報は、処方ＩＤ、患者ＩＤ、作業者ＩＤ、監査者ＩＤ、処方せんＩＤ、取り扱い薬種ＩＤから選ばれる少なくとも１つであることを特徴とする請求項１、６、１３又は１４記載のシステム。
【請求項１６】
前記ワークエリアは、受付エリア、調剤エリア、ピッキングエリア、交付エリアから選ばれる少なくとも１つのエリアであり、各ワークエリアにはワークエリアＩＤが対応づけられていることを特徴とする請求項１乃至１５のいずれか１項に記載のシステム。
【請求項１７】
前記ワークエリア毎に決められた撮影範囲には、前記マーク表示物を置く位置を示す表示が設けられており、該ワークエリアにおける作業者が前記マークもしくは前記マークを付す物をマークの認識に適切な位置に置くためのガイドに供せられることを特徴とする請求項１乃至６のいずれか１項に記載のシステム。
【請求項１８】
前記画像は動画であり、前記マークの認識もしくは認識されないことによって１つの業務シークエンスと判別される業務進行に係わるビデオデータを１つのファイルとして保存することを特徴とする請求項１乃至８のいずれか１項に記載のシステム。
【請求項１９】
請求項１乃至１８のいずれか１項に記載のシステムにおいて、ネットワークに接続した音声記憶手段および前記画撮影装置に付加された音声収録手段を備え、前記インデックスと関連づけられて前記音声記憶手段に格納されることを特徴とするシステム。
【請求項２０】
請求項１乃至１８のいずれか１項に記載のシステムにおいて、ネットワークに接続した音声記憶手段、および、前記ワークエリア毎に配置されネットワークに接続した音声収録手段を備え、前記マークが認識された場合、認識に係わるワークエリアに配置された音声収録手段が収録した音声データを前記作成されたインデックスと関連づけて前記音声記憶手段に格納されることを特徴とするシステム。
【請求項２１】
前記作成されたインデックスに含まれる情報は、所定のワークフローに従って前記ワークエリアを移動する前記マーク表示物が認識される時間によって関連付けられており、該撮影時間、該ワークエリアＩＤ、前記ワークエリア又は業務毎に予め設定された標準時間の少なくとも1つを参照して所定の演算をし、その演算結果の値に応じてワークフロー管理情報を作成し、所定形式で出力をすることにより、ワークフローの管理を支援することを特徴とする請求項１乃至２０のいずれか１項に記載のシステム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
請求項１記載の発明は、薬局業務の監視システムにおいて、
１）薬局内に設定されたワークエリア毎に決められた撮影範囲に撮像パラメータを設定し、該ワークエリアにおける業務進行を、前記撮影範囲を連続して撮影し、撮影した画像データを所定の送信先へ送信する、ネットワークに接続したWEBカメラを含む動画、静止画撮影装置、
２）監視の対象となる業務を行っていることを示す意図をもつ作業者によって、自在に移動されて前記撮影範囲内に置くことのできるマーク表示物、
３）前記画像データを受信し、格納する、ネットワークに接続した画像記憶手段、
４）前記画像データを受信し、該画像を走査し、マーク領域を抽出し、前記マークを認識する、ネットワークに接続した解析手段、
を構成要素として含み、前記撮影装置が送信する画像データにおいて、前記解析手段が前記マークを認識すると、走査すべき画像領域を、前記マーク領域及び前記マークに併記されるバーコード領域に特定し、該バーコード領域から読み出される情報に基づいて、少なくともマークの撮影時間、ワークエリアＩＤを含むインデックスを作成し、該画像データを該インデックスと関連づけて画像記憶手段に格納することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
請求項２記載の発明は、薬局業務の監視システムにおいて、
１）薬局内に設定されたワークエリア毎に決められた撮影範囲に撮像パラメータを設定し、該ワークエリアにおける業務進行を、前記撮影範囲を連続して撮影し、撮影した画像データを所定の送信先へ送信する、ネットワークに接続したWEBカメラを含む動画、静止画撮影装置、
２）前記撮影範囲内に置かれたマーク表示物、
３）前記画像データを受信し、格納する、ネットワークに接続した画像記憶手段、
４）前記画像データを受信し、該画像を走査し、マーク領域を抽出し、前記マークを認識する、ネットワークに接続した解析手段、
を構成要素として含み、前記撮影装置が送信する画像データにおいて、前記解析手段が前記マークを認識すると、走査すべき画像領域を、前記マーク領域及び前記マークに併記されるバーコード領域に特定し、前記解析手段が前記マークを認識しなくなると、少なくともマークが認識できない時間、ワークエリアＩＤを含むインデックスを作成し、該画像データを該インデックスと関連づけて画像記憶手段に格納することを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
請求項７記載の発明においては、請求項１記載の発明における前記マーク表示物は、作業者の手の甲もしくは作業服の袖に記載されており、所定のマークに対して特定の作業者が対応づけられており、前記マークの認識において該作業者のＩＤが読み出され、前記インデックスの構成要素となることを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
請求項９記載の発明においては、請求項１乃至８のいずれか１項に記載の発明における前記バーコード領域には、少なくとも処方ID を含むインデックスがバーコード、2次元バーコード、文字から選ばれる形式で併記されており、そのインデックスを読み出すことで、該インデックスが読み取られた画像群の属性を確定し、前記画像記憶装置に収納することを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
請求項１０記載の発明においては、請求項１乃至８のいずれか１項に記載の発明における前記撮影範囲において前記マーク表示物を置く又は前記マークを設ける位置を設定し、該設定した位置により限定される領域のみを走査し、マークを認識することを特徴とする。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
請求項１１記載の発明においては、請求項１０記載の発明における前記マーク表示物の表面において、マーク領域を更に設定してあることを特徴とする。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
請求項１２記載の発明においては、請求項請求項９，１０又は１１記載の発明における前記撮影範囲もしくはマーク表示物表面には、前記バーコード、2次元バーコード、文字から選ばれる形式のインデックスを併記するためのインデックス領域が設定されており、そのインデックスを読み出すことで、読み取られた画像群の属性を確定し、前記画像記憶装置に格納することを特徴とする。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
請求項１３記載の発明においては、請求項１２記載の発明における前記マークは2つ以上の縞マークもしくは幾何学模様マークであり、該マークのうちの少なくとも２つが重なり部分を有しており、該重なり部分を基準として限定した領域に前記インデックスが併記されていることを特徴とする。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
請求項１４記載の発明においては、請求項１又は６記載の発明における前記マークは、バーコード、2次元バーコード、文字から選ばれる少なくとも１つであり、前記認識は、バーコード認識、2次元バーコード認識、ＯＣＲから選ばれる少なくとも１つの前記マークの種類に対応する認識モードによる認識であることを特徴とする。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
請求項１５記載の発明においては、請求項１、６、１３又は１４記載の発明における前記マークが示す情報もしくは前記インデックスを構成する情報は、処方ＩＤ、患者ＩＤ、作業者ＩＤ、監査者ＩＤ、処方せんＩＤ、取り扱い薬種ＩＤから選ばれる少なくとも１つであることを特徴とする。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
請求項１６記載の発明においては、請求項１乃至１５のいずれか１項に記載の発明における前記ワークエリアは、受付エリア、調剤エリア、ピッキングエリア、交付エリアから選ばれる少なくとも１つのエリアであり、各ワークエリアにはワークエリアＩＤが対応づけられていることを特徴とする。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
請求項１７記載の発明においては、請求項１乃至６のいずれか１項に記載の発明における前記ワークエリア毎に決められた撮影範囲には、前記マーク表示物を置く位置を示す表示が設けられており、該ワークエリアにおける作業者が前記マークもしくは前記マークを付す物をマークの認識に適切な位置に置くためのガイドに供せられることを特徴とする。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
請求項１８記載の発明においては、請求項１乃至８のいずれか１項に記載の発明における前記画像は動画であり、前記マークの認識もしくは認識されないことによって１つの業務シークエンスと判別される業務進行に係わるビデオデータを１つのファイルとして保存することを特徴とする。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
請求項１９記載の発明においては、請求項１乃至１８のいずれか１項に記載のシステムにおいて、ネットワークに接続した音声記憶手段および前記画撮影装置に付加された音声収録手段を備え、前記インデックスと関連づけられて前記音声記憶手段に格納されることを特徴とする。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
請求項２０記載の発明においては、請求項１乃至１８のいずれか１項に記載のシステムにおいて、ネットワークに接続した音声記憶手段、および、前記ワークエリア毎に配置されネットワークに接続した音声収録手段を備え、前記マークが認識された場合、認識に係わるワークエリアに配置された音声収録手段が収録した音声データを前記作成されたインデックスと関連づけて前記音声記憶手段に格納されることを特徴とする。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
請求項２１記載の発明においては、請求項１乃至２０のいずれか１項に記載の発明における前記インデックスに含まれる情報は、所定のワークフローに従って前記ワークエリアを移動する前記マーク表示物が撮影される時間によって関連付けられており、該撮影時間、該ワークエリアＩＤ、前記ワークエリア又は業務毎に予め設定された標準時間の少なくとも1つを参照して所定の演算をし、その演算結果の値に応じてワークフロー管理情報を作成し、所定形式で出力をすることにより、ワークフローの管理を支援することを特徴とする。
【手続補正書】
【提出日】平成22年3月24日(2010.3.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
薬局業務の監視システムにおいて、
１）薬局内に設定されたワークエリア毎に決められた撮影範囲に撮像パラメータを設定し、該ワークエリアにおける業務進行を、前記撮影範囲を連続して撮影し、撮影した画像データを所定の送信先へ送信する、ネットワークに接続したWEBカメラを含む動画、静止画撮影装置、
２）監視の対象となる業務を行っていることを示す意図をもつ作業者によって、自在に移動されて前記撮影範囲内に置くことのできるマーク表示物、
３）前記画像データを受信し、格納する、ネットワークに接続した画像記憶手段、
４）前記画像データを受信し、該画像を走査し、2つの縞マークが直交するマーク領域を抽出し、前記マークを認識する、ネットワークに接続した解析手段、
を構成要素として含み、前記撮影装置が送信する画像データにおいて、前記解析手段が前記マークを認識すると、走査すべき画像領域を、前記マーク領域及び前記マークに併記されるバーコード領域に特定し、該バーコード領域から読み出される情報が付加された、少なくともマークの撮影時間、ワークエリアＩＤを含むインデックスを作成し、該画像データを該インデックスと関連づけて画像記憶手段に格納することを特徴とするシステム。
【請求項２】
前記マーク表示物は、前記業務に供する作業指示書、処方せんホルダー、薬剤トレイ、処方せんから選ばれる少なくとも１つの物であることを特徴とする請求項１記載のシステム。
【請求項３】
前記マーク表示物は、各ワークエリアにおける前記業務をおこなう作業台であり、該作業台の作業面に前記マークが設けられてあることを特徴とする請求項１記載のシステム。
【請求項４】
前記ワークエリア毎に決められた撮影範囲には、前記マーク表示物を置く位置を示す表示が設けられており、該ワークエリアにおける作業者が前記マークもしくは前記マークを付す物をマークの認識に適切な位置に置くためのガイドに供せられることを特徴とする請求項１乃至３のいずれか１項に記載のシステム。
【請求項５】
前記画像は動画であり、前記マークの認識もしくは認識されないことによって１つの業務シークエンスと判別される業務進行に係わるビデオデータを１つのファイルとして保存することを特徴とする請求項１乃至４のいずれか１項に記載のシステム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
請求項１記載の発明は、薬局業務の監視システムにおいて、
１）薬局内に設定されたワークエリア毎に決められた撮影範囲に撮像パラメータを設定し、該ワークエリアにおける業務進行を、前記撮影範囲を連続して撮影し、撮影した画像データを所定の送信先へ送信する、ネットワークに接続したWEBカメラを含む動画、静止画撮影装置、
２）監視の対象となる業務を行っていることを示す意図をもつ作業者によって、自在に移動されて前記撮影範囲内に置くことのできるマーク表示物、
３）前記画像データを受信し、格納する、ネットワークに接続した画像記憶手段、
４）前記画像データを受信し、該画像を走査し、2つの縞マークが直交するマーク領域を抽出し、前記マークを認識する、ネットワークに接続した解析手段、
を構成要素として含み、前記撮影装置が送信する画像データにおいて、前記解析手段が前記マークを認識すると、走査すべき画像領域を、前記マーク領域及び前記マークに併記されるバーコード領域に特定し、該バーコード領域から読み出される情報が付加された、少なくともマークの撮影時間、ワークエリアＩＤを含むインデックスを作成し、該画像データを該インデックスと関連づけて画像記憶手段に格納することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
前記マーク表示物は、前記業務に供する作業指示書、処方せんホルダー、薬剤トレイ、処方せんから選ばれる少なくとも１つの物である、ことも可能である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
前記マーク表示物は、各ワークエリアにおける前記業務をおこなう作業台であり、該作業台の作業面に前記マークが設けられてある、ことも可能である。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】削除
【補正の内容】
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】削除
【補正の内容】
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】削除
【補正の内容】
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】削除
【補正の内容】
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】削除
【補正の内容】
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】削除
【補正の内容】
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
前記ワークエリア毎に決められた撮影範囲には、前記マーク表示物を置く位置を示す表示が設けられており、該ワークエリアにおける作業者が前記マークもしくは前記マークを付す物をマークの認識に適切な位置に置くためのガイドに供せられる、ことも可能である。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
前記画像は動画であり、前記マークの認識もしくは認識されないことによって１つの業務シークエンスと判別される業務進行に係わるビデオデータを１つのファイルとして保存する、ことも可能である。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】削除
【補正の内容】
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】削除
【補正の内容】
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】削除
【補正の内容】
【手続補正書】
【提出日】平成22年7月23日(2010.7.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
薬局業務の監視システムにおいて、
１）薬局内に設定されたワークエリア毎に決められた撮影範囲に撮像パラメータを設定し、該ワークエリアにおける業務進行を、前記撮影範囲を連続して撮影し、撮影した画像データを所定の送信先へ送信する、ネットワークに接続したWEBカメラを含む動画、静止画撮影装置、
２）監視の対象となる業務を行っていることを示す意図をもつ作業者によって、自在に移動されて前記撮影範囲内に置くことのできるマーク表示物、
３）前記画像データを受信し、格納する、ネットワークに接続した画像記憶手段、
４）前記画像データを受信し、該画像を走査し、2つの縞マークが直交するマーク領域を抽出し、前記マークを認識する、ネットワークに接続した解析手段、
を構成要素として含み、前記撮影装置が送信する画像データにおいて、前記解析手段が前記マークを認識すると、走査すべき画像領域を、前記マーク領域及び前記マークに併記されるバーコード領域に特定し、該バーコード領域から読み出される情報がインデックスに付加され、前記画像データから取得される、マークを認識して撮影を開始した撮影開始時間、ワークエリアＩＤを少なくとも含む該インデックスを作成し、該画像データを該インデックスと関連づけて画像記憶手段に格納することを特徴とするシステム。
【請求項２】
前記マーク表示物は、前記業務に供する作業指示書、処方せんホルダー、薬剤トレイ、処方せんから選ばれる少なくとも１つの物であることを特徴とする請求項１記載のシステム。
【請求項３】
前記マーク表示物は、各ワークエリアにおける前記業務をおこなう作業台であり、該作業台の作業面に前記マークが設けられてあることを特徴とする請求項１記載のシステム。
【請求項４】
前記ワークエリア毎に決められた撮影範囲には、前記マーク表示物を置く位置を示す表示が設けられており、該ワークエリアにおける作業者が前記マークもしくは前記マークを付す物をマークの認識に適切な位置に置くためのガイドに供せられることを特徴とする請求項１乃至３のいずれか１項に記載のシステム。
【請求項５】
前記画像は動画であり、前記マークの認識もしくは認識されないことによって１つの業務シークエンスと判別される業務進行に係わるビデオデータを１つのファイルとして保存することを特徴とする請求項１乃至４のいずれか１項に記載のシステム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
請求項１記載の発明は、薬局業務の監視システムにおいて、
１）薬局内に設定されたワークエリア毎に決められた撮影範囲に撮像パラメータを設定し、該ワークエリアにおける業務進行を、前記撮影範囲を連続して撮影し、撮影した画像データを所定の送信先へ送信する、ネットワークに接続したWEBカメラを含む動画、静止画撮影装置、
２）監視の対象となる業務を行っていることを示す意図をもつ作業者によって、自在に移動されて前記撮影範囲内に置くことのできるマーク表示物、
３）前記画像データを受信し、格納する、ネットワークに接続した画像記憶手段、
４）前記画像データを受信し、該画像を走査し、2つの縞マークが直交するマーク領域を抽出し、前記マークを認識する、ネットワークに接続した解析手段、
を構成要素として含み、前記撮影装置が送信する画像データにおいて、前記解析手段が前記マークを認識すると、走査すべき画像領域を、前記マーク領域及び前記マークに併記されるバーコード領域に特定し、該バーコード領域から読み出される情報がインデックスに付加され、前記画像データから取得される、マークを認識して撮影を開始した撮影開始時間、ワークエリアＩＤを少なくとも含む該インデックスを作成し、該画像データを該インデックスと関連づけて画像記憶手段に格納することを特徴とする。