(57)【要約】      （修正有）【課題】病院のベッドからの離床イベントをビデオカメラシステムから予測するための方法および装置を提供する。【解決手段】このシステムでは、生のビデオデータから特徴マップを作成するのに用いられる１×１の３Ｄ畳み込み層と、異なるカメラアングルからのデータを修正するのに用いられるコンテキストアウェアなプーリング層と、事前に訓練された深層特徴を適用するのに用いられる２つの全結合層と、離床イベントの尤度を与えるための出力層という５つの主な層からなる深層学習による畳み込みニューラルネットワークを用いて、ビデオデータを処理する。【選択図】図２
2018156635.tif 000002
【特許請求の範囲】
【請求項１】
カメラと、前記カメラから画像を示す信号を受信するためのコントローラと、を備える、患者が患者支持装置から離床をしようとしていることを予測するための装置であって、
前記カメラは、前記患者支持装置が前記カメラの視野内にある状態で配置され、
前記コントローラは、
前記カメラから時系列の動画像を捕捉し、
前記時系列の動画像を畳み込み層に入力し、畳み込みカーネルを用いて前記時系列の動画像に畳み込み処理を施して、規定数の特徴マップを作成し、
前記特徴マップをコンテキストアウェアなプーリング層に入力し、関連のある着目特徴を前記特徴マップから抽出するとともに、複数の特徴ベクトルを生成し、
ある特徴ベクトルを、前記特徴ベクトルの各要素が第１の全結合層における複数の人工ニューロンと結合し、かつ、各々の組み合わせが前記第１の結合層の値を出力するように、前記第１の全結合層に入力し、
第１の全結合層の各々の組み合わせから導出された値を、各々の値が第２の全結合層における複数の人工ニューロンと結合し、かつ、各々の組み合わせが前記第２の全結合層の値を出力するように、前記第２の全結合層に入力し、
前記第２の結合層の値を、所定時間内で患者離床イベントが生じない尤度を規定する離床なしの確率と、前記所定時間内で患者離床イベントが生じる尤度を規定する離床ありの確率を与える出力層に入力し、
前記離床なしの確率および前記離床ありの確率を利用して患者離床イベントの尤度を決定し、患者離床イベントの前記決定された尤度が閾値を超えた場合に信号を生成し、
患者離床イベントの前記決定された尤度が閾値を超えたことに基づいて前記信号が生成された場合に、当該差し迫ったイベントについての通知を生成するように動作可能である、装置。
【請求項２】
前記特徴マップの作成時に、前記畳み込み層で正規化線形関数が適用される、請求項１に記載の装置。
【請求項３】
前記正規化線形関数は、前記特徴マップに非飽和線形を導入する、請求項２に記載の装置。
【請求項４】
前記正規化線形関数は、絶対値関数である、請求項３に記載の装置。
【請求項５】
前記コンテキストアウェアなプーリング層は、前記カメラの視野内におけるばらつきを修正する、請求項４に記載の装置。
【請求項６】
前記第１の全結合層は、５０の人工ニューロンを含む、請求項５に記載の装置。
【請求項７】
前記第２の全結合層は、１０の人工ニューロンを含む、請求項６に記載の装置。
【請求項８】
前記コンテキストアウェアなプーリング層は、前記カメラの視野内におけるばらつきを修正する、請求項１に記載の装置。
【請求項９】
前記第１の全結合層は、５０の人工ニューロンを含む、請求項１に記載の装置。
【請求項１０】
前記第２の全結合層は、１０の人工ニューロンを含む、請求項９に記載の装置。
【請求項１１】
第１の全結合層および第２の全結合層で伝達関数が適用される、請求項１０に記載の装置。
【請求項１２】
前記伝達関数は、ｔａｎｓｉｇ（ｘ）関数である、請求項１１に記載の装置。
【請求項１３】
第１の全結合層および第２の全結合層で伝達関数が適用される、請求項１に記載の装置。
【請求項１４】
前記伝達関数は、ｔａｎｓｉｇ（ｘ）関数である、請求項１３に記載の装置。
【請求項１５】
前記第１の全結合層および前記第２の全結合層は、一組の深層特徴を生成するように確率的勾配降下法で訓練することで進歩させられる、請求項１から６のいずれか１項に記載の装置。
【請求項１６】
患者がカメラの視野内にある患者支持装置から離床をしようとしていることを予測する方法であって、
前記カメラから画像を示す信号を受信し、
前記カメラから時系列の動画像を捕捉し、
前記時系列の動画像を畳み込み層に入力し、畳み込みカーネルを用いて前記時系列の動画像に畳み込み処理を施して、規定数の特徴マップを作成し、
前記特徴マップをコンテキストアウェアなプーリング層に入力し、関連のある着目特徴を前記特徴マップから抽出するとともに、複数の特徴ベクトルを生成し、
ある特徴ベクトルを、前記特徴ベクトルの各要素が第１の全結合層における複数の人工ニューロンと結合し、かつ、各々の組み合わせが前記第１の結合層の値を出力するように、前記第１の全結合層に入力し、
第１の全結合層の各々の組み合わせから導出された値を、各々の値が第２の全結合層における複数の人工ニューロンと結合し、かつ、各々の組み合わせが前記第２の全結合層の値を出力するように、前記第２の全結合層に入力し、
前記第２の結合層の値を、所定時間内で患者離床イベントが生じない尤度を規定する離床なしの確率と、前記所定時間内で患者離床イベントが生じる尤度を規定する離床ありの確率を与える出力層に入力し、
前記離床なしの確率および前記離床ありの確率を利用して患者離床イベントの尤度を決定し、患者離床イベントの前記決定された尤度が閾値を超えた場合に信号を生成し、
患者離床イベントの前記決定された尤度が閾値を超えたことに基づいて前記信号が生成された場合に、当該差し迫ったイベントについての通知を生成することを含む、方法。
【請求項１７】
前記特徴マップの作成時に、前記畳み込み層で正規化線形関数が適用される、請求項１６に記載の方法。
【請求項１８】
前記正規化線形関数は、前記特徴マップに非飽和線形を導入する、請求項１７に記載の方法。
【請求項１９】
前記正規化線形関数は、絶対値関数である、請求項１８に記載の方法。
【請求項２０】
前記コンテキストアウェアなプーリング層は、前記カメラの視野内におけるばらつきを修正する、請求項１９に記載の方法。
【請求項２１】
前記第１の全結合層は、５０の人工ニューロンを含む、請求項２０に記載の方法。
【請求項２２】
前記第２の全結合層は、１０の人工ニューロンを含む、請求項２１に記載の方法。
【請求項２３】
第１の全結合層および第２の全結合層で伝達関数が適用される、請求項１６に記載の方法。
【請求項２４】
前記伝達関数は、ｔａｎｓｉｇ（ｘ）関数である、請求項２３に記載の方法。
【請求項２５】
前記第１の全結合層および前記第２の全結合層は、一組の深層特徴を生成するように確率的勾配降下法で訓練することで進歩させられる、請求項２４に記載の方法。
【請求項２６】
前記第１の全結合層および前記第２の全結合層は、一組の深層特徴を生成するように確率的勾配降下法で訓練することで進歩させられる、請求項１６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願へのクロスリファレンス
【０００２】
本出願は、米国特許法第１１９条（ｅ）に基づき、２０１７年２月２日にファイルされた米国仮出願第６２／４５３，８５７号の優先権の利益を主張するものであり、その内容を明示的に本明細書に援用する。
【背景技術】
【０００３】
本開示は、画像データを収集し、有害イベントを予測するために患者の環境でカメラを使用することに関する。特に、本開示は、ニューラルネットワークを用いて事前に訓練された深層特徴によって修正されるリアルタイムの画像データを使用して、離床イベントの尤度を把握する方法に関する。
【０００４】
医療施設においては、患者数の増加に比して対応可能な医療従事者（看護師、医師など）の数が限られることが、典型的な懸念事項のひとつになっている。業務全体の流れを改善するために自動化が可能な一領域として、患者が病院のベッドから離床するイベントの監視がある。医療従事者を支援するために、自動離床検出システムが提案されてきた。
【０００５】
米国特許第５，２７６，４３２号には、４つのロードセルを使用して病院のベッドの四隅で重量を測定するシステムが開示されている。このロードセルで捕捉される情報を用いて、ベッドのフレームに対する患者の重心が求められる。患者の重心が所定の領域内に含まれていない場合、離床イベントが検出されたといえる。同様に、Ｓｃｏｔｔは、患者の存在が複数のセンサで検出されるシステムの特許を取得している。具体的には、所定の検出空間内で測定される誘電率によって、患者がいるのか否かの判断がなされる。
【０００６】
米国特許出願公開第２０１６００６３８４６号には、患者の存在を検出するだけでなく、病院のベッドの上にいる患者の位置を決定することを目的とするシステムが開示されている。提案されたシステムでは、フレームの変形を示す少なくとも１つのひずみセンサからなる、フレーム上の患者支持アセンブリが用いられている。ひずみセンサには位置決定ユニットが接続され、ひずみセンサの位置に応じて患者の横方向または縦方向の位置を示している。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
離床イベントを検出するための方法はいくつか存在するが、このような離床イベントをその発生時に検出しても、医療に従事する専門家が離床時の適切なタイミングで患者を介助することはできない。離床を自動的に予測するためのシステムであれば、離床イベントが生じる前に医療従事者に通知して、患者をすみやかに介助可能な状態にすることができるであろう。これによって、介助のない離床イベントで患者が怪我をする（転倒したり、捻挫するなど）可能性が大幅に低下することになる。
【課題を解決するための手段】
【０００８】
本出願は、単独または任意の組み合わせで特許性のある主題を含む、添付の特許請求の範囲に記載された特徴および／または以下に示す特徴のうち１つ以上を開示するものである。
【０００９】
本開示の第１の態様によれば、患者が患者支持装置から離床をしようとしていることを予測するための装置は、患者支持装置が視野内にある状態で配置されたカメラと、カメラから画像を示す信号を受信するためのコントローラと、を備える。コントローラは、カメラから時系列の動画像を捕捉するように動作可能である。また、コントローラは、時系列の動画像を畳み込み層に入力し、畳み込みカーネルを用いて時系列の動画像に畳み込み処理を施して、規定数の特徴マップを作成するように動作可能である。コントローラはさらに、特徴マップをコンテキストアウェアなプーリング層に入力し、関連のある着目特徴を特徴マップから抽出するとともに、複数の特徴ベクトルを生成するように動作可能である。さらに、コントローラは、ある特徴ベクトルを、この特徴ベクトルの各要素が第１の全結合層における複数の人工ニューロンと結合し、かつ、各々の組み合わせが第１の結合層の値を出力するように、第１の全結合層に入力するように動作可能である。さらに、コントローラは、第１の全結合層の各々の組み合わせから導出された値を、各々の値が第２の全結合層における複数の人工ニューロンと結合し、かつ、各々の組み合わせが第２の全結合層の値を出力するように、第２の全結合層に入力するように動作可能である。また、コントローラは、第２の結合層の値を、所定時間内で患者離床イベントが生じない尤度を規定する離床なしの確率と、所定時間内で患者離床イベントが生じる尤度を規定する離床ありの確率を与える出力層に入力するように動作可能である。コントローラはさらに、離床なしの確率および離床ありの確率を利用して患者離床イベントの尤度を決定し、患者離床イベントの決定された尤度が閾値を超えた場合に信号を生成するように動作可能である。また、コントローラは、患者離床イベントの決定された尤度が閾値を超えたことに基づいて信号が生成された場合に、当該差し迫ったイベントについての通知を生成するように動作可能である。
【００１０】
第１の態様のいくつかの実施形態では、特徴マップの作成時に、畳み込み層で正規化線形関数が適用される。
【００１１】
第１の態様のいくつかの実施形態では、正規化線形関数は、特徴マップに非飽和線形を導入する。
【００１２】
第１の態様のいくつかの実施形態では、正規化線形関数は絶対値関数である。
【００１３】
第１の態様のいくつかの実施形態では、コンテキストアウェアなプーリング層は、カメラの視野内におけるばらつきを修正する。
【００１４】
第１の態様のいくつかの実施形態では、第１の全結合層は、５０の人工ニューロンを含む。
【００１５】
第１の態様のいくつかの実施形態では、第２の全結合層は、１０の人工ニューロンを含む。
【００１６】
第１の態様のいくつかの実施形態では、第１の全結合層および第２の全結合層で伝達関数が適用される。
【００１７】
第１の態様のいくつかの実施形態では、伝達関数は、ｔａｎｓｉｇ（ｘ）関数である。
【００１８】
第１の態様のいくつかの実施形態では、第１の全結合層および第２の全結合層は、一組の深層特徴を生成するように確率的勾配降下法で訓練することで進歩させられる。
【００１９】
本開示の第２の態様によれば、患者がカメラの視野内にある患者支持装置から離床をしようとしていることを予測する方法は、カメラから画像を示す信号を受信し、カメラから時系列の動画像を捕捉することを含む。この方法はまた、時系列の動画像を畳み込み層に入力し、畳み込みカーネルを用いて時系列の動画像に畳み込み処理を施して、規定数の特徴マップを作成することも含む。さらに、この方法は、特徴マップをコンテキストアウェアなプーリング層に入力し、関連のある着目特徴を特徴マップから抽出するとともに、複数の特徴ベクトルを生成することも含む。また、この方法は、ある特徴ベクトルを、特徴ベクトルの各要素が第１の全結合層における複数の人工ニューロンと結合し、かつ、各々の組み合わせが第１の結合層の値を出力するように、第１の全結合層に入力することも含む。この方法は、さらに、第１の全結合層の各々の組み合わせから導出された値を、各々の値が第２の全結合層における複数の人工ニューロンと結合し、かつ、各々の組み合わせが第２の全結合層の値を出力するように、第２の全結合層に入力することも含む。また、この方法は、第２の結合層の値を、所定時間内で患者離床イベントが生じない尤度を規定する離床なしの確率と、所定時間内で患者離床イベントが生じる尤度を規定する離床ありの確率を与える出力層に入力ことも含む。さらに、この方法は、離床なしの確率および離床ありの確率を利用して患者離床イベントの尤度を決定し、患者離床イベントの決定された尤度が閾値を超えた場合に信号を生成することも含む。この方法はまた、患者離床イベントの決定された尤度が閾値を超えたことに基づいて信号が生成された場合に、当該差し迫ったイベントについての通知を生成することを含む。
【００２０】
第２の態様のいくつかの実施形態では、特徴マップの作成時に、畳み込み層で正規化線形関数が適用される。
【００２１】
第２の態様のいくつかの実施形態では、正規化線形関数は、特徴マップに非飽和線形を導入する。
【００２２】
第２の態様のいくつかの実施形態では、正規化線形関数は絶対値関数である。
【００２３】
第２の態様のいくつかの実施形態では、コンテキストアウェアなプーリング層は、カメラの視野内におけるばらつきを修正する。
【００２４】
第２の態様のいくつかの実施形態では、第１の全結合層は、５０の人工ニューロンを含む。
【００２５】
第２の態様のいくつかの実施形態では、第２の全結合層は、１０の人工ニューロンを含む。
【００２６】
第２の態様のいくつかの実施形態では、第１の全結合層および第２の全結合層で伝達関数が適用される。
【００２７】
第２の態様のいくつかの実施形態では、伝達関数は、ｔａｎｓｉｇ（ｘ）関数である。
【００２８】
第２の態様のいくつかの実施形態では、第１の全結合層および第２の全結合層は、一組の深層特徴を生成するように確率的勾配降下法で訓練することで進歩させられる。
【００２９】
単独あるいは上記に列挙した特徴および特許請求の範囲に列挙した特徴をはじめとする他の任意の特徴と組み合わせたさらなる特徴に、特許性のある主題が含まれる場合がある。そのようなさらなる特徴は、現段階で把握できている本発明を実施する最良の形態を例示する例示的な実施形態についての以下の詳細な説明を考慮すると、当業者には明らかになるであろう。
【００３０】
詳細な説明では、特に添付の図面を参照する。
【図面の簡単な説明】
【００３１】
【図１】図１は、室内に設置されたカメラと、このカメラの視野内に配置された患者支持装置の斜視図である。
【図２】図２は、コントローラがカメラからの画像を監視し、画像から得られる情報に基づいて、未来のある所定の時間で患者がベッドから出る可能性が高いことを予測するためのプロセスのフローチャートである。
【図３】図３は、本明細書に開示する予測システムのモデルである。
【図４】図４は、ビデオデータのセグメント化に使用される第１のセグメント化方法で患者支持装置が第１の構成で配置された場合を示す図である。
【図５】図５は、ビデオデータのセグメント化に使用される第１のセグメント化方法で患者支持装置が第２の構成で配置された場合を示す図である。
【図６】図６は、本開示の予測システムによって分析された特定のデータセットについての特異度と感度との関係を示すプロットである。
【発明を実施するための形態】
【００３２】
図１を参照すると、病院用ベッド１２として例示的に具体化された患者支持装置１２の上に患者１０がいることが示されている。他の実施形態では、患者支持装置を、椅子、車椅子、架台、ストレッチャー、担架などとして具体化してもよい。病院用ベッド１２は、ベース１４と、リフトシステム１６と、上部フレーム１８と、少なくとも１つの関節動作式デッキセクション２２を有するデッキ２０と、を備える。関節動作式デッキセクション２２は、上部フレーム１８から複数の位置に移動可能である。部屋２６の天井（図示せず）に、この部屋２６の原点すなわち基準点２８を基準にした座標Ｘ，Ｙ，Ｚで表される定位置にカメラ２４が配置されている。カメラ２４にはコントローラ２５が接続され、コントローラ２５は、カメラ２４が捕捉した画像を示す信号を、カメラ２４から受信する。詳細については後述するように、コントローラ２５は、この信号を使用して、所定時間内で患者が患者支持装置から出る尤度を把握するように動作可能である。このような信号が生成されると、その信号はアラームシステム８２の支配下に入る。
【００３３】
ベッド１２を構成する２つの要素の位置を特定することで、ベッド１２の相対的な位置が明確になる。たとえば、第１のキャスター３０の位置が座標Ｘ’，Ｙ’，Ｚ’で定められ、第２のキャスター３２の位置が座標Ｘ”，Ｙ”，Ｚ”で定められる。カメラ２４からのビデオデータを用いて離床を予測するにあたり、アルゴリズムでカメラ２４に対するベッド１２の相対的な位置を利用して、ベッド１２の位置を補正する。本明細書に開示する分析プラットフォームは、患者がベッド１２から出ることをビデオデータから予測するように訓練された深層学習による畳み込みニューラルネットワークである。
【００３４】
多岐にわたるビデオデータの時間分解能を一貫したものにするために、動画系列を１秒あたり１フレームのフレームレートにサブサンプリングする。もっとも、例示的な実施形態ではフレームレートを１秒あたり１フレームにしているが、他のフレームレートを使用してもよいことは、理解できよう。図３に示すモデルが適用される図２に示すプロセス４２を参照すると、ステップ４４において、動画像の複数のフレーム３４からなる画像系列をウィンドウに区切って捕捉する。これを最初にステップ４６で１×１の３Ｄ畳み込み層３６によって処理し、特徴マップを抽出する。いくつかの実施形態では、任意のステップ６０で示唆するように、特徴マップを区分線形化する。次に、これらの特徴マップをステップ４８でコンテキストアウェアなプーリング層３８に送り、ビデオカメラの視点とは関係なく各々の特徴マップから意味のある特徴ベクトルを抽出する。ステップ５０では、特徴マップを第１の全結合層（ＦＣ１）で処理する。この第１の全結合層の出力を、ステップ５２で第２の全結合層（ＦＣ２）によって処理する。２つの全結合層ＦＣ１およびＦＣ２では、抽出された特徴群の非線形性が高められる。これらの値は、ステップ５４において出力層４０で分析され、２つの値が出力される。一方は近い将来に離床イベントが生じる尤度に対応する値５６であり、他方は近い将来に離床イベントが生じない尤度に対応する値５８である。
【００３５】
ステップ４４では、画像フレーム３４の系列ウィンドウを、ｎ×ｍ×（３×Ｎ）行列として定義される１×１の３Ｄ畳み込み層３６で処理する。ここで、ｎは各フレームの幅、ｍは高さに対応し、Ｎは系列ウィンドウに含まれるフレームの数に対応している。「３」は各画像のカラーチャネル数を表す。画像処理における畳み込みとは、カーネルで重みを与えて画像の各要素をその近傍の要素に加える処理である。カーネルとは、行列の形で一般化された信号処理値であり、経験データに基づいて導き出される。たとえば、２つの３×３行列がある場合、片方をカーネル、もう片方を画像断片として畳み込む。このとき、カーネルの行と列とをどちらも反転した上で局所的に類似した画像の値を積算し、積の総和をとる。得られる画像の［２，２］要素は画像行列の全成分の重み付け和になり、この重みは、次に示すようなカーネルで与えられることになる。
【数１】
2018156635.tif 000003
また、他の成分にも、同様に重み付けがなされることになる。ここで、カーネルは画像の各端点の中心に位置し、重み付けされた値の総和が求められる。
【００３６】
本開示では、画像フレーム３４の系列ウィンドウの行列を３Ｄ畳み込み層３６に入力し、１×１×（Ｎ×３）の３Ｄ畳み込みカーネルと動画フレーム３４のそれぞれの組のウィンドウとを畳み込み、Ｎ個の特徴マップからなるセットを生成する。このカーネルを、画素ごとに最初の２つの次元（ｘｙ平面）に沿って畳み込み、各フレームに３つのカラーチャネルがあるためストライドを３にして、３つ目の次元に沿って畳み込む。繰り返すが、このカーネルも経験的に決定される。
【００３７】
プロセス４２のステップ６０では、絶対値関数である正規化線形関数を適用して、層に非飽和の線形性を導入する。他の実施形態では、他の関数を適用して畳み込み層における区分線形化を行ってもよく、絶対値による区分線形化が畳み込み層３６からの出力に非飽和の線形性を誘導する関数の一例にすぎないことは、理解できよう。
【００３８】
コンテキストアウェアなプーリングを達成するには、前の層で得られた特徴マップから意味のある特徴ベクトルを抽出して、離床イベントを正確に予測しなければならない。特徴マップには、ビデオカメラの視野６２全体（図１参照）の情報が含まれる。しかしながら、視野の異なる複数のカメラから収集したデータを修正するには、着目領域（すなわち、病院用ベッド）だけを考慮する。コンテキストアウェアなプーリングを使用して、着目領域から関連のある特徴を抽出する。
【００３９】
着目領域を決定するには、図４に示唆したように、６つの領域７０ａ、７２ａ、７４ａ、７６ａ、７８ａ、８０ａからなる病院用ベッドのモデルを構成する。病院用ベッド１２は、ビデオカメラ２４からみると動画系列の最初から最後まで静止した状態にあるため、動画系列１つあたり１回だけ病院用ベッドのモデルを構築する。コンテキストアウェアなプーリングを容易にするために、各々の特徴マップを、複数のノードからなる格子とみなす。ここで、ノードｘがそれぞれマップ内の１つの特徴を表す。図３および図４に示すように、特徴マップごとに各領域をｈとして一般化し、各領域内のノードをプーリング処理した上で連結して、１×（ｊ×Ｎ）の特徴ベクトルを作成する。これを数学的に表すと、以下のようになる。
【数２】
2018156635.tif 000004
式中、ｘｉは領域ｈｊにおけるｉ番目のノードを示し、ｊは範囲［１，６］であり、ｐｏｏｌ（．）はプーリング関数である。領域数を６ではなくこれより大きな値にすることによって粒度を増してもよいことは、理解できよう。
【００４０】
病院用ベッド１２の位置または向きがカメラ２４と異なる関係にある場合またはベッド１２が異なる構成である場合には、６つの領域７０ｂ、７２ｂ、７４ｂ、７６ｂ、７８ｂ、８０ｂの配置を変更して、図５に示唆するような特徴ベクトルを作成する。この手法を使って区分線形化の係数を適用し、導き出されたカーネルと特定の用途において適用する適切なカーネルとの差を補正してもよい。
【００４１】
このプラットフォームには、非線形性を与えるための２つの全結合層ＦＣ１、ＦＣ２が存在する。特徴ベクトルの各要素が、ＦＣ１に含まれる５０の人工ニューロンの各々と結合する。次に、ＦＣ１の人工ニューロンは、ＦＣ２に含まれる１０の人工ニューロンとそれぞれ結合し、これが出力層と結合する。近い将来に患者離床イベントが生じるか否かの予測を可能にする、深層特徴群を生成するために、確率的勾配降下法を用いてこれらの層を訓練する。どちらの全結合層でも、ｔａｎｓｉｇ伝達関数を使用する。この関数は、次のように定義される。
【数３】
2018156635.tif 000005
【００４２】
出力層では、ソフトマックスプーリングを採用し、解釈可能な離床イベントの尤度を与える。このとき、離床イベントが生じる尤度を一方の人工ニューロンで表し、離床イベントが生じない尤度を他方の人工ニューロンで表す。この尤度は、０から１の範囲の十進数として与えられ、０は離床イベントが非常に起こりにくいことを示唆し、１は離床イベントが非常に起こりやすいことを示唆する。
【実施例】
【００４３】
システムの有効性を検証するために、赤、緑、青（ＲＧＢ）の３チャネルで１８７時間分のビデオデータからなるデータセット使用した。このデータセットを、各々４０秒の長さで、１００９のデータ系列ウィンドウにセグメント化した。これらのウィンドウについて、離床イベントが３０秒で発生するウィンドウがポジティブサンプル、系列ウィンドウで離床イベントが生じないウィンドウがネガティブサンプルになるように、手作業で選択した。
【００４４】
正しいポジティブ予測は、離床イベントの７秒前までのいずれかの時点で離床イベントの予測尤度が信頼閾値τを超えた場合に生じると言えた。一方、正しいネガティブ予測は、同じ時間に離床イベントの予測尤度がτ未満で維持された場合に生じると言えた。ウィンドウ１つあたりのフレーム数Ｎは７とした。コンテキストアウェアなプーリング層におけるプーリング関数については、ある領域内における全ノードの平均として定義した。
【００４５】
セグメント化したデータセットを使用して、２つの実験を行った。まず、τの値を変化させ、精度の点で最適になる値を決定した。次に、プラットフォームの全結合層を異なるデータ量で訓練し、精度、感度、特異度に対する影響を観察した。
【００４６】
精度の値が最大の９０％になるのはτ＝０．８９のときであると判断されたが、用途に応じた感度と特異度の値を考慮することが重要である。離床予測の場合、わずかしかない離床イベントを、感度を上げることによって除外するために、τを小さくすると好ましい。しかしながら、感度と特異度との間にはトレードオフがあり、感度を上げると特異度が下がる。τを０から１まで変化させた場合の特異度と感度との関係を図６に示す。τの値０．７３は、離床予測での用途に合わせて特異度と感度とのバランスを良好にするために、経験的に決定したものである。
【００４７】
経験的に決定した０．７３をτに用いた場合の、３種類の異なるプラットフォームでの精度、感度、特異度の値を表Ｉに示す。これらのプラットフォームの違いは全結合層だけであり、全結合層で使用するデータ量を変えて各々のプラットフォームを訓練した。感度は減少後にわずかに増加し、特異度は最初に改善された後、わずかに低下する。感度と特異度はポジティブサンプルとネガティブサンプルの数に左右され、感度と特異度が揺らぐ原因は、訓練データの量が増すにつれてポジティブサンプルとネガティブサンプルとの比が変化することにある。精度にはポジティブサンプルとネガティブサンプルの両方が考慮され、精度が一様に増加していることから、通常は、訓練に使用するデータ量が多くなるほどプラットフォームがうまく機能することがわかる。
【表１】
2018156635.tif 000006
【００４８】
１８０時間分のデータで訓練したモデルと信頼閾値τ＝０．７３、セグメント化していない全データセットを使用して、（表ＩＩに示すような）平均予測時間とエラーが生じる相対的な間隔とを計算した。この閾値を用いると、除外される離床イベントは３．１時間に１回しか生じないと想定されるのに対し、誤ったアラームは１１時間に１回しか生じないと想定されることがわかる。このデータセットではポジティブサンプルに対するネガティブサンプルの割合が高いため、除外される離床の間隔は、想定される誤ったアラームの間隔よりも短いと思われる。
なお、偽ポジティブの多くはベッドのあるエリア内での動きに起因する可能性がある。これが最もよく生じたのは、動画の中にいる誰かがベッドと患者の上にあるトレーテーブルを動かしたり、トレーテーブル上のノートパソコンを動かしたりしたときであるが、ときには影が動くことで偽ポジティブになる場合もあった。また、全ての動画を１秒あたり１フレームのフレームレートでサブサンプリングしたため、偽ネガティブのほうは、離床時の動きが速いことによる可能性が高い。この場合、離床イベントを詳細に捕捉するには、そのフレームレートでは不十分な場合がある。
【表２】
2018156635.tif 000007
【００４９】
これらの結果から、この手法では、患者離床イベントを最大で７秒前まで高精度に予測できることがわかる。他の実施形態では、完全に自動のシステムとすることができるように、コンテキストアウェアなプーリング層における病院用ベッドモデルを生成するための手作業によるポイント選択プロセスを自動化することや、カメラの視点からみて病院用ベッドが動いたときに自動的に適応する機能をシステムに加えることを含むようにしてもよいことが、企図される。また、既存のベッドセンサから、深層学習による畳み込みニューラルネットワークアーキテクチャにデータを取り入れて、このプラットフォームをさらに改善することもできる。
【００５０】
以下のテキストは、本願の発明者らが著者である、「DeepPredict: A Deep Predictive Intelligence Platform for Patient Monitoring」というタイトルのドラフトペーパーである。その本文は本出願の開示の一部をなすものであり、当該ドラフトペーパーのうち、患者支援装置から患者が出ようとしていることを予測するためのシステムに関する開示をすべて本仮特許出願に援用する。
【００５１】
以上、例示的ないくつかの実施形態を詳細に説明したが、本明細書に記載し、以下の特許請求の範囲に規定した開示の範囲および意図の範囲内での改変および変更が存在する。
【図１】
2018156635.tif 000008
【図２】
2018156635.tif 000009
【図３】
2018156635.tif 000010
【図４】
2018156635.tif 000011
【図５】
2018156635.tif 000012
【図６】
2018156635.tif 000013
【外国語明細書】
2018156635000001.pdf