(57)【要約】【課題】行動検出の精度を向上させる。【解決手段】パラメータ設定部は、映像内の被写体に関連する入力情報に基づいて、被写体の行動の検出に用いられる行動検出パラメータを設定し、行動検出部は、設定された行動検出パラメータと、映像における被写体の姿勢とに基づいて、被写体の行動を検出する。本開示は、例えば、レクチャーキャプチャーシステムに適用することができる。【選択図】図３
2020017107.tif 000002
【特許請求の範囲】
【請求項１】
映像内の被写体に関連する入力情報に基づいて、前記被写体の行動の検出に用いられる行動検出パラメータを設定するパラメータ設定部と、
設定された前記行動検出パラメータと、前記映像における前記被写体の姿勢とに基づいて、前記被写体の行動を検出する行動検出部と
を備える情報処理装置。
【請求項２】
前記パラメータ設定部は、前記被写体の行動の種別毎にあらかじめ設定された基準となる値を、前記入力情報に応じて調整することで、前記行動検出パラメータを設定する
請求項１に記載の情報処理装置。
【請求項３】
前記入力情報は、前記被写体の属性を表す情報である
請求項１に記載の情報処理装置。
【請求項４】
前記被写体の属性は、前記被写体の年齢、性別、人種の少なくともいずれかを含む
請求項３に記載の情報処理装置。
【請求項５】
前記入力情報は、前記被写体の身体的特徴に関する情報である
請求項１に記載の情報処理装置。
【請求項６】
前記行動検出パラメータは、前記被写体に対応づけられて記録される
請求項１に記載の情報処理装置。
【請求項７】
前記行動検出パラメータは、前記被写体の身体的特徴に関する情報である
請求項１に記載の情報処理装置。
【請求項８】
前記被写体の行動は、前記被写体が講義中にとり得る動作である
請求項１に記載の情報処理装置。
【請求項９】
前記被写体が講義中にとり得る動作は、起立、着席、および挙手の少なくともいずれかを含む
請求項８に記載の情報処理装置。
【請求項１０】
前記パラメータ設定部は、前記映像内の複数の前記被写体毎に、前記行動検出パラメータを設定する
請求項１に記載の情報処理装置。
【請求項１１】
前記被写体の行動の検出結果に基づいて、前記映像を撮影する撮影装置を制御する撮影制御部をさらに備える
請求項１に記載の情報処理装置。
【請求項１２】
前記撮影制御部は、前記被写体の行動の検出結果に基づいて、前記撮影装置の撮影画角を制御する
請求項１１に記載の情報処理装置。
【請求項１３】
前記撮影制御部は、前記被写体の行動の検出結果に基づいて、前記映像を切り出す範囲を制御する
請求項１１に記載の情報処理装置。
【請求項１４】
前記パラメータ設定部は、前記映像から取得される前記入力情報に基づいて、前記行動検出パラメータを設定する
請求項１に記載の情報処理装置。
【請求項１５】
前記パラメータ設定部は、記録装置に記録されている情報から取得される前記入力情報に基づいて、前記行動検出パラメータを設定する
請求項１に記載の情報処理装置。
【請求項１６】
前記パラメータ設定部は、ＵＩを介して入力された情報から取得される前記入力情報に基づいて、前記行動検出パラメータを設定する
請求項１に記載の情報処理装置。
【請求項１７】
前記入力情報は、前記映像内の物体に関する物体情報をさらに含み、
前記物体情報に基づいて、前記被写体がいる空間における前記被写体の位置を示す位置情報の表示を制御する表示制御部をさらに備える
請求項１に記載の情報処理装置。
【請求項１８】
前記行動検出パラメータは、前記被写体の動き予測に関する情報である
請求項１に記載の情報処理装置。
【請求項１９】
情報処理装置が、
映像内の被写体に関連する入力情報に基づいて、前記被写体の行動の検出に用いられる行動検出パラメータを設定し、
設定された前記行動検出パラメータと、前記映像における前記被写体の姿勢とに基づいて、前記被写体の行動を検出する
情報処理方法。
【請求項２０】
コンピュータに、
映像内の被写体に関連する入力情報に基づいて、前記被写体の行動の検出に用いられる行動検出パラメータを設定し、
設定された前記行動検出パラメータと、前記映像における前記被写体の姿勢とに基づいて、前記被写体の行動を検出する
処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、行動検出の精度を向上させることができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
映像内の被写体に関する情報に応じて、何らかのパラメータを設定する手法がある。
【０００３】
例えば、特許文献１には、映像内で追跡対象となる人物の年齢推定や個人識別の結果に基づいて、次フレームにおける探索領域を設定する技術が開示されている。
【０００４】
また、特許文献２には、映像内の被写体の顔のサイズと傾きを検出し、その検出結果に基づいて、ズームに関するパラメータを設定する撮像装置が開示されている。
【０００５】
一方、映像内の被写体の行動を検出する行動検出の技術が知られている。行動検出は、被写体の姿勢検出の結果と、行動検出に用いられるパラメータとに基づいて行われる。
【０００６】
行動検出に用いられるパラメータは、検出される行動に応じた体の部位の位置などで表される。映像内の被写体の体の部位の位置と、行動検出に用いられるパラメータとが比較されることで、被写体の行動が検出可能となる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−２６１４６号公報
【特許文献２】特開２０１２−９５０１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、行動検出に用いられるパラメータは、システム設計者によりあらかじめ設定されることが多い。
【０００９】
しかしながら、身長や体格などの身体的特徴は被写体毎に異なるため、行動検出に用いられるパラメータが一様に設定された場合、行動検出の精度が低下するおそれがあった。
【００１０】
本開示は、このような状況に鑑みてなされたものであり、行動検出の精度を向上させることができるようにするものである。
【課題を解決するための手段】
【００１１】
本開示の情報処理装置は、映像内の被写体に関連する入力情報に基づいて、前記被写体の行動の検出に用いられる行動検出パラメータを設定するパラメータ設定部と、設定された前記行動検出パラメータと、前記映像における前記被写体の姿勢とに基づいて、前記被写体の行動を検出する行動検出部とを備える情報処理装置である。
【００１２】
本開示の情報処理方法は、情報処理装置が、映像内の被写体に関連する入力情報に基づいて、前記被写体の行動の検出に用いられる行動検出パラメータを設定し、設定された前記行動検出パラメータと、前記映像における前記被写体の姿勢とに基づいて、前記被写体の行動を検出する情報処理方法である。
【００１３】
本開示のプログラムは、コンピュータに、映像内の被写体に関連する入力情報に基づいて、前記被写体の行動の検出に用いられる行動検出パラメータを設定し、設定された前記行動検出パラメータと、前記映像における前記被写体の姿勢とに基づいて、前記被写体の行動を検出する処理を実行させるためのプログラムである。
【００１４】
本開示においては、映像内の被写体に関連する入力情報に基づいて、前記被写体の行動の検出に用いられる行動検出パラメータが設定され、設定された前記行動検出パラメータと、前記映像における前記被写体の姿勢とに基づいて、前記被写体の行動が検出される。
【発明の効果】
【００１５】
本開示によれば、行動検出の精度を向上させることが可能となる。
【００１６】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１７】
【図１】本開示の実施の形態に係る撮影システムの概観を示す図である。
【図２】撮影システムの構成例を示すブロック図である。
【図３】第１の実施の形態の情報処理装置の機能構成例を示すブロック図である。
【図４】撮影装置制御処理について説明するフローチャートである。
【図５】第２の実施の形態の情報処理装置の機能構成例を示すブロック図である。
【図６】姿勢情報の例を示す図である。
【図７】行動検出パラメータ設定処理について説明するフローチャートである。
【図８】行動検出パラメータ設定処理について説明するフローチャートである。
【図９】レクチャーキャプチャーシステムにおける映像の例を示す図である。
【図１０】姿勢検出について説明する図である。
【図１１】顔検出について説明する図である。
【図１２】物体検出について説明する図である。
【図１３】物体の位置について説明する図である。
【図１４】パラメータテーブルの例を示す図である。
【図１５】パラメータテーブル管理画面表示処理について説明するフローチャートである。
【図１６】パラメータテーブル管理画面の例を示す図である。
【図１７】聴講者情報の修正処理について説明するフローチャートである。
【図１８】聴講者情報編集画面の例を示す図である。
【図１９】位置情報と聴講者情報を対応づける処理について説明するフローチャートである。
【図２０】位置情報と聴講者情報の対応づけについて説明する図である。
【図２１】聴講者情報追加処理について説明するフローチャートである。
【図２２】聴講者情報の追加について説明する図である。
【図２３】コンピュータの構成例を示すブロック図である。
【図２４】車両制御システムの概略的な構成の一例を示すブロック図である。
【図２５】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【図２６】内視鏡手術システムの概略的な構成の一例を示す図である。
【図２７】カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
【００１９】
１．従来のレクチャーキャプチャーシステムにおける課題
２．本開示の実施の形態に係る撮影システムの構成
３．第１の実施の形態（基本的な構成とその動作）
４．第２の実施の形態（年齢／性別推定と個人識別を行う構成とその動作）
５．第３の実施の形態（パラメータテーブルを管理するためのＵＩ表示例）
６．変形例
７．コンピュータの構成例
８．応用例
【００２０】
＜１．従来のレクチャーキャプチャーシステムにおける課題＞
近年、大学などの学校における講義の様子を収録し、遠隔地での講義の聴講を実現するレクチャーキャプチャーシステムが提供されている。レクチャーキャプチャーシステムでは、聴講者を撮影する場合において、その聴講者の行動を検出し、カメラワークを制御する。例えば、聴講者の１人が起立すると、その聴講者を拡大して撮影するなど、聴講者の行動に応じてカメラワークを切り替えた映像が収録される。
【００２１】
このときのカメラワークは、映像を視聴している人間が、目視で聴講者の行動を観測し、その観測結果を踏まえて手動で切り替えている。仮に、カメラワークを切り替える必要のある聴講者の行動を、映像の中から自動で検出することができれば、観測する者の人員削減とカメラワークの自動制御を実現することができる。
【００２２】
聴講者の行動検出は、聴講者の姿勢検出の結果と、行動検出に用いられるパラメータ（以下、行動検出パラメータという）とに基づいて行われる。
【００２３】
例えば、聴講者の起立動作を検出する場合、行動検出パラメータとしては、起立中に顔や肩が存在し得る最低の高さ位置、着席中に顔や肩が存在し得る最高の高さ位置、これら２つの高さ位置の差分（距離）などが用いられる。
【００２４】
聴講者の姿勢検出により求められる現在の顔の高さ位置が、行動検出パラメータの着席中に顔や肩が存在し得る最高の高さ位置より高いか否かなど、聴講者の姿勢検出の結果と行動検出パラメータとが比較されることで、被写体の行動が検出可能となる。
【００２５】
上述した例では、起立を検出するための行動検出パラメータについて説明したが、検出される行動の種別によっては、全く異なるパラメータを用意する必要がある。
【００２６】
行動検出パラメータは、システム設計者によりあらかじめ設定されたり、システムの使用時にユーザ（システムの設定を請け負う業者など）により設定されたりするが、それぞれの場合で以下の課題があった。
【００２７】
（課題１）
講義収録において撮影の対象となる聴講者の年齢は例えば７歳から２２歳の幅があり、各年齢間で、身長をはじめとする身体的特徴の差がある。そのため、あらかじめパラメータが一様に設定された場合、行動検出の精度が低下するおそれがあった。
【００２８】
（課題２）
検出される行動の種別毎に必要となるパラメータが異なるため、ユーザによりパラメータが設定される場合、ユーザが入力する情報量が膨大になり、運用が容易でなくなるおそれがあった。
【００２９】
そこで、以下においては、上記の課題を解決するためのシステムの構成と動作について説明する。
【００３０】
＜２．本開示の実施の形態に係る撮影システムの構成＞
図１は、本開示の実施の形態に係る撮影システムの概観を示す図である。
【００３１】
撮影システムは、レクチャーキャプチャーシステムとして構成され、図示せぬ講師が複数の聴講者Ｕ１乃至Ｕ６に対して講義を行う教室や講堂などに設置される。
【００３２】
図１には、講義部屋（教室）において６人の聴講者Ｕ１乃至Ｕ６が、講義を聴講している様子が示されている。
【００３３】
撮影装置１は、講義部屋に設置され、聴講者Ｕ１乃至Ｕ６の全員が映る画角で撮影する。撮影された映像は、情報処理装置２に出力される。
【００３４】
情報処理装置２は、撮影装置１からの映像に基づいて、聴講者Ｕ１乃至Ｕ６それぞれの行動を検出し、その検出結果に基づいて撮影装置１を制御する。
【００３５】
図２は、撮影システムの構成例を示すブロック図である。
【００３６】
図２の撮影システムは、撮影装置１０、情報処理装置２０、入出力装置３０、および記録装置４０から構成される。
【００３７】
撮影装置１０および情報処理装置２０は、図１の撮影装置１および情報処理装置２に相当する。
【００３８】
撮影装置１０は、例えば、機械的にパン・チルトする機能を備えつつ、光学的・電子的にズーム可能なＰＴＺカメラとして構成される。撮影装置１０は、１つに限らず、複数設けられてもよい。
【００３９】
情報処理装置２０は、その機能を有する専用のハードウェアにより構成されてもよいし、一般的なコンピュータにより構成され、それぞれの機能がソフトウェアにより実現されてもよい。また、撮影装置１０と情報処理装置２０は、それぞれ別個に構成されるのではなく、１つの装置として一体に構成されるようにしてもよい。
【００４０】
入出力装置３０は、ユーザの操作を受け付けるキーボードやマウス、さらには、表示機能を有するディスプレイなどにより構成される。このディスプレイには、タッチパネルの機能が設けられていてもよい。入出力装置３０は、ユーザの操作に基づいた指示を受け付け、情報処理装置２０に出力する。また、入出力装置３０は、情報処理装置２０から供給される各種情報をユーザに提示する。
【００４１】
入出力装置３０と情報処理装置２０は、それぞれ別個に構成されるのではなく、１つの装置として一体に構成されるようにしてもよい。また、入出力装置３０は、ネットワークを介して情報処理装置２０と接続されてもよい。
【００４２】
記録装置４０は、情報処理装置２０から供給される各種情報を記録する。記録装置４０に記録された情報は、必要に応じて、情報処理装置２０により読み出される。詳細は後述するが、記録装置４０には、行動検出パラメータが聴講者各個人に対応づけられて登録されたパラメータテーブルが記録される。
【００４３】
記録装置４０と情報処理装置２０は、それぞれ別個に構成されるのではなく、１つの装置として一体に構成されるようにしてもよい。また、記録装置４０は、ネットワークを介して情報処理装置２０と接続されてもよい。
【００４４】
＜３．第１の実施の形態＞
（情報処理装置の機能構成例）
図３は、第１の実施の形態の情報処理装置の機能構成例を示すブロック図である。
【００４５】
図３の情報処理装置２０は、入力情報取得部５１、パラメータ設定部５２、行動検出部５３、および撮影制御部５４を備えている。
【００４６】
入力情報取得部５１は、情報処理装置２０に入力される映像内の被写体に関連する入力情報を取得し、パラメータ設定部５２に供給する。入力情報は、撮影装置１０により撮影された映像を表す映像信号から取得されたり、入出力装置３０により提示されるＵＩを介して入力された情報や、記録装置４０に記録されている情報から取得される。
【００４７】
パラメータ設定部５２は、入力情報取得部５１からの入力情報に基づいて、撮影装置１０からの映像信号で表される映像内の被写体の行動の検出に用いられる行動検出パラメータを設定し、行動検出部５３に供給する。
【００４８】
行動検出部５３は、パラメータ設定部５２からの行動検出パラメータと、撮影装置１０からの映像信号で表される映像における被写体の姿勢とに基づいて、被写体の行動を検出する。被写体の行動の検出結果は、撮影制御部５４に供給される。
【００４９】
撮影制御部５４は、撮影制御信号によって撮影装置１０を制御する。具体的には、行動検出部５３からの被写体の行動の検出結果に基づいて、撮影装置１０の撮影画角を制御したり、撮影装置１０により撮影された映像を切り出す範囲を制御する。
【００５０】
（撮影装置制御処理）
次に、図４のフローチャートを参照して、情報処理装置２０による撮影装置制御処理について説明する。
【００５１】
ステップＳ１１において、入力情報取得部５１は、入力情報を取得する。入力情報は、例えば、撮影装置１０により撮影された映像内の被写体（行動検出の対象となる被写体）に関する被写体情報とされる。具体的には、被写体情報（入力情報）は、被写体の属性を表す情報や、被写体の身体的特徴に関する情報とされる。被写体の属性を表す情報は、例えば、被写体の年齢や性別、人種、利き手、髪型や髪の色、メガネの着用の有無などとされる。また、被写体の身体的特徴を表す情報は、例えば、被写体の身長、体重、座高、腕や脚の長さ、腕や脚の各関節同士の間の長さなどとされる。
【００５２】
ステップＳ１２において、パラメータ設定部５２は、取得された入力情報（被写体情報）に基づいて、行動検出の対象となる被写体についての行動検出パラメータを設定する。行動検出パラメータは、映像内の被写体の身体的特徴に関する情報であったり、被写体の動き予測に関する情報であったりする。行動検出パラメータは、被写体それぞれに最適化されたパラメータとされ、映像内に複数の被写体が存在する場合、被写体毎に行動検出パラメータが設定される。
【００５３】
ステップＳ１３において、行動検出部５３は、設定された行動検出パラメータを用いて、行動検出の対象となる被写体の行動を検出する。
【００５４】
ステップＳ１４において、撮影制御部５４は、被写体の行動の検出結果に基づいて、撮影装置１０を制御する。
【００５５】
以上の処理によれば、行動検出の対象となる被写体について最適化された行動検出パラメータが設定されるので、被写体毎に身長や体格などの身体的特徴が異なっていても、行動検出の精度を向上させることが可能となる。
【００５６】
その結果、例えばレクチャーキャプチャーシステムにおいては、カメラワークの切り替えを確実に行うなど、精度の高いカメラワークの自動制御を実現することが可能となる。
【００５７】
以上においては、本開示の実施の形態の基本的な構成とその動作について説明した。以下では、図１の撮影システム（レクチャーキャプチャーシステム）において聴講者の行動検出を行う具体的な構成とその動作について説明する。
【００５８】
＜４．第２の実施の形態＞
（情報処理装置の機能構成例）
図５は、第２の実施の形態の情報処理装置の機能構成例を示すブロック図である。
【００５９】
図５の情報処理装置２０は、姿勢検出部７１、顔検出部７２、物体検出部７３、年齢／性別推定部７４、個人識別部７５、パラメータ設定部７６、行動検出部７７、撮影制御部７８、および表示制御部７９を備えている。
【００６０】
姿勢検出部７１は、撮影装置１０からの映像内の聴講者（被写体）の身体的特徴に関する情報として姿勢を検出し、検出した姿勢を表す姿勢情報を、パラメータ設定部７６と行動検出部７７に供給する。姿勢情報は、映像に写る人物の関節を表す関節情報と、関節情報同士を繋ぐ骨格情報とからなる情報としてもよいし、いずれか一方のみからなる情報としてもよい。また、姿勢情報は、上述した情報に特に限定されず、被写体の身体的特徴を表す姿勢に関する情報であればよい。
【００６１】
図６は、姿勢情報の例を示す図である。
【００６２】
図６においては、１４の関節情報Ｊ１１，Ｊ１２，Ｊ２１乃至Ｊ２６，Ｊ３１乃至Ｊ３６が点で示され、関節情報同士を繋ぐ骨格情報が２つの点を結ぶ線分で示されている。
【００６３】
図６の例では、関節情報Ｊ１１，Ｊ１２は、それぞれ人体の頭と首を表している。関節情報Ｊ２１乃至Ｊ２３は、それぞれ人体の右肩、右肘、右手首を表し、関節情報Ｊ２４乃至Ｊ２６は、それぞれ人体の右股関節、右膝、右足首を表している。関節情報Ｊ３１乃至Ｊ３３は、それぞれ人体の左肩、左肘、左手首を表し、関節情報Ｊ３４乃至Ｊ３６は、それぞれ人体の左股関節、左膝、左足首を表している。
【００６４】
図５の説明に戻り、顔検出部７２は、撮影装置１０からの映像内の聴講者の顔を検出し、検出した顔を表す顔情報を、年齢／性別推定部７４と個人識別部７５に供給する。顔情報は、検出された顔の映像内での位置と、その顔画像からなる。
【００６５】
物体検出部７３は、撮影装置１０からの映像内の物体を検出し、検出した物体を表す物体情報を、記録装置４０に出力する。物体情報は、検出された物体の映像内での位置と、その物体の種別を表す種別情報からなる。物体の種別には、一般的な講義部屋内にあるもの、例えば、机、窓、本棚、黒板、壁などが含まれる。
【００６６】
年齢／性別推定部７４は、顔検出部７２からの顔情報に基づいて、その顔情報に対応する聴講者の年齢と性別を推定する。推定された年齢と性別を表す年齢／性別情報は、パラメータ設定部７６に供給される。
【００６７】
個人識別部７５は、顔検出部７２からの顔情報に基づいて、その顔情報に対応する聴講者個人を識別する個人特徴量を算出し、算出した個人特徴量をパラメータ設定部７６に供給する。個人特徴量は、ＳＵＲＦ（Speed-Up Robust Features）のような、単一画像（静止画像）から抽出される特徴量であってもよいし、映像（動画像）から抽出される、体の部位の動き（例えば瞼の動き）のような時間方向に変化する特徴量であってもよい。
【００６８】
パラメータ設定部７６は、聴講者各個人の行動検出パラメータを設定する。パラメータ設定部７６は、算出部８１、決定部８２、および更新部８３を有している。
【００６９】
算出部８１は、年齢／性別推定部７４からの年齢／性別情報に基づいて、その年齢／性別情報に対応する聴講者の年齢と性別に応じた行動検出パラメータを算出する。具体的には、算出部８１は、推定された年齢と性別の人間の平均的な身体的特徴を用いて、行動検出パラメータを算出する。
【００７０】
決定部８２は、個人識別部７５からの個人特徴量に基づいて、算出部８１により算出された行動検出パラメータ、および、記録装置４０に記録されている行動検出パラメータのいずれかを、実際に行動の検出に用いる行動検出パラメータに決定する。
【００７１】
具体的には、決定部８２は、個人識別部７５からの個人特徴量に対応する聴講者に対応づけられている行動検出パラメータが、記録装置４０のパラメータテーブルに登録されているか否かを判定する。
【００７２】
聴講者に対応づけられている行動検出パラメータがパラメータテーブルに登録されている場合、決定部８２は、パラメータテーブルに登録されている行動検出パラメータを、実際に行動の検出に用いる行動検出パラメータに決定する。聴講者に対応づけられている行動検出パラメータは、その聴講者について最適化されたパラメータといえる。
【００７３】
一方、聴講者に対応づけられている行動検出パラメータがパラメータテーブルに登録されていない場合、決定部８２は、算出部８１により算出された行動検出パラメータを、実際に行動の検出に用いる行動検出パラメータに決定する。算出部８１により算出された行動検出パラメータもまた、その聴講者について最適化されたパラメータといえる。
【００７４】
このようにして決定された行動検出パラメータは、聴講者各個人について最適化されたパラメータとして、行動検出部７７に供給される。
【００７５】
更新部８３は、姿勢検出部７１からの姿勢情報と、行動検出部７７からの行動情報（行動の検出結果を表す情報）に基づいて、行動検出の対象となった聴講者の行動検出パラメータを更新する。更新された行動検出パラメータは、記録装置４０のパラメータテーブルに反映され、パラメータテーブルが更新される。
【００７６】
パラメータ設定部７６における処理に用いられた各種情報や処理結果は、適宜、記録装置４０や、表示制御部７９を介して入出力装置３０に供給される。
【００７７】
行動検出部７７は、姿勢検出部７１からの姿勢情報と、パラメータ設定部７６（決定部８２）からの行動検出パラメータを用いて、聴講者の少なくとも１種類の行動を検出する。検出される聴講者の行動は、聴講者が講義中にとり得る動作である。講義中にとり得る動作には、例えば、起立、礼、挙手、着席、前方への移動、発言（発話）、教科書の音読、ノートなどへの筆記、居眠り、よそ見やおしゃべり（講義の内容に対する発言ではなく講義に関係のない個別の発言）などが含まれる。
【００７８】
行動の検出結果を表す行動情報は、行動検出の対象となった聴講者の情報（顔情報、個人特徴量、年齢／性別情報）とともに、パラメータ設定部７６（更新部８３）に供給され、行動検出パラメータ（パラメータテーブル）の更新に用いられる。また、行動情報は、撮影制御部７８にも供給される。
【００７９】
撮影制御部７８は、行動検出部７７からの行動情報に基づいて、撮影装置１０を制御する。撮影制御部７８は、行動情報に基づいて、例えば、起立した聴講者をズームアップしたり、映像から挙手した複数の聴講者が映る範囲を切り出したりする。
【００８０】
表示制御部７９は、入出力装置３０を構成するディスプレイにおける、パラメータ設定部７６からの各種情報の表示を制御する。
【００８１】
（行動検出パラメータ設定処理）
次に、図７および図８のフローチャートを参照して、情報処理装置２０による行動検出パラメータ設定処理について説明する。
【００８２】
この例では、図９に示されるような、講義部屋において６人の聴講者Ｕ１乃至Ｕ６が講義を聴講している様子が撮影された映像に対して、行動検出パラメータ設定処理が実行される。図９においては、聴講者Ｕ１，Ｕ３，Ｕ５，Ｕ６が着席し、聴講者Ｕ２，Ｕ４が起立している。
【００８３】
以下においては、起立の動作が検出される例について説明する。
【００８４】
図９に示される映像が撮影装置１０から情報処理装置２０に供給されると、ステップＳ３１において、姿勢検出部７１は、撮影装置１０からの映像内の聴講者Ｕ１乃至Ｕ６の姿勢を検出する。
【００８５】
図１０は、聴講者Ｕ１乃至Ｕ６それぞれの姿勢検出について説明する図である。
【００８６】
図１０においては、聴講者Ｕ１乃至Ｕ６それぞれについて、関節情報と骨格情報からなる姿勢情報１１１乃至１１６が示されている。姿勢情報を構成する関節情報と骨格情報には、それぞれが体のどの部位に対応するかを示す情報が含まれている。
【００８７】
このようにして得られた姿勢情報は、パラメータ設定部７６と行動検出部７７に供給される。
【００８８】
ステップＳ３２において、顔検出部７２は、撮影装置１０からの映像内の聴講者Ｕ１乃至Ｕ６の顔を検出する。
【００８９】
図１１は、聴講者Ｕ１乃至Ｕ６それぞれの顔検出について説明する図である。
【００９０】
図１１においては、検出された聴講者Ｕ１乃至Ｕ６それぞれの顔を示す枠１２１乃至１２６が示されている。図１１の例では、枠１２１乃至１２６で囲われている聴講者Ｕ１乃至Ｕ６それぞれの顔画像とその位置が、顔情報となる。
【００９１】
このようにして得られた顔情報は、年齢／性別推定部７４と個人識別部７５に供給される。
【００９２】
ステップＳ３３において、物体検出部７３は、撮影装置１０からの映像内の物体を検出する。
【００９３】
図１２は、物体検出について説明する図である。ここでは、検出される物体の種別として、窓、本棚、机が設定されているものとする。
【００９４】
図１２においては、検出された窓を示す枠１３１、本棚を示す枠１４１、聴講者Ｕ１乃至Ｕ６それぞれの席にある机を示す枠１５１乃至１５６が示されている。図１２の例では、枠１３１，１４１，１５１乃至１５６で囲われているそれぞれの物体の種別とその位置が、物体情報となる。
【００９５】
このようにして得られた物体情報は、記録装置４０に出力される。
【００９６】
なお、物体情報に含まれる物体の位置は、映像平面上の位置であってもよいし、３次元空間上の位置であってもよい。例えば、撮影装置１０からの映像において、物体それぞれの深度情報などの３次元情報を取得することで、物体それぞれの３次元空間上の位置が求められる。これにより、例えば図１３に示されるような、講義部屋を上面からみたときの窓、本棚、机それぞれの位置を含む物体情報を得ることができる。
【００９７】
ステップＳ３４において、個人識別部７５は、顔検出部７２からの顔情報に基づいて、検出された顔の１つについて個人の識別を行い、個人特徴量を算出する。
【００９８】
ステップＳ３５において、個人識別部７５は、算出した個人特徴量に対応する聴講者が、記録装置４０のパラメータテーブルに登録されている人物か否かを判定する。
【００９９】
ステップＳ３５において、登録されている人物でないと判定された場合、ステップＳ３６に進み、年齢／性別推定部７４は、顔検出部７２からの顔情報に基づいて、その聴講者の年齢と性別を推定し、年齢／性別情報をパラメータ設定部７６に供給する。
【０１００】
ステップＳ３７において、パラメータ設定部７６の算出部８１は、年齢／性別推定部７４からの年齢／性別情報に基づいて、その聴講者の年齢／性別に応じた行動検出パラメータを算出する。
【０１０１】
行動検出パラメータは、行動の種別毎に、基準となる値（デフォルト値）があらかじめ設定されている。行動検出パラメータのデフォルト値を用いた行動検出の手法は、特に限定されず、既知の手法を用いることができる。例えば、検出された顔の高さ位置を用いることにより、起立／着席の状態を判断することができる。また、検出された姿勢情報を用いることにより、礼や挙手の状態を判断することができる。さらに、検出された姿勢情報と、その状態が維持されている時間情報を用いることにより、例えば起立の状態が一定時間保持されていることから発言の状態であると判断することができる。本実施の形態では、聴講者の年齢／性別に応じて、行動検出に用いられる行動検出パラメータのデフォルト値が調整されることで算出される。
【０１０２】
例えば、聴講者Ｕ４の顔情報に基づいて推定された聴講者Ｕ４の年齢／性別が、１２歳／男であった場合、日本人の１２歳男子の身長と座高の平均値に基づいて、起立動作についてのデフォルト値を調整することで、起立動作を検出するための行動検出パラメータを算出することができる。ただし、年齢／性別を用いて算出される行動検出パラメータは、その年齢／性別に応じた平均的な値であり、聴講者各個人の身体的特徴の差までは吸収できない。
【０１０３】
一方、ステップＳ３５において、登録されている人物であると判定された場合、ステップＳ３８に進み、決定部８２は、記録装置４０のパラメータテーブルに登録されているその聴講者の行動検出パラメータを読み出す。
【０１０４】
図１４は、パラメータテーブルの例を示す図である。
【０１０５】
パラメータテーブルは、聴講者毎の顔情報、氏名情報、パラメータ（行動検出パラメータ）、個人特徴量、および年齢／性別情報から構成される。
【０１０６】
図１４の例では、聴講者Ｕ１，Ｕ２，Ｕ３，Ｕ５，Ｕ６の行動検出パラメータが登録されている。
【０１０７】
例えば、聴講者Ｕ１については、聴講者Ｕ１の顔情報（顔画像）、氏名の「○○  いちろう」、行動検出パラメータｐ１１，ｐ１２、個人特徴量ｆ１１，ｆ１２、年齢／性別情報の１２／男が登録されている。このうち、顔情報、氏名情報、年齢／性別情報は、後述するパラメータテーブル管理画面を表示するために用いられる情報となる。
【０１０８】
なお、図１４の例では、聴講者Ｕ４の行動検出パラメータは登録されていない。
【０１０９】
ステップＳ３７またはＳ３８の後、ステップＳ３９において、決定部８２は、実際に行動の検出に用いる行動検出パラメータを決定する。
【０１１０】
例えば、処理対象が聴講者Ｕ４の場合、パラメータテーブルに聴講者Ｕ４の行動検出パラメータは登録されていないので、ステップＳ３７において算出された、年齢／性別に応じた行動検出パラメータを、実際に行動の検出に用いる行動検出パラメータに決定する。
【０１１１】
また、処理対象が聴講者Ｕ１，Ｕ２，Ｕ３，Ｕ５，Ｕ６のいずれかの場合、パラメータテーブルにこれら聴講者の行動検出パラメータは登録されているので、ステップＳ３８において読み出された行動検出パラメータを、実際に行動の検出に用いる行動検出パラメータに決定する。
【０１１２】
決定された行動検出パラメータは、行動検出部７７に供給される。
【０１１３】
ステップＳ４０において、個人識別部７５は、顔検出部７２からの顔情報に基づいて、検出された全ての顔について処理したか否かを判定する。
【０１１４】
検出された全ての顔について処理していないと判定された場合、ステップＳ３４に戻り、ステップＳ３４乃至Ｓ３９の処理が繰り返される。
【０１１５】
一方、検出された全ての顔について処理したと判定された場合、ステップＳ４１に進み、姿勢検出部７１からの姿勢情報と、決定部８２からの行動検出パラメータを用いて、聴講者（被写体）の行動を検出する。
【０１１６】
すなわち、聴講者Ｕ１，Ｕ２，Ｕ３，Ｕ５，Ｕ６の行動は、パラメータテーブルに登録されている行動検出パラメータを用いて検出され、聴講者Ｕ４の行動は、年齢／性別に応じて算出された行動検出パラメータを用いて検出される。
【０１１７】
行動の検出結果を表す行動情報は、行動検出の対象となった聴講者の情報（顔情報、個人特徴量、年齢／性別情報）とともに、更新部８３に供給される。
【０１１８】
ステップＳ４２において、更新部８３は、姿勢検出部７１からの姿勢情報と、行動検出部７７からの行動情報に基づいて、記録装置４０のパラメータテーブルを更新する。
【０１１９】
例えば、聴講者Ｕ４の起立が検出された場合、起立動作時の聴講者Ｕ４の関節情報などが、聴講者Ｕ４の起立の検出に用いられる行動検出パラメータとして、パラメータテーブルに登録される。このとき、聴講者Ｕ４の顔情報、個人特徴量、年齢／性別情報も併せて、パラメータテーブルに登録されるようにする。
【０１２０】
また、パラメータテーブルに登録済の聴講者の行動が検出された場合、そのときに取得された姿勢情報に基づいて、その聴講者の行動検出パラメータが更新されてもよい。
【０１２１】
このようにして、聴講者各個人について最適化された行動検出パラメータが、パラメータテーブルに登録される。これにより、映像の次フレームにおいては、例えば、聴講者Ｕ４についても、自身の身体的特徴に応じた行動検出パラメータを用いた行動検出が可能となる。
【０１２２】
以上の処理によれば、聴講者各個人について最適化された行動検出パラメータが設定されるので、レクチャーキャプチャーシステムにおいて、聴講者それぞれで身長や体格などの身体的特徴が異なっていても、行動検出の精度を向上させることが可能となる。
【０１２３】
また、ユーザが、検出される行動の種別毎に行動検出パラメータを入力して設定する必要がないので、システムの運用を簡単にすることが可能となる。
【０１２４】
以上においては、起立動作の検出のみを行う例について説明したが、複数の種別の行動の検出が同時に行われるようにすることも可能である。
【０１２５】
以下では、図１の撮影システム（レクチャーキャプチャーシステム）においてユーザがパラメータテーブルを簡単に管理できるようにする構成について説明する。
【０１２６】
＜５．第３の実施の形態＞
まず、図１５のフローチャートを参照して、パラメータテーブルを管理するためのＵＩであるパラメータテーブル管理画面の表示処理について説明する。
【０１２７】
ステップＳ５１において、パラメータ設定部７６は、記録装置４０に記録されている、情報処理装置２０から供給された各種情報を読み出す。
【０１２８】
ステップＳ５２において、パラメータ設定部７６は、記録装置４０から読み出した各種情報のうち、物体情報と聴講者の姿勢情報とに基づいて、講義部屋における聴講者の位置を示す位置情報を有する講義部屋情報を生成する。講義部屋情報には、物体情報に基づいた各種別の物体の位置情報と、姿勢情報に基づいた聴講者の位置情報が含まれる。
【０１２９】
ステップＳ５３において、パラメータ設定部７６は、記録装置４０から読み出したパラメータテーブルに基づいて、聴講者情報を生成する。聴講者情報は、パラメータテーブルの顔情報、氏名情報、および年齢／性別情報から構成される。
【０１３０】
ステップＳ５４において、パラメータ設定部７６は、講義部屋情報に含まれる聴講者の位置情報と、聴講者情報とを対応づける。位置情報と聴講者情報との対応づけは、各聴講者の個人特徴量を用いて行われる。
【０１３１】
このようにして得られた講義部屋情報と聴講者情報は、表示制御部７９に供給される。
【０１３２】
ステップＳ５５において、表示制御部７９は、講義部屋情報と聴講者情報を含むパラメータテーブル管理画面を、入出力装置３０を構成するディスプレイに表示させる。
【０１３３】
図１６は、パラメータテーブル管理画面の例を示す図である。
【０１３４】
パラメータテーブル管理画面２１０には、講義部屋情報表示領域２１１と聴講者情報表示領域２１２が設けられる。
【０１３５】
講義部屋情報表示領域２１１は、講義部屋情報が表示される領域である。図１６の例では、講義部屋における窓、本棚、机が、図１３に例示した形で表示され、聴講者Ｕ１乃至Ｕ６それぞれに対応する位置情報２２１乃至２２６が表示されている。
【０１３６】
聴講者情報表示領域２１２は、聴講者情報が表示される領域である。図１６の例では、聴講者Ｕ１乃至Ｕ６それぞれに対応する聴講者情報２３１乃至２３６が表示されている。
【０１３７】
上述したように、講義部屋情報に含まれる位置情報と聴講者情報とは対応づけられており、例えば、聴講者情報表示領域２１２において、聴講者Ｕ１に対応する聴講者情報２３１をクリックすると、講義部屋情報表示領域２１１において、聴講者Ｕ１に対応する位置情報２２１が強調表示されるなどする。
【０１３８】
なお、上述したように、聴講者Ｕ４はパラメータテーブルに新たに登録（追加）されたことから、聴講者Ｕ４に対応する聴講者情報２３６は、「未登録」とされ、例えば他の聴講者情報２３１乃至２３５と異なる色で表示される。
【０１３９】
聴講者情報２３６には、パラメータテーブルに追加された聴講者Ｕ４の年齢／性別情報が表示されるが、年齢／性別推定部７４により推定された年齢／性別情報が必ずしも正しいとは限らない。
【０１４０】
そこで、図１７のフローチャートを参照して、パラメータテーブルに登録された情報を修正する処理について説明する。
【０１４１】
ステップＳ６１において、パラメータ設定部７６は、入出力装置３０からの情報に基づいて、未登録の聴講者情報が選択されたか否かを判定する。
【０１４２】
未登録の聴講者情報が選択されない間、ステップＳ６１は繰り返され、未登録の聴講者情報が選択されると、ステップＳ６２に進む。
【０１４３】
ステップＳ６２において、表示制御部７９は、聴講者情報編集画面を表示する。聴講者情報編集画面は、聴講者情報の変更や入力を受け付けるＵＩである。
【０１４４】
ステップＳ６３において、パラメータ設定部７６は、入出力装置３０からの情報に基づいて、聴講者情報編集画面に情報が入力されたか否かを判定する。
【０１４５】
聴講者情報編集画面に情報が入力されない間、ステップＳ６３は繰り返され、聴講者情報編集画面に情報が入力されると、ステップＳ６４に進む。
【０１４６】
ステップＳ６４において、パラメータ設定部７６は、聴講者情報編集画面に入力された情報を用いて、パラメータテーブルにおいて該当する聴講者の情報を更新する。
【０１４７】
例えば、図１６のパラメータテーブル管理画面において、未登録の聴講者情報２３６が例えばダブルクリックなどにより選択されると、図１８に示されるような聴講者情報編集画面３１０が表示される。
【０１４８】
聴講者情報編集画面３１０には、顔情報３１１に加え、氏名情報入力欄３１２と年齢／性別情報入力欄３１３が表示される。図１８の例では、顔情報３１１として顔画像が表示され、年齢／性別情報入力欄３１３には、年齢／性別推定部７４により推定された年齢／性別情報が表示されている。
【０１４９】
ユーザは、氏名情報入力欄３１２に氏名情報を入力したり、年齢／性別情報入力欄３１３に年齢／性別情報を入力し直すことで、聴講者情報を正しい情報とすることができる。
【０１５０】
このようにして新たに入力された聴講者情報は、行動検出パラメータがまだ最適化されていない種別の行動を検出する際などに用いられる。
【０１５１】
レクチャーキャプチャーシステムを用いた講義が行われたことがない講義部屋については、講義部屋情報表示領域２１１に、聴講者の位置情報は表示されず、聴講者情報との対応づけもされていない。
【０１５２】
そこで、図１９のフローチャートを参照して、講義部屋情報における聴講者の位置情報と聴講者情報とを対応づける処理について説明する。
【０１５３】
ステップＳ７１において、パラメータ設定部７６は、入出力装置３０からの情報に基づいて、講義部屋情報表示領域２１１に表示される講義部屋情報において、所定の位置が指定されたか否かを判定する。
【０１５４】
講義部屋情報において所定の位置が指定されない間、ステップＳ７１は繰り返され、講義部屋情報において所定の位置が指定されると、ステップＳ７２に進む。
【０１５５】
ステップＳ７２において、パラメータ設定部７６は、講義部屋情報において指定された位置に位置情報を追加する。この時点では、追加された位置情報は、どの聴講者の位置情報でもない。
【０１５６】
ステップＳ７３において、パラメータ設定部７６は、入出力装置３０からの情報に基づいて、追加された位置情報に対応する聴講者情報が指定されたか否かを判定する。
【０１５７】
追加された位置情報に対応する聴講者情報が指定されない間、ステップＳ７３は繰り返され、追加された位置情報に対応する聴講者情報が指定されると、ステップＳ７４に進む。
【０１５８】
ステップＳ７４において、パラメータ設定部７６は、追加された位置情報と、指定された聴講者情報とを対応づける。
【０１５９】
図２０は、レクチャーキャプチャーシステムを用いた講義が行われたことがない講義部屋の講義部屋情報が表示されるパラメータテーブル管理画面の例を示す図である。
【０１６０】
例えば、図２０のパラメータテーブル管理画面の講義部屋情報表示領域２１１において、左上の机近傍の位置が例えばクリックなどにより指定されると、位置情報３３１が追加される。その後、聴講者情報表示領域２１２から位置情報３３１へ、聴講者情報２３１が例えばドラッグアンドドロップなどにより指定されると、位置情報３３１と聴講者情報２３１とが対応づけられる。
【０１６１】
このようにして対応づけられた情報は、その講義部屋で新たにレクチャーキャプチャーシステムを用いた講義を行う際などに用いられる。
【０１６２】
レクチャーキャプチャーシステムを用いた講義を聴講したことがない聴講者については、パラメータテーブルに情報がないため、聴講者情報表示領域２１２に、聴講者情報は表示されない。
【０１６３】
そこで、図２１のフローチャートを参照して、パラメータテーブルに聴講者情報のない聴講者について、事前に聴講者情報を追加する処理について説明する。
【０１６４】
ステップＳ８１において、パラメータ設定部７６は、入出力装置３０からの情報に基づいて、空欄の聴講者情報が選択されたか否かを判定する。
【０１６５】
図２２は、空欄の聴講者情報を含むパラメータテーブル管理画面の例を示す図である。図２２においては、聴講者情報２３６が空欄の聴講者情報となっている。
【０１６６】
空欄の聴講者情報が選択されない間、ステップＳ８１は繰り返され、例えばダブルクリックなどにより空欄の聴講者情報２３６が選択されると、ステップＳ８２に進む。
【０１６７】
ステップＳ８２において、表示制御部７９は、聴講者情報追加画面を表示する。聴講者情報追加画面は、図１８の聴講者編集画面と同様のレイアウトで、顔情報３１１、氏名情報入力欄３１２、年齢／性別情報入力欄３１３がいずれも空欄となるＵＩである。
【０１６８】
ステップＳ８３において、パラメータ設定部７６は、入出力装置３０からの情報に基づいて、聴講者情報追加画面に情報が入力されたか否かを判定する。
【０１６９】
聴講者情報追加画面に情報が入力されない間、ステップＳ８３は繰り返され、聴講者情報追加画面に情報が入力されると、ステップＳ８４に進む。
【０１７０】
ステップＳ８４において、パラメータ設定部７６は、聴講者情報追加画面に入力された情報を用いてパラメータテーブルを更新する。更新されたパラメータテーブルには、当該聴講者の聴講者情報が追加される。
【０１７１】
追加された聴講者情報は、図１９と同様の手順により、講義部屋情報における聴講者の位置情報と対応づけることができる。
【０１７２】
このようにして対応づけられた情報は、追加された聴講者が新たにレクチャーキャプチャーシステムを用いた講義を聴講する際などに用いられる。
【０１７３】
以上の処理によれば、パラメータテーブルにおける聴講者の情報を簡単に変更したり追加したりすることができるので、聴講者の管理が容易になり、ひいては、システムの運用を簡単にすることが可能となる。
【０１７４】
＜６．変形例＞
以下においては、上述した実施の形態における変形例について説明する。
【０１７５】
（年齢／性別推定について）
年齢／性別の推定は、顔情報に限らず、姿勢情報に基づいた体の骨格や体型、その動作に基づいて行われてもよい。
【０１７６】
また、パラメータテーブルの聴講者情報として、既に年齢／性別情報が登録されている場合は、年齢／性別の推定を行わず、登録されている年齢／性別情報が用いられるようにしてもよい。
【０１７７】
（個人識別について）
個人を識別する個人特徴量の算出は、顔情報に限らず、姿勢情報に基づいた体の骨格や体型、その動作に基づいて行われてもよい。
【０１７８】
（行動検出パラメータ算出について）
行動検出パラメータの算出は、年齢と性別の両方に限らず、いずれか一方に基づいて行われてもよい。
【０１７９】
また、行動検出パラメータの算出は、年齢、性別だけでなく、人種などの情報に基づいて行われてもよい。
【０１８０】
さらに、行動検出パラメータの算出は、身長、体重、座高などの身体的特徴に関する情報を用いて行われてもよい。この場合、聴講者情報編集画面（聴講者情報追加画面）において、氏名情報や年齢／性別情報の他に、身長、体重、座高などの身体的特徴に関する情報が入力されるようにする。
【０１８１】
（その他）
一般的に、１つの講義においては、聴講者の年齢が近いことが多い。したがって、レクチャーキャプチャーシステムを用いた講義を聴講したことがない聴講者については、図２１の手順において、全ての聴講者の年齢／性別情報の年齢が一括して入力されるようにしてもよい。
【０１８２】
講義部屋における聴講者の位置と聴講者情報とが対応づけられている場合、個人識別を行わずに、姿勢検出により得られる姿勢情報で求められる聴講者の位置に対応する聴講者情報から、行動検出パラメータが決定されるようにしてもよい。
【０１８３】
また、物体情報として、時間割表の情報が得られている場合、時間割表の科目などから、行動検出の対象となる全ての聴講者の年齢が自動で一括して設定されるようにしてもよい。時間割表の情報は、講義部屋内に掲示されている時間割表から検出されてもよいし、記録装置４０に時間割表の情報が保持されており、これが読み出されるようにしてもよい。また、時間割表の情報が、ネットワークを介して外部の装置から取得されるようにしてもよい。
【０１８４】
さらに、物体情報として、時間割表の情報と、座席表の情報が得られている場合、講義毎に、講義部屋における聴講者の位置と聴講者情報とが自動で対応づけされるようにしてもよい。
【０１８５】
以上においては、行動検出の対象は人であるものとして説明したが、犬や猫などの動物であってもよい。
【０１８６】
＜７．コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１８７】
図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１８８】
上述した情報処理装置２０は、図２３に示す構成を有するコンピュータにより実現される。
【０１８９】
ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３は、バス１００４により相互に接続されている。
【０１９０】
バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディス
プレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
【０１９１】
以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５およびバス１００４を介してＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１９２】
ＣＰＵ１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
【０１９３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。
【０１９４】
＜８．応用例＞
（移動体制御システムへの応用例）
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０１９５】
図２４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２４に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller  Area  Network）、ＬＩＮ（Local  Interconnect  Network）、ＬＡＮ（Local  Area  Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
【０１９６】
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２４では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
【０１９７】
駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock  Brake  System）又はＥＳＣ（Electronic  Stability  Control）等の制御装置としての機能を有してもよい。
【０１９８】
駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
【０１９９】
ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０２００】
バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
【０２０１】
車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time  Of  Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
【０２０２】
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light  Detection  and  Ranging、Laser  Imaging  Detection  and  Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
【０２０３】
ここで、図２５は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０２０４】
なお、図２５には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
【０２０５】
車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
【０２０６】
図２４に戻って説明を続ける。車外情報検出ユニット７４００は撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
【０２０７】
また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
【０２０８】
車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
【０２０９】
統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal  Digital  Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
【０２１０】
記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read  Only  Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random  Access  Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard  Disc  Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
【０２１１】
汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global  System  of  Mobile  communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long  Term  Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer  To  Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine  Type  Communication）端末）と接続してもよい。
【０２１２】
専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless  Access  in  Vehicle  Environment）、ＤＳＲＣ（Dedicated  Short  Range  Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle  to  Vehicle）通信、路車間（Vehicle  to  Infrastructure）通信、車両と家との間（Vehicle  to  Home）の通信及び歩車間（Vehicle  to  Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
【０２１３】
測位部７６４０は、例えば、ＧＮＳＳ（Global  Navigation  Satellite  System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global  Positioning  System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
【０２１４】
ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
【０２１５】
車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near  Field  Communication）又はＷＵＳＢ（Wireless  USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal  Serial  Bus）、ＨＤＭＩ（登録商標）（High-Definition  Multimedia  Interface）、又はＭＨＬ（Mobile  High-definition  Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
【０２１６】
車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
【０２１７】
統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced  Driver  Assistance  System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
【０２１８】
マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
【０２１９】
音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２４の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented  Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【０２２０】
なお、図２４に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
【０２２１】
本実施の形態に係る情報処理装置２０の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニットなどに実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【０２２２】
以上説明した車両制御システム７０００において、本実施の形態に係る情報処理装置２０は、図２４に示した応用例の統合制御ユニット７６００に適用することができる。
【０２２３】
例えば、統合制御ユニット７６００は、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データから人物の年齢や場所を推定し、その推定結果を入力情報として用いることで、事故予測に用いる閾値として、人の動き予測に用いられる行動検出パラメータを設定する。
【０２２４】
具体的には、画像データにおいて検出された人物が、例えば年齢が３〜１２歳などの子供であると推定された場合、大人と比べて、路上に突然飛び出してくる可能性が高い。そこで、画像データから検出された人物が子供の場合、大人の場合より、「飛び出す」と判定するための閾値（行動検出パラメータ）を低く設定する。結果として、「飛び出す」と判定された場合、統合制御ユニット７６００は、子供が飛び出してくる可能性が高い旨を運転者に通知したり、車両の車速を落とすよう制御する。
【０２２５】
また、統合制御ユニット７６００が、画像データに基づいて推定された場所が、道路であるか、駐車場であるかなどの場所情報を取得するようにし、取得した場所情報をさらに用いて、閾値（行動検出パラメータ）が設定されるようにしてもよい。
【０２２６】
例えば、場所が駐車場である場合、車速は高くならないことから、「飛び出す」と判定するための閾値を低く設定する必要はない。一方、場所が道路である場合、車速は高くなる上に、駐車場と比べて、人が飛び出す可能性も高いことから、「飛び出す」と判定するための閾値を低く設定する。
【０２２７】
このように、本実施の形態に係る情報処理装置２０を、図２４に示した応用例の統合制御ユニット７６００に適用することで、人の動き予測に用いられる行動検出パラメータが設定されるので、事故予測の精度を向上させることが可能となる。
【０２２８】
（内視鏡手術システムへの応用例）
本開示に係る技術（本技術）は、内視鏡手術システムに適用されてもよい。
【０２２９】
図２６は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
【０２３０】
図２６では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
【０２３１】
内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
【０２３２】
鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【０２３３】
カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ: Camera Control Unit）１１２０１に送信される。
【０２３４】
ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
【０２３５】
表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
【０２３６】
光源装置１１２０３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
【０２３７】
入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
【０２３８】
処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【０２３９】
なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【０２４０】
また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【０２４１】
また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
【０２４２】
図２７は、図２６に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
【０２４３】
カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
【０２４４】
レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
【０２４５】
撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
【０２４６】
また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
【０２４７】
駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
【０２４８】
通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
【０２４９】
また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
【０２５０】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。
【０２５１】
カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
【０２５２】
通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
【０２５３】
また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
【０２５４】
画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
【０２５５】
制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
【０２５６】
また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
【０２５７】
カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【０２５８】
ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
【０２５９】
本開示に係る技術は、以上説明した構成のうち、制御部１１４１３に好適に適用され得る。
【０２６０】
例えば、制御部１１４１３は、図示せぬ術場カメラからの映像や、あらかじめ入力された情報から術者とその利き手に関する情報を、入力情報として取得する。制御部１１４１３は、取得した入力情報に基づいて、術者が行う手術における動作の検出に用いられる行動検出パラメータを設定する。
【０２６１】
さらに、制御部１１４１３は、設定した行動検出パラメータに基づいて、術場カメラからの映像において手術のステップを解析し、その解析結果に基づいて術場カメラの撮影を制御する。
【０２６２】
このように、本開示に係る技術を制御部１１４１３に適用することで、手術に関する動作の検出に用いられる行動検出パラメータが設定されるので、手術のステップ解析の精度を向上させることが可能となる。
【０２６３】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０２６４】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０２６５】
さらに、本開示は以下のような構成をとることができる。
（１）
映像内の被写体に関連する入力情報に基づいて、前記被写体の行動の検出に用いられる行動検出パラメータを設定するパラメータ設定部と、
設定された前記行動検出パラメータと、前記映像における前記被写体の姿勢とに基づいて、前記被写体の行動を検出する行動検出部と
を備える情報処理装置。
（２）
前記パラメータ設定部は、前記被写体の行動の種別毎にあらかじめ設定された基準となる値を、前記入力情報に応じて調整することで、前記行動検出パラメータを設定する
（１）に記載の情報処理装置。
（３）
前記入力情報は、前記被写体の属性を表す情報である
（１）または（２）に記載の情報処理装置。
（４）
前記被写体の属性は、前記被写体の年齢、性別、人種の少なくともいずれかを含む
（３）に記載の情報処理装置。
（５）
前記入力情報は、前記被写体の身体的特徴に関する情報である
（１）または（２）に記載の情報処理装置。
（６）
前記行動検出パラメータは、前記被写体に対応づけられて記録される
（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記行動検出パラメータは、前記被写体の身体的特徴に関する情報である
（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記被写体の行動は、前記被写体が講義中にとり得る動作である
（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記被写体が講義中にとり得る動作は、起立、着席、および挙手の少なくともいずれかを含む
（８）に記載の情報処理装置。
（１０）
前記パラメータ設定部は、前記映像内の複数の前記被写体毎に、前記行動検出パラメータを設定する
（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
前記被写体の行動の検出結果に基づいて、前記映像を撮影する撮影装置を制御する撮影制御部をさらに備える
（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
前記撮影制御部は、前記被写体の行動の検出結果に基づいて、前記撮影装置の撮影画角を制御する
（１１）に記載の情報処理装置。
（１３）
前記撮影制御部は、前記被写体の行動の検出結果に基づいて、前記映像を切り出す範囲を制御する
（１１）に記載の情報処理装置。
（１４）
前記パラメータ設定部は、前記映像から取得される前記入力情報に基づいて、前記行動検出パラメータを設定する
（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
前記パラメータ設定部は、記録装置に記録されている情報から取得される前記入力情報に基づいて、前記行動検出パラメータを設定する
（１）乃至（１３）のいずれかに記載の情報処理装置。
（１６）
前記パラメータ設定部は、ＵＩを介して入力された情報から取得される前記入力情報に基づいて、前記行動検出パラメータを設定する
（１）乃至（１３）のいずれかに記載の情報処理装置。
（１７）
前記入力情報は、前記映像内の物体に関する物体情報をさらに含み、
前記物体情報に基づいて、前記被写体がいる空間における前記被写体の位置を示す位置情報の表示を制御する表示制御部をさらに備える
（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
前記行動検出パラメータは、前記被写体の動き予測に関する情報である
（１）に記載の情報処理装置。
（１９）
情報処理装置が、
映像内の被写体に関連する入力情報に基づいて、前記被写体の行動の検出に用いられる行動検出パラメータを設定し、
設定された前記行動検出パラメータと、前記映像における前記被写体の姿勢とに基づいて、前記被写体の行動を検出する
情報処理方法。
（２０）
コンピュータに、
映像内の被写体に関連する入力情報に基づいて、前記被写体の行動の検出に用いられる行動検出パラメータを設定し、
設定された前記行動検出パラメータと、前記映像における前記被写体の姿勢とに基づいて、前記被写体の行動を検出する
処理を実行させるためのプログラム。
【符号の説明】
【０２６６】
１０  撮影装置，  ２０  情報処理装置，  ３０  入出力装置，  ４０  記録装置，  ５１  入力情報取得部，  ５２  パラメータ設定部，  ５３  行動検出部，  ５４  撮影制御部，  ７１  姿勢検出部，  ７２  顔検出部，  ７３  物体検出部，  ７４  年齢／性別推定部，  ７５  個人識別部，  ７６  パラメータ設定部，  ７７  行動検出部，  ７８  撮影制御部，  ７９  表示制御部
【図１】
2020017107.tif 000003
【図２】
2020017107.tif 000004
【図３】
2020017107.tif 000005
【図４】
2020017107.tif 000006
【図５】
2020017107.tif 000007
【図６】
2020017107.tif 000008
【図７】
2020017107.tif 000009
【図８】
2020017107.tif 000010
【図９】
2020017107.tif 000011
【図１０】
2020017107.tif 000012
【図１１】
2020017107.tif 000013
【図１２】
2020017107.tif 000014
【図１３】
2020017107.tif 000015
【図１４】
2020017107.tif 000016
【図１５】
2020017107.tif 000017
【図１６】
2020017107.tif 000018
【図１７】
2020017107.tif 000019
【図１８】
2020017107.tif 000020
【図１９】
2020017107.tif 000021
【図２０】
2020017107.tif 000022
【図２１】
2020017107.tif 000023
【図２２】
2020017107.tif 000024
【図２３】
2020017107.tif 000025
【図２４】
2020017107.tif 000026
【図２５】
2020017107.tif 000027
【図２６】
2020017107.tif 000028
【図２７】
2020017107.tif 000029