(57)【要約】【課題】より自然なカメラワークを実現する。【解決手段】パラメータ設定部は、映像内の複数の被写体それぞれの状態に応じたパラメータを、少なくとも状態が検出された被写体毎に設定し、撮影制御部は、被写体毎に設定されたパラメータに基づいて、撮影装置により得られる映像の撮影範囲を制御する。本開示は、例えば、レクチャーキャプチャーシステムに適用することができる。【選択図】図３
2020072457.tif 000002
【特許請求の範囲】
【請求項１】
映像内の複数の被写体それぞれの状態に応じたパラメータを、少なくとも状態が検出された前記被写体毎に設定するパラメータ設定部と、
前記被写体毎に設定された前記パラメータに基づいて、撮影装置により得られる前記映像の撮影範囲を制御する撮影制御部と
を備える映像処理装置。
【請求項２】
前記パラメータ設定部は、前記映像内の複数の人物それぞれの行動に応じた前記パラメータを、前記人物毎に設定する
請求項１に記載の映像処理装置。
【請求項３】
前記人物の行動は、前記人物が講義中にとり得る動作である
請求項２に記載の映像処理装置。
【請求項４】
前記人物が講義中にとり得る動作は、起立、着席、および挙手の少なくともいずれかを含む
請求項３に記載の映像処理装置。
【請求項５】
前記パラメータ設定部は、前記パラメータとして、行動の種別毎に定義された第１の重み係数を前記人物毎に設定し、
前記撮影制御部は、前記人物毎に設定された前記第１の重み係数に基づいて、前記撮影範囲の中心を決定する
請求項２に記載の映像処理装置。
【請求項６】
前記パラメータ設定部は、前記パラメータとして、行動の出現順序毎に定義された第２の重み係数を前記人物毎に設定し、
前記撮影制御部は、前記人物毎に設定された前記第１の重み係数と前記第２の重み係数に基づいて、前記撮影範囲の中心および大きさを決定する
請求項５に記載の映像処理装置。
【請求項７】
前記撮影制御部は、前記第１の重み係数と前記第２の重み係数の積が最も大きい前記人物の全身を収めるように、前記撮影範囲の大きさを決定する
請求項６に記載の映像処理装置。
【請求項８】
前記撮影制御部は、前記人物毎に設定された前記パラメータに基づいて、前記撮影装置の撮影画角を制御する
請求項２に記載の映像処理装置。
【請求項９】
前記撮影装置は、ＰＴＺカメラで構成され、
前記撮影制御部は、前記撮影装置のパン、チルト、およびズームを制御する
請求項８に記載の映像処理装置。
【請求項１０】
前記撮影制御部は、前記映像内の前記人物についての距離情報に基づいて、前記撮影装置のズームを制御する
請求項９に記載の映像処理装置。
【請求項１１】
前記撮影制御部は、前記人物毎に設定された前記パラメータに基づいて、前記映像の切り出し範囲を制御する
請求項２に記載の映像処理装置。
【請求項１２】
前記撮影装置は、広角カメラで構成される
請求項１１に記載の映像処理装置。
【請求項１３】
前記パラメータ設定部は、前記映像内の複数の前記人物とともに映る複数の物体の状態に応じた前記パラメータを、前記物体毎に設定する
請求項２に記載の映像処理装置。
【請求項１４】
前記映像は、術野映像であり、
前記パラメータ設定部は、前記術野映像内の複数の術具それぞれの状態に応じた前記パラメータを、前記術具毎に設定する
請求項１に記載の映像処理装置。
【請求項１５】
前記映像は、生物学的試料の観察映像であり、
前記パラメータ設定部は、前記観察映像内の複数の前記生物学的試料それぞれの挙動に応じた前記パラメータを、前記生物学的試料毎に設定する
請求項１に記載の映像処理装置。
【請求項１６】
前記生物学的試料は、細胞であり、
前記細胞の挙動は、拍動、分裂、融合、結合、変形、および移動の少なくともいずれかを含む
請求項１５に記載の映像処理装置。
【請求項１７】
前記映像は、車載カメラ映像であり、
前記パラメータ設定部は、前記車載カメラ映像内の人物および自転車それぞれの状態に応じた前記パラメータを、前記人物および前記自転車毎に設定する
請求項１に記載の映像処理装置。
【請求項１８】
前記人物の状態は、歩行、走行、および停止の少なくともいずれかを含み、
前記自転車の状態は、直進走行および蛇行走行の少なくともいずれかを含む
請求項１７に記載の映像処理装置。
【請求項１９】
映像処理装置が、
映像内の複数の被写体それぞれの状態に応じたパラメータを、少なくとも状態が検出された前記被写体毎に設定し、
前記被写体毎に設定された前記パラメータに基づいて、撮影装置により得られる前記映像の撮影範囲を制御する
映像処理方法。
【請求項２０】
コンピュータに、
映像内の複数の被写体それぞれの状態に応じたパラメータを、少なくとも状態が検出された前記被写体毎に設定し、
前記被写体毎に設定された前記パラメータに基づいて、撮影装置により得られる前記映像の撮影範囲を制御する
処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、映像処理装置、映像処理方法、およびプログラムに関し、特に、より自然なカメラワークを実現することができるようにした映像処理装置、映像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
映像内の被写体の状態に応じて、カメラワークを制御する手法がある。
【０００３】
例えば、特許文献１には、広角カメラの映像に含まれる人物の行動評価値を算出し、最大の行動評価値に対応する人物を、ＰＴＺカメラによる撮像対象に決定する監視装置が開示されている。
【０００４】
また、特許文献２には、テーマパークにおいて、キャラクターを模擬した装着物を装着する装着者と、そのキャラクターとを画角に含めて撮像を行うように制御する制御システムが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−９００６３号公報
【特許文献２】特開２０１４−４２１９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来、映像内の１人の人物の行動検出の結果に基づいて、カメラワークを制御するものはある。しかしながら、複数の人物がそれぞれ異なる種類の行動をとった場合に、最適なカメラワークの制御を行うものはなかった。
【０００７】
本開示は、このような状況に鑑みてなされたものであり、より自然なカメラワークを実現することができるようにするものである。
【課題を解決するための手段】
【０００８】
本開示の映像処理装置は、映像内の複数の被写体それぞれの状態に応じたパラメータを、少なくとも状態が検出された前記被写体毎に設定するパラメータ設定部と、前記被写体毎に設定された前記パラメータに基づいて、撮影装置により得られる前記映像の撮影範囲を制御する撮影制御部とを備える映像処理装置である。
【０００９】
本開示の映像処理方法は、映像処理装置が、映像内の複数の被写体それぞれの状態に応じたパラメータを、少なくとも状態が検出された前記被写体毎に設定し、前記被写体毎に設定された前記パラメータに基づいて、撮影装置により得られる前記映像の撮影範囲を制御する映像処理方法である。
【００１０】
本開示のプログラムは、コンピュータに、映像内の複数の被写体それぞれの状態に応じたパラメータを、少なくとも状態が検出された前記被写体毎に設定し、前記被写体毎に設定された前記パラメータに基づいて、撮影装置により得られる前記映像の撮影範囲を制御する処理を実行させるためのプログラムである。
【００１１】
本開示においては、映像内の複数の被写体それぞれの状態に応じたパラメータが、少なくとも状態が検出された前記被写体毎に設定され、前記被写体毎に設定された前記パラメータに基づいて、撮影装置により得られる前記映像の撮影範囲が制御される。
【図面の簡単な説明】
【００１２】
【図１】本開示の実施の形態に係る撮影システムの概観を示す図である。
【図２】撮影システムの構成例を示すブロック図である。
【図３】映像処理装置の機能構成例を示すブロック図である。
【図４】カメラワーク制御処理について説明するフローチャートである。
【図５】映像処理装置の具体的な機能構成例を示すブロック図である。
【図６】カメラワーク制御処理について説明するフローチャートである。
【図７】映像内に設定される二次元座標系の例を示す図である。
【図８】時刻Ｔ１における撮影画角の制御について説明する図である。
【図９】時刻Ｔ２における撮影画角の制御について説明する図である。
【図１０】時刻Ｔ３における撮影画角の制御について説明する図である。
【図１１】時刻Ｔ４における撮影画角の制御について説明する図である。
【図１２】映像内に設定される三次元座標系の例を示す図である。
【図１３】コンピュータの構成例を示すブロック図である。
【図１４】生物学的試料の観察システムの構成の一例を示すブロック図である。
【図１５】図１４の情報処理装置の機能構成例を示すブロック図である。
【図１６】車両制御システムの概略的な構成の一例を示すブロック図である。
【図１７】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【図１８】図１６の統合制御ユニットの機能構成例を示すブロック図である。
【図１９】内視鏡手術システムの概略的な構成の一例を示す図である。
【図２０】カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
【図２１】図２０のＣＣＵの機能構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
【００１４】
１．従来のレクチャーキャプチャーシステムにおける課題
２．本開示の実施の形態に係る撮影システムの構成
３．映像処理装置の構成とその動作
４．複数の人物の行動に応じてカメラワークを制御する構成とその動作
５．変形例
６．コンピュータの構成例
７．応用例
【００１５】
＜１．従来のレクチャーキャプチャーシステムにおける課題＞
近年、大学などの学校における講義の様子を収録し、遠隔地での講義の聴講を実現するレクチャーキャプチャーシステムが提供されている。レクチャーキャプチャーシステムでは、聴講者を撮影する場合において、その聴講者の行動を検出することで、カメラワークを制御する。例えば、聴講者の１人が起立すると、その聴講者を拡大して撮影するなど、聴講者の行動に応じてカメラワークを切り替えた映像が収録される。
【００１６】
このときのカメラワークは、人間が目視で聴講者の行動を観測し、その観測結果を踏まえて手動で切り替えられる。仮に、観測された行動に応じてカメラワークを自動で切り替えることができれば、観測者の人員削減を実現することができる。すなわち、観測者の人員削減のためには、聴講者の行動を検出し、その行動検出の結果に応じてカメラワークを制御する機能が必要となる。
【００１７】
ここで、行動検出の結果に応じたカメラワークの制御の例として、起立した聴講者を拡大して撮影する例について説明する。
【００１８】
まず、複数の聴講者が着席している教室を俯瞰撮影するような画角で撮影が行われる。映像内で聴講者の起立が検出されない限り、俯瞰撮影は続けられる。
【００１９】
あるタイミングで１人の聴講者が起立した場合、俯瞰撮影されている映像に対する行動検出の結果として起立が検出される。その結果、起立した聴講者が画角いっぱいに映るように画角が制御される。
【００２０】
このようにして、聴講者の行動検出の結果に応じたカメラワークの制御により、起立した聴講者を拡大して撮影することができる。なお、この場合、起立した聴講者は注目すべき重要な被写体である、という前提をもとに、起立した聴講者を拡大して撮影するようにしているが、検出された行動や講義の内容によって異なる画角での撮影が行われるようにもできる。
【００２１】
このような行動検出の結果に応じたカメラワークの制御には、以下の課題があった。
【００２２】
（課題１）
上述した例のように、１人の聴講者の行動検出の結果に基づいて、カメラワークを制御することはできるが、複数の聴講者がそれぞれ異なる種類の行動をとった場合に、最適なカメラワークの制御を行うものはなかった。
【００２３】
（課題２）
複数種類の行動が連続して出現する場合、それらの行動の出現順序によって、優先して撮影画角内に収めるべき聴講者が変わる可能性があるが、行動の出現順序に応じたカメラワークの制御を行うものはなかった。
【００２４】
例えば、挙手と起立が同時に検出された場合、起立した聴講者を優先して撮影画角内に収めるべきである。一方、起立の後に挙手が検出された場合、挙手した聴講者が発言する可能性が高いため、その挙手した聴講者を優先して撮影画角内に収めるべきである。
【００２５】
そこで、以下においては、上記の課題を解決するためのシステムの構成と動作について説明する。
【００２６】
＜２．本開示の実施の形態に係る撮影システムの構成＞
図１は、本開示の実施の形態に係る撮影システムの概観を示す図である。
【００２７】
撮影システムは、レクチャーキャプチャーシステムとして構成され、図示せぬ講師が複数の聴講者Ｕ１乃至Ｕ６に対して講義を行う教室や講堂などに設置される。
【００２８】
図１には、教室において６人の聴講者Ｕ１乃至Ｕ６が、講義を聴講している様子が示されている。
【００２９】
撮影装置１は、教室に設置され、聴講者Ｕ１乃至Ｕ６の全員が映る撮影画角で撮影する。撮影された映像は、映像処理装置２に出力される。
【００３０】
映像処理装置２は、撮影装置１からの映像に基づいて、聴講者Ｕ１乃至Ｕ６それぞれの行動を検出し、その検出結果に基づいて撮影装置１を制御する。
【００３１】
図２は、撮影システムの構成例を示すブロック図である。
【００３２】
図２の撮影システムは、撮影装置１０、映像処理装置２０、入出力装置３０、および記録装置４０から構成される。
【００３３】
撮影装置１０および映像処理装置２０は、図１の撮影装置１および映像処理装置２に相当する。
【００３４】
撮影装置１０は、例えば、機械的にパン・チルトする機能を備えつつ、光学的・電子的にズーム可能なＰＴＺカメラとして構成される。撮影装置１０は、１つに限らず、複数設けられてもよい。撮影装置１０は、聴講者の全員が少なくとも１台以上の撮影装置１０のいずれかの撮影画角に収まるように設置され、映像処理装置２０によってその撮影画角が制御される。
【００３５】
映像処理装置２０は、その機能を有する専用のハードウェアにより構成されてもよいし、一般的なコンピュータにより構成され、それぞれの機能がソフトウェアにより実現されてもよい。また、撮影装置１０と映像処理装置２０は、それぞれ別個に構成されるのではなく、１つの装置として一体に構成されるようにしてもよい。
【００３６】
入出力装置３０は、ユーザの操作を受け付けるキーボードやマウス、さらには、表示機能を有するディスプレイなどにより構成される。このディスプレイには、タッチパネルの機能が設けられていてもよい。入出力装置３０は、ユーザの操作に基づいた指示を受け付け、映像処理装置２０に出力する。また、入出力装置３０は、映像処理装置２０から供給される各種情報をユーザに提示する。
【００３７】
入出力装置３０と映像処理装置２０は、それぞれ別個に構成されるのではなく、１つの装置として一体に構成されるようにしてもよい。また、入出力装置３０は、ネットワークを介して映像処理装置２０と接続されてもよい。
【００３８】
記録装置４０は、映像処理装置２０から供給される各種情報を記録する。記録装置４０に記録された情報は、必要に応じて、映像処理装置２０により読み出される。詳細は後述するが、記録装置４０には、被写体の状態（ここでは、人物の行動）に応じたパラメータが記録される。
【００３９】
記録装置４０と映像処理装置２０は、それぞれ別個に構成されるのではなく、１つの装置として一体に構成されるようにしてもよい。また、記録装置４０は、ネットワークを介して映像処理装置２０と接続されてもよい。
【００４０】
＜３．映像処理装置の構成とその動作＞
（映像処理装置の機能構成例）
図３は、映像処理装置２０の機能構成例を示すブロック図である。
【００４１】
図３の映像処理装置２０は、状態検出部５１、パラメータ設定部５２、および撮影制御部５３を備えている。
【００４２】
状態検出部５１は、撮影装置１０から入力される映像信号で表される映像内の複数の被写体それぞれの状態を検出し、検出結果それぞれをパラメータ設定部５２に供給する。
【００４３】
パラメータ設定部５２は、状態検出部５１からの検出結果に基づいて、映像内の複数の被写体それぞれの状態に応じたパラメータを記録装置４０から取得し、映像内の複数の被写体のうち、少なくとも状態が検出された被写体毎に設定する。被写体毎に設定されたパラメータは、撮影制御部５３に供給される。
【００４４】
撮影制御部５３は、撮影制御信号によって撮影装置１０による撮影（カメラワーク）を制御する。具体的には、パラメータ設定部５２からの被写体毎に設定されたパラメータに基づいて、撮影装置１０の撮影画角を制御したり、撮影装置１０により撮影された映像の切り出し範囲を制御することで、撮影装置１０により得られる映像の撮影範囲を制御する。
【００４５】
（カメラワーク制御処理）
次に、図４のフローチャートを参照して、映像処理装置２０によるカメラワーク制御処理について説明する。
【００４６】
ステップＳ１１において、状態検出部５１は、撮影装置１０により撮影された映像内の複数の被写体それぞれの状態を検出する。被写体の状態は、例えば、人物の行動などとされる。
【００４７】
ステップＳ１２において、パラメータ設定部５２は、検出された複数の被写体それぞれの状態に応じたパラメータを、被写体毎に設定する。パラメータは、映像内の複数の被写体それぞれの注目度（重要度）を表す重み係数であり、被写体の状態毎に異なる大きさの値をとる。
【００４８】
ステップＳ１３において、撮影制御部５３は、被写体毎に設定されたパラメータ（重み係数）に基づいて、映像の撮影範囲を制御する。具体的には、撮影制御部５３は、被写体毎に設定された重み係数の値を用いて、映像の撮影範囲を決定する。
【００４９】
以上の処理によれば、映像内の複数の被写体それぞれの状態に応じたパラメータとして、注目度（重要度）を表す重み係数が被写体毎に設定されるので、映像内で注目すべき重要な被写体を、その撮影範囲に収めることができる。
【００５０】
その結果、例えばレクチャーキャプチャーシステムにおいては、複数の人物がそれぞれ異なる種類の行動をとった場合であっても、より自然なカメラワークを実現することが可能となる。
【００５１】
以上においては、本開示の実施の形態の基本的な構成とその動作について説明した。以下では、図１の撮影システム（レクチャーキャプチャーシステム）において複数の人物（聴講者）の行動に応じてカメラワークを制御する具体的な構成とその動作について説明する。
【００５２】
＜４．複数の人物の行動に応じてカメラワークを制御する構成とその動作＞
（映像処理装置の機能構成例）
図５は、複数の人物の行動に応じてカメラワークを制御する映像処理装置の機能構成例を示すブロック図である。
【００５３】
図５の映像処理装置２０は、行動検出部７１、パラメータ設定部７２、および撮影制御部７３を備えている。
【００５４】
行動検出部７１は、撮影装置１０からの映像内の複数の人物（聴講者）それぞれについて、少なくとも１種類の行動を検出する。検出される聴講者の行動は、聴講者が講義中にとり得る動作である。講義中にとり得る動作には、例えば、起立、礼、挙手、着席、前方への移動、発言（発話）、教科書の音読、ノートなどへの筆記、居眠り、よそ見やおしゃべり（講義の内容に対する発言ではなく講義に関係のない個別の発言）などが含まれる。
【００５５】
行動の検出結果を表す行動情報は、映像内で行動検出の対象となった聴講者を特定する特定情報（例えば、映像内での聴講者の位置を表す情報）とともに、パラメータ設定部７２に供給される。
【００５６】
パラメータ設定部７２は、行動検出部７１からの行動情報と特定情報を用いて、映像内の複数の聴講者それぞれの行動に応じたパラメータを記録装置４０から取得し、映像内の聴講者毎に設定する。
【００５７】
具体的には、パラメータ設定部７２は、パラメータとして、行動の種別毎に定義された第１の重み係数（以下、行動種別重みともいう）を聴講者毎に設定する。さらに、パラメータ設定部７２は、パラメータとして、行動の出現順序毎に定義された第２の重み係数（以下、行動出現順序重みともいう）を聴講者毎に設定する。聴講者毎に設定された行動種別重みと行動出現順序重みは、撮影制御部７３に供給される。
【００５８】
撮影制御部７３は、パラメータ設定部７２からの、聴講者毎に設定された行動種別重みと行動出現順序重みに基づいて、撮影装置１０の撮影画角を制御することで、映像の撮影範囲を制御する。
【００５９】
撮影制御部７３は、重心算出部８１と画角決定部８２を有している。
【００６０】
重心算出部８１は、聴講者毎に設定された行動種別重みと行動出現順序重みに基づいて、映像内で、撮影装置１０の撮影画角（撮影範囲）の中心となる座標位置（以下、重心という）を算出する。画角決定部８２は、重心算出部８１により算出された撮影画角の重心と、あらかじめ決められたルールに基づいて、撮影装置１０の撮影画角（撮影範囲の大きさ）を決定する。あらかじめ決められたルールを示す情報は、例えば、パラメータ設定部７２を介して、記録装置４０から取得される。
【００６１】
撮影制御部７３により撮影画角が制御されることで得られた映像は、入出力装置３０を構成するディスプレイに表示されたり、記録装置４０に記録されたりする。
【００６２】
（カメラワーク制御処理）
次に、図６のフローチャートを参照して、図５の映像処理装置２０によるカメラワーク制御処理について説明する。
【００６３】
この例では、図７に示されるような、教室において６人の聴講者Ｕ１乃至Ｕ６が講義を聴講している様子が撮影された映像に対して、カメラワーク制御処理が実行される。
【００６４】
図７の例では、映像内に、ｘ軸とｙ軸によって定められる二次元座標系が設定されている。例えば、聴講者Ｕ１は、（ｘ，ｙ）＝（1.0，2.0）に位置し、聴講者Ｕ６は、（ｘ，ｙ）＝（3.0，1.0）に位置している。
【００６５】
以下においては、検出される聴講者の行動の種別を、起立と挙手の２つの種別とする。
【００６６】
図７に示される映像が撮影装置１０から映像処理装置２０に供給されると、ステップＳ３１において、行動検出部７１は、撮影装置１０からの映像内の聴講者Ｕ１乃至Ｕ６それぞれの行動を検出する。
【００６７】
ステップＳ３２において、パラメータ設定部７２は、聴講者Ｕ１乃至Ｕ６それぞれの行動の種別毎、行動の出現順序毎の重み係数、すなわち、行動種別重みと行動出現順序重みを、聴講者毎に設定する。
【００６８】
この例では、行動種別重みを、起立：1.0、挙手：0.5、検出無し：0.0とし、行動出現順序重みを、起立の後に出現した挙手：3.0、その他：1.0とする。
【００６９】
ステップＳ３３において、撮影制御部７３の重心算出部８１は、設定された重み係数に基づいて、撮影装置１０の撮影画角の重心（撮影範囲の中心）を算出する。
【００７０】
ここで、座標（ｘ，ｙ）に位置する各聴講者についての行動種別重みをｗ1、行動出現順序重みをｗ2としたとき、撮影画角の重心（ｇx，ｇy）は、以下の式（１）で表される。
【００７１】
【数１】
2020072457.tif 000003
・・・・・・（１）
【００７２】
上述した式（１）により撮影画角の重心が算出されると、ステップＳ３４において、撮影制御部７３の画角決定部８２は、算出された撮影画角の重心とあらかじめ決められたルールに基づいて、撮影装置１０の撮影画角（撮影範囲の大きさ）を決定する。
【００７３】
ここでは、あらかじめ決められたルールにより、いずれの行動も検出されない場合、例外処理として、映像内の全ての聴講者に同一の重み係数（０を除く）が設定されて撮影画角の重心が算出されることで、撮影画角は、聴講者Ｕ１乃至Ｕ６が講義を聴講している教室全体を俯瞰する画角（俯瞰画角）に決定される。また、いずれかの行動（起立または挙手）が検出された場合、撮影画角は、行動種別重みｗ1と行動出現順序重みをｗ2との積が最も大きい聴講者の全身が収まる画角に決定される。
【００７４】
上述したステップＳ３１乃至Ｓ３４の処理は、撮影装置１０からの映像の、例えば１フレーム毎などの所定単位時間毎に行われる。
【００７５】
ここで、図８乃至図１１を参照して、時刻Ｔ１乃至Ｔ４における撮影画角の制御について説明する。
【００７６】
まず、時刻Ｔ１（図８）においては、聴講者Ｕ１乃至Ｕ６全員が自席で着席しており、いずれの行動も検出されていない。この場合、撮影画角の重心は、点１１１で示され、その座標位置は、聴講者Ｕ１乃至Ｕ６それぞれの座標中心（ｇx，ｇy）＝（2.0，1.5）となる。また、撮影画角は、俯瞰画角となり、点１１１を中心として聴講者Ｕ１乃至Ｕ６全員が収まる枠１１２で示される。
【００７７】
時刻Ｔ２（図９）においては、聴講者Ｕ２が起立し、聴講者Ｕ５，Ｕ６が挙手している。すなわち、聴講者Ｕ２については、ｗ1＝1.0，ｗ2＝1.0、聴講者Ｕ５，Ｕ６それぞれについては、ｗ1＝0.5，ｗ2＝1.0となる。なお、聴講者Ｕ１，Ｕ３，Ｕ４については、ｗ1＝0.0，ｗ2＝1.0となる。この場合、撮影画角の重心は、点１２１で示され、その座標位置は、以下の式（２）で示されるように（ｇx，ｇy）＝（2.25，1.5）となる。また、撮影画角は、点１２１を中心として、ｗ1とｗ2との積が最も大きい聴講者Ｕ２の全身が収まる枠１２２で示される。
【００７８】
【数２】
2020072457.tif 000004
・・・・・・（２）
【００７９】
ここで仮に、行動の種別毎の重み係数（ｗ1）を定義せず、起立および挙手いずれの場合もｗ1＝1.0とした場合、撮影画角の重心は、点１２１’で示され、その座標位置は、（ｇx，ｇy）＝（2.3，1.3）となる。また、撮影画角は、点１２１’を中心として、聴講者Ｕ１乃至Ｕ６全員が収まる枠１２２’で示される。ここで、撮影画角は、いかなる被写体を収める場合でも同じアスペクト比となるよう制御される。すなわち、枠１２２と枠１２２’とは同じアスペクト比となる。
【００８０】
図９に示される枠１２２と枠１２２’とを比較すると、行動の種別毎の重み係数（ｗ1）を定義することで、起立した聴講者Ｕ２は注目すべき重要な被写体である、という前提をもとに、撮影画角が設定される。
【００８１】
次いで、時刻Ｔ３（図１０）においては、聴講者Ｕ２が起立し続け、聴講者Ｕ５，Ｕ６が挙手をやめている。すなわち、聴講者Ｕ２についてのみ、ｗ1＝1.0，ｗ2＝1.0となり、聴講者Ｕ１，Ｕ３，Ｕ４乃至Ｕ６については、ｗ1＝0.0，ｗ2＝1.0となる。この場合、撮影画角の重心は、点１３１で示され、その座標位置は、聴講者Ｕ２の位置（ｇx，ｇy）＝（2.0，2.0）となる。また、撮影画角は、点１３１を中心として、聴講者Ｕ２の全身が収まる枠１３２で示される。すなわち、聴講者Ｕ２を被写体とした撮影が続けられる。
【００８２】
さて、時刻Ｔ４（図１１）においては、聴講者Ｕ２が起立し続ける中で、聴講者Ｕ６が再度挙手している。すなわち、聴講者Ｕ２については、ｗ1＝1.0，ｗ2＝1.0、聴講者Ｕ６については、ｗ1＝0.5，ｗ2＝3.0となる。なお、聴講者Ｕ１，Ｕ３，Ｕ４，Ｕ５については、ｗ1＝0.0，ｗ2＝1.0となる。この場合、撮影画角の重心は、点１４１で示され、その座標位置は、上述した式（１）により（ｇx，ｇy）＝（2.6，1.4）となる。また、撮影画角は、点１４１を中心として、ｗ1とｗ2との積が最も大きい聴講者Ｕ６の全身が収まる枠１４２で示される。
【００８３】
ここで仮に、行動の出現順序毎の重み係数（ｗ2）を定義せず、いずれの場合もｗ2＝1.0とした場合、撮影画角の重心は、点１４１’で示され、その座標位置は、（ｇx，ｇy）＝（2.3，1.7）となる。また、撮影画角は、点１４１’を中心として、聴講者Ｕ１乃至Ｕ６全員が収まる枠１４２’で示される。ここでも、枠１４２と枠１４２’とは同じアスペクト比となる。
【００８４】
図１１に示される枠１４２と枠１４２’とを比較すると、行動の出現順序毎の重み係数（ｗ2）を定義することで、他の聴講者が起立をしている中で挙手した、次に発言する可能性が高い聴講者Ｕ６は注目すべき重要な被写体である、という前提をもとに、撮影画角が設定される。
【００８５】
以上の処理によれば、映像内の複数の聴講者それぞれの行動の種別および出現順序に応じた重み係数が聴講者毎に設定されるので、映像内で注目すべき重要な聴講者を、その撮影画角に収めることができる。これにより、複数の聴講者がそれぞれ異なる種類の行動をとった場合であっても、より自然なカメラワークを実現することが可能となる。
【００８６】
以上においては、検出される行動の種別を、起立と挙手の２つの種別としたカメラワーク制御の例について説明した。これに限らず、検出される行動の種別、行動種別重み、行動出現順序重み、重心算出の式、および撮影画角決定のルールを適宜変更することで、所望のカメラワークを実現することも可能となる。
【００８７】
例えば、居眠り、よそ見やおしゃべりなどの講義に関係のない行動をとっている聴講者を、撮影画角内に収めることは好ましくない。そこで、これらの行動についての行動種別重みをマイナスの値とすることで、これらの行動をとる聴講者を撮影画角に収めないカメラワークを実現することができる。
【００８８】
また、注目すべき重要な被写体が収まるように撮影画角が設定される以外にも、撮影画角決定のルールを変更することによって、行動が検出された聴講者が全て収まるように撮影画角が設定されるようにもできる。
【００８９】
さらに、重み係数の設定は、上述した手法に限定されず、必要に応じて重み係数の値を適宜変更することも可能である。また、聴講者の特定の行動が検出されない場合、他の行動が検出されたときの撮影画角の重心の算出に影響を与えない程度の、極めて小さい値の重み係数を設定することも可能である。例えば、聴講者の特定の行動が検出されない場合、行動種別重みが0.00001に設定されるようにする。これにより、全ての聴講者の行動が検出されない場合においても、例外処理を行うことなく撮影画角の重心を算出することができ、いずれかの聴講者の行動が検出された場合においても、撮影画角の重心の算出に影響を与えることなく適切に撮影画角を制御することが可能となる。
【００９０】
＜５．変形例＞
以下においては、上述した実施の形態における変形例について説明する。
【００９１】
（行動検出について）
聴講者の行動検出は、撮影装置１０からの映像を用いるだけでなく、距離センサにより取得される距離情報や、マイクロフォンにより取得される音情報を用いるようにしてもよい。
【００９２】
例えば、距離センサにより取得される距離情報を用いるようにした場合、図１２に示されるように、映像内に、ｘ軸、ｙ軸、およびｚ軸によって定められる三次元座標系が設定されるようにしてもよい。この場合、注目すべき重要な被写体となる聴講者の距離情報（ｚ軸方向の位置）に基づいて、撮影装置１０のズームが制御されるようにもできる。
【００９３】
（重み係数について）
行動に応じたパラメータとしての重み係数は、行動の種別毎、出現順序毎にあらかじめ値が決められているようにしたが、ユーザの要求に応じて、その値が調整されるようにしてもよい。
【００９４】
また、上述した重み係数は、聴講者によらず同じ値が設定されるものとしたが、聴講者の起立や挙手の頻度、講義への貢献度、成績など、聴講者個人に関する情報（コンテキスト）に応じて、聴講者毎にさらに重み付けされるようにしてもよい。
【００９５】
（画角の決定について）
１フレームなどの所定単位時間毎に撮影画角が決定される以外にも、例えば、フレーム間の撮影画角を滑らかにつなぐように、撮影画角が決定されるようにしてもよい。この場合、例えば、各フレームで算出された撮影画角の重心の移動と、撮影画角の大きさの変化が、フレーム間でより少なくなるように撮影画角が決定されるようにする。
【００９６】
これにより、撮影された映像の撮影画角が切り替わることによる視聴者の視覚的な負担を軽減することが可能となる。
【００９７】
（撮影範囲の制御）
撮影範囲の制御は、ＰＴＺカメラとして構成される撮影装置１０の撮影画角を機械的に制御する以外にも、広角カメラとして構成される撮影装置１０により撮影された映像を電子的に切り出す範囲を制御するようにしてもよい。切り出された範囲の映像を所定の大きさになるように拡大することで、切り出された範囲をズームしたかのような映像が出力される。なお、映像の切り出しは、映像処理装置２０が行ってもよいし、撮影装置１０が行ってもよい。
【００９８】
また、撮影装置１０が例えば２台設けられるようにした場合、１台をＰＴＺカメラとし、もう１台を広角カメラとしてもよい。この場合、広角カメラにより撮影された映像において検出された人物の行動に応じて、ＰＴＺカメラの撮影範囲が制御されるようにすることができる。
【００９９】
＜６．コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１００】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１０１】
上述した映像処理装置２０は、図１３に示す構成を有するコンピュータにより実現される。
【０１０２】
ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３は、バス１００４により相互に接続されている。
【０１０３】
バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディス
プレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
【０１０４】
以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５およびバス１００４を介してＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１０５】
ＣＰＵ１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
【０１０６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。
【０１０７】
＜７．応用例＞
以上においては、行動検出の対象は人物であるものとして説明したが、本開示に係る技術を、レクチャーキャプチャーシステム以外のシステムに適用した場合には、行動検出の対象は、犬や猫などの動物であってもよい。
【０１０８】
また、本開示に係る技術を適用したシステムにおいて、映像内の被写体の状態として、映像内の人物、犬や猫などの動物の行動が検出される以外にも、映像内の物体の状態が検出されるようにしてもよい。
【０１０９】
具体的には、レクチャーキャプチャーシステムなどの文教システムにおいて、映像内の複数の人物（聴講者など）とともに映る複数の物体として、黒板やホワイトボード、教室内のモニタ、ビーカーやフラスコなどの実験器具の状態が検出されるようにする。この場合、検出された物体の状態に応じたパラメータ（重み係数）が、物体毎に設定される。
【０１１０】
例えば、黒板の状態として、板書内容の量や密度、地図などの掲示物の有無が検出されるようにする。この場合、板書内容の量や密度が大きい、または、掲示物が掲示されているときに、値の大きい重み係数が設定されるようにする。これにより、板書内容や掲示物が映像に映るようになり、視聴者が講義内容を理解しやすくなる。
【０１１１】
また、モニタの状態として、その表示内容が検出されるようにする。この場合、例えばプレゼンテーション用のスライドがモニタに表示されているときに、値の大きい重み係数が設定されるようにする。これにより、スライドが映像に映るようになり、視聴者がプレゼンテーションの内容を理解しやすくなる。
【０１１２】
さらに、ビーカーやフラスコの状態として、内容物となる薬品の量や、薬品を扱った手順が検出されるようにする。この場合、薬品の量や薬品を扱った手順に応じて、重み係数が設定されるようにする。これにより、ビーカーやフラスコの様子が映像に映るようになり、視聴者が実験の内容や手順を理解しやすくなる。
【０１１３】
また、スポーツを中継する中継システムにおいて、映像内の複数の人物（選手など）とともに映る複数の物体として、グラウンド周囲の広告、スコアボード、サッカーやバスケットボールなどの球技のゴールの状態が検出されるようにする。この場合も、検出された物体の状態に応じたパラメータ（重み係数）が、物体毎に設定される。
【０１１４】
例えば、広告の状態として、その広告主となる企業が検出されるようにする。この場合、その企業がより多くの広告費を支払っているときに、値の大きい重み係数が設定されるようにする。これにより、その企業の広告が映像に映るようになり、企業の宣伝効果を高めることができる。
【０１１５】
また、スコアボードの状態として、スコアの表示状態が検出されるようにする。この場合、スコアの表示が変化したときに、値の大きい重み係数が設定されるようにする。これにより、スコアが変化したときのスコアボードが映像に映るようになり、視聴者がゲームの状況を理解しやすくなる。
【０１１６】
さらに、ゴールの状態として、ゴール内またはその近辺のボールの有無が検出されるようにする。この場合、ゴール内またはその近辺にボールがあるときに、値の大きい重み係数が設定されるようにする。これにより、ゴールシーンの瞬間が映像に映るようになり、視聴者の満足度を高めることができる。
【０１１７】
なお、上述した例においては、検出された物体の状態に応じた重み係数とともに、映像内の人物の行動に応じた重み係数が設定されてもよいし、検出された物体の状態に応じた重み係数のみが設定されてもよい。
【０１１８】
また、本開示に係る技術を適用した撮影システムにおいて、撮影制御部５３は、撮影装置１０の撮影画角を制御することで映像の撮影範囲を制御する以外にも、撮影される映像のフレームレートや解像度などの撮影条件を制御するようにしてもよい。これらの撮影条件は、それぞれ単独で制御されてもよいし、組み合わせて制御されてもよい。撮影条件の制御は、映像内で検出された被写体毎に設定されたパラメータの総和または最大値に基づいて行われるようにできる。
【０１１９】
例えば、映像内の重み係数の総和、または、設定された重み係数の最大値が所定の値より大きいシーンは重要なシーンである可能性が高い。そこで、このような場合には、撮影される映像のフレームレートを高く設定したり、解像度を高くまたは圧縮レートを低く設定することにより、高解像度の映像が記録されるようにする。一方、映像内の重み係数の総和、または、設定された重み係数の最大値が所定の値より大きいシーンは重要なシーンである可能性が低い。そこで、このような場合には、撮影される映像のフレームレートを低く設定したり、解像度を低くまたは圧縮レートを高く設定することにより、低解像度の映像が記録されるようにする。
【０１２０】
ここで、フレームレートや解像度の設定に際しては、所定の値との比較による段階的な設定だけでなく、例えば一定の値の範囲内においては、重み係数の総和または最大値に応じて、フレームレートや解像度が連続的に変更されるように設定されてもよい。
【０１２１】
以下においては、本開示に係る技術を、レクチャーキャプチャーシステム以外の他分野のシステムへ適用した応用例について説明する。
【０１２２】
（生物学的試料の観察システムへの応用例）
図１４は、本開示に係る技術を適用した、生物学的試料の観察システムの構成の一例を示すブロック図である。
【０１２３】
図１４に示されるように、観察システム３００１は、撮像装置３０１０と情報処理装置３０２０を備える。撮像装置３０１０と情報処理装置３０２０は、有線または無線の、インターネットなどの各種ネットワークにより接続されてもよい。これにより、遠隔地にいるユーザが、ネットワークを介して情報処理装置３０２０にアクセスすることが可能となり、所望の制御や操作を実行することが可能となる。
【０１２４】
撮像装置３０１０は、撮像画像（動画像）を生成する装置である。撮像装置３０１０は、例えばデジタルカメラにより実現される。撮像装置３０１０は、例えばスマートフォン、タブレット、ゲーム機、またはウェアラブル装置など、撮像機能を有するあらゆる装置により実現されてもよい。
【０１２５】
撮像装置３０１０は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を有し、これらを用いて撮像する。ここで、撮像に用いられる撮像装置３０１０として、一般的によく用いられる可視光カメラに限らず、不可視光（赤外線や紫外線）カメラや偏光カメラなどが用いられてもよいし、これらが組み合わされて用いられてもよい。
【０１２６】
撮像装置３０１０を用いた撮影方法としては、被写体を透過または反射した光で観察する明視野観察、特殊なコンデンサを使用して被写体を斜めから照明することで被写体で散乱した光で観察する暗視野観察を挙げることができる。また、撮像装置３０１０を用いた撮影方法として、光の回折と干渉を利用して透明な被写体に明暗のコントラストをつける位相差観察、無染色の被写体に対して光透過時の屈折率や被写体表面の形状による光路差で明暗のコントラストをつける微分干渉観察を挙げることもできる。さらに、撮像装置３０１０を用いた撮影方法として、特定の波長の光で照明して被写体から出る蛍光を観察する蛍光観察、被写体の偏光特性を明暗のコントラストや色に応じて変化させて観察する偏光観察などを挙げることもできる。しかしながら、撮像装置３０１０を用いた撮影方法は、特にこれらに限定されることはない。
【０１２７】
また、撮像装置３０１０は、情報処理装置３０２０との間で動画像などを送受信するための通信装置を含む。撮像装置３０１０は、観察対象である細胞などが培養されている培地Ｍを撮像するための撮像ステージＳの上方に設けられる。細胞は生物学的試料の一例である。撮像装置３０１０は、培地Ｍを所定のフレームレートで撮像することにより動画像を生成する。
【０１２８】
なお、撮像装置３０１０は、培地Ｍを直接（他の部材を介さずに）撮像してもよいし、顕微鏡などの他の部材を介して培地Ｍを撮像してもよい。また、上述したフレームレートは特に限定されないが、観察対象の変化の度合いに応じて設定されることが好ましい。なお、撮像装置３０１０は、観察対象の変化を正しく追跡するため、培地Ｍを含む一定の撮像領域を撮像する。撮像装置３０１０により生成された動画像は、情報処理装置３０２０へ送信される。
【０１２９】
撮像装置３０１０は、光学顕微鏡などに設置されるカメラであることを想定しているが、ＳＥＭ（走査型電子顕微鏡）、ＴＥＭ（透過型電子顕微鏡）などの電子線を用いた電子顕微鏡などに含まれる撮像装置であってもよい。また、撮像装置３０１０は、ＡＦＭ（原子間力顕微鏡）、ＳＴＭ（走査型トンネル顕微鏡）などの短針を用いたＳＰＭ（走査型プローブ顕微鏡）などに含まれる撮像装置であってもよい。
【０１３０】
観察システム３００１の観察対象は、主に生物学的試料である。生物学的試料は、例えば、各種細胞、細胞小器官や生体組織、微生物やプランクトンなどの生物など、光学顕微鏡などを用いて観察することが可能な生体とされる。特にここでは、生物学的試料は、撮像装置３０１０の撮像ステージＳ上における培地Ｍにおいて運動し得る生体とされる。
【０１３１】
情報処理装置３０２０は、画像解析機能を有する装置である。情報処理装置３０２０は、ＰＣ（Personal Computer）、タブレット、スマートフォンなど、画像解析機能を有するあらゆる装置により実現される。
【０１３２】
情報処理装置３０２０は、撮像装置３０１０から取得した動画像において、観察対象の挙動を解析する。
【０１３３】
例えば、情報処理装置３０２０は、多数の細胞が存在する中で、細胞それぞれの様々な挙動（形態の変化）を解析する。細胞の挙動解析においては、撮像装置３０１０から取得した動画像において、細胞の挙動を解析するための注目領域を特定し、特定された注目領域内での動きに基づいたパラメータを設定することで、細胞の挙動が解析される。
【０１３４】
上述した観察システム３００１において、観察対象の挙動解析により得られた結果を、のちに研究論文や講義などの題材として用いるためには、観察対象の挙動を解析した注目領域を人の手によって切り出す必要があり、非常に手間がかかってしまう。
【０１３５】
そこで、観察システム３００１に、本開示に係る技術を適用することで、動画像の注目領域を、その撮影範囲に収めるようにする。
【０１３６】
図１５は、本開示に係る技術を適用した情報処理装置３０２０の機能構成例を示すブロック図である。
【０１３７】
図１５の情報処理装置３０２０は、挙動解析部３０７１、パラメータ設定部３０７２、および撮影制御部３０７３を備えている。
【０１３８】
挙動解析部３０７１は、撮像装置３０１０からの動画像（観察映像）内の観察対象（例えば多数の細胞）それぞれの挙動を解析する。
【０１３９】
パラメータ設定部３０７２は、挙動解析部３０７１による挙動解析の結果を用いて、観察対象の挙動に応じたパラメータ（重み係数）を記録装置３０４０から取得し、動画像内の観察対象毎に設定する。
【０１４０】
撮影制御部３０７３は、パラメータ設定部３０７２により設定された、観察対象の挙動に応じた重み係数に基づいて、撮像装置３０１０の撮影範囲を制御することで、注目領域を切り出す。なお、撮影制御部３０７３が備える重心算出部３０８１および画角決定部３０８２は、図５の重心算出部８１および画角決定部８２と同様の機能を有するので、その説明は省略する。
【０１４１】
撮影制御部３０７３により撮影範囲が制御されることで切り出された注目領域は、表示装置３０３０に表示される。
【０１４２】
例えば、情報処理装置３０２０においては、解析された細胞の挙動に応じた重み係数が設定され、その結果に基づいて画角制御（クロップ）が行われる。ここで、細胞の挙動は、例えば、拍動、分裂、融合、結合、変形、および移動の少なくともいずれかを含むものとする。
【０１４３】
クロップされた画像は、別途記録装置３０４０に記録されてもよい。また、クロップされた画像は、観察対象が表示されている領域とは別の領域に表示されてもよい。
【０１４４】
挙動に応じた重み係数は、ユーザの目的に応じて設定されるようにしてもよい。例えば、細胞の分裂を観察することが目的の場合、挙動解析により分裂が確認されたときには値の大きい重み係数が設定され、変形が確認されたときには値の小さい重み係数が設定されるようにする。これにより、より確実に、細胞の分裂を観察することができる。
【０１４５】
また、細胞の挙動の出現順序に応じた重み係数が設定され、その結果に基づいてクロップが行われるようにしてもよい。
【０１４６】
挙動の出現順序に応じた重み係数は、例えば生物学的試料の分裂のステージ毎の挙動に応じて設定されるようにしてもよい。
【０１４７】
例えば、受精卵の細胞分裂は、１細胞期、２細胞期、４細胞期、８細胞期と進行することが知られている。
【０１４８】
ここで、１細胞期から２細胞期への分裂においては、細胞分裂に起因する特徴的な動きが観察されることが知られており、２細胞期においては、卵子由来の遺伝子発現に起因する特有の動きが捕捉されることが知られている。したがって、これらの動きが観察されれば、胚の活性度が高いと判断することができる。
【０１４９】
また、４細胞期の後期から８細胞期の初期にかけては動きが徐々に増加し、８細胞期以降にかけては動きが徐々に減少する、という緩やかな変化が観察されることが知られている。この変化は、精子由来の遺伝子発現に起因するといわれている。したがって、このような変化が観察されれば、精子由来の遺伝子発現が胚に生じており、胚がさらに次のステージへ順調に進行していると判断することができる。
【０１５０】
このように、受精卵の細胞分裂の観察においては、各ステージでの動きを検出することが重要とされる。そこで、挙動解析の結果、例えば、２細胞期において上述した動きが捕捉され、かつ、４細胞期の後期から８細胞期の初期にかけて動きが徐々に増加している場合には、細胞分裂が順調に進行する可能性が高いことから、値の大きい重み係数が設定されるようにする。
【０１５１】
以上の構成によれば、観察映像内の複数の細胞の挙動に応じた重み係数が細胞毎に設定されるので、観察映像内で注目すべき重要な細胞を、その撮影範囲に収めることができる。
【０１５２】
（移動体制御システムへの応用例）
本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０１５３】
図１６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１６に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller  Area  Network）、ＬＩＮ（Local  Interconnect  Network）、ＬＡＮ（Local  Area  Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
【０１５４】
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１６では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
【０１５５】
駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock  Brake  System）又はＥＳＣ（Electronic  Stability  Control）等の制御装置としての機能を有してもよい。
【０１５６】
駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
【０１５７】
ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１５８】
バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
【０１５９】
車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time  Of  Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
【０１６０】
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light  Detection  and  Ranging、Laser  Imaging  Detection  and  Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
【０１６１】
ここで、図１７は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０１６２】
なお、図１７には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
【０１６３】
車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
【０１６４】
図１６に戻って説明を続ける。車外情報検出ユニット７４００は撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
【０１６５】
また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
【０１６６】
車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
【０１６７】
統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal  Digital  Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
【０１６８】
記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read  Only  Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random  Access  Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard  Disc  Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
【０１６９】
汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global  System  of  Mobile  communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long  Term  Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer  To  Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine  Type  Communication）端末）と接続してもよい。
【０１７０】
専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless  Access  in  Vehicle  Environment）、ＤＳＲＣ（Dedicated  Short  Range  Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle  to  Vehicle）通信、路車間（Vehicle  to  Infrastructure）通信、車両と家との間（Vehicle  to  Home）の通信及び歩車間（Vehicle  to  Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
【０１７１】
測位部７６４０は、例えば、ＧＮＳＳ（Global  Navigation  Satellite  System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global  Positioning  System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
【０１７２】
ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
【０１７３】
車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near  Field  Communication）又はＷＵＳＢ（Wireless  USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal  Serial  Bus）、ＨＤＭＩ（登録商標）（High-Definition  Multimedia  Interface）、又はＭＨＬ（Mobile  High-definition  Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
【０１７４】
車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
【０１７５】
統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced  Driver  Assistance  System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
【０１７６】
マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
【０１７７】
音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１６の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented  Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【０１７８】
なお、図１６に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
【０１７９】
本実施の形態に係る統合制御ユニット７６００の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニットなどに実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【０１８０】
上述した車両制御システム７０００は、撮像部７４１０により撮像された画像データに基づいて、人、車、障害物、標識、または路面上の文字などの物体検出処理や距離検出処理を行うことができる。
【０１８１】
しかしながら、撮像された画像データ全てについて、後段の画像解析処理（具体的には、物体検出処理や距離検出処理）を行った場合、その処理負荷が増大してしまう。
【０１８２】
そこで、車両制御システム７０００に、本開示に係る技術を適用することで、画像解析処理の負荷を軽減するようにする。
【０１８３】
図１８は、本開示に係る技術を適用した統合制御ユニット７６００の機能構成例を示すブロック図である。
【０１８４】
なお、図１８において、図１６を参照して説明した構成と同様の構成には、同一の符号を付し、その説明は省略する。
【０１８５】
図１８の統合制御ユニット７６００は、状態検出部７９７１、パラメータ設定部７９７２、および撮影制御部７９７３を備えている。
【０１８６】
状態検出部７９７１は、撮像部７４１０からの画像データ（車載カメラ映像）内の人物、自転車、他車、障害物、道路標識、および道路標示それぞれの状態を検出する。
【０１８７】
パラメータ設定部７９７２は、状態検出部７９７１による状態検出の結果を用いて、検出対象の状態に応じたパラメータ（重み係数）を記憶部７６９０から取得し、車載カメラ映像内の検出対象毎に設定する。
【０１８８】
撮影制御部７９７３は、パラメータ設定部７９７２により設定された、検出対象の状態に応じた重み係数に基づいて、撮像部７４１０の撮影範囲を制御する。なお、撮影制御部７９７３が備える重心算出部７９８１および画角決定部７９８２は、図５の重心算出部８１および画角決定部８２と同様の機能を有するので、その説明は省略する。
【０１８９】
撮影制御部７９７３により撮影範囲が制御されることで得られた画像は、画像解析部７９７４に供給され、物体検出処理や距離検出処理が行われる。
【０１９０】
統合制御ユニット７６００においては、検出対象の状態に応じて、後段の画像解析処理の負荷を軽減するための撮影制御が行われる。
【０１９１】
具体的には、車載カメラ映像内の人物や自転車、自動二輪車、および自車周辺の車両の状態が検出され、検出された状態に応じた重み係数が設定され、その結果に基づいて後段の画像解析処理に関連する撮影制御が行われる。
【０１９２】
例えば、車載カメラ映像内の検出対象毎に設定された重み係数に基づいてクロップされた画像データが、画像解析部７９７４に供給される。これにより、必要な領域のみに対して画像解析処理が行われるようになるので、画像解析処理の負荷を軽減することができる。
【０１９３】
また、車載カメラ映像がクロップされるのではなく、車載カメラ映像内でクロップされる領域内が高解像度化され、それ以外の領域が低解像度化された画像データが、画像解析部７９７４に供給されるようにしてもよい。
【０１９４】
検出対象の状態として、人物の状態には、例えば、歩行、走行、および停止の少なくともいずれかが含まれ、自転車の状態には、例えば、直進走行および蛇行走行の少なくともいずれかが含まれる。また、自動二輪車の状態には、例えば、傾斜走行、蛇行走行、および道路の白線近傍の走行の少なくともいずれかが含まれる。さらに、自車周辺の車両の状態には、例えば、自車への接近、割り込み、車線変更、交差点での対向車の右折または左折（自車の進行方向での横断）の少なくともいずれかが含まれる。
【０１９５】
例えば、自車の周囲で、走っている人物や自転車が存在する場合には事故の発生率は高く、歩行している人物だけ存在する場合には事故の発生率は低い。そこで、人物や自転車の状態に応じた重み係数として、走行中の人物・自転車には値の大きい重み係数が設定され、歩行中の人物には値の小さい重み係数が設定されるようにする。これにより、例えば、事故の発生率の高い検出対象との距離を低負荷で求めることができる。
【０１９６】
さらに、自転車の状態に応じた重み係数として、蛇行走行中の自転車には値の大きい重み係数が設定され、直進走行中の自転車には値の小さい重み係数が設定されるようにしてもよい。これにより、ふらふらと走行している、事故の発生率の高い自転車との距離を低負荷で求めることができる。
【０１９７】
また、自動二輪車の状態に応じた重み係数として、道路の白線近傍を走行中の自動二輪車には値の大きい重み係数が設定され、白線と白線の間を走行中の自動二輪車には値の小さい重み係数が設定されるようにしてもよい。これにより、車両と車両の間をすり抜けて走行している、事故の発生率の高い自動二輪車との距離を低負荷で求めることができる。
【０１９８】
さらに、自車周辺の車両の状態に応じた重み係数として、自車へ接近してくる車両には値の大きい重み係数が設定され、自車から遠ざかっていく車両には値の小さい重み係数が設定されるようにしてもよい。これにより、車線変更により自車と同一車線に入ろうとする、事故の発生率の高い車両との距離を低負荷で求めることができる。
【０１９９】
また、検出対象の状態の出現順序に応じた重み係数として、交差点（信号機や道路標示）の存在が認識された後に、上述したような事故の発生率の高い人物や自転車の状態が検出された場合には、より値の大きい重み係数が設定されるようにしてもよい。
【０２００】
以上の構成によれば、車載カメラ映像内の複数の検出対象の状態に応じた重み係数が検出対象毎に設定されるので、車載カメラ映像内で注目すべき重要な検出対象を、その撮影範囲に収めることができる。
【０２０１】
（内視鏡手術システムへの応用例）
本開示に係る技術（本技術）は、内視鏡手術システムに適用されてもよい。
【０２０２】
図１９は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
【０２０３】
図１９では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
【０２０４】
内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
【０２０５】
鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【０２０６】
カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ: Camera Control Unit）１１２０１に送信される。
【０２０７】
ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
【０２０８】
表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
【０２０９】
光源装置１１２０３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
【０２１０】
入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
【０２１１】
処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【０２１２】
なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【０２１３】
また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【０２１４】
また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
【０２１５】
図２０は、図１９に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
【０２１６】
カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
【０２１７】
レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
【０２１８】
撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
【０２１９】
また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
【０２２０】
駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
【０２２１】
通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
【０２２２】
また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
【０２２３】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。
【０２２４】
カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
【０２２５】
通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
【０２２６】
また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
【０２２７】
画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
【０２２８】
制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
【０２２９】
また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
【０２３０】
カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【０２３１】
ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
【０２３２】
従来、内視鏡下手術においては、術野（手術対象として見える部分）を拡大する際に、カメラヘッドを術部に近づける必要があった。この場合、術者が術部の拡大映像と術野の全体像とを同時に確認できず、また、カメラヘッドと術具とが接触するおそれがあった。
【０２３３】
そこで、近年、８Ｋ解像度などの高解像度カメラを用いて、術部から少し離れた位置で撮影しながら、デジタルズーム機能やクロップ機能により鮮明な映像を得る手法が提案されている。
【０２３４】
しかしながら、高解像度カメラを用いた内視鏡システムにおいて、拡大映像を得るためには、術者（執刀医）が、拡大処理の操作をスタッフに指示する必要があるが、その指示がスタッフに伝わるまでは、執刀医は、手を止めた状態で手技を進めることができない。これにより、手術の遅延が発生するおそれがある。
【０２３５】
そこで、内視鏡手術システム１１０００に、本開示に係る技術を適用することで、手術の遅延を解消するようにする。
【０２３６】
図２１は、本開示に係る技術を適用したＣＣＵ１１２０１の機能構成例を示すブロック図である。
【０２３７】
なお、図２１において、図２０を参照して説明した構成と同様の構成には、同一の符号を付し、その説明は省略する。
【０２３８】
図２１のＣＣＵ１１２０１は、術具検出部１２０７１、パラメータ設定部１２０７２、および撮影制御部１２０７３を備えている。
【０２３９】
術具検出部１２０７１は、カメラヘッド１１１０２からの画像信号（術野映像）内の術具それぞれの状態を検出する。
【０２４０】
パラメータ設定部１２０７２は、術具検出部１２０７１による術具の状態検出の結果を用いて、術具の状態に応じたパラメータ（重み係数）を記憶部１２０４０から取得し、術野映像内の術具毎に設定する。
【０２４１】
撮影制御部１２０７３は、パラメータ設定部１２０７２により設定された、術具の状態に応じた重み係数に基づいて、カメラヘッド１１１０２の撮影範囲を制御する。なお、撮影制御部１２０７３が備える重心算出部１２０８１および画角決定部１２０８２は、図５の重心算出部８１および画角決定部８２と同様の機能を有するので、その説明は省略する。
【０２４２】
撮影制御部１２０７３により撮影範囲が制御されることで得られた、術部や術具などが映った拡大映像は、表示装置１１２０２に表示される。
【０２４３】
内視鏡下手術においては、把持鉗子を用いることで切除対象部分を露出させ、露出した切除対象部分を電気メスで切除する手技が行われる。そこで、本開示に係る技術を適用したＣＣＵ１１２０１においては、把持鉗子や電気メスの状態に応じて、撮影範囲が制御されるようにする。ここでは、本技術を、電気メスを用いた内視鏡手術システムに適用した応用例について説明するが、これに限らず、本技術を、超音波メスやレーザメスなどのエネルギー処置具を用いた内視鏡手術システムに適用することもできる。
【０２４４】
具体的には、術野映像内の把持鉗子や電気メスの状態が検出され、検出された状態に応じた重み係数が設定され、その結果に基づいて拡大映像の撮影画角が制御される。
【０２４５】
これら術具の状態に応じた重み係数として、例えば、把持鉗子よりも電気メスに値の大きい重み係数が設定されるようにする。これにより、術者は、上述した内視鏡下手術の手順に合わせた拡大映像を確認しながら、手技を進めることができる。
【０２４６】
また、術具の状態の出現順序に応じた重み係数として、把持鉗子が検出された後に、電気メスが検出された場合に、より値の大きい重み係数が設定されるようにしてもよい。例えば、第１の把持鉗子を用いて術野を展開し、第２の把持鉗子を用いて適切なカウンター・テンションをかけるなどの、切除前の準備において広い範囲に渡る処置が必要なときには、複数の把持鉗子が含まれる広い視野を撮影範囲とする。また、その後、電気メスが検出され、病変部の切除などの、高い精度が求められる処置が必要なときには、電気メス周辺を拡大する撮影範囲とする。
【０２４７】
以上の構成によれば、術野映像内の複数の術具の状態に応じた重み係数が術具毎に設定されるので、術野映像内で注目すべき重要な術具を、その撮影範囲に収めることができる。
【０２４８】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０２４９】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０２５０】
さらに、本開示は以下のような構成をとることができる。
（１）
映像内の複数の被写体それぞれの状態に応じたパラメータを、少なくとも状態が検出された前記被写体毎に設定するパラメータ設定部と、
前記被写体毎に設定された前記パラメータに基づいて、撮影装置による前記映像の撮影範囲を制御する撮影制御部と
を備える映像処理装置。
（２）
前記パラメータ設定部は、前記映像内の複数の人物それぞれの行動に応じた前記パラメータを、前記人物毎に設定する
（１）に記載の映像処理装置。
（３）
前記人物の行動は、前記人物が講義中にとり得る動作である
（２）に記載の映像処理装置。
（４）
前記人物が講義中にとり得る動作は、起立、着席、および挙手の少なくともいずれかを含む
（３）に記載の映像処理装置。
（５）
前記パラメータ設定部は、前記パラメータとして、行動の種別毎に定義された第１の重み係数を前記人物毎に設定し、
前記撮影制御部は、前記人物毎に設定された前記第１の重み係数に基づいて、前記撮影範囲の中心を決定する
（２）乃至（４）のいずれかに記載の映像処理装置。
（６）
前記パラメータ設定部は、前記パラメータとして、行動の出現順序毎に定義された第２の重み係数を前記人物毎に設定し、
前記撮影制御部は、前記人物毎に設定された前記第１の重み係数と前記第２の重み係数に基づいて、前記撮影範囲の中心および大きさを決定する
（５）に記載の映像処理装置。
（７）
前記撮影制御部は、前記第１の重み係数と前記第２の重み係数の積が最も大きい前記人物の全身を収めるように、前記撮影範囲の大きさを決定する
（６）に記載の映像処理装置。
（８）
前記撮影制御部は、前記人物毎に設定された前記パラメータに基づいて、前記撮影装置の撮影画角を制御する
（２）乃至（７）のいずれかに記載の映像処理装置。
（９）
前記撮影装置は、ＰＴＺカメラで構成され、
前記撮影制御部は、前記撮影装置のパン、チルト、およびズームを制御する
（８）に記載の映像処理装置。
（１０）
前記撮影制御部は、前記映像内の前記人物についての距離情報に基づいて、前記撮影装置のズームを制御する
（９）に記載の映像処理装置。
（１１）
前記撮影制御部は、前記人物毎に設定された前記パラメータに基づいて、前記映像の切り出し範囲を制御する
（２）乃至（７）のいずれかに記載の映像処理装置。
（１２）
前記撮影装置は、広角カメラで構成される
（１１）に記載の映像処理装置。
（１３）
前記パラメータ設定部は、前記映像内の複数の前記人物とともに映る複数の物体の状態に応じた前記パラメータを、前記物体毎に設定する
（２）乃至（１２）のいずれかに記載の映像処理装置。
（１４）
前記映像は、術野映像であり、
前記パラメータ設定部は、前記術野映像内の複数の術具それぞれの状態に応じた前記パラメータを、前記術具毎に設定する
（１）乃至（１３）のいずれかに記載の映像処理装置。
（１５）
前記映像は、生物学的試料の観察映像であり、
前記パラメータ設定部は、前記観察映像内の複数の前記生物学的試料それぞれの挙動に応じた前記パラメータを、前記生物学的試料毎に設定する
（１）に記載の映像処理装置。
（１６）
前記生物学的試料は、細胞であり、
前記細胞の挙動は、拍動、分裂、融合、結合、変形、および移動の少なくともいずれかを含む
（１５）に記載の映像処理装置。
（１７）
前記映像は、車載カメラ映像であり、
前記パラメータ設定部は、前記車載カメラ映像内の人物および自転車それぞれの状態に応じた前記パラメータを、前記人物および前記自転車毎に設定する
（１）に記載の映像処理装置。
（１８）
前記人物の状態は、歩行、走行、および停止の少なくともいずれかを含み、
前記自転車の状態は、直進走行および蛇行走行の少なくともいずれかを含む
（１７）に記載の映像処理装置。
（１９）
映像処理装置が、
映像内の複数の被写体それぞれの状態に応じたパラメータを、少なくとも状態が検出された前記被写体毎に設定し、
前記被写体毎に設定された前記パラメータに基づいて、撮影装置による前記映像の撮影範囲を制御する
映像処理方法。
（２０）
コンピュータに、
映像内の複数の被写体それぞれの状態に応じたパラメータを、少なくとも状態が検出された前記被写体毎に設定し、
前記被写体毎に設定された前記パラメータに基づいて、撮影装置による前記映像の撮影範囲を制御する
処理を実行させるためのプログラム。
【符号の説明】
【０２５１】
１０  撮影装置，  ２０  映像処理装置，  ３０  入出力装置，  ４０  記録装置，  ５１  状態検出部，  ５２  パラメータ設定部，  ５３  撮影制御部，  ７１  行動検出部，  ７２  パラメータ設定部，  ７３  撮影制御部，  ８１  重心算出部，  ８２  画角決定部
【図１】
2020072457.tif 000005
【図２】
2020072457.tif 000006
【図３】
2020072457.tif 000007
【図４】
2020072457.tif 000008
【図５】
2020072457.tif 000009
【図６】
2020072457.tif 000010
【図７】
2020072457.tif 000011
【図８】
2020072457.tif 000012
【図９】
2020072457.tif 000013
【図１０】
2020072457.tif 000014
【図１１】
2020072457.tif 000015
【図１２】
2020072457.tif 000016
【図１３】
2020072457.tif 000017
【図１４】
2020072457.tif 000018
【図１５】
2020072457.tif 000019
【図１６】
2020072457.tif 000020
【図１７】
2020072457.tif 000021
【図１８】
2020072457.tif 000022
【図１９】
2020072457.tif 000023
【図２０】
2020072457.tif 000024
【図２１】
2020072457.tif 000025