(57)【特許請求の範囲】
【請求項１】
情報処理装置が実行する撮影制御方法であって、
撮影範囲が固定された第１の撮影装置により撮影された第１画像の被写体情報が、予め設定された撮影条件を満たすか判定する処理と、
前記被写体情報が前記撮影条件を満たすと判定した場合、前記撮影条件に対応する撮影対象が撮影範囲に含まれるように、撮影範囲が可変である第２の撮影装置の前記撮影範囲を制御する処理と、
を含み、
前記被写体情報は、複数の被写体間の関係を示す情報を含み、
前記複数の被写体間の関係は、前記複数の被写体間の累積同席時間、同席回数、平均同席時間、会話時間、アイコンタクト数、友好度、累積接触時間、接触回数、平均接触時間、及び好意度の少なくとも１つを含む撮影方法。
【請求項２】
前記被写体情報は、前記第１の撮影装置が設置された空間における被写体の位置を示す情報を含む
請求項１に記載の撮影方法。
【請求項３】
前記被写体情報は、さらに、前記被写体の属性を示す情報、及び前記被写体の状態を示す情報の少なくとも１つを含む
請求項１又は請求項２に記載の撮影方法。
【請求項４】
前記被写体の属性は、前記被写体の種類、名称、性別、年齢、及び立場の少なくとも１つを含む
請求項３に記載の撮影方法。
【請求項５】
前記被写体の状態は、前記被写体の動作、表情、向き、及び大きさの少なくとも１つを含む
請求項３に記載の撮影方法。
【請求項６】
前記情報処理装置は、前記第２の撮影装置のパン、チルト、及びズームの少なくとも１つを制御する
請求項１から請求項５までのいずれか１項に記載の撮影方法。
【請求項７】
前記撮影条件は、前記第１画像の撮影時刻に関する条件を含む
請求項１から請求項６までのいずれか１項に記載の撮影方法。
【請求項８】
撮影範囲が固定された第１の撮影装置により撮影された第１画像の被写体情報が、予め設定された撮影条件を満たすか判定する判定部と、
前記被写体情報が前記撮影条件を満たすと判定した場合、前記撮影条件に対応する撮影対象が撮影範囲に含まれるように、撮影範囲が可変である第２の撮影装置の前記撮影範囲を制御する撮影制御部と、
を備え、
前記被写体情報は、複数の被写体間の関係を示す情報を含み、
前記複数の被写体間の関係は、前記複数の被写体間の累積同席時間、同席回数、平均同席時間、会話時間、アイコンタクト数、友好度、累積接触時間、接触回数、平均接触時間、及び好意度の少なくとも１つを含む情報処理装置。
【請求項９】
コンピュータに、
撮影範囲が固定された第１の撮影装置により撮影された第１画像の被写体情報が、予め設定された撮影条件を満たすか判定する処理と、
前記被写体情報が前記撮影条件を満たすと判定した場合、前記撮影条件に対応する撮影対象が撮影範囲に含まれるように、撮影範囲が可変である第２の撮影装置の前記撮影範囲を制御する処理と、
を実行させるためのプログラムであって、
前記被写体情報は、複数の被写体間の関係を示す情報を含み、
前記複数の被写体間の関係は、前記複数の被写体間の累積同席時間、同席回数、平均同席時間、会話時間、アイコンタクト数、友好度、累積接触時間、接触回数、平均接触時間、及び好意度の少なくとも１つを含むプログラム。
【請求項１０】
撮影範囲が固定された第１の撮影装置と、
撮影範囲が可変である第２の撮影装置と、
前記第２の撮影装置による撮影を制御する情報処理装置と、
を備えた撮影システムであって、
前記第１の撮影装置により第１画像を撮影する処理と、
前記第１画像の被写体情報が、予め設定された撮影条件を満たすか判定する処理と、
前記被写体情報が前記撮影条件を満たすと判定した場合、前記撮影条件に対応する撮影対象が撮影範囲に含まれるように、前記第２の撮影装置の撮影範囲を制御する処理と、
前記第２の撮影装置により前記撮影対象を撮影する処理と、
を実行し、
前記被写体情報は、複数の被写体間の関係を示す情報を含み、
前記複数の被写体間の関係は、前記複数の被写体間の累積同席時間、同席回数、平均同席時間、会話時間、アイコンタクト数、友好度、累積接触時間、接触回数、平均接触時間、及び好意度の少なくとも１つを含む撮影システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影制御方法、情報処理装置、プログラム、及び撮影システムに関する。
【背景技術】
【０００２】
ＰＴＺカメラの撮影範囲を、当該ＰＴＺカメラで撮影された画像に含まれる被写体の状態に基づいて制御する技術が知られている。このような制御方法として、例えば、所定の条件を満たした人をズームして撮影する方法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０２０−７２４５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来技術では、ＰＴＺカメラの撮影範囲が制御されている間、その撮影範囲の外側で生じた出来事を検知できない。すなわち、撮影範囲の外側で人等の撮影対象が所定の条件を満たした場合、所定の条件が満たされたことを検知できないため、その撮影対象を撮影することができない。結果として、所望の撮影対象を撮影し損ねるおそれがある。
【０００５】
本発明は、上記の課題を鑑みてなされたものであり、所望の撮影対象を撮影し損ねることを抑制することを目的とする。
【課題を解決するための手段】
【０００６】
一実施形態にかかる撮影制御方法は、情報処理装置が実行する撮影制御方法であって、撮影範囲が固定された第１の撮影装置により撮影された第１画像の被写体情報が、予め設定された撮影条件を満たすか判定する処理と、前記被写体情報が前記撮影条件を満たすと判定した場合、前記撮影条件に対応する撮影対象が撮影範囲に含まれるように、撮影範囲が可変である第２の撮影装置の前記撮影範囲を制御する処理と、を含み、前記被写体情報は、複数の被写体間の関係を示す情報を含み、前記複数の被写体間の関係は、前記複数の被写体間の累積同席時間、同席回数、平均同席時間、会話時間、アイコンタクト数、友好度、累積接触時間、接触回数、平均接触時間、及び好意度の少なくとも１つを含む。
【発明の効果】
【０００７】
一実施形態によれば、所望の撮影対象を撮影し損ねることを抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係る撮影システムの構成の一例を示す図である。
【図２】情報処理装置のハードウェア構成の一例を示す図である。
【図３】情報処理装置の機能構成の一例を示す図である。
【図４】マップ情報の一例を示す図である。
【図５】属性情報の一例を示す図である。
【図６】関係情報の一例を示す図である。
【図７】撮影条件情報の一例を示す図である。
【図８】撮影システムが実行する処理の一例を示すフローチャートである。
【図９】撮影装置が設置された空間の一例を示す図である。
【図１０】図９の撮影装置により撮影された第１画像の一例を示す図である。
【図１１】第１画像の被写体情報の取得処理の一例を示すフローチャートである。
【図１２】図１０の第１画像から検出される被写体を示す図である。
【図１３】第１画像の被写体情報の一例を示す情報である。
【図１４】特定された被写体の位置及び大きさを模式的に示す図である。
【図１５】撮影装置２の撮影範囲が制御されなかった場合の第２画像の一例を示す図である。
【図１６】撮影装置２の撮影範囲が制御された場合の第２画像の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【００１０】
＜システム概要＞
まず、本実施形態に係る撮影システムの概要について説明する。本実施形態に係る撮影システムは、撮影条件を満たした撮影対象を撮影するためのシステムである。撮影システムは、例えば、保育所、幼稚園、学校、塾、テーマパーク、託児所、運動場、体育館、商店、公園、介護施設、病院、ペットホテルなど、任意の施設で利用できる。
【００１１】
図１は、本実施形態に係る撮影システムの構成の一例を示す図である。図１に示すように、本実施形態に係る撮影システムは、ネットワークＮを介して相互に通信可能に接続された、撮影装置１と、撮影装置２と、情報処理装置３と、閲覧者端末４と、を備える。ネットワークＮは、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。
【００１２】
撮影装置１は、第１の撮影装置であり、撮影範囲が固定された固定カメラである。撮影装置１は、第１画像を定期的に撮影し、第１画像データを情報処理装置３に送信する。第１画像は、撮影装置１が撮影した画像である。第１画像データは、第１画像の画像データである。より詳細には、撮影装置１は、第１画像データを、撮影装置１の識別情報及び第１画像の撮影時刻情報と対応づけて、情報処理装置３に送信する。撮影装置１の識別情報は、撮影装置１を一意に識別可能な情報（識別子）である。第１画像の撮影時刻情報は、撮影装置１が第１画像を撮影した時刻を示す情報である。第１画像の撮影頻度は、１ＦＰＳ（Frame Per Second）又は３０ＦＰＳであるが、これに限られない。撮影装置１は、第１画像を撮影するたびに第１画像データを送信してもよいし、複数の第１画像データをまとめて送信してもよい。図１の例では、撮影システムは、撮影装置１を１つ備えるが、複数備えてもよい。
【００１３】
撮影装置２は、第２の撮影装置であり、撮影範囲が可変のカメラである。撮影装置２は、例えば、パン、チルト、及びズームが可変のＰＴＺカメラであるが、これに限られない。撮影装置２は、パン、チルト、及びズームの少なくとも１つが可変の任意のカメラであり得る。撮影装置２は、情報処理装置３からの指示に従って、第２画像を撮影し、第２画像データを情報処理装置３に送信する。第２画像は、撮影装置２が撮影した画像である。第２画像データは、第２画像の画像データである。より詳細には、撮影装置２は、第２画像データを、撮影装置２の識別情報及び第２画像の撮影時刻情報と対応づけて、情報処理装置３に送信する。撮影装置２の識別情報は、撮影装置２を一意に識別可能な情報（識別子）である。第２画像の撮影時刻情報は、撮影装置２が第２画像を撮影した時刻を示す情報である。撮影装置２は、第２画像を撮影するたびに第２画像データを送信してもよいし、複数の第２画像データをまとめて送信してもよい。図１の例では、撮影システムは、撮影装置２を１つ備えるが、複数備えてもよい。撮影装置２は、その撮影範囲の少なくとも一部が、撮影装置１の撮影範囲と重複するように設置される。
【００１４】
情報処理装置３は、撮影装置１が撮影した第１画像の被写体情報に基づいて、撮影装置２による撮影を制御する装置（コンピュータ）である。情報処理装置３は、PＣ（Personal Computer）、スマートフォン、タブレット端末、サーバ、又はこれらの組み合わせである。情報処理装置３及び被写体情報について、詳しくは後述する。
【００１５】
閲覧者端末４は、撮影システムにより撮影された画像を閲覧する閲覧者Ｖが利用する端末である。閲覧者端末４は、撮影装置１が撮影した画像、及び撮影装置２が撮影した画像の少なくとも一方を、ネットワークＮを介して情報処理装置３から取得する。閲覧者Ｖは、閲覧者端末４が取得した画像を、閲覧者端末４の表示装置で表示して閲覧する。閲覧者端末４は、PＣ、スマートフォン、又はタブレット端末であるが、これに限られない。閲覧者Ｖは、撮影システムの管理者、撮影システムが導入された施設の従業者、撮影システムを導入した施設の利用者であるが、これに限られない。
【００１６】
＜ハードウェア構成＞
次に、情報処理装置３のハードウェア構成について説明する。図２は、情報処理装置３のハードウェア構成の一例を示す図である。図２に示すように、情報処理装置３は、バスＢを介して相互に接続された、プロセッサ３０１と、メモリ３０２と、ストレージ３０３と、通信Ｉ／Ｆ３０４と、入出力Ｉ／Ｆ３０５と、ドライブ装置３０６と、を備える。
【００１７】
プロセッサ３０１は、ストレージ３０３に記憶されたプログラムをメモリ３０２に展開して実行することにより、情報処理装置３の各構成を制御し、情報処理装置３の機能を実現する。プロセッサ３０１が実行するプログラムは、ＯＳ（Operating System）及び撮影制御プログラムを含むが、これに限られない。プロセッサ３０１が撮影制御プログラムを実行することにより、本実施形態に係る撮影制御方法が実現される。プロセッサ３０１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、又はこれらの組み合わせである。
【００１８】
メモリ３０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、又はこれらの組み合わせである。
【００１９】
ストレージ３０３は、ＯＳ、撮影制御プログラム、及び各種のデータを記憶する。ストレージ３０３は、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はこれらの組み合わせである。
【００２０】
通信Ｉ／Ｆ３０４は、情報処理装置３をネットワークＮに接続するためのインタフェースである。
【００２１】
入出力Ｉ／Ｆ３０５は、情報処理装置３に入力装置３０７及び出力装置３０８を接続するためのインタフェースである。入力装置３０７は、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、又はこれらの組み合わせである。出力装置は、ディスプレイ、プロジェクタ、プリンタ、スピーカ、バイブレータ、又はこれらの組み合わせである。
【００２２】
ドライブ装置３０６は、ディスクメディア３０９のデータを読み書きする。ドライブ装置３０６は、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ、又はこれらの組み合わせである。ディスクメディア３０９は、ＣＤ、ＤＶＤ、ＦＤ、又はＭＯであるが、これに限られない。
【００２３】
なお、本実施形態において、撮影制御プログラムは、情報処理装置３の製造段階でメモリ３０２又はストレージ３０３に書き込まれてもよいし、ネットワークＮを介して情報処理装置３に提供されてもよいし、非一時的でコンピュータ読み取り可能な記録媒体を介して情報処理装置３に提供されてもよい。
【００２４】
＜機能構成＞
次に、情報処理装置３の機能構成について説明する。図３は、情報処理装置３の機能構成の一例を示す図である。図３に示すように、情報処理装置３は、画像取得部３１と、被写体情報取得部３２と、判定部３３と、撮影制御部３４と、関係推定部３５と、記憶部３６と、を備える。画像取得部３１、被写体情報取得部３２、判定部３３、撮影制御部３４、及び関係推定部３５は、プロセッサ３０１、メモリ３０２、及び通信Ｉ／Ｆ３０４により実現される。記憶部３６は、メモリ３０２及びストレージ３０３により実現される。
【００２５】
画像取得部３１は、撮影装置１が情報処理装置３に送信した、第１画像データ、撮影装置１の識別情報、及び第１画像の撮影時刻情報を取得し、これらを対応づけて記憶部３６に保存する。また、画像取得部３１は、撮影装置２が情報処理装置３に送信した、第２画像データ、撮影装置２の識別情報、及び第２画像の撮影時刻情報を取得し、これらを対応づけて記憶部３６に保存する。
【００２６】
被写体情報取得部３２は、第１画像データから、第１画像の被写体情報を取得し、記憶部３６に保存する。第１画像の被写体情報は、第１画像に含まれる被写体に関する情報であり、位置情報を含む。また、被写体情報は、属性情報、状態情報、及び関係情報の少なくとも１つを含んでもよい。
【００２７】
被写体は、第１画像から検出する対象として予め設定された物体である。被写体は、例えば、人、人の顔、動物（犬、猫、鳥など）、植物（木、花など）、乗り物（車、自転車、バイクなど）、家具（机、椅子など）、道具（ペン、ハサミ、皿など）、又はこれらの組み合わせである。
【００２８】
被写体情報取得部３２は、被写体検出モデルを利用して、第１画像に含まれる被写体を検出する。被写体検出モデルは、例えば、第１画像データを入力すると、第１画像に含まれる被写体の種類、位置、大きさを出力するように深層学習された機械学習モデルである。被写体検出モデルは、例えば、ＣＮＮ（Convolutional Neural Network）により構成されるが、これに限られない。
【００２９】
位置情報は、撮影装置１が設置された空間における被写体の位置を示す情報である。被写体情報取得部３２は、例えば、第１画像における被写体の位置に基づいて、撮影装置１に対する被写体の相対位置を算出し、算出した相対位置と、記憶部３６に記憶されたマップ情報と、に基づいて、撮影装置１が設置された空間における被写体の位置を特定することができる。
【００３０】
マップ情報は、撮影装置１が設置された空間の平面図を示す情報と、当該平面図における撮影装置１，２の位置及び向きを示す情報と、を含む情報である。マップ情報は、予め用意され、記憶部３６に保存される。
【００３１】
図４は、マップ情報の一例を示す図である。図４における撮影装置１，２のイラストは、撮影装置１，２の位置及び向きを模式的に示している。図４の例では、撮影装置１が設置された空間は、平面視が矩形の空間であり、３つのエリアＡ〜Ｃが設定されている。エリアＡには撮影装置１Ａが、エリアＢには撮影装置１Ｂが、エリアＣには撮影装置２が設置されている。
【００３２】
属性情報は、被写体の属性を示す情報である。被写体が人である場合、被写体の属性は、被写体の氏名、年齢、性別、及び立場の少なくとも１つを含む。被写体が人以外である場合、被写体の属性は、被写体の種類を含む。
【００３３】
第１画像に含まれる被写体となり得る対象者（人）の属性情報は、記憶部３６に予め保存される。対象者は、例えば、撮影システムが導入された施設の利用者及び従業者の少なくとも一部である。
【００３４】
図５は、記憶部３６に保存された属性情報の一例を示す図である。図５の例では、撮影システムがテーマパークに導入される場合を想定している。対象者は、テーマパークの利用者及び従業者であり、各対象者の識別情報（対象者ＩＤ）と、各対象者の属性情報と、が対応づけられている。記憶部３６に属性情報を登録される利用者として、テーマパークに頻繁に来園する利用者（例えば、年間パスポートの購入者）が想定される。
【００３５】
被写体情報取得部３２は、顔認証モデルを利用して、第１画像に含まれる被写体（人）を一意に特定する。顔認証モデルは、第１画像データを入力すると、第１画像に含まれる被写体（人）の対象者ＩＤを出力するように深層学習された機械学習モデルである。顔認証モデルは、例えば、ＣＮＮにより構成されるが、これに限られない。被写体情報取得部３２は、顔認証モデルにより被写体（人）の対象者ＩＤを特定し、記憶部３６を参照して対象者ＩＤに対応づけられた属性情報を取得する。これにより、被写体情報取得部３２は、第１画像に含まれる被写体の属性情報を取得できる。なお、属性情報の取得方法はこれに限られない。例えば、被写体情報取得部３２は、年齢や性別などの属性を推定する属性推定モデルを利用して、被写体（人）の属性情報を取得してもよい。
【００３６】
状態情報は、被写体の状態を示す情報である。被写体が人である場合、被写体の状態は、動作、表情、向き、大きさの少なくとも１つを含む。被写体が人以外である場合、被写体の状態は、大きさを含む。
【００３７】
被写体情報取得部３２は、状態推定モデルを利用して、第１画像に含まれる被写体（人）の状態を推定する。状態推定モデルは、第１画像データを入力すると、第１画像に含まれる被写体（人）の状態（動作、表情、又は向き）を出力するように深層学習された機械学習モデルである。状態推定モデルは、例えば、ＣＮＮにより構成されるが、これに限られない。また、被写体情報取得部３２は、被写体検出モデルで検出した被写体の大きさを、被写体の大きさとして取得することができる。
【００３８】
関係情報は、複数の被写体間の関係を示す情報である。複数の被写体間の関係は、２つの被写体間の関係であってもよいし、３つ以上の被写体間の関係であってもよい。また、複数の被写体間の関係は、複数の人の間の関係であってもよいし、人と人以外の物体との間の関係であってもよい。第１画像に含まれる被写体となり得る対象の属性情報は、記憶部３６に予め保存される。対象は、例えば、撮影システムが導入された施設の利用者、従業者、及び備品の少なくとも一部である。
【００３９】
複数の被写体が複数の人の組み合わせである場合、複数の被写体間の関係は、例えば、複数の被写体の累積同席時間、同席回数、平均同席時間、会話時間、アイコンタクト数、友好度、又はこれらの組み合わせである。累積同席時間は、複数の被写体が所定期間（例えば、直近１ヶ月間）において同席した時間の累積値である。同席回数は、複数の被写体が所定期間において同席した回数である。平均同席時間は、複数の被写体が所定期間において同席した際の同席時間の平均値である。平均同席時間は、累積同席時間を同席回数で除した値（累積同席時間／同席回数）に相当する。なお、同席とは、複数の被写体が所定距離以内に所定時間以上位置することを言う。会話時間は、複数の被写体が所定期間において会話した時間の累積値である。アイコンタクト数は、複数の被写体が所定期間においてかわしたアイコンタクトの回数である。友好度は、複数の被写体の関係の友好さの度合いを評価した値である。友好度は、複数の被写体の累積同席時間、同席回数、平均同席時間、会話時間、アイコンタクト数、同席時の表情、又はこれらの組み合わせにより評価される。
【００４０】
複数の被写体が人と人以外の物体の組み合わせである場合、複数の被写体間の関係は、例えば、複数の被写体の累積接触時間、接触回数、平均接触時間、好意度、又はこれらの組み合わせである。累積接触時間は、複数の被写体が所定期間において接触した時間の累積値である。接触回数は、複数の被写体（人と物体）が所定期間において接触した回数である。平均接触時間は、複数の被写体が所定期間において接触した際の接触時間の平均値である。平均接触時間は、累積接触時間を接触回数で除した値（累積接触時間／接触回数）に相当する。好意度は、一の被写体（物体）に対する他の被写体（人）の好意の度合いの度合いを評価した値である。好意度は、複数の被写体の累積接触時間、接触回数、平均接触時間、接触時の表情、又はこれらの組み合わせにより評価される。
【００４１】
図６は、記憶部３６に保存された関係情報の一例を示す図である。図６の例では、対象者Ｐ００１〜Ｐ００３の２者間の関係が、それぞれ３段階（○、△、×）の友好度で示されている。
【００４２】
被写体情報取得部３２は、記憶部３６を参照することにより、第１画像に含まれる複数の被写体間の関係情報を取得することができる。
【００４３】
被写体情報取得部３２は、第１画像データから、以上のように被写体情報を取得する。被写体情報取得部３２は、記憶部３６に新たな第１画像データが保存されるたびに、当該新たな第１画像データを読みだして被写体情報を取得してもよい。また、被写体情報取得部３２は、定期的に記憶部３６を参照し、新たに登録された第１画像データを読み出して被写体情報を取得してもよい。新たに登録された第１画像データが複数ある場合、被写体情報取得部３２は、最新の第１画像データを選択して被写体情報を取得すればよい。なお、被写体、被写体情報、属性情報、状態情報、関係情報、及びこれらの取得方法は、上記の例に限られない。
【００４４】
判定部３３は、撮影条件情報を参照して、撮影装置２による撮影を実行するか判定する。具体的には、判定部３３は、第１画像の被写体情報が、予め設定された撮影条件を満たすか判定する。判定部３３により被写体情報が撮影条件を満たすと判定された場合、撮影条件に対応する撮影対象が撮影装置２により撮影される。
【００４５】
撮影条件情報は、撮影条件と、撮影条件に対応する撮影対象と、を示す情報である。撮影条件は、撮影装置２による撮影を実行する条件である。撮影条件は、撮影装置１が設置された空間における被写体の位置、被写体の属性、被写体の状態、複数の被写体間の関係、及び第１画像の撮影時刻の少なくとも１つに応じて設定される。撮影対象は、対応する撮影条件が満たされた場合に撮影装置２により撮影する対象である。撮影条件及び撮影対象は、予め設定され、記憶部３６に保存される。
【００４６】
図７は、記憶部３６に保存された撮影条件情報の一例を示す図である。図７の例では、撮影システムがテーマパークに導入された場合を想定しており、「友好度が○である２人の利用者が所定距離以内で笑っている」という撮影条件と、「２人の利用者の顔」という撮影対象と、が対応づけられている。また、「利用者と従業者が所定距離以内で向き合っている」という撮影条件と、「利用者と従業者の全身」という撮影対象と、が対応づけられている。また、「複数の利用者が同じエリアでダンスしている」という撮影条件と、「エリア全体」という撮影対象と、が対応づけられている。なお、撮影条件情報は、上記の例に限られず、任意に設定可能である。
【００４７】
撮影制御部３４は、判定部３３により被写体情報が撮影条件を満たすと判定された場合、当該撮影条件に対応する撮影対象が撮影範囲に含まれるように撮影装置２の撮影範囲を制御する。具体的には、撮影制御部３４は、撮影装置２の撮影範囲が撮影対象を含むように、撮影装置２のパン、チルト、及びズームの少なくとも１つを制御し、撮影装置２に撮影対象の撮影を指示する。撮影装置２の撮影範囲は、撮影対象と一致するように制御されるのが好ましい。ただし、ズーム倍率の不足などの原因で、撮影範囲を撮影対象と一致させることができない場合、撮影装置２の撮影範囲は、撮影対象を含むように制御される。
【００４８】
関係推定部３５は、所定期間の第１画像データに基づいて、複数の被写体間の関係を推定し、記憶部３６に保存する。例えば、関係が２者の同席回数である場合、関係推定部３５は、所定期間の第１画像データから所定距離以内に位置する２者を検出し、検出回数を同席回数として２者の組ごとに集計し、記憶部３６に保存する。関係の推定方法は、対象となる関係に応じて選択される。
【００４９】
記憶部３６は、第１画像データ、第２画像データ、第１画像の被写体情報、マップ情報、対象者情報、機械学習モデル、撮影条件情報、関係情報、及び撮影制御プログラムを含む各種の情報を記憶する。各情報については上述の通りである。
【００５０】
＜撮影システムが実行する処理＞
次に、本実施形態にかかる撮影システムが実行する処理について説明する。図８は、撮影システムが実行する処理の一例を示すフローチャートである。以下では、撮影システムがテーマパークに導入された場合を例に説明する。
【００５１】
ステップＳ１０１において、撮影装置１は、第１画像を撮影し、得られた第１画像データを情報処理装置３に送信する。
【００５２】
図９は、撮影装置１が設置された空間の一例を示す図である。図９の空間は、図４のマップ情報に対応している。図９の例では。エリアＡに店舗が、エリアＣに子供を抱いた男性が位置する。また、エリアＡには撮影装置１Ａが、エリアＢには撮影装置１Ｂが、エリアＣには撮影装置２が設置されている。
【００５３】
図１０は、図９の撮影装置１Ａにより撮影された第１画像の一例を示す図である。図１０に示すように、第１画像（撮影装置１Ａの撮影範囲）の右側には店舗が写り、第１画像（撮影装置１Ａの撮影範囲）の左側には子供を抱いた男性が写っている。以下、撮影装置１Ａが図１０の第１画像の画像データ（第１画像データ）を送信した場合を例に説明するが、実際には、撮影装置１Ｂの第１画像の画像データについても同様の処理が実行される。
【００５４】
ステップＳ１０２において、画像取得部３１は、撮影装置１Ａが送信した第１画像データを取得し、記憶部３６に保存する。
【００５５】
ステップＳ１０３において、被写体情報取得部３２は、記憶部３６に保存された第１画像データを読み出し、当該第１画像データに基づいて、第１画像の被写体情報を取得する。ここで、第１画像の被写体情報の取得方法について具体的に説明する。
【００５６】
図１１は、第１画像の被写体情報の取得処理の一例を示すフローチャートである。図１１の処理は、ステップＳ１０３の内部処理に相当する。
【００５７】
ステップＳ２０１において、被写体情報取得部３２は、記憶部３６から被写体検出モデル（機械学習モデル）を読み出し、被写体検出モデルに第１画像データを入力し、被写体検出モデルの出力情報を取得する。被写体検出モデルの出力情報は、被写体の種類、第１画像中における位置、及び第１画像中における大きさを含む。
【００５８】
ここで、図１２は、図１０の第１画像から検出される被写体を示す図である。図１２に示すように、図１０の第１画像からは、３つの被写体ｓｂｊ１〜ｓｂｊ３が検出される。被写体ｓｂｊ１は子供（人）であり、被写体ｓｂｊ２は男性（人）であり、被写体ｓｂｊ３は店舗である。こうして検出された被写体の識別情報及びその種類を示す情報は、第１画像の被写体情報として記憶部３６に保存される。
【００５９】
図１３は、第１画像の被写体情報の一例を示す情報である。図１３の被写体情報は、図１２の第１画像に対応する。図１３に示すように、被写体の識別情報（被写体ＩＤ）及び種類を示す情報は、第１画像の撮影時刻及び撮影装置１Ａの識別情報（撮影装置ＩＤ）と対応づけて記憶される。
【００６０】
ステップＳ２０２において、被写体情報取得部３２は、記憶部３６から顔認証モデルを読み出し、顔認証モデルに、ステップＳ２０１で検出された人の顔の画像データを入力し、顔認証モデルの出力情報を取得する。顔認証モデルの出力情報は、被写体（人）の識別情報（対象者ＩＤ）を含む。図１３に示すように、被写体ｓｂｊ１（子供）の識別情報（対象者ＩＤ）はＰ００４に特定され、被写体ｓｂｊ２（男性）の識別情報（対象者ＩＤ）はＰ００５に特定されている。特定された各被写体の識別情報（対象者ＩＤ）は記憶部３６に保存される。
【００６１】
ステップＳ２０３において、被写体情報取得部３２は、記憶部３６に予め記憶された対象者の属性情報を参照して、第１画像に含まれる各被写体（人）の氏名、年齢、性別、立場などを特定し、各被写体の属性情報として記憶部３６に保存する。これにより、図１３に示すように、被写体ｓｂｊ１，ｓｂｊ２の属性が特定される。
【００６２】
ステップＳ２０４において、被写体情報取得部３２は、記憶部３６からマップ情報を読み出し、マップ情報と、被写体検出モデルの出力情報と、に基づいて、第１画像に含まれる各被写体の、撮影装置１が設置された空間における位置及び大きさを特定する。
【００６３】
図１４は、特定された被写体の位置及び大きさを模式的に示す図である。図１４に示すように、被写体の位置は平面図における座標（Ｘ，Ｙ）で特定され、大きさは３次元の寸法（Ｈ，Ｗ，Ｌ）で特定される。こうして特定された位置及び大きさは、図１３に示すように、被写体の位置情報及び状態情報としてそれぞれ記憶部３６に保存される。
【００６４】
ステップＳ２０５において、被写体情報取得部３２は、記憶部３６に予め記憶された状態推定モデルを読み出し、状態推定モデルに、ステップＳ２０１で検出された人又は顔の画像データを入力し、状態推定モデルの出力情報を取得する。状態推定モデルの出力情報は、被写体（人）の状態情報を含む。図１３の例では、被写体ｓｂｊ１，ｓｂｊ２の動作及び表情が特定されている。特定された各被写体の属性情報は記憶部３６に保存される。
【００６５】
ステップＳ２０６において、被写体情報取得部３２は、記憶部３６に予め記憶された関係情報を参照して、ステップＳ２０１で検出された複数の被写体間の関係を特定する。具体的には、被写体情報取得部３２は、対象者Ｐ００４と対象者Ｐ００５の関係、対象者Ｐ００４と店舗の関係、及び対象者Ｐ００５と店舗の関係、をそれぞれ参照し、特定する。図１３の例では、対象者Ｐ００４と対象者Ｐ００５の関係は○（友好度：高）、及び対象者Ｐ００４と店舗の関係は×（好意度：低）、対象者Ｐ００５と店舗の関係は△（好意度：中）である。こうして特定された複数の被写体間の関係は、関係情報として記憶部３６に保存される。
【００６６】
以上のステップＳ２０１〜Ｓ２０６の処理により、図１０の第１画像の被写体情報として、図１３の被写体情報が取得される。被写体情報が取得されると、処理はステップＳ１０４に進む。
【００６７】
ステップＳ１０４において、判定部３３は、ステップＳ１０３で取得された第１画像の被写体情報が、撮影条件を満たすか判定する。具体的には、判定部３３は、記憶部３６に記憶された第１画像の被写体情報及び撮影条件情報を読み出し、第１画像の被写体情報と撮影条件を比較して、第１画像の被写体条件が満たす撮影条件を探す。第１画像の被写体情報は、いずれの撮影条件も満たさない場合もあるし、１又は複数の撮影条件を満たす場合もあり得る。第１画像の被写体情報がいずれの撮影条件も満たさない場合（ステップＳ１０４：ＮＯ）、処理は終了する。一方、第１画像の被写体情報が少なくとも１つの撮影条件を満たす場合（ステップＳ１０４：ＹＥＳ）、処理はステップＳ１０５に進む。
【００６８】
ステップＳ１０５において、判定部３３は、撮影条件情報を参照して、第１画像の被写体情報が満たした撮影条件に対応する撮影対象を特定する。図１３の被写体情報は、「友好度が○である２人の利用者が所定距離以内で笑っている」という撮影条件を満たすため、「２人の利用者の顔」が撮影対象として特定される。すなわち、被写体ｓｂｊ１（対象者Ｐ００４）及び被写体ｓｂｊ２（対象者Ｐ００５）の顔が撮影対象として特定される。判定部３３は、特定された被写体を記憶部３６に保存する。
【００６９】
ステップＳ１０６において、撮影制御部３４は、新たな撮影対象が記憶部３６に保存されると、当該撮影対象、撮影対象の被写体情報、及びマップ情報を記憶部３６から読み出し、撮影対象が撮影範囲に含まれるように撮影装置２の撮影範囲を制御する。具体的には、撮影制御部は、撮影対象の位置及び大きさと、撮影装置２の位置と、に基づいて、撮影装置２の撮影範囲に撮影対象が含まれる、撮影装置のパン角度、チルト角度、及びズーム倍率を算出する。そして、撮影制御部３４は、算出されたパン角度、チルト角度、及びズーム倍率となるように撮影装置２を制御する。すなわち、撮影制御部３４は、撮影装置２の撮影範囲が撮影対象を含むように、撮影装置２の撮影範囲を制御する。
【００７０】
ステップＳ１０７において、パン、チルト、及びズームを制御された撮影装置２が、撮影対象を撮影し、得られた第２画像の画像データ（第２画像データ）を情報処理装置３に送信する。情報処理装置３の画像取得部３１は、撮影装置２が送信した第２画像データを取得し、記憶部３６に保存する。この際、第２画像データは、第２画像に含まれる被写体の被写体情報及び撮影条件と対応づけて保存されるのが好ましい。これにより、被写体情報により第２画像を検索可能とすることができる。
【００７１】
撮影装置２は、パン、チルト、及びズームの制御が完了した時点で自動的に撮影を実行してもよい。また、撮影装置２の制御完了後、情報処理装置３が、撮影装置２からリアルタイムの画像の画像データを取得し、最適な撮影タイミングを検出し、当該撮影タイミングに撮影指示を撮影装置２に送信し、撮影装置２がこの撮影指示に応じて撮影を実行してもよい。これにより、撮影装置２からみて最適なタイミングで第２画像を撮影することができる。
【００７２】
＜まとめ＞
以上説明した通り、本実施形態によれば、撮影装置１により撮影された被写体情報が撮影条件を満たす場合、当該撮影条件に対応する撮影対象を含むように、撮影装置２の撮影範囲が制御され、第２画像が撮影される。
【００７３】
ここで、図１５は、撮影装置２の撮影範囲が制御されなかった場合の第２画像の一例を示す図である。また、図１６は、撮影装置２の撮影範囲が制御された場合の第２画像の一例を示す図である。
【００７４】
図１５に示すように、撮影装置２の撮影範囲が制御されなかった場合、「友好度が○である２人の利用者が所定距離以内で笑っている」という撮影条件が満たされたとしても、この撮影条件に対応する「２人の利用者の顔」という撮影対象が適切に撮影されるとは限らない。例えば、第２画像において、２人の利用者の顔が小さく撮影されたり、利用者と共に余計な被写体（店舗等）が撮影されたり、２人の利用者の一部又は全部が含まれなかったりすることが考えられる。
【００７５】
これに対して、図１６に示すように、撮影装置２の撮影範囲が制御された場合、「友好度が○である２人の利用者が所定距離以内で笑っている」という撮影条件が満たされると、この撮影条件に対応する「２人の利用者の顔」という撮影対象が適切に撮影される。
【００７６】
このように、本実施形態によれば、撮影条件に対応する撮影対象を適切に撮影することができる。閲覧者Ｖは、閲覧者端末４から情報処理装置３に要求することにより、記憶部３６に保存された第２画像データを取得し、第２画像を閲覧者端末４で閲覧することができる。例えば、撮影システムがテーマパークに導入された場合、テーマパークの利用者がテーマパークで撮影された自分の第２画像を自分のスマートフォン（閲覧者端末４）で閲覧することができる。
【００７７】
また、本実施形態によれば、撮影装置２の撮影範囲がある撮影対象を含むように制御されている間も、撮影装置２の撮影範囲の外側で撮影条件を満たす出来事が生じているか、第１画像に基づいて判定されている。撮影装置２の撮影範囲の外側で撮影条件を満たす出来事が生じた場合、第１画像に基づいて次の撮影対象が選択される。そして、撮影装置２の撮影範囲は、ある撮影対象の撮影後、次の撮影対象を含むように制御され、次の撮影対象が撮影装置２により撮影される。
【００７８】
このように、本実施形態によれば、撮影装置２の撮影範囲の外側で撮影条件を満たす出来事が生じた場合、その撮影条件に対応する撮影対象を撮影装置２により撮影することができる。したがって、所望の撮影対象を撮影装置２で撮影し損ねることを抑制することができる。
【００７９】
なお、本実施形態において、情報処理装置３の処理の一部は、撮影装置１により実施されてもよい。例えば、撮影装置１がエッジＡＩカメラである場合、機械学習モデルを利用した第１画像の被写体情報の検出処理の少なくとも一部は、撮影装置１が実施してもよい。この場合、撮影装置１は、第１画像データの代わりに、又は第１画像データと共に、第１画像の被写体情報を情報処理装置３に送信する。情報処理装置３は、撮影装置１から受信した被写体情報に基づいて、以降の処理を実施する。これにより、上記の実施形態と同様の効果が得られる。
【００８０】
＜付記＞
本実施形態は、以下の開示を含む。
【００８１】
（構成１）
情報処理装置が実行する撮影制御方法であって、
撮影範囲が固定された第１の撮影装置により撮影された第１画像の被写体情報が、予め設定された撮影条件を満たすか判定する処理と、
前記被写体情報が前記撮影条件を満たすと判定した場合、前記撮影条件に対応する撮影対象が撮影範囲に含まれるように、撮影範囲が可変である第２の撮影装置の前記撮影範囲を制御する処理と、
を含む撮影方法。
【００８２】
（構成２）
前記被写体に関する情報は、前記第１の撮影装置が設置された空間における前記被写体の位置を示す情報を含む
構成１に記載の撮影方法。
【００８３】
（構成３）
前記被写体に関する情報は、前記被写体の属性を示す情報、前記被写体の状態を示す情報、及び複数の前記被写体間の関係を示す情報の少なくとも１つを含む
構成１又は構成２に記載の撮影方法。
【００８４】
（構成４）
前記被写体の属性は、前記被写体の種類、名称、性別、年齢、及び立場の少なくとも１つを含む
構成３に記載の撮影方法。
【００８５】
（構成５）
前記被写体の状態は、前記被写体の動作、表情、向き、及び大きさの少なくとも１つを含む
構成３に記載の撮影方法。
【００８６】
（構成６）
前記複数の被写体間の関係は、前記複数の被写体間の累積同席時間、同席回数、平均同席時間、会話時間、アイコンタクト数、友好度、累積接触時間、接触回数、平均接触時間、及び好意度の少なくとも１つを含む
構成３に記載の撮影方法。
【００８７】
（構成７）
前記情報処理装置は、前記第２の撮影装置のパン、チルト、及びズームの少なくとも１つを制御する
構成１から構成６までのいずれか１項に記載の撮影方法。
【００８８】
（構成８）
前記撮影条件は、前記第１画像の撮影時刻を含む
構成１から構成７までのいずれか１項に記載の撮影方法。
【００８９】
（構成９）
撮影範囲が固定された第１の撮影装置により撮影された第１画像の被写体情報が、予め設定された撮影条件を満たすか判定する判定部と、
前記被写体情報が前記撮影条件を満たすと判定した場合、前記撮影条件に対応する撮影対象が撮影範囲に含まれるように、撮影範囲が可変である第２の撮影装置の前記撮影範囲を制御する撮影制御部と、
を備える情報処理装置。
【００９０】
（構成１０）
コンピュータに、
撮影範囲が固定された第１の撮影装置により撮影された第１画像の被写体情報が、予め設定された撮影条件を満たすか判定する処理と、
前記被写体情報が前記撮影条件を満たすと判定した場合、前記撮影条件に対応する撮影対象が撮影範囲に含まれるように、撮影範囲が可変である第２の撮影装置の前記撮影範囲を制御する処理と、
を実行させるためのプログラム。
【００９１】
（構成１１）
撮影範囲が固定された第１の撮影装置と、
撮影範囲が可変である第２の撮影装置と、
前記第２の撮影装置による撮影を制御する情報処理装置と、
を備えた撮影システムであって、
前記第１の撮影装置により第１画像を撮影する処理と、
前記第１画像の被写体情報が、予め設定された撮影条件を満たすか判定する処理と、
前記被写体情報が前記撮影条件を満たすと判定した場合、前記撮影条件に対応する撮影対象が撮影範囲に含まれるように、前記第２の撮影装置の撮影範囲を制御する処理と、
前記第２の撮影装置により前記撮影対象を撮影する処理と、
を実行する撮影システム。
【００９２】
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００９３】
１，２：撮影装置
３：情報処理装置
４：閲覧者端末
３１：画像取得部
３２：被写体情報取得部
３３：判定部
３４：撮影制御部
３５：関係推定部
３６：記憶部
３０１：プロセッサ
３０２：メモリ
３０３：ストレージ
３０４：通信Ｉ／Ｆ
３０５：入出力Ｉ／Ｆ
３０６：ドライブ装置
３０７：入力装置
３０８：出力装置
３０９：ディスクメディア
【要約】
【課題】  所望の撮影対象を撮影し損ねることを抑制する。
【解決手段】
一実施形態にかかる撮影制御方法は、情報処理装置が実行する撮影制御方法であって、撮影範囲が固定された第１の撮影装置により撮影された第１画像の被写体情報が、予め設定された撮影条件を満たすか判定する処理と、前記被写体情報が前記撮影条件を満たすと判定した場合、前記撮影条件に対応する撮影対象が撮影範囲に含まれるように、撮影範囲が可変である第２の撮影装置の前記撮影範囲を制御する処理と、を含む。
【選択図】図１４【図１】
0006829348.tif 000002
【図２】
0006829348.tif 000003
【図３】
0006829348.tif 000004
【図４】
0006829348.tif 000005
【図５】
0006829348.tif 000006
【図６】
0006829348.tif 000007
【図７】
0006829348.tif 000008
【図８】
0006829348.tif 000009
【図９】
0006829348.tif 000010
【図１０】
0006829348.tif 000011
【図１１】
0006829348.tif 000012
【図１２】
0006829348.tif 000013
【図１３】
0006829348.tif 000014
【図１４】
0006829348.tif 000015
【図１５】
0006829348.tif 000016
【図１６】
0006829348.tif 000017