(57)【要約】【課題】  撮影者が撮影に注力することなく、撮影場所に適した構図を自動的に判定して撮影を行うこと。【解決手段】  撮像手段と、複数の構図を記憶する記憶手段と、撮影場所の３次元空間情報を撮影前に予め取得する空間情報取得手段と、前記撮像装置の位置姿勢情報を逐次取得する位置姿勢情報取得手段と、前記複数の構図から撮影に適した構図を選択する選択手段と、前記撮像手段を制御する撮像制御手段を有し、前記撮像制御手段は、前記撮像手段が捉える被写界の構図が、前記選択手段によって選択された構図と略一致したと判定すると、撮影を行うこと。【選択図】  図１
2019134204.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段が捉える被写界の構図が、所定の構図と一致した場合に撮影を行う撮像装置であって、
複数の構図を記憶する記憶手段と、
撮影場所の３次元空間情報を撮影前に予め取得する空間情報取得手段と、
前記撮像装置の位置姿勢情報を逐次取得する位置姿勢情報取得手段と、
前記空間情報と位置姿勢情報に基づいて、前記記憶手段に記憶された複数の構図から、前記撮像装置による撮影に適した構図を選択する選択手段と、
前記撮像手段が捉える被写界の構図が、前記選択手段によって選択された構図と一致したと判定すると、撮影を行うように撮像手段を制御する撮像制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に示す撮像装置において、
前記位置姿勢情報は、前記撮影場所における撮像装置の位置、向き、焦点距離を含むことを特徴とする撮像装置。
【請求項３】
請求項１に示す撮像装置において、
前記選択手段は、撮影場所の３次元空間情報および被写体情報に基づいて、構図を選択することを特徴とする撮像装置。
【請求項４】
請求項１に示す撮像装置において、
さらに圧力センサを備え、
前記選択手段は、撮像装置に加わる圧力に基づいて構図を選択することを特徴とする撮像装置。
【請求項５】
請求項１に示す撮像装置において、
前記撮像制御手段は、前記撮像手段が捉える被写界の構図が、前記選択手段によって選択された構図と一致したと判定すると、撮像画像にタグ付けを行うように撮像手段を制御する
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、場の３次元情報を用いて、決定的瞬間を検知する方法に関する。
【背景技術】
【０００２】
従来より、撮影者がカメラ撮影を意識することなく、決定的瞬間に於いて自動撮影を行いたいというニーズが存在する。例えば、サッカーで自分の子供の決定的瞬間を写真に収める場合、従来はファインダーを通して子供を追わなければならず、肉眼で観戦することは困難であった。そのため、肉眼で観戦を行いながら、カメラが自動で決定的瞬間を予測し自動撮影を行う技術が望まれている。
【０００３】
自動撮影においては、カメラと被写体、背景の位置関係によって決まる構図が重要である。例えば、特許文献１では、移動するロボットカメラに所望の構図を事前に記憶させ、カメラが移動した場合でも所望の構図を得られるようにする技術が提案されている。
【０００４】
一方で、近年、３Ｄレーザースキャナを用いて、構造物の正確な３次元情報を取得できる技術が提案されている。前記３次元情報とは、空間上のある点を原点とした時の、３次元位置情報及びＲＧＢデータ等の色情報の点群データや３Ｄモデルデータである。以下、本明細書では、前記３次元情報を場の情報と呼ぶ。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許４８３４６４５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１で提案された自動撮影技術は、被写体の３次元位置情報を記憶しておき、移動するカメラとの相対的な位置関係から、所望の構図となるようなカメラパラメータを算出するものである。この方法では、被写体の位置が固定されている場合には所望の構図で撮影されるが、サッカーのようなスポーツで被写体が激しく動く場合では、被写体が画面から外れてしまい撮影できない。
【０００７】
上記の背景及び課題を鑑み、本発明では、場の情報を用いて決定的瞬間を検知し、自動撮影を行う技術を提案することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために本発明は、撮像手段と、複数の構図を記憶する記憶手段と、撮影場所の３次元空間情報を撮影前に予め取得する空間情報取得手段と、前記撮像装置の位置姿勢情報を逐次取得する位置姿勢情報取得手段と、前記複数の構図から撮影に適した構図を選択する選択手段と、前記撮像手段を制御する撮像制御手段を有し、前記撮像制御手段は、前記撮像手段が捉える被写界の構図が、前記選択手段によって選択された構図と略一致したと判定すると、撮影を行うことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、場の情報を応用して決定的瞬間を検知することで、撮影者が撮影に注力することなく、所望の構図を判定して自動撮影を行う事ができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１の画像処理装置の構成を示すブロック図
【図２】実施例１の処理フローを説明する図
【図３】カメラ位置姿勢の算出方法の一例を説明する図
【図４】決定的瞬間を表わす画像の一例を説明する図
【図５】場の情報を利用した被写体抽出方法を説明する図
【図６】表１〜３に対応する構図の一例
【発明を実施するための形態】
【００１１】
［実施例１］
本発明の第１の実施例では、カメラを仕込んだサッカーボール（以下、ボールカメラと呼ぶ）で、決定的瞬間を自動撮影するというユースケースを想定する。なお、本実施例の用途はボールカメラに限定されるものではなく、通常の手持ちカメラやウェアラブルカメラ、ロボットカメラなど、構図が変化し得る全てのカメラに適用することが可能である。
【００１２】
以下、図面を用いて、本実施例に好適な撮像装置について、詳細な説明を行う。
【００１３】
図１は、実施例１に好適な撮像装置の構成を示すブロック図である。撮像部１０１は、レンズ及び撮像素子により構成され、被写体像を電気信号として出力する。カメラ信号処理部１０２は、撮像部１０１より出力される電気信号から映像信号を形成する。カメラ信号処理回路１０２は、不図示のＡ／Ｄ変換回路、オートゲイン制御回路（ＡＧＣ）、オートホワイトバランス回路を含み、デジタル信号を形成する。３次元空間情報保持部１０３は、場の情報を保持している。
【００１４】
位置姿勢算出部１０４は、前記カメラ信号処理部１０２の出力と前記３次元空間情報部１０３より得られる３次元空間情報に基づいてカメラの位置姿勢を算出する。構図情報保持部１０５は、決定的瞬間を表す構図情報を保持している。この構図情報は、前記位置姿勢算出部１０４の出力に対応付けられた形式で保持されている。構図情報選択部１０６は、前記位置姿勢算出部１０４の出力に基づいて、前記構図情報保持部１０５から構図情報を選択する。構図情報検出部１０７は、前記カメラ信号処理部１０２から出力される画像データから、構図情報を検出する。
【００１５】
決定的瞬間判定部１０８は、前記構図情報選択部１０６で選択される構図情報と、前記構図情報検出部１０７より得られる構図情報に基づいて、決定的瞬間か否かを判定する。画像記録部１０９は、決定的瞬間判定部１０８が決定的瞬間と判定した場合に、前記カメラ信号処理部１０２から出力される画像データを記録する。
【００１６】
図２に、本発明の第１の実施例である画像処理装置の動作フローを示す。まず、ステップＳ２０１において、前記カメラ信号処理部１０２から撮像画像を取得する。
【００１７】
次に、ステップＳ２０２において、前記３次元空間情報保持部１０３より場の情報を取得する。前述のように、場の情報とは、空間上にある原点を定めたときに、位置情報（ｘ，ｙ，ｚ）と色情報（Ｒ，Ｇ，Ｂ）が一意に定まる点データの集合体（以下、点群と呼ぶ）である。
【００１８】
本実施例では、サッカーを行うグラウンドや観客席など周辺の構造物を表す点群である。場の情報は、例えばレーザースキャナを用いて事前に取得することが可能である。
【００１９】
次に、ステップＳ２０３において、前記位置姿勢算出部１０４はステップＳ２０１で取得した撮像画像とステップＳ２０２で取得した場の情報を用いて、カメラの位置姿勢を算出する。図３を用いて、カメラの位置姿勢の算出方法の一例を説明する。まず、撮像画像中から特徴点の抽出および特徴量の記述を行う。撮像画像から特徴点を抽出する手法としては、公知のコーナー検出技術を用いることができる。
【００２０】
図３（ａ）において、３０１は撮像画像、３０２は撮像画像から抽出される特徴点、３０３はカメラ座標系を示している。抽出された特徴点の座標はカメラ座標系で表現される。ここでは、３０２をｐ＝（ｕ，ｖ）と表す。
【００２１】
一方、図３（ｂ）において、３０４は場の情報に含まれる特徴点、３０５は世界座標系、３０６は３０４を画像上に投影した点を示している。３０４は世界座標系で表現され、３０６はカメラ座標で表現される。ここでは、３０４をＳ＝（ｘ，ｙ，ｚ）、３０６をｐ’＝（ｕ’，ｖ’）と表す。
【００２２】
カメラの位置姿勢を算出することは、カメラ座標系と世界座標系の対応関係を求めることに他ならない。この対応関係はカメラ外部パラメータ行列Ｍを用いて表現される。以下では、この行列Ｍをカメラの位置姿勢変化と呼ぶ。カメラの位置姿勢変化Ｍは、回転行列Ｒと平行移動ベクトルｔを用いて式１で表される。
【００２３】
【数１】
2019134204.tif 000003
【００２４】
ここでは、３０２と３０６の特徴量を最近傍探索により対応付け、３０２の座標ｐと３０６の座標ｐ’の誤差が最小となるようなＭを算出すれば良い。誤差の指標としては、例えば距離の二乗和を用いることができる。ｐ’はＳを用いて以下の式２、式３によって求められる。
【００２５】
【数２】
2019134204.tif 000004
【００２６】
【数３】
2019134204.tif 000005
【００２７】
ここで、（ｘ’，ｙ’，ｚ’）はＳをカメラ座標系で表現した座標、ｆはカメラの焦点距離である。
【００２８】
以上の通り、カメラ位置姿勢は、場の情報と撮影画像により、場の原点からのカメラ位置姿勢変化として算出することができる。なお、カメラの初期の位置姿勢Ｍ０が算出できれば、1 フレーム前でのカメラ位置姿勢Ｍｎ−１（初期値はＭ０）を利用することで、現在のカメラの位置姿勢 Ｍｎを効率的に算出することが可能である。例えば、Ｍｎ−１とＭｎ 間の変化量が小さいと仮定することで、３０２と３０６の特徴点の対応付け範囲を絞り込むことができる。
【００２９】
また、カメラ位置姿勢をより高速、高精度に算出する場合、ＧＰＳやジャイロセンサの情報を、Ｍを算出する初期値として用いることができる。また、撮像画像中に特徴点が含まれない場合が考えられる。例えば、地面だけが映っているような場合である。このような場合には、あらかじめフィールド内に人工的なマーカーを配置しておく方法が考えられる。不可視のマーカーを用いれば、景観を損なうことなく配置することも可能である。
【００３０】
次にステップＳ２０４では、ステップＳ２０３で算出したカメラ位置姿勢について、１フレーム前の算出結果と差分があるか否かを判定する。カメラが静止した状態であれば、位置姿勢の変化は生じないため、差分がないことになる。カメラの位置姿勢が変化した場合、ステップＳ２０５へ移行する。カメラの位置姿勢が変化しない場合、ステップＳ２０６へ移行する。
【００３１】
次にステップＳ２０５において、構図情報選択部１０６は、ステップＳ２０３で算出されたカメラの位置姿勢に基づいて、前記構図情報保持部１０５から構図情報を選択する。構図情報は、カメラの位置姿勢と対応付けて保持されており、カメラ位置姿勢毎にどういう画像を、決定的瞬間を表わす画像として判断するかを指示するものである。
【００３２】
図４を用いて、決定的瞬間を表わす画像の一例を説明する。図４（ａ）において、４０１はサッカーグラウンド、４０２、４０３、４０４はそれぞれ異なる時刻でのボールカメラの位置と向きを示している。４０２においては、選手がゴールに向かってボールを蹴るシーンが想定されるため、例えば図４（ｂ）に示すように、選手がボールに向かって蹴る瞬間を決定的瞬間とすることが考えられる。
【００３３】
一方、４０３においてはゴールキーパー（以下、ＧＫと表記）がシュートを止めるシーンが想定されるため、例えば図４（ｃ）に示すように、ＧＫがボールに向かって飛びつく瞬間を決定的瞬間とすることが考えられる。
【００３４】
なお、本実施例のようなボールカメラの特徴として、カメラと選手との距離が近いこと、常に選手の目線がカメラに向けられること、ボールの動きによって多様なアングルでの撮影が生まれることが挙げられる。これらの特徴によって、サッカーグラウンドの外部から撮影した場合に比べ、迫力ある映像が得られることはもちろん、選手に隠れて決定的瞬間を見逃すこともなくなる。
【００３５】
続いて、表1〜表３を用いて、決定的瞬間を表わす画像を指定するための構図情報の例を説明する。表１では、入力として図４（ａ）におけるカメラ位置姿勢４０２および焦点距離を与える場合を想定する。また、構図情報として被写体の種類、被写体の位置、被写体の大きさを用いる。これらの情報は、構図情報検出部１０７によって得られる情報であり、取得方法は後述する。カメラ位置姿勢４０２では、１つの決定的瞬間として選手がボールを蹴るシーンを想定している。そのため、被写体の種類に関して、例えば「人物」が選択される。こうすることで、被写体として人物が写っていない場面では、決定的瞬間とは判定しないことになる。
【００３６】
次に被写体位置であるが、これは被写体が写るべき画像内の領域を意味する。例えば画面の中央が選択される。こうすることで、被写体が画面の端に写っている場面では、決定的瞬間とは判定しないことになる。さらに被写体の大きさであるが、これは被写体が画面に占める割合を意味する。例えば、画面の７０％以上が選択される。こうすることで、被写体の大きさが小さく画面の７０％に満たない場面では、決定的瞬間とは判定しないことになる。
【００３７】
以上のように、表１では決定的瞬間を表わす画像を、被写体の種類、被写体の位置、被写体の大きさによって指定した。
【００３８】
表１に対応する構図の一例を図６（ａ）に示す。表１に対して、決定的瞬間をより正確に指定する、あるいはユーザの意図をより正確に反映するために、表２では構図情報として被写体の動作、被写体の姿勢を追加している。これらの情報は、構図情報検出部１０７によって得られる情報であり、取得方法は後述する。
【００３９】
被写体の動作は、連続する複数のフレーム間での被写体の動きを意味する。例えば、選手がボールを蹴るシーンを撮影する場合は、「蹴る」という動きを指定する。こうすることで、「蹴る」という動作が存在しない場面では、決定的瞬間とは判定しないことになる。
【００４０】
また、被写体の姿勢は、ある１つのフレームでの被写体の体勢を意味する。例えば、ボールを蹴る瞬間は片足で地面に立つ姿勢になる。そこで「片足立ち」という姿勢を指定する。こうすることで、選手の両足が地面についている状態では、決定的瞬間とは判定しないことになる。
【００４１】
以上のように、表２では決定的瞬間を表わす画像を、被写体の種類、被写体の位置、被写体の大きさに加えて、被写体の動作、被写体の姿勢によって指定した。
【００４２】
表２に対応する構図の一例を図６（ｂ）に示す。図６（ａ）に対して、被写体の動作および姿勢が指定されていることが特徴である。表２に対して、決定的瞬間をさらに正確に指定する、あるいはユーザの意図をさらに正確に反映するために、表３では構図情報として被写体の表情、被写体距離、圧力情報を追加している。これらの情報は、構図情報検出部１０７によって得られる情報であり、取得方法は後述する。
【００４３】
被写体の表情に関して、例えば、選手が笑顔でボールを蹴るシーンを撮影する場合は「笑顔」という表情を指定する。こうすることで、選手の笑顔が存在しない場面では、決定的瞬間とは判定しないことになる。また、被写体距離に関して、ボールカメラは選手との距離が常に近づいたり遠ざかったりする特徴がある。選手がボールを蹴るシーンでは、蹴った瞬間は距離がゼロになり、その後選手から距離が離れていく。
【００４４】
ボールカメラから選手の蹴る瞬間を撮影するには、焦点距離に応じた適切な距離範囲があるため、その距離範囲を指定してやれば良い。そうすることで、選手との距離が近すぎたり遠すぎたりする場面では、決定的瞬間とは判定しないことになる。さらに、圧力情報に関して、ボールカメラでは選手がボールを蹴る瞬間に大きな圧力が加わる。選手がボールを蹴るシーンでは、蹴った瞬間で圧力が最大になり、その後圧力が下がっていく。
【００４５】
先程の被写体距離の場合と同様に、ボールカメラから選手の蹴る瞬間を撮影するには、焦点距離に応じた適切な圧力範囲があるため、その圧力範囲を指定してやれば良い。そうすることで、ボールカメラに加わる圧力が大きすぎたり小さすぎたり場面では、決定的瞬間とは判定しないことになる。
【００４６】
以上のように、表３では決定的瞬間を表わす画像を、被写体の種類、被写体の位置、被写体の大きさ、被写体の動作、被写体の姿勢に加えて、被写体の表情、被写体距離、圧力情報によって指定した。
【００４７】
表３に対応する構図の一例を図６（ｃ）に示す。図６（ｂ）に対して、被写体の表情が指定されていることが特徴である。また図６（ｃ）では図示されていないが、被写体距離、圧力情報も加味される。
【００４８】
ここで、一つのカメラ位置姿勢に対応付けられる構図情報は複数存在しても良い。例えば、カメラ位置姿勢４０２では、１つの決定的瞬間として足でボールを蹴る他に、ボールをヘディングするようなシーンが考えられる。その場合は、被写体の動作や姿勢の候補を別に用意しておく。例えば、動作としては頭でボールを打つので、「頭突き」が選択される。また姿勢としては、空中に飛びながらヘディングすることが考えられるので「両足浮遊」が選択される。また、足でボールを蹴る場合と比較して、ボールカメラへの圧力が小さくなると考えられるので、圧力は低めが選択される。
【００４９】
さらに、カメラ位置姿勢４０２において、焦点距離がテレであれば、ＧＫの様子を捉えるかも知れない。例えば、１つの決定的瞬間としてＧＫが選手に向かって指示を飛ばしているシーンが想定される。そこで、被写体の種類として「ＧＫ」、姿勢として「指さし」が選択される。また、サッカーグラウンドという場の中では、決定的瞬間を表わす構図情報が無数に散りばめられている。例えば、図４（ａ）のカメラ位置姿勢４０３では、決定的瞬間としてＧＫがゴールに入りそうなボールに飛びついてセーブするシーンなどが想定される。
【００５０】
そこで、入力のカメラ位置姿勢４０３に対する構図情報としては、表５に示すように、被写体の種類が「ＧＫ」、動作が「跳ぶ」、姿勢が「腕伸ばし」のように選択され、これが決定的瞬間と判断されることになる。また、図４（ａ）のカメラ位置姿勢４０４では、決定的瞬間として選手がスローインするシーンなどが想定される。そこで、入力のカメラ位置姿勢４０４に対する構図情報としては、被写体の種類が「選手」、動作が「投げる」のように選択され、これが決定的瞬間と判断されることになる。
【００５１】
このように、場の中に無数に散りばめられた構図情報を、場の情報とカメラ位置姿勢に基づいて絞り込むことで、決定的瞬間の判定を瞬時に行うことが可能になる。なお、構図情報は機械学習によって、カメラ位置姿勢と対応付けて保持しても良い。また、ステップＳ２０３で算出されたカメラ位置姿勢に対して、対応付けられた構図情報が存在しない場合は、構図情報を選択しないでＳ２０３に移行するか、あるいは最も近しいカメラ位置姿勢と対応付けられた構図情報を参照するようにしてＳ２０６に移行すれば良い。
【００５２】
次にステップＳ２０６において、構図情報検出部１０７は、ステップＳ２０１で取得した撮像画像から、構図情報を検出する。構図情報とは、先述のとおり、被写体の種類、被写体の位置、被写体の大きさ、被写体の動作、被写体の姿勢に加えて、被写体の表情、被写体距離、圧力情報である。被写体の種類は、例えば人であれば公知の人物検出技術を用いることができる。また、参加選手の顔などを事前に登録しておくことで、ＧＫを検出するといった個人認証も可能である。被写体の位置は、例えば検出された被写体の外接矩形の重心座標として算出する。被写体の大きさは、例えば被写体の外接矩形の面積と画面全体の面積との比で算出する。
【００５３】
被写体の動作や姿勢は、公知のジェスチャー認証技術を用いることで検出できる。ジェスチャー認証技術の一例を説明する。まずフレーム毎に距離画像を取得する。距離画像は測距センサを用いるか、あるいは、撮像画像から公知のステレオマッチング法で検出できる。
【００５４】
次に取得された距離画像を元に、人型領域を抽出し、ピクセル単位で体の部位に分類する。分類には、ＡｄａＢｏｏｓｔ等のブースティング学習アルゴリズムを用いることができる。そして、体の部位に基づいて、運動力学的な拘束と、時間的な一貫性が保たれるように、３次元空間上での部位の配置（関節位置）を推定する。この関節位置の３次元位置の変位を、認証すべき所望の動きパターンと比較することで、ジェスチャー認証を行うことができる。
【００５５】
被写体の表情は、公知の表情認識技術で検出できる。例えば、笑顔認識では、まず顔検出によって顔領域を検出する。次に顔領域において特徴点検出を行い、両目および口の各端点の座標を特定する。笑顔の特徴としては、目が細まること、目尻が下がること、口の周囲にしわができること、口角が上がることなどがある。これらの特徴を捉えるため、特徴点座標付近において特徴量の算出を行う。そして、この特徴量から表情を識別する。識別には、ＡｄａＢｏｏｓｔ等のブースティング学習アルゴリズムを用いることができる。
【００５６】
被写体距離は、測距センサを用いることで検出できる。あるいは、撮像画像から公知のステレオマッチング法で検出できる。ボールカメラへの圧力は、圧力センサを用いることで検出できる。ここで、場の情報を利用すれば、被写体抽出を高精度かつ高速に行うことができる。例えば、ステップＳ２０２で得られる場の情報と、ステップＳ２０３で得られるカメラ位置姿勢を用いれば、公知の手法により背景画像を生成することが可能である。
【００５７】
図５は、背景画像と撮像画像から主被写体を抽出する模式図である。図５において、背景画像（ａ）と撮像画像（ｂ）との差分をとることで得られる差分画像（ｃ）には、場の情報には存在しない被写体が抽出されることになる。
【００５８】
次にステップＳ２０７において、ステップＳ２０５で絞り込んだ構図情報と、ステップＳ２０６で検出した構図情報を比較する。構図情報が一致（実質一致）する場合、撮像画像は決定的瞬間を捉えていると判断し、ステップＳ２０８に移行する。構図情報が一致しない場合、ステップＳ２０３に移行する。最後にステップＳ２０８において、画像記録部１０９は、ステップＳ２０１で取得される撮像画像を記録する。
【００５９】
以上により、決定的瞬間を判定し、画像を記録することができる。なお、本実施例ではＳ２０７で構図情報が一致する場合のみ、Ｓ２０８で画像を記録するとしたが、常に画像を記録しておき、Ｓ２０７で構図情報が一致するかしないかのタグ付けを行い、後からタグに基づいて画像を編集するようにしても良い。
【００６０】
本実施例で説明したように、サッカーグラウンドという場の中では決定的瞬間は無数に存在するが、カメラの位置姿勢が定まると決定的瞬間を適切に絞り込むことが可能になる。
【００６１】
その結果、絞り込まれた決定的瞬間を待ち構え、撮影画像が条件に合致した場合に画像を記録することで、決定的瞬間を捉えることができる。
【００６２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００６３】
上記ではカメラと撮影場所の組み合わせとして、ボールカメラとサッカーグラウンドの例を説明したが、これに限定されるものではない。ボールカメラは選手が身につけるウェアラブルカメラや、観客が持つカメラに置きかえることができる。ボールカメラの場合は、ボールの動きに連動してカメラの位置姿勢が変化する。
【００６４】
一方、ウェアラブルカメラの場合は、選手の動きに連動してカメラの位置姿勢が変化する。また観客が持つカメラは、観客の撮影位置および方向に連動してカメラの位置姿勢が変化する。
【００６５】
いずれも、場の情報とカメラの位置姿勢変化から、決定的瞬間を表わす構図情報を絞り込むことができる。例えば、ウェアラブルカメラでは、選手がゴール付近にいる場合、ディフェンダーがボールを奪いに来るようなシーンが決定的瞬間として想定される。また、観客が持つカメラでは、カメラをゴール方向に向けて撮影する場合、ＧＫがゴールに入りそうなボールを止めるようなシーンが決定的瞬間として想定される。
【００６６】
これらの決定的瞬間を、前述のように構図情報として規定することで、本発明の効果を得ることができる。また、サッカーグラウンドという撮影場所は、自宅や公園など他の場所に置きかえることができる。
【００６７】
例えば、自宅や公園では、子供やペットなど行動の予期しづらい被写体の決定的瞬間を捉える目的で、本発明を利用することができる。
【００６８】
一例として、自宅のソファの上で猫があくびを行うシーンを決定的瞬間として想定し、これを前述のように構図情報として規定する。
【００６９】
同様に、公園の滑り台から子供が滑り降りる瞬間を決定的瞬間として想定し、これを前述のように構図情報として規定する。撮影するカメラとして、先述のボールカメラを用いれば、本発明の効果を得ることができる。なお先述のとおり、ボールカメラは、人が手に持つカメラや移動式のロボットカメラに置き変えても良い。
【００７０】
以上の通り、本発明では、カメラと撮影場所の組み合わせは限定されるものではなく、構図が変化し得る全てのカメラにおいて、場の情報とカメラ位置姿勢を利用することで、決定的瞬間を自動的に捉えることができる。
【００７１】
【表１】
2019134204.tif 000006
【００７２】
【表２】
2019134204.tif 000007
【００７３】
【表３】
2019134204.tif 000008
【００７４】
【表４】
2019134204.tif 000009
【００７５】
【表５】
2019134204.tif 000010
【符号の説明】
【００７６】
１０１  撮像部
１０２  カメラ信号処理部
１０３  ３次元空間情報保持部
１０４  位置姿勢算出部
１０５  構図情報保持部
１０６  構図情報選択部
１０７  構図情報検出部
１０８  決定的瞬間判定部
１０９  画像記録部
【図１】
2019134204.tif 000011
【図２】
2019134204.tif 000012
【図３】
2019134204.tif 000013
【図４】
2019134204.tif 000014
【図５】
2019134204.tif 000015
【図６】
2019134204.tif 000016