(57)【要約】【課題】被写体捕捉を支援可能な撮影装置を提供する。【解決手段】まず、モータなどで符号２−１の位置で回転体を回転させる。次に、例えば予め筐体に設けた部材が符号２−２に示すような力を回転体に与えて、回転体を符号２−３に示すように傾ける。傾いた回転体には、回転により符号２−１の位置に戻ろうとする慣性力が働く。そして、例えば筐体に設けた前記部材が慣性力を符号２−４に示すように筐体に伝える。【選択図】図２
2008154105.tif 000002
【特許請求の範囲】
【請求項１】
筐体と、
前記筐体の外に向けた撮影手段と、
前記筐体内のジャイロと、
前記撮影手段の画像に基づいて被写体の位置を予測する予測手段と、
前記ジャイロの回転体を回転させ、当該回転体を前記予測の結果に応じて傾けるジャイロ操作手段と、
当該回転体に生じた慣性力を前記筐体に伝える慣性力伝達手段と
を備えることを特徴とする撮影装置。
【請求項２】
前記予測手段は、予測では、オプティカルフロー法で得た結果を基にＣＯＮＤＥＮＳＡＴＩＯＮ法で予測を行うことを特徴とする請求項１記載の撮影装置。
【請求項３】
携帯通信端末内に設けられていることを特徴とする請求項１または２記載の撮影装置。
【請求項４】
筐体と、前記筐体の外に向けた撮影手段と、前記筐体内のジャイロとを備える撮影装置が行う被写体捕捉支援方法であって、
前記撮影装置の予測手段が、前記撮影手段の画像に基づいて被写体の位置を予測し、
前記撮影装置のジャイロ操作手段が、前記ジャイロの回転体を回転させ、当該回転体を前記予測の結果に応じて傾け、
前記撮影装置の慣性力伝達手段が、当該回転体に生じた慣性力を前記筐体に伝える
ことを特徴とする被写体捕捉支援方法。
【請求項５】
前記予測手段は、予測では、オプティカルフロー法で得た結果を基にＣＯＮＤＥＮＳＡＴＩＯＮ法で予測を行うことを特徴とする請求項４記載の被写体捕捉支援方法。
【請求項６】
請求項４または５記載の被写体捕捉支援方法を撮影装置に実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体捕捉を支援可能な撮影装置に関するものである。
【背景技術】
【０００２】
近年では、デジタルカメラといわれる撮影装置の高機能化が速く、普及機でもプロ機並の性能と画質が得られる。こうした撮影装置では、静止画撮影はもとより、動画撮影が可能である。
【非特許文献１】J.L. Barron、他２名、「Performance of Optical Flow Techniques」、IJCV、1994、vol.12、no.1、p.43-77
【非特許文献２】小林  貴訓、他６名、「カスケード型識別器を用いたパーティクルフィルタによる人物三次元追跡」、画像の認識・理解シンポジウム（MIUR2006)、pp.222-228、2006年7月
【非特許文献３】後藤  憲一、他２名、「詳細  力学演習」、共立出版
【発明の開示】
【発明が解決しようとする課題】
【０００３】
動く被写体の動画撮影では、撮影者が撮影装置の位置や姿勢を変えながら被写体を捕捉していくのだが、こうした被写体捕捉は経験を要する。そのため、被写体捕捉を支援可能な撮影装置が求められている。
【０００４】
本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、被写体捕捉を支援可能な撮影装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、請求項１の本発明は、筐体と、前記筐体の外に向けた撮影手段と、前記筐体内のジャイロと、前記撮影手段の画像に基づいて被写体の位置を予測する予測手段と、前記ジャイロの回転体を回転させ、当該回転体を前記予測の結果に応じて傾けるジャイロ操作手段と、当該回転体に生じた慣性力を前記筐体に伝える慣性力伝達手段とを備えることを特徴とする撮影装置をもって解決手段とする。
【０００６】
請求項２の本発明は、前記予測手段は、予測では、オプティカルフロー法で得た結果を基にＣＯＮＤＥＮＳＡＴＩＯＮ法で予測を行うことを特徴とする請求項１記載の撮影装置をもって解決手段とする。
【０００７】
請求項３の本発明は、携帯通信端末内に設けられていることを特徴とする請求項１または２記載の撮影装置をもって解決手段とする。
【０００８】
請求項４の本発明は、筐体と、前記筐体の外に向けた撮影手段と、前記筐体内のジャイロとを備える撮影装置が行う被写体捕捉支援方法であって、前記撮影装置の予測手段が、前記撮影手段の画像に基づいて被写体の位置を予測し、前記撮影装置のジャイロ操作手段が、前記ジャイロの回転体を回転させ、当該回転体を前記予測の結果に応じて傾け、前記撮影装置の慣性力伝達手段が、当該回転体に生じた慣性力を前記筐体に伝えることを特徴とする被写体捕捉支援方法をもって解決手段とする。
【０００９】
請求項５の本発明は、前記予測手段は、予測では、オプティカルフロー法で得た結果を基にＣＯＮＤＥＮＳＡＴＩＯＮ法で予測を行うことを特徴とする請求項４記載の被写体捕捉支援方法をもって解決手段とする。
【００１０】
請求項６の本発明は、請求項４または５記載の被写体捕捉支援方法を撮影装置に実行させるコンピュータプログラムをもって解決手段とする。
【発明の効果】
【００１１】
本発明によれば、ジャイロの回転体を回転させ、回転体を被写体の位置の予測の結果に応じて傾け、回転体に生じた慣性力を筐体に伝えるので、被写体捕捉が容易になる。よって、被写体捕捉できない確率が低減し、撮影装置の性能向上の一躍を担える。
【００１２】
また、モニター画面が小さいことに起因して被写体捕捉できない確率が高い携帯通信端末内に撮影装置を設けることで、被写体捕捉できない確率を低減することができる。
【００１３】
また、ＣＯＮＤＥＮＳＡＴＩＯＮ法で予測を行うことで予測の精度を高めることができ、被写体捕捉が一層確実にできるようになる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態を図面を参照して説明する。
【００１５】
図１は、本実施の形態に係る撮影装置の構成図である。
【００１６】
本装置は、撮影手段１００、被写体指定手段１１０、動きベクトル予測手段１２０、ジャイロ操作手段１３０および慣性力伝達手段１４０により構成される。本装置は、例えば、例えば携帯通信端末に設けられる。また、本装置は、例えば、デジタルカメラやデジタルビデオカメラなどに設けられる。携帯通信端末などはモニター画面が小さいことに起因して被写体捕捉できない確率が高いので、その確率を低減すべく、本装置が設けられる。
【００１７】
撮影手段１００は、レンズと撮像素子などからなり、被写体を撮影すべく、筐体外に向けられている。筐体にはジャイロが設けられる。動きベクトル予測手段１２０は、撮影手段１００で得た画像（デジタルデータ）に基づいて被写体の位置を予測するのに使用される。ジャイロ操作手段１３０は、ジャイロの回転体を回転させ、当該回転体を予測の結果に応じて傾ける。慣性力伝達手段１４０は、回転体に生じた慣性力を筐体に伝える。これにより、撮影手段１００が被写体を捕捉することの支援（被写体捕捉支援）が行われる。なお、被写体捕捉支援は、動画撮影で行われることが多いと思われるが、静止画撮影で行ってもよい。つまり、例えば、動く被写体における所望の瞬間の静止画を得るのに被写体捕捉支援を行ってもよい。
【００１８】
本発明の予測手段は、動きベクトル予測手段１２０により構成される。また、予測では、オプティカルフロー法で得た結果を基にＣＯＮＤＥＮＳＡＴＩＯＮ法で予測を行う。
【００１９】
図２は、被写体捕捉支援の原理を説明するための図である。
【００２０】
回転体は、ジャイロコンパスと同様の仕組みにより、筐体内で、いかなる向きでも回転できるように支持されている。例えば、回転体が描く円の中心を貫く軸が、枠によりその中で回転自在に支持され、その枠が他の枠によりその中で回転自在に支持され、その枠が筐体によりその中で回転自在に支持される。
【００２１】
捕捉支援は、撮影者が筐体を手で持って撮影しているときになされる。まず、モータなどにより符号２−１の位置で回転体を回転させる。次に、例えば予め筐体に設けた部材が符号２−２に示すような力を回転体に与えて、回転体を符号２−３に示すように傾ける。傾いた回転体には、回転により符号２−１の位置に戻ろうとする慣性力が働く。そして、例えば筐体に設けた前記部材が慣性力を符号２−４に示すように筐体に伝える。
【００２２】
こうした回転体や部材は、例えば、位置を異ならせて複数設けられ、回転体の回転時の向き、回転数や、どの部材により回転体を傾けて、どの部材により慣性力を筐体に伝えるかといったパラメータが定められ、それにより１つの回転体または複数の回転体の慣性力が同時に筐体に伝わる。そして、慣性力は撮影者に伝わる。撮影者が慣性力に任せて手を動かすことで筐体が位置や姿勢を変える。こうした捕捉支援により、筐体外に向けられた撮影手段１００が被写体を捕捉することとなる。
【００２３】
例えば、撮影装置が被写体に向かう方向と垂直な２次元平面内で重心位置を変えることで被写体が捕捉される。また、場合によっては、撮影装置が重心位置を変えずに回転することで撮影手段１００の向きが変わり被写体が捕捉される。
【００２４】
なお、このような慣性力は、船や飛行機に搭載されるジャイロスタビライザーが横揺を防止するときにも用いられるものである。また、自転車は車輪（回転体）の回転速度が高いほど、自転車を立てようとする力が大きく働くが、この力も慣性力である。独楽では、この慣性力によって歳差運動がなくなり、安定して回るようになる。
【００２５】
図３は、被写体（飛翔体）が映されたモニター画面の様子を示す図である。
【００２６】
撮影者が筐体を手で持って撮影手段を被写体に向けると、例えば、あるタイミングでは、図３（ａ）のように、被写体はモニター画面の中央に位置し、その後のあるタイミングでは、図３（ｂ）のように、モニター画面の左下に位置し、その後のあるタイミングでは、図３（ｃ）のように、モニター画面の右上に位置する。
【００２７】
例えば、ユーザがモニター画面において被写体が映っている位置（符号３−１の位置）を指定する操作を行うと、被写体指定手段１１０はその位置の画像を記憶する。こうして、被写体指定がなされる。なお、動いている被写体を自動的に認識したり、予め記憶した画像とマッチする被写体を自動的に認識することで、被写体指定を不要にしてもよい。
【００２８】
さて、本装置では、被写体の位置を予測し、その結果に応じて、回転体を傾けるときのパラメータが設定される。
【００２９】
次に、かかる予測について説明する。
【００３０】
まず、撮影者が撮影手段１００を被写体に向けて撮影し、これにより被写体の画像が複数蓄積される。動きベクトル予測手段１２０は、被写体指定手段１１０で記憶した画像（被写体）につき、蓄積した画像において、前後する画像を用いて、画素ごとにオプティカルフロー法で動きベクトルを計算し、それらの平均である平均動きベクトルを計算する。
【００３１】
この平均動きベクトルにより、被写体の位置が求められる。そして、その位置に応じたパラメータが定められ、そのパラメータにより回転体が傾けられ、かくして、被写体が捕捉される。また、これを連続して行うことで、撮影手段が被写体に追従するようになる。
【００３２】
ところで、オプティカルフロー法のノイズにより、その方法で計算された平均動きベクトルが、被写体の動きに即していない場合がある。また、本装置の捕捉支援は、ジャイロ（機械）を操作して行うので、それに伴う時間遅れが生じ、捕捉できないおそれがある。
【００３３】
そこで、本装置では、オプティカルフロー法で得た結果を基にＣＯＮＤＥＮＳＡＴＩＯＮ法で予測を行う。
【００３４】
つまり、図４の符号４−１に示すような、被写体の動きに即していない平均動きベクトルが得られたときであっても、符号４−２に示すような、被写体の動きに即した平均動きベクトルが得られるのである。
【００３５】
ＣＯＮＤＥＮＳＡＴＩＯＮ法は、確率モデルに基づいた非定常予測法であり、パーティクル法とも称される。
【００３６】
ＣＯＮＤＥＮＳＡＴＩＯＮ法によると、図５（ａ）に示すように、ある期間Ｔで真値が欠落していても、図５（ｂ）に示すように、その期間Ｔで予測を得ることができる。
【００３７】
ここで、ＣＯＮＤＥＮＳＡＴＩＯＮ法を概説する。
【００３８】
１．計算手順の概要
．被写体の動きを便宜的に３角関数で表現する。  
．サンプル用の運動モデルの振幅を真値の運動モデルの振幅より３％大きくする。  
．真値は、ある期間Ｔでは、欠落することとする（図５（ａ）を参照）。  
以下、具体的に説明する。
【００３９】
（１）初期値の設定
サンプル集合の初期値ｓｉ（０）と、その重み係数の集合の初期値πｉ（０）を以下のように設定する。  
ｓｉ（０）＝ＰｒｉｏｒＭｅａｎ＋ＰｒｉｏｒＳｉｇｍａ×ｗｉ（０）
πｉ（０）＝１．０
（ともにｉ＝１，２，…，Ｎ）  ここで、ｗｉ（０）は、ガウス雑音の集合の初期値である。  
πｉ（０）は、重み係数の集合の初期値である。
【００４０】
次に、（２）〜（７）の手順をＮＩ回繰り返す。なお、ｔは時刻を表し、ｔ＝１から始める。
【００４１】
（２）真値ｘ（ｔ）の計算
真値ｘ（ｔ）は、３角関数のモデル式から計算する。ただし、真値が欠落することとした期間Ｔでは計算しなくてよい。
【００４２】
（３）観測値ｚ（ｔ）の計算（ｚ（ｔ）は、本装置では、動きベクトルに相当する）
観測値ｚ（ｔ）を以下のように設定する。  
ｚ（ｔ）＝ｘ（ｔ）＋ＳｉｍＯｂｓＮｏｉｓｅＳｉｇｍａ×ｗ（ｔ）
ここで、ＳｉｍＯｂｓＮｏｉｓｅＳｉｇｍａは、観測ノイズの標準偏差である。  
ただし、期間Ｔでは、ｚ（ｔ）に、他の予測モデルにより得た値（ＰｒｅｄｉｃｔｅｄＶａｌｕｅ）を設定する。
【００４３】
（４）新しいサンプル集合ｓ’ｉ（ｔ−１）の選択
乱数の値と、重み係数の集合πｉ（ｔ−１）｛ｉ＝１，２，…，Ｎ｝の比を基に、ｓｉ（ｔ−１）｛ｉ＝１，２，…，Ｎ｝から１つを選択する。これをＮ回行い、選択されたもので新しいサンプル集合ｓ’ｉ（ｔ−１）｛ｉ＝１，２，…，Ｎ｝を構成する。
【００４４】
（５）サンプル集合ｓ’’ｉ（ｔ）の生成
サンプル集合ｓ’ｉ（ｔ−１）｛ｉ＝１，２，…，Ｎ｝を運動モデル式にしたがい伝搬させ、時刻ｔにおけるサンプル集合ｓ’’ｉ（ｔ）｛ｉ＝１，２，…，Ｎ｝を生成する。運動モデル式は、手順（２）で設定された真値ｘ（ｔ）の振幅を３％大きくした運動を表現する運動モデル式とした。
【００４５】
（６）サンプル集合ｓｉ（ｔ）の計算
サンプル集合ｓｉ（ｔ）を以下のように計算する。  
ｓｉ（ｔ）＝ｓ’’ｉ（ｔ）＋ＰｒｏｃｅｓｓＳｉｇｍａ×ｗｉ（ｔ）
（ｉ＝１，２，…，Ｎ）
ここでは、ＰｒｏｃｅｓｓＳｉｇｍａ＝０．０５とした。
【００４６】
（７）サンプル集合ｓｉ（ｔ）の重み係数の集合πｉ（ｔ）の計算
サンプル集合ｓｉ（ｔ）の重み係数の集合πｉ（ｔ）を以下のように計算する。  
πｉ（ｔ）＝Ｐ（ｚ（ｔ）｜ｘ（ｔ）＝ｓｉ（ｔ））
（ｉ＝１，２，…，Ｎ）
Ｐは、観測密度（ｏｂｓｅｒｖａｔｉｏｎ  ｄｅｎｓｉｔｙ）という。  
ここでは、観測密度を正規分布とした。  
つまり、サンプル集合ｓｉ（ｔ）の重み係数の集合πｉ（ｔ）｛ｉ＝１，２，…，Ｎ｝を以下のように計算する。  
【数１】
2008154105.tif 000003
【００４７】
ここでは、σｏｂｓ＝ＳｉｍＯｂｓＮｏｉｓｅＳｉｇｍａとした。
【００４８】
さて、参考のため、使用した値を以下に示す。  
ＮＩ＝５００
Ｎ＝１０００
ｘ（０）＝０．０
ＰｒｉｏｒＭｅａｎ＝０．０
ＰｒｉｏｒＳｉｇｍａ＝２．０
ＳｉｍＳｃａｌｉｎｇ＝３．０  （３角関数のモデル式で使用）
ＳｉｍＯｂｓＮｏｉｓｅＳｉｇｍａ＝０．２
ＰｒｏｃｅｓｓＳｃａｌｉｎｇ＝３．０９  （手順（５）の運動モデル式で使用）
ＰｒｏｃｅｓｓＳｉｇｍａ＝０．０５
σｏｂｓ＝０．２
なお、Ｎを大きくすると計算時間が長くなり、小さくすると精度が低下するので、この精度低下を補うため、リサンプリングやimportant sampling, partioned samplingなどの方法を用いてもよい。
【００４９】
２．計算結果
図６は、ｘ（ｔ）、ＰｒｅｄｉｃｔｅｄＶａｌｕｅおよびＥｓｔｉｍａｔｅｄＶａｌｕｅの変化を示す図である。ＰｒｅｄｉｃｔｅｄＶａｌｕｅは、他の予測モデルにより得た値である。ＥｓｔｉｍａｔｅｄＶａｌｕｅは、ＣＯＮＤＥＮＳＡＴＩＯＮ法で得た値である。ｘ（ｔ）以外の２つは、見やすいように重ねて示している。
【００５０】
今回の計算では、新しいサンプルｓ’（ｔ）用の運動と真値ｘ（ｔ）の運動とがわずかに異なるようにした。つまり、ｓ’（ｔ）用の振幅をｘ（ｔ）の振幅より３％大きくした。また、真値ｘ（ｔ）が欠落した期間Ｔでは、観測値ｚ（ｔ）に、他の予測モデルにより得た値（ＰｒｅｄｉｃｔｅｄＶａｌｕｅ）を設定した。
【００５１】
図６に示すように、期間ＴでのＥｓｔｉｍａｔｅｄＶａｌｕｅは、その期間Ｔで欠落していなければ得られるであろう真値（ｔ）に良く追従している。
【００５２】
つまり、他の予測モデルにより得た値が観測値に近い場合は、真値に良く追従する値が得られる。
【００５３】
以上のように、本実施の形態に係る撮影装置よれば、ジャイロの回転体を回転させ、回転体を被写体の位置の予測の結果に応じて傾け、回転体に生じた慣性力を筐体に伝えるので、被写体捕捉が容易になる。よって、被写体捕捉できない確率が低減し、撮影装置の性能向上の一躍を担える。
【００５４】
また、携帯通信端末内に本装置を設けることで、被写体捕捉できない確率を低減することができる。
【００５５】
また、ＣＯＮＤＥＮＳＡＴＩＯＮ法で予測を行うことで予測の精度を高めることができ、被写体捕捉が一層確実にできるようになる。
【００５６】
なお、上記の被写体捕捉支援方法を本装置に実行させるコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録したり、インターネットなどの通信網を介して伝送させて、広く流通させることができる。
【図面の簡単な説明】
【００５７】
【図１】本実施の形態に係る撮影装置の構成図である。
【図２】被写体捕捉支援の原理を説明するための図である。
【図３】被写体（飛翔体）が映されたモニター画面の様子を示す図である。
【図４】平均動きベクトルを修正する様子を示す図である。
【図５】期間Ｔで欠落した真値を予測する様子を示す図である。
【図６】ｘ（ｔ）、ＰｒｅｄｉｃｔｅｄＶａｌｕｅおよびＥｓｔｉｍａｔｅｄＶａｌｕｅの変化を示す図である。
【符号の説明】
【００５８】
１００  撮影手段
１１０  被写体指定手段
１２０  動きベクトル予測手段
１３０  ジャイロ操作手段
１４０  慣性力伝達手段
【図１】
2008154105.tif 000004
【図２】
2008154105.tif 000005
【図３】
2008154105.tif 000006
【図４】
2008154105.tif 000007
【図５】
2008154105.tif 000008
【図６】
2008154105.tif 000009