【手続補正書】
【提出日】平成25年2月6日(2013.2.6)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
以上の課題を解決するべく、本発明に係る撮像装置は、
ローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによって、ボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレーム画像を取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレーム画像を、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターで、フィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となったときの中心位置、長径、短径及び傾斜角を、前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも２つのフレーム画像の前記ボール像の各推定値に基づいて、前記ボールの運動の状態量を算出する状態量算出手段と、
を備える。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】削除
【補正の内容】
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明に係る撮像装置は、
ローリングシャッター方式の撮像手段と、
前記撮像手段により撮像されることによって、ボール像が楕円形に歪んだ状態で含まれるフレーム画像を取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレーム画像を、水平ラインに対して長径が傾斜した楕円形の内領域と、その内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターで、フィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となったときの中心位置、長径、短径及び傾斜角を、前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された中心位置、長径、短径及び傾斜角によって規定される楕円と、それに接する水平な二本の接線との交点の位置を算出する第１の交点算出手段と、
前記推定手段によって推定された中心位置を通る水平線と前記楕円との交点を算出する第２の交点算出手段と、
前記第１の交点算出手段及び前記第２の交点算出手段によって算出された交点の位置と、前記撮像手段のローリングシャッターにおける水平ライン間の遅延時間と、前記ボールの実サイズとに基づき、前記ボールの速度を算出する速度算出手段と、
を備える
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明に係るプログラムは、
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレーム画像を、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターで、フィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となったときの中心位置、長径、短径及び傾斜角を、前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも２つのフレーム画像の前記ボール像の各推定値に基づいて、前記ボールの運動の状態量を算出する状態量算出手段、
として機能させる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明に係るプログラムは、
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により撮像されることによってそのボール像が楕円形に歪んだ状態で含まれるフレーム画像を、水平ラインに対して長径が傾斜した楕円形の内領域と、その内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターで、フィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となったときの中心位置、長径、短径及び傾斜角を、前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された中心位置、長径、短径及び傾斜角によって規定される楕円と、それに接する水平な二本の接線との交点の位置を算出する第１の交点算出手段、
前記推定手段によって推定された中心位置を通る水平線と前記楕円との交点を算出する第２の交点算出手段、
前記第１の交点算出手段及び前記第２の交点算出手段によって算出された交点の位置と、前記撮像手段のローリングシャッターにおける水平ライン間の遅延時間と、前記ボールの実サイズとに基づき、前記ボールの速度を算出する速度算出手段、
として機能させる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
ユニット回路４は、電子撮像部３から出力される被写体の光学像に応じたアナログの画像信号が入力され、入力された画像信号を保持するＣＤＳと、その画像信号を増幅するゲイン調整アンプ(ＡＧＣ)、そのゲイン調整アンプによって増幅された画像信号をデジタルデータの画像に変換するＡ／Ｄ変換器(ＡＤＣ)等から構成されている。ユニット回路４は、デジタルの画像を画像生成部６に出力する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
画像生成部６によって画像処理された画像がリーダー・ライター１０によって記憶部１１に記録されるのは、シャッターボタン８ａが押下された際である。シャッターボタン８ａが押下される前は、画像生成部６によって画像処理された画像がバッファメモリ１２に一時格納され、表示部９がバッファメモリ１２に一時格納された画像をビデオ信号に変換した後、ライブビュー画像として表示画面に表示する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
画像処理部７は、画像の各画素の座標に関する演算、画像の各画素の画素値に関する演算、その他の画像処理を行うプロセッサを具備する。画像処理部７は、プログラム１３ａに従って画像処理を行う。つまり、プログラム１３ａが、画像処理部７を打撃時フレーム検出手段７ａ、第１の平滑化手段７ｂ、円形分離度算出手段７ｃ、第１の推定手段７ｄ、平均色算出手段７ｅ、第２の平滑化手段７ｆ、楕円分離度算出手段７ｇ、第２の推定手段７ｈ、ずれ量算出手段７ｉ、ずらし量算出手段７ｊ、歪み補正手段７ｋ、座標変換手段７ｍ、回転角推定手段７ｎ、速度算出手段７ｐ、垂直射出角算出手段７ｓ及びスピン速度算出手段７ｔ、水平射出角算出手段７ｕとして機能させる。画像処理部７のこれらの機能については後述する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
まず、中央制御部１４がプログラム１３ａによって初期位置設定手段１４ａとして機能させられることによって、その中央制御部１４が画像の各画素の位置を表現する直交二次元座標系の中にボールの初期位置（ｘｉｎｉ，ｙｉｎｉ）を設定する（ステップＳ１）。具体的には、ユーザーが方向操作ボタン８ｃを操作することによってカーソルをライブビュー画像（ライブビュー画像は、電子撮像部３によって撮像されて表示部９に表示されている。）の中のボールに合わせて、中央制御部１４がそのカーソルの位置を初期位置（ｘｉｎｉ，ｙｉｎｉ）に設定する。又は、ユーザーがライブビュー画像の中のボールの位置においてタッチパネル８ｄにタッチしたら、中央制御部１４がそのタッチ位置を初期位置（ｘｉｎｉ，ｙｉｎｉ）に設定することでもよい。又は、中央制御部１４が初期位置（ｘｉｎｉ，ｙｉｎｉ）を設定した後、ユーザーが撮像装置１００を移動させることによって、ライブビュー画像に表示された枠（枠の中心がボールの初期位置（ｘｉｎｉ，ｙｉｎｉ）である。）をボールの位置に合わせることでもよい。初期位置（ｘｉｎｉ，ｙｉｎｉ）の際には、ユーザーがライブビュー画像の確認を行いやすいようなゲインがユニット回路４に設定されている。なお、後述のように複数のフレームの画像が連続的に撮像された後、最初のフレーム又は最初から幾つか後のフレームの画像が表示部９に表示された際に、ユーザーが方向操作ボタン８ｃの操作又はタッチパネル８ｄをタッチすることによって、画像処理部７がカーソルの位置又はタッチ位置をボールの初期位置（ｘｉｎｉ，ｙｉｎｉ）に設定してもよい。なお、電子撮像部３のマトリクス状の画素配列のうち水平ライン（水平方向の画素列）が直交二次元座標系のｘ方向と平行になり、垂直ライン（垂直方向の画素列）が直交二次元座標系のｙ方向と平行になる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
次に、中央制御部１４がプログラム１３ａによって撮像制御手段１４ｂとして機能することで、その中央制御部１４が連続撮像処理を行う（ステップＳ２）。具体的には、ユーザーがシャッターボタン８ａを押下すると、中央制御部１４がユニット回路４及び電子撮像部３の駆動タイミング及びフレームレートＦｒａｔｅを設定し、撮像制御部５がその駆動タイミング及びフレームレートに従って電子撮像部３をローリングシャッター方式で繰り返し動作させることで、電子撮像部３が高速で連続撮像を行う。電子撮像部３のシャッタースピードはできる限り速く、フレームレートＦｒａｔｅはできる限り高いことが好ましい。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
なお、連続撮像の前に初期位置（ｘｉｎｉ、ｙｉｎｉ）の設定を行わずに、複数の画像が連続的に撮像された後、最初のフレーム又は最初から幾つか後のフレームが表示部９に表示された際に、ユーザーが方向操作ボタン８ｃによってカーソルをボール像の位置に合わせることによって（又は、ボール像の位置でタッチパネル８ｄをタッチすることによって）、中央制御部１４がカーソルの位置又はタッチ位置をボールの初期位置（ｘｉｎｉ、ｙｉｎｉ）に設定してもよい。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
次に、中央制御部１４がプログラム１３ａによって入力制御手段１４ｃとして機能させられることで、その中央制御部１４が操作入力部８を通じて入力されたデータをバッファメモリ１２等に格納する。具体的には、ユーザーが操作入力部８を操作することで、各種の撮影条件（例えば、ボール２０２の大きさ、撮像距離（撮像距離とは、撮像方向Ｄに対して直交するととともに打撃前のボール２０２を通った物体面から撮像装置１００（レンズユニット１や電子撮像部３）までの距離））を入力し、中央制御部１４が入力された撮像条件をバッファメモリ１２に格納する。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
次に、画像処理部７がプログラム１３ａによって打撃時フレーム検出手段７ａとして機能させられることで、画像処理部７は、記憶部１１に記録された複数の連続画像の中から、ボール２０２が打撃された時のフレームを検出する（ステップＳ３）。ボール２０２が打撃された時のフレームを検出する処理（ステップＳ３）について、図７に示すフローチャートを参照して具体的に説明する。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
図８は、打撃時のフレームの候補を特定する処理（ステップＳ１１）を具体的に示したフローチャートである。図８に示すように、まず、画像処理部７は、中央制御部１４によって設定された初期位置（ｘｉｎｉ、ｙｉｎｉ）を中心とした矩形状の領域Ｗ（図９参照）を設定する（ステップＳ２１）。ここで、図９は領域Ｗを説明するための図面であり、図９では、ボール２０２の打撃前のフレームが領域Ｗとともに示されている。領域Ｗのサイズ（ｘ方向をｗｘとし、ｙ方向をｗｙとする。）はボール像のサイズ以内であることが好ましい。なお、領域Ｗの形状は矩形でなくてもよい。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
次に、画像処理部７は、記憶部１１に記録された複数の連続フレームの中から最初からｔ番目のフレームとそのＮフレーム前のフレームを読み出す（Ｎは２以上の整数で打撃物が領域Ｗを通過する時間とフレームレートとに基づく十分に大きい値であることが好ましい）。そして、ｔ番目のフレームの領域ＷとＮフレーム前のｔ−Ｎフレームの領域Ｗとの差分を算出する（ステップＳ２２，Ｓ２３，Ｓ２４）。具体的には、次式に示すように、画像処理部７は、ｔ番目のフレームとその前のフレームとの間で同一画素の画素値の差分の絶対値の領域Ｗ内における総和を算出する。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
ここで、ｔはフレームインデックスであり、ft(x,y)はｔ番目のフレームの各画素の画素値であり、ft-n(x,y)はｔ−Ｎ番目のフレームの各画素の画素値であり、difW1(t)はｔ番目のフレームの領域Ｗとその前のフレームの領域Ｗとの差分である。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
画像処理部７は、以上のような２つのフレーム間の領域Ｗの差分difW1(t)の計算をＮフレームおきに行う（ステップＳ２５：ＮＯ）。そして、以上のような差分difW1(t)の計算が画像処理部７によってＮフレームおきに繰り返されて、最後のフレームにまで至ったら（ステップＳ２５：ＹＥＳ）、画像処理部７は、差分difW1(t)が最も大きなフレームを打撃時のフレームの候補に特定する（ステップＳ２６）。以下、このフレームのフレームインデックスをＮ１とする。なお、差分difW1(t)の計算がＮフレームおきに行われたので、計算処理の負担の軽減が図れる。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
画像処理部７は、差分difW2(t)の計算を１フレームごとに行う。そして、画像処理部７は差分difW2(t)の計算をＫ回（但し、０＜Ｋ＜Ｎ）繰り返し行う（ステップＳ３５：ＮＯ）。すなわち、確実にボールが移動していないＮ１−２Ｎ番目のフレームからＮ１−２Ｎ＋Ｋ番目のフレームの期間の差分difW2(t)を取得し、最大となる差分difW2(t)に基づいて閾値ｔｈｉを設定する（ステップＳ３６）。例えば、閾値thiは、最大となる差分difW2(t)の２倍の値とする。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
その後も、画像処理部７は、ftmp(x,y)をテンプレートとしてＮ１−Ｎ番目のフレームからＮ１番目のフレームまでについての差分difW2(t)の計算を１フレームごとに行う（ステップＳ３７、ステップＳ３８、ステップＳ３９、ステップＳ４０：ＮＯ）。Ｎ１番目の候補フレームにまで至ったら（ステップＳ４０：ＹＥＳ）、画像処理部７は、差分difW2(t)が閾値ｔｈｉ以上であって且つ最も差分difW2(t)が大きなフレームを打撃時のフレームに特定する（ステップＳ４１）。閾値ｔｈｉ以上としたのは、ボールが打撃される前のフレームや打撃された後で領域Ｗ内にボールが無いフレームでのノイズ等による比較的大きな差分difW2(t)を排除するためである。以下、打撃時のフレームのフレームインデックスをＮ２とする。なお、画像処理部７は、差分difW2(t)が閾値ｔｈｉ以上の最初のフレームを打撃時のフレームとしてもよい。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
以上のように、ボール２０２が打撃された時のフレームは、画像処理部７が行う画像処理によって検出される。そのため、ボール２０２が打撃されたことを検出するトリガセンサが不要となり、撮像装置１００の構成がシンプルになる。また、ユニット回路４のＩＳＯ感度（ゲイン）を上げて、撮像画像にノイズが発生しやすくなっても、差分difW1(t)や差分difW2(t)を利用して打撃時のフレームが検出されるので、ノイズの影響を受けにくい。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
図４に示すように、ボール２０２が打撃された時のフレームが検出されたら（ステップＳ３）、画像処理部７はボール２０２が打撃される前のボール像のサイズ及び中心位置を検出する（ステップＳ４）。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
図１４は、ボール２０２が打撃される前のボール像のサイズ及び中心位置を検出する処理（ステップＳ４）を具体的に示したフローチャートである。図１４に示すように、まず、画像処理部７は、ボール２０２が打撃される前のフレームの中の背景を平滑化（除去）し（ステップＳ４４）、その後、背景が平滑化されたフレームの中のボール像の中心位置及び半径を算出し（ステップＳ４２）、算出した中心位置及び半径を出力する（ステップＳ４３）。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
図１５は、背景の平滑化処理１（ステップＳ４４）を具体的に示したフローチャートである。背景の平滑化処理１（ステップＳ４４）は、プログラム１３ａによって第１の平滑化手段７ｂとして機能させられた画像処理部７によって行われる。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
【数３】
2013036846.tif 000001
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００６７
【補正方法】変更
【補正の内容】
【００６７】
分離度ηは、内領域Ａ１と外領域Ａ２の間の変動が領域Ａ１，Ａ２全体の変動に占める割合であって、最大１に正規化された値となっている。分離度ηは、０＜η≦１の範囲の値をとる。内領域Ａ１と外領域Ａ２との間で画像特徴量がより大きく分離するにつれて、分離度ηがより大きくなる。内領域Ａ１と外領域Ａ２との間で画像特徴量が最も分離していると、分離度ηが最大値をとる。従って、円形分離度フィルターの半径ｒを最小値ｒｍｉｎから最大値ｒｍａｘの範囲内で所定刻み幅（例えば、１〜数画素）で変化させるとともに、円形分離度フィルターの中心位置（ｘ，ｙ）を所定範囲（例えば、初期位置（ｘｉｎｉ、ｙｉｎｉ）を中心とした範囲）内で所定刻み幅（例えば、１〜数画素）で変化させて、最大の分離度ηをとる半径ｒ及び中心位置（ｘ，ｙ）をボール像の半径及び中心位置として推定する。
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【００６８】
具体的には、図１６に示すように、画像処理部７は、円形分離度フィルターの中心位置（ｘ，ｙ）及び半径ｒを初期値（例えば、初期位置（ｘｉｎｉ、ｙｉｎｉ）、最小値ｒmin）に設定する（ステップＳ６１）。次に、画像処理部７は、背景が平滑化された打撃直前のフレーム（図１５に示すステップＳ５１の処理で得られたフレーム）を円形分離度フィルターによってフィルタリング処理することによって、内領域Ａ１と外領域Ａ２の各画素の分離度を算出する（ステップＳ６２）。次に、画像処理部７は、画素ごとの分離度の分布に対して補間処理を行うことによって、画素間のサブピクセル単位で分離度を求める（ステップＳ６３）。例えば、画像処理部７は、放物線近似法を利用したサブピクセル推定法によって分離度分布の補間を行う。その後、画像処理部７は、円形分離度フィルターの中心位置（ｘ，ｙ）及び半径ｒを所定幅だけずらしながら（ステップＳ６５）、同様なフィルタリング処理及び補間処理を繰り返す（ステップＳ６４：ＮＯ）。そして、そのような処理の繰り返しが終了したら（ステップＳ６４：ＹＥＳ）、画像処理部７は最大の分離度を得た半径ｒ及び中心位置（ｘ，ｙ）を打撃直前のボール像の半径と中心位置と推定する（ステップＳ６６）。つまり、ステップＳ６６では、画像処理部７は、プログラム１３ａによって、打撃直前のボール像の半径及び中心位置を推定する第１の推定手段７ｄとして機能する。
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
図４に示すように、ボール２０２が打撃される直前のボール像の半径ｒ１及び中心位置（ｘ１，ｙ１）が検出されたら（ステップＳ４）、画像処理部７がプログラム１３ａによって平均色算出手段７ｅとして機能する（ステップＳ５）。具体的には、画像処理部７は、打撃直前のフレームについて中心位置（ｘ１，ｙ１）付近の複数の画素の平均色（以下、その平均色をａｖｅＢｃとする。）を算出する（ステップＳ５）。そして、画像処理部７は、算出した平均色ａｖｅＢｃをバッファメモリ１２に記憶しておく。ＲＧＢ色空間であれば、平均色は、中心位置（ｘ１，ｙ１）付近の複数の画素のＲ値（赤の輝度値）の平均値と、Ｇ値（緑の輝度値）の平均値と、Ｂ値（青の輝度値）の平均値とによって表される。
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】変更
【補正の内容】
【００７３】
図１８は、ボール２０２が打撃された後のボール像のサイズ、中心位置及び傾斜角を検出する処理（ステップＳ６）を具体的に示したフローチャートである。図１８に示すように、まず、画像処理部７は、打撃後のフレーム（以下、そのフレームインデックスをＴとする。）の中の背景を平滑化し（ステップＳ７１）、その後、背景が平滑化されたフレームの中のボール像の中心位置、長径及び短径を算出し（ステップＳ７２）、背景が平滑化されたフレームの中のボール像の水平ライン（ｘ方向）に対する角度を算出する（ステップＳ７３）。
【手続補正３２】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
図１９は、背景の平滑化処理２（ステップＳ７１）を具体的に示したフローチャートである。背景の平滑化処理２（ステップＳ７１）は、プログラム１３ａによって第２の平滑化手段７ｆとして機能させられた画像処理部７によって行われる。
【手続補正３３】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
楕円分離度フィルターは、座標（ｘ，ｙ）に中心を持つ長径Ｌ、短径Ｓの楕円形状の内領域Ａ３と、内領域Ａ３と同心状の領域であって内領域Ａ３の外側において内領域Ａ３に隣接する長径Ｌｍａｘ、短径Ｓｍａｘの外領域Ａ４と、から構成される。内領域Ａ３の外縁となる楕円と、外領域Ａ４の外縁となる楕円は相似形である。また、長径Ｌ、長径Ｌｍａｘがｘ方向の水平ラインに対して傾斜しており、その傾斜角はθである。この楕円分離度フィルターは、形状こそ上述した円形分離度フィルターと異なるものの、円形分離度フィルターと同様に、内領域Ａ３と外領域Ａ４の画素の分離度を算出するものである。従って、円形分離度フィルターにおける分離度ηの算出式を楕円分離度フィルターにおける分離度の算出式に適用することができる。そのため、楕円分離度フィルターの長径Ｌを最小値Ｌｍｉｎから最大値Ｌｍａｘの範囲内で所定刻み幅（例えば、１〜数画素）で変化させ、短径Ｓを最小値Ｓｍｉｎから最大値Ｓｍａｘの範囲内で所定刻み幅（例えば、１〜数画素）させ、楕円分離度フィルターの中心位置（ｘ，ｙ）を所定範囲内で所定刻み幅（例えば、１〜数画素）で変化させ、更に楕円分離度フィルターの傾斜角θを所定範囲内で所定刻み幅で変化させることで、最大の分離度ηをとる長径Ｌ、短径Ｓ、中心位置（ｘ、ｙ）及び傾斜角θをボール像の長径、短径、中心位置及び傾斜角として推定する。
【手続補正３４】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
そして、以上のような分離度算出処理の繰り返しが終了したら、画像処理部７がプログラム１３ａによって第２の推定手段７ｈとして機能させられる。第２の推定手段７ｈとして機能する画像処理部７は、繰り返して算出された分離度のうち最大の分離度を得た長径Ｌ、短径Ｓ及び中心位置（ｘ，ｙ）を打撃後のボール像の長径、短径及び中心位置と推定する。
以下、以上のようにして推定された長径をＬ２、短径をＳ２、中心位置の座標を（ｘ２，ｙ２）とする。推定された長径Ｌ２、短径Ｓ２及び中心位置（ｘ２，ｙ２）は、画像処理部７及びリーダー・ライター１０によって記憶部１１に記録される。
【手続補正３５】
【補正対象書類名】明細書
【補正対象項目名】００８９
【補正方法】変更
【補正の内容】
【００８９】
そして、以上のような分離度算出処理の繰り返しが終了したら、画像処理部７がプログラム１３ａによって第２の推定手段７ｈとして機能させられる。第２の推定手段７ｈとして機能する画像処理部７は、繰り返して算出された分離度のうち最大の分離度を得た傾斜角θを打撃後のボール像の傾斜角と推定する。以下、このように推定された傾斜角をθ２とする。推定された傾斜角θ２は、画像処理部７及びリーダー・ライター１０によって記憶部１１に記録される。
【手続補正３６】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【００９７】
ここで、Ｔ番目の打撃後フレームにおけるｒｓｄ（Ｔ）は補正係数である。ｘ２（Ｔ）、ｘ２（Ｔ＋１）は、図１８に示す処理によって算出されたものである。Ｓｙは水平ライン数である。補正係数ｒｓｄ（Ｔ）は、ローリングシャッター歪みによって発生したずれ量であって、打撃後のフレームの中の上下に隣り合う水平ライン間がｘ方向にどの程度ずれているかを示すずれ量である。
【手続補正３７】
【補正対象書類名】明細書
【補正対象項目名】０１１１
【補正方法】変更
【補正の内容】
【０１１１】
次に、画像処理部７は、ステップＳ１１１で生成した三次元球体モデルの表面のボール像と、ステップＳ１１４で生成した座標変換後のボール像との差分を算出する（ステップＳ１１５）。
【手続補正３８】
【補正対象書類名】明細書
【補正対象項目名】０１１２
【補正方法】変更
【補正の内容】
【０１１２】
その後、画像処理部７は、回転行列Irotのピッチ角度θr、ヨー角度θy、ロール角度θpを所定幅だけずらしながら、同様な座標変換及び差分算出を繰り返す（ステップＳ１１６：ＮＯ）。そして、そのような処理の繰り返しが終了したら（ステップＳ１１６：ＹＥＳ）、画像処理部７は最小の差分をとる回転角度θr、θy、θpを１フレーム当たりのボールの回転ピッチ角、回転ヨー角、回転ロール角に推定する（ステップＳ１１８）。以下、このように求められたＴ番目のフレームにおける回転ピッチ角、回転ヨー角、回転ロール角をθr２、θy２、θp２とする。
【手続補正３９】
【補正対象書類名】明細書
【補正対象項目名】０１１６
【補正方法】変更
【補正の内容】
【０１１６】
ここで、（ｘａ，ｙａ）は打撃後の所定のフレームにおけるボール像の中心座標、（ｘｂ，ｙｂ）はその前のフレームにおけるボール像の中心座標、Ｎ３はこれらフレームのフレームインデックスの差の絶対値（つまり、これらフレーム間のフレーム数）、Ｖｘはｘ方向の速度[pixel/sec]、Ｆｒａｔｅはフレームレート、Ｖｙはｙ方向の速度[pixel/sec]である。中心座標（ｘａ，ｙａ），（ｘｂ，ｙｂ）は、図４に示すステップＳ６の処理で検出されたものである。続いた２つのフレームのボール像の中心座標からボール速度を算出するのであれば、Ｎ３の値は１である。打撃後のフレームごとにＶｘ及びＶｙを算出してもよい。更に、各種撮影条件や実際のボールの直径やボール像の直径等に基づいて、速度Ｖｘ，Ｖｙを画像上の速度から実際の速度に換算してもよい。なお、（ｘｂ，ｙｂ）は、打撃前のフレームにおけるボール像の中心座標（図４に示すステップＳ４で算出されたもの）とし、Ｎ３は打撃時のフレームから、中心座標（ｘａ，ｙａ）を求めた際の打撃後のフレームまでのフレーム数としてもよい。
【手続補正４０】
【補正対象書類名】明細書
【補正対象項目名】０１２２
【補正方法】変更
【補正の内容】
【０１２２】
ここで、βは水平射出角[rad]、（ｘａ，ｙａ）は打撃後の所定のフレームにおけるボール像の中心座標、（ｘｂ，ｙｂ）はその前のフレーム（但し、打撃後のフレームである。）におけるボール像の中心座標、（ｘｃ，ｙｃ）はフレームの中心座標、Ｓｘは垂直ライン数、ＡＨは撮像装置１００の撮像手段の水平画角、Ｌａは前記所定のフレームにおいて座標（ｘａ，ｙａ）に中心を有するボール像の長径、Ｓａは前記所定のフレームにおいて座標（ｘａ，ｙａ）に中心を有するボール像の短径、Ｌｂはその前のフレームにおいて座標（ｘｂ，ｙｂ）に中心を有するボール像の長径、Ｓｂは前記所定のフレームにおいて座標（ｘｂ，ｙｂ）に中心を有するボール像の短径である。Ｌａ、Ｓａ、Ｌｂ、Ｓｂは、図４に示すステップＳ６の処理で検出されたものである。
【手続補正４１】
【補正対象書類名】明細書
【補正対象項目名】０１２３
【補正方法】変更
【補正の内容】
【０１２３】
図２６を参照して、βの算定式について説明する。図２６に示すように、撮像装置１００の撮像手段（レンズユニット１、電子撮像部３）を基準として三次元座標系ｕｖｗを定め、その撮像手段を原点に定める。ここで、ｕ方向は電子撮像部３の水平ラインに平行であり、ｖ方向は電子撮像部３の垂直方向に平行であり、ｗ方向は電子撮像部３の水平方向及び垂直方向に対して直交して、撮像方向Ｄに対して平行である。打撃後のボール２０２が位置Ａにある時に撮像されたフレームのボール像の中心座標を（ｘａ，ｙａ）とし、それ以前（但し、打撃後である。）にボール２０２が位置Ｂにある時に撮像されたフレームのボール像の中心座標を（ｘｂ，ｙｂ）とする。位置Ａ，Ｂはボール２０２の中心位置とし、位置Ａ，Ｂのｕｖｗ座標はそれぞれ（ｕａ，ｖａ，ｗａ），（ｕｂ，ｖｂ，ｗｂ）である。撮像距離Ｄｂｃは、撮像装置１００の撮像手段（レンズユニット１、電子撮像部３）の光軸に対して直交するとともに打撃前のボール２０２を通った物体面から、撮像装置１００の撮像手段までの距離である。
【手続補正４２】
【補正対象書類名】明細書
【補正対象項目名】０１２４
【補正方法】変更
【補正の内容】
【０１２４】
位置Ａのボール２０２と撮像装置１００の撮像手段とを結ぶ線が光軸を基準として成す角（水平角θＨａ、垂直角θＶａ）や、位置Ｂの２０２と撮像装置１００の撮像手段とを結ぶ線が光軸を基準として成す角（水平角θＨｂ、垂直角θＶｂ）は、次式で表される。
【数１５】
2013036846.tif 000002
【手続補正４３】
【補正対象書類名】明細書
【補正対象項目名】０１３１
【補正方法】変更
【補正の内容】
【０１３１】
以上のような速度、垂直射出角、水平射出角、バックスピン速度及びサイドスピン速度の算出後、画像処理部７がボール２０２の速度、垂直射出角、水平射出角、バックスピン速度及びサイドスピン速度をリーダー・ライター１０に出力して、リーダー・ライター１０が速度、垂直射出角、水平射出角、バックスピン速度及びサイドスピン速度を記憶部１１に記録する。また、算出された速度、垂直射出角、水平射出角、バックスピン速度及びサイドスピン速度を数値や図面等で表す映像が、画像処理部７及び中央制御部１４の指令によって表示部９に表示される（ステップＳ９）。
【手続補正４４】
【補正対象書類名】明細書
【補正対象項目名】０１３６
【補正方法】変更
【補正の内容】
【０１３６】
また、プログラム１３ｂは、画像処理部７を平滑化手段７ｆ、楕円分離度算出手段７ｇ、推定手段７ｈ、第１の交点算出手段７ｖ、第２の交点算出手段７ｗ、速度算出手段７ｘ及び垂直射出角算出手段７ｙとして機能させる。平滑化手段７ｆ、楕円分離度算出手段７ｇ及び推定手段７ｈは、第１実施形態と同様である。第１の交点算出手段７ｖ、第２の交点算出手段７ｗ、速度算出手段７ｘ及び垂直射出角算出手段７ｙについては後に詳細に説明する。
【手続補正４５】
【補正対象書類名】明細書
【補正対象項目名】０１３７
【補正方法】変更
【補正の内容】
【０１３７】
図２８に示されたフローチャートを参照して、プログラム１３ｂに従って中央制御部１４及び画像処理部７が行う処理の流れについて説明する。
まず、中央制御部１４がプログラム１３ｂによって入力制御手段１４ｇとして機能することで、その中央制御部１４が操作入力部８を通じて入力されたデータをバッファメモリ１２等に格納する。具体的には、ユーザーが操作入力部８を操作することで、実際のボール２０２の直径又は半径を入力すると、中央制御部１４が入力された直径をバッファメモリ１２に格納するか、入力された半径の２倍をバッファメモリ１２に格納する（ステップＳ１２１）。なお、直径が予め記憶部１１又はプログラムメモリ１３等に記録されていてもよいし、プログラム１３ｂに組み込まれていてもよい。
【手続補正４６】
【補正対象書類名】明細書
【補正対象項目名】０１３８
【補正方法】変更
【補正の内容】
【０１３８】
次に、中央制御部１４がプログラム１３ｂによって撮像制御手段１４ｂとして機能することで、その中央制御部１４が連続撮像処理を行う。具体的には、ユーザーがシャッターボタン８ａを押下すると、中央制御部１４が撮像制御部５を通じて電子撮像部３の連続撮像を行わせる（ステップＳ１２２）。その際、打撃者がボール２０２を打撃する。連続撮像処理（ステップＳ１２２）は第１実施形態における連続撮像処理（ステップＳ２）と同様である。なお、打撃前のボール２０２近傍にトリガセンサが設けられ、打撃者がボール２０２を打撃したことがトリガセンサによって検出され、そのトリガ信号が中央制御部１４に入力されたら、中央制御部１４が撮像制御部５を通じて電子撮像部３の連続撮像を行わせてもよい。また、連続撮像ではなく、ボール２０２の打撃後に高速なシャッタースピードで多重露光して１枚の静止画を撮像するものとしてもよい。
【手続補正４７】
【補正対象書類名】明細書
【補正対象項目名】０１３９
【補正方法】変更
【補正の内容】
【０１３９】
次に、画像処理部７は、打撃後のフレームを記憶部１１から読み出す（ステップＳ１２３）。
次に、画像処理部７がプログラム１３ｂによって平滑化手段７ｆ、楕円分離度算出手段７ｇ及び推定手段７ｈとして機能させられ、画像処理部７は読み出したフレームの中のボール像の中心位置、長径、短径及び傾斜角を検出する（ステップＳ１２４）。ステップＳ１２４における処理は、第１実施形態におけるステップＳ６における処理と同様である。図２９に示すように、ステップＳ１２４の処理において、最大の分離度をとる長径、短径、中心位置及び傾斜角をそれぞれＬ４、Ｓ４、（ｘ４，ｙ４）及びθ４とする。また、長径Ｌ４、短径Ｓ４、中心位置（ｘ４，ｙ４）及び傾斜角θ４から規定される楕円を最適楕円という。なお、ステップＳ１２４の処理の前に、第１実施形態の場合と同様に、画像処理部７が打撃時のフレームを検出してもよい（図４のステップＳ３、図７、図８、図１２等参照）。
【手続補正４８】
【補正対象書類名】明細書
【補正対象項目名】０１４１
【補正方法】変更
【補正の内容】
【０１４１】
まず、画像処理部７がプログラム１３ｂによって第１の交点算出手段７ｖとして機能させられることによって、画像処理部７は、最適楕円とそれに接する水平な接線Ｈ１との交点の座標（ｘ５，ｙ５）を算出するとともに、最適楕円とそれに接するもう一つの水平な接線Ｈ２との交点の座標（ｘ６，ｙ６）を算出する。
次に、画像処理部７がプログラム１３ｂによって第２の交点算出手段７ｗとして機能させられることによって、その画像処理部７は、中心位置（ｘ４，ｙ４）を通る水平線Ｈ３と最適楕円との２つの交点の座標（ｘ７，ｙ７）、（ｘ８，ｙ８）を算出する。
【手続補正４９】
【補正対象書類名】明細書
【補正対象項目名】０１５２
【補正方法】変更
【補正の内容】
【０１５２】
また、第１、第２の実施形態にあっては、中央制御部１４の制御下にて、画像処理部７がプログラム１３ａ，１３ｂを実行することによって各種手段７ａ〜７ｎ、７ｐ、７ｓ〜７ｕ，７ｖ〜７ｙの機能を実現した。しかし、これらに限られることではなく、中央制御部１４がプログラムメモリ１３に格納されたプログラム１３ａ，１３ｂを実行するによってこれらの手段７ａ〜７ｎ、７ｐ、７ｓ〜７ｕ，７ｖ〜７ｙの機能を実現してもよい。
【手続補正５０】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによって、ボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレーム画像を取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレーム画像を、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターで、フィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となったときの中心位置、長径、短径及び傾斜角を、前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも２つのフレーム画像の前記ボール像の各推定値に基づいて、前記ボールの運動の状態量を算出する状態量算出手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記状態量算出手段は、前記推定手段によって推定された少なくとも２つのフレーム画像のボール像の中心位置の差分と、フレーム画像間のフレーム数と、フレームレートとから、前記ボールの速度を算出する速度算出手段を含む、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記状態量算出手段は、前記推定手段によって推定された少なくとも２つのフレーム画像のボール像の中心位置の差分から、水平面を基準とした前記ボールの上下方向への射出角を算出する垂直射出角算出手段を含む、
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記状態量算出手段は、前記推定手段によって推定された少なくとも２つのフレーム画像のボール像の長径又は短径と、前記撮像手段の水平画角と、前記フレーム画像の中心座標と、前記フレーム画像の垂直ライン数とから、前記撮像手段の撮像方向に直交する面を基準とした前記ボールの左右方向への射出角を算出する水平射出角算出手段を含む、
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記推定手段は、前記内領域の傾斜角を一定にした状態で前記内領域の中心位置、長径及び短径を変更しながら前記分離度算出手段によって算出される分離度が最大となったときの中心位置、長径及び短径を、前記ボール像の中心位置、長径及び短径として推定し、その推定した中心位置、長径及び短径に前記内領域の中心位置、長径及び短径を一定にした状態で前記内領域の傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となったときの傾斜角を、前記ボール像の傾斜角として推定する、
ことを特徴とする請求項１から４の何れか一項に記載の撮像装置。
【請求項６】
前記推定手段によって推定された中心位置のフレーム画像間における水平方向の差分から、隣り合う水平ラインの間でローリングシャッターによって生じる水平方向のずれ量を、算出するずれ量算出手段と、
前記ずれ量に基づき、前記フレーム画像のボール像に生じた歪みを、円形に補正する歪み補正手段と、
前記歪み補正手段によって補正されたボール像を、三次元球体モデルの表面に座標変換する座標変換手段と、
前記座標変換手段によって座標変換されたボール像のフレーム画像間における回転角を、推定する回転角推定手段と、
前記回転角推定手段によって推定された回転角とフレームレートとから、前記ボールのスピン速度を算出するスピン速度算出手段と、
を更に備えることを特徴とする請求項１から５の何れか一項に記載の撮像装置。
【請求項７】
ローリングシャッター方式の撮像手段と、
前記撮像手段により撮像されることによって、ボール像が楕円形に歪んだ状態で含まれるフレーム画像を取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレーム画像を、水平ラインに対して長径が傾斜した楕円形の内領域と、その内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターで、フィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となったときの中心位置、長径、短径及び傾斜角を、前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された中心位置、長径、短径及び傾斜角によって規定される楕円と、それに接する水平な二本の接線との交点の位置を算出する第１の交点算出手段と、
前記推定手段によって推定された中心位置を通る水平線と前記楕円との交点を算出する第２の交点算出手段と、
前記第１の交点算出手段及び前記第２の交点算出手段によって算出された交点の位置と、前記撮像手段のローリングシャッターにおける水平ライン間の遅延時間と、前記ボールの実サイズとに基づき、前記ボールの速度を算出する速度算出手段と、
を備えることを特徴とする撮像装置。
【請求項８】
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレーム画像を、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターで、フィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となったときの中心位置、長径、短径及び傾斜角を、前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも２つのフレーム画像の前記ボール像の各推定値に基づいて、前記ボールの運動の状態量を算出する状態量算出手段、
として機能させることを特徴とするプログラム。
【請求項９】
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により撮像されることによってそのボール像が楕円形に歪んだ状態で含まれるフレーム画像を、水平ラインに対して長径が傾斜した楕円形の内領域と、その内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターで、フィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となったときの中心位置、長径、短径及び傾斜角を、前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された中心位置、長径、短径及び傾斜角によって規定される楕円と、それに接する水平な二本の接線との交点の位置を算出する第１の交点算出手段、
前記推定手段によって推定された中心位置を通る水平線と前記楕円との交点を算出する第２の交点算出手段、
前記第１の交点算出手段及び前記第２の交点算出手段によって算出された交点の位置と、前記撮像手段のローリングシャッターにおける水平ライン間の遅延時間と、前記ボールの実サイズとに基づき、前記ボールの速度を算出する速度算出手段、
として機能させることを特徴とするプログラム。
【手続補正５１】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2013036846.tif 000003
【手続補正５２】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
2013036846.tif 000004
【手続補正５３】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2013036846.tif 000005
【手続補正５４】
【補正対象書類名】図面
【補正対象項目名】図１４
【補正方法】変更
【補正の内容】
【図１４】
2013036846.tif 000006
【手続補正５５】
【補正対象書類名】図面
【補正対象項目名】図１５
【補正方法】変更
【補正の内容】
【図１５】
2013036846.tif 000007
【手続補正５６】
【補正対象書類名】図面
【補正対象項目名】図１８
【補正方法】変更
【補正の内容】
【図１８】
2013036846.tif 000008
【手続補正５７】
【補正対象書類名】図面
【補正対象項目名】図１９
【補正方法】変更
【補正の内容】
【図１９】
2013036846.tif 000009
【手続補正５８】
【補正対象書類名】図面
【補正対象項目名】図２２
【補正方法】変更
【補正の内容】
【図２２】
2013036846.tif 000010
【手続補正５９】
【補正対象書類名】図面
【補正対象項目名】図２３
【補正方法】変更
【補正の内容】
【図２３】
2013036846.tif 000011
【手続補正６０】
【補正対象書類名】図面
【補正対象項目名】図２５
【補正方法】変更
【補正の内容】
【図２５】
2013036846.tif 000012
【手続補正６１】
【補正対象書類名】図面
【補正対象項目名】図２７
【補正方法】変更
【補正の内容】
【図２７】
2013036846.tif 000013