(57)【要約】【課題】物体の状態の判定処理を軽減することができること。【解決手段】撮像装置１は、撮像制御部５１と、マーカ検出部５２と、比率算出部５６と、状態判定部５７と、を備える。撮像制御部５１は、所定の規則性を有する模様が付された物体に関する複数の画像を取得する。マーカ検出部５２は、撮像制御部５１により取得された各画像における物体中の模様の位置を特定する。比率算出部５６は、マーカ検出部５２により位置が特定された模様の所定方向への規則性の状態を各画像に対して算出する。状態判定部５７は、比率算出部５６により各画像に対して算出された規則性の状態に基づいて、物体の状態を判定する。【選択図】図７
2015083961.tif 000002
【特許請求の範囲】
【請求項１】
所定の規則性を有する模様が付された物体に関する複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された各画像における物体中の模様の位置を特定する位置特定手段と、
前記位置特定手段により位置が特定された模様の所定方向への規則性の状態を各画像に対して算出する状態算出手段と、
前記状態算出手段により各画像に対して算出された規則性の状態に基づいて、前記物体の状態を判定する状態判定手段と、
を備えることを特徴とする状態判定装置。
【請求項２】
前記位置特定手段により特定された模様の中心座標を算出する座標算出手段を更に備え、
前記状態算出手段は、前記座標算出手段により算出された中心座標に対する所定方向への規則性の状態を算出する、
ことを特徴とする請求項１に記載の状態判定装置。
【請求項３】
前記状態算出手段は、垂直方向に１画素分の幅に対応する前記中心座標に対する水平方向への規則性の状態を算出する、
ことを特徴とする請求項２に記載の状態判定装置。
【請求項４】
前記状態判定手段は、前記物体の滑りによる移動を前記物体の状態として判定する、
ことを特徴とする請求項１から３の何れか１項に記載の状態判定装置。
【請求項５】
前記模様は、相異なる複数の色のパターンからなる、
ことを特徴とする請求項１から４の何れか１項に記載の状態判定装置。
【請求項６】
前記模様は、相異なる複数の色のパターンの楕円形状からなる、
ことを特徴とする請求項５に記載の状態判定装置。
【請求項７】
前記模様は、前記所定方向への規則性が前記物体の３６０回転に対して非対称である、
ことを特徴とする請求項１から５の何れか１項に記載の状態判定装置。
【請求項８】
所定の規則性を有する模様が付された物体に関する複数の画像を取得する画像取得ステップと、
前記画像取得ステップにより取得された各画像における物体中の模様の位置を特定する位置特定ステップと、
前記位置特定ステップにより位置が特定された模様の規則性の状態を算出する算出ステップと、
前記算出ステップにより各画像に対して算出された規則性の状態に基づいて、前記物体の状態を判定する状態判定ステップと、
を含むことを特徴とする状態判定方法。
【請求項９】
コンピュータを、
所定の規則性を有する模様が付された物体に関する複数の画像を取得する画像取得手段、
前記画像取得手段により取得された各画像における物体中の模様の位置を特定する位置特定手段、
前記位置特定手段により位置が特定された模様の所定方向への規則性の状態を算出する算出手段、
前記算出手段により算出された規則性の状態に基づいて、前記物体の状態を判定する状態判定手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の状態を判定する状態判定装置、状態判定方法及びプログラムに関する。
【背景技術】
【０００２】
従来、複数の特徴的なマーク等の指標を付したゴルフボールに対し、当該指標が撮像された状態によって当該ゴルフボールの回転運動等の状態を判定する技術が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−３０４８３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の技術では、画像中の指標の向き方向と位置を別々に認識する必要があるため、物体の状態の判定処理の負担が大きくなる虞がある。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、物体の状態の判定処理の負担を軽減させることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の状態判定装置は、
所定の規則性を有する模様が付された物体に関する複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された各画像における物体中の模様の位置を特定する位置特定手段と、
前記位置特定手段により位置が特定された模様の所定方向への規則性の状態を各画像に対して算出する状態算出手段と、
前記状態算出手段により各画像に対して算出された規則性の状態に基づいて、前記物体の状態を判定する状態判定手段と、
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、物体の状態の判定処理の負担を軽減することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
【図２】本実施形態で用いられるマーカを説明するための図である。
【図３】ボールの回転に伴うマーカの回転の状態を示す図である。
【図４】本実施形態のルックアップテーブルを示す図である。
【図５】フォーカルプレーン歪みの影響を受けた撮影した画像の例を示す模式図である。
【図６】ボールを底面視した場合を示す模式図である。
【図７】図１の撮像装置の機能的構成のうち、ボール状態表示処理を実行するための機能的構成を示す機能ブロック図である。
【図８】図７の機能的構成を有する図１の撮像装置が実行するボール状態表示処理の流れを説明するフローチャートである。
【図９】本変形例で用いられるマーカを説明するための図である。
【図１０】ボールの回転に伴うマーカの回転の状態を示す図である。
【図１１】本変形例のルックアップテーブルを示す図である。
【図１２】ボールの回転に伴うマーカの各領域の比率を説明するための模式図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
【００１０】
図１は、本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。
【００１１】
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。
【００１２】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１３】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１４】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。
【００１５】
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００１６】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００１７】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。
【００１８】
入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００１９】
ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。
【００２０】
以上のように構成される撮像装置１は、ゴルフボールを撮影し、ゴルフボールに付されたマーカの回転の状態から、例えば、ボールが滑って移動している等のボールの状態を判定することができる機能を有する。
【００２１】
ボールが滑って移動（回転しないで移動）しているか、回転して移動しているかは、計時的に撮影した画像において、マーカの回転の仕方に所定以上の変化があったか否かを判定することで可能となる。マーカの回転の状態は、計時的に撮影した画像中のマーカを比較することにより判定できる。
【００２２】
ゴルフのパッティングにおいては、ボールの滑り（スキッド）の量や、滑り時（平行移動時）の回転角度を知りたいという要望がある。ゴルフのパッティングにおいては、打たれることによりボールが滑って移動してから如何に早くボールが順回転するかが、良いパッティングの目安となっているからである。
【００２３】
本実施形態においては、ゴルフのパッティングにおけるボールの回転の判定を行う。即ち、本実施形態においては、パッティング位置からボールの移動方向を含める範囲を撮像装置１で撮影して、当該撮影で取得した画像に写っているマーカの角度を比較してボールの状態（回転状態）を判定する。
【００２４】
また、本実施形態の撮像装置１は、ローリングシャッタ方式のＣＭＯＳセンサによるフォーカルプレーン歪みが発生しても、当該フォーカルプレーン歪みを補正することなくマーカの回転の状態を判定することができる機能を有する。
【００２５】
ここで、本実施形態で用いられるマーカについて説明する。
図２は、本実施形態で用いられるマーカを説明するための図である。本実施形態のマーカは、ゴルフボールに付される。
【００２６】
マーカは、図２（ａ）に模式的に示したように、３重の楕円により構成されている。即ち、マーカは、一番内側の黒塗りの楕円（以下、「第１の楕円」という。）と、第１の楕円を取り巻く白色の輪形状の楕円（以下、「第２の楕円」という。）と、第２の楕円を取り巻く黒色の輪形状の楕円（以下、「第３の楕円」という。）と、から構成されている。
具体的には、第１の楕円は、長径を２０ｍｍとし、短径を６ｍｍとする楕円で構成される。第２の楕円は、第１の楕円の外側の領域で当該第１の楕円の中心を通る対角線上の２ｍｍの幅をもって構成される。第３の楕円は、第２の楕円の外側の領域で当該第２の楕円の中心を通る対角線上の２ｍｍの幅をもって構成される。
【００２７】
図２（ｂ）に示すように、上述したようなマーカを数学的にグラフ化した場合には、グラフから明らかなように、第２の楕円及び第３の楕円は、楕円の形状に近いが、数学における楕円ではない。このため、第２の楕円及び第３の楕円の形状を、以下では、似非楕円形状と呼ぶ。
【００２８】
図２（ｂ）に示す第１の楕円は、以下の式（１）、（２）及び（３）により表すことができる。
（ｘ２／ａ２）＋（ｙ２／ｂ２）＝１・・・（１）
式（１）において、「ａ」は長径の長さを示し、「ｂ」は短径の長さを示し、「ｘ」は長径方向をｘ軸とした場合の座標を示し、「ｙ」は短径方向をｙ軸とした場合の座標を示す。
ｘ１＝ａ×ｃｏｓφ・・・（２）
ｙ１＝ｂ×ｓｉｎφ・・・（３）
式（２）及び（３）において、「ｘ１」及び「ｙ１」は図形の座標を原点（ｘ０，ｙ０）とした場合の座標であり、「φ」は任意の角度である。
【００２９】
また、第２の楕円は、以下の式（４）、（５）及び（６）により表すことができる。
まず、式（４）において任意の角度φから実際の図面上の角度θに変換し、この角度θを使って式（５）及び（６）から第２の楕円を算出する。
θ＝ａｔａｎ（（ｂ／ａ）×ｔａｎφ）・・・（４）
式（４）において、「φ」は任意の角度であり、「θ」は「φ」から求められる実際の図面上の角度である。
ｘ２＝ｘ１＋ｈ・ｃｏｓθ・・・（５）
ｙ２＝ｙ１＋ｈ・ｓｉｎθ・・・（６）
式（５）及び（６）において、「ｘ２」及び「ｙ２」は図形の座標を原点（ｘ０，ｙ０）とした場合の座標であり、「ｈ」は楕円の周りを通るライン上で見た幅を示す。
【００３０】
また、第３の楕円は、以下の式（７）及び（８）により表すことができる。
ｘ３＝ｘ２＋ｈ・ｃｏｓθ・・・（７）
ｙ３＝ｙ２＋ｈ・ｓｉｎθ・・・（８）
式（７）及び（８）において、「ｘ３」及び「ｙ３」は図形の座標を原点（ｘ０，ｙ０）とした場合の座標であり、「ｈ」は楕円の周りを通るライン上で見た幅を示す。
【００３１】
このように構成されるマーカは、９０度以内の回転であれば、相異なる回転の状態の楕円形状を呈する。
【００３２】
撮像装置１においては、上述したようなマーカを付したボールを撮影して、ボールの回転の状態を判定する。具体的には、撮像装置１においては、撮影した画像からマーカの中心領域の長さを求め、当該求められた長さがどの角度のものであるかを当てはめることにより角度を導き出すことができる。即ち、マーカが９０度以内の回転であれば、中心領域の長さが異なる点を利用して、予め長さと角度の対応関係からマーカの角度を求める。
撮像装置１においては、求められたマーカの角度を取得した画像間で比較することで、ボールの状態を判定することができる。このため、本機能によって、パッティングの評価を行うことができる。
【００３３】
図３は、ボールの回転に伴うマーカの回転の状態を示す図である。
パッティングにおいては、図３に示すように、ボールの回転に応じて、マーカの回転の状態（マーカの回転の角度）が変化する。後述する比率において、どのような回転の状態を示すかを予め算出しておけば、画像から判定した回転の状態を割り出すことが可能になる。
本実施形態においては、マーカが第１の楕円、第２の楕円及び第３の楕円がそれぞれ黒色、白色及び黒色で構成されている。このため、マーカの中心線の色味の長さ（［第３の楕円］：黒色、［第２の楕円］：白色、［第１の楕円］：黒色、［第２の楕円］：白色、［第３の楕円］：黒色）を算出してそれらの比率を求めることで、マーカの回転に対応する角度が一義的に求められる。
比率は、マーカの中心の水平領域を読み取った場合、（［第３の楕円］：黒色、［第２の楕円］：白色、［第１の楕円］：黒色、［第２の楕円］：白色、［第３の楕円］：黒色）となるが、それらの比率は、マーカが０度の時には、１：１：１０：１：１となる。また、マーカが３０度に傾いた場合には、１：１：５．２：１：１となり、４５度に傾いた場合には、１：１：４：１：１となり、６０度に傾いた場合には、１：１：３．４：１：１となり、９０度に傾いた場合には、１：１：３：１：１となる。即ち、第２の楕円及び第３の楕円の比率は常に１で一定であり、第１の楕円の比率のみが変化する。このように予め比率と角度の関係を対応付けておくことにより、マーカの比率からマーカの角度を導き出すことができる。
本実施形態においては、ルックアップテーブル（ＬＵＴ）を用いて、色の比率から回転角度を求める。ルックアップテーブルでは、第１の楕円の比率が入力されている。
【００３４】
図４は、本実施形態のルックアップテーブルを示す図である。
ルックアップテーブルは、図４に示すように、マーカの回転角度を示す［角度θ（°）］と、色の比率を示す［比率］を対応付けて示している。
例えば、［角度θ］：０の場合には、［比率］：１０．００であるため、図３で一番左に示すマーカのような場合が対応することになる。また、［角度θ］：９０の場合には、［比率］：３．００であるため、図３で一番右に示すマーカのような場合が該当することになる。
【００３５】
なお、上述した手法で、ボールの回転の角度を割り出すことで、フォーカルプレーン歪みの影響を考慮する必要がなくなる。
図５は、フォーカルプレーン歪みの影響を受けた撮影した画像の例を示す模式図である。本例では、マーカが９０度のまま右方向に平行移動して滑っている場合を示す。また、ローリングシャッタは上から下に動作する。
撮影した画像において、フォーカルプレーン歪みが生じた場合には、図５に示すような画像となる。このような画像においては、ラインが下に行く程、マーカ領域が進行方向の右に移動してずれる。しかしながら、マーカにおける上下中心にあるラインのみに着目すれば、フォーカルプレーン歪みの影響はない。この場合、マーカにおける上下については、マーカの垂直方向の中心を求めるために必要であるが、上端と下端の画像におけるｘｙ座標の鉛直方向の座標（以下、「鉛直座標」という。）は変化しない。
このため、フォーカルプレーン歪みの影響を考慮することなく、ボールの回転角度を割り出すことができる。また、マーカにおける上下中心にあるラインのみで処理を行えば良いために、マーカ上の画像全てを演算するよりも遙かに演算量を低く抑えることができる。
【００３６】
なお、上述の説明は、説明の関係上、ボールを平面とし円盤状であると捉えたが、実際のボールは球面上であるため、厳密にマーカの形状を特定するためには、以下のような処理を行う必要がある。
図６は、ボールを底面視した場合を示す模式図である。
ボールは、図６に示すように、撮影方向に対しても球面上であるため、マーカの付されている領域Ｏを考慮する必要がある。即ち、マーカの上下の中心ラインの実際のｘ座標の位置「ｘｋ」を割り出す必要がある。
ここで、マーカの上下の中心ラインの実際のｘ座標の位置「ｘｋ」は、以下式（９）で求めることができる。
ｘｋ＝α・ｓｉｎ（（ｘｇ−ｘｃ）／ｒ）／３６０×２ｒπ・・・（９）
式（９）において、「ｘｃ」は画像上のマーカ中心を示し、「ｘｇ」は画像上のマーカの端部を示し、「ｒ」はボールの半径を示し、「α」は図６におけるマーカ中心とボール中心とマーカ端部のなす角度を示す。
これにより、ボールの球面形状を考慮して、実際のマーカの形状に即した比率を割り出すことができる。
【００３７】
次に、このような原理原則で、マーカの回転角度を判定する機能を有する撮像装置１の機能構成について説明する。
図７は、このような撮像装置１の機能的構成のうち、ボール状態表示処理を実行するための機能的構成を示す機能ブロック図である。
ボール状態表示処理とは、パッティング時のボールを撮影した画像を解析してボールの状態を判定して、当該判定結果を表示するまでの処理をいう。
【００３８】
ボール状態表示処理は、図７に示すように、ＣＰＵ１１において、撮像制御部５１と、マーカ検出部５２と、鉛直座標検出部５３と、中心座標算出部５４と、中心水平座標検出部５５と、比率算出部５６と、が機能する。
また、記憶部１９の一領域には、画像記憶部７１と、比率情報記憶部７２と、状態記憶部７３と、が設定される。
画像記憶部７１には、画像のデータが記憶される。
比率情報記憶部７２には、マーカの回転角度と色の比率を示すルックアップテーブル（図４参照）が記憶される。
状態記憶部７３には、ボールの回転状態等の判定結果が記憶される。
【００３９】
撮像制御部５１は、撮像部１６における撮像処理を制御する。また、撮像制御部５１は、撮像部１６から出力される画像を取得し、画像記憶部７１に記憶させる。
【００４０】
マーカ検出部５２は、画像からマーカを検出する。詳細には、マーカ検出部５２は、画像記憶部７１に記憶される画像からマーカの領域を検出する。画像から所定の被写体の領域を検出する技術は、既存の周知の技術を用いる。
【００４１】
鉛直座標検出部５３は、検出したマーカ領域における鉛直方向の座標（以下、「鉛直座標」という。）のうちマーカの上下端の座標を検出する。詳細には、鉛直座標検出部５３は、マーカの上端と下端の座標をマーカの鉛直座標として検出する。図６の例では、画像が撮影された場合には、最も上のマーカの画像領域を鉛直座標の上端とし、最も下の鉛直座標を下端とする。
【００４２】
中心座標算出部５４は、検出したマーカの上下端の鉛直座標から、上下端の鉛直座標の中心座標（以下、「マーカの中心座標」という。）を算出する。図６の例では、例えば、上下端の鉛直座標を結んだ中心の座標をマーカの中心座標とする。
【００４３】
中心水平座標検出部５５は、マーカの中心座標が属するｘ座標である座標（以下、「中心水平座標」という。）を検出する。図６の例では、例えば、マーカの中心座標が属する画素１ピクセルの幅のｘ座標の列を中心水平座標とする。
【００４４】
比率算出部５６は、中心水平座標におけるマーカの色から各楕円（［第３の楕円］：黒色、［第２の楕円］：白色、［第１の楕円］：黒色、［第２の楕円］：白色、［第３の楕円］：黒色）の比率を算出する。
【００４５】
状態判定部５７は、各画像において、比率算出部５６により算出された比率からボールの角度を導き出して、ボールの回転状態を判定する。具体的には、状態判定部５７は、比率情報記憶部７２に記憶されるルックアップテーブルを参照して、比率算出部５６により算出された比率からボールの角度を導き出す。そして、状態判定部５７は、各画像に置けるマーカの角度を比較して、角度が異なっているようなら回転しており、角度に変化がないようなら滑っている等の判定を行う。
その後、状態判定部５７は、判定結果を状態記憶部７３に記憶させる。
【００４６】
出力制御部５８は、状態判定部５７により判定されて、状態記憶部７３に記憶された判定結果を表示するように出力部１８を制御する。
【００４７】
図８は、図７の機能的構成を有する図１の撮像装置１が実行するボール状態表示処理の流れを説明するフローチャートである。
ボール状態表示処理は、ユーザによる入力部１７への操作により開始される。
【００４８】
ステップＳ１１において、撮像制御部５１は、撮像部１６においてマーカを付したボールを撮像するように制御する。また、撮像制御部５１は、撮像部１６から出力される画像を取得し、画像記憶部７１に記憶させる。
【００４９】
ステップＳ１２において、マーカ検出部５２は、マーカ全体を検出する。詳細には、マーカ検出部５２は、画像記憶部７１に記憶される画像からマーカの領域を検出する。その結果、図６の例に示すようなフォーカルプレーン歪みの影響を受けたマーカが検出される。
【００５０】
ステップＳ１３において、鉛直座標検出部５３は、マーカの上下を検出する。即ち、鉛直座標検出部５３は、鉛直座標のうちマーカの上下端の座標を検出する。詳細には、鉛直座標検出部５３は、マーカの上端と下端の座標をマーカの鉛直座標として検出する。
鉛直座標検出部は、図６の例に示すように、マーカの上端と下端をマーカの鉛直座標として検出する。
【００５１】
ステップＳ１４において、中心座標算出部５４は、マーカの中心座標を検出する。
中心座標算出部は、図６の例では、例えば、上下端の鉛直座標を結んだ中心の座標をマーカの中心座標として検出する。
【００５２】
ステップＳ１５において、中心水平座標検出部５５、マーカの中心水平座標を検出する。
中心水平座標検出部は、図６の例では、例えば、マーカの中心座標が属する画素１ピクセルの幅のｘ座標の列を中心水平座標とする。
【００５３】
ステップＳ１６において、比率算出部５６及び状態判定部５７は、比率を算出し、角度に変換する。詳細には、比率算出部５６は、図６の例の場合、中心水平座標におけるマーカの色から各楕円（［第３の楕円］：黒色、［第２の楕円］：白色、［第１の楕円］：黒色、［第２の楕円］：白色、［第３の楕円］：黒色）の比率を算出する。そして、状態判定部５７は、各画像において、比率算出部５６により算出された比率からボールの角度を導き出して、ボールの回転状態を判定する。具体的には、状態判定部５７は、比率情報記憶部７２に記憶されるルックアップテーブルを参照して、比率算出部５６により算出された比率からボールの角度を導き出す。
【００５４】
ステップＳ１７において、状態判定部５７は、ボールの状態を判定する。詳細には、状態判定部５７は、各画像におけるマーカの角度を比較して、角度が異なっているようなら回転しており、角度に変化がないようなら滑っている等の判定を行う。
その後、状態判定部５７は、判定結果を状態記憶部７３に記憶させる。
【００５５】
ステップＳ１８において、出力制御部は、判定結果を表示する。即ち、状態判定部５７により判定されて、状態記憶部７３に記憶された判定結果を表示するように出力部１８を制御する。
その後、ボール状態表示処理を終了する。
【００５６】
なお、上述の実施形態では、検出精度を高めるために、第１の楕円の周りに複数の楕円を用いたが、第１の楕円のみでもボールの角度の判定に供することができる。また、９０度の角度を判定することができる形状として、対称的な形状の楕円形状を用いたが、非対称の形状を用いれば、１８０度の角度の判定を行うことができる。
【００５７】
また、上述の実施形態では、対称的な形状のマーカを単一の色で構成し、マーカの色とボールの色の比率で角度を特定するように構成したが、これに限られず、マーカを複数の色で構成することがきる。上述の実施形態では、形状により０度から９０度までの角度を検出可能であったが、形状に加えて色も角度を特定する要素とすることで、形状で０度〜９０度の範囲の角度を検出し、色で０度〜９０度の範囲，９０度〜１８０度の範囲，１８０度〜２７０度の範囲，２７０度〜３６０度の範囲のどの範囲に属しているかを判断することができる。即ち、色の位置関係によって、形状で検出した角度の検出点をどの範囲（０度〜９０度の範囲，９０度〜１８０度の範囲，１８０度〜２７０度の範囲，２７０度〜３６０度の範囲）にするかを特定することができるために、０度〜３６０度の全角度を検出することができる。
具体的には、例えば、マーカを、形状的に対称となる領域で分割し、当該領域を異なる色に変えたり、単にマーカの一部に異なる色を付したりするように構成することで、同一の形状が検出された場合であっても、色の位置関係が異なるため、０度〜９０度に加えて、９０度以上の角度を特定することができる。
また、色の代わりに、マーカの形状や、さらにマーカとの位置関係が明確となるような異なるマーカを加えて構成することでも、９０度以上の角度を検出することができる。
【００５８】
＜変形例＞
上述した実施形態では、例示したマーカの形状で０度から９０度、非対称な半楕円形状の組み合せの形状で１８０度のボールの角度を判定することができるように構成した。
本例では、以下に示すマーカを用いることで、０度から３６０度の全てのボールの角度を判定することができる。
【００５９】
以下、本例で用いるマーカについて説明する。
図９は、本変形例で用いられるマーカを説明するための図である。
本例のマーカは、図９（ａ）に模式的に示したように、外形形状が正円形状を呈しており、黒塗りで示す正円ＰＣ内に、インボリュート曲線の形状に類似した異なる２つの円弧（以下、上部側の円弧Ａ１を「第１の円弧Ａ１」といい、下部側の円弧Ａ２を「第２の円弧Ａ２」という。）が白抜きで描かれた形状となっている。また、以下において、円弧Ａ１及びＡ２を正円ＰＣの中心から見て内側寄りの形状を構成する線を内線といい、正円ＰＣの中心から見て外側寄りの形状を構成する線を外線という。
【００６０】
第１の円弧Ａ１と第２の円弧Ａ２は、中心側の内線形状が同一の形状となっているが、外形側の外線形状が異なる。即ち、外線形状が第１の円弧Ａ１に比して、第２の円弧Ａ２が離れており、第２の円弧Ａ２の方が第１の円弧Ａ１よりも太い線で描かれたような円弧になる。
【００６１】
このように正円ＰＣ内の円弧Ａ１，Ａ２を楕円形上とすることで、０度から１８０度において白黒の比率が同一にならないように角度を特定することが可能になる。さらに、第１の円弧Ａ１と第２の円弧Ａ２とでは、第２の円弧Ａ２の最も細い箇所が第１の円弧Ａ１の最も太い箇所よりも太いために、後述する白黒の比率において、同一の比率になることが無くなるために、１８０度から３６０度の範囲の角度を特定することが可能になる。したがって、本例のマーカでは、０度から３６０度の全てにおいてボールの角度を特定することができるようになる。
【００６２】
図９（ａ）に示すマーカは、以下の式で表すことができる。
まず、正円ＰＣの外形線は、以下の式（１０）及び（１１）で表すことができる。
ＰＣｘ＝Ｕ×ｃｏｓ（θ）・・・（１０）
ＰＣｙ＝Ｕ×ｓｉｎ（θ）・・・（１１）
なお、「ＰＣｘ」は正円ＰＣの外形線のｘ座標、「ＰＣｙ」は正円ＰＣの外形線のｙ座標を表す。「Ｕ」の値は後述するＴ，Ｄとの比率により形状を特定するものであり、本例では１３とし、「（θ）」はプロットする任意の角度である。
【００６３】
また、第１の円弧Ａ１の内線は、以下の式（１２）乃至（１４）で表すことができる。
Ｒ１＝Ｔ−（θ／Ｄ）・・・（１２）
Ａ１Ｉｘ＝Ｒ１×ｃｏｓ（θ）・・・（１３）
第１の円弧Ａ１Ｉｙ＝Ｒ１×ｓｉｎ（θ）・・・（１４）
なお、「Ａ１Ｉｘ」は第１の円弧Ａ１の内線のｘ座標、「Ａ１Ｉｙ」は第１の円弧Ａ１の内線のｙ座標を表す。「Ｄ」は定数であり、本例では２０とし、「Ｔ」は定数であり、本例では１０とすり、「（θ）」は０〜１８０度の任意の角度である。
【００６４】
また、第１の円弧Ａ１の外線は、以下の式（１５）及び（１６）で表すことができる。
Ａ１Ｏｘ＝（Ｒ１＋Ｓ）×ｃｏｓ（θ）・・・（１５）
Ａ１Ｏｙ＝（Ｒ１＋Ｓ）×ｓｉｎ（θ）・・・（１６）
なお、「Ａ１Ｏｘ」は第１の円弧Ａ１の外線のｘ座標、「Ａ１Ｏｙ」は第１の円弧Ａ１の外線のｙ座標を表す。
「Ｓ」は定数であり、本例では１とし、「（θ）」は０〜１８０度の任意の角度である。
【００６５】
また、第２の円弧Ａ２の内線は、以下の式（１７）乃至（１９）で表すことができる。
Ｒ２＝Ｔ−（θ−１８０／Ｄ）・・・（１７）
Ａ２Ｉｘ＝Ｒ２×ｃｏｓ（θ）・・・（１８）
Ａ２Ｉｙ＝Ｒ２×ｓｉｎ（θ）・・・（１９）
なお、「Ａ２Ｉｘ」は第２の円弧Ａ２の内線のｘ座標、「Ａ２Ｉｙ」は第２の円弧Ａ２の内線のｙ座標を表す。「Ｄ」は定数であり、本例では２０とし、「Ｔ」は定数であり、本例では１０とし、「（θ）」は１８０〜３６０度の任意の角度である。
【００６６】
また、第２の円弧Ａ２の外線は、以下の式（２０）及び（２１）で表すことができる。
Ａ２Ｏｘ＝（Ｒ２＋Ｓ）×ｃｏｓ（θ）・・・（２０）
Ａ２Ｏｙ＝（Ｒ２＋Ｓ）×ｓｉｎ（θ）・・・（２１）
なお、「Ａ２Ｏｘ」は第２の円弧Ａ２の外線のｘ座標、「Ａ２Ｏｙ」は第２の円弧Ａ２の外線のｙ座標を表す。「Ｓ」は定数であり、本例では２とし、「（θ）」は１８０〜３６０度の任意の角度である。
【００６７】
＊＊
図１０は、ボールの回転に伴うマーカの回転の状態を示す図である。
図１０に示すように、角度によって、マーカの円弧の見え方が異なる。このような形状の変化を、撮像装置１により判定する場合には、撮影した画像を二値化してラべリング処理をし、当該ラべリング処理を施した画像からマーカの領域を検出する。マーカ領域の検出は、検出対象の領域が縦、横に黒、白、黒、白、黒の順の模様になっているかを判定することにより得られる。次に、検出したマーカ領域の上下端から中心を求め、求めた中心のラインを解析して、マーカの中心の水平領域を読み取った場合、左端の黒領域、左端から２番目の白領域、左端から３番目の黒領域、左端から４番目の白領域、左端から５番目の黒領域から構成される線分における各領域の長さの比率を求める。本例においては、図１１に示すようなルックアップテーブルを用いて回転角度を一義的に求めることができる。
【００６８】
図１２は、ボールの回転に伴うマーカの各領域の比率を説明するための模式図である。なお、図中、マーカ上の矩形枠は、読み取りラインを示す。
図１１のルックアップテーブルによると、各領域の比率は、マーカが０度の時には、図１２（ａ）に示すように、１：２：２０：１：２となる。また、マーカが３０度に傾いた場合には、図１２（ｂ）に示すように、２．５：２：１７：１：３．５となり、９０度に傾いた場合には、図１２（ｃ）に示すように、５．５：２：１１：１：６．５となり、１５０度に傾いた場合には、図１２（ｄ）に示すように、８．５：２：５：１：９．５となり、３６０度に傾いた場合には、０度に相当し、図１２（ａ）と同様になり、１：２：２０：１：２となる。
【００６９】
このように本例では、マーカの各領域の比率から傾き角度が０度〜３６０度で逆算できるように構成される。なお、本例では、０度及び１８０度の時には注意が必要である。例えば、０度の時には、図１２（ｅ）に示すように、ボールの中心に近い円弧Ａ１及び円弧Ａ２の領域は読み取りラインには入らないように構成されている。即ち、本例では、水平方向に見て、２番目の白領域と、４番目の白領域とが読み取りライン上に位置しないよう構成される。また、１８０度のときも同様となる。
【００７０】
また、上述した実施形態と同様に、本例でもマーカの上下中心を水平方向に１ラインのみを読み取るため、ボールの角度の算出においてフォーカルプレーン歪についての補正がない。即ち、ローリングシャッタ方式は上から下１ラインずつ走査していくため、画像の下に行くほどマーカの画像は移動に伴ってずれていくことになる。このような画像でもマーカの上下中心の１ラインのみに着目すれば、ボールの角度の算出において画像の歪みは全く関係がない。また、フォーカルプレーン歪があってもマーカの垂直方向の中心を求めるために必要な上端と下端のＹ座標は変化しないため、ボールの角度の算出において影響を受けることがない。
【００７１】
したがって、本例では、マーカの形状に基づいて、マーカの上下中心の水平方向に１画素分のラインのマーカ幅の比率により回転角度を求めるため、複雑な画像処理を講ずる必要がなく、３６０度の回転に対応して、ボールの角度を判定することができる。その結果として、本例のように構成することにより、安価なカメラシステムを用いてもフォーカルプレーン歪による影響を全く受けることなく、また、補正のための画像処理をすることなくボールの角度を求めることができる。よって、計算量が減ることでハードおよびソフトにかかるコスト、電力等を削減することができる。
【００７２】
以上のように構成される撮像装置１は、撮像制御部５１と、マーカ検出部５２と、比率算出部５６と、状態判定部５７と、を備える。
撮像制御部５１は、所定の規則性を有する模様が付された物体に関する複数の画像を取得する。
マーカ検出部５２は、撮像制御部５１により取得された各画像における物体中の模様の位置を特定する。
比率算出部５６は、マーカ検出部５２により位置が特定された模様の所定方向への規則性の状態を各画像に対して算出する。
状態判定部５７は、比率算出部５６により各画像に対して算出された規則性の状態に基づいて、物体の状態を判定する。
これにより、撮像装置１においては、各画像に対して算出した所定方向への規則性の状態を判定するために、物体の状態の判定処理の負担を軽減することができる。
【００７３】
また、撮像装置１は、マーカ検出部５２により特定された模様の中心座標を算出する中心座標算出部５４を更に備える。
比率算出部５６は、中心座標算出部５４により算出された中心座標に対する所定方向への規則性の状態を算出する。
これにより、撮像装置１においては、中心座標から所定方向への規則性の状態を算出するために、物体の状態の判定処理の負担を軽減することができる。
【００７４】
また、比率算出部５６は、垂直方向に１画素分の幅に対応する中心座標に対する水平方向への規則性の状態を算出する。
これにより、撮像装置１においては、垂直方向に１画素分の幅に対応する中心座標に対する水平方向への規則性の状態を算出するため、物体の状態の判定処理の負担を軽減することができる。
【００７５】
状態判定部５７は、物体の滑りを物体の状態として判定する。
これにより、撮像装置１においては、物体の状態の判定処理を軽減しながらも、物体の滑りを判定することができる。
【００７６】
マーカは、指標中の色が相異なる複数の色のパターンからなる。
これにより、撮像装置１においては、指標の検出精度を高めることができる。
【００７７】
マーカは、指標中の色が相異なる複数のパターンの楕円形状からなる。
本実施例中では、上記マーカは、色や形状の規則性を有する模様のようになっている。
これにより、撮像装置１においては、指標の検出精度を高めることができる。
【００７８】
マーカは、所定方向への規則性が物体の３６０回転に対して非対称である。
これにより、０度から３６０度の範囲の指標を検出することができる。
【００７９】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上述の実施形態では、模様として表示されるマーカは白色と黒色の交互の規則性を有する形状のもとしたがこれに限られない。つまり、比率が算出できれば、白色と黒色とが交互に存在するマーカ以外にも複数の色を一色ずつ彩色したマーカでも良い。
【００８０】
上述の実施形態では、判定対象となるボールの撮影から、判定結果の表示まで一貫して行っていたが、少なくとも、ボールの軌跡が分かる画像を取得してボールの角度を導き出す処理を行えばよい。即ち、判定に係る処理以外の処理を他装置で行うように構成してもよい。
【００８１】
また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、ボール状態表示処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
【００８２】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図７の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図７の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００８３】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであっても良い。
【００８４】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ），Ｂｌｕ−ｒａｙ  Ｄｉｓｃ（ブルーレイディスク）（登録商標）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。
【００８５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【００８６】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００８７】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
所定の規則性を有する模様が付された物体に関する複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された各画像における物体中の模様の位置を特定する位置特定手段と、
前記位置特定手段により位置が特定された模様の所定方向への規則性の状態を各画像に対して算出する状態算出手段と、
前記状態算出手段により各画像に対して算出された規則性の状態に基づいて、前記物体の状態を判定する状態判定手段と、
を備えることを特徴とする状態判定装置。
［付記２］
前記位置特定手段により特定された模様の中心座標を算出する座標算出手段を更に備え、
前記状態算出手段は、前記座標算出手段により算出された中心座標に対する所定方向への規則性の状態を算出する、
ことを特徴とする付記１に記載の状態判定装置。
［付記３］
前記状態算出手段は、垂直方向に１画素分の幅に対応する前記中心座標に対する水平方向への規則性の状態を算出する、
ことを特徴とする付記２に記載の状態判定装置。
［付記４］
前記状態判定手段は、前記物体の滑りによる移動を前記物体の状態として判定する、
ことを特徴とする付記１から３の何れか１つに記載の状態判定装置。
［付記５］
前記模様は、相異なる複数の色のパターンからなる、
ことを特徴とする付記１から４の何れか１つに記載の状態判定装置。
［付記６］
前記模様は、相異なる複数の色のパターンの楕円形状からなる、
ことを特徴とする付記１から４の何れか１つに記載の状態判定装置。
［付記７］
前記模様は、前記所定方向への規則性が前記物体の３６０回転に対して非対称である、
ことを特徴とする付記１から５の何れか１つに記載の状態判定装置。
［付記８］
所定の規則性を有する模様が付された物体に関する複数の画像を取得する画像取得ステップと、
前記画像取得ステップにより取得された各画像における物体中の模様の位置を特定する位置特定ステップと、
前記位置特定ステップにより位置が特定された模様の規則性の状態を算出する算出ステップと、
前記算出ステップにより各画像に対して算出された規則性の状態に基づいて、前記物体の状態を判定する状態判定ステップと、
を含むことを特徴とする状態判定方法。
［付記９］
コンピュータを、
所定の規則性を有する模様が付された物体に関する複数の画像を取得する画像取得手段、
前記画像取得手段により取得された各画像における物体中の模様の位置を特定する位置特定手段、
前記位置特定手段により位置が特定された模様の所定方向への規則性の状態を算出する算出手段、
前記算出手段により算出された規則性の状態に基づいて、前記物体の状態を判定する状態判定手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００８８】
１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・撮像制御部，５２・・・マーカ検出部，５３・・・鉛直座標検出部，５４・・・中心座標算出部，５５・・・中心水平座標検出部，５６・・・比率算出部，５７・・・状態判定部，５８・・・出力制御部，７１・・・画像記憶部，７２・・・比率情報記憶部，７３・・・状態記憶部
【図１】
2015083961.tif 000003
【図２】
2015083961.tif 000004
【図３】
2015083961.tif 000005
【図４】
2015083961.tif 000006
【図５】
2015083961.tif 000007
【図６】
2015083961.tif 000008
【図７】
2015083961.tif 000009
【図８】
2015083961.tif 000010
【図９】
2015083961.tif 000011
【図１０】
2015083961.tif 000012
【図１１】
2015083961.tif 000013
【図１２】
2015083961.tif 000014