(57)【要約】【課題】回転する物体を同一のカメラで撮影する場合に，物体がカメラ視野内で最適な大きさとなるように自動調節する。【解決手段】回転体検出部１３が，ビデオカメラ１５から回転している物体の画像を入力し，その回転している物体が画像上で占有する領域を画像処理によって検出する。倍率算出部１４は，求めた占有領域をもとに，ビデオカメラ１５のズーム倍率を決定し調節することで，２回転目の撮影より回転する物体を最適な大きさで撮影する。【選択図】図１
2008227636.tif 000002
【特許請求の範囲】
【請求項１】
回転する物体を撮影した画像を表示または記録する回転物体画像処理装置であって，
回転する物体をカメラにより断続的または連続的に撮影した画像を入力し，各画像上で前記回転する物体が占有している物体領域を画像処理によって検出し，物体が１回転するまでの間に撮影された画像における物体領域を重ね合わせることにより，画像上で物体が回転中に占める領域を算出し，その領域情報を記憶装置に記憶する回転体検出手段と，
前記記憶装置に記憶された領域情報をもとに，前記回転する物体を撮影するカメラのズーム倍率を，前記物体が回転中に占める領域が画像上における所定の範囲内で最大となるように決定する倍率算出手段と，
前記決定されたズーム倍率を設定したカメラにより前記回転する物体を再度撮影し，撮影した画像を表示または記録する手段とを備える
ことを特徴とする回転物体画像処理装置。
【請求項２】
回転する物体を撮影した画像を表示または記録する回転物体画像処理装置であって，
回転する物体をカメラにより断続的または連続的に撮影した画像を入力し，各画像上で前記回転する物体が占有している物体領域を画像処理によって検出し，物体が１回転するまでの間に撮影された画像における物体領域を重ね合わせることにより，画像上で物体が回転中に占める領域を算出し，その領域情報を記憶装置に記憶する回転体検出手段と，
前記記憶装置に記憶された領域情報をもとに，前記物体が１回転するまでの間に撮影された画像を拡大する倍率を，前記物体が回転中に占める領域が画像上における所定の範囲内で最大となるように決定する倍率算出手段と，
前記決定された倍率により前記物体が１回転するまでの間に撮影された画像を拡大し，拡大した画像を表示または記録する手段とを備える
ことを特徴とする回転物体画像処理装置。
【請求項３】
回転する物体を撮影した画像を表示または記録する回転物体画像処理方法であって，
回転する物体をカメラにより断続的または連続的に撮影した画像を入力し，各画像上で前記回転する物体が占有している物体領域を画像処理によって検出し，物体が１回転するまでの間に撮影された画像における物体領域を重ね合わせることにより，画像上で物体が回転中に占める領域を算出し，その領域情報を記憶装置に記憶する回転体検出過程と，
前記記憶装置に記憶された領域情報をもとに，前記回転する物体を撮影するカメラのズーム倍率を，前記物体が回転中に占める領域が画像上における所定の範囲内で最大となるように決定する倍率算出過程と，
前記決定されたズーム倍率を設定したカメラにより前記回転する物体を再度撮影し，撮影した画像を表示または記録する過程とを有する
ことを特徴とする回転物体画像処理方法。
【請求項４】
回転する物体を撮影した画像を表示または記録する回転物体画像処理方法であって，
回転する物体をカメラにより断続的または連続的に撮影した画像を入力し，各画像上で前記回転する物体が占有している物体領域を画像処理によって検出し，物体が１回転するまでの間に撮影された画像における物体領域を重ね合わせることにより，画像上で物体が回転中に占める領域を算出し，その領域情報を記憶装置に記憶する回転体検出過程と，
前記記憶装置に記憶された領域情報をもとに，前記物体が１回転するまでの間に撮影された画像を拡大する倍率を，前記物体が回転中に占める領域が画像上における所定の範囲内で最大となるように決定する倍率算出過程と，
前記決定された倍率により前記物体が１回転するまでの間に撮影された画像を拡大し，拡大した画像を表示または記録する過程とを有する
ことを特徴とする回転物体画像処理方法。
【請求項５】
請求項３または請求項４記載の回転物体画像処理方法を，コンピュータに実行させるための回転物体画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，回転する物体（部材）を撮影し記録する装置であって，撮影した物体がカメラ視野内で最適な大きさになるように自動調整する回転物体画像処理装置に関し，例えば，生産ラインなどにおいて，製造中あるいは製造済みの部材の映像（または複数枚の画像）を記録する装置に関するものである。
【背景技術】
【０００２】
従来，大きさの異なる複数の部材を，人手によって，順次，映像で記録・保存する際，部材がカメラ視野に収まるように，オペレータは，ズーム倍率をその都度調節する必要があった。特に，部材の仕上がり状態を各方向から確認するため，部材を回転させる場合，部材がカメラ視野から外れないように，ズーム倍率を細かく調整する必要があった。
【０００３】
一方，人手によらず，ズーム倍率を自動調整する方法として，移動する物体を撮影するときに，パンチルトカメラなどで追跡しながら，物体がカメラ視野内で最適な大きさとなるような方式が提案されている。
【０００４】
（１）画像処理を用いて，撮影対象物の輪郭を検出し，対象の大きさからズームレンズを制御して対象が最適な大きさになるように撮影する（特許文献１）。
【０００５】
（２）肌色検出で人物領域を抽出し，該当領域を切り出すことで追尾とズーム動作を実現する（特許文献２，特許文献３）。
【０００６】
（３）また，肌色検出で顔や手を検出することで，人物の大きさを獲得し，パンチルトカメラで，追尾・自動ズームを行う（特許文献４）。
【特許文献１】特開平９−２３８２７９号公報
【特許文献２】特開平６−２６８８９４号公報
【特許文献３】特開２００４−２８２５３５号公報
【特許文献４】特開平５−２１９４２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記の特許文献１〜４に記載されているような方法を用いると，部材が回転し，見かけの大きさが変わったときに，ズーム倍率の拡大と縮小が繰り返される。しかし，部材の回転に連動してズーム倍率が変化すると，部材を前や横から見たときの（三角法図面の正面図や側面図に相当する）縮尺が変わるため，全体的な外観を把握するというニーズに答えられない。つまり，部材が回転中のズーム倍率を一定にし，全体像を撮影することができないといった問題があった。
【０００８】
本発明は上記問題点の解決を図り，回転する物体を最適なズーム倍率で撮影する装置の提供を目的とする。特に，回転する物体を同一のカメラで撮影する場合に，物体がカメラ視野内で最適な大きさとなるように自動調節することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は，上記課題を解決するため，特に回転体検出手段と倍率算出手段とを有し，回転体検出手段は，カメラから回転している物体の画像を入力し，その回転している物体が画像上で占有する領域を画像処理によって検出し，倍率算出手段が，求めた占有領域をもとに，カメラのズーム倍率を決定・調節することで，回転する物体を最適な大きさで撮影することを特徴とする。以下，撮影される物体が製品の部材である例を説明する。
【００１０】
この発明では，まず，カメラのズーム倍率を広角に設定して回転する部材を撮影し，画像処理によって，部材領域を検出する。このとき，部材を載せている回転台が１回転するまで，フレーム画像内の部材領域を格納しておく。１回転後に，格納してある全ての部材領域を重ね合わせ，部材が回転中に占める領域を求める。求めた部材占有領域をもとに，カメラのズーム倍率を決定・調節し，映像記録を開始する。
【００１１】
また，本発明は，カメラのズーム倍率を広角に設定し，部材が１回転する際の画像内の部材領域を，各フレームにおいて検出し，１回転後に，格納してある全ての部材領域を重ね合わせることで，部材が回転中に占める領域を求め，求めた部材占有領域をもとに，カメラのズーム倍率を決定・調節し，映像を記録することを特徴とする。
【００１２】
もしくは，本発明は，１回転目と２回転目のカメラのズーム倍率を一定にしておき，２回転目は，回転中の部材占有領域を，取得したフレーム画像から抽出し，拡大することで，擬似的にズーム画像を生成することを特徴とする。
【００１３】
もしくは，本発明は，回転中の部材占有領域から算出されるズーム倍率をフレーム画像に結び付け，ズーム倍率とフレーム画像を共に保存する。１回転後に，最小ズーム倍率を求め，求めた最小ズーム倍率に基づいて保存されているフレーム画像を拡大することで，ズーム画像を得ることを特徴とする。
【００１４】
上記特許文献１〜４の技術では，対象物の領域を蓄積して重畳させる手段がないため，回転物を対象としたズーム倍率の自動調整は実現できなかった。本発明は，撮影対象物である回転する部材が，カメラ視野内で最適の大きさになるようズーム倍率を調整または擬似的にズーム画像を生成する手段を有しており，この点が従来技術と大きく異なる。
【発明の効果】
【００１５】
本発明によれば，大きさの異なる複数の物体の映像を回転させて，順次，記録・保存する際，ズーム倍率が自動的に設定されることから，オペレータはズーム倍率をその都度調節する必要がなくなり，撮影に伴う作業負担を大幅に軽減することができる。また，本発明は，記録する映像として，一つの物体の回転中には一定のズーム倍率で撮影した結果が得られるので，物体の見かけ上の大きさが１回転の間に変化することはない。
【発明を実施するための最良の形態】
【００１６】
図１に，本発明の実施の形態に係わる装置のブロック図を示す。なお，以下の説明では，説明をわかりやすくするため，物体の回転方向は鉛直軸回りとして説明するが，鉛直軸に直交する回転軸回り，あるいは，回転軸が時間と共に変化するような場合でも同様の方法を用いることができる。
【００１７】
図１において，回転物体画像処理装置１０は，外部との信号を入出力する信号入出力インタフェース（Ｉ／Ｆ）１１，１２と，回転体検出部１３と，倍率算出部１４とを備える。また，この例では，回転物体画像処理装置１０の信号入出力インタフェース１１には，ビデオカメラ１５と回転台１６が接続され，信号入出力インタフェース１２には，表示装置１７と映像が格納される磁気ディスク装置その他の記録媒体１８が接続されている。回転体検出部１３および倍率算出部１４は，ＣＰＵとメモリとソフトウェアプログラム等によって実現することができる。
【００１８】
以下，図１に示すブロック図中の各部の処理内容について詳細に説明する。本実施の形態では，ビデオカメラ１５によって動画像を撮影する例について説明するが，ビデオカメラではなく，通常のカメラによって一定の時間ごとに連続してシャッターを切り，連続写真のように撮影する場合にも，ビデオカメラの場合と同様に本発明を適用することができる。すなわち，本発明は，連続的に撮影した画像（動画像もしくは映像）でも，断続的に撮影した画像でも，どちらでも適用することができる。
【００１９】
〔ビデオカメラ１５〕
ビデオカメラ１５では，ＣＣＤなどで検出した光強度から，一定のサンプリング時間間隔（例えば，３３ｍｓ）で画像を形成し，さらに動画像を生成する。
【００２０】
画像の１つの画素は，カラー画像の場合，赤成分（Ｒ），緑成分（Ｇ），青成分（Ｂ）の階調値で与えられ，白黒画像の場合，輝度の階調値で与えられる。例えば，整数ｘ，ｙで示される座標（ｘ，ｙ）の画素の赤成分（Ｒ），緑成分（Ｇ），青成分（Ｂ），輝度（Ｉ）の階調値は，それぞれ，ディジタル値Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ），Ｉ（ｘ，ｙ）で与えられる。なお，以下の計算で使用する画素値には，輝度（白黒濃淡値）を用いる。
【００２１】
〔回転体検出部１３〕
回転体検出部１３は，信号入出力インタフェース１１を介してビデオカメラ１５から映像（または画像）を入力するとともに，回転台１６に設けられた回転センサなどにより，回転台１６に載置された物体の回転角度を入力し，ビデオカメラ１５から入力した映像のフレーム画像と物体の回転角度とを対応づけて記憶する。回転角度を回転台１６から入力するのではなく，回転台１６を回転させるアクチュエータから入力してもよく，また，画像解析により回転角度を検出する実施も可能である。
【００２２】
本実施形態において，フレーム画像から回転体を検出する方法は，例えば背景差分法と局所相関法とを組み合わせる方法である。
【００２３】
背景差分法は，予め回転体を含まない画像を背景画像として用意しておき，次に，回転体が含まれる画像との差分を取り，差の大きい部分を物体領域とする方法である。背景差分法は，より短い処理時間で処理可能であるが，明るさの変動などのノイズに弱い欠点がある。
【００２４】
局所相関法は，まず，画像を格子状のブロック（例えば，８×８画素）に分割する。次に，あるサンプリング時刻のフレームと次のサンプリング時刻で取得したフレームとの間で，近傍にあるブロック同士の相関値を求め，その大小によって，ブロックが移動したかどうかを判定する。本処理は，計算量が多いため，画像サイズを大きくできない，相関計算を実施するブロック間の距離が制限され，動きの早い物体に追従できないなどの欠点があるが，背景差分法よりもノイズに対する耐性が大きい。そこで，背景差分法で，大まかな回転体領域を求め，次に，局所相関法によって，より細かく回転体領域を決定する手順を用いる。
【００２５】
処理手順の説明の前に，サブ区画，同一物体のサブ区画の集まりであるサブ区画テンプレート，追跡ブロックについて，図２に示し，これらを説明する。図２において，２０はビデオカメラ１５から得た取得画像，２１はサブ区画，２２はサブ区画テンプレート，２３は追跡ブロックである。
【００２６】
サブ区画２１は，縦ｎ画素，横ｎ画素の正方形からなる。サブ区画テンプレート２２は，サブ区画２１の集まりであり，回転体の領域を示す。追跡ブロック２３は，サブ区画テンプレート２２を取り囲むように設定し，サブ区画テンプレート２２の外側に上下左右ｍ画素の間を設けた領域である。局所相関法による探索は，追跡ブロック２３で囲まれた領域の中で実行する。なお，本実施形態では，回転体の画像領域を，サブ区画テンプレート２２で表すことにする。
【００２７】
背景差分法を用いて回転体が存在する可能性がある領域を求め，次に局所相関法を用いて回転体検出のための有効サブ区画を算出する。図３は，回転体検出部１３による回転体検出手順を示す図である。以下，回転体検出部１３が，撮影画像に回転体が含まれているかを確認し，有効サブ区画を検出する手順を，図３に従って説明する。
【００２８】
（ａ）ステップＳ１０の処理
ビデオカメラ１５で得たビットマップ形式の画像を一定周期（サンプリング時間毎）で取り込む。取得した現タイミングの画像を２系列に分け，次のステップＳ１１，Ｓ１２において異なるカットオフ周波数を持つローパスフィルタに通す。
【００２９】
（ｂ）ステップＳ１１の処理
ローパスフィルタのカットオフ周波数を低く設定した動きの遅い現フレームの背景画像を得る。このカットオフ周波数は，回転体の移動速度に対応して求めることが可能であり，対象とする回転体に合わせて可変に設定できるようにする。背景画像をサブ区画（ｎ×ｎ画素の正方形）に分割する。
【００３０】
（ｃ）ステップＳ１２の処理
ローパスフィルタのカットオフ周波数を，ステップＳ１１のローパスフィルタよりも高く設定し，動きのある物体を残したまま，蛍光灯のちらつきなどの影響を除いた画像を得る。このカットオフ周波数もステップＳ１１で用いたローパスフィルタのカットオフ周波数と同様に，対象の回転体に対応して可変に設定できるようにする。この画像を現サンプリング時点での現画像とする。ステップＳ１１と同様にサブ区画（ｎ×ｎ画素の正方形）に分割する。
【００３１】
（ｄ）ステップＳ１３の処理
現画像（以下，現フレーム画像と記載）と背景画像において，両者の同じ位置のサブ区画（ｎ×ｎ画素の正方形）の１つを取り出す。
【００３２】
（ｅ）ステップＳ１４の処理
両画像の同位置にあるサブ区画の画素間の差の総和Ｔを次式で計算する。
【００３３】
Ｔ＝Σ｜ＩC （ｘ，ｙ）−ＩB （ｘ，ｙ）｜
（Σは，ｘ，ｙ∈ＲSUB の総和を表す）
ここで，ＩC （ｘ，ｙ）は，現画像における画素位置（ｘ，ｙ）の白黒濃淡値，ＩB （ｘ，ｙ）は背景画像における画素位置（ｘ，ｙ）の白黒濃淡値，ＲSUB はサブ区画を表す。算出値Ｔが，所定の閾値Ｔth以上のときには背景画像とは異なることを示しており，動きがある移動サブ区画と判定し，ステップＳ１５に進む。それ以外の場合には，ステップＳ１３に戻り，次のサブ区画を取り出す。
【００３４】
（ｆ）ステップＳ１５の処理
局所相関法を用い，ステップＳ１４で動きがあると判定した移動サブ区画が，前フレーム画像のどのサブ区画から移動してきたかを探し出す。移動サブ区画として注目している現フレーム画像のサブ区画Ｓｐ（ｘ，ｙ）が，前フレーム画像のどのサブ区画Ｓｑ（ｘ′，ｙ′）から移動してきたのかを，相関演算を用いて探索する。サブ区画Ｓｐ（ｘ，ｙ），Ｓｑ（ｘ′，ｙ′）との相関値Ｃを次式によって算出し，予め定めた閾値から移動したか否か判断を行う。
【００３５】
Ｃ＝Σ｜Ｉp （ｘ，ｙ），Ｉq （ｘ′，ｙ′）｜
（Σは，ｘ，ｙ∈Ｒｐおよびｘ′，ｙ′∈Ｒｑの総和を表す）
上式において，Ｉp （ｘ，ｙ），Ｉq （ｘ′，ｙ′）は，各サブ区画Ｓｐ（ｘ，ｙ），Ｓｑ（ｘ′，ｙ′）内の画素の白黒濃淡値，Ｒｐ，Ｒｑは，サブ区画領域内であることを示す。
【００３６】
動きの有無を，いわゆるゼロ比較法を用いて判定する。注目しているサブ区画と同位置にある前フレームのサブ区画との相関値Ｃ０と，走査範囲内の全サブ区画との相関計算から求めた相関値の最小値Ｃ１との差Ｑを，以下の式で算出する。
【００３７】
Ｑ＝Ｃ０−Ｃ１
（ｇ）ステップＳ１６の処理
算出した差Ｑと移動判定の閾値Ｑthとを比較する。
【００３８】
Ｑ＞Ｑth
Ｑが閾値Ｑthより大きい場合，注目しているサブ区画Ｓｐ（ｘ，ｙ）は，Ｓｑ（ｘ′，ｙ′）から移動したサブ区画と判定し，有効サブ区画として，ステップＳ１７の処理を行う。そうでなければ，ステップＳ１７の処理をスキップする。
【００３９】
（ｈ）ステップＳ１７の処理
有効サブ区画の前フレーム画像からの移動の速さ，移動方向を算出する。前フレーム画像の移動元のサブ区画の左上端点を（ｘLeftTop1，ｙLeftTop1），注目している現フレーム画像のサブ区画の左上端点を（ｘLeftTop2，ｙLeftTop2），サブ区画の移動ベクトル（ｘLeftTop2−ｘLeftTop1，ｙLeftTop2−ｙLeftTop1）とすると，移動の速さ，移動の方向は次式となる。
【００４０】
移動の速さ＝
｛（ｘLeftTop2−ｘLeftTop1）2 ＋（ｙLeftTop2−ｙLeftTop1）2 ｝1/2 
移動の方向＝
ｔａｎ-1｛（ｙLeftTop2−ｙLeftTop1）／（ｘLeftTop2−ｘLeftTop1）｝
（ｉ）ステップＳ１８の処理
全てのサブ区画での背景の確認を終えるまで，ステップＳ１３へ戻り，同様に処理を繰り返す。一連の処理により，全ての有効サブ区画と各有効サブ区画の前フレームからの移動の速さ，移動ベクトルの方向を得る。
【００４１】
次に，上述で求めた有効サブ区画をもとに，回転体の画像領域を抽出する。図４は，回転体検出部１３による回転体画像領域の候補の抽出手順を示す図である。図３の処理で得た有効サブ区画の集合より，回転体の確認を行うための有効サブ区画テンプレートを生成し，有効サブ区画テンプレートから追跡ブロック候補を設定する。以下，回転体検出部１３が，回転体画像領域の候補を抽出する手順を，図４に従って説明する。
【００４２】
（ａ）ステップＳ２０の処理
有効サブ区画の集合から１つを取り出し，有効サブ区画テンプレートとする。
【００４３】
（ｂ）ステップＳ２１，Ｓ２２の処理
有効サブ区画の次の１つを取り出し，両者の移動の速さ，移動方向が一致するかを比較する。一致する場合には，ステップＳ２３に進み，一致しない場合には，ステップＳ２４に進む。
【００４４】
（ｃ）ステップＳ２３の処理
両有効サブ区画を結合して一つのサブ区画テンプレートを生成する。このサブ区画テンプレートを有効サブ区画テンプレートとする。
【００４５】
（ｄ）ステップＳ２４の処理
有効サブ区画を別の有効サブ区画テンプレートとして設定する。
【００４６】
（ｅ）ステップＳ２５の処理
全ての有効サブ区画との確認を終えるまで，ステップＳ２１からステップＳ２４の処理を繰り返す。
【００４７】
（ｆ）ステップＳ２６の処理
ステップＳ２３，Ｓ２４で定義した全ての有効サブ区画テンプレートの上下左右端からｍ画素を加えた領域を合わせて追跡ブロック候補として設定する。
【００４８】
追跡ブロック候補の領域は，次のようにして算出する。ステップＳ２６の有効サブ区画テンプレートの上下左右端を（ｘsub-min ），（ｘsub-max ），（ｙsub-min ），（ｙsub-max ）とする。この上下左右端で囲まれた領域の外側に予め決めた画素値ｍを与えた領域を（＞０）とすると，追跡ブロック候補の領域は以下となる。
【００４９】
ｘsub-min −ｍ≦ｘ≦ｘsub-max ＋ｍ
ｙsub-min −ｍ≦ｙ≦ｙsub-max ＋ｍ
また，追跡ブロック候補の中心位置（ｘtrk-cen ，ｙtrk-cen ）は以下となる。
【００５０】
ｘtrk-cen ＝（ｘsub-min ＋ｘsub-max ）／２
ｙtrk-cen ＝（ｙsub-min ＋ｙsub-max ）／２
図４の処理で得た追跡ブロック候補の領域から回転体を決定するための追跡ブロックを抽出し，回転体を決定する。回転体の決定は，回転体の移動ベクトルを算出して行う。
【００５１】
図５は，回転体検出部１３による回転体決定手順を示す図である。以下，回転体検出部１３が，回転体を決定する手順を，図５に従って説明する。
【００５２】
（ａ）ステップＳ３０の処理
追跡ブロック候補に存在する回転体の前フレーム画像からの移動ベクトルを算出する。前フレーム画像の追跡ブロック中心位置（ｘtrk-cen1，ｙtrk-cen1），現フレーム画像の追跡ブロック候補の中心位置を（ｘtrk-cen2，ｙtrk-cen2）とすると，現フレーム画像の回転体の移動ベクトル（ｘtrk-cen2−ｘtrk-cen1，ｙtrk-cen2−ｙtrk-cen1）の移動の速さｖtrk (k) と移動方向ベクトル（ｄtrk-x ，ｄtrk-y ）(k) は，以下となる。
【００５３】
移動の速さｖtrk (k) ＝
｛（ｘtrk-cen2−ｘtrk-cen1）2 ＋（ｙtrk-cen2−ｙtrk-cen1）2 ｝1/2 
移動の方向＝
ｔａｎ-1｛（ｙtrk-cen2−ｙtrk-cen1）／（ｘtrk-cen2−ｘtrk-cen1）｝
（ｂ）ステップＳ３１の処理
現フレーム画像の追跡ブロック候補の１つを取り出す。
【００５４】
（ｃ）ステップＳ３２の処理
前フレーム画像の追跡ブロックの１つを取り出す。
【００５５】
（ｄ）ステップＳ３３，Ｓ３４の処理
現フレーム画像の移動ベクトルの算出を行い，前フレーム画像での移動ベクトルから追跡条件を算出する。
【００５６】
追跡条件は以下となる。ｖth，ｄthは所定の閾値である。
【００５７】
｜ｖtrk (k) −ｖtrk (k-1) ｜＜ｖth
｜ｄtrk-x (k) ・ｄtrk-x (k-1) ＋ｄtrk-y (k) ・ｄtrk-y (k-1) ｜＞ｄth
ここでｖtrk (k-1) ，（ｄtrk-x ，ｄtrk-y ）(k-1) は，前フレーム画像の移動ベクトルの移動の速さと移動ベクトルの方向を示している。
【００５８】
追跡ブロック候補と追跡ブロックの移動ベクトルの速さの差が一定値以下，長さが一定値以上の場合には，両追跡ブロックの回転体が同一の追跡対象と見なす。長さは移動方向ベクトルの内積で行う。追跡条件を満たす場合には，ステップＳ３５に進み，追跡条件を満たさない場合には，ステップＳ３８に進む。
【００５９】
（ｅ）ステップＳ３５の処理
追跡条件としてフレーム連続条件を設定した場合の連続数の設定と確認を行う。フレーム連続数をＦＲとし，ＦＲに１を加える。
【００６０】
（ｆ）ステップＳ３６の処理
ＦＲが閾値ＦＲthより大きいかどうかにより，フレーム連続条件を満たすかどうかを判定し，フレーム連続条件を満たす場合には，ステップＳ３７に進み，満たさない場合には，ステップＳ３９に進む。
【００６１】
（ｇ）ステップＳ３７の処理
追跡ブロック候補の領域に回転体が存在すると認識し，追跡ブロック候補を現フレーム画像の追跡ブロックに置き換え保持する。その後，ステップＳ３９に進む。
【００６２】
（ｈ）ステップＳ３８の処理
追跡条件を満たさないときには，現フレーム画像で新規に現れた別の回転体とみなし，追跡ブロック候補を新規の追跡ブロックとして保持する。追跡条件ＦＲ＝１を設定し，ステップＳ３９に進む。
【００６３】
（ｉ）ステップＳ３９の処理
前フレームの全ての追跡ブロックの確認を終えるまで，ステップＳ３２からＳ３８の処理を繰り返す。この一連の処理により取得した現フレーム画像で認識した回転体が存在する全ての追跡ブロックを得る。各追跡ブロックの回転体は，それぞれ異なる回転体である。
【００６４】
〔倍率算出部１４〕
図６は，ズーム倍率の算出方法を説明するための図である。
【００６５】
倍率算出部１４は，物体がカメラ視野内で最適な大きさになるための倍率を算出する。なお，撮影開始時は，回転体がカメラ視野からはみ出ないように，ズーム倍率は広角に設定されているものとする。
【００６６】
前述した処理により，回転体検出部１３で求めた追跡ブロックのサブ区画テンプレートの上下辺，左右辺は，
ｙ＝ｙsub-min 
ｙ＝ｙsub-max 
ｘ＝ｘsub-min 
ｘ＝ｘsub-max 
で表される。このとき，図６に示したように，サブ区画テンプレートの各辺と画像の対角線との交点を求め，画像の中心からの距離によって視野範囲を決定する。画像の横方向，縦方向の画素サイズが，それぞれｘsize，ｙsizeのとき，画像の左上端点を原点として右下端点を通る対角線の式は，
ｙ＝（ｙsize／ｘsize）・ｘ
で表されることから，各辺との交点は，次のようになる。
【００６７】
（（ｘsize／ｙsize）・ｙsub-min ，ｙsub-min ）
（（ｘsize／ｙsize）・ｙsub-max ，ｙsub-max ）
（（ｙsize／ｘsize）・ｘsub-min ，ｘsub-min ）
（（ｙsize／ｘsize）・ｘsub-max ，ｘsub-max ）
算出した交点と画像の中心との距離を求め，距離が最大となる交点を決定する。例えば，上辺と対角線の交点の画像中心点からの距離は，
［｛（ｘsize／ｙsize）・ｙsub-min −（ｘsize／２）｝2 ＋
｛ｙsub-min −（ｙsize／２）｝2 ］1/2 
となる。画像中心点と各交点間の距離を比較したときに，最大となる距離をＬcross (k) とする。
【００６８】
回転台１６が１回転する間，上記計算を逐次行い，全てのフレーム画像に対して最大距離Ｌcross (k) を算出する。１回転終了後に，距離Ｌcross (k) （ｋ＝ｋst，…，ｋen  ；ただし，ｋstは回転開始時のフレーム値，ｋenは回転終了時のフレーム値を表す）の中から最大値Ｌmax を求める。
【００６９】
Ｌmax ＝ｍａｘ（Ｌcross (kst) ，…，Ｌcross (ken) ）
ここで，ｍａｘ（）は，最大値を与える関数である。
【００７０】
求めるズーム倍率Ｚr は，画像の左上端点から画像中心までの距離と，最大値Ｌｍａｘとの比で与えられる。
【００７１】
Ｚr ＝｛（ｘsize／２）2 ＋（ｙsize／２）2 ｝1/2 
〔第１の処理フロー〕
次に，ズーム倍率を自動的に算出し，回転している物体を最適な大きさで撮影するまでの第１の処理フローを図７に示す。なお，ビデオカメラ１５へは適当な信号を与えることで，ズーム倍率を自動設定できるものとし，ビデオカメラ１５側の制御方法についての説明は省略する。以下，図７に示す（ａ）〜（ｆ）に従って，処理の流れを説明する。
【００７２】
（ａ）ビデオカメラ１５のズーム倍率を広角に設定し，回転台１６に部材を載せ，回転を開始する。
【００７３】
（ｂ）回転体検出部１３において，フレーム画像中の回転体を検出し，回転体が占める画像領域からサブ区画テンプレートの各辺の位置を算出する。
【００７４】
（ｃ）回転台１６が１回転する間の，サブ区画テンプレートの各辺と対角線との交点を求め，画像中心までの距離を算出する。距離の最大値Ｌcross (k) を装置内のメモリまたはレジスタに記憶する。
【００７５】
（ｄ）回転台１６が１回転を終えたら，全フレーム画像の距離Ｌcross (k) の中から最大値Ｌmax を得る。画像の左上端点から画像中心までの距離と，最大値Ｌmax との比を基に，ズーム倍率Ｚr を算出する。
【００７６】
（ｅ）ビデオカメラ１５に対し，求めたズーム倍率に基づいた信号を与え，映像記録のための撮影を開始する。
【００７７】
（ｆ）回転台１６が適当な回転数に達したところで，撮影を終了し，表示装置１７へ記録した映像を表示したり，記録媒体１８へ格納したりする処理を実行する。
【００７８】
〔第２の処理フロー〕
上述の第１の処理フローによる方法は，１回転目では広角にし，２回転目ではズーム倍率を調節することで部材を最適な大きさで撮影する。以下では，１回転目と２回転目のビデオカメラ１５のズーム倍率を一定にしておき，２回転目は，回転中の部材占有領域を，取得したフレーム画像から抽出し拡大することで，擬似的にズーム画像を生成する方法について述べる。
【００７９】
図８は，抽出領域の設定方法を説明するための図である。倍率算出部１４で述べたように，物体が１回転した後に，最大値Ｌmax が求まる。Ｌmax を用いて，図８に示すような矩形を描くと，物体がどのような姿勢になっても矩形の中に入る。そこで，２回転目では，Ｌmax で決まる矩形領域を抽出し，切り出した画像を，元の画像サイズへ拡大することで擬似的なズーム映像を取得できる。以下，本方法に係わる処理の流れを，図９に示す（ａ）〜（ｈ）に従って説明する。
【００８０】
（ａ）ビデオカメラ１５のズーム倍率を広めに設定し，回転台１６に部材を載せ，回転を開始する。
【００８１】
（ｂ）回転体検出部１３において，フレーム画像中の回転体を検出し，回転体が占める画像領域からサブ区画テンプレートの各辺の位置を算出する。
【００８２】
（ｃ）回転台１６が１回転する間の，サブ区画テンプレートの各辺と対角線との交点を求め，画像中心までの距離を算出する。距離の最大値Ｌcross (k) を装置内のメモリまたはレジスタに記憶する。
【００８３】
（ｄ）回転台１６が１回転を終えたら，全フレーム画像の距離Ｌcross (k) の中から最大値Ｌmax を得る。
【００８４】
（ｅ）Ｌmax で決まる矩形を設定する。
【００８５】
（ｆ）映像記録のための撮影を開始し，取得した画像から，Ｌmax で決まる矩形領域を抽出する。
【００８６】
（ｇ）抽出した矩形領域を拡大処理し，元の画像サイズとする。
【００８７】
（ｈ）回転台１６が適当な回転数に達したところで撮影を終了し，表示装置１７へ記録した映像を表示したり，記録媒体１８へ格納したりする処理を実行する。
【００８８】
〔第３の処理フロー〕
本節では，１回転後に，最小ズーム倍率を求め，求めた最小ズーム倍率に基づいて保存されているフレーム画像を拡大することで，ズーム画像を得る方法について述べる。
【００８９】
まず，１回転目に，画像中心点と各交点間の最大距離Ｌcross (k) と共に，取得した画像を格納する。物体が１回転した後に，倍率算出部１４において最大値Ｌmax を求める。上述したように，Ｌmax を用いた図８に示したような矩形を描くと，物体がどのような姿勢になっても矩形の中に入る。そこで，格納してある１回転目の画像からＬmax で決まる矩形領域を抽出し，切り出した画像を，元の画像サイズへ拡大することで擬似的なズーム映像を取得できる。以下，本方法に係わる処理の流れを，図１０に示す（ａ）〜（ｈ）に従って説明する。
【００９０】
（ａ）ビデオカメラ１５のズーム倍率を広めに設定し，回転台１６に部材を載せ，回転を開始する。
【００９１】
（ｂ）回転体検出部１３において，フレーム画像中の回転体を検出し，回転体が占める画像領域からサブ区画テンプレートの各辺の位置を算出する。
【００９２】
（ｃ）回転台１６が１回転する間の，サブ区画テンプレートの各辺と対角線との交点を求め，画像中心までの距離を算出する。距離の最大値Ｌcross (k) と取得した画像を装置内のメモリまたはレジスタに記憶する。
【００９３】
（ｄ）回転台１６が１回転を終えたら，全フレーム画像の距離Ｌcross (k) の中から最大値Ｌmax を得る。
【００９４】
（ｅ）Ｌmax で決まる矩形を設定する。
【００９５】
（ｆ）格納済みの１回転目の画像を再生し，各画像に対して，Ｌmax で決まる矩形領域を抽出する。
【００９６】
（ｇ）抽出した矩形領域を拡大処理し，元の画像サイズとする。
【００９７】
（ｈ）回転台１６が適当な回転数に達したところで撮影を終了し，表示装置１７へ記録した映像を表示したり，記録媒体１８へ格納したりする処理を実行する。
【００９８】
以上の部材映像記録の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【００９９】
本実施の形態の特徴を列挙すると以下のとおりである。
【０１００】
（付記１）
回転する物体を撮影した画像を表示または記録する回転物体画像処理装置であって，
回転する物体をカメラにより断続的または連続的に撮影した画像を入力し，各画像上で前記回転する物体が占有している物体領域を画像処理によって検出し，物体が１回転するまでの間に撮影された画像における物体領域を重ね合わせることにより，画像上で物体が回転中に占める領域を算出し，その領域情報を記憶装置に記憶する回転体検出手段と，
前記記憶装置に記憶された領域情報をもとに，前記回転する物体を撮影するカメラのズーム倍率を，前記物体が回転中に占める領域が画像上における所定の範囲内で最大となるように決定する倍率算出手段と，
前記決定されたズーム倍率を設定したカメラにより前記回転する物体を再度撮影し，撮影した画像を表示または記録する手段とを備える
ことを特徴とする回転物体画像処理装置。
【０１０１】
（付記２）
付記１記載の回転物体画像処理装置において，
前記画像を表示または記録する手段は，前記決定されたズーム倍率を設定したカメラにより前記回転する物体を再度撮影した画像から前記物体が回転中に占める領域を抽出して所定の画像サイズに拡大処理し，拡大処理した画像を表示または記録する
ことを特徴とする回転物体画像処理装置。
【０１０２】
（付記３）
回転する物体を撮影した画像を表示または記録する回転物体画像処理装置であって，
回転する物体をカメラにより断続的または連続的に撮影した画像を入力し，各画像上で前記回転する物体が占有している物体領域を画像処理によって検出し，物体が１回転するまでの間に撮影された画像における物体領域を重ね合わせることにより，画像上で物体が回転中に占める領域を算出し，その領域情報を記憶装置に記憶する回転体検出手段と，
前記記憶装置に記憶された領域情報をもとに，前記物体が１回転するまでの間に撮影された画像を拡大する倍率を，前記物体が回転中に占める領域が画像上における所定の範囲内で最大となるように決定する倍率算出手段と，
前記決定された倍率により前記物体が１回転するまでの間に撮影された画像を拡大し，拡大した画像を表示または記録する手段とを備える
ことを特徴とする回転物体画像処理装置。
【０１０３】
（付記４）
回転する物体を撮影した画像を表示または記録する回転物体画像処理方法であって，
回転する物体をカメラにより断続的または連続的に撮影した画像を入力し，各画像上で前記回転する物体が占有している物体領域を画像処理によって検出し，物体が１回転するまでの間に撮影された画像における物体領域を重ね合わせることにより，画像上で物体が回転中に占める領域を算出し，その領域情報を記憶装置に記憶する回転体検出過程と，
前記記憶装置に記憶された領域情報をもとに，前記回転する物体を撮影するカメラのズーム倍率を，前記物体が回転中に占める領域が画像上における所定の範囲内で最大となるように決定する倍率算出過程と，
前記決定されたズーム倍率を設定したカメラにより前記回転する物体を再度撮影し，撮影した画像を表示または記録する過程とを有する
ことを特徴とする回転物体画像処理方法。
【０１０４】
（付記５）
付記４記載の回転物体画像処理方法において，
前記画像を表示または記録する過程では，前記決定されたズーム倍率を設定したカメラにより前記回転する物体を再度撮影した画像から前記物体が回転中に占める領域を抽出して所定の画像サイズに拡大処理し，拡大処理した画像を表示または記録する
ことを特徴とする回転物体画像処理方法。
【０１０５】
（付記６）
回転する物体を撮影した画像を表示または記録する回転物体画像処理方法であって，
回転する物体をカメラにより断続的または連続的に撮影した画像を入力し，各画像上で前記回転する物体が占有している物体領域を画像処理によって検出し，物体が１回転するまでの間に撮影された画像における物体領域を重ね合わせることにより，画像上で物体が回転中に占める領域を算出し，その領域情報を記憶装置に記憶する回転体検出過程と，
前記記憶装置に記憶された領域情報をもとに，前記物体が１回転するまでの間に撮影された画像を拡大する倍率を，前記物体が回転中に占める領域が画像上における所定の範囲内で最大となるように決定する倍率算出過程と，
前記決定された倍率により前記物体が１回転するまでの間に撮影された画像を拡大し，拡大した画像を表示または記録する過程とを有する
ことを特徴とする回転物体画像処理方法。
【０１０６】
（付記７）
付記４ないし付記６記載の回転物体画像処理方法を，コンピュータに実行させるための回転物体画像処理プログラム。
【図面の簡単な説明】
【０１０７】
【図１】回転物体画像処理装置の構成例を示すブロック図である。
【図２】サブ区画，サブ区画テンプレート，追跡ブロックの関係を示す図である。
【図３】回転体検出部による回転体検出手順を示す図である。
【図４】回転体検出部による回転体画像領域の候補の抽出手順を示す図である。
【図５】回転体検出部１３による回転体決定手順を示す図である。
【図６】ズーム倍率の算出方法を説明するための図である。
【図７】第１の処理フローチャートである。
【図８】抽出領域の設定方法を説明するための図である。
【図９】第２の処理フローチャートである。
【図１０】第３の処理フローチャートである。
【符号の説明】
【０１０８】
１０  回転物体画像処理装置
１１，１２  信号入出力インタフェース（Ｉ／Ｆ）
１３  回転体検出部
１４  倍率算出部
１５  ビデオカメラ
１６  回転台
１７  表示装置
１８  記録媒体
２０  取得画像
２１  サブ区画
２２  サブ区画テンプレート
２３  追跡ブロック
【図１】
2008227636.tif 000003
【図２】
2008227636.tif 000004
【図３】
2008227636.tif 000005
【図４】
2008227636.tif 000006
【図５】
2008227636.tif 000007
【図６】
2008227636.tif 000008
【図７】
2008227636.tif 000009
【図８】
2008227636.tif 000010
【図９】
2008227636.tif 000011
【図１０】
2008227636.tif 000012