(57)【特許請求の範囲】
【請求項１】
ミシンベッド上を撮像可能な位置に配置された撮像手段と、
前記撮像手段により撮像可能な範囲に設けられた複数の特徴点を前記撮像手段により撮像された画像から抽出し、抽出された前記特徴点の二次元座標を算出する特徴点座標算出手段と、
予め計測された前記特徴点の三次元座標である基準座標を記憶する基準座標記憶手段と、
前記基準座標記憶手段に記憶されている前記基準座標と、前記特徴点座標算出手段により算出された前記特徴点の二次元座標である特徴点座標とを対応付ける対応付け手段と、
前記対応付け手段による対応付けの結果に基づいて、前記撮像手段のパラメータを算出するパラメータ算出手段と、
加工布を保持する刺繍枠を前記ミシンベッド上に配置して駆動する刺繍装置と
を備え、
前記刺繍枠上又は前記刺繍枠に載置されるテンプレート上に少なくとも１つの点が設けられており、
前記基準座標記憶手段は、前記刺繍装置により前記刺繍枠を駆動して前記ミシンベッド上の所定位置に配置した状態での前記点を前記特徴点とし、複数の所定位置におけるそれぞれの前記特徴点の前記基準座標を記憶しており、
前記特徴点座標算出手段は、前記刺繍装置により前記刺繍枠を駆動して複数の所定の位置に移動させ、前記撮像手段により前記ミシンベッド上を撮像し、前記特徴点を抽出して、当該特徴点の二次元座標を算出することを特徴とするミシン。
【請求項２】
ミシンベッド上を撮像可能な位置に配置された撮像手段と、
前記撮像手段により撮像可能な範囲に設けられた複数の特徴点を前記撮像手段により撮像された画像から抽出し、抽出された前記特徴点の二次元座標を算出する特徴点座標算出手段と、
予め計測された前記特徴点の三次元座標である基準座標を記憶する基準座標記憶手段と、
前記基準座標記憶手段に記憶されている前記基準座標と、前記特徴点座標算出手段により算出された前記特徴点の二次元座標である特徴点座標とを対応付ける対応付け手段と、
前記対応付け手段による対応付けの結果に基づいて、前記撮像手段のパラメータを算出するパラメータ算出手段と、
前記パラメータ算出手段により算出されたパラメータを用いて、前記撮像手段により撮像された画像を加工する画像加工手段と
を備えたことを特徴とするミシン。
【請求項３】
ミシンベッド上を撮像可能な位置に配置された撮像手段と、
前記撮像手段により撮像可能な範囲に設けられた複数の特徴点を前記撮像手段により撮像された画像から抽出し、抽出された前記特徴点の二次元座標を算出する特徴点座標算出手段と、
予め計測された前記特徴点の三次元座標である基準座標を記憶する基準座標記憶手段と、
前記基準座標記憶手段に記憶されている前記基準座標と、前記特徴点座標算出手段により算出された前記特徴点の二次元座標である特徴点座標とを対応付ける対応付け手段と、
前記対応付け手段による対応付けの結果に基づいて、前記撮像手段のパラメータを算出するパラメータ算出手段と、
前記パラメータ算出手段により算出されたパラメータを用いて、前記撮像手段により撮像された画像上の点の三次元座標を算出する三次元座標算出手段と
を備えたことを特徴とするミシン。
【請求項４】
ミシンベッド上を撮像可能な位置に配置された撮像手段と、
前記撮像手段により撮像可能な範囲に設けられた複数の特徴点を前記撮像手段により撮像された画像から抽出し、抽出された前記特徴点の二次元座標を算出する特徴点座標算出手段と、
予め計測された前記特徴点の三次元座標である基準座標を記憶する基準座標記憶手段と、
前記基準座標記憶手段に記憶されている前記基準座標と、前記特徴点座標算出手段により算出された前記特徴点の二次元座標である特徴点座標とを対応付ける対応付け手段と、
前記対応付け手段による対応付けの結果に基づいて、前記撮像手段のパラメータを算出するパラメータ算出手段と、
前記パラメータ算出手段により算出されたパラメータを用いて、三次元座標で示された所定の点の座標を二次元座標系に投影した点の座標を算出する二次元座標算出手段と
を備えたことを特徴とするミシン。
【請求項５】
前記特徴点は、前記ミシンベッド上に設置される針板に設けられている四角形の穴の頂点、又は、円形の穴の中心点であることを特徴とする請求項２乃至４のいずれかに記載のミシン。
【請求項６】
前記特徴点は、前記ミシンベッド上に配置される針板の表面に設けられている点であることを特徴とする請求項２乃至４のいずれかに記載のミシン。
【請求項７】
前記加工布を保持する刺繍枠を前記ミシンベッド上に配置して駆動する刺繍装置を備え、
前記特徴点は、前記刺繍枠上に設けられている点、又は、前記刺繍枠に載置されるテンプレート上に設けられている点であることを特徴とする請求項２乃至４のいずれかに記載のミシン。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ミシンに関するものであり、詳細には、撮像手段の設けられたミシンに関するものである。
【背景技術】
【０００２】
従来、種々の目的のために撮像手段の設けられたミシンが提案されている。例えば、特許文献１に記載の刺繍データ修正装置では、刺繍データに基づいて縫製を行うミシンに電子カメラが設けられている。そして、この電子カメラで撮影された画像は、縫目の針落ち位置を実際の縫製結果に合わせて修正するために利用されている。また、一般的に、空中写真を用いた測量など、カメラで撮影された画像を利用して撮影対象物の位置（座標）を取得して利用するような場合には、画像から撮影対象物の正確な位置を把握するためにカメラキャリブレーションが行われる。カメラキャリブレーションとは、焦点距離や主点座標などカメラ自身の構成により決定される内部パラメータと、カメラの撮影方向などカメラの設置状態により決定される外部パラメータとを算出することである。このカメラキャリブレーションにより算出されたパラメータを用いることにより、三次元座標上の点（現実の撮影対象物）が二次元座標（撮影画像）上に投影されるべき位置を知ることができる。よって、パラメータを用いることにより、撮影された画像のある点が正確に投影された場合にはどの位置（座標）となるかを知ることができる。したがって、撮像された画像における、カメラ自身の特性やカメラの設置状態による歪みを補正することができる。このカメラキャリブレーション（パラメータの算出）の方法については、様々な研究が行われており、例えば特許文献２に記載の視覚センサの自動キャリブレーション装置が提案されている。
【特許文献１】特開平４−３６４８８４号公報
【特許文献２】特許第３１３８０８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に記載の刺繍データ修正装置のように、電子カメラで撮影された画像をそのまま使用したのでは、画像から取得した座標にずれが発生する可能性が高いという問題点がある。特に、電子カメラで撮影された画像を使用して縫製のデータを修正したり、加工したりする場合に、正確な縫製結果を得られず、美しい縫製結果を得られないという問題点がある。
【０００４】
本発明は、上述の問題点を解決するためになされたものであり、撮像手段がミシンに設けられており、撮像手段で撮影された画像から正確な位置情報を取得することができるミシンを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、請求項１に係る発明のミシンでは、ミシンベッド上を撮像可能な位置に配置された撮像手段と、前記撮像手段により撮像可能な範囲に設けられた複数の特徴点を前記撮像手段により撮像された画像から抽出し、抽出された前記特徴点の二次元座標を算出する特徴点座標算出手段と、予め計測された前記特徴点の三次元座標である基準座標を記憶する基準座標記憶手段と、前記基準座標記憶手段に記憶されている前記基準座標と、前記特徴点座標算出手段により算出された前記特徴点の二次元座標である特徴点座標とを対応付ける対応付け手段と、前記対応付け手段による対応付けの結果に基づいて、前記撮像手段のパラメータを算出するパラメータ算出手段と、加工布を保持する刺繍枠を前記ミシンベッド上に配置して駆動する刺繍装置とを備え、前記刺繍枠上又は前記刺繍枠に載置されるテンプレート上に少なくとも１つの点が設けられており、前記基準座標記憶手段は、前記刺繍装置により前記刺繍枠を駆動して前記ミシンベッド上の所定位置に配置した状態での前記点を前記特徴点とし、複数の所定位置におけるそれぞれの前記特徴点の前記基準座標を記憶しており、前記特徴点座標算出手段は、前記刺繍装置により前記刺繍枠を駆動して複数の所定の位置に移動させ、前記撮像手段により前記ミシンベッド上を撮像し、前記特徴点を抽出して、当該特徴点の二次元座標を算出する。
また、請求項２に係る発明のミシンでは、ミシンベッド上を撮像可能な位置に配置された撮像手段と、前記撮像手段により撮像可能な範囲に設けられた複数の特徴点を前記撮像手段により撮像された画像から抽出し、抽出された前記特徴点の二次元座標を算出する特徴点座標算出手段と、予め計測された前記特徴点の三次元座標である基準座標を記憶する基準座標記憶手段と、前記基準座標記憶手段に記憶されている前記基準座標と、前記特徴点座標算出手段により算出された前記特徴点の二次元座標である特徴点座標とを対応付ける対応付け手段と、前記対応付け手段による対応付けの結果に基づいて、前記撮像手段のパラメータを算出するパラメータ算出手段と、前記パラメータ算出手段により算出されたパラメータを用いて、前記撮像手段により撮像された画像を加工する画像加工手段と
を備えている。
【０００６】
また、請求項３に係る発明では、ミシンベッド上を撮像可能な位置に配置された撮像手段と、前記撮像手段により撮像可能な範囲に設けられた複数の特徴点を前記撮像手段により撮像された画像から抽出し、抽出された前記特徴点の二次元座標を算出する特徴点座標算出手段と、予め計測された前記特徴点の三次元座標である基準座標を記憶する基準座標記憶手段と、前記基準座標記憶手段に記憶されている前記基準座標と、前記特徴点座標算出手段により算出された前記特徴点の二次元座標である特徴点座標とを対応付ける対応付け手段と、前記対応付け手段による対応付けの結果に基づいて、前記撮像手段のパラメータを算出するパラメータ算出手段と、前記パラメータ算出手段により算出されたパラメータを用いて、前記撮像手段により撮像された画像上の点の三次元座標を算出する三次元座標算出手段とを備えている。
また、請求項４に係る発明では、ミシンベッド上を撮像可能な位置に配置された撮像手段と、前記撮像手段により撮像可能な範囲に設けられた複数の特徴点を前記撮像手段により撮像された画像から抽出し、抽出された前記特徴点の二次元座標を算出する特徴点座標算出手段と、予め計測された前記特徴点の三次元座標である基準座標を記憶する基準座標記憶手段と、前記基準座標記憶手段に記憶されている前記基準座標と、前記特徴点座標算出手段により算出された前記特徴点の二次元座標である特徴点座標とを対応付ける対応付け手段と、前記対応付け手段による対応付けの結果に基づいて、前記撮像手段のパラメータを算出するパラメータ算出手段と、前記パラメータ算出手段により算出されたパラメータを用いて、三次元座標で示された所定の点の座標を二次元座標系に投影した点の座標を算出する二次元座標算出手段とを備えている。
また、請求項５に係る発明のミシンでは、請求項２乃至４のいずれかに記載の発明の構成に加えて、前記特徴点は、前記ミシンベッド上に設置される針板に設けられている四角形の穴の頂点、又は、円形の穴の中心点であることを特徴とする。
【０００７】
また、請求項６に係る発明のミシンでは、請求項２乃至４のいずれかに記載の発明の構成に加えて、前記特徴点は、前記ミシンベッド上に配置される針板の表面に設けられている点であることを特徴とする。
【０００８】
また、請求項７に係る発明のミシンでは、請求項２乃至４のいずれかに記載の発明の構成に加えて、前記加工布を固定する刺繍枠を前記ミシンベッド上に配置して駆動する刺繍装置を備え、前記特徴点は、前記刺繍枠上に設けられている点、又は、前記刺繍枠に載置されるテンプレート上に設けられている点であることを特徴とする。
【０００９】
【００１０】
【００１１】
【００１２】
【００１３】
【発明の効果】
【００１４】
請求項１に係る発明のミシンでは、ミシンに備えられた撮像手段によりミシンベッド上を撮像して、撮像可能な範囲に設けられた複数の特徴点を撮像された画像から抽出し、抽出された特徴点の二次元座標を算出することができる。そして、予め記憶されている特徴点の基準座標と算出された特徴点座標とを対応付けて、撮像手段のパラメータを算出することができる。よって、他の装置でパラメータを算出することなく、ミシン自身でパラメータを算出することができる。したがって、撮像手段により取得された画像から正確な位置情報を取得することができる。そして、画像から取得された位置情報を用いる処理を正確に行うことができる。また、刺繍縫製を行うミシンにおいてもともと設けられている刺繍枠又はテンプレートを用いてパラメータを算出できる。よって、パラメータを算出するための特徴点を別途設ける必要がない。したがって、ミシンの製造者においても、ミシンの使用者においても、同様に手軽にパラメータを算出することができる。したがって、ミシンの使用者がミシンを使用してゆく中においても、撮像手段により取得された画像から正確な位置情報を取得することができ、画像から取得された位置情報を用いる処理を正確に行うことができる。また、刺繍枠を移動させ、所定の位置に刺繍枠が配置された状態における、刺繍枠上又はテンプレート上の点を特徴点とすることができる。よって、例えば、刺繍枠上又はテンプレート上の点が１つであっても、所定の位置が５箇所あれば５つの特徴点として捉えることができる。
請求項２に係る発明のミシンでは、ミシンに備えられた撮像手段により取得された画像から正確な位置情報を取得することができる。そして、画像から取得された位置情報を用いる処理を正確に行うことができる。また、ミシンに設けられている撮像手段で撮像された画像を加工することができる。よって、撮像された画像から撮像手段に固有の特性や撮像手段の設置状態に影響を排除し、現実の三次元座標系の点を正確に二次元座標に投影させた画像を得ることができる。
【００１５】
また、請求項３に係る発明のミシンでは、ミシンに備えられた撮像手段により取得された画像から正確な位置情報を取得することができる。そして、画像から取得された位置情報を用いる処理を正確に行うことができる。また、ミシンに設けられている撮像手段で撮像された画像上の点の三次元座標を算出することができる。よって、撮像手段に固有の特性や撮像手段の設置状態の影響を排除して、撮像された画像上の点を現実の三次元座標系の点として捉えることができる。よって、現実の三次元座標系での点の位置関係を把握したり、２点間の距離を取得したりすることに利用することができる。
また、請求項４の係る発明のミシンでは、ミシンに備えられた撮像手段により取得された画像から正確な位置情報を取得することができる。そして、画像から取得された位置情報を用いる処理を正確に行うことができる。また、三次元座標で示された点を二次元座標系に投影した点の座標を算出することができる。よって、撮像手段に固有の特性や撮像手段の設置状態の影響を考慮して、三次元座標で示された点の二次元座標系での座標を取得することができる。
また、請求項５に係る発明のミシンでは、請求項２乃至４のいずれかに記載の発明の効果に加えて、ミシンにもともと設けられている針板によりパラメータを算出できるので、パラメータを算出するための特徴点を別途設ける必要がない。したがって、ミシンの製造者においても、ミシンの使用者においても、同様に手軽にパラメータを算出することができる。したがって、ミシンの使用者がミシンを使用してゆく中においても、撮像手段により取得された画像から正確な位置情報を取得することができ、画像から取得された位置情報を用いる処理を正確に行うことができる。
【００１６】
また、請求項６に係る発明のミシンでは、請求項２乃至４のいずれかに記載の発明の効果に加えて、ミシンにもともと設けられている針板によりパラメータを算出できるので、パラメータを算出するための特徴点を別途設ける必要がない。したがって、ミシンの製造者においても、ミシンの使用者においても、同様に手軽にパラメータを算出することができる。したがって、ミシンの使用者がミシンを使用してゆく中においても、撮像手段により取得された画像から正確な位置情報を取得することができ、画像から取得された位置情報を用いる処理を正確に行うことができる。
【００１７】
また、請求項７に係る発明のミシンでは、請求項２乃至４のいずれかに記載の発明の効果に加えて、刺繍枠上に設けられている点、又は、刺繍枠に載置されるテンプレート上に設けられている点を特徴点とすることができる。つまり、刺繍縫製を行うミシンにおいてもともと設けられている刺繍枠又はテンプレートを用いてパラメータを算出できる。よって、パラメータを算出するための特徴点を別途設ける必要がない。したがって、ミシンの製造者においても、ミシンの使用者においても、同様に違いなく手軽にパラメータを算出することができる。したがって、ミシンの使用者がミシンを使用してゆく中においても、撮像手段により取得された画像から正確な位置情報を取得することができ、画像から取得された位置情報を用いる処理を正確に行うことができる。
【００１８】
【００１９】
【００２０】
【００２１】
【００２２】
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態を図面を参照して説明する。図１乃至図３を参照して、ミシン１の物理的構成及び電気的構成について説明する。図１はミシン１の上側からの斜視図であり、図２は、イメージセンサ５０を示す模式図であり、図３は、ミシン１の電気的構成を示す模式図である。
【００２４】
まず、図１を参照して、本実施の形態におけるミシン１の物理的構成について説明する。図１に示すようにミシン１は、左右方向に長いミシンベッド２と、ミシンベッド２の右端部から上方へ立設された脚柱部３と、脚柱部３の上端から左方へ延びるアーム部４と、アーム部４の左先端部に設けられた頭部５とを有する。脚柱部３の正面部には、表面にタッチパネル１６を備えた液晶ディスプレイ１０が設けられている。液晶ディスプレイ１０には、縫製模様や縫製条件の入力キー等が表示され、タッチパネル１６においてこれらの入力キー等に対応した位置に触れることにより縫製模様や縫製条件等を選択可能になっている。ミシン１の内部には、ミシンモータ７９（図３参照）、主軸（図示せず）、下端部に縫針７を装着した針棒６（図２参照）、この針棒６を上下動させる針棒上下動機構（図示せず）、針棒６を左右方向に針振りさせる針振り機構（図示せず）等が収納されている。尚、図１において、矢印Ｘの方向を右方向、その反対方向を左方向、矢印Ｙの方向を前方向、その反対方向を後方向と言う。
【００２５】
また、ミシンベッド２の上部には針板８０（図８参照）が配設されている。ミシンベッド２の内部には、送り歯（図示せず）を駆動する送り歯前後動機構（図示せず）並びに送り歯上下動機構（図示せず）、送り歯による加工布の送り量を調整する送り量調整用パルスモータ７８（図３参照）、及び下糸を巻回したボビン（図示せず）を格納した釜（図示せず）等が収納されている。また、ミシンベッド２の左端には補助テーブル８が嵌め込まれている。この補助テーブル８は取り外しが可能であり、補助テーブル８が取り外されたミシンベッド２には、刺繍装置３０を装着することができる（図１１参照）。
【００２６】
また、ミシン１の右側面には、手動で主軸を回転させ、前記針棒６を上下動させるプーリ（図示せず）が設けられている。また、頭部５及びアーム部４の正面に設けられている正面カバー５９には、ミシン１の運転を開始及び停止する、即ち、縫製開始及び停止を指示する縫製開始・停止スイッチ４１、加工布を通常とは逆方向である後方から前方へ送るための返し縫いスイッチ４２、及びその他の操作スイッチが設けられている。さらに、主軸の回転速度を調整する速度調整摘み４３が設けられている。さらに、正面カバー５９の内部、縫針７から右斜め上方の位置には、イメージセンサ５０（図２参照）が設置されており、針板８０近傍を撮像することができる。ここで、縫製開始・停止スイッチ４１は、ミシン１の停止中に押圧操作されると運転が開始され、ミシン１の運転中に押圧操作されると運転が停止するようになっている。
【００２７】
次に、図２を参照して、イメージセンサ５０について説明する。図２は、イメージセンサ５０を示す模式図である。イメージセンサ５０は周知のＣＭＯＳイメージセンサであり、画像を撮像する。実施の形態では、図２に示すように、ミシン１の図示しないフレームに支持フレーム５１が取り付けられている。そして、その支持フレーム５１にイメージセンサ５０が、針板８０の全体を撮像できるように取り付けられている。以下、イメージセンサ５０により撮像された画像を「撮像画像」という。なお、針落ち点とは、縫針７が針棒上下動機構により下方に移動され、加工布に刺さった点を指している。ここで、加工布を押さえる押え足４７は、押え棒４５の下端部に固定される押えホルダ４６に装着されている。なお、ＣＭＯＳイメージセンサはＣＣＤカメラであってもよいし、他の撮像素子であってもよい。
【００２８】
次に、図３を参照して、ミシン１の主な電気的構成について説明する。図３に示すように、ミシン１は、ＣＰＵ６１，ＲＯＭ６２，ＲＡＭ６３，ＥＥＰＲＯＭ６４，カードスロット１７，外部アクセスＲＡＭ６８，入力インターフェイス６５，出力インターフェイス６６等を有し、これらはバス６７により相互に接続されている。そして、入力インターフェイス６５には、縫製開始・停止スイッチ４１，返し縫いスイッチ４２，速度調整摘み４３，タッチパネル１６，イメージセンサ５０等が接続されている。一方、出力インターフェイス６６には、送り量調整用パルスモータ７８を駆動させる駆動回路７１，主軸を回転駆動させるためのミシンモータ７９を駆動させる駆動回路７２，液晶ディスプレイ１０を駆動させる駆動回路７５が電気的に接続されている。
【００２９】
ＣＰＵ６１は、ミシン１の主制御を司り、読み出し専用の記憶素子であるＲＯＭ６２の制御プログラム記憶領域に記憶された制御プログラムに従って、各種演算及び処理を実行する。ＲＡＭ６３は、任意に読み書き可能な記憶素子であり、ＣＰＵ６１が演算処理した演算結果を収容する各種記憶領域が必要に応じて設けられている。
【００３０】
次に、図４乃至図７を参照して、ＲＡＭ６３及びＥＥＰＲＯＭ６４に設けられている記憶エリアについて説明する。図４は、ＲＡＭ６３に設けられている記憶エリアの構成を示す模式図である。図５は、ＲＡＭ６３に設けられている特徴点二次元座標記憶エリア６３２の構成を示す模式図である。図６は、ＥＥＰＲＯＭ６４に設けられている記憶エリアの構成を示す模式図である。図７は、ＥＥＰＲＯＭ６４に設けられている特徴点三次元座標記憶エリア６４１の模式図である。
【００３１】
まず、図４を参照して、ＲＡＭ６３に設けられている記憶エリアについて説明する。図４に示すように、ＲＡＭ６３には撮像画像記憶エリア６３１、特徴点二次元座標記憶エリア６３２が設けられている。撮像画像記憶エリア６３１には、イメージセンサ５０で撮像された画像が記憶される。特徴点二次元座標記憶エリア６３２には、イメージセンサ５０で撮像された画像から抽出された特徴点の二次元座標が記憶される。なお、図示しないが、ＲＡＭ６３にはその他の記憶エリアも設けられている。
【００３２】
ここで、図５を参照して、ＲＡＭ６３に設けられている特徴点二次元座標記憶エリア６３２について説明する。図５に示すように、特徴点二次元座標記憶エリア６３２には、特徴点番号に対応して、二次元座標（Ｘ座標，Ｙ座標）が記憶されている。本実施の形態では、特徴点番号「０」〜「２７」までの２８個の特徴点が用いられる。なお、特徴点とは針板８０に設けられた穴の角や刻印の端点などに定められた点である。詳細については、図８及び図９を参照して後述する。
【００３３】
次に、図６を参照して、ＥＥＰＲＯＭ６４に設けられている記憶エリアについて説明する。ＥＥＰＲＯＭ６４には、特徴点三次元座標記憶エリア６４１，内部パラメータ記憶エリア６４２，外部パラメータ記憶エリア６４３が設けられている。特徴点三次元座標記憶エリア６４１には、予め算出されている特徴点のワールド座標系における三次元座標が記憶されている。ワールド座標系とは、主に三次元グラフィックスの分野で用いられる三次元の座標系であり、空間全体を示す座標系である。対象物の重心等の影響を受けることのない座標系である。よって、空間内での物体の位置を示したり、異なる物体に対する座標を比較したりする際に用いられる。特徴点三次元座標記憶エリア６４１には、ワールド座標系での特徴点の三次元座標が記憶されている。本実施の形態では、図１に示すように、ミシンベッド２の上面をＸＹ平面とし、特徴点番号「０」の点（図９に示す特徴点１００）を原点（０，０，０）としてワールド座標系が設定されている。そして、ミシン１の上下方向にＺ軸、左右方向にＸ軸、前後方向にＹ軸を取っている。
【００３４】
そして、内部パラメータ記憶エリア６４２及び外部パラメータ記憶エリア６４３には、撮像された画像及び特徴点の三次元座標から算出された内部パラメータ及び外部パラメータが記憶される。内部パラメータ記憶エリア６４２には、Ｘ軸焦点距離記憶エリア６４２１，Ｙ軸焦点距離記憶エリア６４２２，Ｘ軸主点座標記憶エリア６４２３，Ｙ軸主点座標記憶エリア６４２４，第一歪み係数記憶エリア６４２５，第二歪み係数記憶エリア６４２６が設けられている。外部パラメータ記憶エリア６４３には、Ｘ軸回転ベクトル記憶エリア６４３１，Ｙ軸回転ベクトル記憶エリア６４３２，Ｚ軸回転ベクトル記憶エリア６４３３，Ｘ軸並進ベクトル記憶エリア６４３４，Ｙ軸並進ベクトル記憶エリア６４３５，Ｚ軸並進ベクトル記憶エリア６４３６が設けられている。これらのパラメータは、イメージセンサ５０で撮像された画像を加工したり、三次元座標を二次元座標に変換したり、二次元座標を三次元座標に変換したりするのに用いられる。
【００３５】
次に、図７を参照して、ＥＥＰＲＯＭ６４に設けられている特徴点三次元座標記憶エリア６４１について説明する。図７に示すように、特徴点三次元座標記憶エリア６４１には、特徴点番号に対応して、ワールド座標系の三次元座標（Ｘ座標，Ｙ座標，Ｚ座標）が記憶されている。
【００３６】
次に、図８及び図９を参照して、針板８０上に定められている特徴点について説明する。図８は、針板８０の平面図であり、図９は、針板８０の平面図上に特徴点を記した模式図である。図８に示すように、針板８０は略長方形の形状をしている。そして、図１に示すように、ミシンベッド２の上面、押え足４７や縫針７の直下に嵌め込まれる。図８に示すように、針板８０には、送り歯穴９０が設けられている。この送り歯穴９０は、ミシンベッド２内に設けられている送り歯（図示せず）が出没するための穴である。そして、縫製時には、送り歯が前後方向及び上下方向に動作して、加工布を縫製方向へ送り出す。なお、図８における上下方向が送り歯の移動方向であり、加工布の縫製方向である。送り歯穴９０は、送り歯の移動方向を長手方向とした略長方形の送り歯穴９１〜９６で構成されている。また、これらの送り歯穴９１〜９６に囲まれた位置に縫針７が挿通可能な針穴９７が設けられている。そして、送り歯穴９０の他にも穴８１〜８５が諸所に設けられている。これらの穴は、針板８０に、送り歯穴９１〜９６を覆う針板カバー、加工布の布端を案内する案内定規、加工布を切断しながら縫製するサイドカッター、円形状の模様を縫製する円縫い装置等々の縫製補助アタッチメント（いずれも図示せず）を取り付けたり、針板８０をミシンベッド２へ固定したりするための皿ネジ用の穴である。また、針板８０には、加工布の端から針落ち位置までの距離を測る目安としたり、加工布をまっすぐに送るための目安としたりする基線８７及び目盛り８６が刻印されている。
【００３７】
次に、本実施の形態における特徴点の位置について説明する。図９では、黒色の点で特徴点を示している。図９に示すように、送り歯穴９１〜９６の頂点（四隅）及び針板８０の頂点（四隅）に特徴点１００〜１２７が配置されている。送り歯穴９１の頂点に対して、左上、右上、左下、右下の順に特徴点１０７，１０６，１２３，１２２が配置されている。送り歯穴９２の頂点に対して、左上、右上、左下、右下の順に特徴点１０５，１０４，１１１，１１０が配置されている。送り歯穴９３の頂点に対して、左上、右上、左下、右下の順に特徴点１１４，１１５，１２１，１２０が配置されている。送り歯穴９４の頂点に対して、左上、右上、左下、右下の順に特徴点１１３，１１２，１１９，１１８が配置されている。送り歯穴９５の頂点に対して、左上、右上、左下、右下の順に特徴点１０３，１０２，１０９，１０８が配置されている。送り歯穴９６の頂点に対して、左上、右上、左下、右下の順に特徴点１０１，１００，１１７，１１６が配置されている。そして、針板８０の頂点に対して、左上、右上、左下、右下の順に特徴点１２４，１２６，１２５，１２７が配置されている。なお、特徴点１００〜１２７がそれぞれ特徴点番号「０」〜「２７」に対応している。
【００３８】
次に、図１０のフローチャートを参照して、パラメータ算出処理について説明する。このパラメータ算出処理は、ユーザにより「パラメータ算出」の指示が成された際に、ＲＯＭ６２に記憶されているパラメータ算出プログラムをＣＰＵ６１が実行することにより、実施されるものである。パラメータ算出の指示は、液晶ディスプレイ１０に指示ボタンを表示させ、タッチパネル１６において指示ボタンに対応した位置をタッチすることにより受け付ければよい。また、専用のボタンを設けてもよい。なお、ユーザは、パラメータ算出の指示を行う際には、針板８０の上には加工布を乗せないようにする。
【００３９】
まず、パラメータ算出に使用する画像が取得される（Ｓ１）。具体的には、イメージセンサ５０により画像が撮像され、ＲＡＭ６３の撮像画像記憶エリア６３１に記憶される。次いで、特徴点が抽出され、その座標がＲＡＭ６３の特徴点二次元座標記憶エリア６３２に記憶される（Ｓ２）。具体的には、まず、撮像画像記憶エリア６３１に記憶されている撮像画像から直線が抽出される。直線の抽出には、例えば、周知のハフ変換という手法が用いられる。撮像画像に対してゾーベルフィルタ処理を施し、エッジ強度画像（画像の濃度値が急激に変化する箇所を強調した画像）が作成される。さらに、エッジ強度画像を二値化してエッジ点列画像が作成される。このエッジ点列画像に対してハフ変換を施し、ハフ変換画像が作成される。そして、ハフ変換画像に対して非極大抑制処理が行われ、ハフ変換画像の局所的に（マスク内で）明るい点が抽出される。さらに、抽出された明るい点のうち、所定の閾値よりも明るい点のみを抽出する閾値処理が行われる。そして、逆ハフ変換処理が行われ、直線が抽出される。なお、直線が抽出できない場合には、「針板に物を載せないで下さい」等のアラームを液晶ディスプレイ１０に出力する。
【００４０】
次いで、抽出された直線の交点の座標が算出される。そして、算出された交点のうち、特徴点に該当する点の座標が特徴点番号に対応させて特徴点二次元座標記憶エリア６３２に記憶される。なお、算出交点のうち、どの点がどの特徴点に該当するのかの判断は、例えば以下のように行う。特徴点は予め定められているので、ある段階（例えば、ミシンメーカにおいて出荷前）でイメージセンサ５０で撮像した画像における特徴点の座標が特徴点番号に対応されてＲＯＭ６２，ＥＥＰＲＯＭ６４に記憶されている。又は、パラメータ算出プログラム中に特徴点の座標が比較値として記載されているものとする。そして、各特徴点の座標からもっとも近い点が撮像画像における特徴点の座標とされる。ここで、算出された二次元座標を特徴点番号に対応させることにより、特徴点三次元座標記憶エリア６４１において特徴点番号に対応して記憶されている三次元座標とも対応が取れる。なお、すべての特徴点番号に対して交点が割り当てられない場合には、「針板に物を載せないで下さい」等のアラームを液晶ディスプレイ１０に出力する。
【００４１】
次いで、パラメータが算出され、ＥＥＰＲＯＭ６４の内部パラメータ記憶エリア６４２及び外部パラメータ記憶エリア６４３に記憶される（Ｓ３）。パラメータは、Ｓ２で算出された特徴点の二次元座標（図５参照）と、ＥＥＰＲＯＭ６４の特徴点三次元座標記憶エリア６４１に記憶されている特徴点の三次元座標（図７参照）との組み合わせに基づいて、周知のカメラキャリブレーションのパラメータの算出方法により算出される。パラメータの算出方法は、三次元座標が既知である点（特徴点）を含む対象物をカメラで撮像し、撮像された画像における特徴点の二次元座標を算出して、既知の三次元座標と算出された二次元座標とに基づいて射影行列を求め、射影行列からパラメータを求めるものである。この算出方法については、種々の研究がなされており、算出方法が提案されている（例えば、背景技術の特許文献２特許第３１３８０８０号公報参照）。本実施の形態では、いずれの算出方法を用いてもよいが、三次元座標が既知である点を含む対象物として針板８０が用いられる。
【００４２】
内部パラメータは、イメージセンサ５０の特性により生じる焦点距離のずれ，主点座標のずれ、撮像した画像の歪みを補正するためのパラメータである。本実施の形態では、Ｘ軸焦点距離，Ｙ軸焦点距離，Ｘ軸主点座標，Ｙ軸主点座標，第一歪み係数，第二歪み係数の６つの内部パラメータを算出する。ここで、イメージセンサ５０により撮像された撮像画像を考える場合、次のような問題点がある。画像の中心がどこにあるか不明である。また、イメージセンサ５０の画素が正方形でない場合、画像の２つの座標軸のスケールが異なる。画像の２つの座標軸は必ずしも直交しない。そこで、２つの座標軸のスケールが同じであり、かつ、２つの座標軸が直交しており、かつ、焦点から単位長の所に画像が撮像される「正規化カメラ」の概念を導入する。そして、イメージセンサ５０で撮像された画像を、この正規化カメラで撮像した画像（正規化画像）に変換する。この正規化画像に変換する際に内部パラメータが用いられる。
【００４３】
Ｘ軸焦点距離は、イメージセンサ５０のｘ軸方向の焦点距離のずれを示す内部パラメータであり、Ｙ軸焦点距離は、ｙ軸方向の焦点距離のずれを示す内部パラメータである。Ｘ軸主点座標は、イメージセンサ５０のｘ軸方向の主点のずれを示す内部パラメータであり、Ｙ軸主点座標は、ｙ軸方向の主点のずれを示す内部パラメータである。第一歪み係数，第二歪み係数は、イメージセンサ５０のレンズの傾きによる歪みを示す内部パラメータである。
【００４４】
また、外部パラメータは、ワールド座標系に対するイメージセンサ５０の設置状態（位置や向き）を示すパラメータである。つまり、イメージセンサ５０における３次元座標系（以下、「カメラ座標系」という）と、ワールド座標系とのずれを示すパラメータである。本実施の形態では、Ｘ軸回転ベクトル，Ｙ軸回転ベクトル，Ｚ軸回転ベクトル，Ｘ軸並進ベクトル，Ｙ軸並進ベクトル，Ｚ軸並進ベクトルの６つの外部パラメータを算出する。これらの外部パラメータを用いることにより、イメージセンサ５０のカメラ座標系をワールド座標系に変換することができる。Ｘ軸回転ベクトルは、カメラ座標系のワールド座標系に対するｘ軸周りの回転を示し、Ｙ軸回転ベクトルは、ｙ軸周りの回転を示し、Ｚ軸回転ベクトルは、ｚ軸周りの回転を示している。そして、ワールド座標系からカメラ座標系へ変換する転換行列や、カメラ座標系からワールド座標系へ変換する転換行列を決定する際に使用される。Ｘ軸並進ベクトルはワールド座標系に対するカメラ座標系のｘ軸方向のずれを示し、Ｙ軸並進ベクトルはｙ軸方向のずれを示し，Ｚ軸並進ベクトルはｚ軸方向のずれを示している。そして、Ｘ軸並進ベクトル，Ｙ軸並進ベクトル，Ｚ軸並進ベクトルは、ワールド座標系からカメラ座標系へ変換する並進ベクトルや、カメラ座標系からワールド座標系へ変換する並進ベクトルを決定する際に使用される。
【００４５】
例えば、図５及び図７に示す例の特徴点の二次元座標及び三次元座標の組み合わせからは、次のようなパラメータが算出される。内部パラメータとしては、Ｘ軸焦点距離＝７２４．９９４１８、Ｙ軸焦点距離＝７２５．１８３３１、Ｘ軸主点座標＝３２６．５１２３４、Ｙ軸主点座標＝２４６．６９４、第一歪み係数＝０．２０６３８８２、第二歪み係数＝−０．６７３０７７１である。そして、外部パラメータとしては、Ｘ軸回転ベクトル＝２．８９７４８７３、Ｙ軸回転ベクトル＝０．０２３４４２９、Ｚ軸回転ベクトル＝０．０１６５４９０、Ｘ軸並進ベクトル＝−１．５０３１７６０、Ｙ軸並進ベクトル＝−２．３１３８８１６、Ｚ軸並進ベクトル＝１０２．９８９９９８９である。
【００４６】
以上のようにして、イメージセンサ５０で針板８０を撮像した撮像画像を用いて、針板８０上の特徴点のカメラ座標系の二次元座標を抽出し、ＥＥＰＲＯＭ６４の特徴点三次元座標記憶エリア６４１に記憶されている特徴点のワールド座標系の三次元座標と対応させて、ミシン１自身でパラメータを算出することができる。よって、針板８０というミシン１にもともと使用されている部材を用いて、パラメータを算出することができる。したがって、ミシン１では、特別な部材を用いることなく、簡単にパラメータを算出することができる。
【００４７】
次に、パラメータの使用例について説明する。パラメータは、ワールド座標系の点の三次元座標をカメラ座標系の撮像画像平面上の点の二次元座標に変換したり、カメラ座標系の撮像画像平面上の点の二次元座標をワールド座標系の点の三次元座標に変換したり、イメージセンサ５０で撮像された画像を加工したりする際に使用される。
【００４８】
ここで、カメラ座標系の撮像画像上の点ｐの二次元座標を（ｕ，ｖ）とし、カメラ座標系の点ｐの三次元座標をＭ１（Ｘ１，Ｙ１，Ｚ１）とする。そして、点ｐをワールド座標系に変換した点Ｐのワールド座標系の三次元座標をＭｗ（Ｘｗ，Ｙｗ，Ｚｗ）とする。そして、内部パラメータのＸ軸焦点距離をｆｘ，Ｙ軸焦点距離をｆｙ，Ｘ軸主点座標をｃｘ，Ｙ軸主点座標をｃｙ，第一歪み係数をｋ１，第二歪み係数をｋ２とする。そして、外部パラメータのＸ軸回転ベクトルをｒ１，Ｙ軸回転ベクトルをｒ２，Ｚ軸回転ベクトルをｒ３，Ｘ軸並進ベクトルをｔ１，Ｙ軸並進ベクトルをｔ２，Ｚ軸並進ベクトルをｔ３とする。さらに、「Ｒｗ」を外部パラメータ（Ｘ軸回転ベクトルｒ１，Ｙ軸回転ベクトルｒ２，Ｚ軸回転ベクトルｒ３）に基づいて決定される３×３の回転行列とし、「ｔｗ」を外部パラメータ（Ｘ軸並進ベクトルｔ１，Ｙ軸並進ベクトルｔ２，Ｚ軸並進ベクトルｔ３）に基づいて決定される３×１の並進ベクトルとする。
【００４９】
まず、ワールド座標系の点の座標Ｍｗ（Ｘｗ，Ｙｗ，Ｚｗ）をカメラ座標系の撮像画像平面上に投影した点の座標（ｕ，ｖ）を算出する処理について説明する。まず、ワールド座標系の点の座標Ｍｗ（Ｘｗ，Ｙｗ，Ｚｗ）がカメラ座標系の点の三次元座標Ｍ１（Ｘ１，Ｙ１，Ｚ１）に変換される。これは、「Ｍ１＝Ｒｗ×Ｍｗ＋ｔｗ」により算出される。次いで、算出されたカメラ座標系の点ｐの三次元座標がカメラ座標系の正規化画像上の座標（ｘ'，ｙ'）に変換される。この座標は、「ｘ'＝Ｘ１／Ｚ１」，「ｙ'＝Ｙ１／Ｚ１」により算出される。さらに、内部パラメータである第一歪み係数ｋ１及び第二歪み係数ｋ２を用いて、正規化カメラに対してイメージセンサ５０のレンズの歪みを加味した座標（ｘ"，ｙ"）が算出される。この座標は、「ｘ"＝ｘ'×（１＋ｋ１×ｒ２＋ｋ２×ｒ４）」，「ｙ"＝ｙ'×（１＋ｋ１×ｒ２＋ｋ２×ｒ４）」により算出される。なお、「ｒ２＝ｘ'２＋ｙ'２」である。次いで、正規化画像上の点にレンズの歪みを加味した座標（ｘ"，ｙ"）に、内部パラメータであるＸ軸焦点距離ｆｘ，Ｙ軸焦点距離ｆｙ，Ｘ軸主点座標ｃｘ及びＹ軸主点座標ｃｙを加味して、カメラ座標系の撮像画像上の座標（ｕ，ｖ）に変換される。この座標は「ｕ＝ｆｘ×ｘ"＋ｃｘ」，「ｖ＝ｆｙ×ｙ"＋ｃｙ」で算出される。なお、これらの処理を行うＣＰＵ６１が「二次元座標算出手段」に相当する。
【００５０】
次に、イメージセンサ５０により撮像された撮像画像上の点ｐの座標（ｕ，ｖ）から、その点ｐをワールド座標系の点に変換した点Ｐの三次元座標Ｍｗ（Ｘｗ，Ｙｗ，Ｚｗ）を算出する処理について説明する。まず、内部パラメータであるＸ軸焦点距離ｆｘ，Ｙ軸焦点距離ｆｙ，Ｘ軸主点座標ｃｘ及びＹ軸主点座標ｃｙを加味して、カメラ座標系の撮像画像上の点の座標（ｕ，ｖ）から、カメラ座標系の正規化画像上の座標（ｘ"，ｙ"）に変換される。この座標は、「ｘ"＝（ｕ−ｃｘ）／ｆｘ」，「ｙ"＝（ｖ−ｃｙ）／ｆｙ」により算出される。次いで、内部パラメータである第一歪み係数ｋ１及び第二歪み係数ｋ２を用いて、座標（ｘ"，ｙ"）からレンズの歪みを取り除いた正規化画像上の座標（ｘ'，ｙ'）に変換される。この座標は、「ｘ'＝ｘ"−ｘ"×（１＋ｋ１×ｒ２＋ｋ２×ｒ４）」，「ｙ'＝ｙ"−ｙ"×（１＋ｋ１×ｒ２＋ｋ２×ｒ４）」で算出される。そして、カメラ座標系の正規化画像上の座標がカメラ座標系の点の三次元座標Ｍ１（Ｘ１，Ｙ１，Ｚ１）へ変換される。ここで、Ｘ１，Ｙ１は、「Ｘ１＝ｘ'×Ｚ１」，「Ｙ１＝ｙ'×Ｚ１」の関係が成り立つ。また、カメラ座標系の三次元座標Ｍ１（Ｘ１，Ｙ１，Ｚ１）と、ワールド座標系の三次元座標Ｍｗ（Ｘｗ，Ｙｗ，Ｚｗ）との間には、「Ｍｗ＝ＲｗＴ（Ｍ１−ｔｗ）」の関係が成り立つ。なお、ＲｗＴはＲｗの転置行列である。そこで、ワールド座標系のＸＹ平面はミシンベッド２の上面に設定されているので、Ｚ＝０とし、「Ｘ１＝ｘ'×Ｚ１」，「Ｙ１＝ｙ'×Ｚ１」，「Ｍｗ＝ＲｗＴ（Ｍ１−ｔｗ）」を連立で解く。これにより、Ｚ１が算出され、Ｘ１，Ｙ１が算出され、Ｍｗ（Ｘｗ，Ｙｗ，Ｚｗ）が算出される。なお、これらの処理を行うＣＰＵ６１が「三次元座標算出手段」に相当する。
【００５１】
次に、イメージセンサ５０により撮像された撮像画像を加工する処理について説明する。ここでは、撮像画像を別の視点（別のカメラ位置）から撮像した画像（視点変更画像）に加工する処理について説明する。イメージセンサ５０は針板８０を上部から撮像する位置に取り付けられている（図２参照）。つまり、針板８０に対して、上（Ｚ軸のプラス方向）に視点がある。この視点を、例えば針板８０の右斜め上に変更し、右斜め上から針板８０を撮像した視点変更画像に撮像画像を加工する。
【００５２】
ここで、ワールド座標系上の点の三次元座標をＭｗ（Ｘｗ，Ｙｗ，Ｚｗ）、イメージセンサ５０のカメラ座標系上の点の三次元座標をＭ１（Ｘ１，Ｙ１，Ｚ１）、移動させた視点の座標系（移動視点座標系）上の点の三次元座標をＭ２（Ｘ２，Ｙ２，Ｚ２）とする。そして、カメラ座標系の撮像画像平面上の点の二次元座標を（ｕ１，ｖ１）、移動視点座標系の視点変更画像平面上の点の二次元座標を（ｕ２，ｖ２）とする。そして、さらに、「Ｒｗ」は外部パラメータであるＸ軸回転ベクトルｒ１，Ｙ軸回転ベクトルｒ２，及びＺ軸回転ベクトルｒ３に基づいて決定される３×３の回転行列、「ｔｗ」は、外部パラメータであるＸ軸並進ベクトルｔ１，Ｙ軸並進ベクトルｔ２及びＺ軸並進ベクトルｔ３に基づいて決定される３×１の並進ベクトルである。つまり、Ｒｗ，ｔｗは、ワールド座標系の三次元座標Ｍｗ（Ｘｗ，Ｙｗ，Ｚｗ）をカメラ座標系の三次元座標Ｍ１（Ｘ１，Ｙ１，Ｚ１）に変換する際に利用される。そして、ワールド座標系の三次元座標Ｍｗ（Ｘｗ，Ｙｗ，Ｚｗ）を移動視点座標系の三次元座標Ｍ２（Ｘ２，Ｙ２，Ｚ２）に変換する際には、Ｒｗ２（３×３の回転行列），ｔｗ２（３×１の並進ベクトル）が用いられる。これらの行列式は、移動先の視点がワールド座標系のどの点に該当するかにより決定される。そして、移動視点座標系の三次元座標Ｍ２（Ｘ２，Ｙ２，Ｚ２）を、カメラ座標系の三次元座標Ｍ１（Ｘ１，Ｙ１，Ｚ１）に変換する行列式を、Ｒ２１（３×３の回転行列），ｔ２１（３×１の並進ベクトル）とする。
【００５３】
まず、移動視点座標系の三次元座標Ｍ２（Ｘ２，Ｙ２，Ｚ２）を、カメラ座標系の三次元座標Ｍ１（Ｘ１，Ｙ１，Ｚ１）に変換する行列式Ｒ２１，ｔ２１を算出する。Ｒｗ，Ｒｗ２，Ｒ２１，ｔｗ，ｔｗ２，ｔ２１には、次のような関係が成り立つ。「Ｍ１＝Ｒｗ×Ｍｗ＋ｔｗ（ワールド座標系からカメラ座標系へ）」，「Ｍ２＝Ｒｗ２×Ｍｗ＋ｔｗ２（ワールド座標系から移動視点座標系へ）」，「Ｍ１＝Ｒ２１×Ｍ２＋ｔ２１（移動視点座標系からカメラ座標系へ）」である。これらをＲ２１，ｔ２１について解くと、「Ｒ２１＝Ｒｗ×Ｒｗ２Ｔ」，「ｔ２１＝−Ｒｗ×Ｒｗ２Ｔ×ｔｗ２＋ｔｗ」となる。Ｒｗ，Ｒｗ２，ｔｗ，ｔｗ２はすでに算出された固定値であるので、Ｒ２１，ｔ２１は一意的に決定される。
【００５４】
次に、視点変更画像上の点の二次元座標（ｕ２，ｖ２）が、撮像画像上のどの二次元座標（ｕ１，ｖ１）となるかが算出される。そのために、視点変更画像上の二次元座標（ｕ２，ｖ２）が、視点変更座標系の正規化画像上の二次元座標（ｘ２"，ｙ２"）へ変換される。「ｘ２"＝（ｕ２−ｃｘ）／ｆｘ」，「ｙ２"＝（ｖ２−ｃｙ）／ｆｙ」である。ここで、内部パラメータであるＸ軸焦点距離ｆｘ，Ｙ軸焦点距離ｆｙ，Ｘ軸主点座標ｃｘ及びＹ軸主点座標ｃｙが用いられる。次いで、正規化画像上の二次元座標（ｘ２"，ｙ２"）にレンズの歪みを加味した座標（ｘ２'，ｙ２'）が算出される。「ｘ２'＝ｘ２"−ｘ２"×（１＋ｋ１×ｒ２＋ｋ２×ｒ４）」，「ｙ２'＝ｙ２"−ｙ２"×（１＋ｋ１×ｒ２＋ｋ２×ｒ４）」である。なお、「ｒ２＝ｘ２'２＋ｙ２'２」である。ここで、内部パラメータである第一歪み係数ｋ１及び第二歪み係数ｋ２が用いられる。
【００５５】
次いで、視点変更座標系の正規化画像上の二次元座標（ｘ２'，ｙ２'）から視点変更座標系の三次元座標Ｍ２（Ｘ２，Ｙ２，Ｚ２）が算出される。ここで、「Ｘ２＝ｘ２'×Ｚ２」，「Ｙ２＝ｙ２'×Ｚ２」である。さらに、ミシンベッド２の上面をワールド座標系のＸＹ平面としているので、「Ｍ２＝Ｒｗ２×Ｍｗ＋ｔｗ２」においてＺ＝０とする。そして、連立方程式を解くことにより、視点変更座標系の三次元座標Ｍ２（Ｘ２，Ｙ２，Ｚ２）が算出される。
【００５６】
そして、移動視点座標系の三次元座標Ｍ２（Ｘ２，Ｙ２，Ｚ２）を、カメラ座標系の三次元座標Ｍ１（Ｘ１，Ｙ１，Ｚ１）に変換する。ここでは、式「Ｍ１＝Ｒ２１×Ｍ２＋ｔ２１」にＭ２（Ｘ２，Ｙ２，Ｚ２）が代入され、Ｍ１（Ｘ１，Ｙ１，Ｚ１）が算出される。次いで、カメラ座標系の三次元座標Ｍ１（Ｘ１，Ｙ１，Ｚ１）からカメラ座標系の正規化画像上の二次元座標（ｘ１'，ｙ１'）へ変換される。ここで、「ｘ１'＝ｘ１／ｚ１」，「ｙ１'＝ｙ１／ｚ１」である。さらに、レンズの歪みが加味された二次元座標（ｘ１"，ｙ１"）が算出される。「ｘ１"＝ｘ１'×（１＋ｋ１×ｒ２＋ｋ２×ｒ４）」，「ｙ１"＝ｙ１'×（１＋ｋ１×ｒ２＋ｋ２×ｒ４）」により算出される。なお、「ｒ２＝ｘ１'２＋ｙ１'２」である。次いで、正規化画像上の二次元座標（ｘ１"，ｙ１"）から画像座標上の二次元座標（ｕ１，ｖ１）へ変換される。この座標は「ｕ１＝ｆｘ×ｘ１"＋ｃｘ」，「ｖ１＝ｆｙ×ｙ１"＋ｃｙ」で算出される。
【００５７】
このような処理を、視点変更画像のすべての画素について実施すれば、撮像画像のどの画素（ｕ１，ｖ１）が視点変更画像のどの画素（ｕ２，ｖ２）に対応するかがわかるので、撮像画像から視点変更画像を作成することができる。なお、これらの処理を行うＣＰＵ６１が「画像加工手段」に相当する。
【００５８】
以上のようにして、ミシン１において算出されたパラメータを用いて、ワールド座標系の点の三次元座標をカメラ座標系の撮像画像平面上の点の二次元座標に変換したり、カメラ座標系の撮像画像平面上の点の二次元座標をワールド座標系の点の三次元座標に変換したり、イメージセンサ５０で撮像された画像を加工したりできる。
【００５９】
なお、上記実施の形態におけるイメージセンサ５０が「撮像手段」に該当する。ＥＥＰＲＯＭ６４の特徴点三次元座標記憶エリア６４１に記憶されている三次元座標が「基準座標」に該当し、特徴点三次元座標記憶エリア６４１が「基準座標記憶手段」に該当する。そして、ＲＡＭ６３の特徴点二次元座標記憶エリア６３２に記憶されている画像二次元座標が「特徴点座標」に該当する。図９に示すパラメータ算出処理のＳ２において特徴点の二次元座標を算出する処理を行うＣＰＵ６１が「特徴点座標算出手段」に相当する。図９に示すパラメータ算出処理のＳ２において、算出された交点のうち、特徴点に該当する点の座標を特徴点番号に対応させて特徴点二次元座標記憶エリア６３２に記憶する処理を行うＣＰＵ６１が「対応付け手段」に相当する。図９に示すパラメータ算出手段のＳ３でパラメータを算出する処理を行うＣＰＵ６１が「パラメータ算出手段」に相当する。
【００６０】
なお、本発明のミシンは、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。上記実施の形態では、針板８０に特徴点１００〜１２７を設定してパラメータを算出したが、特徴点の位置及び数はこれに限らない。上記実施の形態では直線の交点のみを特徴点としたが、ハフ変換を用いて円の中心の座標を算出し、円の中心に特徴点を設定してもよい。円とは、例えば、穴８１〜８５である。また、直線の交点を用いる場合であっても、穴の形状は長方形に限らず、五角形や六角形の頂点としてもよい。また、特徴点は針板８０上に設定されていなくともよい。例えば、図１１に示すように刺繍装置３０を備えられるミシンであれば、刺繍枠３２上に特徴点を設定してもよい。
【００６１】
ここで、図１１乃至図１３を参照して、刺繍枠３２上に特徴点を設定した場合について説明する。図１１は、刺繍装置３０が取り付けられたミシン１の上側からの斜視図であり、図１２は、図１１に示した刺繍枠３２よりも小さいサイズの刺繍枠２５０の平面図である。図１３は、刺繍枠３２に載置されるテンプレート３５０の平面図であり、図１４は、図１３に示したテンプレート３５０の平面図に特徴点３００〜３１２を配置した模式図である。
【００６２】
まず、刺繍装置３０について説明する。図１１に示すように、ミシン１のミシンベッド２の補助テーブル８を取り外して、刺繍装置３０が装着される。このとき、刺繍装置３０はミシン１に電気的に接続された状態となる。この刺繍装置３０の上部には、前後方向に伸長するキャリッジカバー３３が設けられる。このキャリッジカバー３３の内部には、刺繍枠３２を着脱可能に装着するキャリッジ（図示せず）を前後方向に移動する前後移動機構（図示せず）が設けられている。前記キャリッジの右方には、刺繍枠３２を装着する装着部（図示せず）が設けられ、この装着部は、キャリッジカバー３３の右側面よりも右方に突出するように配設されている。この装着部に、刺繍枠３２の左側に設けられるガイド２５１（図１２参照）が装着される。また、キャリッジ、前後移動機構、及びキャリッジカバー３３は、刺繍装置３０の本体内に設けられる左右移動機構（図示せず）により、左右方向に移動するように駆動される。これにより、刺繍枠３２が、左右方向に移動するように駆動される。そして、前記前後移動機構と左右移動機構は、夫々、Ｙ軸モータ（図示せず）及びＸ軸モータ（図示せず）により駆動される。そして、ミシン１のＣＰＵ６１がＹ軸モータ及びＸ軸モータに駆動指令を出力することにより、刺繍枠３２を前後方向及び左右方向に移動させることができる。なお、刺繍枠３２は図１１に示すサイズだけでなく、図１２に示すように刺繍枠３２よりも小さい刺繍枠２５０など様々なサイズの刺繍枠が備えられている。
【００６３】
ここで、図１２を参照して、刺繍枠２５０について説明する。平面視略長方形のガイド２５１から平面視略楕円形の外枠２５５を支える支持棒２５２〜２５４が延設されている。ガイド２５１の下面の略中央には長手方向に沿って伸長する突出部（図示せず）が設けられている。この突出部が、刺繍装置３０のキャリッジに設けられた前後方向に伸長するように設けられた嵌合溝（図示せず）と嵌合されて、刺繍枠２５０はキャリッジに装着される。また、このとき、キャリッジに設けられた弾性付勢バネ（図示せず）により、突出部が嵌合溝に押圧する方向に付勢されるので、刺繍枠２５０はキャリッジとガタ無く確実に嵌合した状態となり、一体的に移動する。また、外枠２５５の内側には、外周形状が外枠２５５の内周形状と略同形状に形成された内枠２５６が嵌め込まれる。そして、外枠２５５と内枠２５６との間に加工布を挟み、外枠２５５に設けられた調整機構２５７の調整ネジ２５８を締めて加工布を刺繍枠に保持する。また、内枠２５６の内周の下端部の４ヵ所には補強リブ２５６１が設けられている。この補強リブ２５６１の高さは内枠２５６の高さの約４分の１である。そして、この補強リブ２５６１の上には、内枠２５６の内周形状よりも僅かに小さい形状に形成されたテンプレート３５０（図１３参照）が載置される。また、この補強リブ２５６１の略中央位置には、テンプレート３５０の位置決め用の切欠部３５１と係合する係合突起部２５６２が設けられている。この係合突起部２５６２と切欠部３５１が係合することにより、内枠２５６に対してテンプレート３５０が載置される位置が決まる。また、テンプレート３５０は透明樹脂のシート材であり、図１３に示すように、その表面には格子状の複数の基線３９２が印刷されている。そして、ユーザが、外枠２５５と内枠２５６との間に加工布を挟む際に、基線３９２の特定の個所と加工布上に予めチャコペン（図示せず）等で付けた印を合わせるようにして加工布を刺繍枠２５０に取り付ける。このようにして、加工布上の所望の位置に所望の刺繍模様が縫製できるように準備をすることができる。
【００６４】
ここで、刺繍枠を用いた特徴点についての一例を説明する。図１４に示すように、テンプレート３５０上に特徴点３００〜３１２を配置する。そして、刺繍枠３２を所定の位置へ移動させた際の特徴点３００〜３１２の三次元座標を、予めＥＥＰＲＯＭ６４の特徴点三次元座標記憶エリア６４１に記憶しておく。また、刺繍枠３２を所定の位置へ移動させるためのＸ軸モータ及びＹ軸モータへの指令（移動量）もＥＥＰＲＯＭ６４に記憶されている。そして、パラメータ算出プログラムでは、Ｓ１において画像を取得する際に、刺繍枠３２を所定の位置へ移動させて、イメージセンサ５０で画像を撮像する。その後の特徴点抽出（Ｓ２）やパラメータの算出（Ｓ３）は上記実施の形態と同様である。なお、テンプレート３５０上に特徴点を配置するのではなく、刺繍枠３２上に特徴点を配置してもよい。
【００６５】
次に、刺繍枠を用いた特徴点についての別の一例を説明する。刺繍枠２５０に１つの特徴点を配置する。図１２に示す例では、内枠２５６の上面に設けられている三角形の印の１つの頂点に特徴点２００を配置する。この三角形の印は、外枠２５５との位置合わせの目安とするための印である。この印の三角形の辺が直線として抽出されるので、三角形の頂点の座標を算出可能である。そして、刺繍枠３２を複数の所定の位置に移動させた際の特徴点２００の三次元座標を、予めＥＥＰＲＯＭ６４の特徴点三次元座標記憶エリア６４１に記憶しておく。この変形例の場合の特徴点三次元座標記憶エリア６４１には、図１５に示すように、刺繍枠３２を所定の位置へ移動させるためのＸ軸モータ及びＹ軸モータへの指令（移動量）も、三次元座標に対応させて記憶されている。つまり、特徴点２００は１つしか配置されないが、刺繍枠２５０を移動させることにより、特徴点２００の位置も移動される。よって、刺繍枠２５０の移動先が１０個あれば、特徴点２００の位置も１０種類存在するので、１０個の特徴点が配置されているのと同様になる。
【００６６】
そこで、パラメータ算出プログラムでは、刺繍枠３２を１つ目の所定の位置へ移動させて、イメージセンサ５０で画像を撮像し（Ｓ１）、特徴点２００が抽出される（Ｓ２）。そして、２つ目の所定の位置へ刺繍枠３２を移動させて、イメージセンサ５０で画像を撮像し（Ｓ１）、特徴点２００が抽出される（Ｓ２）。そして、Ｓ１及びＳ２の処理を繰り返し、すべての所定の位置における特徴点２００の二次元座標が算出される。その後、すべての所定の位置における特徴点２００の二次元座標と特徴点三次元座標記憶エリア６４１に記憶されている三次元座標とに基づいて、パラメータが算出される（Ｓ３）。
【００６７】
このように、刺繍枠３２を移動させて特徴点を得る場合、刺繍枠上に設ける特徴は１つに限らない。例えば、最終的に３０個の特徴点を得る場合、３つの特徴点を配置し、１０箇所で画像を取得してもよい。
【００６８】
また、上記実施の形態では、内部パラメータ及び外部パラメータを算出しているが、内部パラメータは、ミシン１の出荷前にミシンメーカにおいて算出し、ＲＯＭ６２やＥＥＰＲＯＭ６４に記憶させておき、外部パラメータのみをミシン１で算出させるようにしてもよい。
【図面の簡単な説明】
【００６９】
【図１】ミシン１の上側からの斜視図である。
【図２】イメージセンサ５０を示す模式図である。
【図３】ミシン１の電気的構成を示す模式図である。
【図４】ＲＡＭ６３に設けられている記憶エリアの構成を示す模式図である。
【図５】ＲＡＭ６３に設けられている特徴点二次元座標記憶エリア６３２の構成を示す模式図である。
【図６】ＥＥＰＲＯＭ６４に設けられている記憶エリアの構成を示す模式図である。
【図７】ＥＥＰＲＯＭ６４に設けられている特徴点三次元座標記憶エリア６４１の模式図である。
【図８】針板８０の平面図である。
【図９】針板８０の平面図上に特徴点を記した模式図である。
【図１０】パラメータ算出処理のフローチャートである。
【図１１】刺繍装置３０が取り付けられたミシン１の上側からの斜視図である。
【図１２】図１１に示した刺繍枠３２よりも小さいサイズの刺繍枠２５０の平面図である。
【図１３】刺繍枠３２に載置されるテンプレート３５０の平面図である。
【図１４】図１３に示したテンプレート３５０の平面図である。
【図１５】変形例の特徴点三次元座標記憶エリア６４１の構成を示す模式図である。
【符号の説明】
【００７０】
１  ミシン
２  ミシンベッド
３０  刺繍装置
３２  刺繍枠
５０  イメージセンサ
６１  ＣＰＵ
６２  ＲＯＭ
６３  ＲＡＭ
６４  ＥＥＰＲＯＭ
８０  針板
８１〜８５  穴
８６  目盛り
８７  基線
９１〜９７  歯穴
１００〜１２７  特徴点
２００  特徴点
２５０  刺繍枠
２５５  外枠
２５６  内枠
３００〜３１２  特徴点
３５０  テンプレート
３９２  基線
６３１  撮像画像記憶エリア
６３２  特徴点二次元座標記憶エリア
６４１  特徴点三次元座標記憶エリア
６４２  内部パラメータ記憶エリア
６４３  外部パラメータ記憶エリア
６４２１  Ｘ軸焦点距離記憶エリア
６４２２  Ｙ軸焦点距離記憶エリア
６４２３  Ｘ軸主点座標記憶エリア
６４２４  Ｙ軸主点座標記憶エリア
６４２５  第一歪み計数記憶エリア
６４２６  第二歪み係数記憶エリア
６４３１  Ｘ軸回転ベクトル記憶エリア
６４３２  Ｙ軸回転ベクトル記憶エリア
６４３３  Ｚ軸回転ベクトル記憶エリア
６４３４  Ｘ軸並進ベクトル記憶エリア
６４３５  Ｙ軸並進ベクトル記憶エリア
６４３６  Ｚ軸並進ベクトル記憶エリア
ｃｘ  主点座標
ｃｙ  主点座標
ｆｘ  焦点距離
ｆｙ  焦点距離
ｋ１  歪み係数
ｋ２  歪み係数
ｒ１  回転ベクトル
ｒ２  回転ベクトル
ｒ３  回転ベクトル
ｔ１  並進ベクトル
ｔ２  並進ベクトル
ｔ３  並進ベクトル
【図１】
0005315705.tif 000002
【図２】
0005315705.tif 000003
【図３】
0005315705.tif 000004
【図４】
0005315705.tif 000005
【図５】
0005315705.tif 000006
【図６】
0005315705.tif 000007
【図７】
0005315705.tif 000008
【図８】
0005315705.tif 000009
【図９】
0005315705.tif 000010
【図１０】
0005315705.tif 000011
【図１１】
0005315705.tif 000012
【図１２】
0005315705.tif 000013
【図１３】
0005315705.tif 000014
【図１４】
0005315705.tif 000015
【図１５】
0005315705.tif 000016