馬蹄形写像（ばていけいしゃぞう）とは、伸ばして折り曲げる変形で定義される、2次元上の力学系である。馬蹄形力学系や馬蹄写像などとも呼ぶ。スティーブ・スメールが最初に作った写像で、強制振動型のファン・デル・ポール方程式が示す複雑な振る舞いを考察するために考案した。非線形力学系におけるカオスが生みだされる一般的なメカニズムを表している。写像のサドル点が安定多様体と不安定多様体が横断的に交わるホモクリニック点を持つとき、馬蹄が存在する。

写像の定義

平面 R2 上で、辺の長さが 1 である正方形を考える。この正方形 S を、横方向に縮め、縦方向に引き伸ばす。出来上がった縦長い長方形を、さらに真ん中で曲げて折り返し、馬蹄（逆U字）のような形にする。そして、S があった元の正方形に覆い被さるように置く。この一連の操作後に S が移った領域を h(S) とする。横方向の縮小と縦方向の拡大は、元の正方形領域に重ねたときに、横方向ははみ出ない程度に、縦方向は曲線部分が正方形領域に被らない程度に、適当な縮小率 λ と拡大率 μ  が与えられれば事足りる。

馬蹄形写像 h とは、以上のように連続的な変形の操作で定義される、S を像 h(S) へ写す写像である。馬蹄形写像は、代数的というより、幾何学的に定義される写像である。後述のように構造安定な写像なので、変形自体も多少適当であっても同じ力学系になる。h(S) の縦線が S の縦線とは交わらないことや h(S) が S をきちんと突き抜けていることなどが守られていれば本質的に同じ力学系といえる。h(S) に再度 h を適用すれば、逆U字をさらに伸ばして折り曲げた領域の像 h 2(S) ができあがる。ここで、h 2 は写像 h の2回反復繰り返しを意味する。逆写像 h−1 も定義でき、h は時間（反復繰り返し）の反転に対称な写像である。h−1 で正方形 S を写すと向きが 90° 変わった馬蹄が出来上がる。

他の馬蹄形写像の定義としては、S の両側に半円をくっ付けた領域で定義して、正方形外の h(S) の点の挙動を明確にする流儀もある。はみ出た部分を切り取ってしまう（消してしまう）という考え方もある。2次元球面上の微分同相写像への拡張も容易にできる。

正方形内の不変集合

馬蹄形写像を繰り返し適用すると、縦方向の幅はどんどん縮められながら、何重にも折りられ、積み重なった図形となる。馬蹄形写像でとくに注目するのが、写像の反復を延々と続けても元の正方形領域 S の内に留まり続ける領域である。一般に、ある写像 x ↦ f(x) に対して集合 A ∋ x が不変であるとは、任意の n ∈ Z について f n(x) ∈ A を満たすことをいう。正方形内に存在する馬蹄形写像の不変集合とは、領域 Λ = { x ∈ S | 全ての整数 n について x ∈ h n(x) } のことである。正の方向の反復と負の方向の反復に分けた方が便利なので、

のように、Λ を構成する。ここで、h 0 は恒等写像を意味する。

像 h(S) の内の S 上に残っている領域（点の集合）は、h(S) の馬蹄の左側と右側に縦長の長方形として存在する。左側の長方形を h(H0) とし、右側の長方形を h(H1) とする。元の S 上では、H0 は下側に存在する横長の長方形で、H1 は上側に存在する横長の長方形である。h(H0) と h(H1) の横幅は λ であり、H0 と H1 の縦幅も λ となる。

次に、2回反復 h 2(S) が S 内に残る領域は、より細くなった4つの縦長長方形となる。これらの4つの縦長長方形へ写る元の S 上の領域は、1回適用のときと同じく4つの横長長方形が対応する。左に残る領域には H の下付き文字の右側に0を付け加え、右に残る領域には1を付け加えるとする。すなわち、h 2(S) ∈ S の4本の縦長長方形を、左から h 2(H00), h 2(H10), h 2(H11), h 2(H01) と表す。例えば、H10は、h 1 で右側へ、h 2 で左側へ写ることを意味する。H00 と H01 は H0 の内に存在し、H10 と H11 は H1 の内に存在する。

以上のような具合に h の反復を続けると、k 回反復後に h k(S) ∈ S である領域は、幅が λk、数が 2k 本の縦長長方形となる。これらの領域に写る S 上の点の集合 H も、幅が λk、数が 2k 本の横長長方形となる。よって、n → ∞ で、各 H の幅は 0 に収束し、H は長さ 1 の水平な線分の非可算無限個の集まりとなる。H は、その操作から、線分のカントール集合を形成する。この集合が、n → ∞ に関する不変集合 Λ+ である。

負の時間方向へ h−1 を反復した場合も、同様の議論から、n → −∞ に関する不変集合 Λ− も線分のカントール集合を形成する。ただし、Λ− は垂直な線分の集まりである。過去にわたっても未来にわたっても S 上に存在しつづける不変集合は Λ+ と Λ− の積であるから、H と V が重なってできる無数の小さな正方形の中に不変集合が含まれることになる。Λ は、2つのカントール集合同士の直積集合となる。

不変集合上の軌道
不変集合 Λ 上の点 p は時間発展（写像の反復）に従ってどのような振る舞いをするのかに注目する。そのために記号力学系を用いる。H と V の積でできる小さな正方形領域に番号を振っていく。上記で行っていたように、S の左側を 0、右側を 1 で表すとする。S の下側は 0、上側は 1 で表す。例えば、H0101 ∈ S は h 0, h 2 で左側に写り、h 1, h 3 で右側に写る点の集合である。V100 ∈ S は h−1, h−2 で下側に写り、h−3 で上側に写る点の集合である。反復のたびに H には添え字の右側に値を加えていくが、V には添え字の左側に値を加えていくとする。例えば、H0101 と V100 の積でできる領域は、100⋅0101 という番号で表すことができる。ここで、点 ⋅ は初期点を意味する。このような 0 と 1 の番号列で、馬蹄形写像 h による点 p ∈ Λ の時間発展の挙動を表すことができる。この番号列を旅程と呼ぶ。

以上のような番号振りによって、Λ 上の点 p を、その旅程へ対応させる写像

を定義できる。ここで、si は 0 または 1 である。ρ は、一対一対応で全ての p を一意な旅程へ対応付けることができる。 一方、0 と 1 の無限列を要素とし、全ての 0 と 1 の組み合わせから成る集合を Σ で表す。Σ 上の2点（2つの列）a = (...a−2a−1⋅a0a1a2...) と b = (...b−2b−1⋅b0b1b2...) の距離を

で定義する。さらに、Σ 空間に作用するシフト写像 σ を

と定義する。すなわち、σ は列の構成要素を一つ左へずらすだけの写像である。距離 d により、σ は Σ 上の同相写像である。

以上のように用意された σ を Σ 上の点に反復適用すれば、時間発展に応じて点が移り変わっていく離散力学系の軌道が構成できる。Σ 上の σ は次のような軌道を持つ。
可算無限個のあらゆる周期の周期軌道
非可算無限個の非周期軌道
Σ 内を稠密に動き回る軌道

そして、不変集合 Λ へ作用する馬蹄形写像 h は、ρ: Λ → Σ を位相共役写像にして σ: Σ → Σ と位相共役の関係にある。すなわち、h の Λ への制限 h|Λ: Λ → Λ は、

を満たす。したがって、σ が持つ上記の性質を h も備えている。Λ 上の任意の点はどんなに小さな近傍上の点とも有限回の反復である距離以上に離れてしまう性質を持ち、h は初期値鋭敏性を持つ閉不変集合上のカオス力学系である。さらに、h の全ての周期点は、安定集合と不安定集合を持つサドル点となる。

不変集合 Λ は非遊走集合でもある。ある力学系 f について点 x0 が非遊走的であるとは、x0 の適当な近傍 U 上の任意の点 x に写像の反復を繰り返すと、ある有限の反復繰り返し数 k で f k(x) が U と含まれることをいう。非遊走的な点とは、その点を含めたある領域に写像の反復を繰り返すと、その領域自身に必ずいつか戻って来るという性質を持つ点だといえる。非遊走集合とは非遊走的な点の集まりのことで、ある力学系 f の全ての非遊走的な点を集めた非遊走集合を Ω(f) などと表す。

安定集合と不安定集合
x0 ∈ S の安定集合 Ws(x0) と不安定集合 Wu(x0) を、

と定義する。安定集合とは、写像の繰り返し反復によって x0 の軌道に近づいていく初期点の集まりといえる。不安定集合は、時間をさかのぼる方向へ繰り返し反復させたときに x0 の軌道に近づいていく初期点の集まりである。安定集合と不安定集合が部分多様体であれば、これらを安定多様体と不安定多様体ともいう。

常に f(x) = (x) を満たし、写像を適用しても動かないような点を不動点という。正方形 S 上には、左下と右上に2つの不動点があり、どちらもサドル点である。左下の不動点を p0 とすると、 p0 を通る水平線上の点は、反復によって p0 に近づく。したがって、p0 は安定集合 Ws(p0) を持ち、 p0 を通る水平線分 ls がその一部である。反復によって p0 に近づく点は他にも存在し、それらはある回数反復したときに ls 上に写る点の集合である。これらは、反復回数 n = k とすると、S 上の 2k 個の水平線分になる。図的には、S を 2k 回通る蛇のように曲がりくねった曲線である。p0 の不安定集合 Wu(p0) は、同様に、p0 を通る垂直線分 lu を含み、S を垂直に 2k 回横切る曲がりくねった曲線になる。n → ∞ でこれらの曲線は、その閉包に不変集合 Λ の全ての点を含む。

記号力学系の Σ 空間上では、不動点 p0 は {...000⋅000...} という列に対応する。すなわち、Ws(p0) は、Σ 空間で、その番号列のどこかの位置から右側が全て 0 となっている番号列

に対応する。一方、Wu(p0) もどこかの位置から左側が全て 0 となっている番号列

に対応する。

構造安定性
馬蹄形写像は、上記のような非常に複雑な軌道を取ると同時に構造安定である力学系として知られる。構造安定であるとは、大雑把にいうと、ある力学系が別の力学系に変動したときに、その別の系が元の系にある程度以上近ければ質的に同じ挙動が保たれるという意味である。
数学的には、構造安定性は写像同士の近さを示す距離（位相）を導入して定義される

まず、馬蹄形写像の非遊走集合 Ω(h) は摂動 φ に対して Ω-安定である。元々 R2 に局所的に定義されていた馬蹄形写像を、2次元球面上に拡張し、C ∞級微分同相写像 h: S 2 → S 2 として再定義する。C r 位相を入れた、S 2 の C  r 級微分同相写像の全体から成る集合 Diffr(S 2) 上で、h の近傍 U を考える。このときに、ある適当な近傍 U を取れば、近傍内の任意の写像 φ とその非遊走集合 Ω(φ)に対して、h|Ω(h) と φ|Ω(φ) が位相共役な関係となる。

馬蹄形写像はΩ-安定であり、さらに強い安定性すなわち構造安定性も備える。Ω(h) に制限されない S 2 全体で、 h: S 2 → S 2 と φ: S 2 → S 2 が位相共役の関係となる。すなわち、h のどの軌道も、φ の軌道として向きを保存して現れる。

馬蹄の一般性
馬蹄形写像は「カオス的不変集合を持つ原型的な写像」、馬蹄は「カオスという不規則な変動を生み出す土台」や「カオスのホールマーク」といわれる。馬蹄形写像は、元の領域を引き伸ばして折りたたむというメカニズムが持ち、これはカオスを生む一般的なメカニズムの一つである。馬蹄形写像は特殊に定義された力学系のようにみえるが、実際にはカオスを生む力学系全体に普遍的に存在している。

一般に、ある点 p に対する安定多様体 Ws(p) と不安定多様体 Wu(p) を考える。写像（離散力学系）の場合、Ws(p) と Wu(p) が p 以外の場所で交差できる。この交点を q とする。q はホモクリニック点と呼ばれる。Ws(p) と Wu(p) が q で 0 でない角度で交差するとき、q を横断的ホモクリニック点という。Ws(p) と Wu(p) が不変集合としての性質を持っていることから、q が 写像 f によって写される f (q) も Ws(p) と Wu(p) の交点（ホモクリニック点）に写ることになる。q を初期点とする軌道 {..., f −2(q), f −1(q), q, f(q), f 2(q),...} も全て Ws(p) 上と Wu(p) 上に存在し、ホモクリニック点が無限個存在することになる。結局、横断的ホモクリニック点が1つ存在すれば、 Ws(p) と Wu(p) は互いに無限に交わりながら絡み合う。このような複雑な幾何学的構造はホモクリニック錯綜と呼ばれ、歴史的にはアンリ・ポアンカレが制限三体問題における不安定周期解の性質を研究する過程でその存在を指摘していた。連続力学系であれば、ポアンカレ写像によって上記の議論がそのまま当てはまる。

馬蹄形写像の発案者であるスティーブ・スメールは、ホモクリニック点が持つ位相的性質を馬蹄形写像として解明した。以上のような錯綜が起こると、馬蹄が存在するようになる。言い換えれば、写像が横断的ホモクリニック点を持つとき、その力学系は馬蹄形写像を持つ。幾何学的には、以下のような具合である。p と q を含み、Ws(p) を中心線とするような短冊形領域ABCDを考える。ABCDは写像の反復によって p の周りに正方形状に集まる。この正方形状領域は、さらなる反復によってWu(p) に沿って引き伸ばされる。最終的に、適当な k 回の反復によって写る領域 A'B'C'D' = f k(ABCD) は馬蹄形となり、ABCD を突き抜けた格好となる。この f k は馬蹄形写像である。平面上の微分同相写像を f とし、横断的ホモクリニック点が存在すれば、f のある反復繰り返しに、上記で定義された馬蹄形写像に座標変換して一致する「馬蹄」が存在することが定理としていえる。

馬蹄形写像は幾何学的に定義される写像であったが、馬蹄形写像と類似の操作を持ち尚且つ具体的な代数式が与えられている他の2次元上の離散力学系の例としては、エノン写像がある。不連続変形ではあるが、パイこね変換も馬蹄形写像と類似の操作から成る。連続力学系（常微分方程式系）でポアンカレ断面上に馬蹄が観察できる例としては、周期外力が加わる減衰付のダフィング振動子や電気回路のチュア回路が知られている。

発見史

馬蹄形写像は、アメリカの数学者スティーブ・スメールが考案した。スメールが馬蹄形写像を初めて紹介した論文は、1964年の Diffeomorphisms with many periodic points とされる。当時の背景として、1940年代から1950年代にかけて、非線形振動の問題が多くの数学者の興味を引き、多くの研究がなされていた。スメールは、自身の学位論文はトポロジーに関するもので、研究者となった後の主な興味もトポロジーにあった。シカゴ大学で最初の教職に就いたのちに同僚を通じて徐々に力学系についても理解を深め始め、1958年ごろに知ったの構造安定性に関する成果に興味を持ち、この結果を任意次元への拡張することに取り組んだ。

その後、スメールは力学系に関する論文を仕上げて公表した。しかし、その論文では誤った示唆が含まれていた。

その論文では、後にモース・スメール系と呼ばれるクラスの力学系について論じ、そのクラスの力学系はほとんど全ての常微分方程式であると示唆した。この示唆に対して、アメリカのから反論を含む手紙が届けられた。その手紙には、レビンソンの以前の論文の結果が書かれており、スメールの論文に対する反例が含まれていた。レビンソンの論文は、1940年代のイギリスのとジョン・エデンサー・リトルウッドの研究成果をもとにしていた。カートライトとリトルウッドの研究は強制振動型のファン・デル・ポール方程式に関するもので、その微分方程式は無限に多くの周期解を持つことを示していた。

スメールは、レビンソンの論文、カートライトとリトルウッドの方程式について取り組み、レビンソンの結果が正しいことを理解した。この過程で、以下の強制振動型ファンデルポール方程式が示す複雑な挙動の本質を幾何学的に考察し、スメールは馬蹄形写像のアイデアに至った。この複雑な挙動の本質は「引き伸ばし」と「折り曲げ」であると直感し、馬蹄形写像を思いついたという。

ちなみに、スメールが最初のころに考えた写像の変形は、現在のものとはやや異なる2箇所を折り曲げて畳むような変形で、スメールの図を見たからのコメントを経て、今の馬蹄形写像となった。ただし、この当時にスメールが考えていた2折り変形の写像でも、現在の馬蹄形写像と同等な現象は起き得る。