馬蹄形写像
Λ = Λ + ∩ Λ − {\displaystyle \Lambda =\Lambda _{+}\cap \Lambda _{-}}
のように、Λ を構成する。ここで、h は恒等写像を意味する。
像 h(S) の内の S 上に残っている領域(点の集合)は、h(S) の馬蹄の左側と右側に縦長の長方形として存在する。左側の長方形を h(H0) とし、右側の長方形を h(H1) とする。元の S 上では、H0 は下側に存在する横長の長方形で、H1 は上側に存在する横長の長方形である。h(H0) と h(H1) の横幅は λ であり、H0 と H1 の縦幅も λ となる。
次に、2回反復 h(S) が S 内に残る領域は、より細くなった4つの縦長長方形となる。これらの4つの縦長長方形へ写る元の S 上の領域は、1回適用のときと同じく4つの横長長方形が対応する。左に残る領域には H の下付き文字の右側に0を付け加え、右に残る領域には1を付け加えるとする。すなわち、h(S) ∈ S の4本の縦長長方形を、左から h(H00), h(H10), h(H11), h(H01) と表す。
x0 ∈ S の安定集合 W(x0) と不安定集合 W(x0) を、
W s ( x ) = { x | | f n ( x ) − f n ( x 0 ) | → 0 ( n → ∞ ) } {\displaystyle W^{s}(x)=\{x||f^{n}(x)-f^{n}(x_{0})|\to 0\ (n\to \infty )\}}
W u ( x ) = { x | | f − n ( x 0 ) − f − n ( x ) | → 0 ( n → ∞ ) } {\displaystyle W^{u}(x)=\{x||f^{-n}(x_{0})-f^{-n}(x)|\to 0\ (n\to \infty )\}}
と定義する。安定集合とは、写像の繰り返し反復によって x0 の軌道に近づいていく初期点の集まりといえる。不安定集合は、時間をさかのぼる方向へ繰り返し反復させたときに x0 の軌道に近づいていく初期点の集まりである。安定集合と不安定集合が部分多様体であれば、これらを安定多様体と不安定多様体ともいう。
常に f(x) = (x) を満たし、写像を適用しても動かないような点を不動点という。正方形 S 上には、左下と右上に2つの不動点があり、どちらもサドル点である。左下の不動点を p0 とすると、 p0 を通る水平線上の点は、反復によって p0 に近づく。したがって、p0 は安定集合 W(p0) を持ち、 p0 を通る水平線分 ls がその一部である。反復によって p0 に近づく点は他にも存在し、それらはある回数反復したときに ls 上に写る点の集合である。
馬蹄形写像は「カオス的不変集合を持つ原型的な写像」、馬蹄は「カオスという不規則な変動を生み出す土台」や「カオスのホールマーク」といわれる。馬蹄形写像は、元の領域を引き伸ばして折りたたむというメカニズムが持ち、これはカオスを生む一般的なメカニズムの一つである。馬蹄形写像は特殊に定義された力学系のようにみえるが、実際にはカオスを生む力学系全体に普遍的に存在している。
一般に、ある点 p に対する安定多様体 W(p) と不安定多様体 W(p) を考える。写像(離散力学系)の場合、W(p) と W(p) が p 以外の場所で交差できる。この交点を q とする。q はホモクリニック点と呼ばれる。W(p) と W(p) が q で 0 でない角度で交差するとき、q を横断的ホモクリニック点という。W(p) と W(p) が不変集合としての性質を持っていることから、q が 写像 f によって写される f (q) も W(p) と W(p) の交点(ホモクリニック点)に写ることになる。q を初期点とする軌道 {..., f(q), f(q), q, f(q), f(q),...} も全て W(p) 上と W(p) 上に存在し、ホモクリニック点が無限個存在することになる。結局、横断的ホモクリニック点が1つ存在すれば、 W(p) と W(p) は互いに無限に交わりながら絡み合う。このような複雑な幾何学的構造はホモクリニック錯綜と呼ばれ、歴史的にはアンリ・ポアンカレが制限三体問題における不安定周期解の性質を研究する過程でその存在を指摘していた。