コクセター群
また、S = {x1, x2, ..., xn} とすれば以下のように表示できる:
W = ⟨ x 1 , x 2 , ... , x n ∣ x i 2 , ( x j x k ) m j , k ⟩ {\displaystyle W=\langle x_{1},x_{2},\ldots ,x_{n}\mid x_{i}^{2},\,(x_{j}x_{k})^{m_{j,k}}\rangle }
ただし、i, j, k = 1, 2, ..., n かつ mi,j (i ≠ j) は 2 以上の整数か ∞ である。
(W, S) がコクセター系であるとき、生成系 S に属する元の個数 |S| をコクセター群 W の階数 (rank) といい、rank W と表す。また生成元の部分集合 J ⊆ S で生成されるコクセター群 W の部分群 WJ もコクセター群になる。このような部分群 WJ を放物型部分群という。
G が S を生成系とするコクセター群であるとき、(st) = 1 となるms,t (s, t ∈ S) を成分とする |S| 次の対称行列
M = ( m s , t ) s , t ∈ S {\displaystyle M=(m_{s,t})_{s,t\in S}}
双曲空間における鏡映群(特に双曲三角群が含まれる)を記述する双曲コクセター群が無限に存在する。
対合からなる生成系を一つ選べば、コクセター群上に長さ函数 l を考えることができるようになる。つまり、群の元を生成元をアルファベットとする語として表示するために必要な生成元の数の最小値(ケイリーグラフにおける語の距離にちょうど一致する)を、その元の長さとするのである。各元 v の表示のうち、l(v) 個の生成元の積となっているものを v の簡約表示(最短表示)という。例えば、S3 における互換 (1 3) は二つの簡約表示 (1 2)(2 3)(1 2) および (2 3)(1 2)(2 3) を持つ。また、写像
G → { ± 1 } ; v ↦ ( − 1 ) l ( v ) {\displaystyle G\to \{\pm 1\};\;v\mapsto (-1)^{l(v)}}
は、対称群上の符号函数を生成する。また有限コクセター群には最長の長さを持つ元が唯ひとつ存在する。これを最長元という。
簡約表示を使えば、コクセター群上に(左/右)弱順序、絶対順序、ブリュア順序(英語版)(フランソワ・ブリュア(英語版)に因む)という三種類の半順序を定義することができる。
コクセター群は鏡映群の概念と深く結びついている。単純に見ると、コクセター群が(生成元と基本関係によって与えられる)抽象群である一方、鏡映群は(線型代数群の部分群またはその適当な一般化として与えられる)具体群である。実際、コクセター群は鏡映群の研究の過程でその抽象化として生まれたものである。鏡映群は鏡映(つまり位数 2 の合同変換)で生成される線型代数群の部分群であり、他方のコクセター群は対合(つまり位数 2 の変換、鏡映の抽象化)で生成されるが、これらの間の対応はある決まった仕方で与えられる(基本関係 (rirj) は π/k の角度で交わる超平面に対応しており、rirj の位数が k であるということが 2π/k の回転の抽象化になっている)。
鏡映群からこのようにして得られる抽象群はコクセター群であり、逆に鏡映群をコクセター群の線型表現とみなすことができる。有限コクセター群に対しては、この対応は(函手として)完全である。つまり、任意の有限コクセター群はある次元のユークリッド空間における有限鏡映群としての忠実な表現を持つ。一方、無限コクセター群は必ずしも鏡映群として表現されるとは限らない。
歴史的には (Coxeter 1934) で任意の鏡映群がコクセター群であること(すなわち任意の鏡映群に対して、基本関係が ri または (rirj) で尽くされるような表示ができること)が示されており、実際この論文でコクセター群の概念が導入されている。逆に (Coxeter 1935) で有限コクセター群が必ず何らかの鏡映群として表現できることが示されており、したがってこれで有限コクセター群の分類は終了している。