セルバーグ跡公式（セルバーグせきこうしき、Selberg trace formula）とは、 で導入された、二乗可積分函数の空間 L2(G/Γ) 上の G のユニタリ表現の指標の表現である。ここに G はリー群で Γ は余有限 (cofinite) な離散群とする。指標は、G 上のある函数のトレースにより与えられる。

Γ がな場合とは、離散的な和へ表現が分解するときのことを言う。ここで、跡公式とは、有限群の誘導表現の指標の(Frobenius formula)の拡張である。Γ が実数 G=R の余コンパクト部分群 Z のときには、セルバーグ跡公式は本質的にポアソン和公式である。

G/Γ がコンパクトでないときは、アイゼンシュタイン級数を使い記述された連続スペクトルとなり、より難しくなる。セルバーグは、G が群 SL2(R) の非コンパクトの場合に結果をもたらし、さらに高いランクの群への拡張が(Arthur-Selberg trace formula)である。

Γ がリーマン面の基本群のとき、セルバーグ跡公式は、リーマン面の測地線の長さを意味する幾何学的データの項にラプラシアンのような微分作用素のスペクトルを書き表す。この場合にはセルバーグ跡公式は、リーマンの明示公式に似た形となり、素数のリーマンゼータ函数のゼロ点に関係し、ゼータのゼロ点はラプラシアンの固有値に対応し、素数は測地線に対応する。この類似に動機を得て、セルバーグはリーマン面のセルバーグゼータ函数を導入し、解析的な性質は、このセルバーグ跡公式にエンコードされる。

概要 
セルバーグの跡公式は位相群上の関数空間に作用する積分作用素の跡を二通りの方法で計算することで得られる。有限次元ベクトル空間に作用する線形作用素、つまり行列の場合、対角成分の和と固有値の和はともに行列の跡に等しいので

 対角成分の和 ＝ 固有値の和

が成り立つのであった。簡単にいうとこの等式の積分作用素版がセルバーグの跡公式である。

基本的な議論 

セルバーグの跡公式は次のような議論を経て導出される。
を位相群、
をその離散部分群、
を

上の関数とする。
上の関数

に対して

上の関数

を

 

で定義する。
は関数空間に作用する線形作用素である。
が左からの

作用で不変であれば

もそうである。さらに

が

上の二乗可積分関数であるとき

もそうなるのであれば

はヒルベルト空間

の線形作用素を定める。この跡を二通りの方法で計算する。

まず、スペクトル・サイドと呼ばれる方の計算をする。行列の例えでいうとこれは固有値の和の方である。
が

の作用で不変な部分空間

（は添字）達のヒルベルト直和に分解し、
とかけたとする。このとき、跡の性質から

 

が成り立つ。ここで

は

を不変部分空間

の線形作用素とみたときの跡である。これがスペクトル・サイドと呼ばれる方の計算結果である。セルバーグの跡公式といったとき、
 の分解としてはこの空間を

の右正則表現の空間と見立てて既約表現への分解を考えることが多い。もともとのセルバーグの論文ではラプラシアンの固有空間への分解を考えていた。より荒く連続スペクトラムと離散スペクトラムへの分解でもよい。

次に幾何サイドと呼ばれる方の計算をする。行列の例えでいうとこれは対角成分の和の方である。まず

の定義から簡単な計算により

 

がわかる。よって

は積分核

 

によって定義される積分作用素である。積分核によって定義される作用素の跡は、核関数の対角集合に沿っての積分と等しくなることが知られている。つまり

 

が成り立つ。右辺の  を  に戻して計算を進めると

 

が成り立つことがわかる。ここで

は

の共役類の代表元全体の集合、

と

はそれぞれ

および

における

の中心化群である。これが幾何サイドと呼ばれる方の計算結果である。

以上の

の跡の二通りの計算から

 

が成り立つことがわかった。これがセルバーグの跡公式である。もちろん、以上の議論は跡の存在や無限和の収束について何も仮定を置いていない形式的なものなので、これだけでは何も証明できていない。実際に成立する等式を得るためには状況に応じて適切な前提を置き厳密な議論を行わねばならない。

ポアソンの和公式 

簡単な場合として
、
の場合を考える。この場合、
、
、

などに注意すれば幾何サイドは

と計算できる。スペクトル・サイドを計算するために

という分解をとる。簡単に分かるように

は

の不変部分空間になっており、この空間での

の跡は

である。ここで

は

のフーリエ変換である。したがってスペクトル・サイドは

となるので、この場合の跡公式は

 

となる。この等式は実際に

が急減少関数であるときなどに成立し、ポアソン和公式と呼ばれている。これから、セルバーグの跡公式とはポアソンの和公式の非可換な位相群への一般化であるとも言える。

余コンパクトな場合 

がコンパクトな場合、
は既約部分空間の直和に分解し、各既約表現の重複度は有限であることが知られている。記号で書くと

となる。ここで

は既約ユニタリ表現のユニタリ同値類である。

この分解を使ってスペクトル・サイドを計算すると、セルバーグの跡公式は

 

となる。右辺の

は

である。

非コンパクトな場合 

が非コンパクトな場合、たとえば

で

の場合、
がコンパクト台であっても

の"跡"は発散してしまいそもそも跡が定義できない。
それに対応するかのように、跡公式の幾何サイドにおいてもスペクトル・サイドにおいても発散する項が現れる。この場合には、これらの発散する項を相殺させることで跡公式が得られる。

初期の歴史

 S の場合は、特に興味をもたれている場合である。1956年にアトル・セルバーグ(Atle Selberg)が最初に論文を出したときは、ラプラス微分作用素とそのベキがこの場合を扱った。ラプラシアンのベキのトレースは、セルバーグゼータ函数を使い定義することができる。この場合の興味は、得られた公式と素数の理論の L-函数の明示公式との関係である。そこでは S 上の閉じた測地線が素数の役割を担う。

同時に、ヘッケ作用素のトレースも、セルバーグと(Martin Eichler)のアイヒラー・セルバーグ跡公式(Eichler-Selberg trace formula)と関連していて、ヘッケ作用素は与えられたウェイトのモジュラー群のに対しカスプ形式のベクトル空間の上に作用する。ここに、同一視する作用素のトレースは、ベクトル空間の次元、すなわち、与えられたモジュラー形式の空間の次元であり、リーマン・ロッホの定理により伝統的な方法の計算で求めることができる。

応用

跡公式はや数論へ応用される。例えば、アイヒラー・志村の定理を使い、モジュラー曲線の{ハッセ・ヴェイユのL-函数を計算する。志村五郎の解析を使う方法は、跡公式を使うことを意味している。アイヒラーコホモロジー（放物コホモロジーとも言う）の発展は、純粋にの設定に基礎を持つ代数的設定を与えるので、非コンパクトなリーマン面やモジュラ曲線のカスプを考えることができるようになった。

また、跡公式は純粋に微分幾何学への応用も持っている。例えば、ブーサー(Buser)の結果により、リーマン面の(length spectrum)は、本質的には跡公式により、同じスペクトルを持つ不変量である。

後期の仕事
アイゼンシュタイン級数の一般論は、非コンパクトな場合の特徴である連続スペクトルを分離するための要求に、大きな動機を持っている。

跡公式は、しばしば、リー群というよりもアデール上の代数群の上で使われる。理由は、跡公式が対応する離散部分群 Γ を、それ以前に開発されたテクニックのより容易な体の上の代数群の上に置き換えるからである。

理論の現在の一番成功している公式は(Arthur-Selberg trace formula)で、一般の半単純な G の場合に適用される。多くの跡公式の研究はラングランズ哲学の中で(endoscopy)というテクニックを使う。セルバーグの跡公式は、アーサー・セルバーグ跡公式から導き出すことが可能である。（パームを参照）

コンパクトな双曲曲面のセルバーグ跡公式

コンパクトな双曲曲面  を、軌道の空間として、次のように書くことができる。

ここに、 は  の部分群で、 は上半平面であり、 へは線型分数変換として作用する。

この場合のセルバーグの跡公式は、一般の場合よりも容易である。何故ならば、曲面がコンパクトであるから、連続スペクトルが存在せず、群 Γ は（同一視を除き）放物型かもしくは楕円型となるからである。

すると、X 上のラプラス・ベルトラミ作用素のスペクトルは離散的となり、ラプラス作用素はコンパクトなレゾルベント(resolvent)を持つ自己随伴作用素であるので、スペクトルは実数となる。

ここに、固有値  はラプラシアンの Γ-不変な固有函数  である。言い換えると、

変数を代入して、

とすると、固有値はラベル付けされる。

するとセルバーグ跡公式は次のように与えられる。

上式の右辺は、群 Γ の共役類を渡る和であり、第一項は同一視の元に対応していて、残りのほかの項は共役類  を渡る和を構成している（この場合はすべて双曲的である）。函数  は  上で解析的であり、次を満たす。

ここに  と  は正の定数である。函数  は  のフーリエ変換である。つまり、

である。