数学上，广义正交群或称伪正交群、不定正交群O(p,q)是所有保持n=p+q维实向量空间上的符号为 (p,q)的非退化对称双线性形式的线性变换组成的李群。这个群的维数是n(n−1)/2。
广义特殊正交群SO(p,q)是O(p,q)中所有行列式为1的元素构成的子群。
度量的符号（p、q分别为正负特征值的个数）在同构的意义下决定该群；交换p和q相当于度量改变惯性指数，所以给出同样的群。如果p或q等于0，那么同构于普通正交群O(n)。我们假设下文中p和q均是正整数。
群O(p,q)定义在实向量空间上。对于複空间，所有群O(p,q; C)都同构于通常正交群O(p + q; C)，因为複共轭变换
  
    
      
        
          z
          
            j
          
        
        ↦
        i
        
          z
          
            j
          
        
      
    
    {\displaystyle z_{j}\mapsto iz_{j}}
  
能改变二次型的惯性指数。


矩阵定义 和经典正交群O(n)一样，O(p,q)能表示为矩阵群。Rp,q上由对角矩阵给出标准内积：

  
    
      
        η
        =
        
          d
          i
          a
          g
        
        (
        
          
            
              
                1
                ,
                ⋯
                ,
                1
              
              ⏟
            
          
          
            p
          
        
        ,
        
          
            
              
                −
                1
                ,
                ⋯
                ,
                −
                1
              
              ⏟
            
          
          
            q
          
        
        )
        .
        
      
    
    {\displaystyle \eta =\mathrm {diag} (\underbrace {1,\cdots ,1} _{p},\underbrace {-1,\cdots ,-1} _{q}).\,}
  

作为二次型，
  
    
      
        Q
        (
        
          x
          
            1
          
        
        ,
        …
        ,
        
          x
          
            n
          
        
        )
        =
        
          x
          
            1
          
          
            2
          
        
        +
        ⋯
        +
        
          x
          
            p
          
          
            2
          
        
        −
        
          x
          
            p
            +
            1
          
          
            2
          
        
        −
        ⋯
        −
        
          x
          
            p
            +
            q
          
          
            2
          
        
        .
        
      
    
    {\displaystyle Q(x_{1},\dots ,x_{n})=x_{1}^{2}+\cdots +x_{p}^{2}-x_{p+1}^{2}-\cdots -x_{p+q}^{2}.\,}
  

群O(p,q)是由n×n矩阵M（这里n = p+q）使得
  
    
      
        
          M
          
            T
          
        
        η
        M
        =
        η
      
    
    {\displaystyle M^{T}\eta M=\eta }
  
。，或作为双线性形式
  
    
      
        Q
        (
        M
        v
        )
        =
        Q
        (
        v
        )
      
    
    {\displaystyle Q(Mv)=Q(v)}
  
组成的群。
这里MT表示矩阵M的转秩。容易验证所有这样的矩阵构成一个群。M的逆满足

  
    
      
        
          M
          
            −
            1
          
        
        =
        
          η
          
            −
            1
          
        
        
          M
          
            T
          
        
        η
        .
        
      
    
    {\displaystyle M^{-1}=\eta ^{-1}M^{T}\eta .\,}
  

我们得到一个同构群。事实上将η换成任意p个正特征值q个负特征值的对称矩阵（这样的矩阵必是非奇异的），等价的，任何符号为 (p,q)的二次型。对角化这个矩阵给出此群共轭于标准群O(p,q)。


拓扑 O(p,q)和SO(p,q)都不是连通的，分别有4个和2个分支。

  
    
      
        
          π
          
            0
          
        
        (
        O
        (
        p
        ,
        q
        )
        )
        ≅
        
          C
          
            2
          
        
        ×
        
          C
          
            2
          
        
      
    
    {\displaystyle \pi _{0}(O(p,q))\cong C_{2}\times C_{2}}
  
是克莱因四元群，每个分支保持或改变p维正定或q维负定子空间的定向。特殊正交群有分支
  
    
      
        
          π
          
            0
          
        
        (
        S
        O
        (
        p
        ,
        q
        )
        )
        =
        {
        (
        1
        ,
        1
        )
        ,
        (
        −
        1
        ,
        −
        1
        )
        }
      
    
    {\displaystyle \pi _{0}(SO(p,q))=\{(1,1),(-1,-1)\}}
  
，同时保持或同时改变两个定向。
O(p,q)的单位分支常记作SO+(p,q)，能和SO(p,q)中同时保持两个定向的元素的集合等价起来。
群O(p,q)也不是紧，但包含紧子群O(p)和O(q)，分别作用在两个确定子空间上。事实上，O(p)×O(q)是O(p,q)的极大紧子群。而
  
    
      
        S
        (
        O
        (
        p
        )
        ×
        O
        (
        q
        )
        )
      
    
    {\displaystyle S(O(p)\times O(q))}
  
是SO(p,q)的极大紧子群。同样，SO(p)×SO(q)是SO+(p, q)的极大紧子群。从而在同论的意义上来说，这些群是（特殊）正交群的积，这样代数拓扑不变量都可以计算出来。
特别的，SO+(p, q)的基本群是分支基本群的乘积，
  
    
      
        
          π
          
            1
          
        
        (
        
          
            
              SO
            
          
          
            +
          
        
        (
        p
        ,
        q
        )
        )
        =
        
          π
          
            1
          
        
        (
        
          
            SO
          
        
        (
        p
        )
        )
        ×
        
          π
          
            1
          
        
        (
        
          
            SO
          
        
        (
        q
        )
        )
        
        
      
    
    {\displaystyle \pi _{1}({\mbox{SO}}^{+}(p,q))=\pi _{1}({\mbox{SO}}(p))\times \pi _{1}({\mbox{SO}}(q))\,\!}
  
，由下表给出：


参考文献 V. L. Popov, Orthogonal group, Hazewinkel, Michiel  (编), 数学百科全书, Springer, 2001, ISBN 978-1-55608-010-4 
Anthony Knapp, Lie Groups Beyond an Introduction, Second Edition, Progress in Mathematics, vol. 140, Birkhauser, Boston, 2002. ISBN 0-8176-4259-5. (372页有不定正交群的描述)
Joseph A. Wolf, Spaces of constant curvature, (1967) 335页。


参见 洛伦兹群
正交群
旋量群