# Orthogonalité

En géométrie classique, l'orthogonalité est une propriété liée à l'existence d'un angle droit (orthos = droit, gônia = angle).
Dans l'espace, deux droites sont orthogonales si elles sont chacune parallèles à des droites se coupant en angle droit ; deux perpendiculaires étant deux droites orthogonales et sécantes. Une droite est orthogonale à un plan si elle est orthogonale aux droites du plan. On parle de vecteurs orthogonaux pour des vecteurs directeurs de droites orthogonales et de segments orthogonaux pour des segments portés par des droites orthogonales.
Cette notion d'orthogonalité se généralise dans un premier temps à des espaces euclidiens, c'est-à-dire des espaces vectoriels de dimension finie sur lesquels on peut parler de distance et d'angle grâce à la définition d'un produit scalaire : dans les espaces euclidiens, deux vecteurs sont orthogonaux si leur produit scalaire est nul. Deux sous-ensembles d'un espace euclidien sont orthogonaux si tout vecteur de l'un est orthogonal à tout vecteur de l'autre.
L'orthogonalité peut intervenir dès qu'il existe une forme bilinéaire entre deux espaces vectoriels sur un même corps.
L'orthogonalité est opératoire dans de nombreux domaines mathématiques ou physiques. Depuis la Grèce antique, l'angle droit est à la base de la démonstration de nombreux théorèmes, notamment le théorème de Pythagore. Les grands et petits axes d'une ellipse sont orthogonaux, source de multiples propriétés. En dimension finie, c'est, par exemple, un outil de classification des surfaces quadriques. En algèbre linéaire, elle est un concept très utilisé. De même, dans le cadre du théorème spectral.
L'orthogonalité s'applique aussi si les nombres sous-jacents ne sont pas réels. L'usage des nombres complexes amène à une autre géométrie, dite hermitienne. En arithmétique, l'utilisation de l'orthogonalité sur les nombres entiers permet à Joseph-Louis Lagrange (1736 - 1813) de trouver une démonstration du théorème des deux carrés de Fermat.

## Géométrie d'Euclide
### Définitions

Une première approche intuitive associe l'orthogonalité à l'angle droit. Dans ce paragraphe E est un plan équipé d'une géométrie euclidienne. Comme l'angle droit est défini à l'aide de deux droites sécantes, et que deux droites sécantes sont toujours coplanaires, il n'est pas utile d'aller plus loin. En revanche, les résultats s'appliquent encore dans notre espace usuel de dimension trois. Le plan est formalisé soit par les cinq postulats d'Euclide, soit, pour être parfaitement rigoureux, par les vingt axiomes de Hilbert. E possède des transformations particulières, de E dans lui-même, appelées isométries. Elles conservent les distances. Ainsi, si A et B sont deux points de E et ψ une isométrie, la distance entre ψ(A) et ψ(B) est la même que celle entre A et B. Dans un tel espace, les isométries sont les translations, les rotations et les réflexions correspondant à l'image d'un miroir.
Définition 1 —  Deux droites sécantes et non confondues Δ$_1$ et Δ$_2$ forment un angle droit, ou encore sont orthogonales, s'il existe une rotation telle que l'image de Δ$_1$ (resp. Δ$_2$) soit Δ$_2$ (resp. Δ$_1$).
La seule rotation utilisable pour cette définition est celle d'un quart de tour. Il serait possible de définir l'angle droit à l'aide d'une réflexion. Les droites Δ$_1$ et Δ$_2$ sont perpendiculaires si et seulement s'il existe une réflexion d'axe Δ$_1$ qui laisse globalement invariante Δ$_2$.
Il est aisé de remarquer que si une droite Δ$_2$ est perpendiculaire à une droite Δ$_1$ et si Δ$_2$ est parallèle à une droite Δ$_3$, alors les droites Δ$_1$ et Δ$_3$ forment un angle droit. La notion d'orthogonalité ne s'applique pas seulement à des droites mais, de manière plus générale à des directions. Deux droites sont dites avoir même direction si elles sont parallèles.
Définition 2 —  Deux directions δ$_1$ et δ$_2$ sont orthogonales, ou encore forment un angle droit, s'il existe deux droites Δ$_1$ et Δ$_2$ de directions δ$_1$ (resp. δ$_2$) telles que Δ$_1$ et Δ$_2$ soient perpendiculaires.
Ces deux définitions se prêtent à de nombreuses généralisations. Ainsi deux segments (resp. vecteurs) (resp. bipoints) sont dits orthogonaux si leurs directions le sont. Une droite Δ est dite perpendiculaire à un plan si toute droite du plan est orthogonale à Δ.

### Propriétés

Pour la géométrie du triangle, la tradition consiste à utiliser le terme de perpendiculaire et non orthogonal, dans ce contexte, les deux notions sont rigoureusement équivalentes.
La propriété fondamentale de la géométrie d'Euclide est le théorème de Pythagore. Il s'exprime ainsi :
Théorème de Pythagore —  Dans un triangle rectangle, le carré de la longueur de l'hypoténuse (côté opposé à l'angle droit) est égal à la somme des carrés des longueurs des côtés de l'angle droit.
Ce résultat semble être l'un des tout premiers théorèmes connus de l'humanité. On en trouve probablement des traces à une période datant d'avant l'écriture. La première démonstration connue provient d'Euclide qui vivait autour de 300 av. J.-C. ; elle est rédigée dans un texte nommé les Éléments.
La réciproque est aussi vraie. C'est-à-dire que si, avec les notations de la figure, la somme de l'aire des carrés de côté a et b est égale à l'aire du carré de côté c, alors le triangle est rectangle. Autrement dit, si A, B et C sont trois points d'un plan, l'angle formé par les segments [A, B] et [A, C] est droit si et seulement si :
${\text{d}}(A,B)^{2}+{\text{d}}(A,C)^{2}={\text{d}}(B,C)^{2}\;$
Ici, d(A, B) désigne la distance entre A et B.
Cette propriété permet de démontrer le théorème de la médiane, attribué à Apollonius de Perga. Il établit que si A, B et C sont trois points du plan et si I est le milieu du segment [B, C] alors :
${\text{d}}(A,B)^{2}+{\text{d}}(A,C)^{2}=2{\text{d}}(B,I)^{2}+2{\text{d}}(A,I)^{2}\,$
Le terme de médiane désigne une droite passant par un sommet et le milieu du côté opposé d'un triangle. Si un triangle A, B, C est tel que la distance entre A et B est la même que celle entre B et C, le triangle est dit isocèle. Soit I le milieu de A et C, alors le théorème de la médiane indique que :
$2{\text{d}}(A,B)^{2}=2{\text{d}}(B,I)^{2}+2{\text{d}}(A,I)^{2}\,$
La condition nécessaire et suffisante précédente indiquant qu'un angle est rectangle est remplie et l'angle AIB est droit. Ceci démontre que les deux diagonales d'un losange sont perpendiculaires.

### Construction à la corde à treize nœuds

Les propriétés de la corde à treize nœuds sont parfois utilisées par des arpenteurs pour tracer des angles droits avec un équipement minimal. Les 13 nœuds définissent 12 intervalles identiques, disposés en trois segments de longueurs 3, 4 et 5 unités (3 + 4 + 5 = 12) formant un triangle. La réciproque du théorème de Pythagore assure que, comme 3$^2$ + 4$^2$ = 5$^2$, ce triangle est rectangle.

### Constructions à la règle et au compas

Une première question consiste à savoir comment, à l'aide d'une règle et d'un compas, dessiner deux droites perpendiculaires. Une technique simple consiste à choisir deux points A et B sur la première droite Δ$_1$ et à dessiner deux cercles de même rayon ayant deux points d'intersections. La droite Δ$_1$, passant par les deux points d'intersection, est perpendiculaire à la première. La figure est un losange ; l'étude des propriétés du paragraphe précédent montre que les deux droites sont perpendiculaires.
La figure de droite montre qu'il est inutile que les deux cercles soit de même rayon. En effet, avec les notations de la figure, soit D le deuxième point d'intersection des deux cercles et O le milieu de C et D. Comme le triangle CAD est isocèle, la droite passant par A et O est perpendiculaire à celle passant par C et D. Un raisonnement analogue montre que la droite passant par B et O possède les mêmes propriétés ; elles ont donc la même direction et un point commun O, ce qui montre qu'elles sont confondues avec la droite Δ$_1$.
Cette technique de construction d'un angle droit est ancienne. Elle date probablement de Œnopide de Chios, un mathématicien grec vivant cinq siècles av. J.-C.
Une autre solution est illustrée par la figure de gauche. Elle consiste à tracer un cercle et un triangle dont un côté est un diamètre et dont le sommet est un point du cercle. Un tel triangle est toujours rectangle. En effet, le théorème de la médiane montre que la somme des carrés des longueurs des segments [A, B] et [A, C] est égal à quatre fois le carré du rayon, c'est-à-dire le carré de la distance entre B et C.
De nombreuses constructions à la règle et au compas utilisent les propriétés de l'orthogonalité. Elle permet de couper un angle en deux, à l'aide de la bissectrice. À l'exception du triangle équilatéral qui n'en a pas besoin, le dessin à la règle et au compas des polygones réguliers constructibles utilise les propriétés de l'orthogonalité.

### Orthogonalité et théorèmes géométriques

De nombreux théorèmes géométriques utilisent le théorème de Pythagore et donc l'orthogonalité pour pouvoir être démontrés. Le fait que les trois bissectrices d'un triangle soient concourantes et que leur point commun soit le centre du cercle inscrit dans le triangle provient de la propriété d'orthogonalité de la bissectrice déjà rencontrée pour construire deux droites perpendiculaires.
De même, les trois hauteurs d'un triangle d'un triangle sont concourantes. Le point d'intersection s'appelle l'orthocentre. Une hauteur est une droite passant par un sommet et perpendiculaire au côté opposé. Un autre résultat précise que les trois médianes sont aussi concourantes. Le point d'intersection est le centre de gravité. Ce qui signifie que si un triangle est matérialisé en un solide homogène, il est en équilibre sur une pointe posée exactement sur ce point d'intersection. Leonhard Euler (1707-1783) trouve une droite remarquable. Le centre de gravité, le centre du cercle inscrit et l'orthocentre sont alignés. Cette droite passe par le centre d'un cercle étonnant appelé cercle d'Euler. Il passe par neuf points remarquables du triangle. Karl Wilhelm Feuerbach (1800 - 1834) établit son théorème affirmant que le cercle d'Euler est tangent aux trois cercles exinscrits du triangle. Tous ces théorèmes utilisent les propriétés de l'orthogonalité pour pouvoir être démontrés.

### Utilisations dans d'autres contextes

L'utilisation de l'orthogonalité en dehors de la géométrie date de la plus haute antiquité. Les Babyloniens utilisent un triangle rectangle isocèle de côté un pour calculer la racine de deux. L'orthogonalité d'un angle ainsi que la formule de Héron leur permettaient d'accéder à une remarquable approximation. Apollonius écrit un traité sur les coniques qui fascinent de nombreuses générations. Il y démontre les propriétés asymptotiques des hyperboles, des foyers et la base des propriétés des polaires réciproques.
L'Antiquité n'est pas la seule période à utiliser des relations d'orthogonalité en géométrie. René Descartes (1596 -1650) généralise l'idée d'abscisses et d'ordonnées déjà présente chez Apollonius et utilise systématiquement l'angle droit pour définir ses repères, ce qui permet de calculer simplement la distance entre deux points dans le plan. Elle correspond à la somme des carrés des différences des coordonnées. Il utilise son repère pour établir les lois de l'optique comme celles de la réfraction et de la réflexion.
Isaac Newton (1643 - 1727) utilise des propriétés d'orthogonalité (la traduction française utilise le mot perpendiculaire) pour établir les principes du calcul différentiel. Les définitions de dérivée et d'intégrale pour cet auteur se fonde sur des raisonnements géométriques où l'orthogonalité joue un rôle majeur. Newton les utilise pour déterminer la trajectoire des planètes autour du Soleil. Son formalisme correspond essentiellement à une logique analogue à celle d'Euclide ; le recours au repère cartésien est rare.

## Généralisation du concept
### Arithmétique

D'autres questions, bien éloignées de la géométrie du triangle, sont finalement résolues avec l'orthogonalité. En 1640, Pierre de Fermat se pose la question de savoir quels nombres premiers sont somme de deux carrés. Les nombres 5 et 13 vérifient cette propriété, 7 et 11 non. Fermat devine juste en conjecturant que tout nombre premier impair dont le reste de la division par quatre est égal à 1 est somme de deux carrés, mais ne sait comment le démontrer. Plus d'un siècle et le talent d'Euler sont nécessaires pour en venir à bout. L'équation x$^2$ + y$^2$ = p est enfin résolue ; elle fait partie d'une interrogation plus vaste : « Dans quel cas l'équation x$^2$ + n y$^2$ = p admet-elle une solution entière ? De manière plus générale, dans quel cas l'équation suivante à coefficients entiers admet-elle une solution entière ? »
$(1)\quad ax^{2}+2bxy+cy^{2}=p.$
Une telle expression est appelée une forme quadratique. Joseph-Louis Lagrange propose une démarche originale. Il remarque que, sous réserve de « bonnes propriétés » sur les coefficients a, b et c, la formule (1) représente le carré de la distance du point (x, y) à l'origine. La question est alors de savoir dans quel cas il existe deux vecteurs à coefficients entiers orthogonaux et de « longueur 1 ». Lagrange trouve la condition nécessaire et suffisante qui lui permet de conclure. Ce raisonnement lui permet de résoudre l'équation x$^2$ + n y$^2$ = p si n est égal à 1, 2, 3, 4 ou 5. Le cas général reste hors de portée. Il faut encore plus d'un siècle d'efforts et le talent de nombreux géomètres, souvent allemands, pour en venir à bout. L'arithmétique fait ainsi usage de l'orthogonalité, cependant, à la différence de ce que l'on trouve dans la géométrie des Grecs, les nombres associés sont limités aux entiers. La théorie voit un enrichissement à d'autres ensembles de nombres.

### Dimension quelconque

Une autre question impose une nouvelle généralisation. Depuis Newton, la trajectoire des planètes, essentiellement sous l'influence du Soleil, est relativement bien connue. Cependant, les planètes s'attirent entre elles, créant de petites perturbations par rapport à l'approximation de Newton, appelées variations séculaires. Lagrange cherche à démontrer que les variations du premier ordre ne peuvent déstabiliser le système. Augustin Louis Cauchy (1789 - 1857) découvre que cette question est aussi associée à une forme quadratique. Il remarque qu'une équation de type (1) généralisée à la dimension trois définit une surface quadrique comme l'ellipsoïde de la figure de droite. Trouver les bons vecteurs orthogonaux pour cette quadrique lui permet de les classifier toutes. Cette méthode résout aussi la question de Lagrange dans le cas où seulement trois planètes sont prises en compte.
La preuve de Cauchy est parcellaire : il existe plus de trois planètes. Pour résoudre le cas général, il faut pouvoir trouver autant de vecteurs orthogonaux qu'il existe de planètes. Cette question, consistant à trouver une « bonne » famille de vecteurs orthogonaux pour une forme quadratique, est finalement résolue par Karl Weierstrass en 1858. Si l'avancée mathématique est certaine, la preuve de la stabilité du système solaire n'est toujours pas faite. L'astronome Urbain Le Verrier (1811 - 1877) montre que les termes d'ordre deux ne peuvent être négligés.
Si les conséquences en astronomie restent douteuses, une chose est néanmoins établie : l'orthogonalité ne peut plus se limiter à la dimension trois ; les services qu'elle rend sont appréciables en mathématiques comme en physique sur des espaces de dimension quelconque.

### Forme bilinéaire

La généralisation n'est néanmoins pas encore totale. Vers la fin du XIXe siècle, Ferdinand Georg Frobenius découvre une nouvelle méthode pour étudier les groupes finis. Il les représente par un groupe d'applications linéaires. Il démontre que, pour un groupe donné, chaque représentation est construite à partir d'un nombre fini de briques élémentaires. Pour chacune de ces briques élémentaires, il considère une fonction, qui à chaque élément du groupe associe la trace de l'application linéaire associée. Cette application s'appelle le caractère de la représentation. Les caractères des briques élémentaires sont tous orthogonaux entre eux. Cette propriété permet de déterminer simplement quelles briques élémentaires sont utilisées pour une représentation donnée. Elle est un des fondements de la théorie. Cette orthogonalité s'exprime à l'aide d'une forme bilinéaire symétrique, absolument équivalente à une forme quadratique.
Les groupes apparaissent comme un sous-ensemble de rotations dans l'espace. Si les ensembles de nombres choisis sont finis, le groupe des rotations est nécessairement fini. Cette méthode permet de construire des groupes simples, briques élémentaires pour la construction de tout groupe fini. Ces ensembles de nombres ne sont plus ordonnés, l'équivalent de la distance ne peut donc être toujours positive. Frobenius n'est de loin pas le premier à s'intéresser à cette configuration. Euler étudiait déjà en arithmétique un problème analogue à celui de Fermat : x$^2$ – n y$^2$ = 1 avec une forme quadratique pas toujours positive. James Joseph Sylvester trouve en 1852 une loi portant son nom qui indique que toutes les bases orthogonales contiennent le même nombre de vecteurs ayant une « distance positive » et le même nombre ayant une « distance négative ». Le concept d'orthogonalité s'applique alors à une forme bilinéaire, qui ne correspond plus nécessairement à une distance euclidienne. En effet, au sens propre, une distance est toujours positive.
Le formalisme moderne est plus tardif que la découverte des théorèmes fondamentaux. Les mathématiciens les découvrent souvent bien avant qu'une présentation simple et didactique soit disponible. Par exemple, le produit scalaire est une forme bilinéaire correspondant à une géométrie euclidienne. Sa définition est l'œuvre d'Hermann Weyl et date de 1918. Avec ce formalisme, les termes « angle droit » et « perpendiculaire » ne sont plus utilisés.

### Définitions formelles

Soit (.|.) une forme bilinéaire définie sur le produit E×F de deux espaces vectoriels sur un corps commutatif K.
Définition 1 — On dit qu'un vecteur x de E et un vecteur y de F sont orthogonaux pour la forme bilinéaire (.|.), et on note x⊥y, si
$(x|y)=0.$
D'une manière plus générale, on dit qu'une partie X de E et une partie Y de F sont orthogonales, et on note X⊥Y si, pour tout élément x de X et tout élément y de Y, le scalaire (x|y) est nul.
Définition 2 — L'orthogonal d'une partie X de E, noté X$^⊥$, est le sous-espace vectoriel de F constitué des vecteurs orthogonaux à tous les vecteurs de X :
$X^{\bot }=\{y\in F~|~\forall x\in X,\quad (x|y)=0\}.$
On définit de même l'orthogonal Y$^⊥$ d'une partie Y de F. Pour toute partie Φ de E ou F, l'orthogonal de Φ est égal à celui du sous-espace engendré par Φ, ce qui dispense d'étudier des orthogonaux de parties Φ autres que des sous-espaces vectoriels.
Dans le cas où F est le dual de E et où la forme bilinéaire (.|.) est le crochet de dualité (aussi appelé appariement dual canonique), l'orthogonal, que l'on appelle plutôt annulateur dans ce contexte, dans E* de X ⊂ E est noté X° et de même, l'annulateur dans E de Y ⊂ E* est noté °Y.

## Dimension finie
### Espace euclidien

Un espace euclidien E est un espace vectoriel réel de dimension finie, ici notée n et muni d'un produit scalaire (.|.). Au lieu de point, on parle en général de vecteur. La distance d entre deux vecteurs x et y est donnée par la formule suivante :
$d(x,y)={\sqrt {(x-y|x-y)}}$
Proposition 1 — Pour tout sous-espace F d'un espace euclidien E, l'orthogonal de F est un supplémentaire de F et l'orthogonal de F$^⊥$ est F.
(Par exemple : l'orthogonal du vecteur nul est E et l'orthogonal de E est le sous-espace nul.)
Cette propriété apporte un intérêt à la notion de projecteur sur un sous-espace, parallèlement à son orthogonal (une telle application est nommée projection orthogonale). On en déduit aussi que l'orthogonal d'une droite vectorielle est un hyperplan et inversement et, plus généralement, la codimension d'un sous-espace est la dimension de son orthogonal.
Proposition 2 — Pour tous sous-espaces M et N de E,
$M\subset N\Rightarrow N^{\bot }\subset M^{\bot },\quad M^{\bot }\cap N^{\bot }=(M+N)^{\bot }\quad {\text{et}}\quad M\cap N=\left(M^{\bot }+N^{\bot }\right)^{\bot }.$
Les deux premières propriétés sont immédiates, ainsi que (M$^⊥$ + N$^⊥$)⊥(M∩N), dont on déduit M∩N ⊂ (M$^⊥$ + N$^⊥$)$^⊥$. Réciproquement, (M$^⊥$ + N$^⊥$)$^⊥$ est inclus dans (M$^⊥$)$^⊥$ d'après la première propriété, c'est-à-dire dans M (d'après la proposition 1) et (de même) dans N, donc dans M∩N.
On retrouve ainsi que tout sous-espace vectoriel F différent de E est intersection de p hyperplans, où p est la codimension de F. En effet, F est l'orthogonal d'un espace engendré par p vecteurs non nuls a$_1$, … , a$_p$ donc, d'après la deuxième propriété ci-dessus, F est l'intersection des hyperplans a$_1$$^⊥$, … , a$_p$$^⊥$, ce qui s'écrit aussi :
$F=\{x\in E~|~\forall i\in [\![1,p]\!]\;(a_{i}|x)=0\}.$
Enfin, le procédé d'orthogonalisation de Gram-Schmidt montre l'existence d'une base orthonormée. Si (e$_i$), pour i variant de 1 à n, est une telle base alors, d'après le cas d'égalité de l'inégalité de Bessel :
$\forall x\in E,\quad x=\sum _{i=1}^{n}(e_{i}|x)e_{i}\quad {\text{et}}\quad \|x\|^{2}=\sum _{i=1}^{n}(e_{i}|x)^{2}.$

### Espace hermitien

Charles Hermite (1822 - 1901) généralise l'approche euclidienne sur les espaces complexes qui portent maintenant son nom. Les conditions nécessaires et suffisantes d'orthogonalité précédentes ne s'appliquent plus. Si x et y sont deux vecteurs d'un espace hermitien H, on dispose de la relation suivante :
$x\perp y\Leftrightarrow \|x+y\|^{2}-\|x-y\|^{2}=0\quad {\text{et}}\quad \|x+iy\|^{2}-\|x-iy\|^{2}=0\quad$
En revanche, toutes les propriétés décrites dans le paragraphe Espace euclidien restent valables.

### Forme bilinéaire symétrique

Dans le cas d'une forme bilinéaire symétrique (.|.), l'orthogonal de l'espace entier E peut ne pas être réduit au vecteur nul.
Définition —  Le noyau d'une forme bilinéaire symétrique est le sous-espace des vecteurs orthogonaux à l'espace entier E. Une forme bilinéaire ayant un noyau non réduit au vecteur nul est dite dégénérée.
Soit N ce noyau. L'orthogonal du vecteur nul est E. L'orthogonal de E est N (donc tout orthogonal d'une partie contient N). Sur le quotient E/N, la forme bilinéaire symétrique induite par (.|.) est non dégénérée et les propositions 1 et 2 du paragraphe « Espace euclidien » restent valides.
La réduction de Gauss montre l'existence de bases orthogonales pour (.|.). Cette réduction s'applique aux formes quadratiques, cependant « réduire » une forme quadratique, c'est-à-dire trouver une base orthogonale pour elle, revient à trouver une base orthogonale pour sa forme polaire. Sylvester va plus loin dans son analyse. Sa loi montre que si le corps des scalaires est ℝ, il existe un couple d'entiers (q, r) tel que, pour toute base orthogonale (e$_i$), le réel (e$_i$|e$_i$) est strictement positif exactement q fois et strictement négatif exactement r fois (le noyau de la forme bilinéaire est donc de codimension q + r).
Le théorème de Weierstrass montre comment s'expriment les relations d'orthogonalités si deux formes bilinéaires symétriques dont l'une est définie positive sont en présence :
Théorème spectral en dimension finie —  Soit E un espace vectoriel de dimension finie sur le corps des réels (resp. des complexes) et Φ, Ψ deux formes bilinéaires symétriques (resp. sesquilinéaires) sur E telles que Φ soit définie positive. Alors il existe une base B de E orthonormale pour Φ et orthogonale pour Ψ. Dans cette base, les coefficients de la matrice associée à Ψ sont tous réels.
Ce théorème est démontré dans l'article Endomorphisme autoadjoint. Il existe un équivalent de forme bilinéaire symétrique pour les espaces complexes, ce sont les formes sesquilinéaires. Tous les résultats de ce paragraphe s'appliquent aussi à ces formes.

### Cas général

Si la forme bilinéaire n'est pas symétrique, il existe encore un cas où il est possible de parler d'orthogonalité au sens précédent : celui des formes réflexives.
Définition —  La forme bilinéaire est dite réflexive si :
$\forall x,y\in E\quad (x|y)=0\Leftrightarrow (y|x)=0$
La configuration est alors la même que celle de la forme bilinéaire symétrique : sur le quotient par le noyau, la forme est non dégénérée et les propositions 1 et 2 du paragraphe sur les espaces euclidiens s'appliquent. Pour une forme réflexive quelconque, l'orthogonal du vecteur nul est l'espace entier et l'orthogonal de l'espace entier est le noyau.
Dans le cas général, il devient nécessaire de parler d'orthogonalité à gauche et à droite. Soit Φ une famille de vecteurs, l'orthogonal à gauche de Φ est l'ensemble suivant :
$\{x\in E~|~\forall \varphi \in \Phi \quad (x|\varphi )=0\}.$
Si la forme bilinéaire est définie sur un produit E×F de deux espaces vectoriels, alors l'ambigüité n'existe pas. L'orthogonal d'une famille d'éléments de E est un sous-espace vectoriel de F et réciproquement.
La codimension des noyaux à gauche et à droite N$_1$ et N$_2$ est la même car la forme se factorise par une forme bilinéaire non dégénérée sur le produit (E/N$_1$)×(F/N$_2$). Plus de détails sur les orthogonaux dans ce cas général sont donnés dans l'article Forme bilinéaire.

## Dimension infinie
### Motivation

En dimension finie, l'orthogonalité rend d'innombrables services. Il est tentant de généraliser sa définition aux espaces de dimensions quelconques et en particulier infini. Sous un formalisme un peu différent, c'est ainsi que Joseph Fourier (1768 1830) résout l'équation de la chaleur. À deux fonctions f et g, on associe le produit scalaire :
$(f|g)=\int f(t)g(t)\mathrm {d} t$
Certain problèmes issus de la physique, comme l'équation de la chaleur ou celle de la corde vibrante, s'expriment comme un opérateur linéaire disposant de bonnes propriétés vis-à-vis de son adjoint. Si la configuration est particulièrement favorable, par exemple si l'opérateur est compact et autoadjoint, un résultat analogue à celui de la dimension finie apparaît. Il existe une base de vecteurs propres orthogonaux et de norme un. Le mot base prend ici une signification un peu différente de celle de la dimension finie. La famille est toujours libre, cependant ce n'est plus une combinaison linéaire qui représente un vecteur mais une série dont le carré de la norme de chaque vecteur est absolument convergente.
Puisqu'en dimension infinie les combinaisons linéaires deviennent des séries, un nouvel outil devient indispensable, la topologie, permettant de donner un sens à la limite, c'est-à-dire à l'équivalent des combinaisons linéaires. Dans le cas général, cette limite n'est garantie d'exister que si l'espace est complet. Pour cette raison, le cadre le plus simple pour étudier l'orthogonalité en dimension finie est celui d'un espace vectoriel muni d'un produit scalaire tel que la distance associée confère à l'espace la complétude. Plusieurs mathématiciens sont initiateurs de l'étude de la géométrie d'un espace vectoriel de cette nature, on peut citer Erhard Schmidt (1876 - 1959) ou encore Ivar Fredholm (1866 - 1927). David Hilbert (1862 - 1943) est néanmoins celui qui lui donne son nom. John von Neumann (1903 - 1957) donne la définition moderne du concept.
Il existe certaines configurations où l'espace fonctionnel ne peut être équipé d'un produit scalaire. Une autre technique permet de bénéficier des propriétés d'orthogonalités, provenant de l'espace dual. En général n'est considéré que le dual topologique, c'est-à-dire celui ne contenant que les formes linéaires bornées. Une fois encore l'hypothèse de la complétude de l'espace vectoriel E est fort utile. Stefan Banach (1892 - 1945) propose la première formulation axiomatique moderne. Son livre de 1932 sur la question est encore une référence. Un espace de Banach est un espace vectoriel normé complet.

### Espace de Banach

Dans ce paragraphe E désigne un espace de Banach et E' son dual (topologique). Ainsi, le produit scalaire est remplacé par une forme bilinéaire continue souvent notée avec le crochet de dualité 〈.,.〉. Cette forme sur E'×E est l'unique étudiée ici. En effet, l'étude d'une forme bilinéaire continue quelconque sur le produit de E par un espace de Banach F s'y ramène, par composition avec un opérateur borné de F dans E'.
La définition de l'orthogonalité est l'application de la définition générale. Ainsi, pour la dualité entre E et E', l'orthogonal d'une partie Ψ* du dual est le sous-espace vectoriel de E composé des vecteurs orthogonaux à tous les vecteurs de Ψ*, alors que pour la dualité entre E' et le bidual E'' (qui ne sera pas considérée dans la suite), l'orthogonal de Ψ* serait un sous-espace de E''. (Lorsque E est réflexif, ces deux notions coïncident.)
Proposition 1 —  Soit F un sous espace vectoriel de E, l'orthogonal de F$^⊥$ est l'adhérence de F. Soit G* un sous-espace vectoriel de E', l'orthogonal de G*$^⊥$ contient l'adhérence de G*, et lui est égal si E est réflexif.
$(F^{\bot })^{\bot }={\overline {F}}\quad {\text{et}}\quad (G^{*\bot })^{\bot }\supset {\overline {G^{*}}}$
La « proposition 2 pour les espaces euclidiens » prend ici une forme légèrement différente :
Proposition 2 —  Soient M et N deux sous-espaces vectoriels fermés de E alors :
$M^{\bot }\cap N^{\bot }=(M+N)^{\bot },\quad M\cap N=\left(M^{\bot }+N^{\bot }\right)^{\bot }$
$\left(M^{\bot }\cap N^{\bot }\right)^{\bot }={\overline {M+N}},\quad (M\cap N)^{\bot }\supset {\overline {M^{\bot }+N^{\bot }}}$
Lorsque le sous-espace M + N est fermé, la situation est plus proche de la configuration euclidienne :
Proposition 3 —  Les quatre propositions suivantes sont équivalentes :
* M + N est fermé dans E.
* M$^⊥$ + N$^⊥$ est fermé dans E'.
* M + N = (M$^⊥$∩N$^⊥$)$^⊥$.
* M$^⊥$+N$^⊥$ = (M∩N)$^⊥$.
La proposition 1 est démontrée dans le § « Orthogonal et biorthogonal » de l'article sur les formes bilinéaires. Elle permet de démontrer la première ligne de la proposition 2 exactement comme son homologue du paragraphe « Espace euclidien » et d'en déduire la seconde. Passons à la proposition 3.
* 1 ⇔ 3 est une conséquence directe de la proposition 2.
* 4 ⇒ 2 car tout orthogonal est fermé.
* 1 ⇒ 4 : on sait déjà que M$^⊥$ + N$^⊥$ ⊂ (M∩N)$^⊥$. Supposons que M + N est fermé dans E (donc complet) et montrons l'inclusion réciproque, c'est-à-dire montrons que toute forme y* ∈ E' nulle sur M∩N peut s'écrire m* + n* avec m* ∈ E' nulle sur M et n* ∈ E' nulle sur N. L'isomorphisme algébrique canonique M/(M∩N)→(M+N)/N est naturellement continu donc (par le théorème de Banach-Schauder) sa réciproque aussi. Par restriction et composition, y* induit alors sur M+N une forme linéaire continue z*, nulle sur N et qui coïncide avec y* sur M. Par le théorème de Hahn-Banach, z* se prolonge en une forme linéaire n* continue sur E. La conclusion s'ensuit en posant m* = y* – n*.
* 2 ⇒ 1 : supposons M$^⊥$ + N$^⊥$ fermé. D'après un corollaire du théorème de Banach-Schauder, il existe alors une constante D telle que$\forall y^{*}\in E',\quad d(y^{*},(M+N)^{\bot })=d(y^{*},M^{\bot }\cap N^{\bot })\leq D\left(d(y^{*},M^{\bot })+d(y^{*},N^{\bot })\right)$.Or la distance de y* à M$^⊥$ est la norme de son image dans E'/M$^⊥$ ≃ M' et de même pour N et M + N, donc$\forall y^{*}\in E',\quad \sup(y^{*}(B_{M+N}(0,1)))\leq D\left(\sup(y^{*}(B_{M}(0,1)))+\sup(y^{*}(B_{N}(0,1)))\right)$.Par le théorème de Hahn-Banach, on en déduit :$B_{\overline {M+N}}(0,1)\subset D~{\overline {B_{M}(0,1)+B_{N}(0,1)}}$d'où (en procédant comme dans la démonstration du théorème de Banach-Schauder) :$B_{\overline {M+N}}(0,1)\subset 2D\left(B_{M}(0,1)+B_{N}(0,1)\right)$,ce qui prouve que M + N contient son adhérence, donc est fermé.

### Applications

La première application historique de l'orthogonalité en dimension infinie a pour objectif de résoudre une équation aux dérivées partielles. La nature offre de nombreux exemples où l'équation se traduit par un opérateur linéaire. Tel est le cas, par exemple pour l'équation d'onde qui régit les mouvements d'une corde vibrante. Cette équation se résout simplement si la position initiale de la corde est une sinusoïde de période la longueur de la corde divisée par un entier. Ces cas particuliers possèdent deux propriétés importantes. L'espace vectoriel approxime aussi précisément que souhaité toutes les positions initiales que peut prendre la corde (elle est supposée ne pas rompre, ce qui signifie que la position initiale est représentée par une fonction continue). De plus cette famille sinsoïdale est orthogonale, l'inégalité de Bessel permet de déterminer une combinaison linéaire qui approxime aussi précisément que souhaité la position initiale ou propose une série convergente vers cette position. Les figures de droite et de gauche illustrent deux approximations de la fonction créneau. La linéarité de l'opérateur permet d'évaluer la trajectoire de la corde par combinaison linéaire ou série. Cette technique, consistant à décomposer une fonction sur une famille orthogonale est à l'origine d'une vaste branche des mathématiques, appelée analyse harmonique.
Pour cette raison, de nombreuses familles orthogonales ont été construites. Les polynômes orthogonaux, comme ceux de Legendre, d'Hermite ou de Laguerre sont de cette nature. Ils correspondent à trois produits scalaires différents.
Le théorème de Weierstrass possède son équivalent sur un Hilbert. L'opérateur doit non seulement être autoadjoint mais aussi compact. Cette configuration correspond à une équations intégrales étudiée par Hilbert et Schmidt. Comme en dimension finie, il existe une base de vecteurs propres orthogonaux. Cette équation intégrale possède une signification profonde en physique, elle représente par exemple les équations de Maxwell.
La bonne propriété topologique de compacité n'est pas toujours présente. L'équation de Schrödinger est un exemple d'opérateur autoadjoint non compact, il n'est d'ailleurs pas continu. S'il existe toujours des vecteurs propres et s'ils sont toujours orthogonaux, ils ne forment plus une base de l'espace des solutions. Une fois encore, il est nécessaire d'élargir les définitions pour que les concepts restent opérationnels. Une valeur λ est dite spectrale pour l'opérateur a si a – λId n'est pas inversible. Il se peut que a – λId soit injectif et non surjectif. Dans ce cas, il n'existe pas de vecteur propre. Une autre théorie devient nécessaire, appelée théorie spectrale.
La physique ne se contente pas des espaces de Hilbert. Un phénomène peut être suffisamment « discontinu » pour « sortir » du Hilbert ; il est parfois modélisé par un pic de Dirac, une espèce de fonction valant zéro partout sauf en un point où elle vaudrait l'infini. Elle représente par exemple une probabilité de présence nulle partout sauf en un point où la position est certaine. Pour « enrichir » l'espace fonctionnel, il devient nécessaire d'utiliser des Banach et la théorie des distributions. Le produit scalaire devient le crochet de dualité.
Si la physique est à l'origine de la généralisation de l'orthogonalité aux dimensions infinies, elle n'est de loin pas la seule cliente. La théorie des représentations s'étend aux groupes continus. Les caractères deviennent des fonctions du groupe à valeur dans les nombres complexes. À l'aide d'une mesure, comparable à l'intégrale sur les réels, un produit scalaire est défini. Les relations d'orthogonalités du cas fini se généralisent. Une fois encore, la décomposition en briques élémentaires est donnée par des relations d'orthogonalités entre les caractères. Cette approche consistant à décomposer une fonction sur une famille orthogonale est de même nature que celle utilisée pour étudier les mouvements d'une corde vibrante. Si le groupe choisi est celui des nombres complexes de module 1, les résultats obtenus sont identiques. On retrouve par un autre chemin la théorie de l'analyse harmonique. Il devient possible de la généraliser à bien d'autres groupes.

## Applications en informatique et télécommunications
### Informatique

Le jeu d'instructions d'un ordinateur est dit orthogonal lorsque (presque) toutes les instructions peuvent s'appliquer à tous les types de données. Un jeu d'instruction orthogonal simplifie la tâche du compilateur puisqu'il y a moins de cas particuliers à traiter : les opérations peuvent être appliquées telles quelles à n'importe quel type de donnée. Un exemple typique est le VAX ou le PDP-10.

### Télécommunications

Les techniques récentes de modulation numérique : OFDM et OFDMA, utilisées dans les réseaux de télévision numérique et les réseaux de téléphonie mobile de 4e et 5e générations sont basées sur l’orthogonalité des nombreuses sous-porteuses (de plusieurs centaines à plusieurs milliers) constituant le signal.
Par exemple, les réseaux mobiles 4G (WiMAX et LTE) utilisent des signaux orthogonaux les uns aux autres pour les sous-porteuses contiguës, évitant ainsi les interférences mutuelles entre sous-porteuses. Ce résultat est obtenu en choisissant un écart de fréquence entre les sous-porteuses égal à la fréquence des symboles sur chaque sous-porteuse (l'inverse de la durée du symbole).
Cela permet, en plaçant un nombre entier de cycles dans la durée du symbole, lorsque les signaux sont démodulés (par une transformée de Fourier), que leur contribution aux interférences soit égale à zéro ; car le produit scalaire entre chacune des sous-porteuses est nul pendant la durée de transmission du symbole.