# Racine carrée inverse rapide

La racine carrée inverse rapide (en anglais fast inverse square root, parfois abrégé Fast InvSqrt ou par la constante 0x5f3759df en hexadécimal) est une méthode pour calculer x$^{−½}$, aussi notée 1/√x, l'inverse de la racine carrée d'un nombre à virgule flottante à simple précision sur 32 bits. L'algorithme a probablement été développé chez Silicon Graphics au début des années 1990. Il a entre autres été utilisé dans le code source de Quake III Arena, un jeu vidéo de tir à la première personne sorti en 1999. À l'époque, le principal avantage de cet algorithme était d'éviter des opérations en virgule flottante, coûteuses en puissance de calcul, en préférant des opérations sur entiers. Les racines carrées inverses sont utilisées pour calculer les angles d'incidence et la réflexion pour la lumière et l'ombre en imagerie numérique.
L'algorithme prend en entrée des flottants de 32 bits non signés et stocke la moitié de cette valeur pour l'utiliser plus tard. Ensuite, il traite le nombre à virgule flottante comme un entier et lui applique un décalage logique à droite d'un bit et le résultat est soustrait à la valeur « magique » 0x5f3759df. Il en résulte une première approximation de la racine carrée inverse du nombre passé en entrée. En considérant de nouveau les bits comme un nombre à virgule flottante et en appliquant au nombre la méthode de Newton, on améliore cette approximation. Bien que n'assurant pas la précision la plus fine possible, le résultat final est une approximation acceptable de la racine carrée inverse d'un nombre à virgule flottante qui s'exécute quatre fois plus vite qu'une division d'un tel nombre.

## Motivation

Les racines carrées inverses d'un nombre à virgule flottante sont utilisées pour calculer un vecteur normalisé. En synthèse d'image 3D, ces vecteurs normalisés sont utilisés pour déterminer l'éclairage et l'ombrage. Des millions de ces calculs sont ainsi nécessaires chaque seconde. Avant l'apparition de matériel dédié au TCL, ces calculs pouvaient être lents. Ce fut particulièrement le cas lorsque cette technique a été développée au début des années 1990 où les opérations sur les nombres à virgule flottante étaient plus lentes que les calculs sur entiers.
Afin de normaliser un vecteur, on détermine la longueur de celui-ci en calculant sa norme euclidienne : la racine carrée de la somme du carré de ses composantes. Après avoir divisé chaque composante par cette longueur, on obtient alors un nouveau vecteur unitaire pointant dans la même direction.
    $\|{\boldsymbol {v}}\|={\sqrt {v_{1}^{2}+v_{2}^{2}+v_{3}^{2}}}$ est la norme euclidienne du vecteur, de la même manière que l'on calcule une distance dans un espace euclidien.
    ${\boldsymbol {\hat {v}}}={\boldsymbol {v}}/\|{\boldsymbol {v}}\|$ est le vecteur (unitaire) normalisé. Avec $\|{\boldsymbol {v}}\|^{2}$ représentant $v_{1}^{2}+v_{2}^{2}+v_{3}^{2}$,
    ${\boldsymbol {\hat {v}}}={\boldsymbol {v}}/{\sqrt {\|{\boldsymbol {v}}\|^{2}}}$, liant le vecteur unitaire à la racine carrée inverse des composantes.

## Aperçu du code

Le code source suivant est celui de la fonction Q_rsqrt qui implémente la racine carrée inverse rapide dans Quake III Arena. On a retiré du code les directives du préprocesseur C (lignes commençant par #), mais on a laissé les commentaires originaux (introduits par //).
Afin de déterminer la racine carrée inverse, un programme calculerait une approximation de x$^{−½}$ puis appliquerait ensuite une méthode numérique afin de peaufiner le résultat jusqu'à atteindre une erreur d'approximation acceptable. Des méthodes d'extraction de racine carrée du début des années 1990 ont permis d'avoir une première approximation depuis une table de correspondance. Cette nouvelle fonction s'est montrée plus efficace que les tables de correspondance et environ quatre fois plus rapide qu'une division flottante classique. L'algorithme a été conçu selon la norme IEEE 754 pour les nombres à virgule flottante 32 bits, mais des recherches de Chris Lomont et ensuite Charles McEniry ont montré qu'il pouvait être implémenté en utilisant d'autres spécifications de nombres à virgule flottante.
Le gain de vitesse apporté par le kludge qu'est la racine carrée inverse rapide vient du traitement du mot double contenant le nombre à virgule flottante considéré comme entier qui est ensuite soustrait à une constante spécifique : 0x5f3759df. L'utilité de cette constante n'étant pas claire à première vue, on la considère alors comme un nombre magique$^,$$^,$$^,$. Après cette soustraction d'entiers et ce décalage à droite, on obtient un mot double qui, lorsqu'il est considéré comme un nombre à virgule flottante, devient une approximation grossière de la racine carrée inverse du nombre entré. Ensuite, une itération de la méthode de Newton est réalisée afin de gagner en précision et le résultat est retourné. L'algorithme génère des résultats raisonnablement précis en utilisant une seule approximation par la méthode de Newton ; toutefois, il reste plus lent que d'utiliser rsqrtss, une instruction du jeu SSE, sortie elle aussi en 1999 sur les processeurs x86.

### Exemple pratique

Considérons un nombre x = 0,156 25, pour lequel on souhaite calculer 1/√x ≈ 2,529 82. Voici les premières étapes de l'algorithme :
En utilisant la représentation IEEE 754 sur 32 bits :
En réinterprétant la dernière trame binaire en tant que nombre à virgule flottante on obtient l'approximation y = 2,614 86 ayant une erreur relative d'environ 3,4 %. Après une itération de la méthode de Newton, le résultat final est y = 2,525 49 avec une erreur de seulement 0,17 %.

## Fonctionnement de l'algorithme

L'algorithme calcule 1/√x en effectuant les étapes suivantes :
* Transforme l'argument x en entier afin d'appliquer une approximation de log$_2$(x) ;
* Utilise cet entier pour calculer une approximation de log$_2$(1/√x) ;
* Transforme celui-ci afin de revenir à un nombre flottant afin d'effectuer une approximation de l'exponentielle base-2 ;
* Affine l'approximation en utilisant une itération de la méthode de Newton.

### Représentation en nombre flottant

Puisque cet algorithme s'appuie fortement sur la représentation bit à bit des nombres à virgule flottante simple précision, un aperçu rapide de ce système est fourni ici. Afin d'encoder un nombre réel non nul x en tant que flottant de simple précision, on commence par écrire x comme un nombre binaire en notation scientifique :
    ${\begin{aligned}x&=\pm 1,b_{1}b_{2}b_{3}\ldots \times 2^{e_{x}}\\&=\pm 2^{e_{x}}(1+m_{x})\end{aligned}}$
Où l'exposant e$_x$ est un entier, m$_x$ ∈ [0, 1), et 1,b$_1$b$_2$b$_3$... est la représentation binaire de la « mantisse » (1 + m$_x$). Notons qu'il n'est pas nécessaire d'enregistrer le bit avant la virgule dans la mantisse car il vaut toujours 1. Avec ce formalisme, on calcule trois entiers :
* S$_x$, le « bit de signe », valant 0 si x > 0 ou 1 si x < 0 (1 bit) ;
* E$_x$ = e$_x$ + B est l'« exposant biaisé » où B = 127 est le « biais d'exposant » (en) (8 bits) ;
* M$_x$ = m$_x$ × L, où L = 2$^{23}$ (23 bits).
Ces valeurs sont ensuite condensées de gauche à droite dans un conteneur 32 bits.
Par exemple, en utilisant le nombre x = 0,156 25 = 0,001 01$_2$. En normalisant x on a :
    $x=+2^{-3}(1+0,25)$
Donc, les trois valeurs entières non signées sont :
* S = 0 ;
* E = −3 + 127 = 124 = 01111100$_2$ ;
* M = 0,25 × 2$^{23}$ = 2097152 = 01000000000000000000000$_2$.
Ces champs sont condensés comme ceci :

### Approcher un logarithme en passant à l'entier

S'il fallait calculer 1/√x sans un ordinateur ou une calculatrice, une table de logarithmes serait utilement accompagnée de l'identité log$_b$(1/√x) = −1/2 log$_b$(x) valide quelle que soit la base b. La racine carrée inverse rapide repose sur cette dernière ainsi que sur le fait que l'on puisse effectuer un logarithme approximatif d'un nombre en passant d'un float32 à un entier.
Explications :
Soit x un nombre normal (en) positif :
    $x=2^{e_{x}}(1+m_{x})$
On a alors
    $\log _{2}(x)=e_{x}+\log _{2}(1+m_{x})$
Mais puisque m$_x$ ∈ [0, 1), le logarithme de la partie droite peut être arrondi par :
    $\log _{2}(1+m_{x})\approx m_{x}+\sigma$
où σ est un paramètre arbitraire permettant de régler l'arrondi. Par exemple : σ = 0 fournit des résultats exacts aux bords de l'intervalle tandis que σ ≈ 0.0430357 fournit l'approximation optimale.
Alors nous avons l'approximation
    $\log _{2}(x)\approx e_{x}+m_{x}+\sigma .$
D'un autre côté, en interprétant la représentation binaire de x en tant qu'entier, on obtient :
    ${\begin{aligned}I_{x}&=E_{x}L+M_{x}\\&=L(e_{x}+B+m_{x})\\&\approx L\log _{2}(x)+L(B-\sigma ).\end{aligned}}$
On remarque alors que I$_x$ est une approximation linéaire mise à l'échelle et décalée de log$_2$(x), comme présenté sur le graphique ci-contre. En d'autres termes, log$_2$(x) est approché par
    $\log _{2}(x)\approx {\frac {I_{x}}{L}}-(B-\sigma ).$

### Première approximation du résultat

Le calcul de y = 1/√x est fondé sur l'identité
    $\log _{2}(y)=-{\frac {1}{2}}\log _{2}(x)$
En utilisant l'approximation du logarithme telle que précédemment définie et appliquée à x et y, l'équation devient :
    $I_{y}\approx {\frac {3}{2}}L(B-\sigma )-{\frac {1}{2}}I_{x}$
Qui s'écrit en code C :
Le premier terme étant le nombre magique
    ${\frac {3}{2}}L(B-\sigma )={\text{0x5f3759df}}$
à partir duquel on déduit σ ≈ 0,045 046 6. Le second terme, 1/2 I$_x$, est déterminé en décalant à droite une fois les bits de I$_x$.

### Méthode de Newton

Après avoir appliqué ces opérations, l'algorithme considère de nouveau le mot double comme nombre flottant (y = *(float*)&i;) et effectue une multiplication en nombre flottant (y = y*(1.5f - xhalf*y*y);). Celle-ci étant une itération de la méthode de Newton permettant de trouver des solutions à une équation donnée. Pour ce même exemple :
    $y={\frac {1}{\sqrt {x}}}$ est la racine carrée inverse, ou encore, en fonction de y :
    $f(y)={\frac {1}{y^{2}}}-x=0$.
    Avec $y_{n+1}=y_{n}-{\frac {f(y_{n})}{f'(y_{n})}}$ représentant l'expression générale de la méthode de Newton avec $\,y_{n}$ comme première approximation,
    $y_{n+1}={\frac {y_{n}(3-xy_{n}^{2})}{2}}$ est l'expression particulière où $f(y)={\frac {1}{y^{2}}}-x$ et $f'(y)={\frac {-2}{y^{3}}}$.
    Ainsi y = y*(1.5f - xhalf*y*y); est semblable à $\,y_{n+1}=y_{n}(1.5-{\frac {xy_{n}^{2}}{2}})={\frac {y_{n}(3-xy_{n}^{2})}{2}}$
La première approximation est générée en utilisant les opérations en tant qu'entiers puis fournie aux deux dernières lignes de code de la fonction. Des itérations répétées de cet algorithme en utilisant la sortie de la fonction ($y_{n+1}$) comme argument pour l'itération suivante fait converger l'algorithme sur la racine avec une incertitude de plus en plus faible. Une seule itération a été utilisée dans le cadre du moteur de Quake III, une seconde itération ayant été commentée et laissée.

## Histoire et enquête

Le code source de Quake III Arena a été diffusé après la QuakeCon 2005, mais des copies de la racine carrée inverse rapide sont apparues sur Usenet et d'autres forums dès 2002/2003. Les spéculations à l'époque pointent comme auteur probable de la fonction John Carmack, cofondateur d'id Software, l'entreprise qui a développé les jeux Quake. Mais Carmack dément la chose et suggère que la fonction a été écrite par Terje Mathisen, un programmeur assembleur talentueux qui a aidé les développeurs d'id Software pour optimiser Quake. Mathisen a effectivement écrit une fonction similaire à la fin des années 1990, mais les auteurs originaux remontent à plus loin dans l'histoire de l'infographie 3D avec l'implémentation faite par Gary Tarolli pour un SGI Indigo (en) qui serait l'une des premières utilisations connues. Rys Sommefeldt, auteur de l'enquête, finit par conclure que l'algorithme original est l'œuvre de Greg Walsh de Ardent Computer (en) en collaboration avec Cleve Moler, fondateur de MathWorks.
On ne sait pas comment la valeur exacte du nombre magique a été déterminée. Chris Lomont a développé une fonction pour minimiser l'erreur d'approximation en choisissant le nombre magique R dans un intervalle. Il calcule d'abord la constante optimale pour l'étape d'approximation linéaire, il obtient 0x5f37642f qui est proche de 0x5f3759df, mais avec cette nouvelle constante, il obtient une précision moindre après une itération de la méthode de Newton. Il cherche alors une constante optimale même après une ou deux itérations de la méthode de Newton et obtient la valeur 0x5f375a86 qui se révèle plus précise que l'originale, même après chaque étape d'itération. Il conclut alors en se demandant si la valeur originale a été choisie par dérivation ou par essai-erreur. Dans la lancée, Lomont indique aussi que la valeur magique pour flottant double précision 64 bits IEEE 754 est 0x5fe6ec85e7de30da, mais il a été démontré que la valeur exacte était 0x5fe6eb50c7b537a9. Charles McEniry a effectué une optimisation similaire mais plus sophistiquée sur les valeurs probables pour R. Il cherche d'abord par une méthode par force brute et obtient la valeur déterminée par Lomont. Il a ensuite essayé de rechercher cette valeur par une méthode de dichotomie et obtient alors la valeur utilisée initialement dans la fonction, ce qui conduit McEniry à penser que cette constante a probablement été obtenue par cette méthode.