電子計算機（コンピュータ）の発明以前、数値計算には数表や補助的な計算機も用いられたものの、アルゴリズムの適用は人の手によるところが大きかった。
コンピュータの発明により、汎用的なプログラミングが可能になり、また人の手より速くより多くの計算を実行できるようになった。種々のアルゴリズムのプログラムが実装され、またコンピュータ自身の特性に合わせてアルゴリズムが考案されるようになった。
概要.
数値解析の目標は、難しい問題への近似解を与える技法の設計と解析である。この考え方を具体化するため、次のような問題と手法を挙げる。
歴史.
直接解法と反復解法.
直接解法は、問題の解を有限回数の演算により計算する。もしも演算の精度が無限にできるならば得られる解は正確である。たとえば、線型方程式系を解くガウスの消去法やQR分解、線形計画問題のシンプレックス法などがある。実際は有限精度の浮動小数点数を用いて計算を行うので，得られるものは解の近似値である。
これに対して反復解法は有限の演算回数で完了するとは限らない。ある初期予測値から開始して、計算を反復的に行うことで近似解を真の解に徐々に収束させていく。仮に計算を無限の精度で行ったとしても、収束する反復を有限回までで打ち切って得られる結果は、一般には正確な解にはならない。例として、ニュートン法、二分法、ヤコビ法などがある。一般に大規模な数値線形代数の問題では反復法による解法が要求される。
離散化.
誤差の発生と伝播.
誤差の研究は、数値解析の重要な一分野である。解に誤差が入り込む原因はいくつかある。
入力誤差.
アルゴリズムや計算プログラムに与える入力データ自身が持つ誤差。たとえば入力するデータがそれ自身が既に丸められた値である場合。
丸め誤差.
また，数値をある決まった桁数で表す場合に、それらの数値に四則演算を行った結果は一般には同じ桁数のままでは正確に表わせない。そこで演算結果の数値を一定の桁数になるように丸めると、
端数処理にともなう誤差が発生する。この誤差を丸め誤差という。丸め誤差の影響はより表現精度の高い倍精度を用いて計算を行うなどのように、計算に用いる数値の表現とそれらに対する演算の精度を上げることで小さくできる。
打ち切り誤差.
離散化誤差.