対角化可能でない行列の場合にはジョルダン標準形が利用できる。 
すべての固有値が正の実数であるような任意の複素行列が、同じ条件の平方根を持つことを見るには、ジョルダンブロックの場合に証明すれば十分である。そのようなブロックは実数 および冪零行列 を用いて の形に書ける。平方根の二項級数展開 （収束域は ）に対し、形式冪級数としての平方は に等しい。 を に置き換えれば、冪零性により有限個を除く全ての項は零となり、 が固有値 に属するジョルダンブロックの平方根を与える。
一意性を見るには の場合に確認すれば十分である。上で構成した平方根を の形に書けば、 は定数項を持たない の多項式である。固有値が正の実数となる他の任意の平方根 は の形で が冪零かつ と（したがって と）可換となるようにとれる。しかしこのとき であり、また と の可換性により は冪零ゆえ は可逆（逆行列はノイマン級数で与えられる）となるから、したがって .
すべての固有値が正の実数であるような行列 の最小多項式を とするとき、 の一般固有空間へのジョルダン分解は の部分分数分解から導かれる。すなわち、対応する一般固有空間の上への射影は の実係数多項式として与えられ、各固有空間上で は上記の通り の形をしている。固有空間上での平方根の冪級数展開は、 の主平方根が実係数多項式 に対する の形をしていることを示すものである。
現実的な計算法.
「対角化」の方法でも「ジョルダン分解」の方法でも、すべての固有値を算出することが必要となるが、それは行列の特性方程式（あるいは最小方程式）のすべての解を求めることと同じであり、行列の次数が大きくなれば非現実的となる。このため、現実的な平方根の求め方が必要となる。
行列対数関数、行列指数関数による求め方.
この方法は、固有値を全て求める必要がないこと（「全ての特性根の実数部分が正」という条件は、特性根を全て求めなくても、十分条件がいくつか知られている）、収束計算が速いこと、対称行列に限らず一般の行列に利用可能であることなど、現実的かつ速い計算方法になっている。
ニュートン法.
対称行列（エルミート行列）に限定した議論.
以下では、対称行列（あるいはエルミート行列）に限定した行列の平方根についての性質を示す。