Jabarkan {| class="wikitable" style="background-color:white;" dari Eliminasi Gauss

! Hasil matriks koefisien gabungan

Secara umum, algoritma eliminasi Gauss tidak dapat bekerja tanpa menukar baris. Pada contoh algoritma di atas, algoritma tidak akan berjalan jika persamaan  adalah . Untuk mengatasi ini, perlu dipilih sebuah elemen tidak bernilai 0 pada kolom pertama matriks koefisien. Elemen ini disebut sebagai elemen pivot. Pada kasus ini, elemen  dari persamaan  digunakan sebagai elemen pivot:Setelah menukar baris pertama dengan baris kedua, eliminasi Gauss dapat berjalan:Untuk kalkulasi secara manual, elemen pivot bernilai -1 atau 1 menguntungkan untuk dipilih; karena memudahkan perhitungan eliminasi nilai elemen-elemen lain. Namun untuk kalkulasi menggunakan komputer, elemen pivot dengan nilai mutlak terbesar menguntungkan untuk digunakan; karena menghasilkan algoritma dengan stabilitas numerik paling baik. Operasi pivot juga dapat dilakukan dengan menukar kolom, sepertimenjadiPerlu diingat ketika bagian subtitusi balik, operasi pivot kolom mengubah susunan variabel di sistem persamaan, sehingga penyesuaian perlu dilakukan. Jika operasi pivot dilakukan dengan memilih elemen matriks dengan nilai mutlak terbesar, operasi pivot tersebut dinamakan dengan operasi pivot total (total pivoting). Secara umum, baris dan kolom dari matriks perlu ditukar untuk melakukan pivot jenis ini.

Operasi pivot dapat dilakukan tanpa memerlukan komputasi yang signifikan jika entri-entri pada matriks dan sisi ruas kanan persamaan tidak mengalami penukaran; informasi mengenai pertukaran baris/kolom dicatat dalam suatu vektor indeks