I 1893 fratrådte Gautsch samtidig med Eduard Taaffe. I regjeringen Kasimir Felix Badeni (oktober 1895 til november 1897) ble han atter undervisningsminister. Etter Badenis avgang ble Gautsch selv ministerpresident og dessforuten innenriksminister, men gikk av allerede i mars 1898, på grunn av at hans forandringer i Badenis språkforordninger for Böhmen ikke tilfredsstilte de tyskliberale elementene i riksrådet.