Etter Østerrikes tap i krigen mot Frankrike og Piemonte-Sardinia, opplevde Anton von Schmerling en andre politiske karrière. Han ble ministerpresident i 1860 i . Han ble av erkehertug Rainer avløst som ministerpresident allerede i 1861, men beholdt rollen som den viktigste politikeren i landet, med tittelen staatsminister. Regjeringen innførte viktige endringer av Habsburgmonarkiets lover, for eksempel menneskerettighetserklæringen fra 1862. Anton von Schmerling gikk av i 1865 etter politisk press, blant annet fra de ungarske føderalistene anført av Ferenc von Deák.