Do politiky se vrátil po otřesu vládního režimu kvůli prohrané druhé italské válce za nezávislost a pádu Bachova režimu. V té době patřil mezi populární společenské postavy reprezentující liberálnější Rakousko, oproti konzervativní vysoké šlechtě. Jeho odchod z vlády počátkem 50. let na protest proti absolutistickým tendencím byl oceňován v kruzích měšťanských elit. 13. prosince 1860 ho František Josef I. jmenoval státním ministrem Rakouského císařství ve vládě Johanna Rechberga a tuto pozici si udržel i v následující vládě Rainera Ferdinanda Habsbursko-Lotrinského až do 27. července 1865. Zatímco Rechberg i arcivévoda Rainer byli formálními předsedy ministerské konference, Schmerling coby státní ministr fakticky vedl kabinet a určoval jeho politiku.