Ačkoliv měl Schmerling historii liberálního politika, počátkem 60. let postupoval často ve shodě s panovnickým dvorem a v zásadních otázkách volil vyčkávací postup. Postupně ztrácel podporu některých německorakouských liberálů, například pro souhlasný postoj k dánsko-německé válce, v níž Rakousko působilo coby spojenec konzervativního Pruska. Sympatie liberální levice ztrácel i ostrým výkladem tiskového zákona (časté zatýkání novinářů a pozastavování periodik). Postupně tak ztrácel provládní většinu v parlamentu. U neněmeckých etnik měl trvale slabou podporu. V státoprávní oblasti byl totiž zastáncem unitárního centralizovaného státu. Odmítal například státoprávní aspirace Čechů a Maďarů. Češi od počátku 60. let byli v opozici vůči vládě, což projevovali bojkotem Říšské rady. Ještě ostřejší byla opozice maďarské politické reprezentace (odmítající se vůbec na jednání Říšské rady dostavit), vedené Ferencem Deákem. V únoru 1864 vyhlásila vláda výjimečný stav v Haliči. Když Schmerlinga v parlamentu k této otázce interpeloval Johann von Berger, pobouřil Schmerling sněmovnu tím, že se odkazoval na jeden z paragrafů ústavy, podle kterého nemusí vláda parlamentu vysvětlovat své kroky. Ztrácel i podporu císaře. Nakonec musel v roce 1865 opustit vládní post a monarchie se vydala směrem k zásadní ústavní revizi, jež vyústila v rakousko-uherské vyrovnání. Historik Otto Urban považuje Schmerlinga za jednoho z posledních představitelů poražené koncepce centralizovaného "Velkorakouska", tedy státního útvaru zahrnujícího celou monarchii včetně Uherska.