Während die Liberalen wieder aktiver wurden, blieb Gagern in der zweiten Hälfte der 1850er-Jahre eher passiv. Als Preußen nicht zugunsten Österreichs in den Sardinischen Krieg von 1859 eingriff, verließ er enttäuscht den kleindeutschen Kurs. Aber die Zeit der um 1800 Geborenen wie Gagern war vorbei, gerade die junge Generation folgte wie einige enttäuschte Linke der preußischen Realpolitik. 1863 begrüßte er die österreichischen Pläne zur Bundesreform, die zur Frankfurter Reformakte führten, die an Preußen scheiterte. Er verlangte aber weiterhin, anders als Österreich, ein Nationalparlament.