Dopo la denuncia dell'Armistizio e la ripresa delle ostilità il 23 marzo 1849, Buffa lasciò il suo incarico genovese per tornare alla Camera, dove, in qualità di ministro, tre giorni dopo lesse al Parlamento la lettera di abdicazione di Carlo Alberto di Savoia dopo il disastro di Novara. Dopo questo episodio, Buffa si distaccò gradualmente dalla Sinistra parlamentare e si avvicinò al raggruppamento di Destra più moderato e liberale, che avrebbe avuto in Cavour il suo rappresentante. Dopo lo scioglimento della Camera con il famoso Proclama di Moncalieri del 20 novembre 1849 da parte del nuovo re Vittorio Emanuele II di Savoia, l'ex-ministro intrecciò sempre più fitti legami con esponenti politici facenti capo a Cavour, il quale, unendo la corrente liberale e moderata del Parlamento al centro-sinistra guidato da Urbano Rattazzi, avrebbe potuto avere la base politica per attuare il programma di unità nazionale. Quindi, fattosi mediatore per Rattazzi, Buffa si incontrò con la controparte di Cavour, Michelangelo Castelli, per organizzare un incontro al fine di sancire questa alleanza politica. Cavour e Rattazzi si incontrarono in casa di Castelli, presente anche Buffa, tra la fine del 1850 e l'inizio del 1851, per concordare quanto segue: abbandono delle ali estreme del Parlamento, sostegno alla monarchia parlamentare, proseguimento del programma di unità nazionale, riforme civili ed economica atte a far progredire la Nazione. L'accordo, chiamato ironicamente Connubio dagli avversari, ebbe il suo banco di prova il 10 febbraio 1852, quando alla Camera era in discussione la legge De Foresta, che inaspriva le pene per chi offendeva a mezzo stampa i sovrani e i governi stranieri. In quell'occasione, Buffa votò a favore, discostandosi dai suoi colleghi di partito più estremisti che avevano deciso di votare compattamento in senso contrario.