Se trasladó entonces a Estados Unidos, donde se construyó una mansión en Point Breeze, Filadelfia, lujosamente amueblada y con una impresionante colección de libros raros y obras de arte; residió allí, sin la compañía de su mujer, que cuidaba de sus hijas en Europa, pero con una amante estadounidense, con el título de conde de Survilliers, entregado a obras de beneficencia y a proteger a los bonapartistas emigrados por medio de la Masonería hasta 1841, cuando recibió autorización para instalarse en Florencia.