Jacques Récamier var med på etableringen og styringen av den franske sentralbanken, Banque de France i 1800. I 1805 ble hans egen virksomhet, Banque Récamier, slått konkurs, og ekteparet mistet mye av sin rikdom. Jacques Récamier ble slått konkurs for andre gang i 1819, og de levde begge resten av livet i sterkt reduserte forhold.