Leur père, Antoine Roy, avocat de profession depuis la fin de l'Ancien Régime, devient député de la Seine pendant les Cent-Jours, avant d'être réélu en 1815, 1816 et 1817. Pendant la Restauration, il occupe diverses fonctions législatives et gouvernementales de premier ordre : rapporteur du budget (1817 et 1818), ministre des Finances (à trois reprises en 1818, 1819-1821 et 1828-1829), mais également ministre d'État et membre du conseil privé (1818). À partir de 1830, il ne se consacre plus qu'à sa charge de pair de France, à laquelle il avait été nommé par le roi le . C'est également à cette date que Louis XVIII l'élève à la distinction de comte. Après la chute des Bourbon, il adhère sans hésitation au gouvernement de Louis-Philippe et est régulièrement chargé de rapports sur les impôts, la loterie et le budget au sein de la chambre des Pairs. Brillant administrateur public, il mène également parfaitement ses affaires personnelles et laisse à sa mort une fortune évaluée à quarante millions de francs, dont une partie revient à Élisa.