Karls hustru, Katarina av Braganza, fikk ingen barn, men Karl anerkjente minst 12, kanskje 14, uektefødte barn med forskjellige elskerinner - to sønner med skuespillerinnen Nell Gwyn, fem barn med Barbara Villiers, som sammen med sin mann Roger Palmer hadde flyttet til Nederland under Cromwells styre for å støtte Karl. Det var der de innledet sitt forhold, og hun og mannen ble utnevnt jarl og grevinne av Castlemaine slik at de barna Barbara eventuelt ville få med kongen, var sikret en tittel og arv.