Sus aventuras amorosas le hicieron perder aún más popularidad entre los ingleses católicos exiliados y, de hecho, Carlos no fue reconocido por la Santa Sede como rey de Inglaterra y Escocia, a diferencia de su padre, quien sí recibió esta mención especial.