Era hijo extramatrimonial del rey Felipe IV de España, habido de sus amores con la actriz María Calderón (conocida como «la Calderona»), la cual había mantenido también relaciones con el duque de Medina de las Torres, lo que hizo que pronto se propagasen rumores tendentes a adjudicar al duque la paternidad del bastardo.