Se enamoró de una joven dama alemana, Ana de Schaumburg, quien lo dejó por un noble bohemio, si bien anduvo al parecer también tras una tal Ana de Aragón; perdió al cabo las esperanzas de regresar alguna vez a España, como cuenta evocando un famoso romance: "Tiempo es ya, Castillejo, / tiempo es de andar aquí".