Fue tachado de libertino, por su fama de amoríos, cuchilladas, incidentes con la Justicia y escándalos que le llevaron al destierro de la Corte; alejado a Sevilla por nuevos escándalos, domiciliado en Osuna y preso en Arévalo en 1600.