Casó con una hija de Pedro de Alcalá, con la que tuvo dos hijas y dos hijos, uno de los cuales fue el famoso Diego de Siloe, artista que destacará fundamentalmente como arquitecto en el Renacimiento.