El palacio de los Condes de Oñate se construyó rodeando la antigua torre de los Sarmientos que todavía se puede ver como núcleo central del edificio.