El recinto amurallado que rodea la torre albergó el Palacio del Abad de Covarrubias, que hoy es una propiedad privada.