Serafín de Centelles la amuralló a mediados del siglo XV y su sobrino Francisco amplió la fortificación construyendo el palacio condal, como reza esta lápida que se conservaba en el mismo: