El palacio forma parte de un conjunto arquitectónico uniforme y muy pintoresco en torno a la plaza de Armas donde, además de encontrarse el Ayuntamiento, existen otras dependencias que estaban destinadas a diversos usos como el mesón del duque, las caballerizas, escuelas, etc.