Su aspecto actual de fuertes murallas y aspecto de bastión elegante e imponente y el acabado actual que conserva, no es debido a sus comienzos, sino a la reconstrucción del siglo XVI que mando hacer Don Francisco de los Cobos, secretario de Carlos V, allá por el siglo XVI con el fin de convertirlo en su noble palacio-residencia.