Del Castillo de Olmos, después de la demolición ordenada por Juan II quedó una torre cuadrada de unas diez varas o doce de altura, con casi tres de grosor.