Del castillo de Olmos solo queda en pie una torre de unos 8 metros de altura (que presumiblemente fue más alta), con unos 11,8 metros de ancho y muros de 2,5 metros de grosor de ladrillo cocido y piedra.