Sobre la base de un primitivo edificio del siglo XIV, fue reedificado hacia 1520 por Rodrigo González de Cienfuegos, señor de Allande, sufriendo después diversas remodelaciones por lo que sólo se conserva de época gótica la parte baja.