El castillo de Diempures está construido en pizarra, material poco común en este tipo de edificaciones pero muy utilizada en las construcciones de la zona de la arquitectura negra por su abundancia en la sierra de Ayllón.