A lo largo del siglo XX, Castelserás ha sufrido una despoblación desde los 2 107 habitantes de 1900 hasta los 851 habitantes en 2001.