De los 4723 habitantes, Ashdown estaba compuesto por el 63.14% blancos, el 31.36% eran afroamericanos, el 0.87% eran amerindios, el 0.44% eran asiáticos, el 0% eran isleños del Pacífico, el 1.91% eran de otras razas y el 2.29% pertenecían a dos o más razas.