La estatua ha sido en ocasiones perseguida por la controversia, algunos críticos afirman que el monumento evoca recuerdos del racismo y la esclavitud, mientras que otros responden que "Silent Sam" es simplemente histórico y una parte de la rica herencia del Sur.