Полк покрыл себя славой 18 июля 1863 года, когда возглавил атаку на форт Вагнер близ г. Чарльстон, Южная Каролина. 272 человека из 600 атакующих были «убиты, ранены или взяты в плен». В этом бою были убиты полковник Шоу и 29 его подчинённых; ещё 24 человека умерли впоследствии от ран, 15 были взяты в плен, 52 пропали без вести, и 149 были ранены. Более серьёзных потерь в одном бою 54-й полк не имел за всю войну. Хотя федеральные войска так и не смогли взять и удержать форт (несмотря на то, что захватили участок стены во время первого штурма), 54-й стал широко известен благодаря проявленной отваге, и это событие способствовало формированию новых афроамериканских полков, которое, по словам президента Линкольна, сыграло важную роль в победе Севера. Много десятилетий спустя сержант Уильям Харви Кэрни был награждён Медалью Почёта за то, что он выхватил американский флаг из рук убитого знаменосца и пронёс его до вражеских позиций и обратно. Хотя к тому моменту этой награды были удостоены другие афроамериканцы, подвиг Кэрни был первым по времени, за который чернокожий был награждён Медалью Почёта.