Cependant, dans une lettre datée du , adressée au général Lorenzo Thomas, Ullman se plaint du manque de respect des commandants pour ses soldats noirs et demande que ces derniers soient utilisés à autre chose que des bêtes de somme. La reconnaissance de ces troupes intervient lors du Siège de Port Hudson où leur bravoure sur le terrain est reconnue. Le Corps d'Afrique est alors baptisée et, toujours sous le commandement de Ullman, il se distingue sur différents champs de bataille et, notamment, lors du Siège de Mobile au printemps 1865. Il est démobilisé le et promu major-général en novembre de la même année.