Bruce var slave ved fødselen, men ble senere en fri mann. En kilde hevder at faren frigjorde ham, men i et intervju sa Bruce selv at han fikk friheten da han flyttet til Kansas idet borgerkrigen var i ferd med å bryte ut.