અમેરિકા પાછા ફર્યા બાદ, બ્રાઉને તેમની ગુલામીની પ્રથા નાબૂદ કરવાની પ્રવૃત્તિઓ ચાલુ રાખી, અને ફ્રેડરિક ડૌગ્લાસ સાથે , સિવિલ વોર દરમિયાન યુનિયન આર્મીમાં કાળા સૈનિકોની ભરતી કરવામાં મદદ કરી.