De maio de 1865 a julho de 1874, o general Howard foi comissário da Freedmen's Bureau (uma agência do Exército para refugiados, escravos libertos, e terras abandonadas), onde desempenhou um papel importante na Era da Reconstrução, e teve a missão de integrar os "homens livres" (escravos libertos) na sociedade americana. Howard desenvolveu programas de longo alcance e orientações, incluindo o bem-estar social na forma de alimentação, escolaridade, ajuda jurídica, e cuidados médicos. Howard muitas vezes entrou em confronto com o presidente Andrew Johnson, que fortemente discordava dos aspectos de bem-estar do Freedman's Bureau e, especialmente, tentava devolver o poder político aos brancos do sul. Porém, Howard tinha o apoio dos Republicanos Radicais no Congresso. Quando os republicanos radicais ganharam poder em 1867, deram aos negros o direito ao voto no Sul e marcaram novas eleições, nas quais a coalizão republicana de libertos, "carpetbaggers" e "scalawags" venceu (exceto na Virgínia). O Bureau foi muito ativo em ajudar os negros a organizarem-se politicamente e, portanto, tornou-se um alvo de hostilidade partidária.