Han arbeidet i innenrikministeriets Bureau of Indian Affairs (administrasjon av den amerikanske urbefolkning), men ble sparket i 1865 av ministeren James Harlan, som i Whitmans skrivebordsskuff hadde funnet , som han fant umoralsk.