Whitman ble født i området West Hills på Long Island, som det andre av foreldrene Walter og Louisas åtte barn. Da Walt Whitman var tre år, flyttet familien til Brooklyn. Han gikk på skole fra 1825 (muligens tidligere) til 1830. I Brooklyns District School No.1 fikk han lære seg å skrive og regne, og geografi. Whitman forlot skolen da han var elleve, og fikk ingen ytterligere formell skolegang.