Diktsamlingen ble ikke den suksessen som Whitman hadde håpet. Han fortsatte å skrive, og ble noe av en sosial avviker som ”så ut som en bohem, med voldsomt hår og et grått skjegg”. Han omgikkes liberale kretser, og ble venn med blant andre Bram Stoker og skuepillerinnen Ada Clare, som han også hadde en kort kjærlighetsrelasjon med. I sine dagbøker beskriver Whitman også menn som han lærte å kjenne, og i diktet ’’Live Oak with Moss” beskriver han gleden og smerten i en kjærlighetsaffære med en mann.