Juan Gelman Buenos Airesben született, Villa Crespo kerületben ukrán zsidó emigráns család harmadik fiaként. Apja, José Gelman, társadalmi forradalmár volt, aki részt vett az 1905-ös orosz forradalomban, majd Argentínába emigrált. A bolsevik forradalom után nem sokkal visszatért Oroszországba, majd csalódottan végleg visszament Argentínába.