Durante su infancia Yrigoyen vivió en una casa del barrio de Balvanera y tuvo cuatro hermanos: Roque, Martín, Amalia y Marcelina.