Hans familie var en irsk-amerikansk velutdannet og sosial familie som utmerket seg i sitt miljø. Faren var lege, moren var pianist, Tanten, Louise Homer, var en ledende kontraalt på Metropolitan Opera og onkelen, Sidney Homer komponerte også. Louise blir sagt å ha hatt innflytelse på hans interesse for stemmebruk. Gjennom henne hadde han tilgang til mange store sangere og sanger. Denne bakgrunn gjorde at Barber valgte å studere stemmebruk på konservatoriet.