Barber var født i West Chester, Pennsylvania. Han var sønn av Marguerite McLeod og Samuel LeRoy Barber. Allerede som liten gutt ble Barber svært interessert i musikk, og det var tydelig at han hadde både musikalsk talent og ferdighet. Han skrev sin første komposisjon bare sju år gammel og prøvde å skrive opera da han var 10 år. Han ble organist 12 år gammel, da han var 14, begynte han på Curtis Institute, et konservatorium hvor han studerte piano, komposisjon og stemmebruk.