Pound ble født i Hailey, Idaho Territory, som sønn av Homer Loomis og Isabel Weston Pound. Hans bestefar var viseguvernør av Wisconsin, Thaddeus C. Pound. Da han var 18 måneder gammel flyttet familien til forstaden av Philadelphia. Han studerte to år på Universitetet i Pennsylvania, deretter fortsatte han på Hamilton College, hvor han fikk sin Ph.B. i 1905. Han dro da tilbake til Pennsylvania, fullførte en M.A. i romanske språk i 1906.