Feder var sønn av Hans Feder, som var statstjenestemann og Mathilde Feder. Han studerte humanistiske fag i Ansbach og München og tok ingeniørutdanning i Berlin og Zürich (Sveits).