Fegths far var fra Ringebu og hadde nøyaktig samme navn ifølge dåpsregistreringen i kirkeboka for Ringebu. Faren døde 8. desember 1878, året før Fegth ble født. Hans etternavn Fegth er ofte stavet «Feght», i norsk litteratur. Interessen for roing begynte i barndommen da han bodde hos sin bestefar i morens barndomshjem i Holmsbu. Roing som konkurranseidrett startet under Fegths studieopphold i England. Etter endt utdannelse som forretningsmann startet han firmaet Hannibal Fegth og Co. A/S i 1903.