Feragen var sønn av Sven Evensen Feragen (d. 1848) og Henricke Normann (1788–1869). Han giftet seg 24. juni 1846 med Elisabeth Olsen (1824–1885), datter av Adrian Olsen og Elisabeth Corneliusdatter.