Han ble født på Ferstad gård på Byåsen ved Trondhjem som sønn av Kaspar Johnsen Fergstad (opprinnelig Bye) og Marit Sivertsdatter. Faren var jekteskipper og døde da sønnen var to år gammel. En eldre bror var kobberslager og senere stortingsmann Johan Peter Bye. Som ung gikk han selv i lære som kobberslager før han tok til å studere. Han tok artium i 1835 og teologisk embedseksamen i 1841. I 1841 ble han personlig kapellan hos prost Falch Andreas Widerøe ved Værnes kirke i Stjørdal, og giftet seg i 1846 med prostens datter, Ovidia. De fikk ni barn; datteren Johanne Sophie giftet seg med sogneprest Carl Edvard Fleischer i Bjørnør og ble mor til generalmajor Carl Gustav Fleischer.