Han ble født på By i Orkdal som sønn av jekteskipper Kaspar Johnsen Fergstad (Bye) og Marit Sivertsdatter. En yngre bror var prost og stortingsmann Sivert Andreas Fergstad. Han giftet seg i 1830 med Olava Salvesdatter Neergaard, datter av hammersmed Salve Olsen og Kirsti Neergaard.