Samson Samsonsen Isberg ble født som den eldste av åtte søsken. Hans far var Samson Samsonsen Isberg d. e. (1764–1833) og moren Anna Sveinsdatter Skjeldås (1764–1800). Moren døde da han var fem år gammel. Faren giftet seg igjen i alt tre ganger.