Han ble født utenfor ekteskap som sønn av Ingeborg Pedersdatter Bremseth og Ole Eriksen Krislok. Moren kom fra plassen Fremmervegan under gården Bremset i Skjelstadmark. Tre av hennes brødre ble etter tur hjulpet inn på Klæbu seminar av Gullik Pettersen Ertzgaard på Hofstad, sønn av eidsvollsmann og stortingsmann Petter Johnsen Ertzgaard. En av Magne Bremseths morbrødre var lærer og ordfører Gunerius Pedersen Hofstad.