Keyser ble tidlig foreldreløs, og han ble oppdratt av sin mormor. Hun satte ham i lære hos presten Peder Hesselberg, en av de fremste blant Herrnhutterne i Norge.