Han var sønn av omgangsskolelærer Ole Jespersen og jordmor Karen Frederikke Jacobsdatter. Han ble døpt Jespersen, men sløyfet dette navnet. Faren var uekte sønn av sogneprest og folkeminnesamler Johan Henrik Schrøter og fikk, etter bare noen års skolegang, attest fra amtmann Christian Pløyen som egnet som lærer. Søsteren Ellen (Eline) giftet seg med bonde Daniel Johan Lisberg (Dánjal Johan í Smiðjuni) i Fámjin, så Johan Henrik Schrøter ble grandonkel til Jens Olivur Lisberg, som heiste Færøyenes flagg for første gang.