Familien var kvener. På grunn av fornorskingspresset valgte familien å ta et norsk navn; Stålsett. Det opprinnelige etternavnet Sirkka hadde familien fra landsbygden Sirkka i Nord-Finland. I 1868 forlot Stålsetts kvenske bestefar som var «læstadianer av det mest konservative slaget» ifølge barnebarnet, et hungersrammet Nord-Finland og slo seg ned i Vadsø som gårdbruker og predikant. Stålsetts foreldre behersket kvensk, mens barna lærte bare norsk.