Han var sønn av smed og bonde Ole (Ólavur) Petersen og hustru Jóhanna Mathea Súsanna Heinesen. Han kom fra en fremstående slekt i Færøyenes kulturelle og politiske liv; farfaren Johannes Petersen var lagtings- og folketingsmann, og farbroren Fríðrikur Petersen var prost, lagtings- og landstingsmann. Johannes rakk også å sitte som lagtingsmann samtidig med sin onkel, Simon Thorkildshøj, som var gift med Johannes’ faster Caroline Fredrikke. Brorsønnen Dan R. Petersen har også vært lagtingsmann.