Joshua Maria Young tilhørte en stor familie; han hadde ni søsken, seks søstre og tre brødre. Hans foreldre var Jonathan og Mehetable Young. Han var opprinnelig en kongregasjonalist og dermed protestant. I 1816, i en alder av åtte, flyttet Young for å bo hos onkelen sin i Saco i Maine. I Portland ble han lærling i et trykkeri i 1823. Etter at han kom i kontakt med katolske bøker gjennom en arbeidskollega, bestemte han seg for å konvertere. I oktober 1828, i en alder av 20 år, ble han endelig døpt etter katolsk skikk. Han tok da mellomnavnet Maria.