Nelson ble født i 1906 i Danmark som sønn av en sjøkaptein. Først ville han bli kunstner, men etter ble overbeviste om at han ikke hadde talent til det. 19 år gammel reiste han til USA i 1925. Der begynte han hos sin onkel i Wellesley, som var florist. Nelson lærte seg også en god del om tredyrking. Han ble katolikk i 1927. Han arbeidet da i Salem i Massachusetts og studerte middelalderkunst.