Foster vokste opp i en familie med rørleggere (hans far, brødre og onkler var rørleggere), og begynte på seminaret da han var 13 år. Det ble sagt at han hadde tre ønsker: «å være prest, å være karmelitt, og å drive på med latin». Som 15-åring fortsatte han ved juniorseminar i Peterborough i New Hampshire, der han ble betatt av latin. Han ble medlem av de uskodde karmelitters orden i 1959.