Han vokste opp på et gårdsbruk som var uten elektrisitet, innlagt vann og sentralvarme. Skjønt moren ikke selv var lesekyndig, sørget hun for at barna fikk grundig undervisning i . Messe ble ikke feiret ukentlig i den lokale kirken i dette strøket av prærien, så familien arrangerte en paraliturgi rundt kjøkkenbordet når det ikke var messesøndag: Salmer, bibellesninger, refleksjon over tekstene og deres relevans til deres dagligliv, fulgt av rosenkransbønn. Exner gikk på småskole i en ettroms skolebygning to kilometer unna, med bare én lærer alle grunnskoleårene. Han lærte seg å spille trekkspill, og holdt det ved like også som biskop, med polkaer og vals. Var han ikke blitt prest, lå han an til å arve gården, og ville i så fall blitt bonde.