Fra 1968 og utover trakk han seg fra vervet og det offentlige liv i for flere år på grunn av sykdom. Av og til feiret han private messer i «Englenes dronning»-kirken til i Dickinson, som avviste Det andre Vatikankonsil, og satte deretter opp sitt eget kapell der på familiens eiendom.