Pfeifer sendte inn sitt avskjedsbrev som biskop av San Angelo til pave Benedikt XVI på sin 75-årsdag 18. mai 2012. Pave Frans innvilget Pfeifers fratreden den 12. desember 2013.