Mistankene om hvor hans politiske lojalitet lå, kombinert med stresset med å være biskop. fikk Whelan til å sende sin avskjedssøknad til Vatikanet. Den 23. september 1863 aksepterte pave Pius IX hans fratreden som biskop av Nashville. Han var da bare 40 år gammel.