Pave Paul VI innvilget Tracys fratreden som biskop av Baton Rouge den 21. mars 1974, etter tolv år i embedet. Han var da 64 år gammel. Hans etterfølger var biskop Joseph Vincent Sullivan.