Den 7. oktober 1964 innvilget pave Paul VI Albers' tidlige pensjonering som biskop av bispedømmet Lansing på grunn av dårlig helse. Han ble etterfulgt av biskop Alexander M. Zaleski.