I 2010 søkte han paven om å få gå av som biskop på grunn av sin alder, og den 30. november 2010 fikk han pave Benedikt XVIs tillatelse til å fratre. Samtidig utnevnte paven den amerikanske kapusiner Stephen Joseph Reichert til biskop Kurtz' etterfølger.