Den 2. mars 2005 ble det offentliggjort fra Oslo katolske bispedømme at Schwenzer hadde søkt avskjed av alders- og helsemessige årsaker. Innvilgelse av avskjedssøknaden ble offentliggjort den 29. juli 2005, samtidig med utnevnelsen av hans etterfølger, augustinerkorherren Bernt Ivar Eidsvig.