I 1964 ble Angerhausen fritatt fra ledelsen av pastoralkontoret. I 1966 ble han utnevnt til biskopsvikar for sjelesorg for utlendinger. Fra 1967 til 1975 var han formann for Kommisjonen for verdensmisjonen i Den tyske bispekonferanse.