Den 29. september 1969, etter 42 år som biskop, anmodet biskop Toolen om aldersbetinget fratreden, noe pave Paul VI innvilget. Han ble utnevnt til titulærbiskop av samme dag.