Etter at Brendan Comiskey trakk seg som biskop av Ferns, ble Walsh utnevnt til apostolisk administrator av Ferns av pave Johannes Paul II den 6. april 2002. Han ble kjent for å ha utformet og implementert en sikringsinfrastruktur som skulle bli et forbilde for hvordan overgrep mot barn, og svikt på ledelsesnivå i slike saker, skulle behandles. Hans tilnærming ble beskrevet som banebrytende.