Den 5. juni 2013 kunngjorde Brunner sin avgang som biskop. Pave Frans «betraktet med sympati» og tok skritt for å finne en etterfølger. Brunner forble i vervet til hans etterfølger tiltrådte. Den 8. juli 2014 aksepterte pave Frans hans avskjed og utnevnte Jean-Marie Lovey C.R.B. som sin etterfølger. Han ble innsatt i embetet 28. september 2014.