I den siste del av Rikards regime økte presset mot Walter. Konflikter mellom hans kirkelige plikter og hans plikter i regjeringen gjorde ham til et mål for kritikk fra begge sider. En strid i desember 1197 over Rikards krav at magnatene i England skulle framskaffe 300 riddere for militærtjeneste i Frankrike førte til fornyet surmuling blant både prestene og baronene. I tillegg var Rikard misfornøyd med resultatet av carucage i 1198, og Walter ba om å få forlate sin post den 11. juli 1198. Walter må ha gått av frivillig da han hadde snakket om å fratre sine verdslige plikter siden 1194. En del middelalderkilder hevder likevel at han ble presset fra sin posisjon av kongen.