Han startet på nytt opplegget til sin forgjenger, Baldwin av Exeter, om å grunnlegge en kirke i Canterbury som skulle være bemannet med verdslige og ikke munker. Han lovte at den nye grunnleggelsens kanniker ikke skulle få tillatelse til å stemme i valg av erkebiskop og heller ikke ville graven til helgenen Thomas Becket bli flyttet dit. Munkene ved katedralkapittelet var likevel mistenksom og henvendte seg direkte til paven. Striden fra Baldwins tid flammet opp igjen da paven støttet munkene og kongen støttet sin erkebiskop. Sluttligen bestemte paven for munkenes sak og beordret Walter til å ødelegge hva som var blitt bygget.