Walter var født i Cornwall og han begynte sin karriere i kanselliet til kong Henrik II av England. Han var kannik i katedralen i Rouen i 1169.