Guillaume le Conquérant utilisa lui-même le passage des pèlerins quand il pilla la campagne, Guildford inclus, après sa victoire à la Bataille d'Hastings. Il fit construire, ou peut-être reconstruire le château dans le style de l'Architecture normande, dont le donjon survit encore aujourd'hui. Il ne fait aucun doute qu'un autre rôle majeur des châteaux normands était de subjuguer les populations conquises, et c'était précisément le cas à Guildford. Au fur et à mesure que les menaces d'invasions et de révoltes s'évanouirent, le château fut reclassé en pavillon de chasse vu sa proximité au grand parc de Windsor. Plusieurs fois, Jean d'Angleterre ainsi qu'Henri III d'Angleterre se rendirent à Guildford.