I 1083 ble katedralprioratet St Andrew the Apostle grunnlagt i Rochester, med Gundulf som første prior. Han kjøpte store eiendommer for egne midler og gav dem til klosteret, og han sørget også for at andre gav eiendommer. Sammen med erkebiskop Lanfranc begynte han med byggingen av klosterbygninger, og fortsatte arbeidet med katedralen. Han fikk senere relikvier at Paulinus av York, en tidligere biskop av Rochester og erkebiskop av York som hadde blitt helligkåret, plassert i et sølvskrin i kirken.