较之汉人，仅什之三四，天下巡抚尚满汉参半，总督则汉人无一焉，何内满而外汉也？三江两浙天下人才渊薮，边隅之士间出者无几。今则果于用边省之人，不计其才，不计其操履，不计其资俸。而十年不调者，皆江浙之人，岂非意见轸域？”干隆帝闻知大怒，几欲处以极刑，因刑部尚书徐本极力求情，称“是狂生，当其为诸生时，放言高论久矣”，免死罢归。杭世骏在馆期间于《礼记义疏》的修纂用功颇多，在离开“三礼馆”后更倾心于《礼记》一经的搜讨和编纂，晚年撰成《续礼记集说》一百卷。干隆三十年（1765年），干隆帝南巡，杭世骏前往接驾。干隆帝问