怒，几欲处以极刑，因刑部尚书徐本极力求情，称“是狂生，当其为诸生时，放言高论久矣”，免死罢归。杭世骏在馆期间于《礼记义疏》的修纂用功颇多，在离开“三礼馆”后更倾心于《礼记》一经的搜讨和编纂，晚年撰成《续礼记集说》一百卷。干隆三十年（1765年），干隆帝南巡，杭世骏前往接驾。干隆帝问他：性情改了没？杭世骏回答：“臣老矣，不能改也。”一说干隆三十八年（1773年）干隆再度南巡，惊讶杭世骏竟没死，当晚杭世骏去世。
着作.工书法，善写梅竹，诗与厉鹗齐名。晚年曾主讲广东粤秀书院、扬州安定