表示，他十六七岁读到吕留良、曾静一案时「怅然不怡」，滋生「春秋贱夷狄之旨」，后来担任东三省筹边使时还专程到齐齐哈尔祭奠吕留良。辛亥革命胜利后，浙江都督汤寿潜将杭州西湖的彭公祠改为三贤祠，专祀吕留良及张煌言、黄宗羲。
家庭.长子吕葆中，名公忠，字无党，号冰葭，早先师从黄宗羲。吕留良反对儿子出仕，曾告诫他「父为隐者，子为新贵，谁能不嗤鄙」。不过，吕公忠在吕留良去世之后还是出仕，康熙二十六年（1687年）纳监入场，康熙三十五年（1695年）乡试终局，康熙四十五年（1706年）榜眼及第。