服丧。少时由三兄吕愿良夫妇照顾，后来三嫂去世，便过继给了堂叔吕元启为嗣。但在十五岁前，吕留良的生父、生母、嗣父、嗣母相继去世，「未尝脱衰绖」。年轻时，吕留良师从徐甘来学习四书，读过朱熹的《四书集註》便笃信不疑。博学多艺，有二十四绝技，又有嗜砚之癖，黄宗羲曾赠给他一方八角砚。崇祯十七年（1644年）甲申之变发生，吕留良得知之后哭声震天、悲痛欲绝，有人劝他何必如此自苦，吕留良回答说「今日天崩地坼，神人共愤，君何出此言也」。并且从此鄙薄诗词歌赋，将从前的作品一併烧毁，「以遂其志义」。