1648年），吕留良结束流亡生活回到崇德，但内心处于极度苦闷之中。顺治八年（永历五年，1651年）前后，三兄吕愿良和知交孙爽先后去世，吕留良「落魄不自振」。顺治十年（永历七年，1653年），易名为吕光轮参加科举考试成为诸生，「每试辄冠军」，以至于后来曾静案时雍正皇帝说他「岁科屡试，以其浮薄之才，每居高等，盗窃虚名，夸荣乡里」。而在后来，吕留良为了这次出试的经历后悔半生，屡以「失脚」作为譬喻。此后以行医、出版为生，浪迹于江浙之间。与此同时，和江南的明遗民有颇多来往，与钱谦益、黄宗羲、黄宗炎、朱洪彝等人熟识