十七年（1644年）甲申之变，明朝灭亡，清兵入关后，短暂出仕弘光帝朝廷，任詹事府少詹事，不久请假归乡。清顺治二年（1645年），清军南下，吴伟业携家眷逃难，先后投奔到同宗繇青房及公益兄弟家，之后再逃往矾清湖亲戚家，隐居不出。顺治九年（1652年），两江总督马国柱向朝廷举荐任官，吴伟业得知后致信马国柱，以身体有疾为由拒绝了。但弘文院大学士陈名夏、亲家礼部尚书陈之遴仍极力劝说出仕。十年（1653年），吏部左侍郎孙承泽再次向顺治帝举荐，称吴伟业为东南最有才能名士之一，吴伟业表面上不置可否，实际表明了如果清政府