想向现实妥协吗？」梁鸿就说：「是（想归隐）。」于是夫妇二人就一起到霸陵的深山隐居，以耕织为工作，闲时唸书、弹琴自娱。他们仰慕先世的高士，为四皓以来二十四位高士作颂。有一次梁鸿因事出东关，到京师洛阳，想起普通百姓的辛劳愁苦，悲从中来，作《五噫歌》，触怒了汉章帝，只好带着孟光逃亡。他们到了吴郡大户人家皋伯通家为仆人。虽然他们沦为奴仆，但依然谨守礼节，吃饭前，孟光总会把饭菜连着小桌举高至眉毛处，皋伯通看到了，就觉得他们应该不是普通的下人，于是以宾客之礼待之。后世就把「举案齐眉」这句成语形容夫妻相敬相爱。