幼随父亲在江苏句容县读书，“读书过目不忘”，刻苦自励，好友许瀚称他“有晋人风度，而不以书名，亦奇事也”，尝“拥籍数万卷，手翻不辍，辍已成诵，地人名、事蹟本末，见某庋某册某篇行，语辄中”，可谓学问渊博，十八岁开始着述，二十岁撰写《唐律疏义跋》。北上兖州谒孙星衍，声名大起，科考屡试不中，举债度日，替人编书校书为生，曾为彭元瑞、刘凤浩撰辑《五代史记补注》，为黟县知县吴甸华编纂《黟县志》，林则徐聘其编纂《两湖通志》。遍游全国各地，“足迹半天下”。道光元年（1821年）中举人。道光十九年，江苏学政祁寯藻聘其主讲于惜阴