招集生徒絃诵其中，黎世序亲自讲课，见者无不惊叹，各州县闻风而起创复书院数十处。在任五年，渐次兴利除弊，惩治恶徒与奸吏。法庭没有延滞的诉讼案件、监狱没有滞留的囚犯，治理情形在当时最受称道。十年（1805年），陞江西饶州府军捕同知。随后历署饶州府知府、赣州府知府、袁州府知府。
初试河务.嘉庆十三年（1808年），擢江苏镇江府知府。丹阳县练湖常有水患，黎世序建大闸三座，便利航船通行、减少水患。竣工后，黎世序整理旧籍《湖漕成案》、《练湖考》、《练湖歌叙录》诸书，主编《练湖志》十卷。在任