利除弊，惩治恶徒与奸吏。法庭没有延滞的诉讼案件、监狱没有滞留的囚犯，治理情形在当时最受称道。十年（1805年），陞江西饶州府军捕同知。随后历署饶州府知府、赣州府知府、袁州府知府。
初试河务.嘉庆十三年（1808年），擢江苏镇江府知府。丹阳县练湖常有水患，黎世序建大闸三座，便利航船通行、减少水患。竣工后，黎世序整理旧籍《湖漕成案》、《练湖考》、《练湖歌叙录》诸书，主编《练湖志》十卷。在任三年，尽心治理农田、水运。期间权署常镇道。十六年（1811年）二月，陞淮海道，加按察使衔。