1995年5月到1997年12月，李连玉担任丰县大沙河镇党委书记、大沙河果园总场主任。1997年12月到2000年12月，李连玉陆续出任中共丰县县委常委、组织部长、丰县人民政府副县长、县政府党组成员。2000年12月到2006年1月，李连玉在邳州市工作，曾担任中共邳州市委副书记、邳州市人民政府代市长、邳州市人民政府党组书记，2002年12月转正中共邳州市委书记。2006年1月到2014年9月，李连玉调任徐州市工作，曾担任徐州市人民政府副市长、徐州市人民政府党组成员，主持了对口援疆伊犁州的建设工