2002年12月转正中共邳州市委书记。2006年1月到2014年9月，李连玉调任徐州市工作，曾担任徐州市人民政府副市长、徐州市人民政府党组成员，主持了对口援疆伊犁州的建设工作。2014年9月月底，李连玉被免职。2014年11月15日，李连玉接受中纪委调查。