7月，李连玉调任丰县，曾担任城建局文书、秘书、团委副书记、人秘股副股长。1988年7月到1995年5月，李连玉一直任职于中共丰县县委组织部，曾担任部务委员、组织科科长、组织部副部长、组织员办主任。1995年5月到1997年12月，李连玉担任丰县大沙河镇党委书记、大沙河果园总场主任。1997年12月到2000年12月，李连玉陆续出任中共丰县县委常委、组织部长、丰县人民政府副县长、县政府党组成员。2000年12月到2006年1月，李连玉在邳州市工作，曾担任中共邳州市委副书记、邳州市人民政府代市长