奔鄄城（今山东鄄城），更被翟辽追擒，正式据黎阳叛晋。当时晋豫州刺史朱序派秦膺及童斌连同淮泗诸郡共同讨伐，但未能讨平。不久泰山太守张愿也叛归翟辽。后翟辽屡度侵扰东晋。387年，燕魏郡太守齐涉叛燕，张愿当时与齐涉联结，并招翟辽。后燕出兵击退张愿，杀齐涉。后燕帝慕容垂见此，认为翟辽反覆于三个国家之间，不能不讨伐, 于是亲征黎阳。当时慕容垂派了慕容楷为前锋都督，翟辽部众皆燕、赵一带来的人，知慕容楷来都相继归附，翟辽恐惧之下遣使请降。翟辽于是被后燕任命为徐州牧，封河南公。惟不久翟辽复叛，抢掠清河及平原二郡。次