到武德四年三月的时候，由于刘世让先行攻破窦建德所属黄州，洺州被经过警讯的窦建德加固防御。于是刘世让无法短时间内突破洺州城，不久后也因突厥来寇被李渊召回。他在雁门戍守期间有一次突厥叩关，突厥方让李唐遣使郑元璹试图说服刘世让但是被刘世让强硬反对。随后颉利与高开道、苑君璋一同来武力扣关，经月余也无法攻破，不得不撤退。郑元璹回朝后禀报李渊说刘世让忠贞勇干李渊特意下制夸奖，还送了刘世让一匹马，六月时便召刘世让为广州总管，召见他垂问边防要策，刘世让回答说：“突厥数次入寇，最好用马邑作为后勤基地，随时可以让唐军补充军粮；