杜英武的崛起便是完全接收了这些家族势力而来。杜英武年少时便凭着才貌而获君主赏识。八岁时的他长得「肌肤莹凈，状貌瓌奇」，而且「善飞鸢之伎，能秦青之音（指他善于歌唱）」，李仁宗皇帝选他入宫为「上林弟子」。杜英武长大后还通晓多方面技能，碑铭文献记述「至如书数射御、药石、经脉，无所不通。阴阳、兵法、橒蒲、博奕，无所不究」。日后的李神宗皇帝亦对英武委以重任。天符庆寿丁未岁农历十二月（1128年西历1月至2月间），神宗继位，任命杜英武管理宫中事务，「腋庭阃内之政，百工制作之事，帝悉委之」。杜英武乃逐步成为朝中要人。