又率兵大败东突厥执失思力俟斤于云内（今山西大同）。一般相信杨素曾在杨广夺位时参与其事。大业元年（605年）为尚书令，与西京大兴城建筑总设计人宇文恺等奉诏营建东都洛阳城。次年又进位司徒，改封楚国公，因功高震主受杨广所忌，同年抑郁病死。一说其与患病的太子杨昭一同侍宴，炀帝敬杨素毒酒，传酒人不知情将毒酒给杨昭喝下，三天后毒发，宫人才知道，杨昭也感慨自己代杨素而死都是命运，数日后卒，而杨素最终也被毒死。其子杨玄感后来反叛隋朝。
逸话.杨素除了具有突出的军事才能外，在文学、书法上亦均有造