诏营建东都洛阳城。次年又进位司徒，改封楚国公，因功高震主受杨广所忌，同年抑郁病死。一说其与患病的太子杨昭一同侍宴，炀帝敬杨素毒酒，传酒人不知情将毒酒给杨昭喝下，三天后毒发，宫人才知道，杨昭也感慨自己代杨素而死都是命运，数日后卒，而杨素最终也被毒死。其子杨玄感后来反叛隋朝。
逸话.杨素除了具有突出的军事才能外，在文学、书法上亦均有造诣。史书称其「研精不倦，多所通涉。善属文，工草隶，颇留意于风角。美须髯，有英杰之表」。杨素幼时即説过「但恐富贵来逼我，我不求富贵」的话。后来富贵，结党