时平北齐，封成安县公。在灭陈朝之战中，作战长江中游，以功领荆州（今湖北江陵）总管，进爵郢国公（后改越国公），开皇九年（589年）六月入朝纳言，后转内史令。开皇十九年（599年），大败西突厥；仁寿二年（602年），又率兵大败东突厥执失思力俟斤于云内（今山西大同）。一般相信杨素曾在杨广夺位时参与其事。大业元年（605年）为尚书令，与西京大兴城建筑总设计人宇文恺等奉诏营建东都洛阳城。次年又进位司徒，改封楚国公，因功高震主受杨广所忌，同年抑郁病死。一说其与患病的太子杨昭一同侍宴，炀帝敬杨素毒酒，传酒人不知情将毒