音乐制度，论者多畏惧苏威权势，附和苏夔意见。何妥上奏苏威与卢恺、薛道衡、王弘、李同和为朋党，苏威被免官，一年后，复官爵，为纳言。601年，再任尚书右仆射。隋炀帝即位，加苏威大将军。607年，高颎、贺若弼被诛杀，苏威连座免官。不久，再为纳言，与宇文述、裴矩、裴蕴、虞世基参与朝政，人称五贵。612年，炀帝起兵远征高句丽，苏威兼务左武卫大将军、光禄大夫，爵位进宁陵侯、房公。苏威以年请求致仕，隋炀帝不许，翌年，再征高句丽，苏威兼右御卫大将军。度重的劳役使高句丽远征失败，杨玄感等人在各地相次反乱，天下开始大乱