到长安后，杨坚让他带领杨氏族兵三千人镇守潼关，不久授司会中大夫。581年，杨坚即位为皇帝，杨尚希升任度支尚书，进爵位为高都县公。一年后，外任为河南道行台兵部尚书，加银青光禄大夫。他认为天下设置的州郡过多，上表请求合并裁减。皇帝接受了他的表章，将全国的郡改为州，不久任命他为瀛州刺史。还未上任，又派遣他巡视淮南。回京后，任兵部尚书，不久，改任礼部尚书，授勋上仪同。杨尚希作为隋朝宗室族人，生性弘厚，甚有雅望，朝廷很看重他。杨坚作为开国皇帝，辛勤大小朝政，日夜不倦。杨尚希谏议皇帝捉大放小，将繁碎之务交给宰辅