杨师道在三观山击破突厥。加之杨恭仁是唐高祖的老友，所以唐高祖加授杨师道上仪同，为备身左右，将第五女桂阳公主嫁给了他。624年，太子李建成的部将杨文干造反，唐高祖遣左武卫将军钱九陇与灵州都督（623年，唐高祖改总管为都督）杨师道去讨伐。之后，杨师道历任吏部侍郎、太常卿，封安德郡公（杨雄曾经担任过）。贞观十年（636年），杨师道接替魏征任门下省的首长侍中，成为宰相。杨师道为人谨慎，从没有泄露过禁中语。他说：“在我年幼时曾读过《汉书》，上面说孔光不言温室之树，我非常钦佩他的风度。”退朝后，常邀请才俊之士到他家里讨