后迁为宋州刺史。杨素为隋炀帝猜忌的时候杨玄感曾经去职，父死之后复任鸿胪卿，继承其父之楚国公爵位，之后更升任礼部尚书。可是见疑于炀帝，故阴谋拥立秦王杨浩。因隋炀帝逼死杨素，后来又对人说过要把杨素一家灭族，官为礼部尚书的杨玄感内心不安，于是开始策划谋反。大业九年（613）春，隋炀帝第二次出征高句丽，命杨玄感在黎阳（今河南浚县东北）督粮。此时民变已经陆续爆发，杨玄感认为机不可失，遂滞留粮草，并于同年六月初率兵割据城池。又伪报辽东的水军总管来护儿谋反，屯兵于黎阳。杨玄感的故交李密自长安率兵至黎阳，成为玄感谋