于是开始策划谋反。大业九年（613）春，隋炀帝第二次出征高句丽，命杨玄感在黎阳（今河南浚县东北）督粮。此时民变已经陆续爆发，杨玄感认为机不可失，遂滞留粮草，并于同年六月初率兵割据城池。又伪报辽东的水军总管来护儿谋反，屯兵于黎阳。杨玄感的故交李密自长安率兵至黎阳，成为玄感谋士。李密认为上策是北据燕都，以断隋炀帝后路，中策是西入长安，以控制潼关（今陕西潼关东北）；下策是攻击附近的洛阳。而杨玄感选择下策，进围洛阳，久攻不克，挂念父老妻儿的隋援军到来，攻势勐烈，杨玄感军被迫西撤，一日三战三败，然后再重新对战