体貌伟岸，蓄有美髯，爱好读书，武力过人且擅长骑射。因其父杨素的军功而获得柱国之位，先任郢州刺史，其后迁为宋州刺史。杨素为隋炀帝猜忌的时候杨玄感曾经去职，父死之后复任鸿胪卿，继承其父之楚国公爵位，之后更升任礼部尚书。可是见疑于炀帝，故阴谋拥立秦王杨浩。因隋炀帝逼死杨素，后来又对人说过要把杨素一家灭族，官为礼部尚书的杨玄感内心不安，于是开始策划谋反。大业九年（613）春，隋炀帝第二次出征高句丽，命杨玄感在黎阳（今河南浚县东北）督粮。此时民变已经陆续爆发，杨玄感认为机不可失，遂滞留粮草，并于同年六月初率兵割据