玄感造反，杨玄感的弟弟杨玄纵从隋炀帝的所在逃出投奔其兄长杨玄感，路上遇到杨綝。杨綝避开别人和他交谈了很久，已经分别又会来相见好几次。司隶刺史刘休文于是上奏。当时杨綝兄长吏部侍郎杨恭仁率兵在外，隋炀帝扣押了这份奏章，没有发布。杨綝忧虑恐惧，发病而亡。其子杨思俭、杨思约、杨思礼。