被追究。之后，升爲礼部左侍郎，仍视鸿胪事。正统十四年（1449年），跟随明英宗北征，在土木之变后逃亡回京。也先围攻顺天府时，他担任左副都御史，与都督王通提督京城守备。北京保卫战结束后，进右都御史，仍然掌管鸿胪寺事。英宗被瓦剌太师也先俘虏后，于谦等人拥立了景帝，尊英宗为太上皇。景泰元年，群臣在朝房相贺新年，唯独杨善落泪道：「太上皇在甚么地方？而我们自己在贺年啊！」群臣惭愧，纷纷停止庆贺。同年夏，李实、罗绮出使瓦剌，商议罢兵事情，他们尚未归来时，也先使者已经到达，并称朝廷遣使到阿剌知院，而不遣大臣报可汗及太