恽失势家居，以豪奢自娱。安定郡太守孙会宗，写信给杨恽，告诉他“大臣废退，当阖门惶惧”。杨恽复书《》，信中多牢骚不平之语。不久，杨贲之子杨谭劝杨恽应耐心等候，朝廷或许将再次任用，杨恽有怨言，被马吏（管理马厩的官吏）成听说，成上书密告杨恽骄奢。汉宣帝派遣廷尉按验《报孙会宗书》，以大逆不道的罪名处以腰斩。其妻子流放到酒泉郡。