桑弘羊也因为与内朝领袖霍光发生激烈斗争，因此加入了上官桀的反霍光集团。桑弘羊在西元前81年盐铁会议上与霍光发生政见冲突，又因为同年霍光任命自己亲信杨敞为大司农，侵入了桑弘羊独佔的财政大权，让桑弘羊愤而加入反霍光集团。于是，上官桀父子联合盖长公主、燕王刘旦以及辅政大臣桑弘羊等共同结成反对霍光的同盟，假托燕王名义趁霍光休假的时候向汉昭帝上书诬陷霍光有不臣之心，并内外接应，做好准备打算一举擒杀霍光，但时年仅十四岁的昭帝识破了他们的阴谋，不予理睬，并安抚霍光，且下令追查上书人的来历。后来汉昭帝还下令如有人上书毁