张贺牵连；汉昭帝时，霍光灭掉其他的托孤大臣上官桀、桑弘羊与鄂邑长公主、燕王刘旦之后，任命张安世为右将军光禄勋，以辅佐有功，元凤六年(公元前75年)封富平侯。张安世坚决反对兄长张贺把女儿嫁给前太子刘据的长孙刘病已。昭帝暴亡后，霍光请求太后任命张安世为车骑将军。张安世配合霍光立、废昌邑王刘贺，改立刘病已为帝（汉宣帝）。宣帝为安抚张安世，把他的三个儿子千秋、延寿、彭祖入宫任职。霍光于地节二年(公元前68年)去世，张安世在御前力辞大将军职衔，但仍被任命为大司马车骑将军，不久又改任大司马卫将军，领尚书事，集军政大