世在御前力辞大将军职衔，但仍被任命为大司马车骑将军，不久又改任大司马卫将军，领尚书事，集军政大权于一身，以为官廉洁着称。地节四年(前66年)，宣帝族灭霍家，但赦免了嫁入霍家的张安世孙女张敬。张安世在宣帝一朝处事极为谨慎，最后平安告老。其曾孙张临，尚敬武公主，生子张放。2007年，其墓地在西安南郊凤栖原被发现，其墓葬级别非常高，与周围张氏家族后代的墓地形成一个佔地广大的家族墓地群。出土的“张”字铜印和“卫将长史”封泥，断定大墓主人就是张安世。因为根据史书记载，西汉姓张的卫将军唯有张安世一人。