会上，当选为中共中央委员，11月被任命为中共中央组织部部长。1966年文化大革命爆发，中共中央组织部受到冲击，安子文被免职。1968年1月，因为“六十一人叛徒集团案”，安子文被捕入狱，门牙都被打落。1975年5月，被下放到安徽淮南。1978年12月，获得平反。1979年1月出任中共中央党校副校长、全国人大常委会法制委员会副主任，9月被增选中共中央委员。1980年6月25日，安子文因病在北京逝世，享年71岁。
家族.夫人刘竞雄共有一女二子：二弟之子安鲛驹，曾任中国人民武装警察部队