961年，兼任改造右派分子工作领导小组成员，1962年该领导小组因给右派分子摘帽面过大而受到中共中央批评。1965年任公安部党组成员、副部长。文革爆发后，公安部被指责有一个“以罗瑞卿为首的地下黑公安部”。1966年6月5日，公安部党组副书记、副部长徐子荣，党组成员、副部长刘复之、凌云，政治部主任尹肇之等人被先后宣布边工作边审查。8月后，调沈阳军区副政委李震、二十一军政委施义之等人前来领导公安部的“文化大革命”，接着又调来41名军队干部对公安部实施没宣布军管的“军管”。12月12日，中共中央批准将徐子荣撤