二次国共内战时期，历任中共晋察冀中央局和中共中央华北局常委、社会部部长、华北人民政府公安部部长等职。1949年1月15日天津被共军占领，任中共中央政法委员会委员、中共天津市委常委、天津市副市长兼公安局局长。1952年1月后，任中央公安部副部长、华东军政委员会公安部部长兼上海市公安局局长、中共中央华东局常委、中共上海市委常委、副市长、政法部部长、上海市人民检察署检察长、上海警备区政委。1956年，任中共上海市委书记处书记，分管政法、党群、外事等工作。外交部长陈毅向中央举荐，1959年接替柯柏年担任中华人民