1952年1月后，任中央公安部副部长、华东军政委员会公安部部长兼上海市公安局局长、中共中央华东局常委、中共上海市委常委、副市长、政法部部长、上海市人民检察署检察长、上海警备区政委。1956年，任中共上海市委书记处书记，分管政法、党群、外事等工作。外交部长陈毅向中央举荐，1959年接替柯柏年担任中华人民共和国驻罗马尼亚大使。1964年4月，由刘放接任。1965年8月任中华人民共和国驻阿尔巴尼亚大使。1966年5月，许建国陪同阿尔巴尼亚部长会议主席谢胡到中国进行访问后，就留在国内参加“文化大革命”。文化大革命中