登报宣布与谢离婚，谢随后与情妇王莹在美国结婚。1954年底，在麦卡锡主义风潮中被美国移民局逮捕，后被驱逐出境回国。任《世界知识》高级编辑兼欧美组组长等职。1957年，谢在反右运动中因提了“中南海应向老百姓开放”的意见被打为右派，流放黑龙江省，次年在周恩来等人的营救下回到北京。1967年，谢在文化大革命中再次被逮捕，受王莹牵连遭到迫害。1974年获知王莹被迫害致死消息而精神失常，1975年在周恩来的营救下出狱。后在外交部工作。
家庭.谢和赓第一位妻子是白崇禧夫人马佩璋唯一的表妹杜