，谢在反右运动中因提了“中南海应向老百姓开放”的意见被打为右派，流放黑龙江省，次年在周恩来等人的营救下回到北京。1967年，谢在文化大革命中再次被逮捕，受王莹牵连遭到迫害。1974年获知王莹被迫害致死消息而精神失常，1975年在周恩来的营救下出狱。后在外交部工作。
家庭.谢和赓第一位妻子是白崇禧夫人马佩璋唯一的表妹杜璇，二人生子谢镛。谢和赓第二位妻子是演员、作家王莹。两人于1930年代相识相恋，当时谢和赓已婚，王莹也有同居男友。1942年谢和赓将妻儿抛弃，带着王莹一同赴美同居。19