1929年在上海成立的“我们的话”派，这时杜畏之和陈尚友都已回国。后来陈伯达看到这些材料很感激杜畏之。1972年10月，根据毛泽东提议，释放全部在押的托派，杜畏之从秦城监狱获释。1976年恢复公民权。但此后杜畏之仍是公安机关档案中的“四类分子”，上海市公安局经常派人到他家查问。1986年10月，乌兰夫（中华人民共和国副主席）、伍修权在北京人民大会堂会见了来探访亲友的美籍华人高素明、罗南英夫妇。他们四人都是莫斯科中山大学的学生。高素明在会见中介绍了在上海探望杜畏之的情况，并且转交了杜畏之致乌兰夫的信。