谣言说自己得到中国共产党的允许，调他回到北京，但是空欢喜一场，杨绛很后悔在英国留学之后回到中华民国，后来又留在中华人民共和国，结果女婿在文化大革命初期因不堪受辱而自杀，自己和钱锺书又被下放，而钱锺书心甘情愿回到故国，说“衣带渐宽终不悔，为伊消得人憔悴”（北宋柳永的词）。