之中结为夫妇。育有四个女儿：赵元任惧内一事后来还传到蒋介石的耳中。民国19、20年，改制为国立的清华大学学生代表先后驱逐了罗家伦、吴南轩两位校长，国民政府决定「另选贤能」，当时便有人提议聘请赵元任，蒋介石本来要同意，没想到吴稚晖先生一句「不如圈定杨步伟女士，反正之后终要归她管」的戏言，导致蒋介石也知道他惧内，最后另择梅贻琦担任清华大学校长。