29年6月14日生于北平，中国。父亲是汉语言学之父赵元任，母亲杨步伟。赵来思儿时同家人居住在中国，因战乱时常搬迁。1938年，为躲避战乱，九岁的赵来思随家人移居美国。初到美国时赵来思不会讲英语，相较之下数学对她而言更容易。1947-1949年就读于拉德克利夫学院，后分别于1951年，1952年在加州大学伯克利分校取得数学学士与硕士学位。她父亲时任加州大学伯克利分校东亚系教授。她认识了同样在伯克利攻读数学的，两人于1957年结婚。1963年因丈夫接受了华盛顿大学的职位，搬迁至西雅图。赵来思早期在大学任数学讲师