接连有三个孩子都夭折了，唯一长大的女儿赛珍珠出生在美国，4个月时就回到中国。后来，赛兆祥调往镇江，创办了男子学校（润州中学）。1897年1月14日，赛兆祥为家人的健康考虑，在风景优美、气候宜人的江西庐山山顶的牯岭买下了86号A的土地，面积有1727平方米，那时牯岭刚刚开发，他建造了一个小型的石头避暑别墅，每年夏天，赛兆祥一家人都在山上度过。赛珍珠后来到美国求学，1914年又回到中国，先后在镇江的崇实女中和南京的金陵大学教书，1917年嫁给金陵大学的农业经济学美籍教师约翰·洛辛·布克，还跟他到安徽宿州推广