苏北部的城乡深深的扎根。但艰苦的条件使得他接连有三个孩子都夭折了，唯一长大的女儿赛珍珠出生在美国，4个月时就回到中国。后来，赛兆祥调往镇江，创办了男子学校（润州中学）。1897年1月14日，赛兆祥为家人的健康考虑，在风景优美、气候宜人的江西庐山山顶的牯岭买下了86号A的土地，面积有1727平方米，那时牯岭刚刚开发，他建造了一个小型的石头避暑别墅，每年夏天，赛兆祥一家人都在山上度过。赛珍珠后来到美国求学，1914年又回到中国，先后在镇江的崇实女中和南京的金陵大学教书，1917年嫁给金陵大学的农业经济学美籍