1年，卡罗琳在镇江逝世，葬于镇江洋人公墓，于是赛兆祥调任南京，任教于神学院，与女儿赛珍珠同住，在1927年南京事件中化险为夷。1897年1月14日，赛兆祥在江西庐山山顶牯岭买下了86A土地，面积有1727平方米，建造了一个小型的石头别墅，即今中四路310号别墅。别墅140平方米，红色屋顶，带敞开式的外廊和传统式的老虎窗。1931年8月31日，赛兆祥在牯岭别墅去世，葬在山上。1936年赛珍珠将别墅转售他人。