曾在上海家中接受采访，驳斥梁家麟的《倪柝声的荣辱升黜》一书。妻姐徐凤翔（1900年-2001年），是地方教会中的一位女同工，曾长期在上海、台北和西雅图侍奉；妻妹徐恩秀嫁给倪柝声的五弟倪兴祖，在美国加利福尼亚州帕萨迪纳定居。内侄徐祥生（徐腓利）则是殉道者张愚之的三女儿张向晨的丈夫。倪怀祖夫妇和倪柝声夫妇一同安葬在江苏省苏州市香山公墓。