，母亲是胡秀馨(1810年5月15日-1860年7月30日)，有一位哥哥倪韫宗(1838年4月25日-1900年10月5日)。倪氏在当地是个世家望族，先世从安徽迁居余姚，形成倪姓村落，位于余姚县城区北城。清朝咸丰九年（1859年），英国传教士岳斐和美国传教士蔺显理在余姚传播基督教，受此影响，倪家世代男丁都有成为基督教传教士。倪韫山娶上海徐氏为妻。倪徐氏是明朝礼部尚书，圣教三柱石之一的徐光启的后人，十七代孙女（一说十六代）。倪韫山是圣公会信徒（Episcopalian），是上海伦敦会天安堂牧师，