倪氏在当地是个世家望族，先世从安徽迁居余姚，形成倪姓村落，位于余姚县城区北城。清朝咸丰九年（1859年），英国传教士岳斐和美国传教士蔺显理在余姚传播基督教，受此影响，倪家世代男丁都有成为基督教传教士。倪韫山娶上海徐氏为妻。倪徐氏是明朝礼部尚书，圣教三柱石之一的徐光启的后人，十七代孙女（一说十六代）。倪韫山是圣公会信徒（Episcopalian），是上海伦敦会天安堂牧师，在会长达22年。曾在中国多地传教，祖籍遍及江苏、浙江、上海、四川等地。