天祖的弟弟孙序贤（1820年），刑部云南司员外郎，其子孙观在（1847年），任直隶布政使。自孙观起，孙家与淮军关系密切。高祖孙恒是太学生。曾祖孙明诗是贡生。祖父孙炳焱是邑庠生（秀才），授七品文林郎。1853年太平军躆守三河镇，祖父孙炳焱往南18公里移居庐江县北金牛镇，盖仿徽宅，然而族人仍居三河镇做生意。1869年父亲孙熙泽生于金牛镇，举人，受淮军势力支持，官至济南商埠地方审判厅厅长、山东高等审判厅厅长。父亲的亲兄（后来出继）孙浤泽（1880年），广西贺县县令，被上司奏劾夺官，淮军将领、台湾巡抚刘铭传急电召孙