长辈胡雪岩父亲胡鹿泉,是一个读过些书的乡村名士。兄弟胡雪岩在家中排行老三,共有五个兄弟,两个哥哥没有记载,三个弟弟分别叫胡月乔、胡秋槎、胡鹤年。妻妾胡雪岩生前妻妾众多,具体多少位没有准确数字,一般认为是13位。子女胡雪岩有三子五女,长子胡楚三19岁便早殁,次子胡缄三育有两子,三子胡品三育有四子,人丁最为兴旺。胡雪岩的小儿子胡品三喜爱丹青,颇为超脱,有花花公子之称,妻子朱太夫人书香门第,诗画文字俱佳。后代胡萼卿是胡品三的长子,在孙辈中年岁最大,因而也是胡雪岩的长孙。胡萼卿资质聪颖,中了前清的举人,在孙辈中最为风光,后来留学日本,在日本加入了孙中山的同盟会,一心想要参加革命。妻子戴泳霓是官家大小姐,虽然管理家务非常泼辣,思想却相当守旧,不仅不让胡萼卿去日本参加运动,还给后辈定下规矩:不准进洋学堂。胡雪岩的第五代孙胡筱梅曾获得陈毅市长签发的“上海市第一届优秀教师”、“上海市第一届三八红旗手”称号。