巴拜处，所以家族原先隶属睿忠亲王多尔衮府籍，后来才归入内务府，隶正白旗。瑞贵人的天祖父布舒库为内务府皮库六品司库，后升为骁骑校，曾随将军亲王征西，将军亲王到访张允中家中时，择其女配予布舒库，张氏到京不到数月，清语纯熟，有满洲古风。瑞贵人的高祖父都图曾为康熙帝御前亲随，官至领署总管内务府大臣，因身健如石被康熙帝赐汉姓「石」。瑞贵人的曾祖父石锜为太学生，祖父明德因疮疾跛左足，未仕，父亲德保曾任广东巡抚、总管内务府大臣、江南河道总督、浙闽总督、礼部尚书等职。