瑞贵人家族先世原居黑龙江弗阿辣地方，此时其家族可能以地名为姓，姓弗阿辣氏。因为受到仇家的迫害，便迁居至索绰络地方，改姓索绰络氏，并且在天命年间归顺努尔哈赤。因为瑞贵人的烈祖父黑勒「弱龄奉母入燕京」，投亲于姑丈睿忠亲王长史巴拜处，所以家族原先隶属睿忠亲王多尔衮府籍，后来才归入内务府，隶正白旗。瑞贵人的天祖父布舒库为内务府皮库六品司库，后升为骁骑校，曾随将军亲王征西，将军亲王到访张允中家中时，择其女配予布舒库，张氏到京不到数月，清语纯熟，有满洲古风。瑞贵人的高祖父都图曾为康熙帝御前亲随，官至领署总管内务府大臣，