高階栄子
高階栄子の伯母にあたる若狭局は、後白河天皇女御・建春門院平滋子の乳母であった。彼女は平滋子が女御となった時以来正式に内裏女房となっており、滋子崩御ののちでもなお、「東宮・安徳(滋子の孫)の乳母の如し、執権の人なり」といわれるほど権勢の地位にあった。また、若狭局と同じく高階栄子の伯母の大和、肥後、肥後の娘の三河(建春門院の寵愛を受けた)、栄子の姉の周防、従姉妹の武蔵、武蔵の娘の常陸、和泉、伊賀の少なくとも8人が建春門院付きの女房であった。
作家・杉本苑子は、若狭局の母である栄子の祖母は平氏の出であって、その縁で滋子の乳母となったのではないかと推量している。また、栄子自身このつながりから天皇ないし女御・滋子に早くから仕え、その美貌と聡明な立ち居振る舞いによって、法皇に少なからず関心を抱かれていたのでは、と推測している。