後醍醐天皇の寵妃・阿野廉子(新待賢門院)の兄に当たるが、この縁によって、廉子を中心とする「隠岐閥」の要人となった。