Tras la muerte de su madre cuando él tenía siete años, su abuelo materno, Fujiwara no Kaneie, le crio en la mansión de los Kaneie.