下4个儿子。而勇丸则成为养子并改名为大道寺隼人直英。大道寺政繁的四男大道寺直次在一时间改名为远山长右卫门，不过领受旗本千石后复姓。在纲景和嫡男隼人佐被讨死后，远山氏由出家的三男远山政景还俗并继承。而弟弟远山康光和直次父子前往越后国投靠上杉景虎后，在御馆之乱中父子一同被杀害。