高衡(行直)には嫡男の氏貞がいるが畠山国清の失脚後に代わりに鎌倉府政所執事になっている。