被列为江户众笔头，成为相模西郡松田和曾比乡、相模中郡金目乡等约963贯（合计武藏葛饰郡为1242贯）的知行。而女儿法性院被北条氏康收为养女，后来嫁给太田康资。
生平.天文2年（1533年），因为父亲直景死去而继任家督并承继江户城城代的身份。而江户城代由3个人担任，本丸是富永氏、三之丸是太田氏，远山氏是负责二之丸。因此本丸的富永被认为是地位最高的城代，但是在根据同时代的资料（宗牧的记述），远山氏才是最高级的城代。在天文13年（1544年）邀请连歌师宗牧参加连歌会。当时关东只有田舍