子有远山隼人佐、远山政景、法性院。官位是甲斐守、丹波守。名字中的「纲」字是由北条氏纲所赐的一字。在『小田原衆所领役帐』中，纲景被列为江户众笔头，成为相模西郡松田和曾比乡、相模中郡金目乡等约963贯（合计武藏葛饰郡为1242贯）的知行。而女儿法性院被北条氏康收为养女，后来嫁给太田康资。
生平.天文2年（1533年），因为父亲直景死去而继任家督并承继江户城城代的身份。而江户城代由3个人担任，本丸是富永氏、三之丸是太田氏，远山氏是负责二之丸。因此本丸的富永被认为是地位最高的城代，但是