遠山綱景
永正10年(1513年)頃、北条氏の重臣・遠山直景の子(長男とも)として誕生。主君の北条氏綱から偏諱(綱の一字)を賜い、綱景と名乗る。
天文2年(1533年)に父が死去すると、家督を継ぐとともに、父に引き続き江戸城代となった。なお、江戸城代は3人置かれており、本丸には富永氏、三の丸には太田氏が寄っており、遠山氏は二の丸にあった。そのため、本丸の富永を城代の首席であるとする見方があるが、同時代の資料(宗牧の記述)によれば、遠山氏を城代として重きを置いているという。
天文13年(1544年)に連歌師の宗牧を呼び、連歌の会を催したことが記録に残っている。当時の関東は田舎であり、文化の中心地である京とはかけ離れた土地であったが、そのようなところで連歌の会を開いたことは、綱景の教養の高さや連歌師を呼べるだけの北条家中における地位を端的に表している。また、永禄元年(1558年)の古河公方足利義氏の小田原城訪問時には、北条氏の5宿老として松田盛秀(憲秀の父)・遠山綱景・笠原綱信・清水康英・石巻家貞が義氏に拝礼を行っている。