遠山直景
以降、寺社に対する朱印状が多く見られることから、北条氏家中では幕府での経験を生かして官僚的な仕事をしていたものと推定される。
大永4年(1524年)1月、二代目当主・氏綱ら北条氏は、扇谷上杉家の拠点であった武蔵江戸城を攻略すると、直景はその城代となった(ただし、城代は別の人物とする説もあり)。直景はこの地方の治世を実質的に取り仕切っていたといわれており、古河公方足利高基に宛てて北条氏は高基に敵対しない旨の起請文を掲げているが、つまり直景は古河公方という権威に対しても北条氏を代表して署名できる立場にあった、ということである。
その後も越後の守護代長尾為景の元まで家中を代表して使者として出向いたり、上杉方(後述)の長尾憲長が和睦を求めてきた折も使者として動いたりと、北条氏を代表する官僚としての行動が見られる。軍事面での目立った活動はないが、享禄2年(1529年)には秩父に出陣したといわれる。享禄3年(1530年)1月に北条氏と敵対する川越城の上杉朝興の背後を衝こうと出陣し、迎撃に出た上杉方と野戦に及び敗北。波に乗る上杉方に小沢城(現・川崎市)と世田谷城を攻略され、5日後には江戸城に攻め寄せられ設備を焼かれている。
天文2年(1533年)3月13日、死去。遠山氏の名跡、および江戸城代としての地位は綱景が継いだ。
以降、遠山氏は後北条氏家中において、御由緒家の六家および伊豆衆二十家の一つと数えられ、中でも松田氏・大道寺氏と並ぶ重きを成した(三家老家ともいわれる)。