伊氏于是降伏并仕于今川氏。天文元年（1532年）将井伊氏始祖出生地及土地捐出，邀请黙宗瑞渊建立「龙泰寺」（后来的）。直平之子包括长男直宗、次男直满、四男、五男，原本直平已将当主之为传给长男直宗，但第21代当主直宗于天文11年（1542年）于进攻三河国时遭袭击而亡，直满和直义于天文13年（1544年）因家老小野政直之告密而遭今川义元杀害，直元于天文10年（1541年）病死。直宗之长男直盛于直宗死后继任为第22代当主，但在永禄3年（1560年）的桶狭间之战中遭织田信长突袭而阵亡，此后当主由直满之长男