与今川氏对抗，战争持续到明应、文龟、永正年间，在永正10年（1513年），远江三岳城（御狱城）被攻陷，井伊氏于是降伏并仕于今川氏。天文元年（1532年）将井伊氏始祖出生地及土地捐出，邀请黙宗瑞渊建立「龙泰寺」（后来的）。直平之子包括长男直宗、次男直满、四男、五男，原本直平已将当主之为传给长男直宗，但第21代当主直宗于天文11年（1542年）于进攻三河国时遭袭击而亡，直满和直义于天文13年（1544年）因家老小野政直之告密而遭今川义元杀害，直元于天文10年（1541年）病死。直宗之长男直盛于直宗死