亲之子虎松（后来的井伊直政），永禄8年（1565年）身为龙潭寺住持的叔祖父南溪瑞闻推举次郎法师担任后见人，同时改名为「直虎」，并以「女地头」（女领主）之名作为称唿，成为为井伊氏实际的家督。永禄11年（1568年），家老小野道好夺得井伊谷城。之后在井伊谷三人众（近藤康用、铃木重时、菅沼忠久）投靠德川家康后并获得帮助，直虎夺回井伊谷城；元龟3年（1572年）又因为武田氏攻入，井伊谷城再遭武田氏家臣山县昌景佔领，直到隔年因武田信玄病倒撤军后直虎才再度取回井伊谷城。天正10年8月26日（1582年9月12日