永禄3年（1560年）5月，次郎法师之父直盛在桶狭间之战中战死，直亲继承家主之位，但在永禄5年（1562年）又因为（道高之子）的密告也被今川氏真所杀，井伊一族因此受到连累，在舅父（次郎法师母亲的兄长）的帮助下而获救。永禄6年（1563年），曾祖父井伊直平在进攻天野氏的犬居城的途中去世。此后井伊氏家臣新野亲矩及其重臣也受今川之命讨伐曳马城（引间城）时战死；由于此时可继承井伊的男性仅剩下年仅两岁的直亲之子虎松（后来的井伊直政），永禄8年（1565年）身为龙潭寺住持的叔祖父南溪瑞闻推举次郎法师担任后见人，同