父亲直盛因为无儿子，因此计画将直盛之堂弟井伊直亲（直盛的叔父井伊直满的儿子）作为自己的婿养子，与直亲订下婚约。但天文13年（1544年），因为井伊氏家老小野道高（政直）的密告，直满及其弟弟被怀疑意图谋反而被今川义元下令自杀，直亲也因此逃亡到与井伊氏菩提寺龙泰寺（后来的）有渊源的信浓国松源寺。为了守住直亲逃亡的秘密，井伊氏决定让其于龙泰寺出家，名为「次郎法师」。直亲直到道高死后的两年才在弘治元年（1555年）回到井伊家，并迎娶井伊氏家臣之女为正室。永禄3年（1560年）5月，次郎法师之父直盛在桶狭