1535年，幼名龟之丞，父亲是井伊氏第20代当主之次子井伊直满，侍于今川氏；天文13年12月23日（1545年2月4日），父亲直满因为小野道高的密告而被今川义元杀害。因此亦遭到今川氏之追杀的龟之丞，在家臣协同之下从井伊谷城出奔，并靠祖父直平招聘的井伊氏菩提寺住持文叔瑞郁法师的关系所托，逃到了武田氏势力范围内的信浓国松源寺。有说法称直亲流亡松源寺期间与盐泽氏之女生下一男吉直和一女。小野道高于天文23年8月27日（1554年10月3日）病死后，直亲于1555年返回井伊谷，与家臣之女结婚，并生下一子虎松（后来