都是井伊谷的国人领主，当时的井伊家当主井伊直盛（直政的堂伯父）仕于今川义元，但在桶狭间之战阵亡。父亲井伊直亲在永禄5年（1562年）因为遭诬陷涉嫌暗杀主君今川氏真关系，被氏真下令处死，失去了井伊谷的领地。当时虎松才2歳，当主由直亲的未婚妻祐圆尼担任（即井伊直虎）。后来生母改嫁给松下清景，跟着改名为「松下虎松」。不久生母逃到三河国，由于受到今川氏追杀，曾于三河及远江两地四处移居。1575年德川家康在松下城猎鹰遇上了虎松，虎松求仕家康，获家康接纳为小姓，获得井伊谷的领地，姓氏改回井伊氏，幼名改为「万千代」。