61年）2月19日于远江国井伊谷（现在静冈县滨松市北区引佐町井伊谷）出生，幼名虎松。井伊氏先祖代代都是井伊谷的国人领主，当时的井伊家当主井伊直盛（直政的堂伯父）仕于今川义元，但在桶狭间之战阵亡。父亲井伊直亲在永禄5年（1562年）因为遭诬陷涉嫌暗杀主君今川氏真关系，被氏真下令处死，失去了井伊谷的领地。当时虎松才2歳，当主由直亲的未婚妻祐圆尼担任（即井伊直虎）。后来生母改嫁给松下清景，跟着改名为「松下虎松」。不久生母逃到三河国，由于受到今川氏追杀，曾于三河及远江两地四处移居。1575年德川家康在松下城猎鹰遇上