诬陷涉嫌暗杀主君今川氏真关系，被氏真下令处死，失去了井伊谷的领地。当时虎松才2歳，当主由直亲的未婚妻祐圆尼担任（即井伊直虎）。后来生母改嫁给松下清景，跟着改名为「松下虎松」。不久生母逃到三河国，由于受到今川氏追杀，曾于三河及远江两地四处移居。1575年德川家康在松下城猎鹰遇上了虎松，虎松求仕家康，获家康接纳为小姓，获得井伊谷的领地，姓氏改回井伊氏，幼名改为「万千代」。
德川家家臣.万千代开始在德川家的舞台开始活跃，初次上战场是高天神城之战，后来立下了不少战功，更担任了家康的旗本手先