祖父（井伊氏第20代当主）直平担任后见人，但在同年直平受今川氏之命前往出征天野景泰、元景父子时，于八代山城（社山城）战死，虎松之后见人故由直盛的女儿直虎担任。嫡男虎松后来仕于德川氏并接下井伊氏当主，元服后名为井伊直政，成为德川四天王之一。相传是吹笛名手，在幼年逃亡时曾受到僧人援助，于是寄进爱用的笛子「青叶之笛」（）。