豪。父亲是三井乘纲。曾自称爱智氏。出身是藤原姓，江户时代的豪商三井家和江户时代的大名家（）等的近亲。
生平.在永正13年（1516年）出生，家中次男，父亲乘纲是近江城主。在年轻时就离开近江，并仕于武田氏，因为才能而受到主君武田信虎宠爱，被信虎下赐偏讳（「虎」字），不过因故而离开武田家（一説指是因为年轻，加上不是甲斐国出身，于是受到同僚妒忌）。返回近江后，成为藤堂忠高的婿养子。藤堂家是当地有力土豪，不过在虎高一代，已经没落至只支配犬上郡数村的程度。之后仕于，后来仕于浅井家。长