田孝高、加藤清正同为筑城名人。
生涯.祖父是近江鲶江城主三井乘纲，本家在江户时代形成三井财阀，父亲为次男离开近江至甲斐武田氏处出仕，获赐「虎」字，近江归国后娶犬上郡支配数村的有力土豪藤堂忠高的女儿并成为婿养子，先后侍奉京极家与浅井家，高虎于1569年镇压北近江东一揆暴动，偷偷跟随兄长出阵成为他的初阵，于劣势中以自制的刀及竹枪于厕所巧遇敌军取得了骑马一揆众的首级，获得浅井长政赏赐备前兼光刀及黄金一枚。后于1570年以武家奉公人的身分跟随浅井长政参与姉川之战，由于斩下了敌军的数个头颅，