而离开武田家（一説指是因为年轻，加上不是甲斐国出身，于是受到同僚妒忌）。返回近江后，成为藤堂忠高的婿养子。藤堂家是当地有力土豪，不过在虎高一代，已经没落至只支配犬上郡数村的程度。之后仕于，后来仕于浅井家。长男很早就战死，而次男高虎因为已经出人头地，把家督让予高虎后，因为记挂故乡白云山而自号白云斋。在庆长4年（1599年）于高虎的领地宇和岛城死去。享年84岁。