家与熊本藩加藤家发生家内骚动时，高虎都奉命派出家臣前往当地，代理藩主处理事务（高虎过世后，这三家先后受到没收领地的改易处分）。与加藤嘉明在朝鲜战役时是竞争功劳的对手，彼此关系不佳。日后，1627年会津蒲生家因为嗣子断绝被移封时，德川秀忠想请高虎出任会津藩藩主，但高虎以年老的理由推辞。秀忠再问「那么和泉（高虎当时的官位和泉守）有觉得适当的人选吗？」，高虎回答「伊予的加藤侍从（嘉明）」（当时高虎的津藩石高是30万石，加藤嘉明如果转封会津，石高将从伊予松山的20万石提升到比高虎更高的40万石）。秀忠惊讶之下问