文22年（1553年），因为日莲宗信徒（属于法华宗派系）与净土宗信徒的纷争（虎胤是法华宗信徒），当时信玄希望虎胤能改为净土宗，但虎胤不肯，因此有一段时间被流放，之后前往相模国依附北条氏，在善德寺会盟之际归返，在回归之际，北条氏康对虎胤的回归感到相当惋惜。永禄2年（1559年），信玄剃发，于是一同剃发并自号清岩。永禄4年（1561年），在攻略信浓割岳城时受伤，没有参与同年的第4次川中岛之战。在永禄7年（1564年）1月28日病死。享年68岁。