信玄流放后，继续为信玄效力。一般被列为武田二十四将和甲阳五名臣之一（此外，他的儿子康景是甲阳五名臣之一横田高松的养子）。由于与小笠原氏交战时表现活跃，被任命为平濑城城代等，受到信玄的重用。天文22年（1553年），因为日莲宗信徒（属于法华宗派系）与净土宗信徒的纷争（虎胤是法华宗信徒），当时信玄希望虎胤能改为净土宗，但虎胤不肯，因此有一段时间被流放，之后前往相模国依附北条氏，在善德寺会盟之际归返，在回归之际，北条氏康对虎胤的回归感到相当惋惜。永禄2年（1559年），信玄剃发，于是一同剃发并自号清岩。永