天文22年（1553年）、宗旨問題（虎胤は浄土宗信者であった）で信玄に日蓮宗に改宗するように迫られて拒絶したため、一時期甲斐を追放され、相模北条氏に身を寄せ善得寺の会盟の際に帰参。
天文22年（1553年），因为日莲宗信徒（属于法华宗派系）与净土宗信徒的纷争（虎胤是法华宗信徒），当时信玄希望虎胤能改为净土宗，但虎胤不肯，因此有一段时间被流放，之后前往相模国依附北条氏，在善德寺会盟之际归返，在回归之际，北条氏康对虎胤的回归感到相当惋惜。