父・長時の時代に甲斐国の武田晴信（信玄）が信濃侵攻を開始し、長時は小県郡の村上義清らと共に武田氏に対抗するが、天文17年（1548年）の塩尻峠の戦いにおいて敗退すると、以後、諸国を放浪した。
父亲长时是信浓国守护，在甲斐国的武田晴信开始侵攻信浓时，长时与小县郡的村上义清等人一同对抗武田氏，不过在天文17年（1548年）的盐尻峠之战中败退，此后，在诸国流浪。