しかし天和2年(1682年)12月28日、天和の大火(いわゆる八百屋お七の火事)で庵を焼失し、甲斐谷村藩(山梨県都留市)の国家老高山繁文(通称・伝右衝門)に招かれ流寓した。