その後天正16年(1588年)に蒲生氏郷が松坂城を築城し始めると、その城下町である松阪に移転したと伝えられている。