しかし、元亀2年(1571年)8月には拠点であった真山城を毛利氏に奪われたため、出雲を退去した。