一族被逼离开根据地木曾谷。这次转封令义昌受到极大的精神及经济压力，最终于文禄4年（1595年）于当地失意病逝，终年55岁。义昌死后由长子木曾义利继任为木曾氏第19任当家。义昌的葬礼以海葬形式于椿海进行，坟墓则设于城下由义昌奠基的东渐寺（原名东禅寺）。宽文11年（1671年），义昌下葬的椿海被围垦，所得土地当时被用作农耕之用，现时部分已被改建为「木曾义昌公歴史公园」作为纪念。
死后的木曾家.义昌死后，继承的义利因为杀害叔父上松义丰等多宗暴行，最终于庆长5年（1600年）被改封及流