丰臣军入侵，义昌撕毁与家康的盟约，并以次子义春为人质，臣服丰臣家。对此家康感到非常不满，亦曾为此讨伐义昌，但该战最终由木曾军获胜。天正18年（1590年），德川氏被转封至关东。同时秀吉则命令木曾氏改受德川氏统治，并同时被转封到下总国阿知户（即现千叶县旭市网户）一万石，令木曾氏一族被逼离开根据地木曾谷。这次转封令义昌受到极大的精神及经济压力，最终于文禄4年（1595年）于当地失意病逝，终年55岁。义昌死后由长子木曾义利继任为木曾氏第19任当家。义昌的葬礼以海葬形式于椿海进行，坟墓则设于城下由义昌奠基的