氏正与小笠原氏及村上氏联手对抗武田信玄入侵信浓，后来木曾氏于弘治元年（1555年）因不敌武田氏而投降。由于木曾家是源义仲嫡流的贵族，且木曾家领地远及美浓国、飞驒国国境，为避免他国入侵，武田信玄决定採取和亲政策，让义昌迎娶信玄三女（亦有四女或五女的说法）真理姬（真龙院），且须义康交出人质及受信玄亲信在邻近地区监视，令木曾家实际上成为武田氏的附庸。其后武田信玄入侵美浓及飞驒时，木曾谷更成为武田军的前线基地。武田信玄死后，武田氏开始转弱，再加上继承的武田胜赖征收重税及征集大量工人以兴建新府城，令木曾家非常不满