Amago clan
その後1524年（大永4年）の尼子氏の伯耆侵攻（大永の五月崩れ）に伴って、尼子氏の支配下に入った。江尾城のある一帯は米子と美作国を結ぶ水陸交通上の要地であり、長く尼子氏と毛利氏による争奪戦の舞台となった。蜂塚氏は尼子氏に属し、よくこの城を守ったが1564年（永禄7年）8月8日に毛利方の将・杉原盛重の猛攻を受け、4代・蜂塚右衛門尉は一族とともに自刃し落城する。