3代的西郷信贞（松平昌安）时、由于松平清康与其家臣大久保忠茂的奇袭而在一夜之间攻陷此城。而1535年（天文4年）时因为清康死于守山崩事件中，山中城便成了今川氏的西三河攻略的据点。1560年（永禄3年）时由于桶狭间之役中今川义元遭到讨伐及松平元康（后来的德川家康）与久松俊胜一同攻陷该城，而使得该城再次成为松平氏所有。1564年（永禄7年）以后因酒井忠次领有了山中，该城也变成了酒井氏的居城。1563年（永禄6年）时的三河一向一揆中一揆众曾一度占领此城。现在该城是冈崎市的指定史迹。