东面和西面是绝壁、只能从东南方向的悬崖攻城。武田军有7000人、守城士兵只有500人。其中半数是天文16年（1547年）被武田晴信屠城后的志贺城残兵、士气十分高昂。9月9日、武田军横田高松的部队开始攻城。守城士兵对攀崖的武田军以落石和沸水予以痛击，横田高松阵亡，武田军不得不后撤。9月11日、武田军由小山田信有率领再次攻城、同样被击退、小山田信有身负重伤于天文21年（1552年）去世。从兵力上看武田军占有绝对的优势、然而防守士兵依靠砥石城险要的地理一次次击退了武田军。武田军在苦战攻城之时、村上义清