永禄10年（1568年），武田信玄家臣小山田信茂领兵越过进攻相模，氏照派遣中山家范和横地吉信等人迎击，但是高尾山丽的廿里（现八王子市廿里町）不敌。虽然，武田军一度攻进泷山城的三之丸，但是由于在氏照于二之丸指挥下，甚至曾经与武田胜赖亲身交战的情况下，武田军最终退兵。氏照认为作为平山城的泷山城不利防守，因此他在武藏与相模国境附近建造一座大规模的，由于山城的山顶处建有，因此将山城取名为八王子城，后来附近的地方亦逐渐称为八王子。永禄11年（1569年），武田军再次进攻相模，并且包围小田原城，本来氏照和氏