4年（1561年），先后出兵攻打位于主三田纲秀、在永禄7年（1564年）攻打里见氏和天正2年（1574年）攻打，主要在东面扩大后北条氏的领地。永禄10年（1568年），武田信玄家臣小山田信茂领兵越过进攻相模，氏照派遣中山家范和横地吉信等人迎击，但是高尾山丽的廿里（现八王子市廿里町）不敌。虽然，武田军一度攻进泷山城的三之丸，但是由于在氏照于二之丸指挥下，甚至曾经与武田胜赖亲身交战的情况下，武田军最终退兵。氏照认为作为平山城的泷山城不利防守，因此他在武藏与相模国境附近建造一座大规模的，由于山城的山顶处建