元年寿桂尼都掌握着实权。天文元年（1532年）氏辉开始亲政。天文二年（1533年）在远江检地，又向中央呈上贡物，务求加强与中央的关系。氏辉也维持着父亲时代缔结下的与相模后北条氏的骏相同盟，天文四年（1535年）氏辉自骏河起兵攻打甲斐南方，佔有相模伊豆的后北条氏第二代家督北条氏纲起兵攻打甲斐的东方，携手进攻夹击甲斐的武田信虎，以支持反抗信虎的国人众。两军在甲斐国都留郡的山地里头交战。天文五年（1536年），与冷泉为和一同赴小田原城参加歌会。同年，由于松平家第七代城主松平清康在去年被暗杀而准备乘