掌握着实权。天文元年（1532年）氏辉开始亲政。天文二年（1533年）在远江检地，又向中央呈上贡物，务求加强与中央的关系。氏辉也维持着父亲时代缔结下的与相模后北条氏的骏相同盟，天文四年（1535年）氏辉自骏河起兵攻打甲斐南方，佔有相模伊豆的后北条氏第二代家督北条氏纲起兵攻打甲斐的东方，携手进攻夹击甲斐的武田信虎，以支持反抗信虎的国人众。两军在甲斐国都留郡的山地里头交战。天文五年（1536年），与冷泉为和一同赴小田原城参加歌会。同年，由于松平家第七代城主松平清康在去年被暗杀而准备乘虚而入进军三