美、宝饭、八名、设乐4郡（东三河）15万2,000石，并担任吉田城主，因此他得到「吉田侍从」的称号。文禄庆长之役时，受命担任朝鲜出兵所需大船建造及运送兵粮米返回名护屋城之任务。辉政原本娶中川清秀之女纟子为妻，文禄3年（1594年）时，秀吉命令辉政娶德川家康之女督姬为妻。督姬原本是北条氏直的妻子，北条家在小田原之战时灭亡，氏直在战后一年便过世，因此督姬也是守寡再嫁。文禄4年（1595年），关白豊臣秀次被杀后，多数秀次的妻妾也被杀害，幸赖辉政协助之下，让妹妹若御前（秀次的正室）免于一死。秀吉死后，辉政从属于