太祖时期已在左军都督府任职。徐达去世后，允恭嗣爵，为了避皇太孙朱允炆讳，获赐名辉祖。辉祖曾在陕西、北平、山东、河南担当军务。燕王府的阿鲁帖木儿别有所图，被他抓捕诛杀了，回来之后掌管中军都督府。
建文年间.惠帝继位后，加太子太傅。建文元年四月，将逢朱元璋忌日，燕王朱棣派儿子朱高炽、朱高煦、朱高燧入京。等三人到了京城，齐泰请求建文帝把他们一并留下。黄子澄说：“不可以。怀疑他而作此准备，是有害的，不如把他们全部遣返。”徐辉祖此时秘密奏报说：“我的三个外甥中，只有高煦勇勐剽悍而且无赖。他不