辅之对荀邃说：“那人似奇才。”便唿上车，与他交谈良久，果然是卓异的人才。县令奇怪客人为何不入内，小吏说在和光逸说话。县令大怒，除光逸名，斥责他并打发他走。后举孝廉，为州从事，弃官投靠胡毋辅之。胡毋辅之任乐安太守，与光逸昼夜酣饮，不视郡事。胡毋辅之后为太傅东海王司马越从事中郎，向司马越推荐光逸，司马越认为他是寒门而不召。司马越后来在闲宴上责怪胡毋辅之无所举荐。胡毋辅之说：“之前举荐光逸，公以非世家不召，不是我不举荐。”于是光熙元年（306年）八月司马越就征辟光逸。文书到郡县，郡县都以为发错了，知道是征辟光