以为奇而饶了他。后为门亭长，迎新县令到京师。胡毋辅之与荀邃共同去新县令家拜访，望见光逸，胡毋辅之对荀邃说：“那人似奇才。”便唿上车，与他交谈良久，果然是卓异的人才。县令奇怪客人为何不入内，小吏说在和光逸说话。县令大怒，除光逸名，斥责他并打发他走。后举孝廉，为州从事，弃官投靠胡毋辅之。胡毋辅之任乐安太守，与光逸昼夜酣饮，不视郡事。胡毋辅之后为太傅东海王司马越从事中郎，向司马越推荐光逸，司马越认为他是寒门而不召。司马越后来在闲宴上责怪胡毋辅之无所举荐。胡毋辅之说：“之前举荐光逸，公以非世家不召，不是我不举荐