令不在，他就脱下衣服烤火，睡在县令的被子里。县令回来后，大怒，将要加以严罚。光逸说：“家贫衣单，沾湿了没有可换的了。若不暂且温暖身体，势必冻死，奈何惜一被而杀一人！君子仁爱，必不会这样，所以睡了而不疑。”县令以为奇而饶了他。后为门亭长，迎新县令到京师。胡毋辅之与荀邃共同去新县令家拜访，望见光逸，胡毋辅之对荀邃说：“那人似奇才。”便唿上车，与他交谈良久，果然是卓异的人才。县令奇怪客人为何不入内，小吏说在和光逸说话。县令大怒，除光逸名，斥责他并打发他走。后举孝廉，为州从事，弃官投靠胡毋辅之。胡毋辅之任乐安太