又在尚书仆射鲍永幕下担任立汉将军，拥立刘玄，屯兵太原，曾驰书责备田邑投降。刘玄死后与鲍永降于光武帝，刘秀嫌他迟不归降，只让他当个小小的曲阳县令，逮杀大盗郭胜，却没有得到奖赏，建武六年趁日蚀之际，陈述六事，皇帝本想召见他，又见谗于令狐略等人。因与外戚阴兴、阴就交往，转迁司隶从事，结果皇帝以“惩西京外戚宾客，故皆以法绳之”下旨查办，冯衍不得不“诣洛阳诏狱”（自动到案），免官归里，终不见用，潦倒而死。晚年撰《显志赋》以自伤不遇，所谓“久栖迟于小官，不得舒其所怀。抑心折节，意凄情悲。”