对《诗经》有很高的成就，当时有“无说诗，匡鼎来；匡语诗，解人颐”的说法。后来匡衡通过甲科考试，少府梁丘贺亲自召见匡衡试其学问，“衡对诗诸大义，其对深美”。曾任平原文学掾。元帝即位，大司马车骑将军史高担任尚书，向元帝推荐匡衡，遂担任郎中，又迁博士、给事中。初元二年(前47年)，有日食、地震之变，匡衡上谏“上政治得失疏”的奏折，说：“臣闻五帝不同礼，三王各异教，民俗殊务，所遇之时异也。”建昭三年（前36年），“代韦玄成为丞相，封乐安侯，食邑六百户。” 元帝时，因为与当时宦官石显的不和，成帝即位后，匡衡与御史大夫