直言丞相、御史以前对石显一味地曲意迎合，实为一党，应一起治罪。成帝荒淫无度，匡衡又上《戒妃匹劝经学威仪之则》的奏疏：“愿陛下详览得失盛衰之效，以定大基，采有德，戒声色，近严敬，远技能”。匡衡之子匡昌为越骑校尉，酒醉杀人，入狱。对此天子未对匡衡追究事责。汉成帝建始四年（前29年），匡衡因“专地盗土”遭弹劾，被贬为庶人回乡。终于家乡。其子匡咸。