年轻时为郡吏，学习风角占候。太守第五伦提拔他为督邮。当时，乌程县长有犯罪，第五伦让他去逮捕治罪。谢夷吾到乌程县，没有调查，只是望阁伏哭就回去了。谢夷吾对第五伦说乌程县长最近三十日，远不过六十日，就要死了。一个多月后，驿使来说乌程县长暴卒。谢夷吾举孝廉，为寿张县令，转任荆州刺史、鉅鹿郡太守。有治绩。第五伦作司徒，令班固作文推荐谢夷吾。班固以尧重用稷、契，舜重用皋陶，殷高宗、周之昌、发之君重用傅说、吕望。谢夷吾有史鱼之节，有周、召之风，有伊、吕、管、晏之任；道术能与史苏、京房相比。谢夷吾春天巡视乘柴