他入仕。壶遂通晓律历，时任太中大夫。元封七年（前104年）壶遂发现历法多谬误，朔晦月见，与公孙卿、太史令司马迁等上奏《颛顼历》“历纪坏废，宜改正朔。”建议重新制定《新历》。于是奉命与司马迁、《射姓》等议造《汉历》，后与邓平、落下闳等人制成《太初历》。官至詹事，掌皇后太子家事，位在上大夫之列。壶遂为人深中笃行。汉武帝想要任命他为丞相，壶遂却不幸病卒。