楚衍对《九章算术》、王孝通《缉古算经》、祖冲之《缀术》、刘徽《海岛算经》等经典算经深有研究。楚衍明相法及《聿斯经》，擅长推步术、阴阳术、星历之数。因呈《宣明历》，补司天监学生，迁保章正。干兴元年，楚衍与历官宋行古等齐集天章阁，奉诏与内侍金克隆监造新历《崇天历》，至天圣元年八月成，被授灵台郎，后晋级为司天监丞，入隶翰林天文。皇祐（1049-1053年）中，同造《司辰星漏历》十二卷。与周琮同管司天监。楚衍的门生贾宪、和朱吉，都是数学家。无子，有女亦擅长算术。