他的先祖庾诜在南北朝时是著名的科学家，著有《帝历》等科技著作；曾祖庾曼倩著《七曜历术》，祖父庾季才历任北周太史令、开府仪同三司，入隋后仍掌太史之职，并受诏撰《灵台秘苑》、《垂象志》等天文著作；父庾质亦任太史令，至庾俭在唐初又居此职，五世相传，成为著名的天文学世家