来稜的曾祖母是鉅鹿（今河北巨鹿）都尉刘回的女儿，刘回有二子一女：刘钦、刘良，女儿嫁给谏大夫来仲，生下来歙。刘钦的儿子就是汉光武帝。所以来歙是光武帝的姑表兄弟。建武十一年（35年），来歙被公孙述派出的刺客刺杀。来稜的父亲来褒嗣征羌侯的爵位。汉明帝皇女刘惠，永平十七年（74年）封为武安公主，嫁给来稜。来稜当时是征羌侯世子、黄门侍郎。来稜早于来褒而亡，来褒死后，来稜的儿子来历嗣爵征羌侯。来稜三子：征羌侯来历、步兵校尉来祉、黄门侍郎来超。