来歙的父亲来仲（一作来冲3），在汉哀帝时期，担任谏大夫，娶东汉光武帝刘秀的祖姑母刘氏为妻，生来歙