父亲伏完，沉着器度大，袭爵不其侯，娶汉桓帝女阳安公主刘华，为侍中