段俨的祖父是隋朝兵部尚书、北平襄公段文振。父亲是唐朝工部尚书纪国公段纶。母亲是唐高祖李渊第四女高密公主、唐太宗李世民之姊。段俨的妻子是独孤氏（观州刺史独孤瑛之女、独孤善的曾孙女、独孤信的玄孙女）。独孤氏死后，纪公世子段俨于贞观十五年（641年）娶巢刺王李元吉之女文安县主李氏（623年—648年）。姐妹段蕑璧，字昙娘，封邳国夫人，嫁长孙顺德之子。