卓然表出于唐诸将中。」祖父段达曾担任左卫中郎，父亲段行琛曾担任洮州司马，后来因为段秀实而获赠扬州大都督。段秀实六岁时母亲生病，他七天不饮食，直到母亲病好才饮食，当时被称为「孝童」。长大之后，个性沉厚而有判断力，想要对这个世界有所贡献。唐玄宗时被推举为明经，但段秀实说：「搜章擿句，不足以立功。」于是放弃了功名。
从军与怛罗斯战役.天宝四年（745年），安西节度使马灵察将段秀实登录为别将，并跟随征伐护蜜国有所战功，被封为安西府别将。天宝七年（748年），高仙芝取代马灵察成为安西