虞庆则、史万岁等人先后被杀，刑罚也逐渐变得严苛无情，不复隋朝初建时的依法行事。他也对几个儿子进行打压，如将三子杨俊软禁，将四子杨秀贬为庶人。文帝未有巩固太子的地位，并废长立幼，立杨广而废杨勇，而之后建立唐朝的唐高祖李渊也同样犯下相同的错误，故之后修隋唐史者认为是隋朝败亡的重大原因。
废立太子.长子杨勇为人忠厚善良，但生活奢华，因而受杨坚厌恶，常告诫太子杨勇说：「自古帝王未有好奢侈而能长久者。汝爲储后，当以俭约爲先，乃能奉承宗庙。」次子杨广（即隋炀帝）为人文采极高负有抱负，但善于