与宾客交往，唯恐因他的小孩怀有才能而招致灾祸，有人曾经问他为什么这么做，杨智积就回答他说道：「你不懂我的用心良苦。」开皇二十年，杨智积返回京城而没有在其他的位置任职，因此他就闭门自守，不到朝觐的时候就不出门。
隋炀帝时代.隋炀帝继位后，滕王纶、卫王集因为谗构之行而被判罪，高阳公智明也因为与人交游而失去爵位，在看到这些人的遭遇后，杨智积的恐惧更是加深。大业七年，杨智积担任弘农太守的职位，他将政事委任给手下的幕僚和辅佐，并以清静自居。
杨玄感叛乱.后来杨玄