皇甫绩叹气说他没有父母能教诲，所以由外祖父养育，如果无法克躬励己，自我勉励，怎能长大？于是命人打他三十棍子。韦孝宽听闻此事后对着他流泪。自此之后皇甫绩精心好学，略涉经书、史书。
北周时期.北周武帝还是鲁公时，引皇甫绩为侍读。建德初，皇甫绩转任宫尹中士。北周武帝在云阳宫避暑，当时北周宣帝宇文赟为太子监国。卫剌王叛乱，城门已被关上，百官大多都逃难。皇甫绩听闻后前往赴难，在玄武门遇到宇文赟，宇文赟拉着皇甫绩的手，悲喜交集。北周武帝听闻此事嘉奖皇甫绩，迁任小宫尹。宣政初，以皇甫绩前后的