伶人学习，成为制度。他迁转补任安前将军邵陵王萧纶的田曹参军，又改任刑狱参军；杜之伟年资和地位都不高，因为记忆力强而闻名，吏部尚书张缵深感知遇，认为他能担负重任。侯景叛乱，杜之伟逃入山林中，之后陈霸先担任丞相，早听闻他的名气，征召他补任记室参军，迁任中书侍郎，领大着作。陈霸先受禅建立南陈，除授鸿胪卿，其余依旧。他上表请求辞任着作，但朝廷下诏赞许却不许辞官，不久转职大匠卿，换任太中大夫，奉诏撰写梁史。永定三年（559年）他去世，虚岁五十二，陈霸先深感惋惜，诏赠通直散骑常侍，丧事用钱五万、五十匹布，棺材一副，