梁奉朝请，和光禄大夫济阳江革及都官尚书会稽孔休源友好。杜之伟自小聪明敏捷，才能出众。七岁时阅读《尚书》，又学习诗歌礼乐，明白内容；十五岁就看过很多文学、历史与仪礼的故事，同辈都称他早熟。仆射徐勉曾看过他的文章，看重他的行文力量。中大通元年（529年），梁武帝到同泰寺舍身出家，下令徐勉编写仪註，徐勉发现台阁无这种礼仪，召来杜之伟草拟，并补任他为东宫学士，和学士刘陟等人按题目参考书本撰写，《富教》、《政道》二篇都由他写序。湘阴侯萧昂出任江州刺史，征召他担任掌记室。萧昂去世，庐陵王萧续代任刺史后又亲自招引，惟杜之