，后来迁居到襄阳郡，祖父杜干光是南齐司徒右长史，父亲杜渐是南梁边城郡太守。杜叔毗早年丧父，服侍母亲以孝顺闻名，他的个性慷慨有志向节操，学习勤奋，特别精通《春秋左氏传》，在南梁为官，出任宜丰侯萧循府中直兵参军。大统十七年（551年），宇文泰命令大将军达奚武进攻南梁的汉中地区。次年，达奚武将萧循围困在南郑，萧循命令杜叔毗到西魏朝廷请和，宇文泰接见时十分礼遇。杜叔毗出使还没返回时，萧循的中直兵参军曹策、参军刘晓密谋献城向达奚武投降。当时杜叔毗的哥哥杜君锡担任萧循的中记室参军，堂侄杜映担任录事参军，杜映的弟弟杜