于唐德宗贞元十九年（803年），月日无考。其祖父杜佑正于该年开始任宰相。杜牧在家族中排行十三，因此根据唐人的习惯，被称为“杜十三”。虽然杜牧是宰相之孙，但是由于10岁左右父亲就去世，家中并不宽裕，杜牧自己曾说“某幼孤贫”。杜牧十几岁的时候，正值唐宪宗讨伐藩镇，振作国事。他在读书之余，关心军事，后来曾注解《孙子兵法》十三篇。少年时期的杜牧已经开始展现他的文学才华和政治抱负。唐敬宗时写下了着名的讽刺时事的作品《阿房宫赋》。而在写给幽州节度使刘悟的《上昭义刘司徒书》中更是劝刘悟讨伐河朔三镇，以效忠朝廷