杜陵阳出生于京兆（今陕西西安）一个名门望族，其祖上也是几代为朝中高官，曾祖父更是西晋时有名的将领和学者杜预，祖父杜锡、父亲杜乂均在朝中为官