Його батько, Альбрехт Дюрер старший, був вихідцем з Угорщини й після навчання в Баварії одружився з дочкою одного з бюргерів. Альбрехт став третьою дитиною в сім'ї Дюрерів, яка після його народження поповнилася ще на п'ятнадцять дітей. Поповнення родини на 15 дітей не принесло родині щастя. Майже всі діти померли, залишились троє.