Из российского дворянского рода польского происхождения (фамилия образована от  — воробей). Прадед художника — Антон Антонович Врубель — был родом из Белостока и служил в родном городе судьёй. Его сын — Михаил Антонович (1799—1859) — стал профессиональным военным, генерал-майор в отставке; дважды был женат и имел 3 сыновей и 4 дочерей. Последние десять лет своей жизни он служил наказным атаманом Астраханского казачьего войска. В это время астраханским губернатором был известный картограф, адмирал Г. Г. Басаргин. На его дочери Анне и женился второй сын М. А. Врубеля от первого брака, Александр Михайлович — будущий отец художника. Он окончил кадетский корпус, служил в Тенгинском пехотном полку, участвовал в Кавказской кампании и в Крымской войне. В 1855 году у них родилась дочь — Анна Александровна (1855—1928), а всего в семье было четверо детей, почти погодков.