Был женат на Марии Эдуардовне Кесслер (28 июня 1855 — 10 сентября 1908), дочери участника Кавказских войн, генерал-лейтенанта Эдуарда Фёдоровича Кесслера и сестре метеоролога и химика, профессора Александра Эдуардовича Кесслера. От этого брака Ферсман имел двух детей: дочь Веру и сына Александра — геохимика и минералога, организатора и популяризатора науки, академика и вице-президента Академии Наук СССР.