Родился в 1837 году в Елисаветграде, происходил из дворян Херсонской губернии. Отец генерал-майор Константин Николаевич Анастасьев (1792—1879), мать — Мария Павловна Мавромихали (1809—1869), внучка Стефана Мавромихали, руководителя антитурецкого восстания в Морее. Современники считали Анастасьева незаконным сыном генерала Ф. Ф. Трепова, благодаря которому он сделал блестящую карьеру, хоть и был «уличен в сребролюбии и любостяжании» в самом начале своей службы.