Братья: Эраст Агеевич Абаза (1819—1855), майор, музыкант-любитель, автор романса на стихи И. С. Тургенева «Утро туманное», был смертельно ранен в Крымскую войну; Михаил Агеевич Абаза (1825-1859). Племянник, адмирал Алексей Михайлович Абаза (1853-1917), был убит на дуэли.