Детей у Ганнибала было одиннадцать, но до взрослых лет дожили четыре сына (Иван, Пётр, Осип, Исаак) и три дочери (Елизавета, Анна, Софья); из них Иван участвовал в морской экспедиции, взял Наварин, отличился под Чесмой, по указу Екатерины II проводил строительства города Херсон (1779), умер генерал-аншефом в 1801 году. Надежда, дочь другого сына Ганнибала, Осипа, была матерью Александра Пушкина, упоминающего о своём происхождении от Ганнибала в стихотворениях: «К Юрьеву», «К Языкову» и «Моя родословная».