Z Józefą z Morawskich Gorzeńską miał trzy córki (Teklę Krzycką, Praksedę Łakińską, Otylię Grabską Czapską) i pięciu synów, w tym porucznika armii napoleońskiej Stanisława Gorzeńskiego (zginął 11 sierpnia 1809 roku w bitwie pod Almonacid) i Hieronima Gorzeńskiego, spadkobiercę pałacu śmiełowskiego. Młodsi synowie, Wit i Prot Gorzeńscy, studiowali w Wilnie pod opieką Jana Śniadeckiego. Poznali tam młodego studenta Uniwersytetu Wileńskiego - Adama Mickiewicza. Andrzej Gorzeński był także ojcem chrzestnym późniejszego generała w Powstaniu Listopadowym - Ignacego Prądzyńskiego.