Gromyko hadde en kone ved navn Ljudmila (død 2004) og en sønn ved navn Anatolij (født 1932).