Andrej Gromyko ble født i en bondefamilie i den belarusiske landsbyen Staryje Gromyki, i nærheten av Gomel. Han studerte jordbruk ved Minsk skole for jordbruksteknikk og tok avgangseksamen i 1936.