Gryzlov ble født i Vladivostok og vokste opp i Vladimir Putins hjemby St. Petersburg. Han ble uteksaminert fra Leningrads elektriske institutt for kommunikasjoner i 1973 og arbeidet som radio-ingeniør. Han ble ikke en offentlig person før i 1999, da han i desember ble valgt inn i den russiske Dumaen som medlem av Sergej Sjojgus . I januar 2000 ble han leder for Enhetspartiets fraksjon i Dumaen.