Nicolai Gedda ble født utenfor ekteskap. Geddas mor, Clary Linnéa Lindberg (1906–1993), var svensk og faren, Nikolai Gedda (1904–1976), hadde russisk bakgrunn. Foreldrene var ubemidlede. Nicolai Gedda vokste opp hos sin tante Olga Gedda og adoptivfaren Mikhail Ustinov (en slektning av den britiske skuespilleren Peter Ustinov) som også var sanger. Av Mikhail Ustinov lærte han å synge og 5 år gamle spilte Nicolai Gedda klaver og sang rent. Fra 1928 til 1934 bodde de i Leipzig. De vendte tilbake til Sverige fordi de ville ut av Adolf Hitlers nasjonalsosialistiske styre.