Keldych naît à Riga en 1911 dans une famille de la noblesse russe qui s'est distinguée au service de l'Empire russe. Son grand-père, Mikhaïl Fomitch Keldych (1839-1920), est un médecin militaire qui a pris sa retraite avec le grade de général. Sa grand-mère paternelle, Natalia Keldych née Broussilova, est cousine du fameux général Alexeï Broussilov. Son grand-père maternel Alexandre Nikolaïevitch Skvortsov est un général d'infanterie qui s'est distingué dans la Guerre du Caucase. Son père, Vsevolod Mikhaïlovitch Keldych (1878-1965), est un ingénieur civil, avec le rang de major-général au sein du Service des Travaux Publics, et un professeur à plein temps à partir de 1918 à l'Académie des ingénieurs militaires de Kouïbychev. Il participe à la mise au point des méthodes modernes de calcul de résistance du béton armé et participe à la conception du Canal de Moscou et du Métro de Moscou.