Sumramanyan Chandrasekhar var fra en tamilsk brahminfamilie i Lahore i det som da var Britisk India (senere Pakistan). Faren hans, Chandrasekhara Subrahmanya Ayyar (1885–1960), var regjeringsrevisor og en dyktig karnatisk fiolinist; moren Sita Balakrishnan (1891–1931) oversatte blant annet av Henrik Ibsen til tamilsk. Nobelprisvinner i fysikk C.V. Raman var Chandrasekhars halvbror.