I 1942 giftet han seg med Indira Nehru, senere statsminister i India, og han ble således medlem av Nehru-Gandhi-familien. De fikk to sønner, Rajiv Gandhi og Sanjay Gandhi. Hans eldste sønn Rajiv ble senere også statsminister. Han ble selv medlem av provinsparlamentet (1950–1952), og senere medlem av Lok Sabha, underhuset i Indias parlament.