Swarajs far var aktiv i det hindunasjonalistiske Rashtriya Swayamsevak Sangh. Hun vokste imidlertid opp hos sine besteforeldre på morssiden.