Shastri ble gødt i morforeldrenes hjem i Kayastha-familie. Shastris forfedre på farssiden arbeidet for en av Ramnagar nær Banaras, og Shastri bodde der det første året av sitt liv. Shastris far, Sharada Prasad Verma, var skolelærer men ble senere ansatt i skattevesenet i Allahabad, mens moren, Ramdulari Devi, var datter av Munshi Hazari Lal, rektor og engelsklærer på en jernbaneskole i Mughalsarai. Shastri var annet bar og første sønn i familien; han hadde en storesøster, Kailashi Devi (født 1900).