Przyszedł na świat jako Iosif Sołomonowicz Grossman w Berdyczowie, w ówczesnym Imperium Rosyjskim w zaborze rosyjskim (dzisiaj Ukraina) w oświeceniowej rodzinie żydowskiej i nie odebrał tradycyjnego żydowskiego wykształcenia. Rosyjska niania nazywała go nie "Josią" a "Wasią" (zdrobnienie imienia "Wasilij"), co cała rodzina zaakceptowała. Jego ojciec miał socjaldemokratyczne przekonania i związał się z mienszewikami. Młody Wasilij Grossman zaangażował się – z idealistycznych pobudek – w rewolucję bolszewicką.