Pochází z rodiny majitele pekárny v Radějově. Po komunistickém převratu roku 1948 otec přišel o pekárnu i dům, rodina se čtyřmi dětmi dostala dvoutýdenní lhůtu na vystěhování a uchýlila se do domu dědečka ve Veselí nad Moravou. Starší bratr jako syn živnostníka dostal na vybranou pouze mezi prací v dolech nebo v zemědělství. Po předčasné smrti otce pracovala matka jako dělnice v podniku SVIT a Vladimír Groš si díky tomu mohl podat přihlášku na střední školu.