Nikolaus Groß vokste opp i Ruhrområdet. Faren hans var smed. Groß begynte å jobbe med gruvedrift i 1915 og meldte seg inn i kristne fagforeninger i 1917. Han jobbet som fagforeningssekretær i Oberhausen, Schlesien og Sachsen, men returnerte til Ruhrområdet i 1924. Han giftet seg med Elisabeth Koch i 1923 og de fikk syv barn. Fra 1926 var Groß en viktig ansatt for Otto Müller, en senterpartipolitiker og president i den vesttyske føderasjonen av den katolske arbeiderbevegelsen (KAB). Han ble redaktør for forbundets offisielle avis, , i 1927, og jobbet i nært samarbeid med den kristne fagforeningsmannen Bernhard Letterhaus.