Mikołajczykova rodina pocházela z Poznaně v západním Polsku, které bylo v 19. století součástí Německého císařství jako "Provinz Posen". Narodil se ve Vestfálsku v západním Německu, kam jeho rodiče odešli za prací. Do rychle se rozvíjející bohaté důlní oblasti odešlo v 19. století množství Poláků označovaných jako "Ruhrpolen". Do Poznaně se vrátil, když mu bylo deset let. Jako mladík pracoval v cukrovaru a působil v polských vlasteneckých organizacích. Když byla obnovena nezávislost Polska, bylo mu osmnáct. V roce 1920 vstoupil do armády a bojoval v Polsko-sovětské válce. Po zranění, která utrpěl poblíž Varšavy, byl z armády propuštěn a vrátil se na otcův statek nedaleko Poznaně.