Stanisław Dziwisz var sønn av jernbanearbeideren Stanisław Dziwisz og hans hustru Zofia Bielarczyk. Han var femte barn av syv (han hadde to brødre og seks søstre).