John Joseph Krol var den fjerde av tre barn til John og Anna (født Pietruszka) Krol. Foreldrene var polske innvandrere med opprinnelse i Tatrafjellene. Krols far arbeidet i flere yrker. Han var maskinist, og deretter barberer, snekker, tørlegger og elektriker. Moren var stuepike ved et hotell i Cleveland. Da han var to år vendte familien tilbake til Polen, men de returnerte til Cleveland innen ett år.