Juncker ble født den 9. desember 1954 i Redingen i Luxembourg. Størstedelen av sin barndom og ungdomstid tilbragte Juncker i Belvaux, en by vest i Luxembourg. Belvaux er sentrum for landets kull- og stålindustri, og har tradisjonelt vært dominert politisk av sosialister og kommunister. Levekårene i området, som også hadde mange innvandrere fra Portugal og Italia, preget Juncker. Junckers far var selv stålarbeider og ble tidlig aktiv funksjonær i den kristelig-sosiale fagforeningsbevegelsen Confédération syndicale chrétienne luxembourgeoise. Etter nazistenes okkupasjon av Luxembourg i 1940, ble faren tvangsrekruttert av Wehrmacht og deltok på tysk side i andre verdenskrig.