Barbie var sønn av Nikolaus Barbie og Anna Hees, som ble gift året etter hans fødsel. Familien kom fra Merzig i Saar, nær den tyske grensen mot Frankrike. Hans forfedre på farssiden gikk sannsynligvis tilbake til en fransk familie ved navn Barbier som hadde forlatt Frankrike under den franske revolusjon. Faren var en voldelig alkoholiker, som hadde fått varige skader etter å ha blitt såret i slaget ved Verdun under første verdenskrig.