Джоузеф Барбера се ражда на улица „Деланси“ №10 в нюйоркския квартал Малката Италия, в семейството на сицилианските имигранти Винсент Барбера и Франческа Калвака. Израства с италианския език. Семейството му се мести във Флатбуш, когато е на четири месеца. Има двама по-малки братя, Лари и Тед, служили във Втората световна война. Като член на Армията на Съединените щати, Лари участва в настъплението в Сицилия, докато Тед е боен пилот на военновъздушните сили и участва в Алеутската операция. Баща им се гордее с три процъфтяващи бръснарници, но влечението към хазарта му отнема капитала. Той напуска своето семейство и Барбера попада под грижите на чичо си Джим.