Joseph Barbera var sønn av Vincent Barbera og Francesca Calvacca, som var italienske immigranter fra Sicilia. Han var gift med Dorothy Earl fra 1935 til 1963 og med Sheila Holden fra 1963 og frem til sin død. Han hadde tre barn med sin første kone.