Cuando Barbera tenía 15 años de edad, su padre abandonó a la familia y su tío materno, Jim, se convirtió en su principal figura paterna.