Flere kvinner, inkludert to av hans døtre, har anklaget Berg for å ha utnyttet dem seksuelt. Hans eldste datter Deborah Berg har skrevet en bok hvor hun sier at han misbrukte henne og søsteren da de var barn. Berg forfektet også antisemittiske holdninger.