Han kom fra den svenske slekten Berg med opprinnelse i Lund. Hans oldefar Anders Berg (1767–1827) var en fremgangsrik fabrikkeier med virksomhet på Södermalm i Stockholm. Alfred var sønn av grossereren og industrimannen Knut Victor Berg (1836–1913) og dennes hustru Hilma Julia Mathilda Winroth (1843–1909), eldre søster til Alfred Winroth og Hugo Winroth.