Rosenberg ble født i Estland i datidens Russland. Noen har kalt familien hans baltertysk, men han var russisk statsborger, og Rosenberg-familien var av estisk opprinnelse. Alfred Rosenberg snakket bare dårlig tysk, ifølge historikeren Sven Felix Kellerhoff.