Rosenberg s-a născut într-o familie de germani baltici. Tatăl său a fost un negustor bogat din Letonia iar mama sa era originară din Tallinn, Estonia, care pe atunci făcea parte din Imperiul Rus. A studiat arhitectura la Institutul Politehnic din Riga și ingineria la Universitatea din Moscova, terminându-și studiile în 1917. Clădiri proiectate de el se află încă în centrul Tallinn-ului. În timpul revoluției comuniste din 1917, el a susținut contrarevoluționarii. După victoria comuniștilor, Rosenberg a emigrat în Germania în 1918 împreună cu Max Scheubner-Richter, de care a fost influențat personal și ideologic. Rosenberg a fost unul dintre primii membri ai Partidului Muncitoresc German (mai târziu Partidul Muncitoresc Național Socialist German, sau Partidul Nazist), înscriidu-se în ianuarie 1919; Adolf Hitler nu s-a înscris decât în octombrie 1919. Rosenberg a devenit și membru al Societății Thule.