Rosenberg nahm 1923 am „Marsch auf die Feldherrnhalle“ teil, wurde aber im Gegensatz zu anderen Teilnehmern des Putsches nicht angeklagt. Während Hitler seine Haftstrafe absaß, betraute er Rosenberg mit der Führung der nunmehr verbotenen NSDAP, einer Aufgabe, der sich Rosenberg jedoch kaum gewachsen zeigte. Unter dem Pseudonym Rolf Eidhalt (ein Anagramm auf Adolf Hitler) gründete er im Januar 1924 die Großdeutsche Volksgemeinschaft (GVG), doch konnte er die Zersplitterung der nationalsozialistischen Bewegung nicht verhindern. Aus der Führung der GVG wurde er bald durch Hermann Esser und Julius Streicher herausgedrängt.