Roman Nicolaus von Ungern-Sternberg nacque a Graz, in Austria, da una famiglia di tedeschi baltici. Crebbe a Tallinn (Reval in tedesco), capitale dell'Estonia allora parte dell'impero zarista, con il patrigno Oscar von Hoyningen-Huene. Durante la sua adolescenza, Ungern-Sternberg era conosciuto per il suo comportamento tirannico con altri adolescenti e la sua crudeltà con gli animali. Dopo aver frequentato la scuola militare di Pavlovsk a San Pietroburgo e laureatosi nel 1908, fu di stanza in Siberia, dove rimase affascinato dallo stile di vita nomade delle tribù dei mongoli e dei buriati. Durante la Prima guerra mondiale, egli combatté nella Galizia polacca, dove guadagnò la fama di ufficiale coraggioso ma, al tempo stesso, sconsiderato e mentalmente instabile. Il generale Vrangel' scrisse infatti nelle sue memorie di temere la sua promozione. Dopo la rivoluzione di febbraio del 1917, venne inviato dal governo provvisorio russo nell'estremo oriente russo, sotto il comando di Grigorij Semënov.