Vater Viktor Ullmann, Stoffdruck-Graveur von Beruf, und Mutter Pauline, geborene Kühnel, siedelten nach der Geburt des Sohnes Robert von Mönchengladbach in die Umgebung von Wien über. Seit seiner frühen Kindheit hatte Robert Ullmann gezeichnet und Silhouetten geschnitten; seit seinem fünften Jahr modellierte er in Ton. Mit 16 Jahren nahm er sein Studium an der Wiener Akademie für bildende Künste bei dem Bildhauer Josef Müllner auf und schloss es im Alter von 24 Jahren ab. Für sein Werk „Mutter und Kind“ wurde ihm 1927 der Rom-Preis verliehen. 1930 arbeitete er an einem Gefallenendenkmal in Nordfrankreich. Nach der Annexion Österreichs durch das Deutsche Reich (Anschluss) erhielt er vom NS-Regime den Auftrag für ein Mahnmal in Wöllersdorf/Niederösterreich.