Viktor od roku 1909 navštěvoval gymnázium ve Vídni. Jeho hudební sklony a nadání mu brzy zajistily setkání s Arnoldem Schönbergem a jeho hudebním kroužkem. Bezprostředně po maturitě se dobrovolně přihlásil do armády. Po narukování se dostal na italskou frontu, kde se v roli dělostřeleckého pozorovatele zúčastnil bitvy v údolí řeky Soči. Později mu bylo umožněno nastoupit ke studiu práv na Vídeňské univerzitě, kde navštěvoval přednášky Wilhelma Jerusalema. Počátkem října 1918 byl přijat do Schönbergova skladatelského semináře. U samotného Schönberga studoval hudební formy, kontrapunkt a orchestraci. Ullmann byl vynikající klavírista, neměl však ambice stát se sólovým hráčem.