Faren nedstammet fra gammel østerriksk adel og slekten ble adlet i 1917 av huset Habsburg. Moren kom fra Böhmen. Fire år før Robert hadde de fått den eldre søsteren Elsa, men hun døde før hun var fylt ett år. Robert Musil spekulerte senere om Elsas, den søster han aldri fikk se, betydning for hans eget liv.