Musil utdannet seg til offiser og ingeniør i Østerrike, og studerte filosofi i Berlin. Han arbeidet blant annet som bibliotekar og var en tid anstilt ved utenriksdepartementet. Han deltok i første verdenskrig ved den italienske front.