Musil vokste opp som eldste sønn i en fattig mährisk bondefamilie på landet. Han var en i slekt med forfatteren Robert Musil; deres bestefedre Franz og Matthias var brødre.