Etter å ha tilbrakt to år i Sør-Amerika, hvor han ble kjent med brasiliansk folkemusikk og populærmusikk, reiste han i 1918 tilbake til Frankrike, hvor han hørte til kretsen rundt Jean Cocteau og Erik Satie. Etterhvert inngikk han i den kjente komponistgruppen les Six. Hans komposisjoner brakte Milhaud suksess, men av og til også skandaler.