Martinů var sønn av en skomaker. Landsbyboerne samlet sammen penger slik at den begavede gutten fikk studere ved konservatoriet i Praha. Fra 1906 studerte han fiolin hos Josef Suk og fra 1909 også orgel og komposisjon. Til tross for at Martinů var en lite flittig student lyktes det ham å få diplom som fiolinlærer i 1912. I årene 1913 og 1914 var han reservefiolinist ved den tsjekkiske filharmonien i Praha. Hæren bedømte ham som tjenestudyktig, så under første verdenskrig arbeidet han som musikklærer på hjemstedet. Fra 1918 til 1923 var Martinů igjen fiolinist ved den tsjekkiske filharmonien. I årene 1922 og 1923 fikk han igjen komposisjonsundervisning hos Josef Suk, før han i 1923 reiste til Paris for der å fullføre komposisjonsstudiene hos Albert Roussel. Martinů bodde i Paris inntil han flyktet fra byen under den tyske innmarsjen i 1940. Etter ni måneder på reisefot slo han seg ned i USA der han i årene 1942–1945 arbeidet som komposisjonslærer i Massachusetts, i 1948 ved Princeton University og ved i New York i 1948–1953. Han ble amerikansk statsborger i 1952 og vendte tilbake til Europa for å bo i Nice fra 1953 til 1955 og en kort tid i Roma. Deretter underviste han et år ved i Philadelphia. Sine siste leveår tilbrakte Martinů i Sveits.