Klami opiskeli musiikkia Helsingin musiikkiopistossa vuosina 1915–1917, 1920–1921 sekä 1922–1924, ja hankki lisätuloja kahvila- ja elokuvapianistina. Vuonna 1918 hän osallistui suojeluskuntalaisena Suomen sisällissotaan ja sen jälkeen vapaahtoisena Viron vapaussotaan sekä Aunuksen retkeen 1919. Sotimisen jälkeen Klami palasi musiikkiopistoon, jossa hänen pääaineenaan oli syksystä 1921 alkaen sävellys. Sitä opetti arvostettu säveltäjä Erkki Melartin. Helsingin opiskeluvuosina syntyivät ensimmäiset sävellykset. Klami opiskeli Pariisissa 1924–1925 ja Wienissä 1928–1929. Pariisin vuoden aikana hän oman kertomansa mukaan tutustui Maurice Raveliin, josta tuli sitten hänen tärkein musiikillinen innoittajansa. Pariisin aika oli Klamin säveltäjänuran kannalta ratkaiseva ja ranskalaiset vaikutteet tulivat keskeisiksi hänen musiikissaan.