Wczesne kompozycje Rautavaary były otwarcie modernistyczne, często wykorzystywały technikę 12-tonową. Wraz z Erikiem Bergmanem, Rautavaara był pionierem muzyki serialnej w Finlandii. "Symfonia Nr. 3" z 1961 roku jest najprawdopodobniej pierwszym w całości serialnym utworem fińskim. Z wczesnego okresu pochodzi wiele dzieł fortepianowych, zwłaszcza sonat. Innymi ważnymi pracami stworzonymi w tym czasie są "Symfonia Nr. 4", a także pierwsza opera Rautavaary – "Kaivos" (pol. „Kopalnia”), której libretto – napisane również przez kompozytora – powstało z inspiracji opowiadaniami węgierskich emigrantów, którzy uciekli do Szwajcarii po upadku powstania węgierskiego w 1956 roku. Emigranci opowiadali o górnikach uwiezionych pod ziemią. "Kaivos" opowiada historię górników podczas rządów totalitarnych, którzy przeciwstawiają się partii rządzącej i rozpoczynają strajk. Rautavaara zgłosił "Kaivos" do konkursu dla kompozytorów Fundacji Jenny i Anttiego Wihuri, jednak dzieło nie zdobyło nagrody, a jedynie dyplom, ponieważ organizatorzy obawiali się reakcji ZSRR, z którym Finlandia chciała zachować jak najlepsze relacje. Opera doczekała się jedynie produkcji telewizyjnej w 1963 roku – pierwszej produkcji opery w historii telewizji fińskiej, a na deskach teatralnych została wystawiona prawie 50 lat po powstaniu. Jej Wykonanie z Tampere z 2010 roku zostało nominowane do Grammy, jednak nagrody nie zdobyło. Sam Rautavaara uważał "Kaivos" za prawdopodobnie najlepszą operę jaką napisał.