Bandet dro i desember 1971 til Montreux for å spille inn albumet. Kvelden før opptakene skulle starte holdt Frank Zappa konsert i Montreux Kasino, hvor de skulle spille inn . I løpet av konserten tok bygningen fyr og brant ned til grunnen. Bandet ble derfor nødt til å finne seg et annet innspillingssted og endte med å leie Grand Hotel som var stengt for vinteren. Her satte de opp et mobilt studio og gjorde opptakene. Musikken til «Smoke on the Water» var allerede spilt inn på et lokalt teater i Montreux sentrum, der politiet jagde dem vekk på grunn av lydnivået. Brannen skapte så mye problemer at de brukte historien i teksten til sangen. Gitarsolo og vokalspor ble spilt inn på hotellet. Sangens tittel viser til røyken som etterhvert la seg utover Genfersjøen.