Janove Ottesen, Rune Solheim, Helge Risa og Geir Zahl, som tidligere hadde spilt i bandene Blod, Snått & Juling og gnom, startet Kaizers Orchestra først som et prosjekt ut ifra et ønske om et råere og mer energisk uttrykk enn det Blod, Snått og Juling og gnom hadde stått for. Bandets navn, Kaizers Orchestra, er inspirert av en strofe fra sangen «Bastard» av gnom; «Eg blei tatt hånd om av en viss Mr. Kaizer / Han er den stolte eiger av verdens tyngste siameser». Denne sangen inneholdt også en oljetønne-solo, noe som senere skulle bli en slags signatur for Kaizers Orchestra. Kaizers Orchestras sanger er kjent for sine tekstunivers hvor alle sangene foregår i det samme forskrudde universet, og i senere utgivelser henger sangene mer direkte sammen i en typisk "musikkteater" stil, med også musikalske temaer og sanglinjer som dukker opp flere ganger i forskjellige sanger, som forteller en sammenhengende historie.