I 2003 kom bandets andre album, som gikk rett inn på førsteplass på VG-lista. For videoen til singelen fikk bandet prisen Årets musikkvideo under Spellemannprisen 2003. I 2004 fikk bandet kontrakt med Universal Records, noe som også medførte økt internasjonal oppmerksomhet, og i 2005 ble albumet lansert. Det ble en kommersiell suksess over hele Europa og høstet også mange gode kritikker. På europaturneen i forbindelse med utgivelsen benyttet Kaizers Orchestra kanadiske Geoff Berner som oppvarmer.