Semi Norvège ble startet høsten 1996 under navet «Større Enn Elvis» og besto av opprinnelig av Hans-Peter Johnsen (gitar) (tidligere bl.a. i Claus Hüberdh, Pleasure in Pain og Berg & Dal Band), Erik Lunde (vokal og gitar), Rune Eriksen (bass) og Stein Erik Eilertsen (slagverk). I april 1997 ble Jon Erling Solheim (som tidligere bl.a. har spilt sammen med Michael Krohn i en tidlig utgave av Kjøtt, og også var med i Tromsø-bandet Madsens Kranium tidlig på '80-tallet) ny bassist i Større Enn Elvis. Bandet konsert-debuterte i juni 1997.