Norske Gutter ga ut sin første single «The most beautiful» på Zado Records i 1980, med låtene «Hvem Faan Tror Du Du Er?» og «Mamma, Mannen Gav Meg Gonorré». Senere ga de ut singlene «Madam Arthur» med låtene «Madam Arthur» og «Jenny Jenny» på Bjartmar Records i 1981, «Gud Signe» med låtene «Gud Signe» og «Dans» på Onkel Sam i 1983 og «I Am The Eggman» med låtene «I Am The Eggman», «Slumsøster Tøs» og «Cola Friks» på Sonet i 1992. Sistnevnte ble samtidig også gitt ut som CD-single.