Bandet ble startet i Trondheim i 1994 av Arne Hurlen i hans tid som student ved Marinteknisk institutt på Norges teknisk-naturvitenskapelige universitet. Det begynte som coverbandet «The Pissed Off Sons« som debuterte på kulturfestivalen Ruka '94. Den påfølgende julen hjemme i Rælingen spilte Hurlen inn en CD med 23 egenkomponerte låter. Innspillingene ble gjort på to dager sammen med kameraten Hein Bergersen. CD-en , som ble utgitt under navnet Postgirobygget, ble solgt i eksemplarer til venner og kjente. En ny CD ble laget høsten 1995, også den av Hurlen i samarbeid med Hein Bergersen. Deretter skiftet «The Pissed Off Sons» navn til «Arne Hurlen & Rikstrygdeverket». Albumet het Rivd og ble gitt ut under navnet Postgirobygget som band.