Bandet ble startet i Moss vinteren 2003 av bassist og vokalist Torstein Eriksen (Norsk Råkk), gitarist Thomas Walland Hansen (The Supervisors) og trommeslager Ole Vanem (Knuste Ruter). Trioen kom seg raskt i studio, og distribuerte hjemmelagde demotapes som fikk bra oppmerksomhet. Freedumb ble fort et aktivt liveband og spilte med Zeke, From Ashes Rise og på Stavanger Punk Rock Festival i 2004. I 2005 kom EP´en "The Freedumb X-pedition" på 7" vinyl. Utgivelsen fikk gode anmeldelser, og gav bandet muligheten til å dele scene med barndomsheltene Siste Dagers Helvete natt til første mai på Blitz.