Pedersen startet enmannsbandet i 1983 under navnet Hospital Blimp, men endret etter hvert navnet til When. Bandet opererer innen en rekke ulike musikkstiler og blander elementer fra ulike sjangere som psykedelia, avantgarde, eksperimentell, pop, elektronika, samtidsmusikk, klassisk musikk og støymusikk. Pedersen spiller selv de aller fleste instrumenter og komponerer all musikk. Bandet ga ut debutalbumet i 1987, og har siden gitt ut totalt 15 album (pr. 2012). I forbindelse med utgivelsen av albumene (2001) og (2003) var bandet utvidet med på trommer og melodika og på gitar. Albumene i 2011 og i 2012 ble til gjennom tett samarbeid med Haakon Ellingsen (som også var medlem i The Last James).