Rafaelsen har vært medlem av Arbeiderpartiet siden 2002, men har to perioder bak seg som uavhengig kommunestyrerepresentant i Sør-Varanger for Rød Valgallianse fra 1979–87. Selv har han aldri vært medlem av verken Rød Valgallianse eller AKP(m-l).