Rem bodde sine første to år på Notodden hvor faren var forstander i den lokale pinsemenigheten. Familien flyttet så til Flekkefjord og Larvik, før Rem som tiåring i 1969 kom med familien til Eydehavn utenfor Arendal, hvor faren Tore Helge Rem var pastor i tre år før han døde. Moren Åse Løyning Rem tok seg av sine fem barn, og bodde på Eydehavn til hun døde i 2011. Rem begynte på Arendal Gymnas i 1975.