Skoller ble født i USA som sønn av en svenskfødt mor og en russiskfødt far. Han ble døpt Edward Ralf Skoller. Familien flyttet til Danmark 1950 og har bodd der siden. Etter seks års opphold i Danmark ble hans foreldre skilt.