Skoller har to døtre fra et ekteskap fra 1966 til 1975 med Pia Persson, deriblant designeren Trine Skoller. Fra 1983 til 1990 var han gift med skuespilleren Lisbet Lundquist, som han fikk datteren Marie med. Fra 1993 til 2004 var han gift med den norske sangeren Sissel Kyrkjebø, som han fikk to døtre med. De ble skilt i 2004. I 2007 ble han samboer med stylist Dorrit Christina Elmquist, som er forfatter av flere bøker om arkitektur og boliginnredning. De ble gift i 2016.