Estuvo casado con My Skarsgård, con quien tiene seis hijos, cuatro de los cuales son reconocidos actores: Alexander Skarsgård (1976), Gustaf Skarsgård (1980), Bill Skarsgård (1990) y Valter Skarsgård (1995), además de Sam y Eija.