Skarsgård er sønn av skuespilleren Stellan Skarsgård og bror til Alexander Skarsgård, også han skuespiller.