Vinterberg er sønn av redaktør Søren Vinterberg og pedagog Ingerlise Vinterberg og har tre søsken, hvorav to er fra farens andre ekteskap. Som syvåring flyttet han og familien inn i et kollektiv i Hellerup, hvor han bodde inntil han var 19 år.