Casado com Anne Storm-Pedersen e vive em Aarhus, na Dinamarca. Povlsen teve quatro filhos: Agnes, Alma, Astrid e Alfred. Três dos seus filhos: Alma (15 anos - primogênita), Agnes (12 anos - segunda filha mais velha) e Alfred (5 anos -filho caçula) foram mortos nos atentados de Páscoa dia 21 de abril de 2019 no Sri Lanka, onde a família passava as férias.