Anders Holch Povlsen ist mit Anne Storm Pedersen verheiratet. Die Familie lebt auf Gut Constantinsborg in der Nähe von Aarhus. Drei der vier Kinder, Alma, Agnes und Alfred, starben bei den Bombenanschlägen in Sri Lanka am Ostersonntag 2019. Nur Tochter Astrid überlebte. Im März 2020 wurde er Vater weiblicher Zwillinge.